Hodnocení programů účelové podpory

Martin Srholec15. 10. 2015

Závěrečná konference

IPN Metodika

www.metodika.reformy-msmt.cz

Hodnocení programů účelové podpory

Účelové výdaje státního rozpočtu

na VVI v roce 2014

• Nezahrnuje dotace na VVI z OP EU

• Nezahrnuje nepřímou podporu (daňové odpočty) pro VaV ve firmách

1

Mezinárodní audit systému VVI v

ČR (Technopolis, 2011)

• Na rozdíl od vyspělých zemí EU není v ČR hodnocení programů VaVaI považováno za

důležitou součást procesu přípravy a realizace politik v oblasti VaVaI.

• Systém hodnocení programů VVI je spíše jen ex-post monitorováním dosažených

výsledků a nákladů potřebných k jejich dosažení.

• Velice negativně byla zhodnocena kvalita hodnocení, resp. zpráv z hodnocení

ukončených programů.

• Zprávy z hodnocení jednotlivých ukončených programů VVI nelze považovat za

„standardní“ evaluační zprávy, protože obsahují jen popis ukončených programů

VaVaI a jejich výsledků.

• Za velice diskutabilní je spolehlivost uváděných analýz, přičemž používaná data

většinou pocházejí pouze z IS VaVaI.

• Ačkoliv zprávy o hodnocení uvádějí jasné závěry, většina z nich není dostatečně a

spolehlivě doložena.

• Doporučení pro tvorbu navazujících či jiných programů VVI zpravidla nejsou ve

zprávách obsažena.

2

Metodika hodnocení od roku 2011

Rok 2013:

• Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků

ukončených programů (platná pro léta 2013 až 2015) – tzv. Metodika 2013 - opuštěn

tzv. „Index SR“, ale pouze dvě stránky o (souhrnném) hodnocení programů.

Rok 2014:

• Pracovní skupina při RVVI k systémovému opatření č. 18 Aktualizace Národní politiky

výzkumu, vývoje a inovací České republiky na léta 2009 až 2015 s výhledem do roku

2020

Rok 2015:

• Dokument „Základní principy přípravy a hodnocení programů a skupin grantových

projektů výzkumu, vývoje a inovací“ schválen předsednictvem RVVI

• Usnesení vlády č. 351 ze dne 13. května 2015, které ukládá vypracovat podle těchto

principů a vládě do 31. prosince 2016 předložit obecně závazný dokument upravující

přípravu a hodnocení programů a skupin grantových projektů

• Probíhá revize Metodiky 2013 pro rok 2016 (pouze menší změny)

Jak se budou hodnotit programy v období 2017+?

3

Příspěvek IPN Metodika

• Hlavním cílem projektu je vytvořit návrh nového systému hodnocení a financování

výzkumných organizací, tj. otázka institucionálního financování (spolupráce s firmou

Technopolis, atd.)

• Na podzim 2014 bylo rozhodnuto, že bude přidána i aktivita s cílem „navrhnout obecné

principy metodiky hodnocení programů účelové podpory v souladu s nejlepší

mezinárodní praxí v podmínkách ČR ... i návrh systémových změn potřebných pro

zavedení mezinárodních standardů hodnocení.“

• V první polovině roku 2015 byl zpracován dokument „Návrh obecných zásad

hodnocení programů účelové podpory výzkumu, vývoje a inovací a potřebných

systémových změn“

• Připomínky k první pracovní verzi od vybraných odborníků a první revize v dubnu a

květnu 2015

• Pracovní verze pro konzultace se zainteresovanými subjekty uvolněna během léta

2015

• Revize v září a finální verze v říjnu 2015

4

5

Cílem tohoto dokumentu je vymezit zásady, jak by

se mělo provádět hodnocení programů účelové

podpory výzkumu, vývoje a inovací v českých

podmínkách v návaznosti na nejlepší mezinárodní

praxi. Zásady jsou navrženy v obecné rovině tak,

aby mohly být zavedeny jako strategický nástroj pro

řízení na úrovni systému a následně rozpracovány

na konkrétní podmínky jednotlivých programů.

6

Obecné zásady hodnocení

pro různé typy hodnocení, včetně ex-ante hodnocení

návrhu programu, průběžného hodnocení chodu

programu, hodnocení ex-post a hodnocení dopadů

a

pro různé druhy programů od skupin grantových projektů

pro akademický výzkum, přes programy pro podporu

spolupráce ve výzkumu až po dotace zaměřené na

inovace.

7

8

Hodnocení programů

• Účelem hodnocení (anebo evaluace) je poskytovat poznatky pro

posuzování vhodnosti veřejných výdajových programů.

• Hodnocení pomáhá zlepšovat programy samotné a poskytuje svědectví

o jejich účincích.

• Hodnocení není monitorování, účetnictví, audit, statistika a ani

empirický výzkum.

• Hodnocen může být v podstatě kdokoliv, a na něm potažmo cokoliv,

avšak ne jakkoliv.

• K tomu, aby hodnocení plnilo své funkce, je nutné, aby se drželo

určitých obecných zásad.

9

Nejlepší mezinárodní praxe

• Severské země Dánsko, Finsko, Norsko a Švédsko, sousední Německo

s Rakouskem a tradičně Nizozemí, Velká Británie a Spojené státy

americké.

• Doporučení mezinárodních institucí a asociací jako Evropská komise,

OECD a European Network of Innovation Agencies (TAFTIE).

• Zejména byly využity průřezově laděné texty, tj. obecné příručky,

směrnice a manuály pro hodnocení.

• Nejedná se o nic světoborně nového, nýbrž o v zahraničí ověřené

postupy.

10

Desatero zásad hodnocení

1. Změna jako cíl. Smyslem programu je dosažení změny, ke které by za jinak stejných podmínek

nedošlo.

2. Dopady nade vše. Zajímají nás dopady, výsledky a výstupy v tomto pořadí důležitosti. Bez širších

dopadů program postrádá opodstatnění. Výstupy jsou pouze prostředkem k výsledkům a

potažmo dopadům.

3. Střih na míru. Každý program má vlastní metodiku hodnocení. Není přínosné se pokoušet vymezit

jeden vzorec použitelný pro všechny programy.

4. Kvalita důležitější kvantity. Nemá smysl hodnotit za každou cenu. Jedno kvalitně provedené

hodnocení má větší váhu než deset mizerných.

5. Hodnocení není popis. Hodnocení analyzuje přínosy podpory, podává normativní závěry,

nekonstatuje pouze fakta.

6. Důkazy, nikoliv názory. Závěry hodnocení jsou založeny na prokázaných skutečnostech. Pro

nepodložené spekulace není v hodnocení místo.

7. Jaká data, takové hodnocení. Hodnocení stojí a padá s kvalitou dat. Na datovou základnu pro

hodnocení je nutné myslet již na prvopočátku programu.

8. Sebehodnocení pro učení. Poskytovatel hodnotí vlastní program, pokud je hlavní funkce

hodnocení učící, pokud motivace pro jeho provedení vychází zevnitř.

9. Externí hodnocení pro kontrolu. Pokud je motivace pro hodnocení externí, pokud je ve hře

rozdělování peněz z národního rozpočtu, hodnocení provádí externí subjekt.

10. Naučit se učit se. Bez zpětné vazby na rozhodování tvůrců politik a poskytovatelů je hodnocení

zbytečné.

11

Návrh systémových změn

•Nastavení systému a role jednotlivých aktérů

• Lidské zdroje, jejich rozvoj a učení se hodnotit

•Datová základna, přístup k mikrodatům a propojování

• Finanční zdroje a problém zadávání zakázek

12

Stupňující se tlak ze strany Evropské komise na

zkvalitnění hodnocení programů (Evalution in the

field of State aid: Methodological Guidance Paper,

apod.)

13

IMPLEMENTACE

14

Děkuji za pozornost!

www.metodika.reformy-msmt.cz