Studiedienst van de Vlaamse Regering Slimme subsidies 17 september 2013 Evaluatie van subsidies Dries Verlet Studiedienst van de Vlaamse Regering.

Studiedienst van de Vlaamse Regering

Slimme subsidies

17 september 2013

Evaluatie van subsidies

Dries Verlet

Studiedienst van de Vlaamse

Regering

Dries Verlet Studiedienst van de Vlaamse Regering2

Overzicht

• Inleiding• Wat is beleidsevaluatie?• Types van evaluatie• Wat te evalueren• Indicatoren• Zelf doen of uitbesteden?• Evalueren in drie stappen• Ter uitleiding


Inleiding

• Wat zijn subsidies?

Een subsidie is een financiële aansporing om het gedrag van de bevolking of van een specifieke doelgroep (dat kan ook een andere overheid zijn) te beïnvloeden in de door de overheid gewenste richting.• Een frequent ingezet instrument: maar liefst 260

soorten premies en subsidies die vanuit de Vlaamse overheid worden gegeven aan een diversiteit aan doelgroepen


Inleiding

• Soorten premies en subsidies:Bouwen, wonen en energie (35)Cultuur, sport en vrije tijd (34)Economie en werk (75)Gezin, welzijn en gezondheid (63)Mobiliteit en openbare werken (9)Natuur en milieu (14)Onderwijs en wetenschap (29)Overheid (9)

Bron: http://www.vlaanderen.be/nl/premies-en-subsidies• Belangrijke uitgavepost van de Vlaamse overheid

http://www.vlaanderen.be/nl/premies-en-subsidies

http://www.vlaanderen.be/nl/premies-en-subsidies


Wat is beleidsevaluatie?

• Enkele definities:

‘Evaluation is the systematic and objective determination of the worth or merit of an object’ (Scriven, 2007)

‘A systematic or careful assessment of the merit, worth, and value of administration, output, and outcome of government interventions, which is intended to play a role in the future, practical action situation’ (Vedung, 1997)

• Link met beleidspraktijk• Evalueren is waarderen• Evaluatie ≠monitoring


Beleidsevaluatie versus monitoring

• Evaluatie en monitoring tegenover elkaar:

• Globaal: verschillend qua focus en gebruik, maar methodologisch complementair

• Gelijkenissen: qua structurering, planning alsook wat betreft het verkrijgen, analyseren en beoordelen van data

Monitoring:

Beschrijvend, wat

Permanent

Algemeen

Bronnen vaker verankerd in organisatiestructuur

Belangrijke rol voor managers

Evaluatie

Waarom/hoe

Ad hoc

Onderwerpspecifiek

Gerichte bronnen nodig

Vaak niet door het management zelf


Types van beleidsevaluaties I

• Naargelang het tijdstip in de beleidscyclus

Bron figuur: De Peuter, 2007, 36


Types ex ante evaluaties van subsidies

• Bevragen van de potentiële ontvangers

Enkele aandachtspunten:

- Strategisch gedrag vermijden

- Goede steekproef

- Wel overwogen voorstelling van de thematiek

- Nood aan een controlegroep• Eerder kwalitatieve bevraging van experten• “Modellenspoor”: door middel van structurele

modellen die gebaseerd zijn op economische theorie de reactie van subsidieontvangers trachten in te schatten.

Bron: studie LNE


Types ex post evaluaties van subsidies

• beleidsdoorlichting: evaluatie van het beleid op het niveau van de algemene of operationele doelstellingen

• effectenonderzoek ex post: het meten van netto-effecten van beleid

Bron: studie LNE


input

input

Structuren, institutionele

en management

Activiteiten en

processenOutputs

Outcomes op korte

en ml termijn

Outcomes op

langere termijnD

oe

lste

llin

ge

n

Maatschappelijke problemen en noden

Beleid

Omgevingsfactoren

Bel

eids

nive

auO

rgan

isat

ieni

veau

Context

Wat te evalueren?

Dries Verlet Studiedienst van de Vlaamse RegeringStudiedienst van de Vlaamse Regering van11

•Doelstellingen: strategische versus operationele; stabiliteit en consistentie doorheen de verschillende planningsdocumenten•Input: mensen en middelen die men inzet•Throughput: processen en activiteiten waarin inputs tot outputs worden omgezet•Output: volume, kwaliteit en waarde van goederen en diensten •Outcome: gebeurtenissen of omstandigheden die het (on-)bedoelde resultaat zijn van de acties van de overheid. Vaak niet éénduidig toe te schrijven aan de handelingen van de overheid•Omgevingsfactoren: als organisatie geen vat op, maar kunnen doorslaggevende invloed uitoefenen

Omschrijving van de samenstellende delen

Dries Verlet Studiedienst van de Vlaamse Regeringvan12

INPUT TROUGHPUT OUTPUT OUTCOME

Makkelijker te meten want zeer concreet

Minder concreet en dus moeilijker te meten

Kunnen op een meer regelmatige basis worden bijgehouden

Zijn moeilijker om op regelmatige basis te verzamelen omdat het langer duurt vooraleer de effecten zich voordoen

Minder externe factoren die een rol spelen

Worden ook bepaald door vele externe factoren

Meer bruikbaar voor dagelijks bestuur Zijn meer bruikbaar voor periodieke plannings- en beleidsdoelstellingen

De betrouwbaarheid van de indicatoren ligt hoger

De betrouwbaarheid van de indicatoren is lager, ze zijn meer vatbaar voor meetfouten

Geven vaak minder informatie over het feit of de organisatie haar missie vervult

Geven wel informatie over het feit of de organisatie haar missie vervult

De indicatoren zijn makkelijker te controleren op hun juistheid

De indicatoren zijn moeilijker te controleren op hun juistheid

Omschrijving van de samenstellende delen

Dries Verlet Studiedienst van de Vlaamse RegeringStudiedienst van de Vlaamse Regering van13

• Middelen: personeel, hun huisvesting en logistiek en financiën

• Activiteiten/processen: juridische kader, subsidiereglement, …

• Prestaties/Output: toekenning van een schooltoelage, bereik van de doelgroepen…

• Effecten: de mate waarin de leerlingen de kennis/attitudes verder ontwikkelen, vorm geven, etc.; toegankelijkheid van het onderwijs verhogen

Voorbeeld: schooltoelage


Types van beleidsevaluaties II

• Evaluatiecriteria : AanvaarbaarheidCoherentieConsistentieDoelbereikingDuurzaamheidEfficiëntieEffectiviteitUitvoerbaarheid…

• Interne versus externe evaluatie • Nog tal van subtypes


• Wat zijn indicatoren? Enkele ingrediënten: Indicatoren als operationalisering van

abstracte concepten, proxies Maken deel uit van een één of ander

informatiesysteem dat een rol speelt in de beleidsvoering (en expliciet of impliciet deel uitmaakt van beleidstheorie)

Statistieken zijn niet per definitie indicatoren (en omgekeerd)

Indicatoren ter voeding van de evaluatie


Wat maakt een indicator een goede indicator?

Indicatoren zelf: “FABRIC”:

Focused

Appropriate

Balanced

Robust

Integrated

Cost effective

Doelstellingen: “SMART”:

SpecificMeasurableAchievableRelevantTime-bound


Een diversiteit aan types van indicatoren

• Enkelvoudige versus samengestelde indicatoren

• “Objectieve” versus “subjectieve” indicatoren• Besturingsniveau: strategisch, tactisch of

operationeel• Managementcyclus• Dimensies: bereik, volume, kwaliteit• Productieproces (cf. supra)


Op zoek naar indicatoren

• Wetenschap en beleid: een moeilijk huwelijk• Onderbenutting van informatie uit indicatoren:

Redenen:

1. Minder goede match tussen beleid en wetenschap

2. Organisatiestructuren die integratie in de weg staan

3. Onvoldoende politieke incentives


De link tussen het beleidsproces, indicatoren en het “veld”

(Brennin, 2007)


Lessen uit het gebruik van indicatoren bij overheden

• Cijfers op zich zijn nog geen goede indicatoren• Bruikbare indicatoren vereisen een duidelijke

conceptuele basis• Exhaustief (trachten te) zijn is een rem op de

bruikbaarheid• Symbolische waarde van een indicator, kan het

wezenlijk belang ervan overschaduwen • Indicator ≠ maatschappelijke realiteit • Het meten op zich indiceert nog niet de geschikte

actie• Bij het ondernemen van actie, zoek indicatoren die

iets zeggen over oorzaken, niet over symptomen


Lessen uit het gebruik van indicatoren bij overheden

• Het meten op zich oefent een invloed uit: men meet wat men belangrijk acht en indicatoren kunnen ons bewustzijn en focus op specifieke thema’s beïnvloeden

• Uitdaging: van beschrijving naar analyse


Evaluatie van subsidies: lessen uit Nederland (Algemene Rekenkamer, 2011)

• Waarom is de kwaliteit van effectevaluaties bij wijlen gebrekkig Bij rapporteringen van de evaluaties heeft men

vaak meer aandacht voor de bruikbaarheid in de politieke context dan voor de kwaliteit van de eigenlijke evaluatie

Sommige subsidies lenen zich minder goed voor een effectevaluatie (bv. exploitatiesubsidies)

De kostprijs van het evalueren leidt soms tot effectevaluaties van mindere kwaliteit


Lessen uit Nederland (Algemene Rekenkamer, 2011)

• Waarom is het goed evalueren van de subsidies en hun effectiviteit zo belangrijk? Bewijs voor effectief beleidBewijs voor effectiever en efficiënter beleidBasis voor verbetering van ander beleidBasis voor goede verantwoording


Zelf doen of uitbesteden?

• Interne dan wel externe evaluatie

- Intern: evaluator maakt deel uit van de organisatie waarvan het beleid wordt geëvalueerd

- Extern: evaluator staat los van de organisatie• Geen strikt onderscheid• Een combinatie van beiden is mogelijk en

soms ook te verkiezen• Link met motieven tot evaluatie


Zelf doen of uitbesteden?

• Voor- en nadelen interne dan wel externe evaluatie (cf. De Peuter e.a., 2007)


Evalueren van subsidies in drie stappen

• Algemene Rekenkamer, 2011: http://www.rekenkamer.nl/Publicaties/Handreikingen/Handreiking_effectevaluaties_subsidies

Stap 1: Randvoorwaarden creëren

Stap 2: Voorbereiden en uitvoeren van de evaluatie

Stap 3: Resultaten van de evaluatie benutten

http://www.rekenkamer.nl/Publicaties/Handreikingen/Handreiking_effectevaluaties_subsidies





• Voorbereiden van de nieuwe subsidie: gestructureerd aanpakken, o.a. voorzien in de mogelijkheden voor een goede effectevaluatie

• Vastleggen van doel en beleidstheorie:

- Maak een probleemanalyse (cf. RIA)

- Beleidstheorie expliciteren: hoe draagt de subsidie bij tot de gewenste activiteit en de activiteit tot de gewenste maatschappelijke effecten (outcome)

- Doelstellingen SMART formuleren

- Doelstellingen: op niveau van de output en outcome

- Leg de doelen en de beleidstheorie vast en maak ze kenbaar



• Plannen van evaluatie en monitoring:- Plan al bij de start van de subsidie een evaluatie- Best een meting vooraleer de effecten zichtbaar

kunnen zijn

- Weeg af of de subsidie het best afzonderlijk of in samenhang met andere maatregelen kan worden geëvalueerd- Ga na welke gegevens straks nodig zijn voor de

evaluatie, desgevallend opzetten van een monitoringssysteem

- Doe een nulmeting- Experimenteel opzet mogelijk?- Leg de evaluatiedatum vast.


Stap 2: Voorbereiden en uitvoeren van de evaluatie

Enkele aandachtspunten voor een goede effectevaluatie:

• Betrek evaluatiedeskundigen bij het onderzoek• Uitbesteden of niet? Zo ja: - Selecteer uitvoerder op kwaliteit

- Denk mee met de uitvoerder gedurende opzet/uitvoering

- Maak goede afspraken over de rapportage

- Beoordeel rapport en conclusies op kwaliteit

• Zorg voor een evaluatie die praktisch nut heeft voor de gebruikers

• Baken de doelen van de subsidie af

• Bewaak de kwaliteit van de metingen: validiteit, betrouwbaarheid, causaliteit

• Bewaak de kwaliteit van de conclusies

• Onafhankelijkheid van de uitvoering van de evaluatie


Stap 3: Resultaten van de evaluatie benutten

• Te benutten voor het afleggen van verantwoording dan wel om er lessen uit te trekken• Maak duidelijk onderscheid tussen de resultaten

evaluatie en appreciatie ervan

• Ter bevordering van het leereffect:

- Alle geledingen al betrekken tijdens de uitvoering van het onderzoek

- Verspreid de evaluatie onder alle belanghebbenden - Gebruik alleen voldoende onderbouwde conclusies voor aanpassingen in de subsidie

- Besteed aandacht aan signalen dat de subsidie (deels) ineffectief is (cadeaueffect)


Ter uitleiding

• Als overheid beschikken we vaak niet over de informatie om te leren van subsidiëring als beleidsinstrument

• Nood aan een bedrijfsvoering gericht op subsidies teneinde te leren over de effectiviteit van het overheidsoptreden

• Als lerende organisatie: niet alleen evalueren op zich, maar ook plannen om te evalueren

• Evaluatie van de effectiviteit van subsidies: niet evident, maar daarom niet minder belangrijk

Studiedienst van de Vlaamse Regering Slimme subsidies 17 september 2013 Evaluatie van subsidies Dries Verlet Studiedienst van de Vlaamse Regering.

Documents