-
Relevanz2:DieRelevanzvonRelevanzBeobachtungenaussiebenMeta-StudienzuStellenwert,AnalyseundBewertungdesOECD-DACKriteriums‚Relevanz‘inEvaluaDonen
Dr.StefanSilvestriniDeGEvalArbeitskreisEntwicklungspoli7kGOPA,BadHomburg,12.April2018
-
Gliederung
ü ZurDefiniDonvonRelevanzü HintergrundundDatengrundlageü
Fragestellungenü Ergebnisse
ü StellenwertvonRelevanzbeiEvaluaDonenü
KriterienundMethodenzurBewertungvonRelevanzü
BewertungvonRelevanz
ü Schlussfolgerungen
212.04.2018 Silvestrini:DieRelevanzvonRelevanz
-
Defini4onRelevanzI
DACDefini4on
“[…]Theextenttowhichtheobjec4vesofadevelopmentintervenDonareconsistentwithbeneficiaries’requirements,countryneeds,globalpriori4esandpartner’anddonors’policies.
Note:Retrospec4vely,thequesDonofrelevanceoZenbecomesaquesDonastowhethertheobjecDvesofanintervenDonoritsdesignares4llappropriategivenchangedcircumstances.”
BewertungaufgrundderBewertungvon
ü ÜbereinsDmmungmitdenBedarfenderBegünsDgten,ü
mit(entwicklungspoliDschen)ZielsetzungendesPartnerlandes,ü
mitinternaDonalenLeitlinien,ü
sowiedenPartner-unddes‚Geber-‘Strategien/PoliDken.ü
ImNachhinein:AngemessenheitvonIntervenDonsdesignund
-zielsetzung
312.04.2018 Silvestrini:DieRelevanzvonRelevanz
Defini4onHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
-
Defini4onRelevanzII
BMZDefini4on
AusgehendvonDACDefiniDon:“Ausmaß,indemdieZielederEntwicklungsmaßnahmemitdemBedarfderZielgruppen,denPoli4kendesKoopera4onslandesundderPartnerins4tu4onen,denglobalenEntwicklungszielensowiederentwicklungspoli4schenGrundausrichtungderBundesregierungübereinsDmmen.”
BewertungaufgrundderBewertungvon
ü
BeitragzurLösungeines„entwicklungspoliDschwichDgenKernproblemsderZielgruppe(n)“
ü
ÜbereinsDmmungmitentwicklungspoliDscherZielsetzungdesPartnerlandesàwiederumBezugaufBeitragzuProblemlösung
ü ÜbereinsDmmungmitZielenundRichtliniendesBMZü
BezugzuAnspruchsniveau,heuDgemWissenstandundheuDgen
Rahmenbedingungen
412.04.2018 Silvestrini:DieRelevanzvonRelevanz
Defini4onHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
-
HintergrundundDatengrundlage
ü
VermehrteAnfragenfürMeta-EvaluaDonenundEvaluaDonssynthesenindenvergangenenJahren
ü
MimlerweileachtabgeschlosseneMeta-Studien,davonbeisiebenmitSynthesenunddabeiimpliziteoderexpliziteBewertungvonRelevanz
ü
AusgearbeitetesAnalyserasterzurBewertungderQualitätderEvaluaDonensowiezuAggregaDonihrerErgebnisse
ü
Zwei-undvierstufigenSkalensowieDefiniDonenfürSkalenwertebzw.AnleitungfürBewertungen
ü
Insgesamtca.250EvaluaDonenmeta-analysiertmitunterschiedlichenSchwerpunkten
ü
Datengrundlage:zweiStaatlicheTrägerorganisaDonen,zweiTransnaDonaleNGOsundeineSDZung
ü KeineeinheitlicheodergarrepräsentaDveDatengrundlage
512.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
-
Fragestellungen
ü WelchenStellenwerthatdieBewertungvonRelevanzinderEvaluierungspraxis?
ü WelcheKriterien/IndikatorenwerdenzurBewertungderRelevanzeinesProjektsoderProgrammsherangezogen?
ü
GibtesspezifischeErhebungsinstrumente,AuswertungsverfahrenoderAnsätzezurRelevanzbewertung?
ü WiewirddieRelevanzbeiEvaluaDonenbewertet?
612.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
-
StellenwertvonRelevanz
ü WirdinnahezuallenEvaluaDonenbehandeltü
Jedochauchi.d.R.kürzestesKapitelbeider
Ergebnisdarstellung
ü
ZusammenfassendeBewertungbeziehtsichmeistaufPerspekDvepoliDscherAkteuresowiediederinsDtuDonellenPartner
ü
EheruntergeordneteBerücksichDgungbeiSchlussfolgerungenundEmpfehlungen
712.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
-
KriterienzurRelevanzbewertungI
ü
PrimärerBezugaufKohärenzmitentwicklungspoliDscherZielsetzungdesPartnerlandesundBedarfederdirektenZielgruppen/Mimler
ü
BedarfederEndbegünsDgtenspielenhingegenoZmalseineuntergeordneteRolle
ü
SehrunterschiedlicheBerücksichDgungderstrategischenLeitlinienderTrägerorganisaDonund/oderdes‚Geber-‘landes
ü
ZurBewertungwerdennurseltenSMARTeKriterienherangezogen–selteneralsbeiBewertungvonEffekDvitätoderWirksamkeit
812.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
-
KriterienzurRelevanzbewertung–Beispiel
912.04.2018 Silvestrini:DieRelevanzvonRelevanz
4
4
1
1
1
7
8
11
3
4
14
23
27
15
16
0 5 10 15 20 25 30 35 40 45 50
Doestheinterventionmeettheneedsofthefinalbeneficiaries?(n=25)
Doestheinterventionmeettheneedsofthetargetgroups?(n=35)
Istheinterventionconsistentandsupportiveofpartnergovernments/regionalpolicies?(n=39)
IstheinterventionconsistentwithMFA'sdevelopmentpolicy?(n=19)
Istheinterventionaddressinginternationalconventions,policiesstrategiesofgoals?(n=21)
no ratherno ratheryes yes
Quelle:
Silvestrini/Väth/Römling/Lieckefem/Mikkolainen(2018):Meta-evaluaDonofprojectandprogrammeevaluaDons2015-2017,imAuZragdesFinnischenAußenministeriums
-
InstrumenteundVerfahren
ü KeinespezifischenErhebungsinstrumenteidenDfizierbarü
BeiSekundärquellenBezugnahmeaufInformaDonenaus
Programmkonzepten,-anträgen,jedochselteneraufDokumente,dieüberPartnerstrategienAuskunZgeben
ü
BeiPrimärquellenv.a.BezugaufAussagenvonProjektverantwortlichenundPartnerinsDtuDonen,seltenerBegünsDgte
ü WenigDaten-undQuellentriangulaDonü
BeiderAuswertungkommenfastausschließlichqualitaDve
VerfahrenzumEinsatz
ü KeinevergleichendenAnalysenü
Bewertungenbasiereni.d.R.aufExperteneinschätzungen
1012.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
-
BewertungvonRelevanzI
ü MitAbstandambestenbewertetesOECD/DACKriteriumü
KeinesystemaDschenregionalen,sektoralenoder
trägerspezifischenUnterschiedeerkennbar
ü
Ebensoscheintes,dassVoluminaundIntervenDonsansätzekeinenEinflussaufdieBewertungderRelevanzvonProjekten/Programmenzuhaben
ü
JedochspielenbisweilenderZeitpunktunddieZielederEvaluaDoneineRolle
ü
BewertungderRelevanzeinesProjektskorreliertoffenbarmitderBewertungdessenWirksamkeit
ü
HäufigunzureichendeDifferenzierungnacheinzelnenPrüffragenbzw.Kriterien
1112.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
-
BewertungvonRelevanz–Beispiel
1212.04.2018 Silvestrini:DieRelevanzvonRelevanz
Quelle:
Stockmann/Silvestrini(2012):MetaevaluierungBerufsbildung,imAuZragderGIZ
-
Schlussfolgerungen
ü AlleuntersuchtenProjekteundProgrammesindrelevant?
ü
BewertungvonRelevanzstelltfürGutachter/inn/enkeinProblemdar?
ü
RelevanzbewertungenstützensichoZmalsnuraufTeilaspektebzw.berücksichDgennichtalleKriteriengleichermaßen
ü
Relevanzbewertungenweisen–wieauchdieBewertungenandererOECD/DAC-Kriterien–methodischeSchwächenauf
ü
RelevanzbewertungenhängenbisweilenvonintervenDonsunabhängigenFaktorenab
1312.04.2018 Silvestrini:DieRelevanzvonRelevanz
DefiniDonHintergrundundDatengrundlageFragestellungenErgebnisseSchluss-folgerungen
-
VielenDankfürIhreAufmerksamkeit!
14