Eric Mvukiyehe Banque Mondiale / DIME Istanbul, Mai 11, 2015 Inférence Causale et Evaluation d’ Impact
Eric Mvukiyehe Banque Mondiale / DIME
Istanbul, Mai 11, 2015
Inférence Causale et Evaluation d’ Impact
Introduction …
• En general: – Nous avons des idées ou pressentiments
• Mais, pas evident si ces idees sont bonnes
– Nous avons des solutions relativement bonne• Mais ne savons pas quelle option est la plus
efficace et moins couteuse
• Comment pouvons-nous savoir?– Suivi et evaluation traditionelle– Evaluation d’impact
7
Pourquoi c’est important?• Savoir si le projet a eu un impact positif et la
taille moyenne de cet impact
– Comprendre si les politiques marchent • La justification du programme, mise a l'échelle ou non,
comparer les différentes options du programme
– (avec des données de coûts) comprennent les avantages nets du programme
– Comprendre la répartition des gains et des pertes8
Suivi et evaluation (traditionelle)
• Processus continue qui mesure les progrès des indicateurs au fil du temps– Est-ce que le project est sur
une bonne voie?
– L’accent est mis sur les activités du project et les beneficiaires
– Ne nous dit pas pourquoi oucomment le resultat estarrive.
9
Evaluation de l’impact
• Cherche a etablir la relation de cause a effect– Mesurer les changements dans les résultats et évaluer
l’impact d’interventions spécifiques sur ces résultats:
– Repond a la question: Qu’est ce qui arriverait en l’absence du projet?
• L’accent est mis sur:• Sur les participants et non-participants• Autres facteurs que le programme
10
Le défi de l'attribution de l'impact I: correlation ‘est pas causation
Ce medicament augmente-t-il le poids?
Prend le medicament
Ne prend pas le medicament
Le défi de l'attribution de l'impact II: Facteurs externes
Paramètres sous contrôle du programme
Le service atteints des bénéficiaires
INTRANTS
EXTRANTS
RESULTATS
IMPACTLes impacts du programmesse confondent avec des effetslocaux, nationaux et globaux
Difficile de demontrerla causalité
Ce don’t on a besoin:• Les résultats avec et sans programme
– Pour la même unité d'analyse (e.g, un même individu/groupe au même point de temps)
– Pour que on soit a mesure de comparer:
A
• Problème:– Les individus/groupes ont une seule existence &
donc il y a un probleme de manque de données
13
Ce qui s’estreelement passé
Ce qui se serait passer sans programme
Solution: Scénario contrefactuel:
Traitee Pas traitee
Ce qui s’estreelement passe
Ce qui se seraitpasse
Monde reel Monde imaginaire
Contrefactuelle--La clé d’une bonne évaluation d’impact est un scénario contrefactuel valide!
Characteristiques d’un contrefactuel valide
• Le groupe de traitement et le groupe temoindoivent etre semblable en 3 points:
– Avoir les mêmes caractéristique à l'extérieur (observables) comme à l'intérieur (non observables)
– Réagir de la même manière au programme (augmentation dans la même mesure d’unités)
– Donc la différence (changement dans les resultats) peut être attribuer seulement au programme
15
L’expérience parfaite:• Les groupes de traitement et de comparaison
–Ont les mêmes caractéristiques (a l’interne et l’externe)
Deux clones Identiques à l'extérieur (observables)Identiques à l'intérieur (non observables)
Kami
TamiNous sommes tous les deux
des marionnettes
Nous aimons tous les deux participer à
de nouveaux programmes de
nutrition!
Kami
L’expérience parfaite…• Observez quelque temps après
Kami TamiComme Tami et Kami sont identiques (à l’interne comme à l’externe), nous
savons que le résultat est dû à la moustiquaire
L’expérience parfaite
• Apportez le programme à un clone (Tami)
Kami
La seule différence est le projet ou traitement
Tami
Méthodes pour construire un contrefactuel valide
20
Contrefactuelcontrefaits
• Avant – Après• Participants – Non-participants
Impact causal sous certaineshypotheses &
fortes limitations
• Double difference• Discontinuite de la regression
Impact causal • Methodes experimentales
Etude de cas:
• Contexte:
– Probleme: Le micro-entreprises ont souvent le contraintes de capitaux
– Intervention: Petit don de commerce--$100 et $200
– Resultants cles: Augmentation des revenus (profit)
– Informations additionelles: • 800 micro-entreprises à l’etude de base (2007)• Plus de 50% de ces entreprises investir moins de 200 $• Le crédit subventionné a été offert à tous les micro-entreprises
avec> = 6 mois d'activité.• 300 entreprises appliquées et bénéficié d'un financement
21
Contrefactuels contrefaits 1: Comparaison avant-apres
• Idee: – Comparer le profit des micro-entreprises traitées
avant et après la politique de crédit subventionné.
• Hypothèse fondamentale:– Si le programme n’avait pas existé, le résultat pour
les participants serait le même
22
0
0.5
1
1.5
2
2.5
2007 2008
participants
P08-P07=0.6
23
Impact = (P2008-P2007) = 2.1 – 1.5 = + 0.6%
Contrefactuels contrefaits 1: Comparaison avant-apres…
Contrefactuels contrefaits 1: Comparaison avant-apres…
24
2007 2008
• QUESTION: La difference represent-elle une estimation non-biaisée de l’impact programme?
• PAS FORCEMENT: Difference de temps. • Pas que le programme; trop de facteurs changent avec le temps (e.g,
autres formations; bon fonctionnement de la hierarchie, etc.)
• Il y a un changent qui survient avec le temps, meme sans programme.
Methode Treatement Comparison Difference
Avant - Apres 2.1 1.5 0.6 pp
Contrefactuels contrefaits 2: Comparaison participants et non-participants
• Idee: – Comparer le profit des micro-entreprises qui ont
recues le crédit subventionné et celles qui n’ontpas recues le credit.
• Hypothèse fondamentale:– Si le programme n’avait pas existé, le résultat pour
les participants serait le même que pour les non-participants
25
Contrefactuels contrefaits 2: Comparaison participants et non-participants…
26
QUESTION: La difference represent-elle une estimation non-biaisée de l’impact programme?
PAS FORCEMENT: Le bias de selection—pour quoi seulement 300 micro-entreprises? • Les participants sont plus performants meme sans programme (observable)
• Meilleurs entrepreneurs, mieux informés (inobservable)
Methode Treatment Comparison Difference en %
Participants VS. Non-participants 2.1% 0.7% 1.4 pp. 300%
Participants Non-participants
Avant - Après
Compare: Le profit des micro-entreprises Avant et Aprèsl’enrollment dans le programme.
Probleme: D’autres facteurspeuvent intervenir & changer avec le temps.
Participants – Non Participants
Compare: Le profit des micro-entreprises qui recoivent et cellesqui ne recoivent pas le programme
Problem: Biais de selection. On ne sait pas pour quoi certains ne participant pas.
Contrefactuels contrefaits: Synthèse
Les deuxcounterfactuels peuvent conduireaux estimations biaisees du contre-factuel et
donc de l’impact meme.
Methode de double différence (DD)
La méthode DD: – Compare les differences de resultats entre participants
et non-participants dans le programme au fil du temps
• Hypothèse d'identification:– Le biais de sélection est invariant dans le temps (“tendances parallèles” en l'absence du programme)
• Le contrfactuel– C’est le changements au fil du temps pour les non-
participants dans le programme– (Sous certaines hypotheses), la DD peut produire des
estimations moins biaisees28
0
0.5
1
1.5
2
2.5
2007 2008
participants
P08-P07=0.6
29
Impact = (P2008-P2007) = 2.1 – 1.5 = + 0.6%
Comparaison avant-apres…
0
0.5
1
1.5
2
2.5
2007 2008
participantsnon-participants
P08-P07=0.6
30
NP08-NP07=0.2
Impact = (P2008-P2007) -(NP2008-NP2007)= 0.6 – 0.2 = + 0.4
Comparaison avant-apres + particpant-non-participant
%
Double différence (DD)
Taux de Profit
Avant (2007)
Apres(2008)
Difference(2007-2008)
Participants (P) 1.5% 2.1% 0.6 pp
Non-participants (NP) 0.5% 0.7% 0.2 pp
Difference (P-NP) 1.0 pp 1.4 pp 0.4 pp
31
Hypothese: tendances paralleles
0
0.5
1
1.5
2
2.5
2007 2008
participantsnon-participants
Impact = +0.4 pp
• QUESTION: La difference represent-elleune estimation non-biaisée de l’impactprogramme?
• Ca depend de la plausibilité l’hypothese de “tendances égales. » – Tendances paralelles
33
Methode de double différence (DD)…
Hypothese: tendances paralleles
0
0.5
1
1.5
2
2.5
2007 2008
participantsnon-participants
Impact = +0.4 pp
Methode de Regression Discontinue (DR)
Programmes de lutte contre la pauvreté
Retraites
Bourses d’étude
Commerce & investissment
Beaucoup de programmes sociaux sélectionnent les bénéficiaires en utilisant un indice ou un score:
Ciblent les ménages sous un seuilde pauvreté
Ciblent la population au dessusd’un certain âge
Destinées aux élèves dont lesrésultats aux test sont élevés
Subvention de credit à des micro-entreprises sur base decontrainte (< un certain seuil)
• Hypothèse fondamentale:– Les unités juste au-dessus du seuil sont comparables à
celles juste au-dessous
Methode de Regression Discontinue (DR)…
• Le RD se base sur la compréhension du processus desélection:– Etablir une règle de sélection claire & un score quantifiable
simple et continue– L’assignation du programme est basée, de manière
discontinue, sur base d’un seuil– Cibler les unités autour du seuil pour l’ évaluation
Methode de Regression Discontinue (DR)…
outco
me
assignment variable
Baseline
assignment variable
Follow-up
Forme différente
Nous sommes a la recherche de ce type de tendances…
Améliorer les revenus/profits des micro-entreprises qui ont des contraintes de credit
Objectif:
Idee: comparer le profi des micro-entreprises juste en desous de 50 (et donc éligibles d'accéder au crédit subventionné) ....
….avec Les entreprises avec des notes un peu au-dessus de 50 (et donc inéligibles au régime).
Methode de Regression Discontinue (DR)…
MethodeEtablier un seuil de contrainte d’access au credit (0 a 100)
41
Example
Methode Traitement Control Difference
Regression de Discontinuite 2.35% 2.1% 0.25 pp
Important: Impact est valide seulement pour les micro-entreprises qui sontautour du seuil qui determine l’eligibilite.
Synthese de la methode DR
• RD se prête à l’évaluation prospective lorsque la randomisation n’est pas faisable– Stratégie applicable à tout programme qui se base sur un critère d’éligibilité (politique sur la base
– Possibilité d’exploiter plusieurs seuils pour améliorer la validité externe
– L’ effect est causal mais local et donc il y a un probleme de generalization.
Synthese: methodes non-experimentales
43
• Les methodes faibles peuvent conduire aux resultats biases
• RD (causal impact) trouve la moitie des effects des autresmethods plus faibles
• Les resultats de l’evaluation d’impacts sont valide seulementsi nous utilisons des methods rigoureuses.
Methode Traitement Control/Comparison Difference
Participants - Non-participants 2.1 0.7 1.4 pp
Avant - Apres 2.1 1.5 0.6 pp
Double difference 0.6 0.2 0.4 pp
Discontinuite de la Regression (DR) 2.35 2.1 0.25 pp