1 Introduction to Impact Evaluation Training Dakar, December 15-18, 2008 Méthodes Expérimentales Harounan Kazianga Oklahoma State University.

1

Introduction to Impact Evaluation Training Dakar, December 15-18, 2008

Méthodes Expérimentales

Harounan Kazianga

Oklahoma State University

2

Motivation

• Objectif: estimer l’effet CAUSAL (impact) d’une intervention X (programme ou traitement) sur un résultat Y (e.g. indicateur, mesure de succès)

• Exemple: Quel est l’effet d’un– Programme de transferts monétaires (X)– Sur la Consommation des ménages

• Pour l’inférence causale, nous avons besoin de comprendre comment les bénéfices sont distribués

3

Motivation

Effet incrémentieldu au programme

L’effet d’autres influences est identique entre groupe de contrôle et groupe de traitement

Groupe contrôle

Groupe exposé au traitement

4

Causatilé versus Correlation

• Correlation n’est pas Causalité– Condition nécessaire mais pas suffisante

– Correlation: Il y a une relation entre X et Y • X change quand Y change• Et….• Y change quand X change

– Exemples: croissance economique d’une region et migration; revenu et santé

– Causalité – Si nous varions X, de combien X change• Un changement de X entraîne un changement de Y• L’inverse n’est pas necessairement vrai.

5

Causalité versus Correlation

Trois critères de causalité

– La variable indépendante précède la variable dépendante.

– Il existe une relation entre la variable indépendante et la variable dépendante.

– Il n’existe pas un troisième groupe de variables qui puissent expliquer la relation entre la variable indépendante et la variable dépendante.

6

• Analyse Statistique: Inférer une relation causale entre X et Y, a partir de données observées. – Difficultés & techniques statistiques complexes– On n’est jamais sur si on mesure le vrai impact

• Evaluation d’Impact: – Approche rétrospective:

• Mêmes difficultés que dans l’analyse statistique

– Approche prospective:• Le chercheur génère les données • Cette approche rend les choses plus simples

Analyse Statistique et Evaluation d’Impact

7

Comment Mesurer l’Impact

• Quel est l’effet de transferts monétaires (Y) sur la consommation des ménages (X)?

• Idéalement: – Maintenir le temps constant– comparer le même individu avec & sans le

programme

8

Comment Mesurer l’Impact

• Problème: On ne peut pas observer le même individu avec et sans le programme, et en même temps.

• Nécessité de construire un scénario contrefactuel:– Ce qui serait arrivé à un individu ayant reçu

le programme si celui-ci n’avait pas reçu le programme.

9

Etude de Cas: Transferts monétaires

• Programme national de lutte contre la pauvreté au Mexique (Progresa)– Lancé en 1997 – Transferts monétaires conditionnés sur la

fréquentation scolaire

• Question: quel est l’effet du programme sur les performances scolaires et la consommation des ménages?

10

Etalon Standard:Méthode Expérimentale

• La seule méthode qui puisse garantir: – l’équilibrage entre caractéristiques

inobservées et observées– la seule différence est le traitement

• Chaque individu est assigné au traitement ou au contrôle, à chances égales

• Si grand échantillon, les caractéristiques sont identiques en moyenne.

• Méthode expérimentale= Evaluation randomisée

11

“Randomisation”

• Quelle est le sens du terme “randomisation” dans ce contexte?– Chances de participation au programme égales pour

tous les individus• Dans le cas des transferts monétaires

• Options– Loterie– Loterie parmi les individus éligibles– Phasage – Encouragement– Randomisation des traitements

12

Types de Randomisation

• Sélection aléatoire: validité externe– Les résultats obtenus a partir de l’ échantillon sont

représentatifs de toute la population– Quelles leçons du programme sont applicables a tout

le pays

• Assignement aléatoire: validité interne– Effet observe entièrement du au traitement et pas a

d’autres facteurs– En général, les résultats ne sont pas extrapolables

sans des présuppositions• Exemple: programme des transferts dans une

région vs un échantillon national

13

Randomisation

Randomisation

Validité externe

(échantillon)

Validité interne

(identification)

Externe vs Interne

14

Exemples: Distribution de livres

• Quel est l’impact d’une dotation gratuite de livres sur les performances scolaires des élèves?

• Assigner aléatoirement chaque groupe d’élèves a un: :- Groupe de Traitement – reçoit les livres

- Groupe de Contrôle – ne reçoit pas les livres

15

Exemples: Distibution de livres

Allocation aléatoire

16

Exemples: nutrition scolaire au Burkina Faso

• Impact de deux types de nutrition scolaire sur les performances scolaires et la nutrition des enfants au Burkina Faso

• Trois groupes de villages après un tirage au sort :– Un groupe ou les élèves reçoivent un déjeuner a

l’école– Un groupe ou les élèves reçoivent une ration

sèche a emporter chaque mois, sous la condition de 90% de fréquentation

– Un groupe contrôle (ne reçoit rien)

17

Exemples: nutrition scolaire au Burkina Faso

• Calendrier des interventions et de l’EI:– Enquête de base dans tous les villages éligibles

– Tirage au sort en présence des représentant de toutes les écoles

– Interventions (distribution des repas et des rations sèches) toute l’année scolaire par le PAM

– Enquête de suivi

18

Exemples: nutrition scolaire au Burkina Faso

• Quelques résultats préliminaires

– Augmentation entre 6 et 7 % des nouvelles inscriptions pour les filles par les deux types de nutrition scolaire

– Amélioration de la nutrition infantile (enfants de 6-60 mois) par la distribution de ration sèche.

• Une fois finalisées, ces résultats vont servir de base a décision dans le passage d’ échelle.

19

Comment randomizer?

1) A quel niveau? – Individuel – Groupe

• Ecole• Communauté/village • District/département/province/préfecture

20

Quand utiliser la randomisation?

• Les ressources disponibles a un moment précis sont insuffisantes pour satisfaire la population éligible a un programme– Une approche équitable et transparente– Chances égales a tout le monde dans l’ échantillon

• Périodes appropriées a la randomisation– Programmes pilotes– Programmes avec des contraintes

budgétaires/humaines– Programmes en phases

21

Eléments de base d’une Evaluation Expérimentale

Population Cible

Participants Potentiels

Echantillon d’Evaluation

Allocation Aleatoire Based on Orr (1999)

Toute la population pauvre

Les communautes dans lesquelles le programme sera

executé

Choisir l’echantillon avec lequel on veut travailler dans l’immédiat

22

Au-delà de la simple allocation aléatoire

• Plusieurs Traitements– Traitement 1, Traitement 2, Contrôle– Transferts monétaires conditionnels, Transferts

monétaires non conditionnels, control– Quelles leçons pouvons nous tirer?

• Unites autres que l’individu ou le ménage– Centres de sante (distribution de moustiquaires)– Ecoles (projets de nutrition scolaire)– Administrations locales (corruption/gouvernance

locale)– Villages (développent-a-base communautaire)

23

Unité de randomisation

• Randomisation a l’ échelle de l’individu ou du ménage: meilleure option en termes de couts

• Randomisation a des niveaux plus agrégés nécessite de grands échantillons

• Certains programmes sont implémentés a un niveau agrégé– e.g., renforcements des comites de gestion des

écoles

24

Efficacité & Effectivité

• Efficacité– Crédibilité du Concept– Pilot sous des conditions idéales

• Effectivité– A l’ échelle– Circonstances normales et capacités– Impact plus ou moins élevé?– Couts plus ou moins élevés?

25

Avantages de la méthode expérimentale

• Impact causal clair

• Comparée a d’autres approches:– Facile a analyser– Peu cher (échantillons en plus petits)– Facile a communiquer– Plus convaincant pour les décideurs– Pas de controverses sur la méthodologie

26

Que faire quand la randomisation semble impossible?

• Contraintes budgétaires: randomiser parmi ceux qui ont besoin du programme

• Capacité d’exécution: randomiser qui reçoit le programme premièrement

• Promouvoir le programme a certains groupes choisis de manière aléatoire

27

Quand la randomization est impossible?

• Le programme a déjà été alloué et annoncé

et le programme ne sera pas étendu

• Le programme est achevé (rétrospective)

• Eligibilité et accès pour tout le monde– Exemple: éducation gratuite pour tous,

régime du taux de change