Lecciones aprendidas de las evaluaciones experimentales Martín Valdivia GRADE Perú
Contexto del Curso
1. Introducción a las Evaluaciones de Impacto
2. Teoría de Cambio e Indicadores
3. Por qué y Cómo Aleatorizar
4. Tamaño de Muestra y Cálculos de Poder
5. Inferencia Causal
6. Evaluaciones Experimentales y Políticas
Públicas
7. Lecciones aprendidas de las evaluaciones experimentales
8. Evaluación Experimental de Principio a Fin
Esquema de la presentación
1. Evaluaciones en Latinoamérica
2. ¿Qué hemos aprendido?
a) Trabajando con contrapartes
b) Evidencia de evaluaciones experimentales
a) Educación
b) Micro-finanzas
3. ¿Qué nos falta por aprender?
Evaluaciones en Latinoamérica
• Como vimos en la clase
anterior, ha habido un gran
esfuerzo por evaluar
programas sociales en
Latinoamérica y el Caribe
• Estas experiencias han
generado lecciones
importantes sobre políticas
públicas y sobre cómo
trabajar con gobiernos,
organizaciones
internacionales y otras
contrapartes
Tendencia de la producción de estudios de evaluaciones de impacto en AL&C: # de estudios
Alzua, Djebbari y Valdivia (2011) hacen una revisión de la producción y uso de las evaluaciones de impacto en AL&C Rigurosa Foco en países de menores
capacidades de investigación Creciente producción de
evaluaciones rigurosas en ambas muestras de países
Brecha entre grupos de países es más pronunciada cuando el gbno. está involucrado ¿Son las evaluaciones
rigurosas demasiado exigentes para los gobiernos menos robustos?
RCTs son crecientemente populares
Our study area
0
10
20
30
40
50
60
70
80
90
1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011
# o
f s
tud
ies
RCT Match Other
Rest of LAC
0
10
20
30
40
50
60
70
80
90
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
# o
f stu
die
s
RCT Match Other
Consistente con: Reconocimiento de RCTs
como estándar más elevado de rigurosidad
Su potencial para guiar el desarrollo de las políticas públicas
Conlleva popularidad de RCTs con investigadores y donantes
J-PAL, IPA, 3IE Gates Foundation, Citi,
USAID, MCC Karlan & Appel (2011) y
Banerjee & Duflo (2011)
Pero, no tanto cuando el gobierno está involucrado
• No ha sido fácil incluir diseños experimentales para la evaluación de programas públicos
• Es más fácil con ONGs • ¿Más activos en la búsqueda de
innovaciones que perfeccionen el logro de sus objetivos?
• Les ayuda con donantes
• ¿Son los RCTs demasiado exigentes para la implementación?
• ¿Costo? • ¿Exigencias de planificación? • ¿Diferencias de horizonte
temporal?
PROGRESA: El proyecto emblemático
• Vimos en la clase anterior, que la evaluación de
PROGRESA es considerada una de las más famosas
en la región • Resultados importantes y robustos
• Motivó programas y evaluaciones similares
• Continuidad del programa
Pero, ¿cómo se dio esta evaluación?
(Parker y Teruel, 2005). “Randomization and social program
evaluation: the case of PROGRESA” Annals of the American Academy of Political and Social Science Vol. 599
PROGRESA en México
• Primer programa social en México en incorporar una
evaluación rigurosa de impacto en su diseño
• El reto de la innovación: transferencia monetarias para
reemplazar a las transferencias en especie
• Evaluación fue concebida desde el inicio
• Necesidad de garantizar continuidad del programa
ante la inminencia del cambio de gobierno (del PRI al
PAN)
• El rol de Santiago Levy
• El evaluador externo: International Food Policy Research
Institute (IFPRI)
PROGRESA en México
• Consideraciones políticas en el diseño • Aleatorización a nivel de comunidades, y no de hogares, era
políticamente poco sostenible • No se pudo explorar externalidades
• No se pudo dar la descomposición de los diferentes
componentes (transferencia monetaria, condicionalidad,
inversión complementaria en salud/educación)
• Logros contundentes: • Programa sobrevivió al cambio de gobierno, y se expandió a
zonas urbanas (ya sin RCT)
• BID financió expansión con proyecto excepcionalmente
grande
• Programa se replicó, primero en muchos países de la región,
luego en otros continentes
Lecciones aprendidas: Logística
• En el caso de PROGRESA, el IFPRI estuvo a cargo de la
evaluación
• En general, la evaluación es hecha por una organización
externa • Esto, para prevenir sesgos, conflictos de interés y
asegurarse que la evaluación sea transparente.
• La organización evaluadora trabaja muy de cerca con los
implementadores del programa. Otras características: • Experiencia implementando evaluaciones experimentales
• Experiencia recolectando datos de alta calidad en países en
vías de desarrollo
• Conocimientos avanzados de estadística y economía
• Conocimientos del contexto del país en el que se hace la
evaluación
• Disponibilidad para invertir tiempo en el proyecto
Lecciones aprendidas: Logística II
• Diferentes ventajas y desventajas de trabajar con
diferentes tipos de partner: • Gobierno
• Ventajas: mayor alcance del programa, mayor posibilidad de
expandir programa y mantenerlo en el tiempo.
• Desventajas: requiere negociaciones a un nivel de política alto, la
evaluación puede ser frustrada por motivos políticos, problemas
con presupuestos para evaluaciones a largo plazo.
• ONGs • Ventajas: proveen mayor flexibilidad para testear diferentes
tratamientos y tratar de contestar varias preguntas teóricas, en
general son más receptivas a ideas nuevas y tienen mayor
facilidad para cambiar sus operaciones.
• Desventajas: presupuestos limitados, pueden ser programas de
poco alcance.
Lecciones aprendidas:
Alianza Evaluador - Implementador Evaluador Implementador
• Cooperación durante todas las etapas de la evaluación
• Acuerdo sobre del diseño de evaluación, preguntas a
contestar, dimensiones en que se evaluara el éxito y
resultados a medir.
• Uso de la evidencia para toma de decisiones.
Evalúan el programa Implementan el
programa Claves para el éxito
Roles del evaluador e implementador
Evaluador Implementador
Diseño de evaluación e incorporación de evaluación al programa
• Implementación de
programa
• Datos Administrativos
• Apoyo como contraparte
• Desarrollo de encuestas
• Recolección y análisis datos
• Interpretación de resultados en base a
resultados cuantitativos y cualitativos
• Publicación y difusión de resultados
Roles del evaluador e implementador
Evaluador Implementador
Muy importante que la organización evaluadora monitoree la
implementación del programa durante todas las etapas para
asegurarse que la asignación aleatoria sea respetada.
Línea de tiempo de una evaluación
Diseño evaluación y Instrumentos
Pilotaje Línea Base Seguimiento Análisis de
Datos
El tipo de programa a evaluar determina: – Tiempos: Duración de la evaluación vinculada a la duración del
programa y sus efectos
– Costos: Dependen de los tiempos del programa, datos a
recolectar y tipo de aleatorización. • La mayoría de los costos de una evaluación provienen de las
encuestas, recolección de datos.
PROGRESA:
• Se seleccionaron 506 comunidades en 7 estados
• 320 = tratamiento
• 186 = control
• 24,077 hogares
• Los hogares en las comunidades del grupo de tratamiento
empezaron a recibir el programa en mayo de 1998.
• Los hogares en las comunidades del grupo de control
empezaron a recibir el programa en diciembre de 1999.
• Recolección y análisis de datos.
Línea de tiempo de una evaluación
Lecciones aprendidas:
Institucionalización de la evaluación
• Algunos gobiernos en AL han empezado a institucionalizar el uso de las evaluaciones de impacto para el diseño de políticas (Briceño and Gaarder, 2010) – Agencias especiales: CONEVAL (México), DIPRES (Chile), SINERGIA (Colombia)
– A cargo de comisionar y usar las evaluaciones para ajustar la política correspondiente
• B&G (2010) identifican cuatro factores clave para dicha institucionalización: – Un sistema democrático con una oposición vibrante
– Un ejemplo emblemático de los beneficios de las evaluaciones para el diseño de políticas
– Un defensor a ultranza (champion) de las evaluaciones, que pueda trabajar el proceso político para la institutionalización
– Asistencia técnica efectiva para la producción de evaluaciones de impacto de calidad
18
Varios gobiernos han incorporado las evaluaciones
rigurosas a su proceso de diseño de políticas públicas.
Promoviendo Evaluaciones
Varias organizaciones de desarrollo apoyan y requieren
evaluaciones rigurosas para los proyectos que financian.
Promoviendo Evaluaciones
Promoviendo Evaluaciones
Comisión Brújula Chile
• Surge a petición del Ministerio de
Planificación de Chile. • Promover nueva forma de diseñar
políticas públicas en base a
evidencia.
• Juntar a encargados de políticas
públicas con académicos para
incorporar evaluaciones al diseño
de políticas
• Se identificaron problemas
sociales importantes en Chile • Se desarrollaron 4 propuestas
para resolver estos problemas,
todas incorporando una
evaluación aleatoria.
Promoviendo Evaluaciones
Comisión Brújula Chile
• Impacto de la Comisión: • 1 de las propuestas está
siendo implementada y
evaluada actualmente
• Programa que busca darle a
los padres de familia un
mayor campo de elección
durante el proceso de
selección de colegios
(información sobre calidad
de los colegios).
Promoviendo Evaluaciones
Comisión Brújula Chile
• Programa: • Se envían cartillas con
información sobre elegibilidad
para asistir a los colegios
subvencionados a los padres
de familia de estudiantes
vulnerables que están por
entrar al pre-kinder, kinder o
primero básico.
• Se busca medir impacto en
logros académicos y en
características de las escuelas.
Promoviendo Evaluaciones
Comisión Brújula Chile
• Las otras propuestas no han
podido ser implementadas: • Unas están en licitación
• Otras no han sido factibles debido
a cambios en el escenario político,
problemas de logística, etc.
• Cuáles? 1. Incentivos al profesor
(preparación de clases,
desempeño)
2. Programa de rehabilitación y
reinserción en los centros
penales
3. Red de apoyo para jóvenes en
riesgo
Promoviendo Evaluaciones
Comisión Brújula Chile Las otras propuestas de la
Comisión Brújula:
Oportunidades para los
jóvenes: • Entregar habilidades e
información a los jóvenes que los
ayude a evitar comportamientos
riesgosos y a acceder a los
mercados laborales a través de
mentorías, actividades
recreativas, servicios de
intermediación laboral, etc.
Promoviendo Evaluaciones
• Iniciativa de MIDIS, MEF, J-
PAL, IPA y Soluciones
Empresariales contra la
Pobreza • Grupo de académicos peruanos
trabajando con miembros del
gobierno
• Dos temas: desnutrición
crónica, oportunidades
económicas ara hogares
rurales
• Resultado: 7 propuestas • Algunas propuestas han
aplicado a financiamiento para
ser implementadas (3IE, SSRC,
Citi Foundation, USAID-DIV)
Promoviendo Evaluaciones
• Propuestas de innovaciones
con evaluación • Inclusión financiera en zonas
rurales a través de
tecnologías de puntos de
venta
• Innovaciones para el apoyo a
programas de desarrollo
temprano (CUNAMAS) • Monitoreo comunitario
• Juegos en celular para adopción
de prácticas saludables
• Almuerzos escolares y ajustes
a la jornada escolar
• Formación laboral y de
emprendimientos para
jóvenes rurales
¿Qué hemos aprendido sobre promover
evaluaciones?
• Necesidad de un mapeo de actores y actividades
relacionados a los objetivos planteados
• Interacción cercana con los funcionarios públicos
claves, desde el inicio del proceso
Micro-finanzas
Evidencia mixta.
Proveer micro-créditos parece no tener el impacto
dramático que se esperaba, aunque si tiene efectos
modestos en algunos contextos.
Algunos individuos utilizan los servicios financieros para
suavizar su consumo, administrar el riesgo y hacer
inversiones.
Estudios sugieren que es mejor que las persones
ahorren a que presten dinero para salir de la pobreza.
Micro-finanzas
Evaluaciones aleatorias han encontrado que los
programas de microcrédito no son la panacea que se
creía que eran.
1) Banerjee et al (2009) en India:
• Se evalúa el impacto de la apertura de centros de
micro-finanzas en zonas pobres de India.
• Resultados:
• Efectos heterogéneos en cuanto a cambios en
consumo de bienes durables y no durables.
• No encuentra efectos en salud, educación o
decisiones de la mujer.
Micro-finanzas
2) Karlan & Zinman (2010) en Filipinas:
• Investigan el impacto de la expansión de un programa
de créditos para micro-emprendedores en Manila.
• Resultados:
• No encuentran evidencia que los micro-créditos
lleven a mayores ganancias, negocios más
grandes, o mayor consumo dentro del hogar.
• Encuentran que en algunos casos las ganancias
de los negocios incrementan, pero se debe a que
los negocios se hacen más pequeños al despedir a
trabajadores no productivos.
Micro-finanzas
Estas evaluaciones fueron hechas en India y Filipinas,
pero en Latinoamérica no se ha hecho nada parecido
• efectos de equilibrio general
• efectos de largo plazo
También está pendiente la pregunta sobre
• cuál es el impacto de los microcréditos en el
contexto latinoamericano?
Para una revisión de las evaluaciones experimentales
hechas en esta área:
Bauchet, J et. al. (2011). “Latest Findings from
Randomized Evaluations of Microfinance”
Micro-finanzas
Capacitación financiera:
• También hay evidencia mixta.
• Mucho depende de cómo se da la capacitación y
cómo se transmiten los conceptos financieros.
Micro-finanzas
República Dominicana:
• Drexler, Fischer y Schoar realizaron una evaluación
de un programa de capacitación.
• Evaluación fue entre 2006 y 2008.
• Habían dos tipos de curso:
• Capacitación Tradicional
• Conceptos básicos de contabilidad.
• Capacitación Simplificada
• Reglas y estrategias generales.
Micro-finanzas
República Dominicana:
Resultados
• La capacitación tradicional no tuvo ningún impacto en
las personas capacitadas.
• La capacitación simplificada mejoró las prácticas de
negocios, incrementaron ventas por 18,5 durante
semanas que consideraban como de peor
desempeño.
Micro-finanzas
Capacitaciones financieras:
• En Latinoamérica, aparte de las evaluación
presentadas, se han hecho pocas evaluaciones
experimentales sobre este tema.
• Sin embargo, estudios de otras regiones nos han
ayudado a entender cómo mejorar las capacitaciones
financieras.
Micro-finanzas
Capacitaciones financieras:
¿Cómo mejorar programas de capacitación financiera?
• Incorporar redes sociales.
• Identificar y enfocarse en los grupos vulnerables
que más necesitan la capacitación.
• Adaptar el contenido a los intereses de las
personas siendo capacitadas.
• Ser creativos en la forma de dar las capacitaciones
(juegos, videos, sesiones interactivas).
• Considerar que la oferta de los servicios puede ser
deficiente.
World Bank: Xu & Zia (2012).
¿Hacia adónde vamos?
Como hemos visto, muchos de los resultados de las
evaluaciones dependen del contexto en el cual el
programa se implementa y de cómo se implementa el
programa.
Necesitamos más evaluaciones en diferentes contextos
para conocer cómo funcionan los programas en
diferentes países y así incrementar la validez externa de
las evaluaciones
• Pero las mismas deben organizarse
sistemáticamente para maximizar el aprendizaje
social
• Considerar costo-efectividad
• Evaluaciones de los mecanismos de los
programas
www.povertyactionlab.org/es/educación
Apuntamos a este tipo de análisis para todos los sectores/temas