Introducción Por qué evaluar Tipos de evaluación. Por qué... · ¿Qué es un buen programa? ... Problemas de agencia . Introducción Por qué evaluar Tipos de evaluación Cuándo

Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación


Clase 1 ¿Por qué evaluar impacto?

2

Ryan Cooper

[email protected]

@ryancooper_b

J-PAL LAC

mailto:[email protected]


Horario Inicio Fin Miércoles 19 de marzo Jueves 20 de marzo Viernes 21 de marzo

8:30:00 8:45:00 Registro de participantes

8:45:00 9:00:00 Repaso del día anterior Repaso del día anterior

9:00:00 10:00:00 Bienvenida y palabras de introducción Clase 4

Evaluaciones Experimentales II: ¿Cómo implementarlas?

Caso de estudio 3: ¿Cómo aleatorizar?

10:00:00 10:30:00 Evaluación inicial de conocimientos CLAUDIA MARTÍNEZ PROFESORES AYUDANTES

10:30:00 10:45:00 Coffee Break

10:45:00 12:00:00

Clase 1 ¿Por qué evaluar impacto?

Caso de estudio 2: Identificando el contrafactual

Taller: Elaborando Términos de

Referencia

RYAN COOPER PROFESORES AYUDANTES THOMAS VARGAS

12:00:00 13:15:00

Clase 2 Midiendo efectos causales

Clase 5 Tamaño muestral y

poder estadístico

Clase 8 Aspectos operativos de una

evaluación de impacto

CLAUDIA MARTÍNEZ FRANCISCO GALLEGO NICOLE CARPENTIER

13:15:00 14:30:00 Almuerzo

14:30:00 15:45:00

Caso de estudio I: Teoría de Cambio

Clase 6 Amenazas y análisis

Clase 9 De la evidencia a la acción

PROFESORES AYUDANTES LEIGH LINDEN CLAUDIA MACÍAS

15:45:00 16:00:00 Coffee Break Evaluación final de conocimientos

16:00:00 17:15:00

Clase 3 Evaluaciones Experimentales I: ¿Por qué

hacerlas?

Clase 7 Evaluación de principio a fin Cierre de curso y entrega de

diplomas

FRANCISCO GALLEGO LEIGH LINDEN


Objetivos

Después de esta sesión los participantes

serán capaces de:

Definir lo que es una evaluación de impacto.

Señalar el valor de la evaluación de impacto.

Distinguir entre evidencia descriptiva y

causal.

Identificar algunos criterios de evaluabilidad.

Saber cuándo evaluar impacto.

4


Esquema de presentación

5

1. Introducción

2. ¿Por qué evaluar impacto?

3. Tipos de evaluación.

4. ¿Cuándo realizar evaluación de impacto?


6

1. Introducción


7

¿Qué programas implementar?

Piense en un programa o política que fue

implementado en su país.

¿Es un buen programa?

La gran pregunta: ¿Qué es un buen programa?


Piense en un programa o política que fue implementado en en su país. ¿Es un buen programa?

A. Sí

B. No

C. No sé

8 A. B. C.

0% 0%0%


La gran pregunta

¿Es un buen programa?

Premisa: La mayoría de los programas sociales tienen

una intención genuina de mejorar las condiciones de

vida de la población participante.

Realidad: Generalmente es difícil saber.

9


¿Cómo se hace política?

10

Programas y Políticas Sociales

Ideología

• Propia

• Externa

Apoyo

• Presupuesto

• Político

• Capacidad Conocimiento

• Evidencia

• Experiencia

• Personal

• Colectiva


11

Para obtener evidencia:

evaluar impacto.

Evaluación Evidencia Programas y

Políticas Sociales


12

2. ¿Por qué evaluar impacto?


¿Por qué evaluar impacto?

A. Asignación

recursos.

B. Innovación.

C. Estabilidad política.

D. Las 3 anteriores.

A. B. C. D.

0% 0%0%0%


¿ Cuál de estos elementos le da más valor a la evaluación de impacto?

A. Transparencia y

Control

B. Innovación Social

C. Los 2 son valores

similarmente

importantes

A. B. C. D.

0% 0%0%0%


¿Quién debería beneficiarse + de una evaluación de impacto?

A. Encargados del programa.

B. Autoridades de actual gobierno.

C. Autoridades de futuro gobierno.

D. Ciudadanos.

A. B. C. D.

0% 0%0%0%



Una buena evaluación puede ayudar a:

Identificar políticas costo efectivas;

Comparar Costo efectividad de componentes

Demostrar utilidad de nuevas ideas

Descubrir beneficios no planificados.

Descubrir efectos secundarios.

16



17

3 problemas

Asignación presupuestaria coja

Innovación débil o nula

Política polarizada – Democracia frágil


¿Por qué evaluar un programa?

18

¿Qué pasaría si tuviéramos evidencia suficiente

para contestar preguntas?

Asignación presupuestaria basada en evidencia

Innovación

Mejores procesos políticos

Expandir las intervenciones más costo-efectivas

Descubrimiento de nuevas ideas efectivas

Mayor costo de utilizar argumentos extremos y menor

polarización política


¿Cuánta evidencia tenemos?

19

57 evaluaciones de impacto experimentales

(RCTs) en Latinoamérica y el Caribe


¿Efectivamente no hay evidencia?

20

RCTs en Ciencias Naturales: 709.963


Medir impacto fuera del laboratorio es complejo

Confiabilidad del impacto estimado

Estrategia de identificación adecuada y bien

justificada.

• ¿Estamos aislando el efecto del programa de otros

elementos relevantes?

• ¿Estamos comparando manzanas con manzanas?

• ¿Cuál es la estrategia de identificación causal?


Tipo de Escuela Puntaje académico

Aporte Padres

Educación Padres Ingresos

Salud

Pre-Básica

-0.2

6.8

7.4

13.4

8.1

16.6

18.2

NO OBSERVABLES

Medir impacto fuera del laboratorio es complejo


¿Por qué tenemos tan poca evidencia?

23

Ciencias

naturales Diversos actores en las

ciencias sociales

Académicos

Tomadores de

decisiones /

Políticos

Implementadores

Problemas de agencia


24

3. Tipos de evaluación


Tipos de evaluación

25

Evaluación

Evaluación de

Programas

Evaluación de Impacto


Tipos de evaluación

26

Evaluación

Evaluación de

Programas


Monitoreo


¿Cuál es la diferencia entre Evaluación Impacto y Monitoreo? A. Ninguna. Son palabras

distintas para hablar de la

misma cosa.

B. El monitoreo describe, la

evaluación impacto

separa efecto causal.

C. El monitoreo es para la

gestión, la evaluación

para la rendición de

cuentas.

D. No sé.

E. Otro A. B. C. D.

0% 0%0%0%


Evaluación de

Necesidades

Evaluación Teórica de Programas

Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

funciona como

fue planificado?

¿Los

OBJETIVOS

de impacto se

cumplieron?

¿En qué

magnitud?

Dadas la magnitud

y el costo, ¿cómo

se compara este

programa con

otras alternativas?

Componentes de una evaluación

28


Programa de Mejoramiento de Viviendas


Implementado por TECHO, una ONG con

presencia en todo Latinoamérica.

El programa proporcionó viviendas mejoradas a

personas viviendo en asentamientos precarios.

Implementado por voluntarios jóvenes con la

ayuda de la comunidad beneficiada.

El programa de viviendas se implementó en

asentamientos en México, El Salvador y Uruguay

entre 2007 y 2010.

30

Programa: Mejoramiento de Viviendas


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

teoría,

podemos

resolver el

problema?

¿El programa

funciona como

fue planificado?

¿Los

OBJETIVOS se

cumplieron?

¿En qué

magnitud?

Dadas la magnitud

y el costo ¿Cómo

se compara este

programa con

otras alternativas?


31


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

funciona como

fue planificado?

¿Los

OBJETIVOS se

cumplieron?

¿En qué

magnitud?

Dadas la magnitud

y el costo ¿Cómo

se compara este

programa con

otras alternativas?


32


Programa: Mejoramiento de Viviendas

33

Necesidades Intervención Productos Resultados Intermedios

Impactos

Vivienda

básica:

Techo, piso,

muros,

privacidad.

Voluntarios

Materiales de

construcción

Viviendas

mejoradas

Mejor calidad

de vida

Salud física y

mental

Seguridad

contra el robo

Protección

contra la lluvia

Acumulación

de capital

Ambientes más

saludables

Mejores

oportunidades

de trabajo


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

teoría, podemos

resolver el

problema?

¿El programa

funciona como

fue planificado?

¿Los

OBJETIVOS se

cumplieron?

¿En qué

magnitud?

Dadas la magnitud

y el costo ¿Cómo

se compara este

programa con

otras alternativas?


34


Proceso (y/o Resultados) vs. Impacto

Evaluación Procesos

1. Ojalá todo

2. Complejidad técnica baja

3. Rendición de Cuentas

4. Retroalimentación CP

5. Utilidad para proyecto


1. Ser selectivo

2. Complejidad técnica alta

3. Conocimiento

4. Retroalimentación LP

5. Bien Público


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

teoría, podemos

resolver el

problema?

¿El programa

funciona como

fue planificado?

¿Los

OBJETIVOS se

cumplieron de

impacto? ¿En

qué magnitud?

Dadas la magnitud

y el costo ¿Cómo

se compara este

programa con

otras alternativas?


36


Evaluación de impacto

Ahora que ya hemos construido las

viviendas y las hemos entregado a las

familias de los asentamientos…

¿Hemos terminado?

No, porque no sabemos cuál fue el

impacto, para las familias, de recibir las

viviendas.

¿Contribuyó el programa a la

calidad de vida, salud, empleo?

¿En qué magnitud?

37



El impacto de un programa es la diferencia entre:

38

Los resultados que los

participantes del

programa obtienen.

V/S

¿ C ó m o m e d i r i m p a c t o ?

Contrafactual

Los resultados que esos

mismos participantes

hubieran obtenido si no

hubiesen participado en

el programa.


Evaluación de impacto: medir eficiencia

Las evaluaciones de impacto miden la contribución de un programa.

Puede responder las siguientes preguntas: ¿Cuál es el impacto del programa? (Magnitud)

¿Cuáles son los elementos o componentes más importante para producir ese impacto?

¿Cuál es la estrategia más efectiva o costo efectiva?

¿Deberíamos atacar un problema a la vez o a muchos simultáneamente?

¿Se pueden generalizar los resultados de una evaluación de una a otra?

¿Cuáles son los procesos fundamentales que generan cambios en resultados?

39



En El Salvador, México y Uruguay, el programa mejora significativamente

la calidad de la vivienda en las siguientes áreas en relación al grupo de

control:

Número de cuartos: 5.78%***

Número de cuartos con pisos de

buena calidad: 41.33%***

Proporción de cuartos con

paredes de buena calidad:

50.09%***


techos de buena calidad:

37.56%***


ventana: 46.98%*** * Significativo al 10% ** Significativo al 5%

*** Significativo al 1%

Resultados


No se encontró impacto significativos en los siguientes

indicadores de inversiones para el mejoramiento de la

calidad de la vivienda:

Acceso a agua: -3.21%

Conexión eléctrica: -2.75%

Usa cocina de gas o querosene:

-7.62%

Tiene baño propio: -3.54%

* Significativo al 10% ** Significativo al 5%

*** Significativo al 1%

Resultados


Cuando medimos el número de personas que recibieron una vivienda, ¿qué estamos evaluando?

A. El impacto

B. La necesidad

C. El proceso

D. El resultado

intermedio

A. B. C. D.

0% 0%0%0%


Evaluación de

Necesidades


Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

teoría, podemos

resolver el

problema?

¿Las METAS se

cumplieron?

¿El programa

funciona como

fue planificado?

¿Los

OBJETIVOS se

cumplieron?

¿En qué

magnitud?

Dadas la magnitud

y el costo ¿Cómo

se compara este

programa con

otras alternativas?


43


Análisis Costo-Efectividad

Análisis Costo-Efectividad (ACE):

Tomar el impacto de un programa y dividir

por el costo del programa, generando

estadísticas tales como: el número de casos

de diarrea prevenidos por dólar invertido.

44

Análisis Costo-

Efectividad

Ejemplo: TECHO


Es un punto de

partida para

discusiones de

política pública

basadas en

evidencia.

45

10

The analysis shows that the cost-effectiveness of programs to in cr ease children’s ti me in sc hool

varies widely, with informational campaigns in the Dominican Republic and Madagascar and

school-based deworming in Kenya providing the greatest value for money among the programs

examined here. Both of these programs can be delivered inexpensively and cause large increases

in student attendance and enrollment. Programs that reduce the costs of schooling through

subsidies or provide incentives conditional on attendance also increase time in school, but at a

higher cost, and conditional cash transfer programs are not as cost-effective as a program to

Análisis Costo-Efectividad


46

4. ¿Cuándo realizar una evaluación de impacto?


¿Cuándo realizar una evaluación de impacto?

A. Nunca.

B. Siempre.

C. La mayor parte de las veces.

D. ¿Cuando hay una pregunta de política

pública relevante sin respuesta?

E. Ninguna de las anteriores.

A. B. C. D.

0% 0%0%0%


Cuando hay una pregunta causal sin respuesta

Cuando el programa está madura

Cuando hay es factible estimar el contrafactual

¿Cuándo evaluar impacto? Importance How to Components Example


Cuando la pregunta ya ha sido contestada.

Cuando el programa no está maduro.

Cuando no es factible estimar el contrafactual.

¿Cuándo NO evaluar el impacto de una política?

Importance How to Components Example


¡Gracias!

Ryan Cooper

[email protected]

@ryancooper_b

J-PAL LAC

50

mailto:[email protected]

Introducción Por qué evaluar Tipos de evaluación. Por qué... · ¿Qué es un buen programa? ... Problemas de agencia . Introducción Por qué evaluar Tipos de evaluación Cuándo

Documents