AspectosOperativos de una Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/884041463422872845/... · – Replicable/escalable/expandible ... ¿Puede el SPE mejorar

1

Ryan CooperAbdul Latif Jameel Poverty Action Lab, LACSantiago, 15 de abril de [email protected]@JPAL_LAC

Aspectos Operativos de unaEvaluación de Impacto

Introducción

• Etapas de una evaluación de impacto de principio a fin.

• 3 pilares de la evaluación de impacto relevante.

• Ejemplo programa Servicio País en Educación.

• Productor y del consumidor de evaluaciones de impacto.

• Al final de cada sección destacaremos las principales preguntas que los productores y consumidores deben hacerse.

Consideraciones importantes1. Relevancia

a) ¿Es la pregunta a evaluar relevante para las políticas públicas y la academia?

b) Madurez del programa a ser evaluado.

c) ¿Se podrán generalizar los resultados?

¿Cuánto de esto es controlable?

2. Confiabilidad del impacto estimadoa) Estrategia de identificación adecuada y bien justificada.

b) Poder estadístico.

c) Protocolo de análisis definido ex‐ante.

3. Calidad de los datosa) Seleccionar, capacitar y pilotear.

b) Monitoreo y control de calidad.

1. Entender el contexto. [Relevancia]2. Tener una pregunta. [Relevancia]3. Diseñar la intervención. [Relevancia]4. Diseñar la evaluación. [Confiabilidad]5. Evaluar procesos. [Relevancia y Confiabilidad]6. Levantar datos. [Calidad de datos]7. Analizar el impacto. [Confiabilidad]8. Medir Costo‐Efectividad. [Calidad de datos y Relevancia]9. Validar y difundir los resultados. [Relevancia y Confiabilidad]

Pasos en una evaluación de impacto

1. Entender el contexto

2. Tener una pregunta

3. Diseñar la intervención

4. Diseñar la evaluación

5. Evaluar procesos

6. Levantar datos

7. Analizar impacto

8. Medir costo‐efectividad

9. Validar y difundir resultados

Pasos en una evaluación de impacto

Servicio País• ¿Cómo mejorar la educación en contextos vulnerables?

– Grandes esfuerzos en gasto público en Latinoamérica, con escasas mejoras en resultados educacionales.

• Dos miradas:– Sólo las intervenciones tempranas sirven.– Intervenciones tardías pueden funcionar.

– Algo de evidencia hay a favor de ambas miradas.

Relevancia


‐ Esta evaluación se mueve en la segunda de esas miradas.

‐ Servicio País en Educación (SPE):‐ Programa enfocado en 4° grado (~10 años).‐ Duración de 3 meses / 15 sesiones.‐ Enfoque en mejorar niveles de lectura.‐ Durante el horario de clases: ‐ Sustituye horas en el colegio.

Relevancia


• Preguntas para productores:⁻ ¿Por qué es el contexto interesante desde una perspectiva de política pública y académica?

• ¿Cuál es la pregunta?:⁻ ¿Qué necesidad o temática social trata el programa? ⁻ ¿Qué temas dentro de esta área presentan inciertos importantes para la política pública?

Relevancia

• Preguntas para consumidores:⁻ ¿Para quiénes es útil esta información y por qué?

⁻ ¿Cómo ayudaría esta información al desarrollo de política pública locales?






5. evaluar procesos

6. Levantar datos

7. Analizar impacto



Pasos en una evaluación

¿Cuándo utilizar una evaluación de impacto?• Evaluar el impacto cuando el proyecto es:

– Innovador– Replicable/escalable/expandible– Estratégicamente relevante para reducir la pobreza– Relevante para llenar algún vacío de conocimiento– Sustancial en el impacto de políticas

• Cuando se deseen probar alternativas dentro de un programa, en algunas ocasiones utilizando datos administrativos

• Para observar el costo‐beneficios, costo‐efectividad

10

Respuestas de Evaluación de Impacto

¿Cuál es el efecto de la información sobre comportamientos sexuales riesgozos y la prevalencia de VIH?

¿Concesionar el cuidado básico de la salud lleva al incremento e igualdad del acceso?

¿Los bonos a los vendedores generan mayores ganancias que descuentos a los precios del consumidor?

¿Los microcréditos aumentan la productividad de los pequeños empresarios?

¿Cuál fue el efecto del programa en los indicadores de resultado?

¿Cuánto mejor están los beneficiarios en respuesta al programa/política?

¿Cómo cambiarían los indicadores si cambiara el diseño del programa?

¿El programa es costo‐efectivo?

Respuestas de Evaluación de Impacto

2. Tener una Pregunta

• Es clave: 1. Pensar qué se quiere contestar con la evaluación.2. Preguntarse sobre la relevancia de la pregunta.3. Asegurar que la pregunta no haya sido contestada.

• Servicio País se plantea 3 preguntas:1. ¿Puede el SPE mejorar las habilidades cognitivas y no

cognitivas relacionadas con la lectura?2. ¿Existe alguna relaciones entre estas habilidades?3. ¿Qué tan costo‐efectivo es el programa?

Relevancia

• Preguntas para productores:‐ ¿Cómo afecta el programa el

comportamiento y percepciones de sus beneficiarios?

‐ ¿Qué indica la evidencia y/o literatura académica sobre los potenciales ángulos de impacto para el programa?

• Preguntas clave:‐ ¿Cuáles son las preguntas académicas y de política pública que buscará

contestar la evaluación de impacto?‐ ¿Cuáles son los objetivos del programa? ‐ ¿Sobre cuáles de estos es relevante analizar impacto?

Relevancia

• Preguntas para consumidores:‐ ¿Cuáles son las preguntas más

importantes para la política pública o el programa?

‐ ¿Cómo garantizar que las preguntas estén bien desarrolladas y puedan ser contestadas por una evaluación?

2. Tener una Pregunta





5. Evaluar procesos

6. Levantar datos

7. Analizar impacto




3. El Programa‐ Programa implementado por la Fundación para la Superación

de la Pobreza (FSP).‐ 15 sesiones de tutorías en tiempo de clase.‐ Los tutores son voluntarios universitarios.‐ Grupos de ~6 estudiantes por tutor.‐ Enfocado en escuelas vulnerables.‐ Objetivos:

1. Mejorar actitudes frente a la lectura.2. Mejorar niveles de lectura.3. Impactar en los voluntarios.

‐ Esta evaluación sólo contesta las dos primeras…

Cadena típica de resultados

Insumos• Financieros,

humanos, y otros recursos utilizados para llevar a cabo actividades

•Presupuestos, personal, otros recursos disponibles

Actividades• Acciones llevadas

a cabo o trabajo desempeñado para convertir los insumos en productos específicos

• Series de actividades realizadas para producir bienes y servicios

Productos• Resultado de

convertir los insumos en cosas tangibles

•Bienes y Servicios producidos y entregados dentro del control del organismo de ejecución

Resultados• Cambios como

resultado del uso de los productos por la población objetivo (comportamiento, utilidad, condiciones)

• No totalmente bajo el control del organismo de ejecución

Resultados Finales•El objetivo final del programa –beneficios

•Metas a largo plazo

• Cambios en los resultados debidos a diferentes factores

17

Implementación (OFERTA) Resultados (DEMANDA + OFERTA)

Análisis de Necesidades

Intervención‐Insumo

Producto

ResultadosIntermedios

Impacto

Bajos niveles de lectura

Tutorías dadas porvoluntarios universitarios

Estudiantes recibentutorías

Mejores habilidadescognitivas y no cognitivas

Mejor rendimientoacadémico

Una Teoría de Cambio simple aplicable a SPE


Relevancia

3. El Programa

‐ En la práctica…

Preguntas para consumidores y productores:• ¿De qué manera ataca nuestro programa a una necesidad particular? ¿Cuáles son las alternativas?

• ¿Está mi programa lo suficientemente maduropara evaluar su impacto?

• ¿Tiene mi programa varios componentes? ¿Tendría sentido testearlos por separado?


Relevancia





5. Evaluar procesos

6. Levantar datos

7. Analizar impacto




Tiempo

Impacto

Intervención

Problema del Contrafactual (Contra Fáctico)

Tiempo

IntervenciónImpacto


Tiempo

Intervención

Impacto


10 dulces 5 dulces

Impacto de 5 dulces

)()( 01 uYuYu


10 dulces 5 dulces

Impacto de 5 dulces

Modelo Causal

¡Peras con Manzanas!

10 dulces ‐ 5 dulcesImpacto Promedio de 5 días de consumo de dulces.

Solución: Comparar Grupos

Y1 | D 1

Y0 | D 1

10 dulces ‐ 5 dulces

Pero en general…

Y1 | D 1

Y0 | D 0

¡Peras con Manzanas!

¿Qué me conviene? Aleatorización

10 dulces ‐ 5 dulcesImpacto Promedio de 5 días de consumo de dulces.

Y1 | D 1

Y0 | D 1

4. Diseño de la evaluación

‐ Lo primero, ¿qué grupos incluir en la evaluación?‐ Depende de la pregunta: en este caso: ¿cuál es el impacto del SPE?

‐ Comparamos niños con SPE vs niños sin SPE.

TratamientoCon SPE

ControlSin SPE

Confiabilidad


Confiabilidad

= Inelegible

Asignación Aleatoria

= Elegible

1. Poblacion

Validez Externa

2. Muestra

3. Tratamiento

Validez Interna

Comparación

= Inelegible

Asignación Aleatoria de múltiplesintervenciones

= Elegible

1. Población Elegible 2. Muestra de Evaluación

3. Asignación Aleatoria 1

4. Asignación Aleatoria 2

X


TratamientoCon SPE

ControlSin SPE

Confiabilidad

• El diseño de la evaluación puede tener incidencia sobre la implementación del programa.

• Debe incluir un análisis de: – Marco Muestral.– Unidad de Aleatorización.– Estratificación.– Cálculo de Poder.


Confiabilidad

4.1. Marco Muestral‐ Se construye una lista de escuelas elegibles en base a los

criterios de la FSP:‐ Escuelas de bajo desempeño académico.‐ 10 municipios en 2 regiones (RM y VIII).‐ Dependencia de la escuela en algunos casos.‐ Escuelas de 100+ alumnos en 4° grado o parejas de escuelas cercanas

que sumen 100+ alumnos.

‐ Sólo se consideran en la evaluación escuelas que cumplan con todos estos criterios.‐ Se genera lista de reemplazo aleatoria, previendo no aceptación del

programa/evaluación.‐ Se contactan escuelas con el apoyo del Ministerio de Educación.

‐ Grupo Control: se le ofrece un informe de resultados del colegio.

4.2. Unidad de Aleatorización‐ ¿Cómo decidir a qué unidad aleatorizar?

‐ El programa se implementa en 4° grado.‐ Es díficil en la práctica excluir alumnos del programa en un colegio en que este se está implementando (Riesgo de Contaminación).

‐ Restricciones operativas de la FSP.

‐ Por ello, aparece como una opción idónea el aleatorizar a nivel de escuela.‐ ¿Qué riesgo surje al asignar por escuela?

“Grupos de personas”: Estudio aleatorio en unidades agrupadas


TratamientoCon SPE

ControlSin SPE

Confiabilidad

4.3. Estratificación‐ ¿Qué es estratificar? ¿Para qué sirve? ‐ ¿Por qué variables estratificar?

‐ Restriciones Operativas de la SPE: Estratificar por comunaen que están las escuelas.

‐ Además:‐ Estratificar por Nivel Socioeconómico de las escuelas.‐ Estratificar por Desempeño educativo de las escuelas.

‐ ¿Por qué?

4. Estratificación x Grupo

ConfiabilidadVulnerable Pobre

Nivel Socioeconómico

4. Aleat. Simple vs. EstratificadaEstratificada

Simple

4. Estratificación x parejasNivel Socioeconómico Rendimiento

4.4. Aleatorización

‐ La aleatorización construyó la siguiente muestra:

4.5. Instrumentos de Medición‐ ¿Cómo medir las variables de interés?‐ Determinar instrumentos de medición.

‐ Usamos cuatro fuentes.

1. Comprensión Lectora y Producción de Textos (CL‐PT):– Usamos una prueba estandarizada que mide:

• Comprensión de Lectura (RC)• Uso de la Lengua (UL)• Producción de Textos (TP).

– A estas las llamamos “habilidades cognitivas”.

4.5. Instrumentos de Medición

2. Gusto por la Lectura (GPL):– Construímos un instrumento nuevo en base a otros:

• Autopercepción como Lector (SPR).• Disfrute pro la Lectura (ER).• Interés por la Lectura (IR).• Percepción de la Lectura en la Escuela (PRS).

– A estas las llamamos “habilidades no cognitivas”.3. Información de Procesos del programa.4. Información Administrativa del Ministerio de

Educación.

4.6. Balance entre Grupos

‐ Es relevante revisar estadísticamente si los grupos de la evaluación están balanceados.

‐ ¿En qué dimensiones?‐ En todas las variables con que se cuente en la línea de base.

‐ ¿Entre qué grupos?‐ Los grupos experimentales.‐ Puede ser relevante mostrar que los “desertores” son iguales entre grupos.‐ En este caso la deserción fue considerable.

‐ Para otras subpoblaciones relevantes en el estudio.

¡La deserción (desgaste) muestral es particularmente grave cuando es sistemática!

¡Veamos primero cuando NO es sistemática!

4.6. Balance Entre grupos (Desercion)

Calidad

¡La deserción (desgaste) muestral es particularmente grave cuando es sistemática!

¡Ahora cuando SI es sistemáica la deserción!

4.6. Balance Entre grupos (Desercion)

Calidad

i. Balance en Características de la Escuela:

ii. Balance en Características de los Estudiantes:

iii. Balance entre Desertores y No Desertores

iv. Balance en puntajes de Línea de Base:

‐ Los grupos muestran estar balanceados.‐ La aleatoriazción hizo su trabajo.

‐ ¿Qué pasa si nos interesara medir impactos en subpoblaciones?

• Preguntas para productores:– ¿Cuál es la población

elegible? ¿Cuáles impactos se pueden medir y cómo?

– ¿A qué unidad aleatorizar?– ¿Se debería estratificar?– ¿Cuál es el tamaño de

muestra requerido?


Confiabilidad

• Preguntas para consumidores:– ¿Quién diseña la

evaluación? ¿Debo subcontratar los análisis anteriores?

– ¿Cuáles impactos son importantes para la política pública?

– ¿Cuáles son la restricciones políticas/éticas que deben tomarse en cuenta a la hora de evaluar?





5. Evaluar procesos

6. Levantar datos

7. Analizar impacto




• Feedback para programa del funcionamiento.

• Brecha entre programa en teoría y en práctica.

• Conocer el cumplimiento de la asignación de programa.

5. Evaluar procesos

Relevancia y Confiabilidad

‐ El monitoreo del SPE se basó en visitas aleatorias a lasescuelas.‐ Observación de Tutorías.‐ Cuestionario a Tutores.‐ Cuestionario a Profesores.

‐ Además, se recopiló información administrativa de la FSP, de asistencia de alumnos y tutores.

5. Evaluar procesos


‐ Resultados del Monitoreo de SPE:

‐ Hubo mucha heterogeneidad en la implementación del programa.

¿por qué es importante?

5. Implementar y evaluar procesos


‐ ¿Hay diferencias regionales?

‐ Si, y estadísticamente relevantes.‐ En la VIII región se implementó “mejor” que en la RM.

‐ La FSP confirmó esta presunción.

5. Evaluar Procesos

‐ ¿Comparten los alumnos esta mirada?

‐ Sí, evalúan mejor el programa cuando:‐ Reciben más sesiones de tutorías.‐ Reciben menos rotación de tutores.

5. Implementar y Evaluar Procesos

• Preguntas para consumidores:– ¿ Quién monitorea el

programa?– ¿Qué preguntas importantes

se pueden responder con respecto a la implementación de programa?

– ¿Cómo se puede utilizar la información de una evaluación de proceso para mejorar la entrega de servicios?

• Preguntas para productores:– ¿Hay heterogeneidad en la

intensidad de tratamiento?– ¿Se identifican parámetros

para la mejora en la implementación?

– ¿Existen márgenes que pudiesen generar resultados heterogéneos entre distintos grupos de unidades de tratamiento?

5. Evaluar procesos







6. Levantar datos

7. Analizar impacto



Pasos claves en una evaluación

‐ ¿Qué fuente de datos usar?‐ Datos Administrativos vs Encuestas.‐ ¿Cómo decidir?

‐ ¿Cuándo medir?‐ ¿Deberíamos tomar Línea de Base?‐ Línea de Salida:

– Se debe esperar lo suficiente para que los impactos se materialicen.

– Recolectar buenos datos de contacto en la línea base permite tomar varias líneas de salida. ¿Hay recursos paraeso?

6. Levantar Datos.

‐ En el caso de SPE, el cronograma fue el siguiente:

‐ En cada caso, las pruebas se tomaban en dos ocasiones, para reducir “deserción”.

6. Levantar datos

Primeras Semanas de

agostoDiseñar

instrumento

Agosto/ SeptiembreLínea Base

Octubre/ NoviembrePrograma y Monitoreo

DiciembreSeguimiento

Calidad

Pregunta clave: ¿Cómo balanceo los costos y calidad de una medición en una evaluación de impacto?

– ¿Cuáles son los parámetros de calidad que se deben resguardar?– ¿Cuáles son los elementos clave de un presupuesto de

evaluación?– ¿Cuál es el mix de calidad y costos que se busca al contratar una

empresa encuestadora?

6. Levantar datos

Calidad

Algunos principios:“Garbage in, garbage out.”

• Cabalidad: Datos completos levantados de la totalidad de la población de estudio.– Violación: Encuestas con secciones no llenadas.

• Precisión: Datos bien especificados, capturan correctamente los parámetros de interés.– Violación: Preguntas conformadas con lenguaje confuso.

• Integridad: Datos obtenidos según los protocolos de aplicación y procedimientos operativos. – Violación: Aplicación de preguntas de encuesta en el orden

incorrecto.

6. Levantar datos

Calidad

Algunos principios:

• Veracidad: Datos que expresan verazmente la información de la población de estudio.– Violación: Primado, falsificación de datos.

• Homogeneidad: Datos levantados por los mismos procesos y bajo las mismos protocolos de la población de estudio.– Violación: Encuestas tomadas con distintas instrucciones en

distintas poblaciones.

¡Los errores de calidad son particularmente graves cuando son sistemáticos y/o no distribuidos de igual manera entre

tratamiento y control!

6. Levantar datos

Calidad

¡Los errores de calidad son particularmente graves cuando son sistemáticos y/o no distribuidos de igual manera entre

tratamiento y control!

6. Levantar datos

Calidad

• Algunas recomendaciones para productores: ‐ La planificación del terreno y diseño de cuestionario toma tiempo! No se confíe. Trabaje con anticipación.

‐ Pilotear los instrumentos es relevante.‐ Para corregir formulación de preguntas.‐ Para calibrar escalas de respuestas.‐ No haga 1 piloto, haga varios.

‐ Buena coordinación con la muestra ayuda reducir la “deserción”. Esto es clave!

‐ Monitorear el levantamiento de datos es clave.‐ Recolectar buenos datos es caro, pero puede “valer la pena”.

Calidad

6. Levantar datos

• Herramientas para consumidores:‐ Checklist para evaluar

presupuestos de contratista.

‐ Checklist para elaborar términos de referencia.

6. Levantar datos

Calidad

• Preguntas para productores:‐ ¿La evaluación ha hecho provisiones

para la obtención del consentimiento informado, participación voluntaria de los sujetos del estudio?

‐ ¿El trabajo de campo se ha conformado considerando que la información personal de los encuestados y la confidencialidad del estudio e intervención sea resguardada?

‐ ¿Qué contraparte es responsable por proveerles a los participantes una vía por la cual pueden realizar consultas del estudio y/o cancelar su participación dentro del estudio?

• Pedir un Listado Detallado de Supuestos: ¿Equipos? ¿Fuente de estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)? ¿Cuáles son los imprevistos esperados, demoras, y planes de contingencia para situaciones adversas?

• Pedir un Estimado de Costos Unitarios: ¿Cuál es el costo unitario (promedio) de llegar a cada observación en la muestra? ¿Cómo varía el costo unitario entre observaciones o grupos de observaciones?

• Conformar un Presupuesto Propio: ¿Si se rehace en presupuesto de l contratista, como comparan los costos? ¿Cuáles supuestos o cálculos parecen explicar las diferencias?

• Solicitar Escenarios: ¿Cuáles escenarios entrega el contratista al solicitarle un mínimo de 3 escenarios presupuestarios? ¿Cuáles parámetros varía el contratista?

6. Checklist: Evaluar presupuestos

• Protocolo de Confidencialidad: Protección de Información del Estudio y Participantes de Estudio; Instructivo de Manejo de Información

• Protocolo de Muestreo: Definición estricta de Marco Muestra, Tasas de Participación, Instructivo para Recuperación y Búsqueda

• Protocolo Etapas: Listado de etapas de preparación, debería incluir varios pilotajes, tiempo para solicitar permisos

• Selección y Entrenamiento de Personal: Especificaciones para selección de personal competitivo y entrenamiento práctico; especificaciones de estructura salarial

Calidad

6. Checklist: Términos de referencia

• Protocolo de Aplicación: Instructivo completo para aplicación de cuestionarios e otros instrumentos de medición, proceso de aplicación

• Protocolo de Monitoreo: Plan de monitoreo que incluye tres actividades claves de monitoreo, tasas de error aceptables, plan de corrección

• Protocolo y Entregas: Cronograma Fijo de Reportes y Productos incluyendo: Manuales de Entrenamiento, Hojas de Control, Datos, Reportes de Errores

6. Checklist: Términos de referencia

Calidad






6. Levantar datos

7. Analizar impacto




1. Variables de CL‐PT (habilidades cognitivas):1.1. ITT: Simplemente, hacemos una regresión del puntaje

obtenido sobre la variable de tratamiento.

CLPTisk = kTs + Xis + isk

‐ k es el impacto de programa sobre todo el grupo tratamiento.

‐ Es relevante corregir los errores estándar por la presencia de clusters en la muestra.

7. Analizar impacto

Calidad

1. Variables de CL‐PT (habilidades cognitivas):1.2. TT: Ahora hacemos una regresión del puntaje obtenido

sobre el número de tutorías recibidas, usando la variable de tratamiento como variable instrumental.

CLPTisk = kNis + Xis + isk

‐ Ahora k es el impacto sobre los tratados, reconociendo las diferencias en las intensidades del tratamiento recibido.

‐ ¿Cuál es mayor? ¿ITT o TT? ¿Cómo cambia la interpretación?

7. Analizar impacto

Calidad

7. Analizar impacto

• Se observan ciertos impactos.‐ En Comprensión lectora:

‐ Impacto promedio de 0.08, pero sólo mg. significativo.‐ Impacto de 0.18 sobre colegios de la VIII.‐ Impacto de 0.12 sobre colegios vulnerables de la VIII.

‐ En Uso de la lengua:‐ Impacto de 0.28 sobre colegios de la VIII.‐ Impacto de 0.38 sobre colegios vulnerables de la VIII.

‐ La buena/mala implementación es relevante!‐ Impactos focalizados en colegios vulnerables.

Calidad

7. Analizar impacto

Resultados externalidades• Teoría:

‐ Los alumnos reciben menos clases de sus materias tradicionales, pero…

‐ Los profesores tienen más tiempo para preparar clases.

• Los resultados muestran que:‐ No hubo externalidades negativas.‐ Hubo ciertas externalidades positivas en las materias

humanistas.‐ Pero, ¿Porqué no en lenguaje?

‐ La información de procesosmuestra que fue la materia más reemplazada por el programa… Calidad

7. Analizar impacto

Calidad

• Entonces:‐ Hay algunos resultados de impacto relevantes.‐ Es interesante notar la relación entre Ev. De Procesos y Ev. De

Impacto.‐ Sin embargo:

‐ Algo de heterogeneidad.‐ Pocos impactos estadísticamente significativos.

• ¿Porqué los impactos no fueron significativos?‐ Tamaño Muestra vs Magnitud del Impacto.

7. Analizar impacto

Calidad

‐ Análisis de totalidad de datos levantados para la evaluación y medición de impacto del programa. El análisis final debe contemplar varios escenarios de impacto y especificaciones de medición.

‐ Típicamente los resultados de una evaluación de impacto son sometidos a “peer review” previo a ser considerados definitivos y proceder a ser diseminados ante audiencias académicas, del programa, y de política pública (a definir ex ante).

7. Analizar impacto

Calidad

• Preguntas para productores:– ¿Se contemplan varios

escenarios para reportarlos resultados?

– ¿Se distingue entre lo quees significativo o no?

– ¿Faltó poder estadístico?– ¿En el contexto de la

literatura, son los impactos los esperados?

• Preguntas para consumidores:– ¿Cuál es el efecto sobre las

variables de interés másimportantes para políticaspúblicas?

– ¿Funciona nuestroprograma? ¿De qué manera?

– ¿Son confiables los resultados?

7. Analizar impacto

Calidad






6. Levantar datos

7. Analizar impacto




8. Medir Costo‐Efectividad

• Una línea en que las evaluaciones son útiles es para comparar políticas/programas.

• Cálculos de costo‐efectividad ayudan a ello.‐ Ponen impactos en una métrica común.

• Pero, tienen sus problemas:‐ No consideran impactos sobre múltiples variables.‐ Se construyen sobre supuestos.‐ No consideran rendimientos marginales de los programas.

Calidad y Relevancia


• Resultados Costo‐Efectividad‐ Cálculos para el SPE‐ Lo hacemos para distintas subpoblaciones de

colegios.


8. Medir Costo‐EfectividadComparando Costo‐Efectividad


Preguntas para consumidores:‐ ¿Presentan los resultados

en forma intuitiva?‐ ¿Pueden ser insumos

importantes para la toma de decisiones?

‐ ¿Cómo se compara el programa a los demás?

Preguntas para productores:‐ ¿Tengo buenos datos de

costos?‐ ¿Cuáles son los supuestos

que utilizo para medir la costo‐efectividad?

‐ ¿Ayuda este ejercicio a hacer de las evaluaciones experimentales una herramienta útil de política pública?







6. Levantar datos

7. Analizar impacto


9. Validar y difundir

resultados



• ¿Cuál es el objetivo de una evaluación?1. Aprendizaje académico.2. Impacto en políticas públicas.

• Aspectos a tener en cuenta antes de difundir:– Lenguaje adecuado!– Tener los resultados listos. Para esto, el proceso de

validación académica es relevante.

‐ ¿Qué hacer cuando el impacto es 0?



• En este caso:‐ Presentación en seminarios académicos nacionales e

internacionales.‐ Mejoras y correcciones.

‐ Presentación a la FSP y al Ministerio de Educación.‐ El programa se mantuvo para el año siguiente.

• ¿Cómo manejar las expectativas?‐ Mostrar todas las estimaciones.‐ ¡Es clave evaluar procesos!



Preguntas para consumidores:‐ ¿A quién le interesan estos

resultados?‐ ¿Cómo los puedo hacer

relevantes en el contexto de política pública?

‐ ¿Cuál es la estrategia de comunicación? ¿Cómo tener el mayo impacto?

Preguntas para productores:‐ ¿A quién le interesan estos

resultados?‐ ¿Cuáles son los resultados que

más destacables?‐ ¿Cómo se esperaría que estos

resultados cambien o informen la política pública?






5. Evaluar procesos

6. Levantar datos

7. Analizar impacto




Conclusiones

• SPE: una política de corto plazo que logró impactar los niveles de lectura de alumnos de colegios vulnerables.‐ Impactos concentrados en:

o Colegios relativamente más vulnerables.o Zonas en que el programa fue mejor implementado.

• Impactos sobre variables cognitivas y no cognitivas.‐ Con un patrón relacionado entre ambas.

• No se encontró evidencia de externalidades negativas.• Investigación Futura:

‐ Relación entre habilidades cognitivas y no cognitivas.

• Relevancia– ¿Resultado es útil para la toma de decisión de política?

• Confiabilidad del impacto estimado– ¿La evaluación es capaz de medir el impacto relevante?

• Calidad de los datos– ¿La información y datos utilizados son fidedignos?

Consideraciones importantes

Conclusiones generales

• Evaluar impacto…‐ Implica bastante trabajo.‐ Exige el uso de recursos.‐ Exige ser creativo.‐ Y toma tiempo.

• Pero…‐ Es posible y es un deber ético…‐ Genera evidencia relevante. Para…‐ Avanzar en la “ciencia”.‐ Mejorar la toma de decisiones y el uso de recursos.

AspectosOperativos de una Evaluación de Impactopubdocs.worldbank.org/pubdocs/publicdoc/2016/5/884041463422872845/... · – Replicable/escalable/expandible ... ¿Puede el SPE mejorar

Documents