Marco Lógico, Indicadores Medición Impacto · PDF file · 2017-07-14MARCO LOGICO facilita evaluación y medición de

TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

Marco Lógico, Indicadores y Medición del Impacto

Francisco GallegoInstituto de Economía ‐ PUCAbdul Latif Jameel Poverty Action Lab

povertyactionlab.org

1. Evaluaciones de impacto: ¿Qué son? ¿Por qué hacerlas? ¿Cuándo hacerlas?

2. Marco lógico, indicadores y medición del impacto

3. ¿Por qué aleatorizar?4. ¿Cómo aleatorizar?5. El tamaño muestral 6. Implementar una evaluación7. Análisis e inferencia

Agenda del curso

1. ¿Evaluaciones de impacto: ¿Qué son? ¿Porqué hacerlas? ¿Cuándo hacerlas?

2. Marco lógico, indicadores y medición del impacto

3. ¿Por qué aleatorizar?4. ¿Cómo aleatorizar?5. El tamaño muestral6. Implementar una evaluación7. Análisis e inferencia

Agenda del curso

1. Evaluación de impacto requiere PROFUNDO conocimiento de funcionamiento y objetivos del programa

2. MARCO LOGICO facilita evaluación y medición de cómo funciona un programa y cual es su impacto  

– Articula objetivos insumos, productos, resultados e impactos

– Simplifica definición de hipótesis de investigación – Facilita construcción indicadores para distintas metas del 

programa

Objetivos de aprendizaje

4

1. Marco lógico

2. Resultados e indicadores

3.   Nociones iniciales de medición de impacto

Resumen de la exposición

5

1. Marco lógico– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Cuotas en consejos de aldeas en India

2.   Resultados e indicadores

3.   Nociones iniciales de medición del impacto

Resumen de la exposición

6

1. Marco lógico– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Cuotas en consejos de aldeas en India

2.   Resultados e indicadores

3.   Nociones iniciales de medición del impacto

Resumen de la exposición

7

• Representa visualmente cadena CAUSAL entre:– Necesidades/Objetivos– Insumos– Productos– Resultados intermedios– Impactos (esperados y no deseados) 

• Facilita definición de hipótesis a verificar

Marco Lógico

1. Marco lógico– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Cuotas en consejos de aldeas en India

2.   Resultados e indicadores

3.   Nociones iniciales de medición del impacto

Resumen de la exposición

9

Cadena de causalidad

Objetivos Insumos Productos Resultados Intermedios Impactos

Cadena de causalidad

Objetivos Insumos Productos Resultados Intermedios Impactos

Enriquecen comprensión del programaRefuerzan conclusionesFacilitan extracción de lecciones

Cadena de causalidad

OBJETIVOS1. Responden a una 

necesidad2. Especifican población 

objetivo3. Son medibles

Cadena de causalidad

INSUMOS1. ¿Qué puedo hacer para 

lograr objetivo?2. Factibles3. Son medibles

Cadena de causalidad

PRODUCTOS1. Consecuencia directa de 

mi acción/ intervención2. Son medibles3. Representan el primer 

“resultado” observable de mi acción  

Cadena de causalidad

RESULTADOS INTERMEDIOS1. Son los factores de 

transición que conectanlos productos con los impactos

2. Son medibles

Cadena de causalidad

IMPACTOS1. Lo que quiero cambiar con 

programa2. Directamente 

relacionados con objetivos

3. Son medibles

1. Marco lógico– ¿ Qué es?– ¿ Cómo se desarrolla?– Ejemplo: Cuotas en consejos de aldeas en India

2.   Resultados e indicadores

3.   Nociones iniciales de medición del impacto

Resumen de la exposición

17

El entorno: Cuotas en los consejos de la aldea

18

• ¿Cuáles son los objetivos principales del Consejo de la aldea?

• ¿Cuáles son las principales características de la política de cuotas? 

Fuente: “Women as Policy Makers: Evidence from a Randomized Policy Experiment in India”, de Raghabendra Chattopadhyay y Esther Duflo (2004a), Econometrica 72(5), 1409‐1443.

El entorno: Cuotas en los consejos de la aldea

19

• ¿Por qué se consideraron deseables las cuotas en este contexto? 

• ¿Por qué algunas personas dudaron de que las cuotas serían efectivas? 

La controversia de las cuotas

20

• ¿Cuáles son posibles cadenas de causalidad en el caso de las cuotas? 

• ¿Cuáles son etapas necesarias para obtener impactos finales? 

• ¿Cuáles son posibles impactos finales?

Marco lógico de las cuotas

21

Necesidades Insumo Producto Resultado Intermedio

Impacto Objetivo a largo plazo

? ? ? ? ? ?

22

Marco lógico de las cuotas

Necesidades Insumo Producto Resultado Intermedio

Impacto Objetivo a largo plazo

Disparidad de genero en salud y educación. El gobierno local no representa  necesidades de 

mujeres. 

?Equidad de género en salud, 

educación. 

Lo que hago para lograr mi objetivo

23

Marco lógico de las cuotas

Necesidades Insumo Producto Resultado Intermedio

Impacto Objetivo a largo plazo

Disparidad de genero en salud y educación. El gobierno local no representa  necesidades de 

mujeres. 

Escaños reservados 

para mujeres líderes

?

?

24

Marco lógico de las cuotas

Consecuencia directa de mi acción

Necesidades Insumo Producto Resultado Intermedio

Impacto Objetivo a largo plazo

Disparidad de genero en salud y educación. El gobierno local no representa  necesidades de 

mujeres. 

Escaños reservados 

para mujeres líderes

Más mujeres líderes a nivel local ?

?

25

Marco lógico de las cuotas

Factores que conectan producto  con impacto

Necesidades Insumo Producto Resultado Intermedio

Impacto Objetivo a largo plazo

Disparidad de genero en salud y educación. El gobierno local no representa  necesidades de 

mujeres. 

Escaños reservados 

para mujeres líderes

Más mujeres líderes a nivel local

Mujeres más comprometidas y más involucradas directamente en 

la toma de decisiones políticas

?

?

26

Marco lógico de las cuotas

Lo que quiero afectar directamente relacionado con objetivo => HIPOTESIS CLAVES

• Enumeremos todos los posibles impactos de las cuotas

¿Posibles impactos?

27

Defina las hipótesis clave antes del inicio del experimento

• Suponga que recolecta datos de 20 diferentes indicadores de impacto– Encuentra uno que es muy positivo– Encuentra uno que es muy negativo– Encuentra que para 18, los resultados son muy similares y no son significativamente diferentes

• ¿Qué puede concluir? 

28

Múltiples posibles impactos

• ¿Cuáles podrían ser ejemplos de algunas hipótesis clave a probar?

Definir hipótesis clave

29

Necesidades Insumo Producto Resultado Intermedio

Impacto Objetivo a largo plazo

Disparidad de genero en salud y educación. El gobierno local no representa  necesidades de 

mujeres. 

Escaños reservados 

para mujeres líderes

Más mujeres líderes a nivel 

local

Mujeres más comprometidas y más involucradas directamente en 

la toma de decisiones políticas

Diferentes bienes públicos. Mejores resultados 

en educación y 

salud

Equidad de género en salud, 

educación. ¿Ya no son 

necesarios las cuotas?

30

Marco lógico de las cuotas

1.   Modelos lógicos– ¿ Qué son?– ¿ Cómo se desarrollan?– Ejemplo: Cuotas en consejos de aldeas en India

2.   Resultados e indicadores

3.   Nociones iniciales de medición del impacto

Resumen de la exposición

31

• Describe el entorno en cual se realiza la intervención/el experimento

• Cuantifica insumos en la intervención

• Permite evaluar la implementación de la intervención

• Cuantifica los resultados e impactos

• Registra las percepciones de la intervención

Medición…

32

• Describe el entorno en cual se realiza la intervención/el experimento

• Cuantifica insumos en la intervención• Permite evaluar la implementación de la intervención• Cuantifica los resultados e impactos• Registra las percepciones de la intervención

Medición…

33

SE HACE POR MEDIO DE INDICADORES

• ???

¿Qué es un indicador?

• Variables cuantitativas o cualitativas que nos permiten de forma sencilla y confiable:– Describir entorno de necesidades– Medir insumos– Caracterizar implementación/procesos– Cuantificar resultados/impactos– Registrar percepciones

Indicadores son…

Consejos sobre recolección de indicadores

Medición de la presión arterial en Udaipur, India

• C (laros): precisos y sin ambigüedad

• R (elevantes): apropiados para la medición en   cuestion

• E (conómicos): fáciles de medir y recolectar

• A (decuados): suficientes para detectar impactos en hipótesis claves

CREA: Características de buenos indicadores (Kusek & Rist 2004)

Necesidades Insumo Producto Resultado Intermedio

Impacto Objetivo a largo plazo

Disparidad de genero en salud y 

educación. El gobierno local no representa  necesidades de mujeres. 

Escaños reservados

para mujeres líderes

Más mujeres líderes a nivel

local

Mujeres más comprometidas

y más involucradas

directamente en la toma de decisiones políticas

Diferentes bienes

públicos. Mejores

resultados en

educación y salud

Equidad de género en

salud, educación. ¿Ya no son necesarios las cuotas?

INDICADORES:

? ?38

Modelo lógico con indicadores 

?

Necesidades Insumo Producto Resultado Intermedio

Impacto Objetivo a largo plazo

Disparidad de genero en salud y 

educación. El gobierno local no representa  necesidades de mujeres. 

Escaños reservados

para mujeres líderes

Más mujeres líderes a nivel

local

Mujeres más comprometidas

y más involucradas

directamente en la toma de decisiones políticas

Diferentes bienes

públicos. Mejores

resultados en

educación y salud

Equidad de género en

salud, educación. ¿Ya no son necesarios las cuotas?

INDICADORES:

Género del líder

Asistencia de las mujeres a reuniones del consejo. Discusión sobre importancia de salud y educación de niñas

39

Modelo lógico con indicadores 

Composición del presupuesto.Nivel de alfabetización y BMI para niñas, niños.

1.   Modelos lógicos– ¿ Qué son?– ¿ Cómo se desarrollan?– Ejemplo: Cuotas en consejos de aldeas en India

2.   Resultados e indicadores

3.   Nociones iniciales de medición del impacto

Resumen de la exposición

40

• ¿Qué habría ocurrido en ausencia del programa a quienes participaron en él?

• Diferencia entre Qué ocurrió (con el programa)  

– qué habría ocurrido (sin el programa)

= IMPACTO del programa

41

¿Cómo medir el impacto?

Impacto: ¿Qué es?

Tiempo

Impa

cto Impacto

Intervención

• Contrafactual:  ¿Qué habría ocurrido en ausencia del programa a quienes participaron en él?

• No puedo observar a una persona que participa y no participa en el programa simultáneamente. 

• Objetivo clave de todos los métodos de evaluación de impacto es construir o “replicar” el contrafactual.• Seleccionando un grupo no afectado por el programa,   

un grupo de comparación (o “grupo de control”)

Impacto y el contrafactual

• Experimental:– Utiliza asignación aleatoria del programa para crear un grupo de control que imite el contrafactual.

• No experimental:– Argumenta que un cierto grupo excluido replica el contrafactual. 

44

Construyendo el contrafactual

Observando el contrafactual

Observando el contrafactual

1. Evaluación de impacto requiere PROFUNDO conocimiento de funcionamiento y objetivos del programa

2. MARCO LOGICO facilita evaluación y medición de cómo funciona un programa y cual es su impacto  

– Articula objetivos insumos, productos, resultados e impactos

– Simplifica definición de hipótesis de investigación – Facilita construcción indicadores para distintas metas del 

programa– Ayuda a pensar escenario contrafactual

Conclusión 

47