Sesión 6A Por favor, Canal 50 …y cuánto vale el showpubdocs.worldbank.org/en/437361463422859085/Core-Sesion-1-El-e… · 2 Calidad Total en encuestas La integración de . el diseño

1

Sesión 6A El escenario, los actores, el guión …y cuánto vale el show

Juan Muñoz, Sistemas Integrales Santiago, 17 de abril de 2013

Por favor, conéctese al

Canal 50

El producto final

Muestreo

Gestión

de datos

instrumentos

Recolección de datos

2

Calidad Total en encuestas

La integración de el diseño muestral, el cuestionario y los instrumentos, el trabajo de campo y la gestión de los datos con el fin de entegar a los analistas Una base de datos fiable En tiempo oportuno

Los datos pierden valor si no representan la realidad del momento

El ejecutor del programa de intervención

El evaluador (Agencia de evaluación, nacional

o internacional)

Firma encuestadora responsable de recoger los datos

Equipo central

El escenario y los actores

3

Finanzas $

Gerente

Brigadas de campo

Jefe de proyecto Jefe

de gestión de datos

Especialistas en diseño y análisis de Evaluación de Impacto

Jefe de operaciones de campo

Aseguramiento de Calidad

Equipo de evaluación

¿Quién debe ser responsable de asegurar la calidad?

1 2 3 4 5

0% 0% 0%0%0%

1. La firma encuestadora

2. El investigador principal

3. El equipo de evaluación

4. El comité de ética 5. Otro

El guión

• Grupos de actividades – Gestión, logística y finanzas – Desarrollo del cuestionario – Muestreo – Selección y capacitación

del personal – Trabajo de campo y

Aseguramiento de Calidad – Análisis y documentación

• Fases – Diseño – Recolección de datos – Análisis

Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|

Diseño de la evaluación

Gestión, logística y finanzas

Desarrollo del cuestionario

Muestreo

Selección y capacitación

Trabajo de campo y Aseguramiento de Calidad

Análisis y documentación

Diseño


Análisis

Línea basal

Seguimiento

Evaluación de Impacto – Un drama en tres actos

Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|




Muestreo




Diseño


Análisis

Línea basal

Seguimiento


• Acuerdos institucionales, MdEs • Procedimientos de desembolso • Firma encuestadora

• TdRs • Selección • Contrato

• Adquisición • Vehículos • Computadores • Otros equipos

• Publicidad


¿Cómo podemos asegurar que los hogares acepten ser entrevistados?

1 2 3 4

0% 0%0%0%

1. Usando medios de comunicación masiva

2. Pidiendo a la policía que recuerde a los hogares la obligación de responder

3. Entregando folletos, cartas del Ministerio, etc.

4. Usando incentivos monetarios

Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|




Muestreo




Diseño


Análisis

Línea basal

Seguimiento



• Identificar los indicadores de Evaluación de Impacto

• Identificar otros temas relevantes • Cuestionario de hogares

Primer borrador • Preparación • Formateo • Solicitud de comentarios • Seminario

• Re-diseño • Traducción • Pre-test • Impresión

• Cuestionario de establecimientos • Cuestionario comunitario

1 2 3 4 5

0% 0% 0%0%0%

1. El equipo de evaluación

2. La firma encuestadora

3. El jefe de gestión de datos

4. Encuestadores experimentados

5. Todos los anteriores

¿Quién debe desarrollar el cuestionario?

Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|




Muestreo




Diseño


Análisis

Línea basal

Seguimiento


Muestreo

• Diseño muestral • Desarrollo de los marcos de 1ra etapa

• Lista de Áreas Censales • Cartografía • Listado de establecimientos

• Selección de las UPMs • Aleatorización Tratamiento / Control

• Desarrollo de los marcos de 2da etapa • Listado de hogares • Listado de proveedores

• Selección de hogares / proveedores • Aleatorización Tratamiento / Control

• Cálculo de ponderadores • Cálculo de errores muestrales

1 2 3 4

0% 0%0%0%

1. Los hogares que serán entrevistados

2. Las Unidades Primarias de Muestreo

3. La cartografía 4. Los indicadores de

evaluación de impacto

¿Qué unidades de muestreo se eligen primero?

Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|




Muestreo




Diseño


Análisis

Línea basal

Seguimiento



• Selección y capacitación para el ensayo de campo

• Preparación de manuales • Supervisor • Encuestador • Operador de ingreso de datos

• Selección del personal de campo • Preparación de la capacitación

• Local/es, logística, etc. • Capacitación del personal de campo

• Semanas, no días • Plenarias, ejercicios en clase

prácticas en campo • Capacitar más personal que lo

estrictamente necesario, después elegir

1 2 3 4 5

0% 0% 0%0%0%

1. Los encuestadores 2. Los miembros del

Equipo Central 3. Los supervisores de

campo 4. El equipo de

Aseguramiento de Calidad

5. Los operadores de ingreso de datos

¿Quiénes se eligen primero?

Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|




Muestreo




Diseño


Análisis

Línea basal

Seguimiento



• Ensayo de campo • Desarrollo de programa de ingreso de

datos • Puede o no ser CAPI !

• Preparar los procedimientos de

supervisión humana • Preparar los protocolos de trasmisión de

datos • Preparar los protocolos de

consolidación de datos • Definir los indicadores de calidad de

campo • Monitoreo del trabajo de campo

1 2 3 4 5 6 7

0% 0% 0% 0%0%0%0%

1. Incentivos monetarios adecuados

2. Monitoreo central de indicadores de calidad

3. Adquisición oportuna de los equipos e insumos

4. Aleatorización efectiva 5. Ingreso de datos

inteligente en campo 6. Vehículos adecuados 7. Supervisión humana en el

campo

¿Cuáles son los tres pilares del Aseguramiento de Calidad?

Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|




Muestreo




Diseño


Análisis

Línea basal

Seguimiento



• Después de la encuesta de línea basal • Informe de línea basal • Comparación tratamiento / control

• Después de la encuesta de seguimiento • ¿Hubo impacto? • Otros temas relevantes (derrame,

focalización, costo-efectividad, etc.) • Entonces

• Monografías académicas • Siempre

• Documentar todo • Diseminar las bases de datos

1 2 3

0% 0%0%

1. Documentar 2. Publicar en revistas

académicas 3. Recomendaciones

de política pública

¿Qué es lo más urgente?

Documentación

19

Microdatos

Metadatos

Documentación

• Los Microdatos son – Los datos recogidos en la encuesta – Los diccionarios de datos (etiquetas, códigos, etc.)

• Los Metadatos son – El marco conceptual de la investigación – Documentos administrativos (TdRs, propuestas, contratos,

aprobaciones éticas, etc.) – Diseño muestral, cálculos de potencia, marcos muestales,

cartografía, listados de hogares, etc. – Informes técnicos (calendario, plan de trabajo, encuesta

piloto y ensayos de campo, informes de avance, etc.) – Cuestionarios, manuales y otro material de encuesta – Informes fundamentales (Línea basal, Seguimiento,

Evaluación de Impacto y recomendaciones) – Publicaciones académicas – Etc.

21

• El archivado correcto es esencial para – Diseminar los datos entre los evaluadores, investigadores y el público – Preservar los datos para el futuro

• Los metadatos (datos sobre los datos) ayudan a los usuarios a – Encontrar los datos de interés – Entender lo que se está midiendo – Saber de dónde vienen los datos – Apreciar la calidad de los datos

• La documentación es una actividad permanente, que comienza mucho antes de recoger los datos

• Alguien debe ser responsable

¿Por qué es importante documentar?

Metadata Editor, un estándar de documentación

22 www.ihsn.org

Mes |●●●●●●●●●●●●|●●●●●● ●●●●●●|●●●●●●●●●●●●|




Muestreo




Línea basal

Seguimiento

Evaluación de Impacto – Un drama en tres actos Escenas culminantes (actividades críticas)

Elección del Equipo Central

Prueba piloto

Capacitación del personal

Evaluación de Impacto

1 2 3 4 5 6

0% 0% 0%0%0%0%

1. Muestreo 2. Gestión de datos 3. Trabajo de campo 4. Aseguramiento de

Calidad 5. Análisis de datos 6. Ninguno de los

anteriores

¿A qué grupo de actividades pertenece la “limpieza de datos”?

Remuneración del personal de campo

Viáticos

Transporte

Listado de hogares Otros Equipo Central

Overhead

Equipo de Evaluación

Equipo de QA (Aseguramiento de

Calidad)

Viajes internacionales Per diems internacionales

Distribución del presupuesto


Diseño, Análisis y

QA

26

• Es difícil hablar de un “presupuesto típico”, porque los presupuestos no siempre incluyen rubros importantes: – Tiempo y viajes del personal de agencias

internacionales – Asistencia Técnica (Equipo de Evaluación, Equipo de

Aseguramiento de Calidad) • Algunos presupuestos consideran gastos no vinculados a

la evaluación – Viajes de estudio

• Algunos presupuestos incluyen bienes de capital que perduran después de la evaluación (computadores, vehículos)

• Hoy día, las encuestas de Evaluación de Impacto suelen fluctuar entre $100 y $300 por hogar

Presupuestos típicos

Sesión 6A Por favor, Canal 50 …y cuánto vale el showpubdocs.worldbank.org/en/437361463422859085/Core-Sesion-1-El-e… · 2 Calidad Total en encuestas La integración de . el diseño

Documents