Programa Aprender en Familia: Evaluación de Impactos3-sa-east-1.amazonaws.com/redeitausocialdeavaliacao-producao/wp... · 1CB 2CB Dimensión Escala Estud Apod Prof Estud Apod Prof

Programa Aprender en Familia:Evaluación de Impacto

Francisco Gallego

Pontificia Universidad Católica de Chile

Abdul Latif Jameel Poverty Action Lab (J-PAL)

El programa en la literatura científica

Los grandes temas relacionados

3

Importancia de la familia en los resultados educativos de las niñas y niños

Desarrollo de habilidades cognitivas y socio-afectivas

Involucramiento parental y relación familia escuela en la educación

La literatura de involucramiento parental

4

Dos “extremos”:Intervenciones “baratas” enfocadas en

aspectos específicos y usando SMSs:

• Ejemplo: Gallego, Malamud, Pop-Eleches(2016): uso de internet.

Intervenciones “caras”, amplias y presenciales que buscan afectar múltiples aspectos:

• Ejemplo: Chicago Child–Parent Center (Kautz et al., 2014)

La literatura de involucramiento parental

5

Alternativa intermedia:“Getting Parents Involved: A Field Experiment

in Deprived Schools (Avvisati et al., 2014).”

• Padres asisten a 3 reuniones en la escuelapara aprender herramienas de involucramiento y de apoyo a sus hijos.

• Resultados en asistencia, índices de involucramiento, comportamiento de losniños y externalidades en padres que no asisten.

• Efectos débiles en resultado académicos.

• Costo marginal de escalar: US$130 por niño.

¿Programa Aprender en Familia?

6

Programa:…amplio en objetivos…

…amplio en medios

…desde una estrategia familia-escuela que se instala en la escuela

…Componente crucial: Escuela para Padres que usa monitoras voluntariaspotencialmente replicable a bajo costo

La evaluación de impacto

Creando un contrafactual válido

Aleatorización

Asignación al Programa

63 escuelas elegibles

Aleatorización

26 escuelas intervenidas

37 escuelas tratamiento

Línea de tiempo: dos cohortes (PAF III y PAF IV)

Seguimiento Final

Aleatorización

Línea baseSeguimiento Intermedio

Variables de interés y agentes

Información de procesos

Margen extensivo del programa

Funcionamiento de Escuelas para Padres

Percepción de profesores, monitores y

apoderados

Apoderados

Escalas: Familia

Escalas: Escuela

Escalas: Familia-Escuela

Niñas y niños

Asistencia

Desempeño Académico

Escalas: Familia

Escalas: Escuela

Escalas: Familia-Escuela

Profesores

Escuela

Apoderados

Niños

Relación Familia-Escuela

Desafíos de medición

12

Medición de aspectos “subjetivos” y comportamientos de familia, relación familia-escuela, percepciones.

Solución (potencial): Preguntar a diferentes agentes (estudiantes,

apoderados, profesores)

Cuestionarios auto-administrados:Respuestas “políticamente correctas”

Cambian estándares como consecuencia del tratamiento

[En progreso: encuesta de hogares con instrumentos diferentes]

Cantidad de instrumentos aplicados

Instrumento

Seguimiento II

2014 2015

PAF III PAF IV Total

Apoderados 6498 6720 13218

Estudiantes 7116 7432 14548

Profesores 277 331 608

CLP 8246 8948 17194

Procesos: ¿se implementó el programa? ¿cómo?

Evaluación de Procesos

La implementación de las Escuelas para Padres es exitosa,pese a vulnerabilidad de las escuelas y Paro Docente 2015

3

3,5

4

4,5

5

5,5

6

2013 2014 2015 Total

Promedio de Sesiones de EPP por cohorte

PAF III PAF IV


Creciente participación de profesores como monitor


… Pero apoderados parecen estar mejor preparados

Otros resultados sobre EPP:

• Asistencia a reuniones decrece en cursos mayoresrespecto de cursos menores.

• Principal razón de inasistencia entre apoderados ymonitores es el trabajo.

• Sesiones observadas duran en promedio 26 minutos• Participación de profesores como monitores es mayor en

cursos más grandes (11% mayor en 7° que en 3° básico)• 60% de las sesiones observadas cumplieron con todas las

etapas


Otros resultados:

• Más de un 76% de los apoderados declara conocer elprograma

• Apoderados evalúan con nota 5,8 el programa• 32% de los apoderados participó de las Olimpiadas

Deportivas, y 23% de la Fiesta de las Artes.


Impacto: ¿qué cambio? ¿cuánto?

Resultados de impacto

Resumen Global

Global

1CB 2CB

Dimensión Escala Estud ApodProf Estud ApodProf

Ac

om

pa

ña

mie

nto

en

el

Ap

ren

diz

aje

Relación Familia Escuela

Lectura/Apoyo a la lectura

Apoyo al Aprendizaje

Relación Apoderado Pupilo/Relación con el Hijo

Construcción del Rol Parental

Padres Involucrados/Involucramiento Parental

Comunicación con Profesores


Resumen Global

Global

1CB 2CB

Dimensión Escala Estud ApodProf Estud ApodProf

Co

nv

ive

nc

ia e

n

el H

og

ar Comunicación

Convivencia Familiar

Identidad Familiar

Autoeficacia


Resumen Global

Global

1CB 2CB

Dimensión Escala Estud Apod Prof Estud Apod Prof

Re

lac

ión

co

n

en

torn

o

Redes

Normas y Límites

Violencia

Drogas/Alcohol y Drogas

Autoestima

Ap

ren

diz

aje CLP

SIMCE Mat

SIMCE Len

Asistencia

Algunos ejemplos de impacto

24

Resultados estudiantes 2do y 3ro

Impacto en escala de lectura

Impacto en escala de violencia

Impacto – Seguimiento final global

• “Leo cuentos junto a mi apoderado”Prom. G. Control: 54% dice “Sí”

• “Me dan cosas interesantes para leer en la escuela”Prom. G. Control: 81% dice “Sí”

• “He comenzado una pelea con otro compañero”Prom. G. Control: 33% dice “Sí”

+8pp (t: +25pp)

+7pp (t: +24pp)

-4pp (t: -5pp)

Resultados estudiantes 4to a 8vo

Impacto en escala de involucramiento parental


• “Mis papás me preguntan por lo que hago en la escuela ”Prom. G. Control: 4,04 en escala de 1 a 5

• “¿Tus papás saben para qué usas el pc? ”Prom. G. Control: 4,30 en escala de 1 a 5

+2% (t: +7%)

+1% (t: +5%)

Resultados estudiantes 4to a 8vo

Impacto en escala de involucramiento parental


• “Mis papás me preguntan por lo que hago en la escuela ”Prom. G. Control: 4,04 en escala de 1 a 5

• “¿Tus papás saben para qué usas el pc? ”Prom. G. Control: 4,30 en escala de 1 a 5

+2% (t: +7%)

+1% (t: +5%)

Resultados profesores

• Realizan más reuniones al añoProm. G. Control: 6,4 reuniones

• Mayor uso de pautas para entrevistas Prom. G. Control: 62%

• Mayor proporción de apoderados entrevistados Prom. G. Control: 57%

• Mayor uso de la agenda como medio preferidoProm. G. Control: 50%


+0,9

+22pp

+6pp

+34pp


• Mayor percepción de existencia de política organizacional para relación familia-escuela Prom. G. Control: 3,9 en escala 1 a 5

• % de apoderados que piden herramientas para apoyar el aprendizaje en casa Prom. G. Control: 28%

• “Profesores sabemos cómo incentivar el involucramiento de padres”Prom. G. Control: 3,9 en escala 1 a 5


+11%

+8%

+8%


• Percepción más positiva de la colaboración de los apoderados ante requerimientos de la escuelaProm. G. Control: 3,2 en escala 1 a 5.

• Percepción de mayor participación activa de apoderados en reunionesProm. G. Control: 3,3 en escala 1 a 5

• “Los apoderados son solidarios entre ellos” Prom. G. Control: 3,18 en escala 1 a 5


+9%

+6%

+9%


• “Frecuencia con que hay robos o hurtos ”Prom. G. Control: 2,27 en escala 1 a 5.

• “Frecuencia con que hay amenazas u hostigamientos entre estudiantes”Prom. G. Control: 2,37 en escala 1 a 5

• “Frecuencia con que hay peleas entre estudiantes ” Prom. G. Control: 2,72 en escala 1 a 5


-8%

-9%

-9%

Resultados Asistencia

El análisis de datos administrativos muestra que

• Niños incrementan su asistencia en 1.2%. Al desglosar por niveles,vemos que el efecto se concentra en el primer ciclo básico(incremento en asistencia de 1,5%)

• Este efecto corresponde a un aumento en la asistencia anual endos días de clase

Resultados Simce

El análisis de resultados a nivel de escuela:

• Analizando efecto general, no hay impacto en Simce 2015 paraPAF III, pero cerca de 6 puntos Simce 2015 para PAF IV, enpruebas de comprensión lectora y matemáticas

*Es necesario complementar este análisis con datos a nivel deestudiante, no disponibles a la fecha.

220

225

230

235

Matemáticas Comprensión de lectura

G. Control

G. Tratado

Interpretación

34

Resultados significativos e importantes en una serie de dimensiones relacionadas con involucramiento parental declarados por padres, estudiantes y apoderadosPresentes más fuertemente en estudiantes,

apoderados y profesores de niños más pequeños (1º a 4º grado)

Efectos significativos en aspectos académicos tales como asistencia a la escuela, clima escolar y construcción de redes entre apoderados en la escuela. Centrados en estudiantes más pequeños (1º a 4º

grado)

Interpretación

35

¿Por qué efecto más fuerte en niños más pequeños?Interpretación 1: Complementariedades dinámicas

tradicionales en que quizás se llega “muy tarde” con niños mayores.

Interpretación 2: Resultados sugieren que también los profesores de cursos más grandes reacciones menos al programa en una serie de dimensiones relevantes.

Entonces no es sólo algo relacionado con las familias y los estudiantes sino que también con algo que tiene que ver con la escuela.

Interpretación

36

Resultados notables en profesores:Cambios en percepciones respecto de las

habilidades, participación y compromiso de los padres.

Cambios en participación de ellos en actividades de la escuela, en relación con otros profesores y en actitudes más generales.

Efectos más fuertes en el involucramiento con el programa en la segunda cohorte de PAF

Interpretación

37

Efectos heterogéneos: mucho mayores y más sistemáticos en la segunda cohorte:No hay diferencias significativas entre las escuelas de la

primera y segunda cohorte en características observables.

No se observan diferencias sustantivas en la implementación del programa en términos de procesos entre cohortes.

No se observan diferencias de costos sustantivas

¿Qué es entonces? 2 hipótesis

• Programa involucró más fuertemente a los profesores en la segunda cohorte. Resultados de evaluación de impacto sugieren que esto es así. Profesores más comprometidos con el programa.

• Efecto aprendizaje de un programa que va creciendo y aprendiendo.


Resumen PAF III

PAF III

1CB 2CB


Ac

om

pa

ña

mie

nto

en

el

Ap

ren

diz

aje




Relación Apoderado

Pupilo/Relación con el Hijo


Padres Involucrados/Involucramiento

Parental



Resumen PAF III

PAF III

1CB 2CB

Dimensión Escala Estud

Apo

d Prof Estud

Apo

d Prof

Co

nv

ive

nc

ia

en

el H

og

ar

Comunicación


Identidad Familiar

Autoeficacia


Resumen PAF III

PAF III

1CB 2CB


Re

lac

ión

co

n

en

torn

o

Redes

Normas y Límites

Violencia

Drogas (más es mejor)/Alcohol y

Drogas

Autoestima

Ap

ren

diz

aje CLP

SIMCE Mat

SIMCE Len

Asistencia


Resumen PAF IV

PAF IV

1CB 2CB

Escala Estud Apod Prof Estud Apod Prof




Relación Apoderado Pupilo/Relación con el Hijo


Padres Involucrados/Involucramiento Parental



Resumen PAF IV

PAF IV

1CB 2CB

Escala Estud ApodProf Estud ApodProf

Comunicación


Identidad Familiar

Autoeficacia


Resumen PAF IV

PAF IV

1CB 2CB


Re

lac

ión

co

n

en

torn

o

Redes

Normas y Límites

Violencia

Drogas (más es mejor)/Alcohol

y Drogas

Autoestima

Ap

ren

diz

aje CLP

SIMCE Mat

SIMCE Len

Asistencia

Concluyendo

Programa amplio en objetivos y medios, con una estrategia familia-escuela que se instala en la escuela y que enfatiza fuertemente el uso de padres y madres como monitoras.

Procesos: programa se logra implementar en una escala masiva en escuelas pobres. Un ejemplo de inserción dentro de las escuelas y que logra una serie de sus objetivos declarados.

Resultados significativos en aspectos de involucramiento parental declarados por niños, padres y profesores, centrados en niños del primer ciclo de educación y mayores en la segunda cohorte.

Resultados en aspectos académicos: asistencia y en algunas pruebas estandarizadas.

Impactos importantes en la dinámica intra-escuela y en acciones y percepciones de los profesores.

Comparación con otros programas:Programa desde la escuela y más intenso que otros,

que se implementa con alta fidelidad que y tiene resultados de impacto significativos estadística y económicamente en aspectos de la dinámica familia-escuela, de la familia, de escuela misma y tiene impactos no triviales en aspectos académicos.

Resultados comparables a Avvisati et al. (2014) pero con impactos en más dimensiones de involucramiento y de dinámica familiar. Costos mayores que ellos: Costo por alumno de PAF: US$ 360 (en tres años) [costo marginal de escalar más bajo]

Programa que se puede escalar y probablemente optimizar en varias dimensiones. Algunos ejemplos: (i) alumnos más pequeños, (ii) quizás con más foco –y menos amplitud—en contenidos.

¡Gracias!Contacto:

Francisco Gallego,

Pontificia Universidad Católica de Chile y J-PAL LAC

[email protected]

mailto:[email protected]

Programa Aprender en Familia: Evaluación de Impactos3-sa-east-1.amazonaws.com/redeitausocialdeavaliacao-producao/wp... · 1CB 2CB Dimensión Escala Estud Apod Prof Estud Apod Prof

Documents