¿Podemos identificar maestros efectivos al momento de contratación? Las clases de práctica clínica

¿Podemos identificar maestros efectivos al momento de contratación? Las clases de práctica clínicaAlejandro J. Ganimian*, Andrew D. Ho* & Mariana Alfonso** *Universidad de Harvard **Banco Interamericano de Desarrollo

Universidad Autónoma de Madrid Madrid, España - 11 de febrero del 2015

Motivación

‣Varios estudios han demostrado que los maestros efectivos importan.

dos estudiantes

promedio

8 años 11 años

10% con mejores resultados en pruebas

40% con peores resultados en pruebas

asignado a

maestro efectivo

asignado a maestro inefectivodos

estudiantes promedio

8 años 28 años

salario promedio + $80,000 aumento de por vido

salario promedio

un año de un

maestro efectivo

un año de un maestro inefectivo

dos estudiantes

promedio

8 años 13 a 19 años

13% embarazadas en la adolescencia

12% embarazadas en la adolescencia

asignado a

maestro promedio

asignado a maestro efectivodos estudiantes

promedio

8 años 20 años

38% va a la universidad

37% va a la universidad

asignado a

maestro efectivo

asignado a maestro promedio

Source: Chetty et al. 2014, Sanders and Rivers 1996.

Motivación

‣Los datos que los sistemas escolares recolectan sobre sus docentes cuando los contratan no predice si éstos van a ser docentes efectivos.

‣Los datos que los investigadores recolectan explican sólo una pequeña parte de la variabilidad en la productividad docente.

títulos docentes

títulos de postgrado

(Clotfelter, et al., 2006, 2007; Darling-Hammond, et al., 2001; Darling-Hammond, et. al, 2005;

Goldhaber & Brewer, 2000; Hanushek, et al., 2005;

Kane et al., 2008)

(Hanushek, 1989; Hanushek et al., 2005;

Hanushek & Rivkin, 2006; Rivkin et al., 2005)

conocimiento pedagógico para cada materia

(Gitomer, et al., 2014; Hill, et al., 2011)

habilidades socio-

emocionales

(Duckworth, et al., 2009; Rockoff, et al., 2011)

Motivación

‣En el mundo, hay 35+ entradas alternativas a la docencia que requieren dos semanas de práctica antes de ejercer la profesión:

UruguayChile

Argentina

Perú

EcuadorColombia

HaitíMéxico

Estados Unidos

Australia

Nueva Zelanda

España

IndiaMalasia

Filipinas

Japón

Bangladesh

Nepal

Qatar

Pakistán

China

Suecia

Reino Unido

EstoniaLetonia

Lituania

Alemania

Bulgaria

Eslovaquia

Austria

Rumania

Bélgica

IsraelJordania

Motivación

‣Estudios previos sugieren que, una vez que los maestros entran al sistema, su efectividad un año predice su efectividad en el futuro.

Desempeño anticipado (en desviaciones estándares)

-0.10 -0.05 0 0.05 0.10

Des

empe

ño o

bser

vado

(e

n de

svia

cion

es e

stán

dare

s)

0.15

0.10

0.05

0

-0.05

-0.10

-0.15

Anticipado = Observado

Desempeño anticipado (en desviaciones estándares)

-0.10 -0.05 0 0.05 0.10

0.15

0.10

0.05

0

-0.05

-0.10

-0.15

Anticipado = Observado

Fuente: Kane et al. (2013)

Matemática Lectura

Preguntas

‣Las dos preguntas que la investigación existente no contesta son:

1) ¿Podemos realmente distinguir entre maestros efectivos e inefectivos cuando estos enseñan clases de práctica?

2) ¿Podemos usar las clases de práctica para predecir la efectividad de los maestros una vez que entren al sistema escolar?

Maestro inefectivo en

clase de prueba

Maestro efectivo en clase de

práctica

Maestro efectivo en escuela

Maestro efectivo en

clase de prueba

Contexto

Etapa 1: Postulación por Internet

Etapa 2: Centro de Evaluación

Etapa 3: Instituto de Verano

Etapa 4: Año escolar

‣ Aspirantes completan una postulación por Internet

‣ Postulantes participan en: - discusión grupal - entrevista - clase

demostración - ejercicio escrito - evaluación de

pensamiento crítico

‣ Postulantes participan en: - talleres de

formación - práctica clínica

‣ Maestros enseñan en las escuelas

‣Una entrada alternativa a la docencia (Enseñá por Argentina o ExA) tiene un proceso de selección de cuatro pasos:

Contexto

‣En cada etapa, ExA usa diferentes instrumentos:

‣ ExA califica las postulaciones usando rúbricas estructuradas

‣ ExA califica cada actividad del centro de evaluación usando rúbricas estructuradas

‣ ExA califica clases de práctica usando: - encuestas de

alumnos - observaciones de

clase

‣ ExA califica clases del año usando: - encuestas de

alumnos - observaciones de

clase - encuestas de

directores





Instrumentos

‣En cada etapa, ExA evalúa diferentes competencias:


liderazgo

perseverancia

logros

Instrumentos

actividades individuales (entrevista, clase demostración, ejercicio escrito, evaluación de pensamiento crítico)



actividad grupal (discusión grupal)

organización

comunicación

pensamiento crítico

comunicaciónliderazgo

perseverancia

apertura al feedback

respeto por la diversidad

Instrumentos

observaciones de clase



presentación del contenido

verificación del entendimiento

manejo de disciplina

procedimientos de clase

ambiente para el aprendizaje

importancia del esfuerzo

Instrumentos

encuestas de estudiantes



empatía por el alumno

consolidación del entendimiento

promoción de nuevas ideas

magnetismo en su presentación

rigor demandado


claridad de exposición

Instrumentos



observaciones de clase






planificación de clase

oportunidades de práctica


Instrumentos



encuestas de directores




planificación de clase

evaluaciones estudiantiles




oportunidades de práctica

análisis de resultados

seguimiento docente

seguimiento estudiantil

Instrumentos



encuestas de estudiantes

empatía por el alumno

consolidación del entendimiento

promoción de nuevas ideas

magnetismo en su presentación

rigor demandado


claridad de exposición

Asignación

‣En todas las etapas, se asignó aleatoriamente a los maestros a quienes observaron sus clases.

sorteo por computadoramaestro #1

observador #1

observador #2

observador #3

pareja asignada

aleatoriamente

Asignación

‣Durante las clases de , se asignó aleatoriamente a los maestros a quienes observaron sus clases.

sorteo por computadoramaestro #1

grupo #1

grupo #2

grupo #3

clase asignada aleatoriamente

Muestra20

13

‣Observamos 24 maestros en la cohorte del 2013 en tres etapas y 32 maestros en la cohorte del 2014 en las cuatro etapas:

2014





Estrategia Empírica

1) La postulación por Internet ¿predice la efectividad docente?

Yi = �j + �k + �t + �Xi + ✏ijkt

efectos fijos de observadores

en etapa 1


en etapa 4

efectos fijos de cohortes

desempeño en postulación (rúbricas estructuradas)

efectividad docente

(observaciones de clase + encuestas

de alumnos + encuestas de

directores)

Resultados

‣El puntaje que los maestros obtienen en la postulación por Internet tiene una relación negativa con su efectividad docente.

(1) (2) (3) (4) (5) (6) (7)

Etapa 4 Etapa 4 Etapa 4 Etapa 4Etapa 4

encuestas de alumnos

Etapa 4 observaciones

de clase

Etapa 4 encuestas de

directores

Etapa 1-0.0001 -0.689** -0.527** -0.516** -0.697* -0.272 -0.476*

(0.181) (0.257) (0.222) (0.221) (0.358) (0.278) (0.266)

EF Etapa 1? ✔ ✔ ✔ ✔ ✔ ✔

EF Etapa 4? ✔ ✔ ✔ ✔ ✔

EF Cohortes? ✔ ✔ ✔ ✔

N 47 47 47 47 52 54 51

Resultados

‣Pero el puntaje en la postulación por Internet fue usado para seleccionar maestros. Es posible que haya descartado a los menos efectivos.

05

1015

200

510

1520

1 2 3 4 5 1 2 3 4 5

Admitido, 2013 Admitido, 2014

No-Admitido, 2013 No-Admitido, 2014

Perc

ent

Etapa 1Graphs by pexa and sel_cohort

Los admitidos tienen un mejor desempeño promedio que los no admitidos

Los admitidos también varían menos en su desempeño que los no admitidos

Es posible que pocas diferencias a este nivel de desempeño no lleven a mayor efectividad docente


2) El centro de evaluación ¿predice la efectividad docente?

Yi = �j + �k + �t + �Xi + ✏ijkt


en etapa 2


en etapa 4

efectos fijos de cohortes

desempeño en centro de evaluación (rúbricas estructuradas)

efectividad docente



directores)

Resultados

(1) (2) (3) (4) (5) (6) (7)




de clase


directores

Etapa 2-0.012 0.169 0.114 0.122 0.090 0.311 -0.083

(0.141) (0.207) (0.211) (0.229) (0.211) (0.261) (0.215)

EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔

EF Etapa 4? ✔ ✔ ✔ ✔ ✔


N 47 47 47 47 52 54 51

‣No hay una clara relación entre el puntaje de los maestros en el centro de evaluación y su efectividad docente.

Resultados

‣Si se considera sólo el puntaje en las actividades individuales del centro de evaluación, no hay relación alguna con la efectividad docente.

(1) (2) (3) (4) (5) (6) (7)




de clase


directores

Etapa 2 actividades individuales

0.074 0.023 0.0004 0.021 -0.059 0.177 0.064

(0.104) (0.118) (0.108) (0.113) (0.165) (0.128) (0.156)

EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔

EF Etapa 4? ✔ ✔ ✔ ✔ ✔


N 47 47 47 47 52 54 51

Resultados

‣Estos puntajes también fueron usados para seleccionar a los maestros. Es posible que hayan descartado a los maestros inefectivos.

010

2030

010

2030

1 2 3 4 5 1 2 3 4 5


No-Admitido, 2013 No-Admitido, 2014

Perc

ent

Etapa 2 (Actividades Individuales)Graphs by pexa and sel_cohort

05

1015

200

510

1520

1 2 3 4 5 1 2 3 4 5


No-Admitido, 2013 No-Admitido, 2014Pe

rcen

t

Etapa 2 (Actividad Grupal)Graphs by pexa and sel_cohort

Los maestros admitidos se desempeñaron mejor en las actividades individuales, pero no varían menos que los no admitidos

Los maestros admitidos se desempeñaron mejor y varían menos en la actividad grupal que los no admitidos

Resultados

(1) (2) (3) (4) (5) (6) (7)




de clase


directores

Etapa 2 actividad grupal

-0.096 -0.101 -0.107 -0.103 -0.265 -0.037 -0.055

(0.108) (0.120) (0.119) (0.122) (0.173) (0.142) (0.157)

EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔

EF Etapa 4? ✔ ✔ ✔ ✔ ✔


N 47 47 47 47 52 54 51

‣Si se considera el puntaje en la actividad grupal del centro de evaluación, la relación es negativa, pero no estadísticamente significativa.

Resultados

(1) (2) (3) (4) (5) (6) (7)




de clase


directores

Etapa 2 clase de prueba

0.158 0.122 0.116 0.127 0.101 0.300** 0.097

(0.106) (0.117) (0.106) (0.108) (0.157) (0.116) (0.151)

EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔

EF Etapa 4? ✔ ✔ ✔ ✔ ✔


N 47 47 47 47 52 54 51

‣Las clases de prueba del centro de evaluación predicen el desempeño en las observaciones de clase.


efectividad docente



directores)

3) La práctica clínica ¿predice la efectividad docente?


en etapa 3


en etapa 4

desempeño en práctica clínica (observaciones de clase + encuestas de alumnos)

Yi = �j + �k + �Xi + ✏ijk

Resultados

‣El puntaje en la práctica clínica predice la efectividad docente en las observaciones de clase y encuestas de directores.

(1) (2) (3) (5) (6) (7)

Etapa 4 Etapa 4 Etapa 4Etapa 4



de clase


directores

Etapa 30.284 0.338 0.435 0.401 1.060** 0.796*

(0.216) (0.370) (0.376) (0.631) (0.364) (0.427)

EF Etapa 3? ✔ ✔ ✔ ✔ ✔

EF Etapa 4? ✔ ✔ ✔ ✔

N 32 32 32 29 31 29

Resultados

‣La relación entre las encuestas de alumnos en práctica y la efectividad docente es positiva, pero no estadísticamente significativa.

(1) (2) (3) (5) (6) (7)




de clase


directores


alumnos

0.215 0.149 0.043 0.238 0.280 0.117

(0.156) (0.231) (0.215) (0.344) (0.259) (0.269)

EF Etapa 3? ✔ ✔ ✔ ✔ ✔

EF Etapa 4? ✔ ✔ ✔ ✔

N 26 26 26 29 31 29

Resultados

‣Lo mismo sucede con las observaciones de clase durante práctica.

(1) (2) (3) (5) (6) (7)




de clase


directores


de clase

0.073 0.076 0.158 0.001 0.412* 0.399

(0.152) (0.196) (0.179) (0.315) (0.228) (0.249)

EF Etapa 3? ✔ ✔ ✔ ✔ ✔

EF Etapa 4? ✔ ✔ ✔ ✔

N 26 26 26 29 31 29


efectividad docente



directores)

4) La práctica clínica ¿predice la efectividad docente, teniendo en cuenta el desempeño en etapas previas?


en etapa 3


en etapa 4

desempeño en práctica clínica (observaciones de clase + encuestas de alumnos)

Yi = �j + �k + �Xi + ✏ijkt

Resultados

(1) (2) (3) (5) (6) (7)




de clase


directores


de clase

0.294 0.462 0.493 0.442 1.089** 0.872**

(0.243) (0.405) (0.384) (0.546) (0.380) (0.349)

Etapa 1? ✔ ✔ ✔ ✔ ✔ ✔

Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔

EF Etapa 3? ✔ ✔ ✔ ✔ ✔

EF Etapa 4? ✔ ✔ ✔ ✔

N 26 26 26 29 31 29

‣La práctica clínica predice la efectividad docente aún cuando se tiene en cuenta el puntaje de los maestros en etapas anteriores.

Resultados

‣Las relaciones no varían por cohorte (2013 y 2014).

‣Las relaciones tampoco varían por momento del año en el que se recolectaron los datos (comienzo v. fin de año).

‣Las relaciones no varían por quintil de desempeño en etapas 1 ó 2.

- La única relación que varía por quintil de desempeño es aquella entre las etapas 3 y 4 varían por quintil.

- La relación entre estas etapas es más estrecha entre los maestros con bajo desempeño en la etapa 3.

010

2030

4050

6070

8090

100

Perc

entil

en

Etap

a 4,

201

4

0 20 40 60 80 100Percentil en...

Etapa 1 Etapa 2 Etapa 3

Resultados

‣El poder predictivo de la práctica clínica resulta principalmente de poder identificar a quienes serán los maestros menos efectivos.

La Etapa 1 y la Etapa 2 no predicen desempeño en la Etapa 4 en ninguna parte de la distribución

La Etapa 3 predice el desempeño en la Etapa 4 en la “cola izquierda” de la distribución

Conclusiones

‣En el contexto estudiado, las clases de práctica clínica demuestran promesa para predecir la efectividad docente.

- Estas clases agregan información no capturada por el proceso de postulación y selección docente.

- Son más útiles para identificar a maestros que van a tener gran dificultad en el sistema escolar y menos útiles para identificar a maestros que van a tener un gran desempeño.

- Son más útiles para predecir desempeño en observaciones de clase y encuestas de directores.

‣Las medidas de postulación y selección no predicen diferencias entre individuos que entraron al programa.

- Sin embargo, estas variables fueron utilizadas para seleccionar a quienes entraron al programa, así que es posible que hayan dejado fuera individuos que hubiesen sido poco efectivos como maestros.

¡Muchas gracias!

Email: [email protected]

Sitio web: http://scholar.harvard.edu/alejandro_ganimian

mailto:[email protected]

http://scholar.harvard.edu/alejandro_ganimian

¿Podemos identificar maestros efectivos al momento de contratación? Las clases de práctica clínica

Education