Labor Intermediation and Training Programs of the STPS/México Maximo Torero (IFPRI/ GRADE) y Miguel Robles (UCLA)

Labor Intermediation and Training Programs of the

STPS/México

Maximo Torero (IFPRI/ GRADE) y

Miguel Robles (UCLA)

Temas a analizar

Programas y documentos analizados Objetivos y descripción de los programas Evaluaciones de impacto Evaluaciones de impacto teoría De la Teoría a la práctica el caso de los progr

amas analizados Aspectos positivos Aspectos por mejorar

Recomendaciones finales

Programas y documentos analizados

Programas y documentos analizados

Programas Documentos

PROBECATEvaluación del Programa de Becas de Capacitación para Desempleados (Agosto 1995)

SICATEvaluación del Impacto del Sistema de Capacitación para el Trabajo- 2003

SAEMLIEstudio para Evaluar el Impacto del Sistema de Apoyos Económicos a la Movilidad Laboral Interna - 2003

SAEMLEEvaluación del Impacto del Sistema de Apoyos Económicos a la Movilidad Laboral al Exterior -2003

SAEBEEstudio para Evaluar el Impacto del Sitema de Apoyos Económicos a Buscadores de Empleo - 2003

PACPrograma de Apoyo a la Capacitación (Evaliación PAC Dic. 2002, 2003)

CIMO Programa de Calidad Integral y Modernización (Evaluación 1995)

PIPEstudio para Evaluar el Impacto de Proyectos de Inversión Productiva - 2002

Objetivos y Descripción de los Programas

Objetivos y Descripción de Programas

PROBECAT SICAT

(Programa de Becas de Capacitación para Desempleados) (Sistema de Capacitación para el Trabajo)

Desempleados y subempleados

► Cursos de capacitación

► Becas monetarias equivalentes al salario mínimo

► Ayuda para el transporte

► 651,180 beneficiarios entre 1984 y 1994

► Capacitación mixta (en la empresa): 1.8 meses, costo unitario $274.2

► Duración del desempleo ► Probabilidad de conseguir empleo

► Salario por hora ► Ingresos ► Horas por semana

Efectos Mensurables

Programa

► Formación laboral en la práctica: capacitación en micro y pequeñas empresas a desempleados o subempleados entre 16 y 30 años

► Capacitación para el autoempleo: capacitación para formulación de proyectos de inversión► Formación productiva: capacitación en habilidades técnicas y administrativas a auto-empleados

Población Objetivo

Tratamiento

Escala

► 216,163 becas otorgadas en el 2002

► 16,825 cursos impartidos en el 2002► Presupuesto Ejercido 2002: $898.6 millones

► Incorporar a la población desempleada y subempleada a cursos de capacitación de corto plazo para que obtenga calificación y/o certificación; asi mejorar el acceso al empleo

► Formación laboral en competencias: capacitación en empresas con miras a otorgar certificación al beneficiario… las empresas se obligan a contratar al 70% de los beneficiarios

Objetivo General► Capacitación, recalificación y elementos de instrucción básica a la población desempleada con el fin de elevar sus competencias y facilitar su inserción o reincorporación al empleo

Individuos desempleados y en búsqueda activa de empleo (registrados en el SEE) entre 18 y 55 años con primaria completa

► Capacitación escolariza: duración media 3.1 meses, costo unitario $380.6


SAEMLI SAEMLE SAEBE

(Sistema de Apoyos Económicos a la Movilidad Laboral Interna) (Sistema de Apoyos Económicos a la Movilidad Laboral Externa)(Sistema de Apoyos Económicos a Buscadores de Empleo)

► Acceso a información y orientación sobre vacantes

► $3,000 por beneficiario

► 24,604 beneficiarios entre enero y julio 2003

► $ 41.7 millones en el 2003 ► Inversión de $44.4 millones entre enero y julio 2003

► Probabilidad de conseguir empleo ► Dispersión (concentración) geográfica de beneficiarios ► Probabilidad de conseguir empleo

► Intensidad en el empleo ► Tasas de repatriación prematura (duración laboral) ► Ingresos Efectos

Mensurables

Trabajadores que participan por 1era vez en el PTAT; entre 23 y 40 años; casados, unión libre o madre solteras; con al menos tercero de primaria

Programa

Población Objetivo

Tratamiento

Escala

► Ayuda económica, $1800/ beneficiario. Principalmente destinada a costos de traslado, llamadas telefónicas, sostenimiento

► 1,974 trabajadores asignados (20% del PTAT) en el 2003

► $6 millones en el 2003

► 9,700 beneficiarios en el 2003

► Ayuda económica para que los candidatos al PTAT cubran los gastos de alimentación y hospedaje en que incurren cuando efectúan sus trámites en la Ciudad de México (o en el Servicio Estatal de Empleo SEE correspondiente)

► Facilitar la inserción en el mercado laboral de la población desempleada del sector formal

Desempleados del sector formal y que se encuentran en proceso de búsqueda de empleo

► Facilitar el proceso de incorporación al PTAT de trabajadores que no tenían acceso debido a los costos de la tramitación ► Antecedente: Programa de Trabajadores Agrícolas Temporales México Canadá (PTAT)

Objetivo General

► Apoyar a jornaleros agrícolas mediante la vinculación entre oferentes y demandantes de mano de obra ubicados en

Jornaleros agrícolas desempleados (con dependientes)

► Capacitación y/o apoyos económicos para traslado de zona de origen hacia zonas receptoras y viceversa

► Capacitación (1 mes) en zona de origen y zona receptora + beca igual a 1 salario mínimo

► Traslado de salida (hasta $1,200) ► Traslado de regreso (hasta $600)


PAC CIMO PIP

(Programa de Apoyo a la Capacitación) (Proyectos de Inversión Productiva)

► Impulsar la agrupación e integración de empresas ► Favorecer la flexibilización de la oferta de capacitación

Micro, pequeña y mediana empresa

► Cursos de capacitación ► Co-financiamiento de capacitación a trabajadores y empleados

► Asignaciones por número de socios

1 socio à máximo $25,000 2 socios à máximo $50,000 3 socios à máximo $75,000 4 socios à máximo $100,000 5 o más à máximo $125,000

NO HAY INFORMACION ► 23,279 empresas beneficiadas para 1994

► 79,445 trabajadores capacitados para 1994► 15,930 beneficiadas con otros servicios para 1994 ► 5,409 personas beneficiadas entre Julio y Diciembre 2002► Aportaciones financieras gobierno en 1994: $ 26.3 millones ► Presupuesto asignado (Jul-Dic 2002): $69.7 millones

► Aportaciones financieras empresas en 1994: $ 28.2 millones ► Presupuesto ejercido (Jul-Dic 2002): $63.3 millones

► Al nivel del trabajado: Ingresos ► Productividad de la empresa ► Ingreso personal

► Horas trabajadas de la empresaEfectos

Mensurables

Programa

► 1,073 proyectos beneficiados (543 fortalecidos, 530 nuevos) entre Julio y Diciembre 2002

Población Objetivo

Tratamiento

Escala

► El Servicio Estatal de Empleo (SEE) entrega en comodato maquinaria, equipo, herramientas y otros bienes para que los beneficiarios puedan desarrollar o fortalecer su proyecto productivo

Trabajadores y empleadores de las micro, pequeñas y medianas empresas

► Impulsar las iniciativas de la población que buscan crear o consolidar proyectos de inversión productiva

Desempleados o subempleados uqe quieran crear o consolidar un proyecto productivo; sin acceso a crédito; ingreso menor a 2 salarios mínimos; mínimo de 16 años e edad; con 2 años de residencia en su localidad; y experiencia en el ramo de actividad

(Capacitación y Asistencia Técnica en la Micro, Pequeña y Mediana Empresa)

► Realizar acciones en materia de capacitación y mejora continua, que contribuyan al desarrollo de los trabajadores en activo y empleadores de las micro, pequeñas y medianas

► Al nivel de la empresa: Productividad, Formalidad, Accidentes de trabajo, Horas de trabajao y Capacitación en la empresa.

Objetivo General

► Fomentar y formar la cultura de la capacitación en las micro, pequeñas y medianas empresas

► Inicialmente el gobierno aportó el 70%, en 1994 sólo el 35% (excepto en microempresas, aporta el 70%)

► Servicios de consultoría y acceso a bancos de datos especializados (gobierno cubre el 70% de los costos)

Evaluaciones de Impacto

Evaluaciones de Impacto

La evaluación de impacto típica incluye: Evaluación Operativa Efectos “Tratamiento” Análisis Económico Costo-Beneficio

Problemas potenciales en cómo estimar los efectos “tratamiento”

Establecidos los efectos “tratamiento” no hay mayor controversia en cómo realizar el análisis costo-beneficio

Efectos “tratamiento”

Revisión de metodologías empleadas para determinar estos efectos: Línea de Base (Inexistente en todos los casos) Determinación Grupo Beneficiarios Determinación Grupo Control “Matching” de “support” en X “Outcome” analizados Análisis estadístico/econométrico Efectos (en tratados) econtrados

Evaluaciones de ImpactoPrograma PROBECAT SICAT

Beneficiarios

Egresados Mayo-Agosto 1993; Encuesta de Seguimiento de Egresados (ESEP) Agosto; 2,787 encuestados

Encuesta sobre el Nivel de Colocación de los ex-becarios del SICAT a los 3 meses de egreso (ENCOPE) - 2002

Capta información antes y después del tratamiento y situación actual

3 modalidades: Mixta, Mypes y Autoempleo

34,097 observaciones disponibles

Controles Fuente: Encuesta Nacional de Empleo Urbano (ENEU) – Panel 80 mil hogares, trimestralmente sustituye al 20%.Fuente: Encuesta Nacional de Empleo (ENE) 2002 Criterios: Sólo contiene información actual

Criterios: Estar desempleado actualmente o haber conseguido empleo recientemente

671 individuos 1,187,172 individuos (no queda claro si son cifras expandidas)

Matching Probit para participación en PROBECAT NoSe hace “matching” empezando por la variable más significativa Quedan 1914 beneficiarios, 581 controles

Outcomes Evaluados Tiempo promedio para encontrar 1er empleo Probabilidad de empleo, ingreso Probabilidad de empleo a los 3,6,9 y 12 meses Ingreso medio mensual, horas, ingreso por hora

Modelo Modelo de riesgos proporcionales de Cox (MLE) Modelo Probit con sesgo de selección “Heckman” Modelo de sesgo de selección de “Heckman” Modelo de sesgo de selección de “Heckman”

Efectos Estimados Tiempo para 1er empleo (significancia) Ingresos Mensuales: Δ log(ingresos)

Hombre x Modalidad Mixta: -37.9% (11%) Hombre x Modalidad Mixta: 187% (0.001%)Hombre x Modalidad Escolarizada: -10.2% (0.001%) Hombre x Modalidad Escolarizada: 192% (0.001%)Ingresos: + $1,594 (+$1,608 hombres, +1,546 mujeres) Mujer x Modalidad Mixta: -30.3% (0.2%) Mujer x Modalidad Mixta: -48% (8%) Mujer x Modalidad Escolarizada: -54.0% (0.001%) Mujer x Modalidad Escolarizada: -38% (14.1%)

Desempleados e Inactivos en el 1er trimestre de 1993: se tiene información para 4 trimestres

Probabilidad de empleo: + 0.2420 (.2420 en mujeres, 0.0 en hombres)

Evaluaciones de ImpactoPrograma SAEMLI SAEMLE

Muestra : 600 entrevistas a jornaleros beneficiados

1,289 en el 2002998 antes del 15 de Nov 2003

Fuente: Módulo Agropecuario de la Encuesta Nacional de Empleo Criterios: Se seleccionan 1,811 controles (no es clara la selección final) Beneficiarios del PTAT sin SAEMLE

Criterios: Con múltiples salidas 2002: 6,7661era salida sin SAEMLE 2002: 1,096 Con múltiples salidas 2003: 4,261

Matching No No► Probabilidad de empleo ► Retorno prematuro► Intensidad en el empleo (proxy para horas)

► Una regresión por mes (nov, dic,…,mar) ► Se incluyen regresiones equivocadas:

► Modelo Probit con sesgo de selección “Heckman” (Heckprob) Log(ingreso) = F( pagoxhora, duración real del período laboral,…)

► Modelo de sesgo de selección de “Heckman” (Treatreg) Período real = F(período planeado,…=

Mes de salida = F(…. )

► Modelo Probit para retorno prematuro► Probabilidad de empleo: + 0.366 (Nov) ► Probit sólo con beneficiaros de 1era vez (significancia): ► Intensidad en el empleo: -0.688 (Nov) Dummy SAEMLE 2002: - 0.9% (0.29)

Dummy SAEMLE 2003: + 2.0% (0.08))

► Conceptualmente no es claro qué evaluar

Fuente: Base de Datos del Sistema de Información de Migrantes a Canadá (SIMICA) - Aquellos con reporte de retorno al 15 de Muestra: trabajadores PTAT con reporte de retorno y apoyo del SAEMLE:

Trabajadores agropecuarios que laboran en actividades agrícolas como jornaleros y empleados y cuyo lugar de residencia pertencece a estados expulsores

Beneficiarios

Controles

Propietarios de tierra cuya segunda opción laboral fue haberse empleado como jornalero o empleado agrícola

Outcomes Evaluados

Modelo

Efectos Estimados

Evaluaciones de ImpactoPrograma SAEBE CIMO PIP’s

Fuente: Registro de Beneficiarios del SAEBE

Fuente: Directorios Actualizados de los Censos Económicos Encuesta sobre Desempeño Empresarial (EDE) a 326 empresas

Criterio: 66 observacionesSub-sector Criterio: Tamaño 3 o menos años de actividad

Región Mismas localidades que muestra beneficiariosMismas actividades económicas

Criterios:

Matching No No No► Probabilidad de empleo (y duración del desempleo) ► Productividad ► Ingreso mensual neto de socio entrevistado► Ingresos ► Horas-hombre

► Modelo Probit con sesgo de selección “Heckman” (Heckprob) ► Modelo de sesgo de selección de “Heckman” (Treatreg)

► Modelo de sesgo de selección de “Heckman” (Treatreg)

► Probabilidad de empleo (regresiones separadas) ► Reportes de efectos son poco transparentes ► Ingreso mensual neto: + $ 441 SAEBE vs. SISNE: +0.14 Productividad: + 8.08% SAEBE vs. DPA: +0.32 Horas-hombre: +10%

► Ingresos SAEBE vs. SISNE: + $ 362.8SAEBE vs. DPA: + $528.4

Muestra: Selección de 600 beneficiarios de un universo de 27,813

Fuente: Bases de Datos de la Secretaría del Trabajo y Previsión Social (STPS)

Selección de 600 beneficiarios apoyados por Bolsa de Trabajo en los Sistema de Vinculación de Empleo (SISNE) Universo de 139,627

Selección de 400 personas en situación de desempleo abierto (universo de 1,147,500)

Fuente: Empresas que recibieron apoyos de forma integral (trabajo continuo por el promotor UPC) Muestra: 248 empresas beneficiadas en 1991/1992 (universo 442 empresas 92/93)

► Pruebas de Homogeneidad y Test de Medias para asegurar compatibilidad de muestras beneficiarios y controles

► Dada compatibilidad de muestras se estiman Diferencias en Diferencias:

Muestra: 107 beneficiarios, tomando en cuenta regiones, proyectos nuevos y fortalecidos y actividad económica

Fuente: Listado de Empresas del Servicio Estatal de Empleo sin apoyo del PIP

Beneficiarios

Controles

Similar lugar de residencia a beneficiario

Están o estuvieron desempleadas al menos una semana entre enero y julio del 2003.

Outcomes Evaluados

Modelo

Efectos Estimados

Evaluación de Impacto (Treatment Effects)

TEORIA

Treatment Effects: teoría

Objetivo general Comparar la situación de los miembros de una población “con” el programa

versus su situación “sin” el programa No nos interesa “per se” la situación “antes” y “después” del programa

¿Qué población? Típicamente nos enfocamos en los beneficiarios del programa

¿Qué es la “situación”? Definir la o las variables que miden los logros esperados del programa:

Ingreso por hora Horas trabajadas Duración del desempleo Productividad laboral, etc.


Formalmente… Efecto tratamiento para el participante i…

)1|( 01 iiii PYYG

)1|()1|()1|( 0101 iiiiiii PYEPYEPYYEG

Esta es una variable aleatoria… en principio nos interesa el primer momento o valor esperado…

El potencial dolor de cabeza….missing data !!! ¿Cuál es el “outcome” esperado del participante i de no haber

recibido “tratamiento”? Imposible observarlo… pero no necesariamente imposible estimarlo…

)1|( 0 ii PYE


Se hace necesario contar con un grupo de control que no recibe el “tratamiento” del cual poder inferir “missing data”

Queremos minimizar potencial “SESGO de selección”…

Lo que podemos estimar es…

)0|()1|( 01 iiii PYEPYED

Lo que queremos estimar es

)1|()1|( 01 iiii PYEPYEG

El sesgo potencial es

)0|()1|( 00 iiii PYEPYEGD


Métodos para identificar “treatment effects” 1) Métodos experimentales

“Randomization”: la gran ventaja es que para el grupo de control:

)1|()0|( 00 iiii PYEPYE

2) Métodos Cuasi - Experimentales: “Matching”: Buscar un grupo de control con características tales

que Hubieran participado en el programa Determinan el “outcome” de manera similar a los participantes Permite corregir “selección” en variables observables


“Reflexive Comparison” (Antes y después) El grupo de control se forma con “línea de base” de los

participantes

Doble Diferencias ( “Difference in Difference”) Se tiene información antes y después para el grupo de participantes y para

el grupo de control Se compara al grupo de participantes y de control (primera diferencia), antes

y después del programa (segunda diferencia) Permite corregir el componente invariante en el tiempo del sesgo de

selección en no observables

Método de variables instrumentales Se requiere de una variable (instrumento) que este correlacionada con la

decisión de participar pero que no influya en el “outcome” Potencialmente permite corregir sesgo en observables y no observables

La experiencia internacional y la teoría nos dicen… Combinar “Matching” con Doble Diferencias…

¿Qué se necesita? Grupo de control

Por lo menos asegurar que cumplan los requisitos del programa Idealmente usar mismos cuestionarios y encuestadores para

recoger esta información

Grupo de beneficiarios Muestra representativa

La experiencia internacional y la teoría nos dicen… ¿Qué se necesita?

Información antes y después del programa para ambos grupos Características que determinan la participación Características que determinan el “outcome” EL IDEAL: tener historias completas del antes y del después…

Hacer el “matching” en características y asegurar “common support”

Se recomienda usar “propensity scores” para el “matching” usando la información antes del programa

De la teoría a la práctica

El caso de los programas analizados

Las evaluaciones estudiadas nos dicen que…(aspectos positivos)

1. Existe conciencia de que lo importante es comparar el “con” y el “sin” programa…

2. Los evaluadores son ahora agentes externos (no queremos casos de juez y parte)…

En PROBECAT 1995 y CIMO 1995 las evaluaciones fueron hechas por la propia STPS

En todas las otras evaluaciones (2002 y 2003) se contratan agentes externos

Las evaluaciones estudiadas nos dicen que…(aspectos positivos)

3. Dada la información disponible los evaluadores externos apuntan a atenuar los sesgos de selección…

En 5 casos se utilizan métodos de variables instrumentales (Heckprob, Treatreg)

En 2 casos se intenta “matching”

4. En algunos casos se utiliza mismo cuestionario para recolectar información de beneficiarios y controles… CIMO y PIPs

5. Evaluaciones operativas y análisis costo-beneficio conceptualmente bien diseñados

Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar)

1. La evaluación de impacto no forma parte del diseño de los programas…

En ningún caso se cuenta con línea de base Los grupos de control se buscan ex-post En los casos de contar con información del “antes”

corresponde a información retrospectiva (introduce sesgo)

2. A veces es necesario precisar mejor el “outcome” a estudiar…

Casos en que se estudia el Ingreso Mensual… se recomineda separar el Ingreso x Hora y el Número de Horas


Separar “efecto empleo” del “efecto ingreso” Si la variable dependiente es “Cambio en log

Ingreso”… habran muchas observaciones con valores extremos… que pasan de cero ingresos (desempleado) a ingreso positivo… (Ejemplo: esto sucede en PROBECAT)

CIMO lo hace correctamente…

¿Cuál es el “outcome” relevante para un programa como el SAEMLE (movilidad externa)? Recordar que el programa ayuda a trabajadores que

por primera vez salen a Canadá de zonas alejadas… Pero es claro que alguien se perjudica… porque el

número de vacantes es fija…


3. Hay que ser cuidadosos con el “matching” en variables observables…

Ejemplo, CIMO sólo verifica “common support” en tres variables: sector(manufactura vs. otro), tamaño, ubicación…

PERO… sin duda otras variables pueden explicar la participación en el programa y sobre la productividad laboral… ejemplo: antiguedad de la empresa, rama…

SAEBE hace “matching” para “estar desempleado” y “lugar de residencia”… Y además usa regresión con variable instrumental… (esto va en la dirección correcta…)


4. Controlar por el mayor número de variables observables relevantes Ej. PIPs… regresión para explicar ingreso neto del

entrepreneur… pero no controla por tamaño de empresa !!!

5. Procurar información del “antes”… ejemplo cuando ésta no existe… En SICAT… se usa la ENE 2002 para armar grupo control

bajo el siguiente criterio: Haber conseguido empleo recientemente… Estar actualmente desempleado PROBLEMA: incluye a

gente que estuvo empleada “antes”… no hubiera sido elegible para el programa !!!


6. Hay que ser consistentes con la metodología de evaluación… En PROBECAT se utiliza un Probit para hacer “matching”

entre grupos de beneficiarios y de control… supone querer controlar por observables en participación…

PERO luego se usa variables instrumentales… para instrumentar participación !!!... NO sería necesario…

7. Hacer uso correcto de la econometría Por ejemplo correr…

Ingreso Bruto contra Ingreso por Hora, Número de Horas, y Gratificación… NO INFORMA NADA

Período trabajado contra período planeado, dummy para regreso prematuro, mes de salida… NO INFORMA NADA

Usar OLS cuando la variable dependiente es “mes de salida” (incorrecto !!!)

Recomendaciones Finales

Algunas recomendaciones

La evaluación de impacto debe formar parte del diseño de los programa Importante identificar como incorporarla en los programas que

ya existen Una adecuada inversión en el diseño de nuevos programas

Desde el inicio del programa es necesario precisar el “outcome” a estudiar y el grupo control

La metodología de impacto a utilizar debe ser homogénea

Sería ideal contar con un laboratorio de evaluación, con autonomía y evaluación externa.

Importancia de un sistema de evaluación de impacto

Project Implementation

Stakeholders

ReplicabilidadImplementación de proyecto

Sistemas de información y diseminación

Línea de Base

Indicadores intermedios

Encuesta final

Indicadores de Output

Inicio de Proyecto Acciones correctivas Fin de cada fase y del

proyecto

Flujo de información

Fuente: Nopo, Hugo, Miguel Robles y Jaime Saavedra (2002)

Labor Intermediation and Training Programs of the STPS/México Maximo Torero (IFPRI/ GRADE) y Miguel Robles (UCLA)

Documents