Secretaría de Estado de Trabajo República Dominicanasiteresources.worldbank.org/INTLACREGTOPLABSOCPRO/Resources/... · Proceso de Diseño de la Evaluación Análisis de Inf. secundaria

Secretaría de Estado de TrabajoRepública Dominicana

Programa Juventud y EmpleoMayo 2006

Por: José Luis PolancoCoordinador PJ&E

Antecedentes del programa

• El Programa de Modernización y Capacitación Laboral fue aprobado por el BID y el Gobierno en 1999• Este es el único programa financiado por BID en la región con un componente riguroso para su evaluación• Las actividades iniciaron en el 2001

OBJETIVO

“Aumentar la posibilidades de empleo de la población jóven de menos ingresos, adecuando la oferta de capacitación y la demanda de mano de obra del sector productivo.”

PERFIL DEL JÓVEN BENEFICIARIO

• 4 Deciles más Pobres.• Edad de 16-29 Años.• No Bachiller.• Preferiblemente haya

abandonado la escuela.• Deseos de trabajar.• Dispuesto a capacitarse.• Desempleado, sub-

empleado o Inactivo.

CARACTERÍSTICAS RELEVANTES

• Autofocalizado• Contenido de los cursos determinado por la

demanda del sector productivo.• Cursos contratados mediante licitaciones

competitivas.• Selección y supervisión de cursos apoyados

por INFOTEP.• Diseño experimental para la evaluación de

impacto.

Estructura del Programa

SET emitelicitación

ICAPs y empresas desarrollan cursos

ICAPspresentan propuestasa SET

SET con apoyo de INFOTEP selecciona cursos

SET selecciona lista final

ICAP envialista de 30 personas elegible

Fase Lectiva (ICAPs)

Fase Pasantía (Empresas)

INFOTEP supervisa ambas fases

¿Cuáles eran los requisitos para el diseño Metodología de Evaluación de Impacto?• El cumplimiento de condiciones del

Contrato de Préstamo. Evaluación Experimental.

• Minimiza efectos éticos y políticos de una evaluación de tipo experimental.

• No interfiere en los resultados e impactos del Programa.

¿Cuáles eran los requisitos para el diseño Metodología de Evaluación Propuesta?(2)• De la eficiencia económica de su ejecución:

– Reduciendo al mínimo los puntos de observación.– Aceptando niveles de errores de estimación

razonable.

• De su viabilidad técnica referida a:– Adaptación al contexto cultural dominicano.– Incorporar observaciones de partida o de base (Línea

Base). – Controlar los sesgos en las variables observables y

no observables.

Proceso de Diseño de la Evaluación

AnAnáálisis de Inf. lisis de Inf. secundariasecundaria

Consulta a ExpertosConsulta a Expertosnacionalesnacionales

AnAnáálisis de inf. lisis de inf. SecSecLevantLevant InfInf primariaprimaria

cualitcualit..

Producto

DiseDiseñño metodolo metodolóógicogicoimplementableimplementable

Actividades de Actividades de ConsolidaciConsolidacióón de n de

acuerdosacuerdos

Análisis de casos de evaluación de impacto de proyectos similares

Entrevistas en profundidad y 2 paneles de expertos

Validación

Entrevistas en profundidadGrupos de Foco Análisis de diagnósticos y estadísticas

Actividades de acompañamiento a la contraparte en el proceso de negociación e introducir las modificaciones necesarias

Esquema del Diseño de Evaluación de Impacto

LINEA BASELINEA BASEUNIVERSO DE UNIVERSO DE POTENCIALES POTENCIALES

BENEFICIARIOSBENEFICIARIOS

Grupo Grupo BeneficiariosBeneficiarios Grupo ControlGrupo Control

MuestrasMuestras MuestrasMuestras

6 meses

12 meses

18 meses

6 meses

12 meses

18 meses

POSIBLE POSIBLE RESPOSTULACIRESPOSTULACIÓÓNN

PROCEDIMIENTO ALEATORIO PROCEDIMIENTO ALEATORIO DE SELECCIDE SELECCIÓÓNN

CONTROL ESTADCONTROL ESTADÍÍSTICOSTICO

PROYECCIPROYECCIÓÓN EN HORIZONTE DE 15 AN EN HORIZONTE DE 15 AÑÑOSOS

Objetivo General E. I.

• Determinar el impacto del Programa Juventud y Empleo en el nivel (masa salarial) y calidad de la inserción laboral de sus beneficiarios (seguridad social, formalización de contratos, permanencia)

Determinación de los Grupos deBeneficiarios y de Control

• Las ICAPs buscarán y preseleccionarán a potenciales beneficiarios, en número que exceda en un 50% la matrícula de cada curso.

• Cada ICAP entregará la nómina de candidatos a la UTE que constituirá el Universo de la Línea Base.

• La UTE seleccionará mediante un procedimiento aleatorio (software) al grupo de beneficiarios.

• El grupo no seleccionado, se constituye como el universo para la selección de las muestras de control.

• Los no seleccionados pueden repostular a los siguientes llamados.

InstrumentosInstrumentos

• Ficha de registro de postulantes (Línea Base).• Ficha de egreso (actualización de información,

opcional).• Encuesta de seguimiento beneficiarios

(determinación de impacto).• Encuesta de seguimiento grupo de control

(determinación de impacto).

Diseño Muestral• Muestras representativas de los Universos de

beneficiarios inscritos, y de control en tres períodos (6, 12 y 18 meses del egreso)

• Por cada punto de evaluación:– Las muestras de beneficiarios y de control presentan las

mismas características de diseño (error muestral, método de selección).

– Se diseñan muestras independientes (no se sigue a cohortes).

• Muestras comparables

Principales Variables Evaluadas Principales Variables Evaluadas en las Encuestas de Seguimientoen las Encuestas de Seguimiento

• Situación ocupacional (porcentaje de ocupados, desocupados e inactivos)

• Salarios• Niveles de inserción estudiantil

• Situación contractual• Permanencia• Seguridad social

Variables de Nivel de Impacto

Calidad de los empleos

• Niveles de deserción• Niveles de satisfacción• Pertinencia del Programa

Variables de Proceso

Estrategia para la Implementación E.I. Experimental

• Incluir un componente dentro del proyecto.• Crear un espacio de consulta con los actores

involucrados. (hacerlo parte de la decisión)• Crear conciencia de la necesidad inminente de

un proceso de selección de beneficiarios.• Presentar las ventajas que representan la

selección aleatoria de beneficiarios. • Hacer un diseño que reduzca los

cuestionamientos éticos y políticos.

RESULTADOS DE LA EVALUACION

Resultados Evaluación de Impacto

• Esta evaluación es sobre el segundo llamado• Se cuenta con línea de base y con una encuesta de seguimiento para 786 beneficiarios y 563 del grupo de control• Gracias al cuidado en la implementación, estos grupos son comparables entre si• La encuesta de seguimiento fue aplicada entre mayo y julio del 2005, de 10 a 14 meses después de terminados los cursos

Estrategia de Evaluación y Metodología

• Por diseño y resultado de exitosa implementación, se cuenta con un grupo de control estadísticamente idéntico al grupo de beneficiariosPor tanto, para obtener el impacto simplemente

se comparan los indicadores entre el grupo de control (C) y el grupo de tratamiento (T)

Flujo de la muestra de beneficiariosIniciaron Fase Lectiva (786)

Completaron Fase Lectiva (733) Abandonaron Fase Lectiva (53)

12 encontraron trabajo7 embarazo/ cuidado de hijos/ niños6 enfermedad o accidente6 no le gustó/ intentó el cursoNo inician pasantía

(106) 30 no le ofrecieron/ no lo llamaron23 encontró trabajo14 embarazo/ cuidado de niños-hijos8 estudios8 enfermedad

No terminaron la pasantia (52)

10 encontró trabajo8 no le gustó5 embarazo o cuidado de niños

Terminaron la pasantía (575)

Iniciaronpasantía (627)

Estrategia de Evaluación y Metodología

• Las estimaciones van acompañadas del error estándar, para determinar la significanciaestadística y construir intervalos de confianza•El margen de error de una encuesta esta directamente relacionado al número de casos, razón por la cual es crucial tener una muestra suficientemente grande

Muestras Utilizadas

Control Beneficiarios TotalN 563 786 1349Mujeres 322 435 757

57% 55% 56%

Hombres 241 351 59243% 45% 44%

<= 19 108 135 24319% 17% 18%

20 - 24 288 433 72151% 55% 53%

>= 25 167 218 38530% 28% 29%

Muestras UtilizadasControl Beneficiarios Total

N 563 786 1349Primaria 128 122 250

23% 16% 19%

Secundaria 365 567 93265% 72% 69%

Post_secundaria 70 97 16712% 12% 12%

Santo Domingo 255 346 60145% 44% 45%

Este 73 126 19913% 16% 15%

Norte 94 148 242

17% 19% 18%Suroeste 141 166 307

25% 21% 23%

Indicadores Seleccionados

• Tasa de ocupación• Salario en el empleo• Seguro de Salud en el empleo• Los resultados fueron analizados para toda la población, y también por género, nivel educativo y región• Se realizó un análisis estático (al momento de la encuesta) y dinámico (historia laboral)

Resultados: Ingresos Laborales

• La participación en el programa tiene un efecto importante en los ingresos• Los datos sugieren que, sobre todo en jóvenes y en hombres, los ingresos son entre 10% y 15% superiores a los del grupo de control• Es necesario continuar monitoreando los resultados, pues estos impactos no son muy precisos.

Resultados: Ingresos Laborales

• Los beneficiarios tuvieron ingresos de $3,236, comparado a $2,742 de los controles: una diferencia de $484 (con margen de error de $215)• La diferencia es mayor para hombres, para los más jóvenes y para aquellos con secundaria.• Solamente en Santo Domingo se detectan diferencias importantes ($975 con margen de error de $338)

Resultados: Seguro Médico en el Empleo

• El mejor indicador de calidad del empleo es el salario, sin embargo hay otros elementos a considerar • El contar con seguro médico en el empleo es un indicador sobre la calidad del empleo, y que también es un objetivo importante del programa• El programa también impacta positivamente en el contar con un seguro médico proporcionado por el empleador

Resultados: Seguro Médico en el Empleo

• Los beneficiarios tienen mayor probabilidad de tener un empleo con seguro médico que los controles (20% vs 15%)• Este resultado aplica únicamente para los hombres, en el caso de las mujeres no hay diferencia.• El efecto parece estar en los grupos de mayor edad y educación, y por regiones en Santo Domingo

Los beneficiarios hombres ocupados tienen más probabilidad de tener seguro médico.

0%

5%

10%

15%

20%

25%

30%

35%

8/04 9/04 10/04 11/04 12/04 1/05 2/05 3/05 4/05 5/05

Treatment Control

Resultados: Tasa de Ocupación

• Además de facilitar el conseguir trabajos con mayores salarios y de mejor calidad, el objetivo central de Juventud y Empleo es aumentar la empleabilidad de los jóvenes• La manera más común para medir empleabilidad es por la tasa de ocupación, que se espera sea mayor para beneficiarios que para el grupo de control• Este objetivo no se ha cumplido, pues la tasa de empleo es igual para ambos grupos

Resultados: Tasa de Ocupación

• Los beneficiarios tienen la misma tasa de ocupación que los del grupo de control (57% y 56%)• No hay diferencias por género o educación• Por grupos de edad, en los más jovenes –17 a 19 años-- hay impacto (50% vs 43%), pero el margen de error es grande (7%)• En Santo Domingo y el Este hay diferencias de 5% y 8%, pero con márgenes de error grandes

Tasa de Empleo: Beneficiarios y Controles

0%

10%

20%

30%

40%

50%

60%

70%

8/04 9/04 10/04 11/04 12/04 1/05 2/05 3/05 4/05 5/05

Treatment Control

Tasa de Empleo: Beneficiarios y Controles en Santo Domingo

0%

10%

20%

30%

40%

50%

60%

70%

8/04 9/04 10/04 11/04 12/04 1/05 2/05 3/05 4/05 5/05

Treatment Control

Conclusiones

• Con la muestra completa, no hay impacto en la probabilidad de estar ocupado ni en la evolución de la tasa de empleo.

•Sin embargo, en Santo Domingo los beneficiarios tienen una tasa de empleo 10% superior a los del grupo de control.

• Los datos sugieren que hay un impacto en salarios de 5-10%, que es lo que se podría esperar.

Conclusiones: Análisis Costo-Beneficio

• Incluso si no hay impacto en en empleo, si el impacto en salarios (para los ocupados) es de US$38 y el costo es de $330, entonces

38 * 0.55 * 16 = 334 (impacto (% que (no. de (costo)mensual) trabajan) meses)

• Se recuperan los costos en menos de dos años

Conclusiones

• Los impactos del programa varían entre los distintos grupos. Por ejemplo, al parecer estábeneficiando más a los más jóvenes y a los hombres.

• En Santo Domingo parece haber resultados más favorables, tanto en empleabilidad como en ingreso

Cómo mejorar el impacto ?• Un cuidadoso análisis de la implementación del programa sugiere que la coordinación entre las ICAPs y el sector productivo puede y debe fortalecerse

• Esto pudo deberse a cuestiones de diseño, por los incentivos y por los tiempos de ejecución

• La segunda fase del programa pretende afinar procesos para responder mejor a las necesidades del sector privado

Cambios a la operación del Programa

• Recepción continua de propuestas, en una partes de los cursos.

• Fase lectiva puede ser en empresas, si en ICAPsse espera la participación de los empresarios

• Las ICAPs darán mayor seguimiento a los beneficiarios durante la fase de pasantía

• Habrá incentivos a las ICAPs por colocación de graduados