www.coneval.gob.mx Shakirah Cossens Dirección de Monitoreo de los Programas Sociales Junio de 2008 Sistema de Monitoreo y Evaluación basado en resultados: Caso México
www.coneval.gob.mx
Shakirah CossensDirección de Monitoreo de los Programas Sociales
Junio de 2008
Sistema de Monitoreo y Evaluación basado en resultados:Caso México
ANTECEDENTES
• 1990´s: Algunas evaluaciones de programas y nuevas formas de presupuestar
• 2000: Inicio normativo de la evaluación sin una estrategia clara
• 2000-2006: Desarticulación de la evaluación con la mejora en la gestión
− PEF y Acuerdo entre SHCP y SFP− Ausencia de una estrategia de monitoreo− Agenda del Buen Gobierno, e Iniciativas de Innovación y Calidad
Gubernamental− Sistema de Metas Presidenciales
• 2005: Impulso normativo de la evaluación solo en el sector social, pero aún desarticulado con la mejora en la gestión pública
− Creación del Coneval
− Primer impulso normativo al monitoreo
− Vínculo con los temas de pobreza y con la Política de Desarrollo Social
EL CONEVAL
• Ley General de Desarrollo Social establece la creación del CONEVAL, cuyo propósito es revisar el cumplimiento del objetivo social de los programas, metas y acciones a través de:– Normar y coordinar la evaluación de la Política Nacional de Desarrollo Social
– Aprobar los indicadores de resultados, gestión y servicios que serán sometidos a consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF
– Establecer los criterios para la definición, identificación y medición de la pobreza
• El CONEVAL está integrado por 6 investigadores académicos electos democráticamente por la CNDS, a través de una convocatoria pública – También lo integran el Secretario de Desarrollo Social y un Secretario Ejecutivo
designado por el Ejecutivo Federal
• Contribuir a la toma de decisiones de Política de desarrollo Social y combate a la pobreza y rezago social en México– Información útil, objetiva y oportuna
COMITÉ DIRECTIVO
DIAGNÓSTICO - VENTAJAS
• Se ha avanzado en la cultura de la evaluación
• Existen casos particulares de evaluaciones que han apoyado la
toma de decisiones
• Existe un respaldo normativo para institucionalizar un M&E
– Ley General de Desarrollo Social,
– CONEVAL,
– Ley Federal de Presupuesto y Responsabilidad Hacendaria,
– PEF 2007
• Actores principales conscientes de la poca efectividad del
sistema vigente: SHCP, Función Pública, Congreso
• Transición política favorable para la introducción de cambios
• Elementos de M&E desarticulados y no alienados conceptual, metodológica ni operacionalmente
• Alto costo de esquema actual: Cada evaluación cuesta aprox. $1 millón: 170 programas: $170 millones al año.
… y con poca utilidad• Percepción del sistema de M & E como instrumento de fiscalización, y
no de gestión y rendición de cuentas• La medición de Resultados no es una prioridad para el programa o la
dependencia.Mucho énfasis en indicadores de producto y ejercicio del recursoMuchos indicadores que no se usan para una gestión por resultados
• No hay claridad en los objetivos estratégicos de las dependencia• Lineamientos poco flexibles• Seguimiento limitado a las recomendaciones generadas de la
evaluación• Falta de coordinación y uso de resultados por las diferentes
autoridades
DIAGNÓSTICO - RETOS
• CONEVAL (2005)
• SHCP:– Ley de Presupuesto y
Responsabilidad Hacendaria (2006)– SED y planes de una Reforma Fiscal
• SFP:– Programa de Mejoramiento de la
Gestión
• PEF 2007. Cámara de Diputados
NUEVAS REGLAS DEL JUEGO
Lineamientos de
Evaluación y
Monitoreo (Marzo 2007)
Lineamientos de
Evaluación y
Monitoreo (Marzo 2007)
Objetivos EstratégicosObjetivos
Estratégicos
Matriz de Marco Lógico
Matriz de Marco Lógico
Sistema de EvaluaciónDel Desempeño (SED)Sistema de EvaluaciónDel Desempeño (SED)
Resultados
Diferentes tipos de Evaluación
Diferentes tipos de Evaluación
Programa Anual de Evaluación
Programa Anual de Evaluación
Programas NuevosProgramas Nuevos
Seguimiento a los resultados de las evaluaciones
Seguimiento a los resultados de las evaluaciones
SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN
Política de Desarrollo Social Nivel 1
Programas Sectoriales Nivel 2
Objetivos de las dependencias
Nivel 3
Programas presupuestarios Nivel 4
Objetivos NacionalesEjes política
públicaObjetivos y Estrategias
Objetivos NacionalesEjes política
públicaObjetivos y Estrategias
Objetivos de los Programas del PND
Estrategias Líneas de acción
Objetivos de los Programas del PND
Estrategias Líneas de acción
Objetivo estratégico de la
Dependencia
Objetivo estratégico de la
Dependencia
Fin Propósito Componentes Actividad
Reglas de
operación
Reglas de
operación
PLANEACIÓN INCOMPLETA SI NO SE LLEGA A ROP
Componentes
Actividades
Propósito???Im
ple
men
tació
nR
esu
ltad
os
QUEREMOS PASAR DE ESTO …
Componentes
Actividades
Propósito
Fin
Objetivos Nacionales
Resu
ltad
os
… A ESTO EN EL MEDIANO Y LARGO PLAZO
EVALUACIÓN DE CONSISTENCIA Y RESULTADOS
• Evaluación de gabinete que busca medir, de manera homogénea,
el desempeño global de los Programas (gestión y RESULTADOS)
• 100 preguntas distribuidas en 5 temas: diseño, planeación
estratégica, cobertura y focalización, operación, percepción de los
beneficiarios y resultados
– Respuestas específicas, en su mayoría, en esquema binario (SI o NO)
fundamentada con evidencia documental y análisis de la misma (información
con la que cuenta el programa)
– Identificación concisa de fortalezas y oportunidades, debilidades y amenazas
para cada tema de evaluación
• En el 2007, será un “Diagnóstico” de la orientación de los
programas hacia una gestión para RESULTADOS
• En años posteriores, comparación con diagnóstico
Evaluación Externa1. Diseño 8
2. Cobertura y focalización 9
3. Planeación 5
4. Operación 9
5. Resultados 7
6. Percepción de los Beneficiarios 9
SED
2007
Preparación para un SM&E basado en Resultados
2008 2009 …2010 2011
0 < p < 1
Evaluación Externa
1. Diseño 8
2. Cobertura y focalización 93. Planeación 8
4. Operación 5
5. Resultados 7
6. Percepción de los Beneficiarios 9
SE REQUIERE UNA EVALUACIÓN DE
OPERACIÓN
SE REQUIERE UNA EVALUACIÓN DE
PLANEACIÓN
Evaluación de Consistencia1. Diseño2. Cobertura y focalización3. Planeación4. Operación5. Resultados6. Percepción de los Beneficiarios
Evaluaciones Estratégicas
Programa Anual de Evaluación
Diseño del Sistema de Evaluación del Desempeño
(SED-SHCP)
Evaluación de Impacto
Matriz de Marco Lógico
Evaluaciones Temáticas
Evaluación de Consistencia
1. Diseño
2. Cobertura y focalización
3. Planeación
4. Operación
5. Resultados
6. Percepción de los Beneficiarios
Evaluaciones Estratégicas
Programa Anual de Evaluación
Diseño del Sistema de Evaluación del Desempeño
(SED-SHCP)
Evaluación de Impacto
Matriz de Marco Lógico
Evaluaciones Temáticas
Matriz de Marco Lógico
SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN
1. Definir claramente la población objetivo 2. Asegurar la existencia personal suficiente y
capacitado para la operación y monitoreo del programa
3. Incentivar la coordinación efectiva para potenciar los beneficios otorgados
4. Mejorar la calidad de los bienes y servicios que otorgan los programas
5. Elaborar ROP que reflejen con mayor claridad los objetivos y la consistencia de los procesos
6. Generar y utilizar sistemas de evaluación y monitoreo con información de Indicadores de Resultados útiles y confiables
RESULTADOS DE EVALUACIÓN 2006-2007
RETOS EN LA EVALUACIÓN
• Implementar pilotos del resto de los tipos de evaluación
• Potenciar los usos de la EC&R
• Fortalecer las capacidades de las Secretarías
• Mejorar los esquemas de generación de información
(monitoreo)
• Mejorar la oferta de evaluadores
• Fortalecer el vínculo con la mejora de la gestión y “adecuar”
la relación con el presupuesto
• Analizar los resultados de políticas específicas
• Mejorar la coordinación entre las “autoridades” y fortalecer
vínculo con la Presidencia
• Fortalecer los esquemas de evaluación a nivel estatal
PRINCIPALES OBSERVACIONES A LA MI
• Se tiene mal definidos los componentes
• Las MI tiene problemas en la definición del Propósito
• El Propósito no implica una contribución significativa al Fin
• Las MI no presenta una clara vinculación del Fin con el OE
• Se presenta algún tipo de duplicidad en niveles de objetivos
• Los supuestos no están bien identificados
RETOS EN LOS INDICADORES
• Continuar analizando y mejorando las matrices
• Impulsar el nivel de “propósito”
• Impulsar capacitación en indicadores y metas (planeación)
• Mejorar la coordinación con las “autoridades”
• Impulsar el tema de monitoreo
• Fortalecer a los estados
• Fortalecer los vínculos internos de las Secretarías
(Evaluación, Planeación y Presupuesto)
• Auditoría Superior de la Federación
• Congreso
• Promover la gestión y evaluación basada en “Resultados”
• Tener un sistema de Evaluación y Monitoreo coordinado y sistematizado
• Menor número de indicadores a reportar, pero de mejor calidad
• Promover el uso sistemático de la información de evaluación y monitoreo– Que el sistema tenga nexos con el proceso presupuestario
– Que la información se utilice para mejorar la gestión de los programas y dependencias
• Que se puedan evaluar políticas en su conjunto, especialmente políticas sociales– Utilizando la evolución de los indicadores de pobreza nacionales,
estatales y municipales
• Reforzar la transparencia y la rendición de cuentas
LO QUE SE ESPERA EN EL MEDIANO PLAZO