Ponencia - ssm.gob.mx · 1. Establecer los tipos de evaluaciones que se realizarán a los Pp, así como su coordinación 2. Determinar el Cronograma de Ejecución de las evaluaciones,

SHCP

Ponencia:

Evaluación del Desempeño

Evaluación del Desempeño

Unidad de Evaluación del Desempeño

Dirección General Adjunta de Evaluación de los Resultados de los Programas

Presupuestarios

Evaluación

¿Qué es una Evaluación?

Análisis sistemático y objetivo de un programa o políticas

en curso, que se efectúa con el propósito de determinar la

pertinencia y el logro de sus objetivos y metas, la eficiencia,

eficacia, impacto y sostenibilidad de éstos, aportando

información fidedigna y útil sobre los resultados obtenidos,

que permita mejorar el proceso de toma de decisiones.

¿Quién evalúa?

La evaluación externa es realizada por expertos,

instituciones académicas y de investigación u

organismos especializados, de carácter nacional o

internacional, que cuenten con reconocimiento y experiencia

en materia de PbR-SED.

• Determinar la pertinencia y el logro de los objetivos.

• Determinar la eficiencia, eficacia, impacto y sostenibilidad de los objetivos.

• Aportar información creíble y útil sobre los resultados obtenidos, que proporcionea los responsables de los programas, elementos sustentados que permitan tomardecisiones encaminadas a mejorar el desempeño de los mismos.

• Identificar áreas de oportunidad de los programas para formular aspectossusceptibles de mejora, a los cuales se den seguimiento

• Generar información del desempeño para mejorar la asignación presupuestaria

• La difusión de los resultados del desempeño de los programas hacia la ciudadanía y facilitar la rendición de cuentas.

¿Para qué sirven las evaluaciones?

Objeto

1. Regular la evaluación de los programas federales, la elaboración de la matriz

de indicadores y los sistemas de monitoreo

2. Regular la elaboración de los objetivos estratégicos de las dependencias y

entidades de la Administración Pública Federal (APF).

3. Orientar los programas y el gasto público al logro de objetivos y metas, y a la

medición de resultados enfocados a la búsqueda de eficiencia, economía,

eficacia y calidad.

4. Coordinar la implementación del PbR y del SED, a fin de ser utilizados en el

proceso de planeación, programación, presupuestación, ejercicio y control del

gasto federal.

5. Establecer los mecanismos de Seguimiento a los Resultados y

recomendaciones de las evaluaciones, así como de la difusión de las

evaluaciones y sus resultados.

Lineamientos Generales para la Evaluación de los Programas

Federales de la Administración Pública Federal 2007 (Lineamientos)

Coordinación SHCP-SFP -CONEVAL

Tipos de Evaluación

1. Diagnóstico. Análisis de la problemática que atiende el programa,

árbol de problemas, árbol de objetivos, cobertura, diseño de la

intervención, MIR, costo del programa y financiamiento.

2. Funcionamiento y operación de los procedimientos.

Mecanismos de Elegibilidad, integración del padrón de

beneficiarios, entrega y distribución de los apoyos, registro

presupuestario y mecanismos de rendición de cuentas,

transparencia y difusión.

3. Fichas de Monitoreo y Evaluación. Análisis puntual sobre los

resultados, la cobertura y la vinculación de los programas y

acciones. Documenta, de manera estructurada y homogénea, el

avance de los programas y acciones de desarrollo social.

Evaluaciones

Internas

7

Ciclo de la Evaluación de Programas

Evaluaciones

Externas

Análisis de gabinete de la documentación que justifica la intervención y su diseño,

de las poblaciones o áreas de enfoque que atiende y así como de la consistencia

interna de la MIR.

Evaluación de Diseño

Alcance

Permite identificar áreas de oportunidad en la planeación del Pp como el diseño de

la intervención, la alineación a la planeación nacional, la población a la que se

dirige la intervención, la Matriz de Indicadores para Resultados (MIR), etc.

Utilidad

La aplicación de la evaluación de diseño debe ser al primer año de operación de

un Pp de reciente creación o existente con una modificación sustancial.

Oportunidad

La evaluación de diseño permite reorientar el diseño de los Pp a fin de tener una

mejor planeación y seguimiento de los resultados.

Pertinencia

Evaluar el diseño e implementación del programa presupuestario, con la finalidad de

proveer información que retroalimente su diseño, implementación y resultados que permita

valorar si dicha gestión cumple con lo necesario para el logro de sus metas y objetivos, a

efecto de emitir recomendaciones que permitan la instrumentación de mejoras al

programa.

Evaluación de Diseño

Objetivo

Principales elementos a

evaluar• Justificación de la creación y del diseño del programa

• Contribución del programa presupuestario a las Metas Nacionales para lograr una

planeación orientada a Resultados

• Población potencial y objetivo

• Matriz de Indicadores para Resultados (MIR)

• Complementariedades y coincidencias con otros programas federales

Tipos de Evaluación

Análisis de gabinete y de campo acerca de los procesos del Pp, así como de las

herramientas de operación y gestión.

Evaluación de Procesos

Alcance

Permite identificar áreas de oportunidad en los procesos, procedimientos y gestión

del Pp.

Utilidad

La aplicación de la evaluación de procesos es oportuna en el segundo año de

operación de un Pp o un conjunto de Pp que se interrelacionan.

Oportunidad

La evaluación de procesos permite mejorar los procedimientos del Pp, así como

implementar herramientas innovadoras de operación y de gestión, a fin de

eficientar los procesos del Pp.

Pertinencia

El objetivo general de la Evaluación de Procesos es realizar un análisis sistemático,

mediante trabajo de campo y gabinete, de la operación del Pp con la finalidad de conocer

las características de sus procesos, examinar sus ventajas y especificar las problemáticas

a las que se enfrentan

Evaluación de Procesos

Objetivo

Principales elementos a

evaluar• Operación del Pp en los distintos niveles.

• Eficacia, oportunidad, suficiencia y pertinencia de los procesos operativos del Pp para el

logro de sus objetivos.

• Identificación de los problemas que obstaculizan la operación del Pp

• Descripción de buenas prácticas.

• Adecuación, aplicación, deficiencia o insuficiencia de los procesos para lograr sus

objetivos planteados.

Tipos de Evaluación

Análisis de gabinete de carácter general del diseño, de la operación, de la

percepción de la población o área de enfoque atendida y la medición de los

resultados de un Pp.

Evaluación de Consistencia y Resultados

Alcance

Permite identificar áreas de oportunidad de manera general en el diseño,

procesos, percepción de los beneficiarios y medición de los resultados del Pp.

Utilidad

La aplicación de la evaluación de consistencia y resultados es oportuna después

del segundo año de operación de un Pp de nueva creación o con modificación

sustancial.

Oportunidad

La evaluación de consistencia y resultados permite mejorar el diseño, operación y

medición de los resultados de un Pp de manera general, así como identificar

deficiencias en el diseño, operación o medición de los resultados del Pp que

generen una alerta para realizar una evaluación que analice de manera exhaustiva

alguno de esos tres elementos.

Pertinencia

Evaluar la consistencia y orientación a resultados del Pp con la finalidad de proveer

información que retroalimente su diseño, gestión y resultados.

Evaluación de Consistencia y Resultados

Objetivo

Principales elementos a

evaluar

• Diseño

• Planeación y Orientación a Resultados

• Cobertura y Focalización

• Operación

• Percepción de la Población o Área de Enfoque atendida

• Medición de Resultados

Tipos de Evaluación

Análisis de gabinete de los resultados de un Pp, así como resultados de

evaluaciones previas, que se aplican principalmente a programas sociales.

Evaluación Específica de Desempeño

Alcance

Permite identificar el avance en el cumplimiento de los objetivos y metas

establecidas en un Pp de carácter social.

Utilidad

La aplicación de la evaluación de específica de desempeño se realiza por lo

regular cada dos años.

Oportunidad

La evaluación específica de desempeño permite generar información útil, rigurosa

y homogénea para los servidores públicos de las dependencias, unidades de

evaluación y gobierno federal que toman decisiones a nivel gerencial

Pertinencia

Valorar de manera sintética el avance en el cumplimiento de los objetivos y metas

programadas mediante el análisis de indicadores de resultados, de servicios y de gestión

de los programas sociales.

Evaluación Específica de Desempeño

Objetivo

Principales elementos a

sintetizar

• Resultados

• Productos

• Presupuesto

• Cobertura

• Evaluaciones previas

• Aspectos susceptibles de mejora.

Tipos de Evaluación

Análisis de gabinete y de campo de los efectos atribuibles a una intervención en la

población beneficiaria.

Evaluación de Impacto

Alcance

Permite identificar la efectividad atribuible a una intervención, así como áreas de

oportunidad en su diseño, focalización, procesos y componentes.

Utilidad

La aplicación de la evaluación de impacto debe realizarse a un Pp al que se le

destine una gran cantidad de recursos financieros y humanos, así como a Pp que

atiendan una problemática de gran envergadura. Además, el Pp se debe

considerar en su etapa madura del ciclo de vida de los Pp.

Oportunidad

La evaluación de impacto permite identificar el efecto atribuible a la intervención, a

fin de identificar áreas de oportunidad para mejorar su efectividad.

Pertinencia

Medir los impactos que un programa puede tener sobre su población beneficiaria y conocer

si dichos impactos son en realidad atribuibles a su intervención, mediante el uso de

metodologías rigurosas.

Evaluación de Impacto

Objetivo

Principales elementos a

evaluar• Diseño de la intervención

• Mecanismos de focalización

• Impacto de la intervención

• Comparación de los impactos con otros Pp a nivel nacional e internacional

Tipos de Evaluación

Análisis de gabinete y de campo de la eficiencia de un Pp, a través de medir los

costos del Pp, relacionado con los resultados que ha generado y los impactos en

los beneficiarios.

Evaluación Específica de Costo-Efectividad

Alcance

Permite identificar las relaciones de costos-resultados y costo-efectividad de un

Pp, así como áreas de oportunidad para mejorar la calidad y la eficiencia del

gasto.

Utilidad

La aplicación de la evaluación específica de costo-efectividad se debe aplicar a Pp

en su etapa madura del ciclo de vida, y de preferencia que cuenten con una

evaluación de impacto previa.

Oportunidad

La evaluación específica de costo-efectividad permite identificar el costo

relacionado con los resultados y la efectividad del Pp, a fin de identificar áreas de

oportunidad para mejorar la calidad y eficiencia del gasto.

Pertinencia

Analizar el costo de la intervención y los resultados que se obtuvieron (ex post), a través

del uso de metodologías cuantitativas y cualitativas rigurosas que provean de resultados

que permitan comparar el costo.

Evaluación Específica de Costo-Efectividad

Objetivo

Principales elementos a

evaluar• Diseño del programa.

• Costos del programa.

• Resultados del programa.

• Relación Costos-Resultados y Análisis Costo-Efectividad.

• Comparación con programas similares a nivel nacional.

• Comparación con programas similares a nivel internacional.

Tipos de Evaluación

Evaluaciones que se enfocan en aspectos específicos de un Pp y que se realiza mediante

trabajo de gabinete y/o de campo, por lo que puede contener elementos de los tipos de

evaluación mencionados, así como algunos otros en que la dependencia tenga necesidad

de información.

Evaluación Específica

Definición

Tipos de Evaluación

1. Establecer los tipos de evaluaciones que se realizarán a los Pp, así como su

coordinación

2. Determinar el Cronograma de Ejecución de las evaluaciones, así como de los

Aspectos Susceptibles de Mejora y la Matriz de Indicadores para Resultados.

Fondos de Aportaciones Federales del Ramo General 33

39. El CONEVAL continuará con el desarrollo de una propuesta metodológica para

la evaluación del Ramo General 33 y los Fondos que lo integran. Las

dependencias y entidades coordinadoras de los Fondos deberán participar en el

proceso y proporcionar información para fortalecer los esquemas de seguimiento y

evaluación que la Unidad de Evaluación del Desempeño de la SHCP, la SFP y/o el

CONEVAL les soliciten.

Programa Anual de Evaluación 2015

Objeto

Criterios para el PAE 2015

22

Implementación del PAE

SHCP

Coneval

SFP

1. Definición del PAE• Tipos de evaluación

• Cronograma de Ejecución

Coordinación

Unidad

Responsab

le

Evaluador

Externo

5. Productos de la

Evaluación:• Informes Finales

• Obtención, clasificación y

justificación de recomendaciones

3.

Contratación:•Evaluación

• Instancia

Evaluadora

Externa

4. Ejecución de la

Evaluación:

2 .Autorización:• Envío de TdR a Revisión

de la Dependencia

Coordinadora

6. Rendición de Cuentas• Informes Trimestrales

• Cuenta de la Hacienda Pública

Federal

• Divulgación de los Resultados de

la Evaluación (Transparencia

Presupuestaria)

• Modelo Sintético de Desempeño

7. Seguimiento a la

EvaluaciónAspectos Susceptibles de Mejora

Situación actual

• Desde 2007 y en el marco de la Ley Federal de Presupuesto y

Responsabilidad Hacendaria (LFPRH), la SHCP, la SFP y el

CONEVAL han suscrito de manera conjunta, el Programa Anual de

Evaluación (PAE) para el ejercicio fiscal correspondiente.

• Reformas al artículo 134 constitucional y, en consecuencia, a la Ley

de Coordinación Fiscal y a la Ley General de Contabilidad

Gubernamental, han extendido los principios de la evaluación a los

diversos ámbitos y niveles de gobierno.

• Al 2015, se han emitido en el ámbito federal nueve PAE (2007-

2015). En este contexto, se tiene evidencia de la realización de

1,105 evaluaciones, de las cuales 161 son evaluaciones

complementarias.

• Todas las evaluaciones y su costo por tipo, están disponibles en:

www.transparenciapresupuestaria.gob.mx 23

24

Modelos de Términos de Referencia (TdR)

• Para realizar las evaluaciones externas, cada dependencia o programa contrata auna empresa consultora o a un consultor independiente. Para esto se elaboranTérminos de Referencia (TdR) que especifican lo que el contratante requiere, asícomo la manera y la temporalidad en que éste lo desea.

• Los TdR contienen las especificaciones técnicas, objetivos y estructura de cómoejecutar una determinada evaluación.

• Conforman una especie de mapa. Dan un camino claro para el proceso deevaluación, especificando qué necesita ser alcanzado, por quién y cuándo.

Vínculos a los modelos de TdR de las dependencias coordinadoras de Evaluación:

• Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL)

• Secretaría de la Función Pública (SFP)

• Secretaría de Hacienda y Crédito Público (SHCP)

Criterios de Validación de Evaluaciones

de Gasto Federalizado

Los criterios principales, de acuerdo a lo señalado en;

• Sección IV de los Lineamientos para informar sobre los recursos

federales transferidos a las entidades federativas, municipios y

demarcaciones territoriales del Distrito Federal, y de operación de

recursos del Ramo General 33 y

• Norma para establecer el formato para la difusión de los

las evaluaciones de los recursos federales ministrados a las

federativas.

Dos criterios:

1. Tipo de evaluación. Las evaluaciones que se realicen se tienen a

apegar a alguno de los tipos que se establecen en el lineamiento

DÉCIMO SEXTO de los Lineamientos generales para la evaluación de

los Programas Federales de la Administración Pública Federal.

Adicionalmente los informes deben contar con 1) Análisis FODA, 2)

Conclusiones y 3) Recomendaciones de Mejora

2. Instancia Evaluadora Externa. Los resultados del ejercicio de dichos

recursos deberán ser evaluados, con base en indicadores, por instancias

técnicas independientes de las instituciones que los ejerzan,

designadas por las entidades, a fin de verificar el cumplimiento de los

objetivos a los que se encuentran destinados los Fondos de Aportaciones

Federales conforme a la Fracción V del artículo 49 de la Ley de Coordinación

Fiscal.

Criterios de Validación de Evaluaciones

de Gasto Federalizado

Fabiola del Carmen Canela Gamboa.

Directora de Evaluación del Desempeño.

Tel. 3688 5171. Correo Electrónico:

fabiola_canela@hacienda.gob.mx

José Francisco Pérez de la Torre

Subdirector de Metodología de la Evaluación y Seguimiento

Tel. 3688 4744. Correo Electrónico:

jose_perezd@hacienda.gob.mx

Paula Cecilia Molina Rivera

Jefa de Departamento de Evaluación del Desempeño.

Tel. 3644 5042. Correo Electrónico:

paula_molina@hacienda.gob.mx

Contacto en SHCP en Materia de Evaluación

¡Gracias!