1 Lineamientos metodológicos para la construcción de indicadores de desempeño “Planificación Estratégica y Construcción de Indicadores de Desempeño en el Sector Público de Costa Rica” Ministerio de Vivienda y Asentamientos Humanos Ministerio de Trabajo y Seguridad Social San José, 12 al 16 de abril de 2010 Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL [email protected]
134
Embed
Lineamientos metodológicos para la construcción de indicadores de desempeño
“Planificación Estratégica y Construcción de Indicadores de Desempeño en el Sector Público de Costa Rica” Ministerio de Vivienda y Asentamientos Humanos Ministerio de Trabajo y Seguridad Social San José, 12 al 16 de abril de 2010. - PowerPoint PPT Presentation
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
1
Lineamientos metodológicos para la construcción de indicadores de desempeño
“Planificación Estratégica y Construcción deIndicadores de Desempeño en el Sector Público
deCosta Rica” Ministerio de Vivienda y Asentamientos
HumanosMinisterio de Trabajo y Seguridad SocialSan José, 12 al 16 de abril de 2010
Área de Políticas Presupuestarias y Gestión Pública ILPES/[email protected]
• Contexto de los indicadores en la gestión orientada a resultados
• 10 pasos básicos para construir indicadores de desempeño
• Seleccionando los indicadores de desempeño
• Recomendaciones
Es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución, cubriendo aspectos cuantitativos o cualitativos
¿Para qué sirve esta información?
TOMAR DECISIONES
Indicadores de Desempeño
“Que indica o sirve para indicar”
Latín = “Indicare” = Mostrar o significar algo, con indicios y señales
Desempeño: capacidad de una institución para gestionar adecuadamente sus recursos y dar cumplimiento a los objetivos y metas establecidos
Indicadores de Desempeño
UN INDICADOR ES UNA SEÑAL, UN AVISO, QUE NOS
ENTREGA INFORMACIÓN
SE RELACIONA DIRECTAMENTE Y SIEMPRE CON UN OBJETIVO
Aumentar nivelde escolaridad
del país
Años promedio deescolaridad por
habitante del país
Por que es necesario construir indicadores
Es necesario definir indicadores para:
• Eficacia• Calidad• Eficiencia
PROYECTOS
PROGRAMAS
RE
CU
RS
OS
INSUMOS PROCESO PRODUCTOS RESULTADOS
• Eficacia• Calidad• Eficiencia• Economía
• Eficacia• Calidad• Eficiencia
• Eficacia
• (Eficiencia)
Bienes
SERVICIOS
PRESUPUESTO NACIONAL
Recursos Bienes y Servicios Beneficiarios
(resultados:Intermedio - final)
Presupuesto ($)
Producción (Q)Resultados
(desde punto de vista de los beneficiarios)
Indicadores
Productos
-Cobertura y focalización
-Oportunidad
-Carácterísticas de Bs. y Ss.
-Costos
Indicadores
Misión y Objetivos
Estratègicos
-Intermedio
-Final
Insumos / Procesos
INSTITUCIÓN
Indicadores
Actividades
-Programas de trabajo
-Programación
-Ejecución de recursos
Proceso 2 Proceso 3
Proceso 1 Proceso 4
InsumosY
Recursos
Productos Estratégicos(Bienes y Servicios)
Proceso productivo Productos Resultados
Para esto es necesario comprender la cadena de producción y resultado esperado
Objetivos de Gobierno
Ministerios Ministerios Ministerios MInisterios
EntidadesEntidades
ProgramaPrograma
Y comprender que los objetivos de la institución deben estar alineados con los Objetivos (prioridades) gubernamentales……….
OBJETIVOS
INDICADORES
Operacionalizaciónde objetivos
Agregaciónde mediciones
Ministerios Ministerios Ministerios Ministerios
Programas EntidadesProgramas
DivisiónDivisiónDivisión
Dpto. Dpto.
Y para que se generen los resultados esperados las Instituciones deben tener sus objetivos, definir resultados esperados y la forma de medirlos a través de indicadores
Por eso es importante comprender el concepto y sentido de los indicadores
• Son herramientas de gestión que proveen un valor de referencia a partir del cual se puede establecer una comparación entre las metas planeadas y el desempeño logrado
• Un indicador de desempeño es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución
• Los indicadores de desempeño son medidas que describen cuán bien se están desarrollando los objetivos de una institución, a qué costo y con qué nivel de calidad.
• En un sistema de cuenta pública orientada a resultados, se requiere datos sobre un conjunto de indicadores diferentes, que reflejan la información requerida para distintos niveles de toma de decisiones.
• Los legisladores y los Directores requieren información estratégica sobre la gestión de la institución (resultados finales e impacto), mientras que los Gerentes de Divisiones, Departamentos o Programas y sus staff requieren detalles sobre la provisión de insumos, las actividades, los productos finales y resultados intermedios
• La idea de incorporar indicadores y metas de desempeño al proceso presupuestario es disponer de información sobre los niveles de cumplimiento de los objetivos planteados y resultados esperados de cada institución y enriquecer el análisis en la formulación del presupuesto y su discusión en el Congreso.
• Los indicadores y sus metas se presentan como información complementaria al Proyecto de Ley de Presupuestos, y una vez aprobado éste, las metas se vinculan con el seguimiento (monitoreo) de la ejecución.
¿QUE TIPO DE INDICADORES HAY?
Clasificación de los indicadores
• Según qué miden (dimensiones del
desempeño):
– Eficacia– Calidad– Eficiencia– Economía
• Según etapa del proceso productivo:
– Insumos– Procesos– Productos (bienes y servicios)– Resultados (intermedios y
finales)
EFICACIA
EFICIENCIA
ECONOMÍA
CALIDAD
PROCESOS PRODUCTO RESULTADOS
DI
MENSIONES
DESEMPENO
AMBITOS DE MEDICIÓN y DIMENSIONESAMBITOS: DESDE LA CADENA DE PRODUCCION
Indicador de EFICACIA
• Mide el grado de cumplimiento de un objetivo.
• No considera los recursos asignados para ello
• Ejemplo: – Porcentaje de becas entregadas en relación a
las programadas– Reducción de la tasa de analfabetismo
CONCEPTOS
EFICACIA
• RESULTADO (% RESULTADO LOGRADO EXITOSAMENTE RESPECTO REALIZADO-SOLICITADO)
• FOCALIZACION (LOGRADO RESPECTO DEL UNIVERSO)
• COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA POSIBLE)
• IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE QUIERE ATACAR)
EFICACIA (Cobertura)/Producto
Area de cultivo incluida en el
Programa
Area Total del Programa
de Cultivo
Dirección General de Servicios Agrícolas . Uruguay
Controles de emisiones de
Buses Interurbanos Total de Buses Inter
urbanos
Subsecretaria de Transportes Chile
Reclusos con actividad industrial Total de reclusos
Dirección Nacional de Cárceles Uruguay
PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA
COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANOS
PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUSTRIAL
Ámbito de los Productos:
Bienes y/o servicios proporcionados directamente a los usuarios:
Definir los requerimientos de los usuarios
Establecer las características de los productos
- Características técnicas del producto- Tiempo de entrega a los usuarios
- Cobertura (todos los niños y niñas del país)
- Focalización (niños y niñas en situación riesgo social)
- Grado de satisfacción de los usuarios
Indicador de EFICIENCIA
• Mide la relación entre los productos y servicios generados con respecto a los insumos o recursos utilizados.
• Aproximaciones a este concepto:– Costos de producción (costos medios, costos unitarios gastos
administrativos en relación al gasto total)– Productividad media de los distintos factores de producción
• Ejemplos:– Costo promedio anual por alumno atendido– Solicitudes tramitadas por funcionario
EFICIENCIA
• Indicador de eficiencia: costo por unidad de servicio o bienes provistos; o productividad de un input,
• son útiles en evaluar los costos relativos y productividad que diferente métodos de servicio entregan o la producción de bienes.
• Los indicadores de eficiencia pueden expresarse como “costo por producto”, o “unidades por insumo”, o “costo por resultado”.
Ejemplos de Indicadores de Eficiencia
EFICIENCIA
EFICIENCIA-Producto Medio
Número de inspecciones/número de inspectores
Número de expedientes resueltos por semestre/dotación de personal en la tarea
Número de inspecciones al transporte de pasajeros/personal que participa en la tarea
Número de consultas/número de médicos
Indicador de CALIDAD• Mide atributos, capacidades o características que
deben tener los bienes o servicios para satisfacer adecuadamente los objetivos del programa.
• Calidad es una dimensión de la eficacia, pero por su importancia se la distingue con nombre propio
• Ejemplos:– Grado de satisfacción de los usuarios– Tiempo de respuesta a requerimientos de los
beneficiarios
Calidad Capacidad de la institución por responder en formaconsistente, rápida y directa a las necesidades delos usuariosA) Mediciones Indirectas.
Mejorar los atributos y características de los productos.
B) Mediciones Directas. Grado de satisfacción de los
usuarios.
CALIDAD
Calidad-Tiempo de respuesta Tiempo de espera media para atender una consulta
Dirección General de Salud
Tiempo de tramitación media de solicitudes mineras
Dirección General de Geología e Minas
Tiempo medio para o estudio de cada Plan de Reforestamiento
Dirección General de Recursos Naturales
Dias de demora media de trámites de legalización
Dirección General de Secretaría
CALIDAD
Calidad- Satisfacción de usuarios
Porcentaje de aprobación Encuesta de opinión a los usuarios
Dirección Nacional de Registos
Porcentaje de reclamos/casos atendidos
Dirección Nacional de Topografía
Asuntos resueltos/ Número de servicios reclamados
Subsecretaria de Ministerio de Educación y Cultura
Número de servicios reclamados/número total de servicios
Hospital de Montevideo
Oportunidad Accesibilidad Percepción de usuarios
Precisión
Porcentaje de respuestas a los Parlamentarios dentro de los límites acordados.
Número de localidades cubiertas por atenciones móviles
Porcentaje de aprobación excelente de los talleres de trabajo, por los participantes
Porcentaje de contratos terminados por errores
Porcentaje de reportes económicos entregados en tiempo acordado
Nº de horas que la Biblioteca está abierta fuera de las horas de trabajo
Número de fallas reales/ Fallas programadas
Porcentaje de Población con necesidades especiales que son miembros activos de la Biblioteca
INDICADORES DE CALIDAD
Número de intervenciones con retraso/ Número de intervenciones totales
Porcentaje de contratos con uno o más errores encontrados por revisiones externas
Porcentaje de usuarios satisfechos
Nº de usuarios satisfechos/ Total usuarios encuestados
Nº de usuarios Satisfechos con el trato en la atención/ Total usuarios
Indicador de ECONOMÍA
• Mide la capacidad del programa para generar o movilizar adecuadamente los recursos financieros.
Actividades vinculadas a la producción de bienes y servicios. Corresponden a las necesarias para generar los productos finales de la institución:
procedimientos de compra licitaciones procesos tecnológicos administración financiera etc.
- Porcentaje del presupuesto ejercido- Porcentaje de compras de insumos efectuadas dentro del tiempo programado
Segun la Etapa del Proceso Productivo o Ambito de Medicion
Algunos ejemplos de Indicadores en el ámbito de los Procesos:
Porcentaje de ejecución del presupuesto
Porcentaje de gasto en Recursos Humanos respecto de gasto total
Porcentaje de gasto corriente respecto de gasto total
Porcentaje de productos entregados respecto de lo programado
Porcentaje de compras de insumos efectuadas dentro del tiempo programado
Porcentaje de licitaciones adjudicadas respecto de licitaciones totales
Porcentaje de ingresos propios percibidos respecto de los programados
Porcentaje de subsidios asignados
Porcentaje de familias pobres catastradas
Porcentaje de normas de aviación actualizadas
Ámbito de los Procesos productivos(Ejemplos para Actividades Centrales)
Definir aquellos procesos que son claves para la generación de los productos (bienes y/o servicios):
procedimientos de compra
Adquisición de insumos – contratación de empresas proveedoras
Licitaciones
Externalización de servicios - subcontratación de empresas que proveen los productos
procesos tecnológicos
Implementación de servicios por internet - procesos para generar productos
Producto (productos finales):
Bienes y/o servicios públicos producidos o entregados por la institución para cumplir con su misión. Está dirigido al beneficiario final, o en algunos casos, intermedio.
- Porcentaje de alumnos que reciben la beca oportunamente- Tiempo promedio de entrega de subsidios para la vivienda- Metros cuadrados construidos promedio por vivienda entregada
ÁMBITOS DE MEDICIÓN
Algunos ejemplos de indicadores de focalización:
Porcentaje de la población en situación de pobreza que recibe subsidio para agua potable
Porcentaje de niños en situación de pobreza que reciben beca estudiantil
Porcentaje de adultos mayores que reciben complemento alimenticio contra la desnutrición
Porcentaje de deportistas que acceden a programas de alto rendimiento
Porcentaje de comunas de alto riesgo cubiertas por programas especiales antidelincuencia
Finalmente, también en eficacia se mide al cumplimiento de programas de trabajo:
Porcentaje de capacitaciones de funcionarios en relación a lo programado
Algunos ejemplos de indicadores en el ámbito de los Productos:
Porcentaje de familias sin vivienda que reciben aportes del Estado
Porcentaje de familias pobres sin vivienda que reciben aporte del Estado respecto del total de familias sin vivienda que reciben aporte del Estado
Tiempo promedio de entrega de subsidios para la vivienda
Metros de cuadrados construidos promedio por vivienda entregada
Porcentaje de condominios construidos que cuentan con infraestructura social (lugares para reuniones, parques, plazas, juegos para niños)
Porcentaje de familias que manifiestan satisfacción con la vivienda entregada
Resultado intermedio:
Es el resultado directo a lograr en la población objetivo dado el uso de los productos finales.
Es la aportación específica a la solución de un problema o necesidad.
- Porcentaje de profesoras indígenas asesoradas que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe
ÁMBITOS DE MEDICIÓN
Ámbito de los Resultados:Resultados intermedios
• Cambio en el comportamiento de los beneficiarios una vez que han recibido losbienes y/o servicios.
• La entrega de los bienes y/o servicios a los usuarios supone que conduce a la
• Obtención de los resultados finales.
• Constituye una aproximación a los resultados finales
Algunos ejemplos de indicadores en el ámbito de Resultados Intermedios:
• Porcentaje de subsidios de vivienda efectivamente pagados respecto del total de subsidios otorgados
• Porcentaje de trabajadores sin calificación que egresan de un programa de capacitación técnica
• Porcentaje de participantes egresados de programa antidrogas con actitud crítica hacia la droga
• Porcentaje de empresas que no cumplen la normativa laboral
• Porcentaje de familias pobres que inician una actividad empresarial con apoyo del Estado
• Porcentaje de alumnos egresados de una carrera técnica
Resultados finales o impacto:
Contribución a la solución de un problema o necesidad
Complejidad de medir Impacto o Resultado Final: un programa o institución por lo general contribuye a alcanzar un resultado final y se complementa con la acción de otros programas e instituciones.
ÁMBITOS DE MEDICIÓN
Resultados finales (impacto):
¿Cómo identificar el Impacto de nuestra institución?
El impacto no se produce inmediatamente y medirlo requiere de un análisis más profundo, de la definición de un conjunto de indicadores y otros instrumentos complementarios como las evaluaciones de impacto.
- Tasa de crecimiento del Sector de Tecnologías de la Información (TI)
ÁMBITOS DE MEDICIÓN
Resultados Finales o Impacto:
Resultados a nivel de fin de los bienes y servcios entregados, significan un mejoramiento en las condiciones objetivas de la población objetivo.
Complejidad de medir Impacto o Resultado Final: un programas público contribuye a alcanzar un fin (resultado final)
se complementa con la acción de otros programas
¿Cómo identificar el Impacto de nuestro programa? el impacto no se produce inmediatamente
es difícil medirlo con un indicador (mejoramiento de la calidad de vida)
por lo general no se dispone de información de punto de partida (línea base)
Algunos ejemplos de indicador de resultado final o impacto
• Porcentaje de trabajadores sin calificación egresados de un programa de capacitación que consiguen un empleo permanente
• Porcentaje de personas que no reinciden después de participar en programa antidrogas
• Tasa de accidentes de aviación• Porcentaje de familias que superan la línea de pobreza• Tasa de variación de delitos• Porcentaje de empresas que cumplen la normativa laboral• Tasa de incidencia de la poliomielitis• Tasa de obesidad infantil• Porcentaje de días sin suministros eléctrico a la población• Tasa de suspensión de servicios de internet• Porcentaje de reclamos solucionados de usuarios de servicios de telefonía
Indicador de Producto Indicador de Resultado Intermedio
Indicador de Resultado Final
Nº de niños matriculados en Educación preescolar pública/Nº de niños entre 3 a 6 años del país
Porcentaje de niños de 3-6 años matriculados que logran terminar la enseñanza preescolar
Porcentaje de niños que terminan preescolar logranManejo de habilidades básicas en lecto escritura
Porcentaje de padres y madres satisfechos con la educación impartida
EJEMPLOS
PRODUCTO RESULTADO INTERMEDIO
RESULTADO FINAL O
IMPACTOPorcentaje de reclusos participando en el programa de reinserción/Total población reclusa potencialmente beneficiaria del Programa
Tasa anual de variación de reclusos con contrato de trabajo
Talleres de capacitación realizados/Talleres de
capacitación programados
Participantes que consiguen certificarse /Total de participantes
(Produtividad de los participantes año t -Productividad participantes año t-1/Produtividad participantes año t-1)*100
Porcentaje de desempleo
de población reclusa aprobada
¿COMO CONSTRUIMOS UN INDICADOR?
10 pasos básicos para construir indicadores
1. Establecer las definiciones estratégicas como referente para la medición
2. Establecer las áreas de desempeño relevantes a medir
3. Formular el indicador y describir la fórmula de cálculo
4. Validar los indicadores aplicando criterios técnicos
5 Recopilar los datos
6. Establecer las metas o el valor deseado del indicador y la periodicidad de la medición
7. Señalar la fuente de los datos o medios de verificación
8. Establecer supuestos (observaciones)
8. Evaluar: establecer referentes comparativos y establecer juicios
10. Comunicar e Informar el desempeño logrado
1. Establecer las definiciones estratégicas como referente para la medición del desempeño
• MISION• VISION• OBJETIVOS ESTRATEGICOS• PRODUCTOS FINALES o ESTRATEGICOS
De las Definiciones estratégicas extraer los Factores Relevantes que deben ser medidos.
•¿Cuáles son los principales aspectos o variables claves que deben ser medidos en cada uno de los Objetivos (Misión, Objetivos Estratégicos, productos..) ?
•¿Qué ámbitos deben ser medidos?
•¿Qué dimensiones deben ser medidos?
•¿Quién utilizará la información?
•¿Qué decisiones tomará?
2. Establecer los factores relevantes, ámbitos y dimensiones de desempeño a medir…….
Factores relevantes a medir
• Se refiere las características que deseamos medir respecto al logro del objetivo.
• Ejemplo:– Objetivo:Contribuir al desarrollo de la vida
familiar, comunitaria y ciudadana de las familias de escasos recursos, mediante la entrega de vivienda social ubicada en conjuntos habitacionales
Factores relevantes a medir
• Ejemplo:– Objetivo: Contribuir al desarrollo de la vida
familiar, comunitaria y ciudadana de las familias de escasos recursos, mediante la entrega de vivienda social ubicada en conjuntos habitacionales
– Aspectos relevantes a medir:• Familias de escasos recursos• Vivienda social que permita desarrollar vida
familiar• Conjuntos habitacionales que permitan
desarrollar vida comunitaria y ciudadana.
EFICACIA
EFICIENCIA
ECONOMÍA
CALIDAD
PROCESOS PRODUCTO Resultados (Intermedios y Finales)
DI
MENSIONES
2. Los ámbitos de medición y dimensiones atraviesan toda la cadena de producción y valor..hay que establecer qué es lo relevante
AMBITOS DE MEDICION
Mision Ministerio del Trabajo y Seguridad Social
• El Ministerio de Trabajo y Seguridad Social es la InstituciónRectora de la política socio-laboral de Costa Rica, dirigida a personas trabajadoras y empleadoras, que propicia el trabajo digno y contribuye al desarrollo y la justicia social.
Objetivos Estrategicos1.Mejorar los medios y la cobertura para la convergencia oportuna de oferentes y demandantes de mano de obra, buscando deEsta manera la reducción del desempleo por causas friccionales.
2.Orientar la fiscalización laboral, hacia sectores definidos como prioritarios en razón de su vulnerabilidad laboral , coninspecciones integrales y focalizadas.
3.Sensibilizar, capacitar, y asesorar a los diferentes actores que participan en el ámbito laboral sobre la aplicación del marcojurídico que rige las relaciones laborales para el debido respeto de los derechos de los trabajadores.
4.Desarrollar una movilidad migratoria que esté en función de las posibilidades y requerimientos de empleo de los sectoresproductivos del país.
5.Promover una cultura de cumplimiento de los derechos y obligaciones laborales para un trabajo digno con enfoquepreventivo.
6.Garantizar a nivel regional una efectiva asesoría y fiscalización para el trabajo digno.
7.Promover la integración de la oferta de formación técnica y capacitación para el trabajo, con los requerimientos del mercadolaboral.
8.Propiciar alianzas interinstitucionales que fomenten la actividad productiva y la generación de empleo.
9.Satisfacer las expectativas de nuestros usuarios mediante servicios oportunos, equitativos, claros y accesibles desdecualquier parte del país.
10.Desconcentrar los servicios con criterios de necesidad, viabilidad y oportunidad.
11.Estandarizar los procesos y procedimientos para mejorar servicios dirigidos a todos los grupos de poblaci ón
MisiónPrograma 731 Asuntos del Trabajo
Dirección General de Inspección
Mision• Tutelar el cumplimiento de la
normativa laboral, por medio de la inspección y mediación en los conflictos derivados de la relación de trabajo y a través de acciones de asesoramiento o facilitación en materia de los derechos de asociación, de salarios y de salud ocupacional, con el fin de contribuir a la equidad y armonía de las relaciones entre empleados y empleadores.
Factores Relevantes• Reduccion de conflictividad
• Éxito de las mediaciones
• Percepcion de equidad…..
ProductosProductos
1. Acciones de InspecciónLaboral en SedeAdministrativa y Judicial.
2 Servicios de asesoría,conciliación y mediación enconflictos laboralesindividuales y colectivos.
3 Servicios de registro yacreditación de lasorganizaciones socialeslaborales.
4 Servicios de asesoría einformación en materia desalarios mínimos para elsector privado.
Factores Relevantes
Cobertura de inspeccionCosto de inspeccion
Conciliaciones por areaTiempos de respuesta deAsesoria
Cobertura de la acreditacionTiempo de respuesta
Oportunidad de la asesoriaSolicitudes respondidas
Ministerio de Vivienda y Asentamientos Humanos
Objetivos Estratégicos1. Identificar las comunidades y poblaciones meta,
prioritarias a nivel nacional, mediante la realización de estudios de campo y el manejo de bases de datos interinstitucionales; a fin de impulsar el otorgamiento del Bono Familiar de Vivienda y la canalización del crédito, a tales poblaciones, disminuyendo el déficit habitacional.
2. Diseñar y poner en marcha un Plan Nacional de Vivienda, de mediano y largo plazo, que contemple políticas y directrices (de carácter vinculante con otras instituciones del Sector) orientadas a ordenar el territorio nacional, a incrementar el desarrollo urbano y a posibilitar el acceso de los hogares, principalmente declase baja y media, a una vivienda adecuada y a sentamientos humanos con servicios básicos.
3. Velar por el cumplimiento de los criterios técnicos de calidad de vivienda, sobre todo de interés social, determinados por las instituciones competentes; mediante la realización de auditorías periódicas y de la supervisión al acatamiento de las recomendaciones brindadas.
Factores Relevantes• Déficit habitacional• Focalización exitosa del otorgamiento
del Bono Familiar
• Metros cuadrados por vivienda• Servicios básicos viviendas otorgadas• Situación social beneficiarios
• Sanciones cumplidas• Estándares cumplidos• Éxito de fiscalización
Identificar los Factores Relevantes a medir
Promover en la población en general estilos de vida activa por medio de la prácticaperiódica del ejercicio físico, el deporte y la recreación
- Estilos de vida activa de la población
-Prácticas periódica del ejercicio físico, deporte y la recreación
Porcentaje de la población objetivo que práctica alguna actividad deportiva 1 vez a laSemana
Porcentaje de la población objetivo que mejora susíndices de salud sobre línea base
OBJETIVOFactores Relevantes INDICADORES
Microempresas del sector rural con capacidades técnicas y emprendedoras consolidadas
- Capacidades técnicas y emprededoras
-Costo del subsidio
% de incremento de Microemp participantes del programa que mejoran sus capacidades técnicas y emprendedoras, según índice de capacidades
Costo promedio de asesoría a Microempresas
EJEMPLOEJEMPLO
EjemploEjemplo
LISTA DE FACTORES RELEVANTES A MEDIR
Definiciones estratégicas
Factores Relevantes
Misión
Objetivos estratégicos
Productos finales
Definición de los factores relevantes por categoría de objetivos
1. Para la MISIÓN defina los factores relevantes
2. Para los objetivos estratégicos defina los factores relevantes
3. Para los productos defina los factores relevantes
1 HORA
Primer Trabajo Grupal
Cuáles son los aspectos relevantes que deben ser medidos
Qué ámbitos se van a medir Cuáles dimensiones
UNA VEZ QUE SE TIENE CLARIDAD SOBRE:
Corresponde construir cada uno de los indicadores
3. Formular el nombre del indicador y la fórmula de cálculo.
El nombre del indicador debe ser lo más ilustrativo posible de lo que se quiere medir, y la fórmula debe permitir informar sobre los parámetros o variables que se están midiendo
Nombre del indicador• Debe ser claro, preciso y autoexplicativo• Que cualquier persona entienda qué se mide con ese
indicador• Si se usan siglas o aspectos técnicos, deben definirse en una
nota explicativa
• “Porcentaje de aeropuertos que cuentan con sistema ILS”• Nota: ILS (Instrument Landing System) es un sistema de
aterrizaje instrumental con que cuentan los aviones para aterrizar en condiciones de baja visibilidad.
Sentido de la medición• Indicador ascendente o descendente
• Mientras más aeropuertos tenga ILS es mejor, por lo tanto, el indicador es ascendente
• En general:
• Los indicadores de cobertura, focalización, accesibilidad, cumplimiento de programas de trabajo, etc. son ascendente.
• Los indicadores de tiempos promedio de respuesta a los usuarios son descendentes.
• Los indicadores que miden capacidad de utilización de recursos son ascendentes• Los indicadores que miden errores son descendentes• Los indicadores que miden satisfacción de usuarios son ascendentes
Fórmula de cálculo
• La relación matemática de las variables deben entregar como resultado lo que se definió en el nombre
• “Porcentaje de aeropuertos que cuentan con sistema ILS”
• (Total de aeropuertos con sistema ILS / Total de aeropuertos del país) * 100
Nombre del indicador
Variables que intervienen
Fórmula del indicador
Construcción de Fórmulas
El nombre del indicador debe ser:
Autoexplicativo
Contextualizado
Por ejemplo:
“Porcentaje de solicitudes respondidas”
¿Es autoexplicativo y contextualizado?
Nombre del Indicador
“Porcentaje de solicitudes respondidas”
En la Oficina Principal de la institución
En el país
En un mes
En un año
Respecto de las solicitudes presentadas
Etc.
Nombre del Indicador
Nombre del indicador
Qué o cuál es la medición…………….universo a considerar
(contexto)
% de solicitudes respecto de las
respondidas solicitudes ingresadas
Nombre del Indicador
Porcentaje de solicitudes respondidas respecto de las solicitudes ingresadas
Variables
Variable 1: solicitudes respondidas Numerador
Variable 2: solicitudes ingresadas Denominador
RespondidasIngresadas
Indica la relación
Nombre del Indicador
Fórmula:
Numerador
Denominador
Total de solicitudes respondidas en el año t
Total de solicitudes ingresadas en el año t
* 100
* 100
Fórmula de cálculo
Tipos de fórmulas más usadas
Porcentaje (proporciones)
Tasa de variación
Razón o promedio
Índices
Fórmula de cálculo
Razón entre dos variables con una misma unidad de medida
numerador
denominador* 100 = X por ciento
Igual unidad de medida (personas, Km., solicitudes, etc.
1. Porcentajes (cobertura, focalización, etc.)
“Porcentaje de cobertura en la atención de adultos mayores”
(Total de adultos mayores atendidos / Total de adultos mayores del país)*100
Adultos Mayoresdel país Adultos Mayores
atendidos
COBERTURA
Cobertura:
“Porcentaje de adultos mayores atendidos que se encuentran en situación de extrema pobreza”
(Total de adultos mayores atendidos que se encuentran en situación de extrema pobreza / Total de adultos mayores atendidos)*100
Adultos Mayoresdel país
Adultos Mayoresatendidos
Adultos Mayorespobres
FOCALIZACIÓN
Focalización:
Razón entre una misma variable pero en periodos diferentes
variable año t variable año t – variable año t-1
Variable año t-1 variable año t-1
- 1
= X por ciento
* 100 = * 100
2. Tasa de variación
Ejemplo:
Tasa de variación de las exportaciones del país
{(Total exportaciones año t / Total exportaciones año t-1) – 1*100}*100
2. Tasa de variación
{(Total exportaciones de miel año t / Total exportaciones año t-1) – 1}*100{(Total exportaciones de miel año t / Total exportaciones año t-1) – 1}*100
400 TONELADAS de MIEL EXPORTADA 2009 - 375 TONELADAS de MIEL EXPORTADA 2008
x 100
1,06251,0625 0,06250,0625 + 6,25+ 6,25
400 TONELADAS de MIEL EXPORTADA 2009
375 TONELADAS de MIEL EXPORTADA 2008- 1 x 100
(total de exportaciones de miel año t – total de exportaciones en el año t-1) / total de exportaciones en t-1 * 100
Sumatoria de tiempos de tramitación de cada solicitud / Total de solicitudes tramitadas = tiempo promedio por solicitud
3. Razón o Promedio (tiempos promedio, costos promedio, etc)
Ejemplo:
Promedio de alumnos por profesor de educación media
Total de alumnos de educación media en el año
Total de profesores de educación media en el año t
= Alumnos promedio por profesor
3. Razón o Promedio (tiempos promedio, costos promedio, etc)
Permiten medir la evolución de una variable en el tiempo, a partir de un valor base.
Ejemplo, Índice de Remuneraciones
Promedio anual de remuneraciones año base: 5.000
Promedio anual de remuneraciones año t: 5.350
Índice año base: (Valor año base / valor año base)*100
= (5.000 / 5.000)*100 = 100
Índice año t: (Valor año t/ valor año base)*100
= (5.350 / 5.000)*100 = 107
4. Índices
Promedio anual de remuneraciones año t+1: 5.885
Índice año t+1: (Valor año t+1/ valor año base)*100
= (5.885 / 5.000)*100 = 117,7
Valor índice:
Año t+1 = 117,7
Año t = 107,0
Año base = 100,0
4. Índices
Promedio anual de remuneraciones año n:
Índice año n = (Valor año n / valor año base)*100
4. Índices
Desagregación por Sexo
Porcentaje de personas pobres del país
Distribución de pobreza por sexo:
•(Total hombres pobres / Total personas pobres)*100
•(Total mujeres pobres / Total personas pobres)*100
Porcentaje de pobreza según sexo:
•(Hombres pobres / Total hombres)*100
•(Mujeres pobres / Total mujeres)*100
Indicadores que permitan medir continuamente (año a año) variables relevantes en el cumplimiento de la misión y de interés para la ciudadanía Tasa de escolaridad Porcentaje de recaudación de impuestos Porcentaje de vías en buen estado Porcentaje de delitos contra la propiedad Porcentaje de plagas bajo control Porcentaje de fallos favorables Tiempo de respuesta
Segundo Trabajo de Grupo
Definición de indicadores para cada factor relevante, según ámbito
de medición
1. Defina por cada factor relevante el o los indicadores que lo midan.
2. Si ya ha definido indicadores revíselos y verifique que miden los factores
RELEVANTES identificados.
3. Una vez que haya definido todos los indicadores clasifíquelos según su
etapa en la cadena de producción (proceso, producto, Resultado) y en los
ámbitos de desempeño: eficacia, calidad, eficiencia y economía (utilice
las definiciones).
5. ESTABLEZCA LA FORMULA DE CALCULO
Presente el trabajo
2 HORA DE TRABAJO
4. Validar los indicadores
Relevancia: debe reflejar una dimensión importante del logro del objetivo
¿Permite verificar el logro del objetivo en un aspecto sustantivo?
Pertinente: debe ser preciso e inequívoco
¿No hay dudas respecto de qué se está midiendo?
Debe aportar una base suficiente para evaluar el desempeño
¿Es suficiente para emitir un juicio respecto del desempeño?
Costo Razonable: la información necesaria para generar el indicador debe estar disponible a un costo razonable
¿El beneficio de la información es mayor que el costo de obtenerla?
Cada indicador propuesto debe ser validado técnicamente, según los siguientes criterios:
Confiable :¿Cualquier persona puede comprobar los resultados del indicador?
Independiente: La institución o programa controla el resultado que entrega el indicador
Integración: El total de los indicadores contempla las dimensiones de desempeno necesarias
Aporte marginal: si hay más de un indicador para medir el desempeño de un objetivo, debe proveer información adicional en comparación con los otros indicadores propuestos
¿Mide aspectos no considerados en los demás indicadores?
5. Recopilar los datos para construir los indicadores
• Información contable-presupuestaria
• Estadísticas de producción física, cargas de trabajo del personal
• Encuestas, estudios especiales
• Benchmarking,etc
TIPOS DE INFORMACION
Para cada indicador, ¿está disponible la información en mi programa?
SÍ No
¿está en otra Entidad?
Sí No
¿el beneficio > costo de obtenerla?
Sí No
Fuentes de Información
Se mide
Se busca una proxy
6. Establecer las metas o el valor deseado del indicador y la frecuencia de la medición
• DESEMPEÑO HISTORICO
• LINEA BASE
• OBJETIVOS DEFINIDOS
• DESEMPEÑO LOGRADO EN INSTITUCIONES SIMILARES, PROCESOS O PROGRAMAS.
Metas
• Las Metas constituyen la expresión Las Metas constituyen la expresión concreta y cuantificable de los de los logros que se planea alcanzar en el año (u otro que se planea alcanzar en el año (u otro periodo de tiempo) con relación a los objetivos periodo de tiempo) con relación a los objetivos previamente definidos.previamente definidos.
• Sentido de la Medición:• Ascendente (cobertura, focalización, etc.)• Descendente (tiempos de respuesta, tasas de
enfermedades, etc.)• ¿Qué es mejor como desempeño de la institución?
Importancia de las metas para el seguimiento (monitoreo) y evaluación
Medición y evaluación
Retroalimentación
Medidas correctivas
Evaluación
• La evaluación es la comparación de los resultados obtenidos con las metas establecidas. La evaluación puede ocurrir durante el periodo de ejecución (evaluación contingente) o al finalizar dicho periodo (evaluación ex post).
Retroalimentación
• Los resultados de las evaluaciones se comunican a los encargados de cada área y a la Dirección, a fin de que estén informados respecto al grado de avance de las metas planteadas y, en caso de producirse desviaciones importantes respecto a lo programado, se acuerden las medidas correctivas que se adoptarán.
Medidas correctivas
• Las medidas correctivas pueden consistir en cambios en las áreas, cambio en las metas, nuevas asignaciones o recortes de los recursos presupuestarios, revisión de las tareas, etc.
Indicador y meta
• El resultado de la medición del indicador entrega un “valor”.
• Este valor se compara con la meta establecida para el indicador.
• La comparación permite establecer un juicio respecto del desempeño de la institución.
Ejemplo • Indicador: Porcentaje de gastos administrativos
• Valor del indicador: 15% • Meta del indicador: 20%
• Valor del indicador de institución similar: 10%
Juicios:
• Cumplí la meta.• Estoy por sobre el valor de una institución similar
Requisitos de las metas
Su establecimiento debe considerar diferentes parametros (desempeño histórico, programas similares, estándares)
Deben ser posibles de cumplir por la institución con los recursos financieros, humanos, físicos y tecnológicos disponibles
Su logro debe depender de la institución (establecer supuestos)
Requisitos de las metas
Deben establecerse para ser cumplidas en un plazo determinado
Deben expresar claramente el ámbito geográfico que cubre
Deben ser conocidas y acordadas con los ejecutores de las distintas áreas (establecer los responsables por el cumplimiento)
Para establecer la meta se deben considerar diferentes parámetros
Línea base y desempeño histórico
Desempeño de instituciones similares (benchmarking)
Estándares aplicados a normas técnicas
Pasos para determinar una meta
• Identificar la línea base
• Se toma como referencia el actual desempeño
Existe?
Meta
Indicador Año t
% de alumnos 60%
egresados
¿No existe?Se construye¡¡¡
•Programas similares
•Estándar técnico
¿Qué es la línea base?
• Dato que se tomará como inicio para establecer los valores futuros a alcanzar por el indicador, los que servirán para evaluar el grado de cumplimiento de las metas.
• Para indicadores nuevos, podría suceder que no exista un valor base, por lo cual debe ser estimado.
• Una vez realizada la primera medición, se tomará como línea de base el último dato obtenido.
¿Dónde estamos ahora?¿Cómo hemos estado antes?
0
10
20
30
40
50
60
70
80
90
2004 2005 2006 2007
becas
subsidios
créditos
¿Cuan lejos queremos y podemos llegar?
Considerar el nivel de desempeño de las metas a nivel nacional / local
• El tiempo de respuesta de la entrega de los pasaportes será el mismo en el país, en el Estado o en una determinada Región.
• Los kilómetros de vías reparadas serán un promedio nacional o en un tramo específico.
Las metas deben tener asignados responsables por su cumplimiento a nivel de la organización
• Debe quedar claramente establecido cual es la Unidad, Área, Dirección, que es responsable por el cumplimiento de la meta, aún cuando otras áreas intervengan con producción intermedia o final.
Problemas frecuentes cuando se establecen las metas
• No existen o no se construyen los medios de verificación
• Los supuestos no son pertinentes (se imputan aspectos que la institución sí controla)
• La evaluación (el juicio sobre el desempeño no es confiable)
• Las metas estimulan un desempeño poco innovador y desafiante
Problemas frecuentes cuando se establecen las metas
• No existen datos disponibles para estimar la línea base
• La institución desconoce estándares de entidades similares
• Se desconoce la población objetivo y potencial
• Riesgo se sobre o subvalorar la meta
• No es posible evaluar respecto de las mejores prácticas (autocomplacencia)
• La meta no permite monitorear el avance hacia el cumplimientodel objetivo (y por lo tanto no se pueden tomar decisiones adecuadas)
Problemas frecuentes cuando se establecen las metas
• Subvaloracion de las metas frente a un ambiente punitivo de la evaluacion
• Trampa de la medición: se muestra como resultados (y se hace) solo lo que se puede medir
• Escasa utilidad para la toma de decisiones y mejora de la gestión
• No es posible avanzar hacia la mejora de los resultados relevantes para la organización y por ende para la ciudadanía
Frecuencia
Misión
Objetivos
estratégicos
Productos
Actividades
Frecuencia
Disminuye
Aumenta
Depende de la disponibilidad de la información (Fuente de Información) y del nivel de los objetivos que se está midiendo
• Las necesidades de uso de la información generada por los indicadores (proceso de toma de decisiones)
• Tiempo estimado en que se producirán los resultados del programa en los beneficiarios
• Disponibilidad de información cuando ésta es obtenida o proporcionada por fuentes externas
• Compromisos de cuenta pública o de informar resultados de la gestión (Secretaría de Hacienda)
Factores que inciden en la frecuencia de medición de los indicadores
7. Señalar las fuentes de datos o medios de verificación
• Registros de la institución (posibles de auditar)
• Estadísticas oficiales
• Encuestas (realizadas por entes externos)
8. Establecer Supuestos (observaciones)
Aspectos no controlables por la institución:
Deben ser muy concretos y no generales
• Variaciones del tipo de cambio, o de determinados precios pueden afectar
niveles de ingresos esperados, tarifas, etc
• Aprobaciones de procesos por entes externos en la que hay probada posibilidad (norma o procedimiento externa) que puede alterar la programación)
• Flujo de recursos internacionales, etc.
Comprometo X meta siempre y cuando se cumplan los siguientes supuestos:
•Tipo de cambio no aumente más de 10%
•La solicitudes de tramitación no aumenten más de 15%
Supuestos
Ejemplos de algunos aspectos sobre los cuales establecer Supuestos
• Situación macroeconómica• Beneficiarios usan los componentes adecuadamente• Se cumplen las corresponsabilidades de otros actores• Otros estados o entidades destinan los recursos para lo que
está establecido• Los recursos de prestamos internacionales son entregados al
programa en el tiempo establecido
Tercer Trabajo Grupal
• Revise el conjunto de los indicadores construidos y aplique los criterios de validación
• Complete la planilla de Indicadores para la programación presupuestaria
Comparar valor del indicador al final del periodo y meta establecida
Establecer No cumplimientos y Sobrecumplimientos (desviaciones)
Análizar las Causas de los resultados
Proponer Recomendaciones para corregir las desviaciones
Establecer Compromisos para implementar las recomendaciones
Definir Plazos de cumplimiento de los compromisos
Definir Responsables por el cumplimiento de compromisos
Definir Programa de Seguimiento de compromisos
9. Evaluación de los Resultados
Evaluación de los Resultados
(*): Indicadores Cumplidos, No Cumplidos o Sobrecumplidos
Indica-
dores
Valor
Indicador
Meta %
Cumpli-
miento
Resul-
tado(*)
Causas
del
Resul-
tado
Reco-
menda-
ciones
Compro-
misos
Plazos Respon-
sables
Breve reseña de la institución
Contexto de la medición: qué se midió y qué no
Recursos utilizados por la institución
Resultados de la gestión (logros y no logros)
Principales causas de desviaciones de resultados
Efectos de resultados negativos (en los ciudadanos, etc)
Compromisos para el periodo siguiente
10. Informar los Resultados
Recomendaciones para construir indicadores estratégicos y evitar
incentivos perversos
INDICADORES QUE INFORMAN SOBRE CUMPLIMIENTO DE DEMANDA…..POR SI SOLO NO ENTREGAN INFORMACION UTIL PARA TOMA DE DECISIONES
N°de certificados de antecedentes emitidos/ N° de certificados solicitados
Esta prestación constituye una obligación legal de ser satisfecha,
dado que es un requisito insoslayable para el usuario. Cobertura garantizada
Resultado será siempre de 100%
Aspectos relevantes de los resultados son la calidad del servicio, la oportunidad, la precisión, la disponibilidad a nivel nacional (cobertura geográfica).
Ejemplo
“Atención de emergencias” Indicador: Número de emergenciasprogramadas
Meta: 1000
Número de emergencias que se atendieron
1500En el Informe de evaluación anual
aparece como “Meta superada”
Evitar indicadores que generen incentivos perversos”
Aumento en los porcentajes de recaudación por multas a contribuyentes evasores
Puede incentivarse a destinar mayores recursos de los necesarios a las acciones de fiscalización en áreas donde las multas sean más onerosas; desestimando otros que tienen mayor importancia desde el punto de vista de la economía, la competencia, la seguridad para los usuarios, calidad de los productos, etc.
Evitar indicadores que generen incentivos perversos”
Porcentaje de detenciones por delitos
Puede incentivarse una acción represiva no acorde con la situación delictiva, o destinar recursos extras para la represión del delito, dejando otras acciones preventivas, etc)
Evitar indicadores que generen incentivos perversos”
Disminución de tiempos de respuestas, sin llevar asociado una meta de calidad del producto entregado.
Número de fallos judiciales en un tiempo X., puede implicar que el juicio no se ajuste a derecho, que los fallos sean inapropiados, generando problemas de seguridad, reincidencia, etc)
TENER EN CUENTA LA INTEGRALIDAD DE LA MEDICION
INDICADOR DE EFICACIA
Población escolar en programa / población escolar total
Aumentar la cobertura del programa de raciones a un 55%de la población escolar.
Llegar a un costos promedio de $5
Alcanzar1000 calorías por ración
INDICADOR DE CALIDAD
* Calorías por ración. * Porcentaje de aceptaciónde los escolares (encuesta)
INDICADOR DE EFICIENCIA
Costo promedio de las raciones: gasto total programa / número deraciones