SÍNTESIS DE ENFOQUES Y EXPERIENCIAS EN EVALUACIÓN ...w2.ucab.edu.ve/tl_files/PLANEI/sintesis.pdf · instituciones de educación superior y sus programas académicos de América

1

UNIVERSIDAD CATÓLICA ANDRÉS BELLO

SÍNTESIS DE ENFOQUES Y EXPERIENCIAS

EN EVALUACIÓN INSTITUCIONAL UNIVERSITARIA

Versión preliminar

Papel de trabajo para la discusión interna

de la Comisión de Evaluación Institucional, en vista a la elaboración de un “Plan de Evaluación

Institucional de la UCAB”

Jesús Civit

Caracas, 14-3-2001

2

ÍNDICE

Introducción 1.- La evaluación en el proceso de planificación 2.- Un nuevo patrón de evaluación institucional 3.- Ejes de la evaluación: calidad y pertinencia

3.1. La calidad bajo el modelo de insumo - producto 3.2. La pertinencia

4.- Los actores y el contexto sociocultural

4.1. Los actores de la evaluación 4.2. Los contextos socioculturales condicionantes de la evaluación

institucional 5.- Las actividades universitarias ANEXO: Análisis de algunos casos nacionales de evaluación de la educación superior. 1.- Holanda 2.- Francia 3.- Gran Bretaña 4.- Suecia 5.- Estados Unidos de América 6.- España Bibliografía

3

INTRODUCCIÓN Evaluar una institución es una tarea que involucra su razón de ser, su trayectoria histórica y su destino. La evaluación en una institución universitaria es un proceso que acompaña su actuación diaria, refleja sus resultados e ilumina la toma de decisiones. Esto permite su puesta al día y mejora constantes en el corto plazo y orienta las transformaciones de fondo y reorganizaciones estructurales para el mediano y largo plazo. En este sentido, la evaluación de la universidad forma parte de su proceso de renovación permanente. Toda evaluación reviste características y resultados de índole diversa según el enfoque que ella misma traiga. Como todo instrumento, condiciona el producto que proporciona. La selección del tipo de evaluación y los componentes o características de la misma no es un asunto meramente técnico y neutral. Al mismo tiempo, la experiencia indica que según sea el modo de aplicar y desarrollar un proceso de evaluación se pueden producir efectos benéficos o perjudiciales en una institución. Por otra parte, son distintas las visiones que de la evaluación universitaria se han conformado. Muchas universidades han diseñado esquemas propios de evaluación. En ellos aparecen componentes de autoevaluación y de heteroevaluación. Por su parte, instituciones especializadas y agencias de cooperación internacional han enfatizado propuestas y elaborado estudios de los cuales resulta una abundante literatura con diversos enfoques y técnicas al respecto. Desde las instancias reguladoras del Estado en diversos países se han adoptado esquemas de evaluación de carácter nacional. De esta forma contamos con un mosaico de modos y sistemas de evaluación universitaria muy diversos. A pesar de esa diferenciación, presiones homogeneizadoras de carácter nacional o internacional aunadas a una creciente preocupación y más clara conciencia de la importancia estratégica de la evaluación, han motivado y provocado el surgimiento de puntos comunes y esquemas complementarios. Como punto de partida, podríamos considerar aplicable también a la UCAB, de alguna manera, la descripción de la situación que se observa en la mayoría de las instituciones de educación superior y sus programas académicos de América Latina: “no se ha desarrollado una ‘cultura de evaluación’; prevalece una racionalidad interna de auto-reproducción, con decisiones burocráticas y corporativas, sin una función de evaluación, y sin un juicio externo respecto a los fines, eficacia, eficiencia, capacidad, pertinencia y calidad de los servicios y actividades.” (Martínez, 1997, p. 77) Por otra parte, en las sociedades avanzadas, en el transcurso de las últimas décadas, se da un fenómeno social de creciente importancia de la evaluación de la educación superior. Éste se explica por el predominio de ciertas “tendencias actuales tales como

4

la desregularización, la responsabilidad (accountability), la conciencia de la educación como recurso económico crucial y la internacionalización.” (Veld, 1997, p.51). La onda expansiva de estas tendencias envuelve la dinámica propia de nuestras universidades así como la acción del Estado respecto de ellas. Una breve visión panorámica de algunos enfoques y experiencias, sin pretensión alguna de abarcar la totalidad, puede permitirnos destacar algunos elementos valiosos y componentes indispensables que deberían ser tomados en cuenta al diseñar un plan que se ajuste a nuestras características y necesidades. Aun cuando nuestro interés está centrado en el ámbito de una institución, en algunos de los siguientes puntos tomaremos la perspectiva global del sector de la educación superior. 1.- LA EVALUACIÓN EN EL PROCESO DE PLANIFICACIÓN Circunscribiendo la concepción de evaluación al ámbito de una institución, es conveniente destacar su relación con la planificación. Las preguntas básicas de cómo la Universidad está haciendo lo que está haciendo, si lo está haciendo bien, si pudiera hacerlo mejor o si debiera hacer otras cosas distintas a las que está haciendo, nos conducen necesariamente a ubicar la evaluación en el proceso general de la planificación. Considerar, como es sabido, la evaluación en el continuum de la planificación, le asigna el lugar apropiado en un proceso de racionalización de la acción. Una institución se evalúa cuando confronta su quehacer con su deber ser y su deber hacer. Los objetivos propuestos, sean globales y generales o concretos e inmediatos, son el referente que permiten calibrar la acción cumplida. La evaluación de la Universidad Católica Andrés Bello sobre sí misma, como es obvio, lleva a confrontar los objetivos fijados en el marco general de su creación y su trayectoria con las realizaciones alcanzadas. Calibrar la relación entre referente y referido es la tarea. En otras palabras, pierde sentido el evaluar si previamente no se han definido los objetivos que se desean alcanzar. Si se evalúa, significa que previamente se ha planificado. Esto nos obliga, como tarea previa a toda evaluación, a identificar y concretar los elementos sustantivos que componen la Misión de la UCAB y los objetivos explícitos o implícitos establecidos como metas o resultados a ser alcanzados en el período vencido. Las obligaciones de la UCAB ante la sociedad y el Estado y las expectativas de ambos en relación a ella quedan de alguna manera incorporados ahí.

5

Parece perentorio reafirmar la importancia de cada etapa o momento del proceso de la planificación, cualquiera sea el tipo o corriente de la metodología de la planificación que se quiera asumir: diagnóstico o análisis de la situación inicial, fijación de objetivos o definición de la situación objetivo, elaboración de programas o proyectos, formulación de estrategias, instrumentación de la intervención o gestión de la ejecución, monitoreo o evaluación y retroalimentación. Mediante ese proceso la institución asume la racionalidad de su acción, es decir, formula criterios e instrumenta medios para asignar recursos, establece responsabilidades y verifica resultados. Es importante destacar que el tránsito reiterativo y continuado de los momentos del proceso planificador, como en una espiral, exigen que la evaluación no sea asumida como una etapa “técnica”, separada de la ejecución y en general de los demás momentos, sino por el contrario, como un monitoreo de la propia gerencia de la institución sobre la acción en desarrollo. En este sentido la evaluación, además de ubicarse en el eje de la planificación, tiene, al igual que ésta, su lugar propio en la misma sede de dirección institucional desde donde se toman decisiones al gerenciar el proceso de planificación. (Matus, 1988, p.15-46) 2.- UN NUEVO PATRÓN DE EVALUACIÓN INSTITUCIONAL De entrada es interesante destacar algunos rasgos que pudieran servir de patrón común para la evaluación. Éste surgiría al abandonar unos enfoques y asumir otros. Si queremos resumir el cambio, ocurrido en las últimas décadas, en los enfoques de la evaluación de las instituciones de educación superior, podemos servirnos del análisis de Martínez (1997, p. 77) quien destaca tres cambios fundamentales: a) Se pasa “de la programación (burocrática) a la productividad (desempeño): se

trasciende el control administrativo a priori de insumos, recursos y procesos, referidos a vagos fines institucionales, y se busca evaluar los resultados o productos, fortaleciendo las funciones orientadoras o normativas”

b) Se pasa “de los insumos y procesos a los productos y resultados: se busca vincular

la asignación de recursos a metas alcanzadas antes que asociarla a condiciones o planes previos (insumos)”

c) Se pasa “de la evaluación administrativo-burocrática a la evaluación de actores

múltiples: la localización del agente y el proceso evaluador se desplaza del interior de los organismos gubernativos a instancias más autónomas, con otros actores institucionales (académicos, empresariales, etc.)”

6

Estas pautas de cambio y nuevos enfoques de la evaluación pueden convertirse en criterios orientadores del diseño de un plan de evaluación institucional. Sobre ellos volveremos más adelante al identificar las características del Estado evaluador y las experiencias de diversos países. 3.- EJES DE LA EVALUACIÓN: CALIDAD Y PERTINENCIA La UNESCO ha centrado la reforma de las políticas de los sistemas de educación superior, y por ende el objetivo de la evaluación de las instituciones de educación superior, en dos criterios: la calidad y la pertinencia. (Brunner: 1997, p. 9) La dificultad radica en establecer qué se entiende por calidad y por pertinencia. Con frecuencia se considera “la noción de calidad como central y abarcadora de todos los atributos deseables para una educación profesional.” Sin embargo en conveniente diferenciarlas y enfatizar la noción de pertinencia para subrayar la importancia que tiene la sintonía o concordancia entre los resultados del proceso educativo y la expectativa o aporte al desarrollo socioeconómico. (Letelier, 1997, p. 86-90) Las distintas acepciones que se le dan a estos conceptos conducen con frecuencia a enfoques divergentes, pero más complementarios que opuestos. Veamos alguna formulación. 3.1.- LA CALIDAD BAJO EL MODELO DE INSUMO - PRODUCTO La calidad de la educación universitaria es asumida por algunos enfoques bajo el modelo de insumo - producto. Este modelo conduciría a determinar un patrón ideal y común de calidad: el “patrón de excelencia”. (Brunner, 1997, p. 11). En el modelo se contemplan tres dimensiones de evaluación: 1.- La calidad en los insumos (inputs): Toma en cuenta los requisitos y procesos de admisión del candidato a ingresar a la universidad, las credenciales de los profesores, las escalas de remuneración al personal, el gasto ordinario y extraordinario, edificaciones e instalaciones, la inversión en infraestructura y equipamiento, la dotación bibliotecaria, la plataforma informática, los servicios estudiantiles, entre otros.. Con frecuencia se identifica, aun cuando impropiamente, la calidad en los insumos con la eficiencia interna. Comunmente se aprecia la calidad de los insumos mediante la cuantificación de los ingredientes necesarios para que la institución cumpla su razón de ser. Los indicadores más utilizados para medir la calidad de la educación superior, frecuentemente giran en torno a la cuantificación de los insumos. Generalmente es a través de ellos que se realizan comparaciones entre universidades.

7

2.- La calidad en los resultados (outputs): Toma en cuenta los egresados universitarios y su formación, la capacidad de inserción en el mercado laboral, el aprecio de sus credenciales, las investigaciones y aplicaciones que la ciencia y la tecnología desarrolladas en la universidad aportan al aparato productivo, es decir la producción científica y en general el aporte para el desarrollo de la sociedad. Con frecuencia se identifica, aun cuando impropiamente, la calidad en los productos con la eficiencia externa. Dada la diversidad de productos o resultados se dificulta la estandarización de unidades de medida comunes y unívocas, y por ende la comparación entre distintas instituciones de educación superior. Por ello normalmente los indicadores de la calidad en los resultados quedan circunscritos al uso interno de cada institución. 3.- La calidad de la gestión (management): Toma en cuenta los procesos organizativos y administrativos, la estructura organizativa, la legislación y reglamentación interna, las carreras, los pensa, las reformas curriculares, el proceso enseñanza-aprendizaje, el sistema de evaluación, equivalencias y reconocimientos de estudios, la gestión presupuestaria y financiera, los procesos de comunicación e información intra y extra institución, el clima organizacional, entre otros. Con frecuencia se identifica, también impropiamente, la calidad en la gestión con la eficiencia funcional. En forma similar a la calidad en los productos, la estandarización y el uso de indicadores tienden a quedar sujetos al ámbito interno de cada institución universitaria. 3.2.- LA PERTINENCIA La pertinencia es muchas veces asumida como parte de la calidad, a veces tomada

como sinónimo de la misma, pero con mayor precisión, es definida como una característica que puede tener un tratamiento separado, y en esa medida ser más útil desde el punto de vista del análisis de la evaluación y de la definición de políticas en el ámbito universitario.

La pertinencia, definida como la adecuación de los productos a los fines últimos de la

institución, puede verse desde dos vertientes:

8

a.- la pertinencia desde la sociedad, es decir desde criterios o fines externos a la comunidad universitaria. Así se identifica más bien como la conveniencia o utilidad que presta, por ejemplo, una carrera profesional, al desarrollo del país. Entonces se considera a la universidad como un servicio público.

b.- la pertinencia desde los valores intrínsecos al ámbito académico. “Se asocia a la concordancia efectiva entre los objetivos declarados de un programa (...) y las legítimas expectativas de desarrollo personal y socioeconómico de los actores en el proceso equilibradamente consideradas.” (Letelier, 1997, p. 91) Entonces se considera a la universidad un centro de luces o de renovación y desarrollo del conocimiento, en el más amplio sentido de la palabra.

Juzgar cada una de esas dos vertientes de la pertinencia toma un cariz distinto si se trata de establecer, por ejemplo, su dedicación predominante o prioritaria al pre-grado o al postgrado, a la docencia o a la investigación, a unas carreras o a otras, a cubrir unas necesidades urgentes del país o no, prioritarias o de segundo orden. Es conveniente focalizar la evaluación universitaria, además de la calidad, también en la pertinencia, pues permite obtener una mayor riqueza de resultados de la evaluación y una mayor claridad en relación a los cambios e innovaciones que se puedan proponer. Captar la pertinencia resulta ser coherente con el nuevo patrón de evaluación institucional, mencionado arriba, que apunta más bien a calibrar los resultados. Con razón observa Letelier (1997, p.86) que “contrariamente a lo que puede esperarse en el contexto empresarial, donde la calidad de un producto o servicio no puede desvincularse de su utilización práctica, en educación suele suceder que los fines de ésta son bastante amplios, muy ambiciosos (en teoría) y difíciles de verificar. Es esa dificultad de verificar los resultados del proceso educativo la que frecuentemente permite asociar la calidad de éste con ciertos supuestos [insumos] que determinarían un proceso capaz de entregar una educación de calidad.” En este sentido, indagar la pertinencia en contraste con la calidad, permite, por ejemplo, “concebir programas de alta calidad y poca pertinencia (como sería el caso de programas perfectamente diseñados e instrumentados para formar ingenieros de minas en un país sin minas) y programas de poca calidad y alta pertinencia (un ejemplo de lo cual sería: un programa que formara ingenieros informáticos con un cuerpo académico incompetente y sin disponer de computadores apropiados)”. “Introducir la pertinencia en un plano de importancia comparable al de la calidad presenta ciertos riesgos. Es común escuchar el argumento de que no es posible prever el destino que tendrán los profesionales de determinadas especialidades. Numerosos ejemplos reales avalan la duda de nuestra capacidad para prever la evolución de los

9

campos profesionales. Sin embargo, la experiencia contemporánea muestra que calidad y pertinencia son dos atributos que difícilmente pueden separarse en procesos productivos o de servicios que satisfacen necesidades sociales. La sociedad se ha hecho más crítica respecto al para qué de los propósitos humanos, sobre todo cuando ellos involucran recursos que son de propiedad común” (p. 91) 4.- LOS ACTORES Y CONTEXTO SOCIOCULTURAL Otra manera de enfocar la evaluación de la calidad de la educación superior, no excluyente sino complementaria de la anterior en cuanto cruza transversalmente las tres dimensiones, es la consideración de los actores y del contexto sociocultural. 4.1. LOS ACTORES DE LA EVALUACIÓN Dentro de la Universidad: 1.- La Comunidad Universitaria. Ésta como un cuerpo, actúa como una totalidad orgánica, una micro-sociedad, al modo de una pequeña república, compuesta a su vez por los tres grandes conjuntos: • Estudiantes • Académicos • Autoridades De ahí se derivan algunas de las características de la comunidad universitaria tales como autonomía, autogobierno y libertad de cátedra, entre otras. Pero por otra parte, los actores internos de la comunidad universitaria presentan perspectivas divergentes originadas en los intereses de cada uno de ellos. Así, por ejemplo, la asignación de recursos por áreas o facultades puede provocar tensiones entre las estructuras o instancias; la remuneración del personal puede provocar conflictos entre autoridades y académicos y personal administrativo; las oportunidades de ingreso a las carreras, el contenido académico o las normas internas puede enfrentar, abiertamente, o las más de las veces veladamente, a los estudiantes con las autoridades o el cuerpo docente. Normalmente ajustes, acuerdos, negociaciones y normas permiten conjugar intereses divergentes. Los órganos de participación en las decisiones, o de cogobierno, drenan las soluciones y facilitan la convivencia de la Comunidad Universitaria. También aquí los estilos y requerimientos de evaluación de las instancias de poder, de la participación democrática y, en general, del clima interno, son muy distintos en cada universidad y en cada país. Fuera de la Universidad:

10

2.- Las Empresas toman el rol principal de empleadoras, representan el mercado de trabajo, y en un segundo término fungen de asociadas o financistas, o bien de clientes de productos y servicios. Sin embargo cada vez más el orden de estos roles se trastocan y combinan. 3.- El Estado asume el rol principal de ente regulador y evaluador, y en segundo lugar de empleador y de cliente de productos y servicios. Sin embargo “regulador” y “evaluador” tienden hoy día a no combinarse como equivalentes y complementarios sino más bien como punto de partida y de llegada de un proceso de cambio: El paso del Estado regulador al Estado evaluador es un fenómeno de carácter mundial. 4.- La Sociedad global como demandante de formación académica a través de los estudiantes

como beneficiaria del progreso del conocimiento y de la ciencia.

5.- Las otras Universidades nacionales y extranjeras como pares en el desarrollo académico, mediante vínculos y/o redes de

acreditación, intercambio, asociación, federación, cooperación y en general a través de un multivariado tejido de relaciones globalizantes y globalizadas. A su vez, polos de actores globalizadores y polos de actores globalizados, también en el ámbito de la educación superior, corresponden a posiciones de poder económico y político y no a procesos equiparables y equitativos.

4.2.- LOS CONTEXTOS SOCIOCULTURALES CONDICIONANTES DE LA EVALUACION UNIVERSITARIA. Las características propias de la sociedad venezolana y la definición de las propias funciones del Estado venezolano, en cada época histórica, y en este caso la que estamos viviendo, determinan de alguna manera los criterios de evaluación de la educación superior. En este sentido es importante considerar tres aspectos que intervienen en forma decisiva en el proceso de evaluación: Primero, la mayor o menor tendencia al predominio del mercado; segundo, la cultura de evaluación; y tercero, el Estado evaluador. a) La mayor o menor tendencia al predominio del mercado: Se puede observar fácilmente que la evaluación “tenderá a ser muy distinta en una sociedad altamente competitiva, acostumbrada a obtener value for money y a medir la

11

calidad de los productos por las preferencias expresadas a través del mercado que en una sociedad que valora antes que todo la equidad, habituada a un activo rol compensador y benefactor del Estado y a distribuir sus productos por medio de canales públicos. Estados Unidos y Francia, por ejemplo, difieren de maneras muy nítidas en torno a ese tipo de variables y, por eso, conciben la calidad y el control de calidad en la educación superior de maneras también muy distintas.” (Brunner, 1997, p.18-19) Es decir, una sociedad competitiva y regida claramente por las preferencias del mercado formulará sus criterios de evaluación en forma distinta a si en esa sociedad predomina una concepción de equidad y de Estado benefactor. Necesidades del mercado y exigencias del servicio público pudieran ser los extremos polares de un continuum, en cuyo eje pudiera determinarse la ubicación de una posición propia del caso venezolano. b) la cultura de evaluación: Cada país, de acuerdo a sus características propias, concibe el hecho de la evaluación en forma distinta: existe una “cultura evaluativa”. “Hay sociedades donde los valores y tradiciones - y la propia operación de la sociedad - llevan a una constante preocupación en torno a los temas de la calidad, del ‘trabajo bien hecho’ y, en última instancia, al acto de producir sujeto a evaluaciones. Son en general, sociedades con un ethos protestante y puritano. En otras, en cambio, por razones de configuración cultural y de entorno, las características de su desarrollo y los valores que predominan en ella, no existen esas mismas tradiciones evaluativas y la acción social, en general, se halla legitimada menos por resultados que por las intenciones, o por las particulares condiciones de prestigio del actor o por los “patrocinios” que éste invoca o recibe” (Brunner, 1997, p 18) Sin clara conciencia de ello, todos los actores, sean internos y o externos a la universidad, están imbuidos de una cultura evaluativa, subconjunto de la cultura venezolana en general, que para nuestro contexto venezolano, es la resultante de nuestros factores propios y peculiares. Tomarla en cuenta es indispensable pues define las condiciones en las cuales se va a realizar la evaluación y determina el éxito que pueda tener el contenido de la misma y el método que se aplique. c) el Estado evaluador. Tradicionalmente se ha concebido al Estado como el ente regulador de la educación superior. Ahora se lo concibe más bien como ente evaluador. Aún cuando pudieran considerarse funciones similares o complementarias, sin embargo, regulador y evaluador tiene connotaciones distintas.

12

Como ente regulador, sus actividades estaban circunscritas a un control central burocrático o puramente administrativo de los insumos y procesos de las instituciones universitarias. (Brunner, 1997, p.19-22). El estado como regulador centraba su atención en el control burocrático. Por el contrario, el Estado evaluador se origina como alternativa a la regulación burocrática. Este nuevo perfil, surgido y desarrollado en los países industrializados desde hace al menos dos décadas (por causas y factores que no vienen al caso analizar) y difundido en los otros, va en el sentido de focalizar la acción del Estado en la evaluación. En forma paralela a la tendencia hacia una mayor descentralización y libertad institucional, el Estado busca evaluar la calidad de los resultados o productos. La justificación de ese viraje obedece a factores distintos en diversos ámbitos nacionales, pero el resultado del surgimiento del fenómeno del Estado evaluativo es común en todos ellos, y puede quedar caracterizado por cuatro rasgos comunes que Brunner sintetiza de la siguiente manera: “Primero, la evaluación se desplaza desde los insumos y los procesos a los productos. ‘La evaluación a posteriori busca dilucidar hasta qué punto las metas han sido cumplidas, no estableciendo las condiciones previas sino certificando el grado de realización de los objetivos generales a través de la evaluación del producto’ (Neave, 1990, p. 7). En concreto, se busca vincular la asignación de recursos a objetivos cumplidos más que atribuirlos en función de planes, como insumos para el cumplimiento de los mismos. El propósito de tal desplazamiento es crear una nueva forma de conducir o ‘timonear’ la educación superior, que se realiza no ya a la manera de una planificación de objetivos sino mediante estímulos y sanciones que siguen a la verificación de resultados producidos. En concreto, se busca así desenfatizar las políticas basadas en la provisión de recursos e insumos para atender a los fines institucionales y/o del sistema y se busca, en cambio, evaluar la manera y medida en que sus productos y resultados se ajustan a las demandas percibidas en el mercado y a las prioridades nacionales. El control de calidad vinculado al eslabón de salida de la cadena de producción de la educación superior sugiere que ésta puede ser regulada más eficazmente si se la deja libre para cumplir sus cometidos y se evalúan a posteriori sus productos, diseñando las políticas a partir de esa evaluación y no, como ocurría antes, a partir de planes y proyectos que eran evaluados ex ante. Por último, cambia también la localización de los procesos evaluativos, desplazándose desde el interior de organismos instalados en el seno del gobierno a nivel de los ministerios de educación , para ubicarse en instancias autónomas, donde es posible integrar a personeros gubernamentales junto a los representantes de la corporación académica y demás actores relevantes.”. (Brunner, 1997, p. 22)

13

5.- LAS ACTIVIDADES UNIVERSITARIAS Tradicionalmente han sido clasificadas dentro de tres funciones centrales, que, desde el punto de vista de la evaluación, se transforman en tres ámbitos que requieren a su vez instrumentos específicos de medición : Docencia (o Enseñanza): Es harto conocida la dificultad por establecer parámetros que determinen en qué consiste una “buena docencia”, sea en términos de su calidad (es decir bajo el criterio predominante del componente pedagógico) como en términos de su pertinencia (es decir bajo el criterio predominante de servicio público o de impartir conocimientos) Investigación: De igual forma se conoce la dificultad por establecer parámetros que determinen en qué consiste una “buena investigación”, sea en términos de su calidad (es decir, bajo el criterio de ser “científica” y tener “elevado nivel académico”) como en términos de su pertinencia (es decir bajo el criterio predominante del interés y utilidad públicos o del avance del conocimiento, definidos comunmente mediante el binomio “investigación y desarrollo: I&D”) Serias críticas reciben los intentos malogrados de cuantificaciones volumétricas y bibliométricas de la productividad de los investigadores al intentar construir indicadores de resultados. Servicios a la Comunidad: Esta función, definida tradicionalmente como de “Extensión”, toma comunmente proporciones de “cajón de sastre” de todas aquellas actividades dirigidas al ámbito externo a la propia institución universitaria y que no califican directamente como docencia o como investigación.

14

ANEXO:

ANÁLISIS DE ALGUNOS CASOS NACIONALES DE EVALUACIÓN DE LA EDUCACIÓN SUPERIOR

1.- HOLANDA El sistema de evaluación está basado en el criterio general de que, en primer lugar, corresponde a las instituciones asumir la responsabilidad de su diseño e instrumentación. Es un sistema de autorregulación complementado con formas de evaluación externa. Ha sido llamado de “control remoto”, pues la mayor autonomía reconocida a las instituciones va acompañada de modalidades más exigentes de evaluación. Consta de dos pilares fundamentales: a. Sistema de autorregulación: éste debe permitir “una mayor información a la

sociedad y al gobierno, basado en autoevaluaciones que deberán llevarse a cabo en cada nivel: de los departamentos, de las facultades y de la propia institución. Asimismo, se encarga a cada establecimiento desarrollar indicadores de desempeño (performance indicators) confiables. (...) El autoexamen tiene por objeto estimular la gestión interna de la calidad; preparar la visita del comité externo dentro de la facultad que vaya a ser visitada y proporcionar información de base a dicho comité. Cada facultad define el modo de su autoevaluación. Corresponde al comité externo de visita consolidar los informes provenientes de las diversas facultades visitadas de acuerdo a un esquema o pauta común”. (Brunner, 1997, p. 23)

b. Comités expertos externos o comités de visita. Los organiza el gobierno a través

del Inspectorado de la Educación Superior. Tienen la función de controlar el sistema de evaluación dispuesto por cada universidad, ejerciendo la función de “metaevaluación”. Los comités de visita “están integrados por expertos eminentes en su respectivo campo, que son en su mayoría pares y colegas de los académicos visitados, de los cuales un número de ellos deben ser reclutados entre los miembros destacados de la profesión que trabajan con los potenciales empleadores. Son propuestos por los comités de decanos de las correspondientes facultades, de

15

modo que puedan disponer de la confianza general. Uno de los miembros del equipo de expertos debe ser un académico del extranjero y otro un especialista en métodos de enseñanza dentro del respectivo campo. En general, los comités de visita están compuestos por siete miembros. Tratan de cubrir simultáneamente todas las especialidades de la disciplina en revisión y deben evaluarla a nivel nacional, visitando en un mismo año todas las facultades que la imparten. El comité formula recomendaciones o hace proposiciones a partir de la visión de conjunto que se forma durante las visitas. Una de las misiones centrales del comité es evaluar el sistema interno de control de calidad que se haya establecido.” Este examen externo se lleva a cabo cada cinco años. Es de observar que el proceso evaluativo tiene carácter público: el informe de este comité es sometido a la Asociación para la Cooperación de las Universidades Holandesas, quien se encarga de su publicación. (Brunner, 1997, p.23-25)

Además también existen los Comités de “clientes” o “consumidores” de productos de la educación superior. Estos comités, formados por representantes de las instituciones, de los colegios profesionales y de los respectivos ministerios, se involucran especialmente en las áreas vocacionalmente orientadas e intervienen en el reconocimiento de algunos diplomas. En resumen, es “un sistema que en lo fundamental se adapta a las exigencias de la autorregulación, en la medida en que descansa principalmente en las instituciones más que en el gobierno, que las evaluaciones se realizan teniendo a la vista los objetivos de cada institución, y que combina la autoevaluación con el examen externo siendo aquél la piedra angular.” (Brunner, 1997, p. 25) 2.- FRANCIA La educación superior está concebida y organizada bajo la forma de un servicio público. El sistema de evaluación está en manos del “Comité National d’Evaluation” (CNE). Es una estructura independiente del poder político y administrativo y también fuera del control de las instituciones de educación superior. “Está integrado por más de una decena de miembros designados por el Presidente de la República, después de recibir éste proposiciones de candidatos de parte de la comunidad académica, el Consejo de Estado, la Corte de Cuentas y el Consejo Económico y Social. Tiene un secretariado permanente provisto por el Ministerio de Educación.(...) Examina las actividades principales de dichas instituciones, esto es, la investigación, la docencia, su administración, operaciones y estrategias de desarrollo, y debe emitir un juicio evaluativo respecto de todas esas funciones, (...) para lo cual crea comités de visita. (...) Reporta directamente al Presidente de la República, pero carece de autoridad como para imponer sus recomendaciones.” (Brunner, 1997, p. 26)

16

“Las evaluaciones deben servir a los decisores en el Ministerio, a las propias instituciones evaluadas que se ven en la necesidad de examinar sus propias capacidades, operaciones y problemas, y al público en general, que recibe una información independiente sobre el estado actual y el valor de los distintos establecimientos.” Los informes son publicados y provocan, en cada oportunidad, un amplio debate. (Brunner, 1997, p. 26-27). 3.- GRAN BRETAÑA En los años 80 se sustituye el sistema de autonomía, evaluación interna y por pares, y asignación de recursos por comités. En su lugar se establecen instancias externas de evaluación y crecientes restricciones a la autonomía. La nueva orientación “busca: a. estimular a las instituciones para que se vuelvan más emprendedoras con el fin de

atraer contratos y obtener recursos de fuentes adicionales a las públicas, especialmente del sector privado (...);

b. aumentar su accountability en el uso de los fondos públicos; y c. reforzar el compromiso de las instituciones de entregar servicios que hubiesen

comprometido con los organismos financiadores.” ( Brunner, 1997, p. 29) En este sentido no se piensa ya en subsidios, sino “en términos de la adquisición de ciertos servicios de parte de las universidades. El eje de estos servicios son la docencia y la investigación. El Gobierno es aquí un comprador-único que confronta un conjunto de oferentes que compiten entre sí. Usará el poder que esa situación le proporciona para presionar en favor de una mayor eficiencia (...)” (Walford, 1988, citado por Brunner, 1997, p. 29). “En el terreno de la evaluación (...) cada unidad de investigación es concebida como un centro de costo y debe mostrar que es capaz de producir value for money.” En la docencia, en 1991 se introduce una triple dimensión: a. “control de calidad intrínseco, basado en mecanismos internos para mantener y

mejorar la calidad de su provisión”; b. “auditoría de calidad, consistente en el examen externo dirigido a proporcionar

seguridad de que las instituciones tienen en su lugar mecanismos internos de control de calidad” (en este sentido hay una similitud con el caso holandés al ejercer una especie de metaevaluación); y

c. “evaluación de calidad, mediante examen y juicios externos sobre la calidad de la enseñanza y el aprendizaje en cada institución” (Brunner, 1997, p. 30)

Se trata de exigir a las instituciones “justificar sus actividades, y el uso de los recursos y desempeño en términos de las tres E’s: economía en la adquisición y uso de los

17

recursos; eficiencia en el uso de los recursos y efectividad en el logro de los objetivos institucionales, departamentales e individuales, a través de la exitosa implementación de las estrategias y planes de acción” (Sizer, citado por Brunner, 1997, p. 31) La evaluación en Gran Bretaña “ha ido acompañada por el uso relativamente intenso de performance indicators (indicadores de desempeño) (...) [lo cual la ha colocado ]a la cabeza de los países europeos en cuanto al empleo de ese instrumento”. (McVicar, 1990, citado por Brunner, 1997, p. 30) El uso de esos indicadores, es decir, “de enunciados, usualmente de carácter cuantitativo, sobre recursos empleados y logros obtenidos en áreas relevantes para objetivos específicos de la empresa, son un insumo clave para los procesos de accountability, tanto hacia dentro de las instituciones como frente a los organismos financiadores.” Un compendio, publicado en 1989, incluía 54 indicadores de los cuales 52 están relacionados con los insumos y los procesos, y sólo 2 son indicadores de resultados. (Brunner, 1997, p. 31) “En cualquier caso, el impulso que ha recibido el uso de indicadores de desempeño no ha excluido la utilización de la revisión por pares. Esta última forma de evaluación sigue estando presente en casi todos los niveles de la evaluación de la investigación y, en el caso de la docencia, cuando se acreditan cursos ante los organismos correspondientes y cuando se desarrollan los procesos de examen externo y las evaluaciones de los inspectores de Su Majestad.” “En suma, el caso británico es seguramente el que más extremamente muestra el uso de ciertas políticas e instrumentos que se hallan orientados a favorecer la competencia y a exponer a las instituciones de educación superior a la presión del mercado.” (Brunner, 1997, p. 31-32) 4.- SUECIA Como contexto general, se da una mezcla de “control central con descentralización evaluativa”. “Los poderes centrales conservan atribuciones significativas en el sistema sueco. El gobierno interviene mediante la formulación de políticas, contrata a los profesores titulares, define los sectores de estudio, asigna la parte más importante del presupuesto de las universidades y participa en la planificación curricular de los cursos y carreras. En cambio, el impulso a la descentralización se liga más estrechamente con la necesidad de aumentar la eficiencia del sistema, entendida como calidad y productividad, y traslada el interés de las autoridades públicas desde los planes hacia las evaluaciones ex post de resultados y rendimiento.” “La evaluación de resultados se concibe, antes que todo, como un proceso interno que debe ocurrir al nivel de cada establecimiento. Se espera que las instituciones produzcan regularmente su flujo de información, en todos los niveles internos de la

18

organización, que luego es analizada y sintetizada por el Swedish National Board of Universities and Colleges (NBUC), el cual publica anualmente un informe sobre el estado de la educación superior en el país.” “Junto a las actividades de autoexamen institucional, existen diversos organismos que participan en la evaluación externa de las universidades, siendo los más importantes el National Audit Bureau, la Agencia para el Desarrollo Administrativo, los consejos de investigación y, en menor grado, las corporaciones empresariales y uniones de sindicatos. Particularmente importante es el papel evaluativo de los consejos de investigación que a través de procesos de revisión por pares examinan el desarrollo, las fortalezas y las debilidades de los distintos sectores y disciplinas.” (Brunner, 1997, p. 33) 5.- ESTADOS UNIDOS DE AMÉRICA La organización de la educación superior en Estados Unidos difiere de lo que “suele llamarse el ‘modelo continental’ europeo (...) donde ésta es concebida como un servicio público bajo regulación de los órganos centrales del Estado”. “El sistema estadounidense, en cambio, se halla inserto en un régimen político federal, cuenta con un vigoroso sector de instituciones privadas, es el más complejo del mundo y se halla diferenciado horizontal y verticalmente a un grado tal que no es comparable con lo que ocurre en las naciones europeas”. (...)”La educación superior funciona abierta a las demandas del mercado y donde las instituciones compiten por la reputación y el prestigio.” (Brunner, 1997, p. 34-35) “Existen, sin embargo, variados procesos establecidos para el control de la calidad (...) que adoptan la forma de procesos de acreditación. La acreditación consiste en formas voluntarias , no gubernamentales, de revisión por pares que buscan asegurar el control de calidad en las instituciones del sistema. (...) “Esencialmente se realiza a través de procedimientos de autoexamen a nivel institucional y de visitas de examinadores externos seleccionados al efecto por uno de los seis organismos regionales de acreditación en que participan las propias instituciones pero cuyo estatuto es cuasi-público, resultando en una especie de ‘carta de crédito’ expedida por dicho organismo. Los mencionados organismos regionales de acreditación se agrupan en el Consejo de Acreditación Post-secundaria (COPA)” (Brunner, 1997, p. 35-36) “Desde el punto de vista operativo, las acreditaciones así practicadas buscan evidenciar que la institución posee un claro sentido de su misión y objetivos definidos de acuerdo con ella; que la institución posee la capacidad, los recursos y la voluntad para hacer lo que promete; que establece estándares de excelencia, criterios de calidad e indicadores de logros, consistentes con la política de acreditación; y, finalmente, que dispone de mecanismos de evaluación, autoexamen y planeación que le permiten

19

un mejoramiento continuo de sus actividades y operaciones” (Simmons y Ríos de Betancourt, 1991, comentado por Brunner, 1997, p. 36) Los componentes esenciales de este sistema de evaluación son: a) “autoevalualción institucional practicada a la luz de las propias intenciones y objetivos del establecimiento y de los estándares de acreditación elaborados por pares;” b) “procesos externos de revisión por pares llevados a cabo bajo el patrocinio de un organismo no gubernamental de acreditación;” c) y como resultado de los pasos anteriores, una resolución de acreditación y/o indicación de recomendaciones o sanciones formuladas por esa comisión regional acreditadora en la que participan administradores institucionales, académicos y representantes del público.” (cf Kells, 1989, comentado por Brunner, 1997, p. 36) En resumen, “el sistema institucional de evaluación en Estados Unidos comprende una diversidad de componentes, siendo los más importantes:

a. el componente de autorización estadual (licencing) para la creación de instituciones, que opera en más de 40 estados, aunque de maneras diversas en cada uno.

b. el componente de acreditación institucional de nivel regional, que conduce a que prácticamente todas las instituciones de educación superior sin fines de lucro y un pequeño número de instituciones lucrativas sean acreditadas en un ciclo regular y voluntario de 5 años, a través del sistema no gubernamental descrito más arriba.

c. el componente de autoevaluación institucional, empleado cada vez más intensamente por los propios establecimientos, que con frecuencia ocupa revisores externos y se practica de manera también cíclica regular.

Complementariamente, existen otros cuatro procesos que forman parte de este complejo sistema de evaluación de la educación superior: • examen a nivel nacional o estadual, para graduados individuales de algunas

carreras profesionales, que certifica la capacidad para el ejercicio de las mismas; • procesos cíclicos y obligatorios a nivel estadual de revisión por pares de

programas, que existen el algunos estados, en general en conexión con la asignación de recursos;

• procesos especiales de acreditación de programas profesionales realizados por una o más de las cincuenta agencias no gubernamentales reconocidas que operan nacionalmente y poseen criterios y estándares bien definidos de acreditación, los cuales son revisados periódicamente por las respectivas asociaciones profesionales.

• procesos internos de autoexamen de programas iniciados por las propias instituciones, generalmente con objetivos de mejoramiento de dichos programas o para acompañar procesos de racionalización y reorganización en tiempos de contracción de recursos.” (cf. Kells, 1989, en Kogan (ed.), 1989, resumido por Brunner, 1997, p. 37)

20

6.- ESPAÑA Para el caso de España disponemos del documento “Plan Nacional de Evaluación de la Calidad de las Universidades”. Se contemplan dos componentes de la evaluación institucional, en forma similar a como se desarrolla en el ámbito europeo: • la evaluación interna o autoevaluación (self-evaluation), que cierra con el auto-

informe y la rendición de cuentas, y da paso a • la evaluación externa o evaluación por pares (peer review), a cargo de un Comité

de Expertos Externos. (Universidad Carlos III, 1995, p. 4-6). El proceso concluye en los Informes Públicos.

Postula que el objeto de la evaluación es la calidad universitaria, entendida ésta en dos perspectivas, que el Plan asume integrándolas en su diseño: • calidad intrínseca (absoluta), es decir “el acatamiento o respeto a las exigencias

epistemológicas de una ciencia o de una disciplina” • calidad extrínseca (relativa), referida a la “pertinencia: es decir, a la correlación

con las necesidades del entorno. La pertinencia es un equilibrio, por definición inestable, entre la misión o las misiones fundamentales de la universidad y la misión coyuntural.” (p. 10)

La evaluación abarca al mismo tiempo las tres actividades centrales de la universidad: 1.- La enseñanza. Toma como unidad de análisis la titulación (carrera), y en ella, “el conjunto de inputs y procesos que deben desembocar en la obtención de graduados universitarios. El diseño del programa, la organización de la enseñanza, su desarrollo y los resultados obtenidos constituyen la base del contenido a evaluar”. En algunos casos puede tomarse como unidad de análisis la unidad administrativa o centro. (p. 21) 2.- La investigación. Se toma como unidad de evaluación el Departamento o Instituto. Se trata de ponderar a ese nivel, por un lado los aportes de la actividad y competencia individual del investigador y por la otra las exigencias y vínculos de la “Investigación y Desarrollo”(I&D). Es sabido que ésta, a través de los órganos nacionales, regionales o internacionales de financiación y planificación determina las prioridades y los recursos, y en definitiva, la orientación de la investigación que se realiza dentro de una universidad. (p. 69) 3.- Los servicios. Asumen dos modalidades: En los proyectos temáticos, los servicios se evalúan directamente con la titulación. En los proyectos globales, en el conjunto de la

21

universidad. La evaluación de la calidad de los servicios sigue la pauta establecida en el “Modelo Europeo para la Gestión de la Calidad Total”, propuesto por la European

Foundation for Quality Management (EFQM), generalizado en Europa y que permite no sólo establecer comparaciones entre la gestión de organizaciones, sino además formar parte de iniciativas de reconocimiento de la Excelencia en la Gestión y optar a premios. (p. 21-23) Experiencias de evaluación de algunos países latinoamericanos: Argentina: CONEAU (Comisión Nacional de Evaluación y Acreditación Universitaria) Brasil: PAIUB (Programa de Evaluación Institucional de las Universidades Brasileñas) Colombia: CNA (Consejo Nacional de Acreditación) México: CONAEVA (Comisión Nacional de Evaluación) Perú: Consorcio de Universidades

22

BIBLIOGRAFÍA Aparicio Izquierdo, Francisco (1997) “Evaluación de la calidad de las enseñanzas de

ingeniería SECAI.” En Eduardo Martínez y Mario Letelier (eds.) (1997) Evaluación y acreditación universitaria: metodologías y experiencias.

UNESCO, Organización Universitaria Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. p. 135-150

Brunner, José Joaquín (1990) Educación Superior en América Latina: Cambios y

Desafíos. Chile: Fondo de Cultura Económica. 205p. Brunner, José Joaquín (1996) Educación Superior y Globalización. Conferencia

dictada en la inauguración del curso Gestión y Liderazgo Universitario, Universidad de Santiago de Chile. 9p.

Brunner, José Joaquín (1997) “Calidad y evaluación en la educación superior”. En Eduardo Martínez y Mario Letelier (eds.) (1997) Evaluación y

acreditación universitaria: metodologías y experiencias. UNESCO, Organización Universitaria Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. p. 9-44

Consorcio de Universidades (1999) Evaluación institucional. Manual para

instituciones de educación superior. Lima: Fondo Editorial de la Universidad del Pacífico. 101 p.

Escotet, Miguel Ángel (1998) Manual de Auto-evaluación de la Universidad. Bogotá: Universidad de los Andes, 224p.

Jaramillo, Oscar (ed.) (1997) Autoevaluación para la autorregulación. Modelo y

Experiencias. Colombia: Instituto Colombiano para el Fomento de la Educación Superior (ICFES). 219 p.

Kells, H. R. (1989) “The Second Irony: The System of Institutional Evaluation in the United States” en Maurice Kogan (ed.) (1989) Evaluating Higher

Education London: Jessica Kingsley Publishers. L’Ecuyer, Jacques (1997) “Una experiencia canadiense en evaluación de la educación

superior.” En Eduardo Martínez y Mario Letelier (eds.) (1997) Evaluación y acreditación universitaria: metodologías y experiencias.

UNESCO, Organización Universitaria Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. p. 119-134

Letelier, Mario (1997) “Calidad y pertinencia de la educación en ingeniería: un enfoque evolutivo”. En Eduardo Martínez y Mario Letelier (eds.) (1997) Evaluación y acreditación universitaria: metodologías y experiencias.

UNESCO, Organización Universitaria Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. p. 85-106

23

Letelier, Mario y Hernán Ayarza (1997) “Análisis comparativo de sistemas de evaluación y acreditación de programas de ingeniería.” En Eduardo Martínez y Mario Letelier (eds.) (1997) Evaluación y acreditación

universitaria: metodologías y experiencias. UNESCO, Organización Universitaria Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. p. 187-206

Martínez, Eduardo (1997) “La evaluación de la educación superior”. En Eduardo Martínez y Mario Letelier (eds.) (1997) Evaluación y acreditación

universitaria: metodologías y experiencias. UNESCO, Organización Universitaria Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. p. 75-84

Martínez, Eduardo y Mario Letelier (eds.) (1997) Evaluación y acreditación

universitaria: metodologías y experiencias. UNESCO, Organización Universitaria Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. 208 p.

Matus, Carlos (circa 1988) Política, Planificación y Gobierno. Caracas: Fundación Altadir, 782 p.

McVicar, Malcolm (1990) “Quality Assessment in British Higher Education”. En Leo Goedegebure et al. (eds.) (1990) Peer Review and Performance

Indicators. Quality Assessment in British and Duch Higher Education.

Utrecht: Uitgeverij Lemma B. V. Neave, Guy (1990) “Estado y Universidad en Europa”, Universidad Futura, vol. 2,

n°5, México. Oliveira Carvalho, Abigail de; y Fernando Spagnolo (1997) “Veinte años de

evaluación de posgrados en Brasil: la experiencia del CAPES.” En Eduardo Martínez y Mario Letelier (eds.) (1997) Evaluación y

acreditación universitaria: metodologías y experiencias. UNESCO, Organización Universitaria Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. p. 151-186

Red Latinoamericana de Cooperación Universitaria (1998) Criterios de Evaluación

Institucional de la Red Latinoamericana de Cooperación Universitaria

(RLCU). Documento. Buenos Aires: Secretaría Ejecutiva RLCU. 39 p. Simmons, Howard y Ethel Ríos de Betancourt (1991) La acreditación en los estados

Unidos. Cpu, Documento de Trabajo n° 51/91, Santiago de Chile. Sizer, John. (1990) “Funding Councils and Performance Indicators in Quality

Assessment in the United Kingdom”. En Leo Goedegebure et al. (eds.) (1990) Peer Review and Performance Indicators. Quality Assessment in

British and Duch Higher Education Staropoli, Andrè (1997) “La evaluación institucional: el papel de los actores

principales en la educación superior.” En Eduardo Martínez y Mario Letelier (eds.) (1997) Evaluación y acreditación universitaria:

metodologías y experiencias. UNESCO, Organización Universitaria

24

Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. p. 107-118

Trindade, Hélgio (1996) Institutional Evaluation and Academic Quality: Resistance

and Structure. Working Document. Conferencia Regional sobre Políticas y Estrategias para la Transformación de la Educación Superior en América Latina y el Caribe. La Habana. 11 p.

Universidad Carlos III (1995) Plan Nacional de Evaluación de la Calidad de las

Universidades. Guía de Evaluación. España, 136 p. Veld, Roeland in’t (1997) “Amenazas y oportunidades en la evaluación de la

educación superior.” En Eduardo Martínez y Mario Letelier (eds.) (1997) Evaluación y acreditación universitaria: metodologías y experiencias.

UNESCO, Organización Universitaria Interamericana, Universidad de Santiago de Chile. Caracas: Nueva Sociedad. p. 45-74.

Villarroel C., César A. (2000) Sistema de evaluación y acreditación de las

universidades nacionales. Documento. Caracas: Oficina de Planificación del Sector Universitario (OPSU), 42 p.

Walford, Geoffrey (1988) “The Privatisation of British Higher Education” European

Journal of Education, Vol. 23, n°1-2.