Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación Madrid, 23-25 de marzo de 2010
48
Embed
Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades
elgado López-Cózar, Emilio. Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas españolas en Humanidades. Las humanidades en España y en Europa. Retos y oportunidades de la convergencia europea en la educación superior y en la investigación. Universidad Complutense de Madrid y CSIC. Madrid, 23-25 de marzo de 2010
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas
españolas en Humanidades
Emilio Delgado López-CózarProfesor de Metodología de la InvestigaciónFacultad de Comunicación y Documentación
Indicios de calidad de los librosCNEAI, ANECA, ANEP
Criterios CNEAI ANECA
ANEP
Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la
que se publica la obra CCSS
Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que
trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1
Traducciones de la propia obra a otras lenguas PCD
Inclusión en bibliografías independientes del autor y su entorno
Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias
Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)
JURID.
Obras de referencia imprescindibles en los estudios grado y postgrado
Inclusión de las revistas en bases de datos internacionales
Preferentes: Arts and Humanities Citation Index y Social Science Citation Index
Similares: FRANCIS, International Bibliography of the Social Sciences (IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, Library and Information Science Abstracts, Philosopher’s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography
Podrán considerarse bases de datos a determinar por el comité asesor INRECS, LATINDEX, SCOPUS, DICE-CINDOC (siempre que cuenten con calidad similar a los JCR y satisfagan criterios calidad editorial Apéndice 1)
Satisfacer criterios de calidad editorial Estar acreditada por la FECYT Clasificación alta en los listados del European
Reference Index for the Humanities (ERIH) de la ESF
Criterios calidad editorial revistas científicas
Criterios CNEAI ANECA ANEP
Identifica los miembros de los Comités Editoriales y Científicos
Cuenta con Instrucciones a Autores detalladas Traduce el sumario, títulos de los artículos, palabras
clave y resúmenes al inglés, en caso de revistas y actas de Congresos
Informa sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial, comité de selección, incluyendo los criterios, procedimiento y plan de revisión de los revisores o jueces
Periodicidad de las revistas y regularidad Emplea el anonimato en la revisión de manuscritos Comunica a los autores la decisión editorial de forma
motivada
Criterios calidad editorial revistas científicas
Criterios CNEAI ANECA ANEP
Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo Al menos el 75% de los artículos son trabajos que
comunican resultados de investigación originales
Al menos el 75% de los autores son ajenos a los Comités Editoriales
Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista
La tasa de aceptación de trabajos es igual o menor al 60%
Muestra: 1.294 Profesores TU y Catedráticos (181 de Humanidades) con al menos 2 sexenios
Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369
1
Opinión científicos españoles
2
3
4
Encuesta calidad revistas españolas de Humanidades y Ciencias Sociales
2009
Muy idóneo 5 – Poco 1Valore la idoneidad de los siguientes criterios para reflejar la calidad de una revista científica
Muestra: 2.301 profesores e investigadores españoles de Humanidades
- CATÁLOGO: 3.381 revistas. Selección de revistas clasificadas según el cumplimiento de unos criterios de calidad
!
!
Características básicas
1 Mención del cuerpo Editorial
2 Contenido
3 Antigüedad mínima 1 año
4 Identificación de los autores
5 Lugar de edición
6 Entidad editora
7 Mención del Director
8 Mención de la Dirección
Características de presentación de la revista
9 Páginas de presentación
10 Mención de periodicidad
11 Tabla de contenidos (Indice)
12 Membrete bibliográfico al inicio del artículo
13 Membrete bibliográfico en cada página
14 Miembros del consejo editorial
15 Afiliación institucional de los miembros del consejo editorial
16 Afiliación de los autores
17 Recepción y aceptación de originales
Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista
Características de los contenidos
26 Contenido original
27 Instrucciones a los autores
28 Elaboración de las referencias bibliográficas
29 Exigencia de originalidad
30 Resumen
31 Resumen en dos idiomas
32 Palabras clave
33 Palabras clave en dos idiomas
Características de gestión y política editorial
18 ISSN
19 Definición de la revista
20 Sistema de arbitraje
21 Evaluadores externos
22 Autores externos
23 Apertura editorial
24 Servicios de información
25 Cumplimiento de periodicidad
ÍNDICES DE IMPACTOREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICASREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
¿Qué son?
Índices bibliométricosÍndices estadísticos basados en recuentos de referencias
bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e
instituciones españolas
● CRITERIOS DE SELECCIÓN: pervivencia, calidad de editorial, opinión profesores e impacto internacional
● ÍNDICE DE IMPACTO: calculado de forma anual siguiendo la fórmula canónica de Eugene Garfield (Thomsom ISI), con un fino retoque
● ÍNDICE DE IMPACTO ACUMULADO: promedio de citas histórico (1994-2008), década y quinquenio
1.095 revistas243.534 artículos
62.026 citas
¿Qué son?
Índices de impacto
Índices de citas
Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios bibliográficos y catálogos.
A partir de ahí se establece un índice de difusión de la publicación, el ICDS (Índice Compuesto de Difusión Secundaria)
– Cambios en la indización: exige actualización constante de la información
– Los criterios de las bases de datos y sus exigencias en la selección son muy dispares
Análisis difusión y accesibilidad
Encuestas de opinión de los científicos
Miden percepciones más que realidades (calidad percibida), la reputación y el prestigioMiden percepciones más que realidades (calidad percibida), la reputación y el prestigio
• Fiabilidad y validez– Procedimiento reactivo: posible enmascaramiento
y modificación de la opinión de los encuestados– Tasas de respuesta normalmente bajas y no
participación de determinados individuos que pueden generar sesgos en las muestras que pueden cuestionar la representatividad de los resultados
• Sus resultados suelen correlacionar con los producidos por recuentos de citas
Recuentos de citas e índices de impacto
Miden la repercusión científica: la utilidad y la influencia intelectual, no la calidadMiden la repercusión científica: la utilidad y la influencia intelectual, no la calidad
Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas
Cautela y prudencia con el uso de los datos de citación en las Humanidades
Números “pequeños”: pocas citas.
• Escuálidas comunidades científicas. Falta de masa crítica• Atomización y dispersión temática por la propia naturaleza de las Humanidades
Tiempos largos en la citación
Fiabilidad y validez
Los recuentos de citas son sensibles a múltiples factores
– Tamaño de las comunidades científicas: nº científicos– Temas de los trabajos: nacionales/regionales/locales, modas…– Hábitos de publicación y prácticas de citación de las
comunidades científicas: nº publicaciones por autor, nº referencias por artículo …
– Tipo de trabajos: revisiones, artículos…– Rapidez en la publicación (ventana de citación)
Recuentos de citas e índices de impacto
Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos).
Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente
Las propuestas
Las revistas
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI
Sistema de evaluación integrada de
revistas españolas
OPINIÓN PARES
CALIDAD EDITORIAL
ÍNDICES DE
IMPACTO
CNEAI LATINDEXANECA
DIFUSIÓN
EC3
Grupo de investigación
EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es
Próximo futuro: noviembre 2010…Y después: el destino es incierto…
Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI
¿Podemos buscar citas a libros y, a partir de ellas, construir sistemas de información?
SÍ¿dónde?
Torres-Salinas, D.; Ruiz-Pérez, R. ; Delgado López Cózar, E. Google Scholar como herramienta para la evaluación científica. El Profesional de la Información. Septiembre-Octubre 2009, vol. 18, núm. 5, p. 501-510
Una reflexión final
¿Qué es la calidad de una publicación científica?
Algo fácil de percibir pero difícil de medir
Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros
Multidimensional
No existen medidas absolutas y directas de la calidad sino indicadores parciales