AnuarioThinkEPI2012
147
??????????????????????????????????????????????????????????????????????Googlescholarcitationsylaemergenciadenuevosactoresenlaevaluacióndelainvestigación–Á.CabezasyD.Torres
F.8Google scholar citationsylaemergenciadenuevosactoresenlaevaluacióndelainvestigaciónÁlvaroCabezas-ClavijoyDanielTorres-Salinas
20diciembre2011
Cabezas-Clavijo,Álvaro;Torres-Salinas,Daniel.“Googlescholarcitationsylaemergenciadenuevosactoresenlaevaluacióndelainvestigación”.AnuarioThinkEPI,2012,v.6,pp.147-153.
Resumen: SepresentaelnuevoproductodeGooglediri-gidoainvestigadores,Googlescholarcitations,queintentatrazarelperfilbibliométricodelosinvestigadoresyproveeindicadoresdecitascomoelíndiceh.Serevisanotrasherra-mientasdestinadasamedirlavisibilidadeimpactoacadémi-coenlaweb,comoMicrosoftacademicsearchylasnuevasiniciativasagrupadasbajolaetiquetaaltmetricsoindicado-resalternativos.FinalmentesediscutecómolaaparicióndeGooglescholarcitationsydeotrosproductospuedeafectaralasdosgrandesfuentesdedatosbibliométricos,ISIWebofscienceyScopus,ycómoestopuedeinfluirenlaevaluacióndelainvestigacióncientífica.
Palabrasclave:Googlescholar,Googlescholarcitations,MSacademicsearch,Indicadoresalternativos,ISIWebofscience,Scopus,Evaluacióndelaciencia,Bibliometría.
Title:Google scholar citationsandtheemergenceofnewactorsinresearchevaluation
Abstract:Googlescholarcitations,asystemaimedatresearchers,attemptstooutlineresearchers’biblio-metricprofile,providingcitationindicatorsandtheh-index.Wereviewothertoolsdesignedtomeasurevisibility and academic impacton theweb, such asMicrosoft academic search and thenew initiativesgroupedunderthelabelaltmetricsoralternativeindicators.Finally,wediscusshowtheappearanceofGooglescholarcitationsandotherproductsmayaffectthetwomajorsourcesofbibliometricdata,ISIWebofscienceandScopus,andhowthiscaninfluencetheevaluationofscientificresearch.
Keywords:Googlescholar,Googlescholarcitations,MSacademicsearch,Alt-metrics,ISIWebofscience,Scopus,Scienceevaluation,Bibliometrics.
El lanzamiento reciente de Google scholarcitations1,elproductoparamedirel impactodelos investigadoresenlaspublicaciones indizadasporelpopularbuscador,nosdapiearevisaréstayotrasaplicacionesde índolebibliométricaquemiden la visibilidad de académicos e investiga-doresenlaWeb.Esteimpactonoselimitaalosmedios tradicionales sinoqueabarca lasnuevasvíasdecomunicacióncientíficaysusindicadoresasociados: número de descargas de un trabajo,las personas que lo almacenan en su gestor dereferencias o las veces que una presentación es
visionadaonline.Sediscuteenquémedidapue-deafectar laemergenciadeestasnuevasherra-mientasalasbasesdedatostradicionalesparalaevaluación de la ciencia, Thomson Reuters-Webofscience2,yScopus-Elsevier3.
Lajovenestrella:Google scholar citations
Fue lanzado en pruebas en julio de 2011,generando de inmediato un importante eco enla Web. Recopila la producción científica de uninvestigadorylamuestraagregadaenunapági-napersonal,coninformacióndelnúmerodecitasdecadaítem.Elinvestigadorunavezdadodealtapuede editar los registros corrigiendo (normali-zando)lainformacióndelbuscador,unirregistrosduplicados e incluso añadir de forma manualotrostrabajosquehayanescapadoaGoogle.
“LasposibilidadesqueabreGoogle scholar citationssonenormes,
tantoenlamedicióndelimpactopersonalcomoenlavisibilidad
delinvestigadorenlaWeb”
AnuarioThinkEPI2012
148
???????????????????????????????????????????????????????????????????Googlescholarcitationsylaemergenciadenuevosactoresenlaevaluacióndelainvestigación–Á.CabezasyD.Torres
Presentatresindicadoresbibliométricos:– númerototaldecitasdelostrabajos;– índicehdelinvestigador;– índice i10:númerode trabajos conmásde
diez citas, tantopara toda la carreraacadémicacomoparaelperíodomásreciente.
Google ha prescindido de la métrica mássencilla: el número total de trabajos de uninvestigador,asícomodeotrasmedidascomoelpromediodecitasportrabajooindicadoresrela-tivosalimpactodelasrevistas.Peroquizálomásinteresanteesquela informaciónsobrelascitasrecibidasylaproducciónseactualizandeformaautomáticaamedidaquevasiendoindexadaporGoogle.Lasposibilidadesqueabreesteproductoson enormes, tanto en la medición del impactopersonalcomodecaraalavisibilidaddelinvesti-gadorenlaWeb.
Encuantoalamedicióndelimpactopersonal,ypeseaquenoesaconsejableelusodeGooglescholar como herramienta para la evaluacióncientífica4,cadavezesmásusadoespecialmenteenáreasdecienciassocialesyhumanidadescomomedio para recuperar las citas de un trabajo,datos tenidos muy en cuenta tanto en los pro-cesos de solicitud de sexenios de investigacióncomoenlasacreditacionesaloscuerposdocentesuniversitarios.
Respecto a la visibilidad académica, el inves-tigador se vincula a las materias en las que esespecialista,demaneraquesevagenerandoundirectorio temático de expertos, ordenados enfuncióndelnúmerototaldecitasdesustrabajos.Los perfiles de los investigadores dados de altaaparecenintegradosenlosresultadosdelasbús-quedasporautores,porloquesepuedeaccederde forma rápida a toda la producción científicadeuninvestigador.
Sin embargo, algunos autores como la crea-dora del software Publish or perish5, Anne-WilHarzing, expresan sus temores acerca de lahonestidad de los autores, y si éstos no seráncapacesdefalsearsusdatosenbuscadeunascen-so académico, o como manera de aumentar suvisibilidadenlaWeb6.
Hay que preguntarse si será significativo elnúmero de los profesionales que se creen superfil, requisito indispensable para aparecer enlosdirectorios.
Otra duda acerca del producto es la manerade ordenar a los investigadores en el directoriopormaterias.Actualmentesehaceenfuncióndelnúmerototaldecitas,unaclasificaciónquefavo-rece a los investigadores de disciplinas grandes,así como a los de mayor recorrido y con mayornúmerodetrabajospublicados.
Google scholar citations está estableciendorankingsde investigadorespormateriasenfun-cióndeunúnicocriterio, locualesunarmade
doble filo. Como señalaba Harzing, cualquierapuede falsear sus datos para aparecer en posi-ciones prominentes. Sin embargo parece pocoprobable ya que sería rápidamente detectadoporelrestodeusuarios,cayendoeneldescréditocientífico.
Otra duda es si los investigadores con esca-so impacto académico crearán su perfil, ya quepodrían quedar en evidencia respecto a otroscompañerosdedisciplinaodedepartamento,concurrículosmuchomás lucidos. Se correel riesgode crear un directorio de científicos altamentecitados,quenosea representativode la investi-gaciónquesedaenuncampo.Pesealajuventuddelproducto, ya surgen losprimerosanálisisenalgunosblogs, comoelque realizaBrianKellydelasmásdestacadasuniversidadesbritánicas8,oeldelbibliotecarioholandésWouterGerritsma,que presagia que en cinco años Google habrácambiadocompletamenteelmercadodelasbasesdedatoscientíficas9.
Elactorsecundario:Microsoft academic search
El producto de Google viene precedido porlos movimientos que Microsoft ha realizado enlosúltimosmesesconsubuscadorMicrosoftaca-demicsearch10.
HerederodeWindowsliveacademicydeLivesearchacademic, surgióen suactualdenomina-ciónen2009,sóloparaelcampodelainformá-tica,perodesdeseptiembrede2011cubretodoslos ámbitos del conocimiento. También permitela creación de perfiles personales a partir de lainformación recogida por el buscador, propor-cionando hasta el momento más indicadores yfuncionalidadesdelosqueofreceGoogle.
Admitelaediciónymodificaciónderegistros,subirpdfsconeltextocompletodelostrabajos,insertarellistadodepublicacionesenotrapáginaweb,oinclusoverelcontextoenelqueuntraba-johasidocitado,unviejosueñodelabibliometríaevaluativa.Permiteseguirlapistaalaproduccióncientífica de una institución e incluso efectuarcomparacionesentreellas,tomandolosparáme-tros habituales de producción y citas como tér-minosdelaecuación.Otradesusfortalezaseslaposibilidaddeexplorar lareddecolaboracionesdeuninvestigador,asícomolasrelacionesatra-vésdelascitas.Además,sepuedenencontrarlosperfilesdecualquierinvestigador,nosólodelosregistrados,yaqueestonoesimprescindible.
Sin embargo, en comparación con Googlescholarcitations,elprocesodeactualizacióndelCVesmáspesado, tardaunosdíasyaquedebeser revisado por el equipo del producto, y ade-máslacoberturaparecebastantemenor,sibien
AnuarioThinkEPI2012
149
??????????????????????????????????????????????????????????????????????Googlescholarcitationsylaemergenciadenuevosactoresenlaevaluacióndelainvestigación–Á.CabezasyD.Torres
nodisponemosdeunlistadodelasfuentesquecubreningunodelosdosproductos.
EneltrabajodeKelly(2001)sobrelaproduc-cióndesieteinvestigadoresbritánicosseobservalagrandiferenciaentrelosresultadosqueofreceAcademicsearchy losdeGooglescholarcitatio-ns11.Ademásseaprecianimportantesproblemasde normalización, una de las críticas principalesquetambiéncabehaceraGoogle.
Encuantoaaplicacionesquepermitenlacon-feccióndecurrículosvitaepersonales,tambiénesnecesario reseñar ResercherID12, impulsada porThomsonReuters,quetrabajaúnicamentesobrela información recogida en Web of science. Eneste caso, la actualización de la producción noes automática, es decir, cada vez que un nuevoartículonuestrosearecogidoenWebofscience,deberemosactualizarmanualmentenuestroper-fil en ResearcherID. Herramientas como la redsocial científica ResearchGate13 o el gestor dereferencias Mendeley14 también proporcionanespacioparaqueelinvestigadorincluyasuspubli-cacionesenunapáginapersonal.
Actoresalternativos:lasiniciativasalt-metrics
Aprovechandolasaplicacionesparainvestiga-doressurgidasenlosúltimosañosenelentornodelaciencia2.015,sonvariaslasiniciativasdirigi-dasamedirelimpactodelosmaterialespublica-dosonline.
Dentrodeestasiniciativas,conocidasgenérica-mentecomoalt-metricsométricasalternativas16,han aparecido aplicaciones como ScienceCard17,un metaproducto que ofrece para cada inves-tigador las veces que un trabajo ha sido mar-
cado como favorito enCiteulike18, o las perso-nas que lo han almace-nadoenMendeley.
La idea que subya-ceesque haymúltiplesmaneras de medir lainfluencia de los inves-tigadores en la Web yque el número de citasessólounadeellas.
Otrainiciativarecien-teesTotalimpact19don-de podemos descubrirmétricas de las presen-taciones colgadas enSlideshare20, las vecesque se ha compartidounartículocientíficoenFacebook21oelnúmerodegruposenMendeley
dondeseharecopiladoundeterminadotrabajo.Estasiniciativassiguenelcaminotrazadoporlasestadísticas a nivel de artículo22 implementadaspor la editorial Public library of science (PLoS),quellevatiempoofreciendo,ademásdelascitasqueunartículoatrae,datossobreelnúmerodedescargas de un trabajo, el número de comen-tarios que genera o el número de blogs que loenlazan23.
Actoresconsolidados:ISI Web of scienceyScopus
Thomson reuters, además de incrementar sucoberturaderevistascientíficasdealcanceregio-nal, acaba de lanzar Book citation index24, suíndicedecitasconinformacióndelibros,dirigidoprincipalmente a las humanidades y las cienciassociales.
ScopushaincorporadolasmétricasSNIPySJR25asubasededatosparaayudaralosbibliómetras.Ademáshasacadoalmercadoaplicaciones(apps)para dispositivos móviles26 y ofrece conexionescon su base de datos mediante apis27, que per-miten por ejemplo mostrar en repositorios ins-titucionales el número de citas cosechadas porlos trabajos recogidos en la fuente de datos deElsevier.
Consideraciónfinal
Desde el plano de la política universitaria yde evaluación de la investigación, la preguntaquecaberealizarseessialgunodelosproductosmencionados puede ser serio competidor en unfuturo próximo para las dos grandes bases de
Figura1.PáginapersonalenMicrosoftacademicsearch
AnuarioThinkEPI2012
150
???????????????????????????????????????????????????????????????????Googlescholarcitationsylaemergenciadenuevosactoresenlaevaluacióndelainvestigación–Á.CabezasyD.Torres
datos que proporcionan información bibliomé-trica, de importante coste económico, especial-mente en una época marcada por los recortespresupuestarios.
Losproductostradicionalessonmássolventesy estables que los nuevos, y ofrecen un amplioabanicodeposibilidadesydemétricasasociadas,nosóloalostrabajossinotambiénalasrevistasenlasqueéstossepublican.Ademássuusoestáextendidoyexistenunasmétricas validadasporlos profesionales de la bibliometría así comopor lasagenciasconresponsabilidadenmateriainvestigadora.
zar su propio “índicede impacto” a partirde la información queindiza, lo cual no pare-ce descabellado ya quesu popular sistema deordenación de búsque-daPageRanksebasaenunprincipioqueyaapli-canotros índicesbiblio-métricos. En cualquiercasoloqueesindudablees que los nuevos pro-ductosyherramientasadisposicióndeinvestiga-doresyevaluadoresfaci-litan tanto la difusióncomolarecuperacióndeinformación científica y
abren nuevas posibilidades para el intercambiodelainformacióncientíficaysuevaluación.
notas
1. Googlescholarcitationshttp://scholar.google.com/intl/en/scholar/citations.html
2. Webofscience,ThomsonReutershttp://www.accesowok.fecyt.es
3. Scopus,Elsevierhttp://www.scopus.com
4. Torres-Salinas, Daniel; Ruiz-Pérez, Rafael; Del-gado-López-Cózar,Emilio.“Googlescholarcomohe-rramientaparalaevaluacióncientífica”.Elprofesionaldelainformación,2009,v.18,n.5,pp.501-510.http://ec3.ugr.es/publicaciones/d700h04j123154rr.pdfhttp://dx.doi.org/10.3145/epi.2009.sep.03
5. Publishorperishhttp://www.harzing.com/pop.htm
6. Herther,nancyK.“Scholarcitations—Googlemo-ves into the domain of Web of science and scopus”.Informationtoday,4agosto2011.http://newsbreaks.infotoday.com/NewsBreaks/Scholar-CitationsGoogle-Moves-into-the-Domain-of-Web-of-Science--Scopus-76917.asp
7. Directoriodeinvestigadoreslistadosbajolamateria“Informationscience”enGooglescholarcitations.http://scholar.google.com/citations?view_op=search_authors&hl=en&mauthors=label:information_science
8. Kelly, Brian. “Surveying Russell group universityuseofGooglescholarcitations”.UKwebfocus,24nov.2011.http://ukwebfocus.wordpress.com/2011/11/24/surveying-russell-group-university-use-of-google-scholar-citations
9. Gerritsma,Wouter.“HowGooglescholarcitationspassesthecompetitionleftandright”.WoW!WouterontheWeb.
Figura2.EstadísticasdeimpactodeinvestigadorenTotalImpact
“CómocambiaríaelmercadodelaevaluacióncientíficasiGoogle
decidieralanzarsupropio‘índicedeimpacto’apartirdela
informaciónqueindiza”
Sinembargoeslegítimoeldebateacercadesidichasbasesdedatossonimprescindiblesenlosprocesosdeevaluacióninvestigadora.Ennuestraopinión,enlaactualidadestasbasesdedatos(ISIWeb of science o Scopus, una o la otra, no sonnecesarias las dos) son imprescindibles para laevaluación.Sinembargo,lanuevageneracióndesistemasdeinformacióncientífica(CRIS)28, juntoa buscadores científicos gratuitos como Googlescholar y las métricas basadas en el uso de lainformación, pueden aportar nuevas solucionesa la evaluación de la ciencia, haciendo a medioplazoquizámenosnecesariosloscostososíndicesdecitas.
Haciendo prospectiva-ficción, cabría pensarcómo cambiaría el mercado de la informacióny evaluación científica si Google decidiera lan-
AnuarioThinkEPI2012
151
??????????????????????????????????????????????????????????????????????Googlescholarcitationsylaemergenciadenuevosactoresenlaevaluacióndelainvestigación–Á.CabezasyD.Torres
http://wowter.net/2011/11/21/how-google-scholar-citations-passes-the-competition-left-and-right
10. Microsoftacademicsearchhttp://academic.research.microsoft.com
11. Kelly,Brian.“ThoughtsonGooglescholarcitatio-ns”.UKwebfocus,22nov.2011.http://ukwebfocus.wordpress.com/2011/11/22/thoughts-on-google-scholar-citations
12. ResercherIDhttp://www.researcherid.com
13. ResearchGatehttp://www.researchgate.net
14. Mendeleyhttp://www.mendeley.com
15. Cabezas-Clavijo, Álvaro; Torres-Salinas, Da-niel; Delgado-López-Cózar, Emilio. “Ciencia 2.0:catálogodeherramientaseimplicacionesparalaacti-vidadinvestigadora”.Elprofesionaldelainformación,2009,v.18,n.1,pp.72-79.http://www.elprofesionaldelainformacion.com/contenidos/2009/enero/09.pdfhttp://dx.doi.org/10.3145/epi.2009.ene.10
16. Alt-metricshttp://altmetrics.org
17. ScienceCardhttp://sciencecard.org
18. Citeulikehttp://www.citeulike.org
19. Totalimpacthttp://total-impact.org
20. Slidesharehttp://www.slideshare.net
21. Facebookhttp://www.facebook.com
22. Article-levelmetrics-PublicLibraryofSciencehttp://article-level-metrics.plos.org
23. Cabezas-Clavijo, Álvaro; Torres-Salinas, Da-niel.“Indicadoresdeusoyparticipaciónenlasrevistascientíficas2.0:elcasodePLoSone”.Elprofesionaldelainformación,2010,v.19,n.4,pp.431-434.http://dx.doi.org/10.3145/epi.2010.jul.14
24. Bookcitationindex.Webofknowledgehttp://wokinfo.com/products_tools/multidisciplinary/bookcitationindex
25. Journalmetrics:SNIP,SJR.Scopushttp://www.journalmetrics.com
26. SciVersemobileapplications.Sciversehttp://www.info.sciverse.com/sciverse-mobile-applications
27. ScopusAPI.Sciversehttp://www.info.sciverse.com/scopus/scopus-services/integration/solutions/api
28. Torres-Salinas, Daniel; Cabezas-Clavijo, Álva-ro.“HerramientasparalaevaluacióndelacienciaenuniversidadesycentrosI+D:descripciónyusos”.Anua-rioThinkepi,2012,v.6,pp.142-146.
http://www.thinkepi.net/herramientas-para-la-evaluacion-de-la-ciencia-en-universidades-y-centros-id-descripcion-y-usos
***
RedessocialescientíficasenlíneaJosé-LuisOrtega
Microsoft y Google hanpuesto en el centro de susbases de datos científicasal investigador, frente almodelo clásico de Scopusy WoS, donde los elemen-tos clave son el artículo yla revista. Es cierto que susindicadores bibliométricosestán muy por detrás de
ScopusyWoS,perosuimplementaciónessencillay creo que con el tiempo se irán incorporandoindicadoresmáspotentes.
Parecequeambosserviciosbuscanlacreaciónde redes sociales científicas en línea, como unFacebook científico, ya que una vez que cadainvestigadortengasuperfilse lepuedenañadirherramientas sociales como mensajería, foros,chat,etc.Endefinitiva,creoquesonmovimientosde dos grandes por posicionarse en el nacientemercado de la Ciencia 2.0 o las redes socialescientíficasqueobligará,espero,aScopusyWoSamoverfichaenestadirección.
En nuestra opinión, una de las limitaciones,sobretodoconCitations,esque losperfilessonvoluntarios y puede suceder que algunos inves-tigadores no participen del servicio. El enfoquedebeserqueestosserviciosnosonunreflejodelacienciaensí,sinodelaactituddeloscientíficoshaciasupresenciaweb.
Parabibliómetras/evaluadoresde laactividadcientífica,estosserviciosaportannuevasposibili-dadesenelentendimientodeactualesynuevasformasdecomunicacióncientífica.
Problemasenelusobibliométricodeestosproductos
DanielTorres-Salinas
Creo que hay consensoy aceptamos que los pro-ductosreseñadosylosindi-cadores que generan sonimportantes. Sin embargo,desde el punto de vista dela bibliometría, presentantodavíaproblemas:
AnuarioThinkEPI2012
152
???????????????????????????????????????????????????????????????????Googlescholarcitationsylaemergenciadenuevosactoresenlaevaluacióndelainvestigación–Á.CabezasyD.Torres
1) Nosepuedenhacerdescargasmasivasconmuchoscamposybienestandarizadosyportantoesdifícilcruzardatosconotrosproductos(factordeimpactoderevistas,categorizaciones,etc.).
2) No se pueden recuperar documentos porafiliación.Portantolosestudiosaniveldeuniver-sidadsondifícilesdellevaracabo.Porahorahayquelimitarsesóloainvestigadoresypapers.
3) El entorno es poco controlado: en WoSo Scopus sabemos cuáles son las revistas y suimportancia.
4) Google citations toma su información derepositorios pero, ¿son todo papers e investiga-ción?No,haymuchospptsypresentaciones,notodoescienciayesdifícildiscriminar.
5) ¿Quieredecirquenosonútiles?No.6) Para terminar, siempre he pensado que si
pudiéramos “obligar” a nuestros investigadoresatenerunperfilenResearchIDyahoraotroenGoogle citations nos ahorraríamos muchísimotiempo.
Ampliacióndelostiposdeactividadescientíficasevaluables
IsidroF.Aguillo
Creo que antes de con-siderar las limitaciones téc-nicas derivadas de nuestraexperiencia con otros pro-ductos, no sé si habría queconsiderar cambiar algunasreglasdejuego.Merefieroalafrase:
“…perosontodopaperse investigación? No. Hay
muchos ppts y presentaciones, no todo es cien-cia…”
Entiendoquecienciaestodoloquehacenloscientíficos yno sólo lospapers,máxime cuandoésta no es la vía principal de comunicación enmuchas disciplinas. Por ejemplo, yo siempre hepreferido estudiar primero los ppts de Torres-Salinas en Slideshare y entiendo que son demuchacalidad.
Pero quizá hay un aspecto práctico muchomás importante. Si nos ceñimos a los estudiostradicionales, los números obtenidos son bajísi-mos, con producciones medias de 2 ó 3 papersporañoo índiceshqueraramentealcanzan losdos dígitos. Si queremos hacer evaluaciones decalidadtendremosquesermásfidedignosen larepresentación de la actividad investigadora delosindividuos,yesopasaporsermásinclusivosenlatipologíadelasactividadesevaluables.
Por ejemplo, los informáticos están encanta-
dos con los indicadores que les ofrece Googlecitations.
Porúltimo,animaríaatodoelmundoadifun-dir la creación de perfiles. Es el primer paso deestapequeñarevolución.
MarketingparacientíficosJorgeSerrano-Cobos
Estamos hablando de“marketing científico”, o“marketing para científi-cos”. Todo esto abre todauna vía de especializaciónmuy interesante para loscompañerosdeprofesión,yquecomoenotrosámbitos,nos lleva a conocer otrasdisciplinas.
Obviamente está abierta la discusión sobresi es ético hacer esfuerzos para tener mayorvisibilidadohabríaquedejarque“lavisibilidadfluyaporlacalidadcientíficadelautor/es”,peroentiendoqueenesecasonecesitaríamosunúnicoy gran repositorio donde ninguna revista tengadeantemanoventajashistóricas,ytodostenganlasmismasposibilidades.
Lástimaqueenmuchasocasioneslosesfuerzosparagenerarmarcadeunauniversidadnocon-templenintegrar/cuidarlacalidadyvisibilidaddesuproduccióncientífica.
Evaluaciónyplanificacióndelaactividadcientífica
TomásSaorín
Debe haber un nombrepara ello, pero cuando elevaluado (investigador oinstitución)conocelamecá-nicaexactadelaevaluación,la adecuación del sistemade medida empieza a ero-sionarse. Algunos inten-tan burlarlo o manipularlo(gamingthesystem).
Enunmundoideal, losacadémicosactuaríanmovidosporelpurodeseodeconoceryconven-cer, y la evaluación sería el justo reflejo de lacalidadcontinuadadesutrabajo.
Seguro que la mitad de nosotros pensamosqueplanificar la investigacióny laactividad ins-titucional pensando en el ranking es un error,
AnuarioThinkEPI2012
153
??????????????????????????????????????????????????????????????????????Googlescholarcitationsylaemergenciadenuevosactoresenlaevaluacióndelainvestigación–Á.CabezasyD.Torres
porque produce principalmente una simulacióndelverdaderoconocimiento.
Propongo que Aneca, Cenai, y “RankingsCorporation”,hagancomoGoogleymodifiquenligeramente cada cierto tiempo sus criterios deelaboracióndeindicadores,losguardenensecre-to,ysimplementenoshagandudardequeconoz-camostodossussecretos.
Entodocaso,bienvenidoseacualquieresfuer-zodeencontrarformasmássutilesdemedir lasaportacionesdeformaplural.
Todoesactividadcientífica,perohaynivelesDanielTorres-Salinas
Estoy a favor de quecuando evaluemos intente-mosabarcartodoslostiposdocumentales.Pero loshaymenores y mayores, y loshay que tienen buenos fil-tros y las hay que no lostienen.
Equipararpptsarevistascientíficas es algo arriesga-
doypuedequebrarnos las cuentas, creoqueeltipo a seleccionar dependerá del objetivo de laevaluación.
Las nuevas herramientas incrementan los“números bibliométricos” en volumen, y estoes estupendo, sobre todo en sociales y humani-dades.Con los indicadoresclásicosnonos llega,peroGoogleanalytics,lasdescargasyloshitsenScholar, al menos nos permiten tener algunoselementosdejuicio.
Siqueremosmásdatosenesasáreasesnece-sariotenerencuentaotrostiposparatenermás“trabajosevaluables”enjuegoyaprovecharesasmétricas alternativas o altmetrics. Lo difícil esquelosinvestigadorespongansusmaterialesenla Web. Muchos son reticentes, ya que si luegonotienenvisitasenlawebdesuproyecto,nadiedescarga los materiales del repositorio, ni secitan en Scholar, queda una evidencia más quepalpabledeque loque seestá investigandonotieneniinteréscientíficonisocial;deahílasreti-
cenciasyelpoderde laWebcomoherramientadeevaluación.
Otracuestióninteresantedelasnuevasherra-mientas es el valor final que pueden dar los“gestores”alosnuevosindicadoresoproductos.Tienenmuchadesconfianzahaciaellosyaquelosvencomoundivertimentoounameracuriosidad.Todavía no ven el valor del que hablaba en elpárrafoanterior.
Imaginoquepocoapocotodopuedecambiar,pero no debemos imponer indicadores, todossabemosqueéstoscuajanpocoapoco.Losquevivimos el día a día de estas convocatorias nopodemos perder esta perspectiva, no podemosdecir al gestor que le diga a sus investigadoresquepubliquentodoenelrepositorioyseandes-cargados y punto. La perspectiva ahora es quepubliquentodoenel1rcuartildelosJCRyseancitados;éstaeslamonedadecambioenlaciencia:“papers&citas”,algoquevieneimpuestodesdeelMinisterio.
Adaptacióndeloscriteriosdeevaluación
ÁlvaroRoldán-López
Respecto al comentariodeSaorín,puedoasegurarque algunos nos preocupa-mos de que la evaluaciónsevayavariandoenfunciónde las derivas curricularesque se van observando enevaluacionesanteriores.Lasmodificaciones en los crite-rios de evaluación hay que
efectuarlascontientoymesuraperosonútilesenestesentido,evitanunaexcesivadistorsiónenlatrayectoriacurriculardelcientífico.Yengeneral,laexperiencianosdicequeconunospocosindica-doresseaseguraunrankingquepococambiaríapormuyfinoquetrataraunodehilar.
Lamentablemente, tambiénnosdice laexpe-riencia que la fe ciega en los números provocainjusticias.