La valutazione della ricerca

La valutazione della ricerca: strumenti

e misure per un'università efficiente o

pura "ossessione della misura"?

Simona TurbantiUniversità di Pisa, Sistema bibliotecario di ateneo –PhD candidate La Sapienza Università di RomaUniversità di Pisa, Seminario di cultura digitaleMercoledì 13 aprile 2016

The evaluation society

Tutti i membri della società sono soggetto e oggetto

di valutazione durante le varie fasi della vita…

società e cultura della valutazione

(Peter Dahler-Larsen)

… E nella ricerca?

Alla base della valutazionedella ricerca

Coesistenza, in tutti i settori disciplinari, di ricerca dilivello elevato e ricerca di scarsa qualità

La distribuzione delle risorse, soprattutto in periodi discarsità dei fondi, deve premiare la ricerca migliorebasandosi su una seria valutazione della qualità dellaricerca necessità di criteri affidabili e quanto piùpossibile imparziali

La valutazione della ricerca richiede indicatori oggettiviindividuati con il consenso delle comunità scientifiche

Lo scopo della valutazionedella ricerca

La valutazione della ricerca non è il fine delprocesso valutativo, ma lo strumento per assicurare ilmiglioramento della qualità della ricerca (econtribuisca, di conseguenza, al benessere dellasocietà)

Cosa viene valutato di un prodotto della ricerca?

�Qualità della ricerca : valore della ricerca, in termini dioriginalità di contenuto e di “robustezza” metodologica

Strumento: peer review

Limiti: soggettività del giudizio dei pari

�Impatto : valore attribuito dalla comunità dei pari mediante lecitazioni

Strumento: calcolo delle citazioni/bibliometria

Limiti: i lavori su argomenti molto specifici, pur di qualità,soffrono di poca ricaduta in termini di impatto

�Importanza : capacità di “penetrazione” della ricerca nel lungotermine

Si tratta del riconoscimento che la ricerca è stata ben condottain riferimento ai canoni prevalenti in un certo periodoall’interno della comunità dei pari di riferimento:

originalitàrilevanza

rigore metodologicochiarezza nell’esposizione…

Questo concetto di qualità si presta ad essere valutatosoltanto dalla comunità scientifica di riferimento che conosce econdivide i canoni di qualità medesimi

La qualità della ricerca

7

L’impatto della ricerca

Si intende il riconoscimento tributato in un dato intervallotemporale ad un contributo scientifico dalla comunità dei pariattraverso le citazioni

Un articolo molto citato è un articolo con un elevatoimpatto nella comunità scientifica articolo moltocitato = articolo di qualità?

In realtà questa affermazione non è del tutto vera; si puòanche citare un contributo per prenderne le distanze, percriticare il metodo utilizzato, per confutare i risultati ottenuti,ecc. (esistenza di diversi stili, pesi e contesti citazionali)

L’importanza della ricercaSi intende la capacità di influenzare nel lungo periodo lericerche condotte da altri e di aprire la strada a nuove vie perlo sviluppo della scienza. Se le pubblicazioni che hannoquesta caratteristica sono certamente di “qualità”, non èdetto che siano anche “d’impatto”

L’importanza di un contributo può essere apprezzata e valutata solo nel lungo periodo

Le “belle addormentate ”: pubblicazioni che passano inosservate per unlungo periodo di tempo (ovvero non vengono citate) e che improvvisamenteattraggono l’attenzione della comunità scientifica. La causa di questofenomeno si può ricondurre all’innovatività di certi lavori scientifici che,precorrendo i tempi, non vengono recepiti (le scoperte di Mendel nel campodella genetica vegetale ne sono un esempio: aspettarono circa vent’anniprima di essere comprese dai pari)

�Lo scienziato si impegna nel suo lavoro per raggiungerela priorità della scoperta

�Lo scienziato è spinto a rendere pubblici i risultati dellascoperta nel minor tempo possibile ed è tenuto adimostrare l’originalità del suo pensiero mostrando peròil contributo del lavoro di altri alla sua scopertaattraverso la citazione

�Tanto più un lavoro è citato dagli altri quanto più loscienziato incrementa la sua reputazione

La trasmissione della conoscenza

1Livelli della valutazione

Micro (singolo individuo)Meso (dipartimenti, atenei)Macro (sistemi nazionali)

2Oggetti della valutazione

Qualità internaImpatto scientifico

ImportanzaImpatto sociale ed economico

3Metodologie

Qualitativa (peer review)Quantitativa (Indicatori bibliometrici, indicatori d’uso)

Misto (Informed peer review)

4Grandi aree disciplinari

Scienze dureScienze socialiScienze umane

5Finalità della valutazione

Ripartizione finanziamentiProgressione di carriera

Abilitazione scientifica nazionale

Una panoramica

Come si valuta un prodotto della ricerca?

Metodi di valutazione

Valutazione qualitativa

Peer review: frutto di competenze specifiche, processo lungo e costoso

Valutazione quantitativa

Bibliometria

Informedpeerreview

Evoluzione del peer-review: ai valutatori vengono fornite, ove disponibili, informazioni di natura bibliometrica sui prodotti sottomessi a valutazione

Scopi della bibliometria

Tra le finalità principali della bibliometria:

�misurare lo sviluppo – e la vitalità - di un settoredisciplinare

�valutare l’impatto della ricerca di singoli o gruppi distudiosi (non necessariamente la qualità)

�individuare le riviste scientifiche fondamentali (corejournals) di un settore disciplinare

�fornire un riscontro per l’analisi dello sviluppo e della“coerenza” degli acquisti e delle collezioni dellebiblioteche la bibliometria non significa soltantovalutazione della ricerca!

Nascita e sviluppo della bibliometria

�Fine del 1800 secolo: “statistical bibliography” (la statistica ela teoria della probabilità erano utilizzate per guidareacquisti delle biblioteche e misurare il progresso dellediscipline scientifiche)

�1. legge della bibliometria - Legge di Lotka, 1926: in una comunità scientifica un numero molto ristretto di scienziati è responsabile della maggior parte dei lavori prodotti

�1927: due chimici americani (i coniugi Gross), cercando diindividuare le riviste più importanti da possedere da parte diuna biblioteca universitaria prestigiosa, furono i primi amettere in collegamento la qualità delle riviste scientifichecon il numero di citazioni da esse ricevute

�1934: il termine bibliometria appare per la prima voltanell’opera del noto bibliografo belga Paul Otlet

�2. legge della bibliometria – Legge di Bradford, 1934: inuno specifico settore disciplinare un limitato numero di rivistecontiene il 90% della letteratura fondamentale

�3. legge della bibliometria – Legge di Zipf, 1936: in ognitesto scritto ci sono poche parole molto frequenti e molteparole poco frequenti (parallelismo con le altre due leggi)

Le tre leggi, formulate da studiosi di ambiti diversi, indicano ilbisogno di misurare il progresso della conoscenza

Nascita e sviluppodella bibliometria

�Eugene Garfield e lo Science Citation Index, 1961:creazione di un indice citazionale grazie all’indicizzazionedelle riviste scientifiche più rilevanti (non più di 1.000,sulla base della legge di Bradford), di tutti gli articoli inesse contenuti e di tutte le citazioni presenti negli articoli

�Inizio della pubblicazione dello SCI, 1964, da partedell’Institute for Scientific Information (ISI), oggi ThomsonReuters (nel 1973 il Social Sciences Citation Index, nel1978 l’Arts & Humanities Citation Index, nel 1990 ilConference Proceedings Citation Index e il Book CitationIndex)

Nascita e sviluppodella bibliometria

�Definizione di bibliometria come disciplina in un articolo diAlan Pritchard apparso nel 1969 sul Journal ofDocumentation (“l'applicazione della matematica e dimetodi statistici ai libri ed altri mezzi di comunicazione”)

�Affermazione degli indicatori bibliometrici dalla fine deglianni ’60, prima negli Stati Uniti e poi in Europa

Nascita e sviluppodella bibliometria

�Nascita della scientometria , grazie a De Solla Price,1963: oggetto della disciplina è l’analisi del progressoscientifico e tecnologico attraverso la misurazionedell’apporto di scienziati e istituzioni all’avanzamentodella scienza

�Crescita esponenziale della scienza; teoria probabilisticagenerale dei vantaggi cumulativi (un documento citato piùvolte ha più probabilità di essere citato nuovamente diquelle che avrebbe un documento poco citato, una rivistaspesso consultata è più probabile che venga consultata dinuovo rispetto ad uno che è stato poco usata)

Nascita della scientometria

L’affermarsi della bibliometria

�Autonomia disciplinare della bibliometria, dagli anni ‘90:nascita dei primi corsi universitari negli USA, pubblicazionidi manuali di riferimento, organizzazione di conferenze,nascita di varie riviste e di centri di ricerca specializzati

�Nascita dei due grandi database citazionali : Web ofScience (WoS) della Thomson Reuters nel 1997 e Scopusdi Elsevier nel 2004

�Nascita di Google Scholar, 2004

Alla base della bibliometria : la citazione

Esistono stili e finalità citazionali diverse a seconda deisettori disciplinari

Il graduale sviluppo dell’abitudine a citare, negli scritti, ilavori propri o di altri studiosi ha condotto inevitabilmenteall’utilizzo dei citation data e, di conseguenza, a valutare unlavoro in rapporto al numero di citazioni ottenute

Con l’aumento della mole della produzione scientifica lacitazione diviene “la moneta corrente nel commercio dellacomunicazione scientifica ufficiale. Moneta di piccolo taglio(costa poco citare), ma dal potere d'acquisto simbolico nonindifferente” (N. De Bellis, La citazione bibliograficanell’epoca della sua riproducibilità tecnica)

Citazione e riferimento bibliografico

Se il Documento 1 cita il Documento 2, nel Documento 1si avrà un riferimento bibliografico al Documento 2,mentre il Documento 2 sarà citato dal Documento 1

Il Documento 2 provoca un impatto sul Documento 1

DOCUMENTO 2

DOCUMENTO 1

Tipi di citazioni…Le citazioni non sono tutte uguali e non hanno (o nondovrebbero avere) un identico "peso"

�La quantità di citazioni accumulabili da parte di un lavoroscientifico dipende da vari fattori (area disciplinare, tipo dilavoro, lingua di pubblicazione, addirittura la posizionedell’articolo all’interno della rivista)

�Effetto San Matteo: A chi ha, verrà dato, e sarànell’abbondanza: ma a chi non ha verrà tolto anche quelloche ha tendenza alla progressiva accumulazione dirisorse, finanziamenti, citazioni in un numero ridotto disoggetti, progetti, lavori scientifici

Effetto San Matteo

"Il successo sembra generare successo. Un documentoche è stato citato più volte ha più probabilità di esserecitato nuovamente di quelle che avrebbe un documentopoco citato. Un autore di numerose pubblicazioni ha piùprobabilità di pubblicare rispetto ad uno che è stato menoprolifico. Un giornale che è stato spesso consultato perqualche scopo è più probabile che venga consultato dinuovo rispetto ad uno che è stato poco usato"

Derek J. De Solla Price (1976), A general theory of bibliometric andother cumulative advantage processes, “Journal of the AmericanSociety for Information Science”, 27, n. 5, p. 292-306

Asimmetria delle citazioniLa maggior parte dei prodotti (pubblicazioni, citazioni) siconcentra su una piccola porzione di fonti (autori, riviste)Le citazioni hanno una natura fortemente "skewed",asimmetrica: il 15% degli articoli pubblicati riceve il 50%delle citazioni, e, di questi, la metà dei più citati ne riceve il90%

L’accessibilità delle riviste

Il "successo" di citazioni di un lavoro scientifico dipendeanche dall’accessibilità e dal prestigio della rivistaospitante "Open-access (OA) literature is digital,online, free of charge, and free of most copyright andlicensing restrictions" (Peter Suber)

Open access e citazioniQuale "impatto" ha l'accesso aperto sulle citazioni dei lavoriscientifici?

� L’accesso più ampio favorisce la reperibilità dei lavori scientifici(accessibility advance )

� I tempi più rapidi di pubblicazione rendono più rapide anche leeventuali citazioni dei lavori scientifiici (early accessadvantage )

� L’accesso aperto agevola la consultazione e i download deilavori scientifici (download - or usage - advantage )

Qua un elenco degli studi condotti sui vantaggi citazionali dell’OA

Tipi di citazioni (ancora)…Le citazioni non sono tutte uguali neanche in relazione almotivo per cui si cita: generalmente si cita per dimostrare diaver preso in esame la letteratura scientifica esistentesull’argomento che si sta trattando e per supportare leproprie posizioni, ma l’intento può essere anche quello diconfutare uno studioso o un filone di studi, o ancora si puòvoler rendere omaggio a uno studioso

Da uno studio condotto nel 1985 è emerso che lapersuasione è la molla principale che induce a citare lavoridi altri studiosi

Terrence A. Brooks (1985), Private acts and public objects: aninvestigation of citer motivations, “Journal of the American Society forInformation Science”, 36, n. 4, p. 223-229

Tipi di citazioni (ancora)…L’universo citazionale è dunque assai complesso e dipendeda vari fattori di cui è necessario tenere sempre conto:

• settore disciplinare;

• tema trattato;

• sede e lingua di pubblicazione;

• motivo della citazione;

• …

Indici citazionali

Si crea una rete di relazioni tra documenti citanti e citati edè necessario avere un indice citazionale che:

1.indicizza tutti i documenti citati nelle bibliografie di uninsieme di fonti (quasi sempre articoli di rivistescientifiche)

e

2.permette di risalire, da un determinato documento o daun dato autore, a tutti i documenti dell’insieme di fonti chelo citano

Ricerca per citazione vs ricerca per parole chiave e/o soggetti

Una ricerca effettuata in un database bibliografico conkeyword o subject è generalmente più mirata rispetto allaricerca mediante citazioni

Cercare in un indice citazionale è però molto utile pertrovare, a partire da un contributo su un argomento diproprio interesse, lavori su temi simili più o meno recenti

La ricerca per citazioni è importante anche in caso diargomenti molto specifici con scarsa copertura bibliografica

I grandi database citazionali: WoSWeb of science : il primo database citazionale, nato nel1997 (dopo l’acquisto dell’ISI da parte della ThomsonReuters); comprende Science Citation Index, SocialSciences Citation Index, Arts & Humanities Citation Index,Conference Proceedings Citation Index, Book CitationIndex

Oltre 17.000 titoli di riviste e 160.000 atti di convegni

�Pregi: indicizzazione totale delle riviste; controllo diqualità

�Limiti: ancora scarsa presenza di riviste di scienzeumane e sociali; predominanza geografica e linguistica(prevalenza di titoli dell’area nord americana); carenza distrumenti/filtri di disambiguazione degli autori omonimi

Web of science (WoS )

I grandi database citazionali: Scopus

Scopus : sviluppato nel 2004 da Elsevier

Circa 34.500 titoli di periodici dei quali molti di ambitoeuropeo, 350 collezioni di monografie (e, a partire dal2013, anche monografie singole), quasi 23.500 titoli di attidi convegni

�Pregi: maggiore presenza di fonti europe e incrementonell’ambito delle scienze umane;

�Limiti: ancora scarsa presenza di riviste di scienzeumane e sociali; indicizzazione non totale delle riviste edelle citazioni; carenza di strumenti/filtri didisambiguazione degli autori omonimi

Scopus

Indicatori bibliometrici più diffusi

A.Numero di citazioni : elemento base della bibliometria edi tutti gli indicatori esistenti (indicatore primario)

B.Impact factor (IF): l’IF di una rivista in un anno è ilnumero medio di citazioni ricevute per lavoro pubblicatoin una rivista nel corso dei due anni precedenti (indicatoresecondario)

C.H-index (o Indice di Hirsch): uno scienziato ha indice nse ha pubblicato almeno n lavori, ciascuno dei quali èstato citato almeno n volte (indicatore secondario)

Indicatori bibliometrici(L. D’Antone, C. Faggiolani)

Valutazione ricerca & AltMetrics, 1.10.2015

Uso/scopo Contenitore/i Indicatore/i

Indicatori per

le riviste

• WoS

• Scopus

Impact Factor; Five Year IF;

Immediacy Index; Cited Half;

Life Total Cites; Citable Items

SCImago JR; SCImago Total Cites;

H-index rivista; SNIP

Indicatori per

le riviste e gli

articoli

Open access

Eigenfactor; Article Influence Score

Indicatori per

gli autori

WoS, Scopus,

Google Scholar

H-index e sue varianti

Calcolo dell’impact factor

IF 2014 della rivista Chemical physics = A/B

A = numero di citazioni ricevute nel 2014 da tutti i lavoripubblicati su Chemical physics nel 2012 e 2013

B = numero totale dei lavori citabili pubblicati in Chemicalphysics nel 2012 e 2013

Impact factor: nascita, calcolo e critiche

Concepito in origine per aiutare le biblioteche nella selezionedelle riviste da acquistare e gli studiosi nella scelta delleriviste migliori in cui pubblicare, è stato successivamenteusato per la valutazione della ricerca

Critiche mosse all’IF nella valutazione degli studiosi e deiloro prodotti:

• facilità con cui i risultati possono essere falsati(autocitazioni, citazioni “pilotate”, ecc.);

• agevolazione delle riviste con contenuti più generali (e piùcitate) a scapito di quelle di nicchia;

• esclusione delle pubblicazioni monografiche

Altri indicatori�5 Year Impact Factor: consiste nell’IF applicato ad un

arco temporale più ampio, utile per settori scientifici dovelo scambio delle novità della ricerca avviene in modo piùlento (per es., nel settore umanistico)

�Cited Half-life: indica per quanto tempo i lavori pubblicatisu una rivista sono citati

�Eigenfactor: indicatore accessibile gratuitamente in retegrazie a un progetto non commerciale di un laboratoriodell’Università di Washington; vengono consideratil'importanza degli articoli citanti e le differenze di stilecitazionale nelle diverse discipline

�SCImago Journal Rank Indicator e SNIP - SourceNormalized Impact per Paper: due indicatori sviluppatiper/in Scopus

H-index

Indicatore di performance individuale introdotto dal fisicoJorge E. Hirsch nel 2005

Uno studioso che ha Indice H uguale a 10 significa che hascritto 10 articoli ciascuno dei quali è stato citato almeno10 volte; gli eventuali altri contributi dello studioso sonocitati meno di 10 volte (o non citati affatto)

E’ calcolabile su entrambi i DB citazionali e su GoogleScholar

Un esempio…

Rankdeilavori

1 2 3 4 5 6 7

N. citazioni

22 17 12 9 6 4 0

L’indice H è uguale al numero sequenzialedella pubblicazione che precede lapubblicazione in cui il numero di citazionirisulta inferiore al numero sequenziale dellastessa (H-index = 5)

H-index : limitiTra i limiti dell’H-index:

• forte penalizzazione degli studiosi più giovani e deisettori disciplinari con basso uso delle citazioni;

• non tiene in considerazione le autocitazioni;

• non distingue i lavori in co-autoraggio dai lavori dei singoli, per cui chi in un gruppo di ricerca ha contribuito in minima parte riceve comunque lo stesso tipo di vantaggio

Per ovviare tali limiti è stato introdotto l’indice Hcontemporaneo e altre varianti dell’H-index

Il mondo di Google Scholar

Google Scholar

Google Scholar : motore di ricerca dedicato ai risultati dellaproduzione scientifica accessibile gratuitamente in rete,lanciato quasi contemporaneamente a Scopus

Indicizzata una vasta letteratura scientifica online, incostante crescita

�Pregi: inclusione di materiale monografico, didattico e dialtro tipo; gratuità

�Limiti: ignote la copertura e le fonti dell'analisi citazionale;necessità di molte ore di lavoro per l’analisi e il filtro deirisultati; carenza di strumenti/filtri di disambiguazione degliautori omonimi

Lavorare con Google Scholar

Publish or Perish, sviluppato da Anne-Wil Harzing escaricabile gratuitamente dal web, è uno software utile perla rilevazione e l’analisi dei dati provenienti da GoogleScholar

Google Scholar Citations permette la gestione del proprioprofilo con aggiornamenti – in automatico e a livellomanuale – dei dati relativi alle proprie pubblicazioni ecitazioni

… ma

Oltre alla bibliometria : il metodo della valutazione dei pari

La valutazione dei pari – o peer review – consiste in unprocesso di valutazione critica dei lavori di uno studiosoeseguita da specialisti del settore per verificarne l'idoneitàalla pubblicazione scientifica su riviste specializzate o, nelcaso di progetti, al finanziamento

Il peer review esiste sin dal 1600, ma dalla metà delNovecento sono emersi alcuni limiti del sistema:

�alto costo del processo

�rischio di giudizi soggettivi o falsati

Impatto scientifico vs visibilità sociale

E’ assai difficile, in alcuni casi, distinguere tra la popolaritàdi uno studioso e il suo impatto nella comunità scientifica

Wouters e Costas parlano di “technologies of control” (mezzicon cui viene rilevato l’impatto scientifico nel processo divalutazione della ricerca) e di “technologies of narcissism”(strumenti, di solito gratuiti e facili da usare, per il rilevamentodell’impatto degli studiosi a livello individuale e informale)

Gli strumenti di altmetrics - che non sono finalizzati amisurare l’impatto - possono però rivelarsi utili nel settoredella ricerca

Oltre alla bibliometria : le citazioni nel Web

La web metrics è un ramo della bibliometria che prende inconsiderazione l’analisi dei web link intesi come ilcorrispondente delle tradizionali citazioni e l’elaborazione dimetriche alternative basate sulle nuove forme comunicativeofferte dal Web 2.0 (web impact assessment, WIA)

… e nel Web 2.0

Con il termine alternative metrics o, più brevemente,altmetrics, coniato nel 2010 da Jason Priem e altri studiosi,ci si riferisce a una serie di metriche alternative basate sulWeb nella sua “dimensione sociale” da utilizzare inaggiunta - e non in alternativa - ai più comuni e collaudatiindicatori bibliometrici

Strumenti per le metriche del web• Alexa

• SimilarWeb

Strumenti per le metriche del web

• Majestic

Strumenti per le metriche del web

• Google AnalyticsStrumenti per le metriche

del web

Altmetrics

• Fonti:

a. piattaforme di reference/citation management, con funzionidi social media (CiteULike; Delicious; Endnote; Mendeley;ReferenceManager; Zotero, ecc.)

b. reti sociali professionali (LinkedIn)

c. reti sociali multidisciplinari (Academia.edu; ResearchGate)

d. servizio di slide hosting (SlideShare)

e. reti sociali “generiche” (Facebook; Google plus; Twitter)

Piattaforme di reference/citationmanagement (con funzioni di

social media) Si tratta di software per la gestione delle citazioni,arricchiti per le interazioni tipiche del Web 2.0

Il loro scopo consiste nel fornire allo studioso un mezzorapido e preciso per la registrazione e l’utilizzo dellecitazioni bibliografiche grazie a un database in cuiimmettere i riferimenti bibliografici completi e un sistemaper generare liste di articoli e bibliografie nei diversi stilicitazionali in uso

Bibsonomy; CiteULike; Delicious; Endnote; Mendeley;ReferenceManager; Zotero

Reti sociali professionali

LinkedIn è una rete sociale avviata nel 2003 e gestita dauna società californiana; iscrizione gratuita con lapossibilità di ottenere funzionalità aggiuntive a pagamento

Il suo scopo è quello di stabilire contatti tra professionistioperanti in settori diversi mediante una rete composta daconnessioni (connessioni dirette, o di primo grado;connessioni di connessioni, di secondo grado; connessionidelle connessioni di secondo grado, terzo grado)

LinkedIn conta oltre 300 milioni di membri in tutto il mondoe può rivelarsi un mezzo utile nella fase di ricerca e offertadi lavoro

Reti sociali multidisciplinariSono social network gratuiti specifici per il mondoaccademico che hanno lo scopo di agevolare lacondivisione del materiale prodotto dai ricercatori

Academia.edu è stata creata nel 2008 da Richard Price;conta attualmente oltre 28 milioni di utenti attivi in moltenazioni

Dopo aver effettuato una breve descrizione bibliografica èpossibile caricare materiale pubblicato, bozze nonpubblicate e “altro”. Il materiale altrui di proprio interessepuò essere salvato nei segnalibri e scaricato; con ilcomando Analytics si accede a un rapporto dettagliato deimovimenti cui è stato soggetto il proprio profilo

ResearchGate è una piattaforma lanciata nel 2008 dai duefisici Ijad Madisch e Sören Hofmayer e dall’informaticoHorst Fickenscher

Conta più di 8 milioni di utenti di varie nazionalità,soprattutto Europa e Nord America

Come nel caso della concorrente Academia.edu, èpossibile caricare il proprio materiale scientifico, seguire gliaggiornamenti relativi al proprio profilo, discutere di temi diricerca e trovare collaborazioni

Reti sociali multidisciplinari

Servizio di slide hosting

SlideShare è stata lanciata nel 2006 e, nel 2012, rilevatada LinkedIn

Numero di accessi, a livello internazionale, assai elevato ecopertura di molti ambiti disciplinari

È possibile caricare slide, documenti, infografica e webinarnei formati PowerPoint, PDF, Keynote e OpenDocument; sipuò scegliere di rendere il materiale pubblicamenteconsultabile o meno e si possono giudicare, commentare econdividere i contenuti all’interno di altri spazi web

Reti sociali generiche

Facebook, Twitter, Google plus: le tre reti social gratuitepiù note in quanto diffuse a livello trasversale e nondedicate a una particolare categoria di utenti (alle quali,peraltro, se ne affiancano molte altre, come Youtube,Instagram, Pinterest, Whatsapp, ecc.)

Altmetrics

• Software:

a. Altmetric

b. Impact story

c. PlumX

d. Bookmetrix

Software altmetrics• Altmetric

Software altmetrics• Impact story

Software altmetrics• PlumX

Software altmetrics• Bookmetrix

Vantaggi delle metriche alternative

• Ampliamento dell’orizzonte di valutazione di un lavoroscientifico

• Disponibilità immediata dei dati

• Possibilità di cogliere aspetti che non emergono durantel’analisi citazionale e la revisione dei pari

ma…

• Difficoltà di individuare la provenienza della menzione nelWeb

• Aleatorietà

• Difficoltà di stabilire un nesso tra un riscontro positivo(menzione) nel Web e la validità di un contributo

Metriche alternative: quale uso?

Grande potenziale delle altmetrics se utilizzate inmodo complementare alle metriche tradizionali

… ma molta strada da fare affinché possano essereimpiegate in contesti e per fini istituzionali divalutazione della ricerca!

Un manifesto contro l’ “ossessione” della misura

Il Leiden Manifesto for researchmetrics, comparso su Nature il 23aprile scorso, sulla funzione dellabibliometria e, soprattutto, sui rischicui si va incontro con un uso nonponderato delle misurazioni

I principi del Manifesto di Leiden

1. Quantitative evaluation should support qualitative,

expert assessment

2. Measure performance against the research missions of

the institution, group or researcher

3. Protect excellence in locally relevant research

4. Keep data collection and analytical processes open,

transparent and simple

5. Allow those evaluated to verify data and analysis

I principi del Manifesto di Leiden

6. Account for variation by field in publication and citation

practices

7. Base assessment of individual researchers on a

qualitative judgement of their portfolio

8. Avoid misplaced concreteness and false precision

9. Recognize the systemic effects of assessment and

indicators

10.Scrutinize indicators regularly and update them

IL VIDEO…

Per una bibliometria “consapevole”?

Gli strumenti da soli, pur raffinati, non bastano: unindicatore perfetto (quand’anche esistesse) non è in gradodi garantire un giudizio equo

Come ci ricordano le “raccomandazioni” di Leiden, esistonotante, troppe variabili in gioco, in primis il contesto in cui cisi muove; solo dall’interazione tra una serie di fattori -l’ambiente di partenza, le caratteristiche degli oggetti davalutare, le finalità della valutazione stessa - potrà scaturireun quadro completo su cui basare la formulazione di ungiudizio

La misura…

“Nothing that anyone had ever measured was still

or could ever be the same as before” (Daniel

Kehlmann, Measuring the world)

Grazie per l’attenzione!

[email protected]