I ° Corso pilota ECDL HealthDoc (Roma: 4,5,12,19,26 marzo 2014) La valutazione della ricerca in Italia (19 marzo 2014) Saba Motta [email protected] Corso ECDL Health Doc Roma: 4,5,12,19,26 marzo 2014
I ° Corso pilota ECDL HealthDoc
(Roma: 4,5,12,19,26 marzo 2014)
La valutazione della ricerca in Italia
(19 marzo 2014)
Saba Motta [email protected]
Corso ECDL Health DocRoma: 4,5,12,19,26 marzo 2014
• La valutazione della ricerca è il complesso di azioni, finalizzate all'espressione di un giudizio sulle attività o sui risultati della ricerca scientifica.
• Valutare la ricerca significa stabilire criteri e procedure di valutazione all'interno della comunità scientifica adatti ed esprimere dei giudizi di qualità, impatto, efficacia, efficienza,
La valutazione della ricerca
esprimere dei giudizi di qualità, impatto, efficacia, efficienza, rilevanza.
• Può essere effettuata in momenti differenti: ex ante (ad esempio per la selezione di progetti), in itinere (per verificare l'andamento di un progetto/programma di ricerca), o ex post, sui risultati in termini di pubblicazioni, brevetti etc., o sul loro impatto.
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
La valutazione della ricerca
• La valutazione riveste un ruolo fondamentale nel processo di
crescita e di disseminazione della conoscenza scientifica
• Garanzia di circolazione, diffusione e condivisione dei risultati
ottenutiottenuti
• Erogazione, ripartizione e rendicontazione dei fondi per la
ricerca che lo Stato e gli enti finanziatori investono nella
ricerca pubblica
• Selezione, valutazione e reclutamento di docenti e ricercatori
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
MIUR - Anvur
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
MIUR - Anvur
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Ministero della SaluteCriteri di riconoscimento IRCCS
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Ministero della SaluteCriteri di riconoscimento IRCCS
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Ministero della Salute
Criteri di valutazione progetti di ricerca finalizzata
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Ministero della SaluteCriteri di valutazione per la selezione Direttori Scientifici
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Regione Lombardia- Direzione Generale SanitàCrediti formativi attività di ricerca
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Valutazione della performance scientifica
La valutazione della ricerca utilizza due metodologie:
- la valutazione di tipo qualitativo , basata sul giudizio dei pari(valutatori) o revisione dei pari (peer review), non economica e soggettiva per definizione ma frutto di competenze specifiche;
- la valutazione quantitativa , strutturata su indicatori matematici tesi a misurare l’impatto di un lavoro di ricerca sulle comunità scientifiche. Tali indicatori quantitativi si distinguono in indicatori di tipo bibliometrico basato sull’analisi citazionale(ad esempio Impact Factor, H-Index) e indicatori non bibliometrici (ad esempio i dati brevettuali, i dati sui fondi di ricerca ottenuti, il numero di partecipazioni a conferenze, il numero di partecipazioni a comitati scientifici di riviste ecc.).
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Caratteristiche della valutazione della ricerca
A quale livello valutare? Quali sono i soggetti?• livello “macro”: sistemi scientifici nazionali,• livello “meso”: istituzioni, incluse le singole università,• livello “micro”: gruppi di ricerca e singoli ricercatori.• livello “micro”: gruppi di ricerca e singoli ricercatori.
Oggetto di valutazione• articoli, libri od altri prodotti similari• progetti di ricerca, programmi, gruppi• intere istituzioni che svolgono o finanziano attività di
ricerca.
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Definizione di Bibliometria
La bibliometria è la scienza che applica tecniche matematiche e statistiche “per analizzare i modelli di distribuzione delle pubblicazioni” scientifiche e per verificare il loro impattoall’interno delle comunità scientifiche. all’interno delle comunità scientifiche.
E’ l’analisi statistica dei dati bibliograficisviluppatasi negli ultimi vent’anni grazie alla disponibilità online di banche dati di grandi dimensioni.
Valutazione qualitativa o quantitativa?
Una corretta valutazione dovrebbe sempre essere fondata “su un’appropriata combinazione di indicatori quantitativi (inclusi quelli bibliometrici) e analisi dei pari (peer review).
Nell'analisi bibliometrica, le due misure bibliometriche più conosciute Nell'analisi bibliometrica, le due misure bibliometriche più conosciute sono:
• il numero di citazioni
• il fattore di impatto o impact factor IF, il numero di citazioni ricevute nell'anno corrente agli articoli pubblicati nei due anni precedenti diviso per il totale del numero di articoli pubblicati negli stessi due anni
Peer Review
• La valutazione tra pari , revisione dei pari , o "peer review" indica la procedura di selezione degli articoli o dei progetti di ricerca proposti da membri della comunità scientifica, effettuata attraverso una valutazione espertaeseguita da specialisti del settore incaricati di identificare eventuali bias e valutare l'idoneità e la qualità della pubblicazione scientifica su riviste specializzate o, nel caso di progetti, al finanziamento degli stessi.
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Peer Review• Nell'editoria scientifica vengono impiegate tre forme di peer review:
• Single-blind peer review : il nome dell'autore è noto al revisore ma il nome del revisore è ignoto all'autore (è attualmente la forma di peer review più utilizzata)
Double -blind peer review• Double -blind peer review : sia il nome del revisore che quello dell'autore sono ignoti a entrambi (criterio che garantisce l’imparzialità e l’anonimato)
• Open peer review : sono note sia l'identità del revisore sia quella dell'autore, nonchè tempi e commenti del processo (è una forma recente e innovativa che prevale nel mondo editoriale Open Access)
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Peer ReviewVantaggi
• Soggettività della valutazione che consente di considerare l’effettiva qualità dei singoli prodotti mediante una revisione fra pari
• Applicabile a tutta la varietà della produzione di ricerca dei diversi settori scientifico-disciplinari
• Potenzialmente in grado di valutare l’impatto dei prodotti, non solo in termini di citazioni, e la performance individuale.
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Peer ReviewSvantaggi/Critiche
Gli svantaggi più evidenti sono i seguenti:
• Inefficacia parziale a rilevare errori, falsificazioni e plagi
• Spesso non viene replicato l’esperimento
Costi • Costi elevati che crescono in funzione del numero di articoli rifiutati
• Tempi lunghi del processo di revisione e conseguenti ritardi di pubblicazione
• Parzialità nel giudizio del revisore e possibile conflitto di interessi
• Applicazione limitata al settore delle scienze dure a causa delle inferiori disponibilità finanziarie delle scienze umane
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Crisi della Peer Review
• Con l'avvento del Web e dell'editoria digitale Open Access, il modello tradizionale è stato fortemente modificato
• Meccanismo di revisione è diventato aperto, dialogico e meno autoreferenziale (valutazione aperta anche ai non
• Meccanismo di revisione è diventato aperto, dialogico e meno autoreferenziale (valutazione aperta anche ai non accademici)
• Post-Pubblication Peer Review (cfr F1000 Prime e PlosOne) nuovo modello in evoluzione
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Social Peer Review
• Nella social peer review (o open peer-review) il controllo qualitativo viene
prevalentemente svolto dopo la pubblicazione (ex-post) attraverso strumenti
digitali quali blog, wiki, social bookmarking websites.
• La rivista peer-reviewed PLoS ONE, nata nel 2006, è stata concepita come un grande contenitore • La rivista peer-reviewed PLoS ONE, nata nel 2006, è stata concepita come un grande contenitore
di contenuti scientifici nel campo medico e consente ai lettori (previa registrazione) di esprimere in
rete un voto per ogni singolo articolo pubblicato
• PLos ONE riesca a completare la revisione/ accettazione di un nuovo a rticolo (non
sperimentale) dopo solo 4 giorni dalla ricezione, a ccelerando la sua diffusione: 1059
visualizzazioni in 30 giorni
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Social Peer Review Limiti
• Il social peer review (o open peer-review) non
viene ancora considerato dalla comunità
accademica come una reale alternativa alle accademica come una reale alternativa alle
forme di peer review tradizionale.
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Principali indicatori bibliometrici
La citazione bibliografica come unità minima informativa
Dalla citazione, ovvero dal riferimento bibliografico, derivano gli indicatori bibliometrici: derivano gli indicatori bibliometrici:
• Impact factor• H-index• G-index
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Impact factor• Impact Factor o IF misura il numero medio di citazioni ricevute in un
particolare anno da articoli pubblicati in una rivista scientifica (Journal) nei due anni precedenti.
• Misura il livello delle pubblicazioni scientifiche• Questa misura viene utilizzata oltre che per valutare, comparare e ordinare
le riviste scientifiche, anche per valutare l’attività di ricerca ed erogare . finanziamenti.
Calcolo dell'IF 2010 per la rivista presa in considerazione:Citazioni 2010 di articoli pubblicati nel biennio 2009-08 75
--------------------------------------------------------- = --- = 0,484 Totale articoli
pubblicati nel biennio 2009-08 155
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
IF - Vantaggi
• lmmediata comprensibilità; • Robustezza nel tempo. Le variazioni da un anno al
successivo del valore IF di una rivista non sono mai consistenti; consistenti;
• la pronta disponibilità. È costantemente aggiornato; • l’apparente riproducibilità ovvero l’idea che, almeno in
teoria, sia possibile verificare in ogni momento i dati citazionali sottostanti
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
IF - Critiche
• Uso distorto IF non è indicato per la valutazione dei singoli documenti e ricercatori
• L’autocitazione, intesa come citazione tra articoli di autori diversi pubblicati su una medesima rivista, gonfia i dati citazionali dati citazionali
• IF calcolato su un arco temporale di due anni è penalizzante per quelle discipline la cui durata delle citazioni si prolunga nel tempo per es. scienze sociali o matematica
• Non valuta le differenze citazionali fra le discipline
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Che cos’è l’IF normalizzato?
• La valutazione ministeriale (Ministero della Salute ) è basata sull’Impact Factor Normalizzato delle riviste
• La normalizzazione dell’IF grezzo è un criterio messo
a punto dal Ministero della Salute, in particolare in
relazione alla valutazione della ricerca degli IRCCS, nel
tentativo di risolvere il problema del differente peso di un
IF all’interno delle diverse discipline
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Impact Factor Normalizzato
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Esempio di IF relativo ad ambiti disciplinari diversi (riferimento 2009)
Veterinary Sciences(142 riviste)
Biochemistry & MolecularBiology (283 riviste)
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Criteri di valutazione Ministero della Salute
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Criteri di valutazione Ministero della SaluteTipologia di lavori
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Criteri di valutazione Ministero della Salute
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Criteri di valutazione Ministero della Salute
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Novità 2014 Ministero della Salute
Negli anni passati le riviste non impattate ricevevano il valore di 0,1
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
L’H-Index o Indice di Hirsch è un indice proposto nel 2005 da Jorge E. Hirsch della University of California di San Diego per quantificare la prolificità e l’impatto del lavoro degli scienziati, basandosi sul numero delle loro pubblicazioni ed il numero di citazioni ricevute.
H-Index
pubblicazioni ed il numero di citazioni ricevute.
(es. h-index 13, significa che quell’autore ha pubblicato almeno 13 articoli che hanno ricevuto almeno 13 citazioni ciascuno).
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
H-IndexCritiche
• L’H-index non riesce a descrivere compiutamente il valore della produzione scientifica di un ricercatore
• Favorisce chi vanta una lunga carriera universitaria, penalizza il lavoro degli scienziati molto selettivi che pubblicano pochi articoli ma ricevono molte citazioni
• L’H-index ignora il numero di citazioni di ogni singolo articolo, ovvero “non • L’H-index ignora il numero di citazioni di ogni singolo articolo, ovvero “non riesce allo stesso tempo a tenere conto degli articoli che appartenendo all’h-core abbiano ricevuto un numero molto elevato di citazioni
• Problema delle autocitazioni della coproduzione degli articoli attribuendo un notevole vantaggio a coloro che decidono di firmare un articolo in gruppo
• Analogamente all’IF, esiste la criticità del contesto disciplinare, ragion per cui è poco significativo confrontare tra loro le performance bibliometriche di ricercatori operanti in settori diversi
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
H-index e calcolo delle citazioni
• L’indice è direttamente collegato al database che interroga; può essere calcolato sia in banche dati commerciali WoS e Scopus, sia in motori di ricerca specialistici come Google Scholar quindi può subire delle fluttuazioni
• Attenzione nessuno di questi strumenti è in grado di • Attenzione nessuno di questi strumenti è in grado di recuperare tutte le citazioni di un lavoro scientifico quindi il valore di H-Index di un autore cambia in base al diverso grado di copertura bibliografica dei databa se di riferimento
• Buona prassi, per qualsiasi indicatore bibliometrico, segnalare sempre la fonte a partire dalla quale se ne ricava il valore.
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
g-indexL’indice G o g-index è un indicatore bibliometrico ditipo quantitativo per misurare la produttivitàscientifica dei fisici e altri scienziati, anch’essobasato sui record citazionali delle loro pubblicazioni.
Fu suggerito nel 2006 da Leo Egghe, sulla base diFu suggerito nel 2006 da Leo Egghe, sulla base diuna variante dell’indice H.
Il g-index è calcolato sulla base della distribuzion edelle citazioni ricevute dalle pubblicazioni di un da toricercatore e per attribuire maggior peso agli arti coli
altamente citati.
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
• Eigenfactor: ranking and mapping scientific knowled geè un nuovo modello matematico per calcolare l'impatto delle riviste scientifiche accademiche che tiene conto dei diversi standard di citazione tra una disciplina e l'altra e quindi del diverso peso delle riviste.
Eigenfactor (EI)http://www.eigenfactor.org/
• ha lo scopo di sviluppare un nuovo metodo per la valutazione dell'influenza (impatto) dei periodici accademico-scientitici ai fini di ottenere una mappatura della struttura della ricerca accademica.
• L’Eigenfactor viene calcolato su un periodo temporale di cinque anni utilizzando i dati del Journal Citation Reports con tutti i limiti imposti dal grado di copertura del JCR
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Mondo OA e bibliometria
�Nel mondo Open Access stanno nascendo iniziative e progetti cheinteressano il campo della "bibliometria" dove si stannosperimentando soluzioni alternative al tradizionale IFDa qualche tempo i servizi Web stanno mettendo in discussione ilpredominio non solo degli strumenti dell’ISI ma dello stesso IF.� predominio non solo degli strumenti dell’ISI ma dello stesso IF.Se gli indicatori generati dall’autore sono le citazioni, quelli generatidai lettori sono i dati sull’utilizzo che possono essere raccoltitramite server web e linkresolver logs.Indicatore bibliometrico quantitativo di nuova generazione èl’Usage Factor UF, complementare e non sostitutivo a fattori diimpatto tradizionali o alternativi all’IF.Nuovi strumenti e/o progetti per l’analisi citazionale nell’ambienteWeb, tra cui il Web Impact Factor (WIF) e per l’analisi statisticadei log e dei dati, che si riconducono alla nuova scienza nota comemetrica del web o Webometrica.
�
�
�
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Usage Factor utilizza il download della versione digitale di un articolo come misura base di un nuov o concetto di bibliometria basata sul ruolo dei letto ri rispetto a quello degli autori.
Vantaggi:
UF Usage Factor
Vantaggi: • Immediata tracciabilità di utilizzo (articoli, libri,
audio,video,dati di ricerca)Criticità:• Viene letto tutto quello che si scarica?• Rischio di manipolazione degli autori
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Il Web Impact Factor WIF è basato sull’analisi dei link e si ricavadal numero dei contatti che un documento pubblicato sul webriceve moltiplicato per il numero delle pagine .
Lo studio si fonda sull’assunto secondo cui Interne t è
Web Impact Factor WIF
Lo studio si fonda sull’assunto secondo cui Interne t èlo strumento in grado di veicolare al meglio leinformazioni prodotte dalla ricerca scientifica
Criticità:• Il WIF è una misura di uso più che di qualità
scientifica
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
ALTMETRICS AND ARTICLE -LEVEL METRICS
Altmetrics: Una misura che considera, oltre al consueto conto delle citazioni ricevute da un articolo, altre forme di impatto quali i riferimenti contenuti nelle knowledge base, i download, le viste online, e la loro menzione nei social media e altri canali come blog o siti web. Può essere misurato per cose che non sono articoli.
Article level metrics (ALMs): Una misura di utilizzo di una particolare articolo da una varietà di fonti, che possono includere citazioni.
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014
Corso ECDL HealthDoc
Roma: 4,5,12,19,26 marzo 2014