Seminario di Giorgio Sirilli

Convegno CGIL

Roma, 17 maggio 2012

La VQR: struttura e impatto sull’università

e sugli enti pubblici di ricerca

Giorgio Sirilli

Agenzia vigilata dal MIURSette membri (tutti universitari)Una Agenzia, non una Autorità

Gli attori della Valutazione della Qualità della Ricerca (VQR)

ANVUR Coordinatore e vice-coordinatore della VQR Gruppi di Esperti della Valutazione (GEV) Revisori (referee)

Strutture valutate Università Dipartimenti universitari Enti di ricerca vigilati dal MIUR (12) Altri

CINECA Ricercatori /tecnologi/docenti

Oggetto della valutazione degli EPR

Gli enti nel loro complesso, non le loro parti costitutive

Il cronoprogramma della VQR

Inizio: novembre 2011Fine: giugno 2013

VQR – Aree, GEV, ricercatori, prodotti

GEV Universities Research agencies

AreaFull professor

Assistant professor Researcher TOTAL

Researcher

Technologist

Max number of products

Mathematics and Information Science 25 968 1002 1256 3226 369 62 12075Physics 18 604 816 870 2290 262 44 8572Chemistry 23 703 963 1293 2959 338 57 11076Earth science 9 259 376 460 1095 125 21 4099Biology 38 1234 1361 2283 4878 557 94 18259Medicine 79 2186 2955 5052 10193 1165 196 38154Agronomy and Veterinary Medicine 24 821 898 1320 3039 347 58 11375Civil engineering and Architecture 28 978 1104 1520 3602 412 69 13483Industrial and Computer engineering 39 1600 1504 1961 5065 579 97 18959Ancient History Philological Literature and Arts 42 1512 1628 2256 5396 617 104 20198History, Philosophy Psychology Pedagogy 38 1478 1434 2022 4934 564 95 18469Law 37 1612 1123 2049 4784 547 92 17907Economics and Statistics 36 1580 1331 1758 4669 533 90 17477Political and Social sciences 13 437 485 775 1697 194 33 6352TOTAL 449 15972 16980 24875 57827 6609 1112 216455

La metodologia della VQR

15 indicatori7 indicatori di Area8 indicatori di “Terza missione”

Metodologia “a tavolino”

Indicatori

Indicatori di Area legati alla ricerca:qualità dei “prodotti” (0,5)attrazione di risorse (0,1)mobilità (0,1)internazionalizzazione (0,1)alta formazione (0,1)risorse proprie (0,05)miglioramento (0,05)

Oggi l’attenzione è tutta qui

Qualità dei “prodotti”

Punteggi:eccellente 1,0buono 0,8

accettabile 0,5limitato 0,0mancante -0,5non valutabile -1,0plagio o frode -2,0

Problemi della valutazione dei prodotti

Valutazione dei pari/bibliometria

Riviste da includere

Pesi20-20-10-50

Valori positivi e negativi

Prodotti 6/3

Selezione dei referee

Giudizio finale dei GEV

Presenza schiacciante degli universitari

Associati

Gli indicatori

Indicatori di struttura di ‘terza missione’:conto terzi (0,2)brevetti (0,1)spin-off (0,1)incubatori (0,1)consorzi (0,1)siti archeologici (0,1)poli museali (0,1)altre attività (0,2)

La qualità dei dati

I dati verranno forniti dalle strutture in un contesto competitivo

I dati non sono certificati (oste, il vino è buono?)

Quanti indicatori?Uno, nessuno, centomila?

(Pirandello)

Tre scenari per gli indicatori: un indicatore sintetico due indicatori (Area e Terza missione) cruscotto (scoreboard)

Scenari possibili: graduatorie (Shanghai) multi-ranking

Valutazione della Qualità della Ricerca (VQR)

Didattica

Ricerca

Terza missione

Ricerca

Terza missione

Enti di ricercaUniversità

Attività di ente

VAlutazione delle Strutture che svolgono Attività di RIcerca e

di TRAsferimento delle COnoscenze

(VASARITRACO)

Valutazione della Qualità della Ricerca

(VQR)

Gruppi di Esperti Valutatori

Gruppi di Esperti della Valutazione

Il costo della VQR

300 milioni di euro, pari a metà del FFO del CNR

Il costo della VQR

Voce di costo numeropersone

coinvoltenumero

giorni

costo giornaliero

(euro) Totale (euro)

Totale generale

(euro) %

Bilancio dell'ANVUR 7.000.000 7.000.000 2,3

Lavoro dei ricercatoriReferaggio dei "prodotti" 108000 2 2 500 216.000.000 Predisposizione dei "prodotti" 64000 2 400 51.200.000 Lavoro dei GEV 450 40 500 9.000.000 276.200.000 91,5

Lavoro delle strutture grandi enti 2 10 20 200 80.000 piccoli enti 10 5 10 200 100.000 università 96 5 30 200 2.880.000 dipartimenti universitari 1565 5 10 200 15.650.000 18.710.000 6,2

CINECA ?

Totale 301.910.000 100,0

Il progetto della VQR

La valutazione degli Istituti del CNR

E’ stata svolta nel 2009 Metodologia: “a tavolino” e “visita in loco” Costo: 18 + 28 = 46 milioni di euro Return on investment = 0 Quanto costerà al CNR ed agli altri enti la VQR?

La valutazione degli Istituti del CNR

Gli enti pubblici di ricerca: realtà molto eterogenee

*

*

** **

* 6 enti su 12 fanno ricerca

Una simulazione sul comportamento dei ricercatori/tecnologi del CNR

700 ricercatori/tecnologi (20%) non inseriscono i dati ("mancante" nel gergo ANVUR)

diminuzione del punteggio del 36,7%

700 ricercatori/tecnologi (20%), inseriscono qualcosa (“non valutabile” nel gergo ANVUR)

diminuzione del punteggio del 53,3%

Alcune considerazioni

La valutazione va fatta, ma va fatta bene La metodologia va corretta La VQR è stata pensata dagli universitari per l’università La metodologia della VQR è inadatta per gli enti di ricerca La VQR penalizza gli enti di ricerca Utilizzare le valutazioni già svolte La valutazione deve essere adiuvante, non punitiva (le dichiarazioni di

Benedetto) Chiarire le modalità di utilizzazione dei risultati da parte dei policy maker La VQR sta modificando le regole del gioco

Le regole nel settore pubblico della ricerca stanno già cambiando

La domanda ricorrente:“ma mi vale come pubblicazione? “

La carta europea dei ricercatoriValutazione

“Il merito non dovrebbe essere valutato esclusivamente sul numero di pubblicazioni, …., ma dovrebbe essere ponderato con le attività di insegnamento e supervisione, il lavoro di équipe, il trasferimento delle conoscenze, la gestione della ricerca, l’innovazione e le attività di sensibilizzazione del pubblico”

“Oh, boy” Opera di Yves Obyn a Bruges

“Un fanatico ha costruito il suo aeroplano che, a causa dei difetti di progettazione e di costruzione, si è subito schiantato al suolo”

Riprendere il voloTornare a discutere di politica scientifica

Grazie dell’attenzione

E ora mettiamoci al lavoro