La valutazione massiva della ricerca: costi e benefici

La valutazione massiva della ricerca:

costi e benefici

Alberto BacciniDipartimento di economia politica e statistica, Università di Siena; Redazione Roars

Università e valutazione

Milano, 9 giugno 2017

Di quale valutazione stiamo parlando

La valutazione della ricerca di cui si parla non è quella

compiuta dagli studiosi, da pari a pari, bensì quella

imposta dallo stato, dai ministeri e dalle agenzie di

nomina politica (Pievatolo 2017)

La valutazione di cui si parla è autoritaria (dispotica)

perché basata sull’autorità conferita dal governo al

valutatore

Non contano gli argomenti (come nella discussione

scientifica), ma le decisioni dell’autorità che ha il potere

di valutare

Le parole sono le cose

Gli addetti alla ricerca

Producono i prodotti della ricerca

che sono sottomessi o conferiti all’Agenzia/commissione/governo

per la valutazione «Conferimento obbligatorio» all’ammasso dei prodotti agricoli (specialmente grano)

per poter controllare e calmierare il costo delle materie prime per l’alimentazione in

caso di crisi

G. Manfredi (Presidente CRUI): «Solo attraverso una rigorosa politica del merito e della qualità potremo contemporaneamente stimolare le eccellenze ed elevare il livello medio del nostro sistema ... D’altra parte, l’università italiana è l’unico comparto della PA ad essersi già sottoposto alla valutazione dell’ANVUR, un’agenzia terza»

discorso di insediamento

23.09.2015

Gli argomenti per giustificare la valutazione sono

stati digeriti dalla comunità accademica

Argomento 1. Così fan tutti

Argomento 2. I benefici della valutazione superano

sicuramente i suoi costi

Argomento 3. I professori devono rendere conto al

contribuente del loro lavoro

Argomento 4. La valutazione serve ad individuare le

«code basse» (i.e. i fannulloni)

Argomento 5. La valutazione spinge comunque a

comportamenti desiderabili

Precedenti storici recenti

Precedenti storici recenti

La politica universitaria di Margareth Thatcher UK: RAE 1986

«it was Leninism» (S. Jenkins, Thatcher and Sons)

Così fan davvero pochi

La valutazione massiva ex post della ricerca è

adottata da molti paesi?

No. Solo da UK e Italia

«The UK and Italy are the only countries that have implemented a Peer

Review Based Research Assessment system that (potentially) evaluate all

academic staff in order to allocate research funding» (Aldo Geuna and

Matteo Piolatto, 2016)

L’Italia è l’unico paese a concentrare in una unica agenzia ANVUR tutte le

funzioni di valutazione (didattica, ricerca, amministrazione, trasparenza).

ANVUR ha il consiglio direttivo più costoso del mondo (Baccini 2013,

2015)

E’ vero che i benefici della valutazione sono

superiori ai costi?

Stefano Fantoni (ANVUR)

«Stiamo lavorando con 10 milioni di

euro, dei quali in questo momento

stiamo usando solo quelli che ci

sono stati assegnati che sono 6,4

milioni. Questa cifra rappresenta

l'1,2% della distribuzione premiale»

http://www.flcgil.it/web-cronache/2012/05-17-tavola-

rotonda-anvur-e-politiche-di-sistema/15.00.00

Quanto costa davvero la valutazione?

La VQR1 è costata tra 150 e 300 milioni di €

Stima del tutto in linea con i costi del UK-REF

REF2014: technopolis UK £246m

Geuna-Piolatto 2015 max 164m/€!

VQR1: Sirilli: €300m Sirilli

Geuna Piolatto 2014: €182m

Geuna-Piolatto 2015: €71m

Stime a confronto

La valutazione serve a distribuire risorse

per evitare sprechi

Quanto pesa la VQR nella distribuzione dell’FFO

premiale?

€ 725,1 milioni

€ 57,5 milioni

Daniele Checchi (ANVUR): «Ma da

noi c’era il problema che una parte

dell’Accademia non scrive proprio. La

prima edizione della valutazione della

ricerca è servita a rendere trasparente il

fatto che nelle università c’era un 8 per

cento di inattivi, vale a dire di ricercatori

che non producevano nemmeno un

lavoro all’anno»

Corriere della Sera 1 marzo 2017

Quanto è costato scovare i fannulloni?

Per scovare ogni fannullone si sono spesi tra:

82.465€ - 135.931€

Ma gli inattivi ci sono solo in Italia?

NO. Sono «connaturati» al lavoro scientifico

La valutazione serve per ridurre gli inattivi?

INATTIVI

Andrea Bonaccorsi: «Non esiste

una evidenza empirica robusta sul

fatto che la valutazione o anche i

sistemi di publish or perish, inducano

nel lungo periodo effetti distorsivi

permanenti sulla ricerca»

La valutazione possibile, p. 170

Ma una valutazione massiva ex post della

ricerca serve davvero?

In summary, the evidence indicates that

performance-informed (with or without a formal link

between perfomance and funding) does indeed increase the

pressure on researchers and institutions to meet the

performence criteria, irrespective of wheteher the

latter are based on peer review or on citations. This

is clearly an intended effect. […] The research

community respond strategically, and this may in

turn create unintended effects, either through the

mechanism of goal dispacement or through more

structural changes in research priorities, publication

activities, or research capacities and organization» (P.

Wouters, 2014)

Se la parola dell’autorità non vi basta…

Se invece non credete all’autorità…

htt

p:/

/w

ww

.ecn

s.cn

/2017/

05-0

2/

255644.s

htm

l

Gaming

Cosa resta degli argomenti digeriti dall’accademia

per giustificare la valutazione?

Argomento 1. Così fan tutti

Argomento 2. I benefici della valutazione superano

sicuramente i suoi costi

Argomento 3. I professori devono rendere conto al

contribuente del loro lavoro

Argomento 4. La valutazione serve ad individuare le

«code basse» (i.e. i fannulloni)

Argomento 5. La valutazione spinge comunque a

comportamenti desiderabili

Q1. A che serve davvero la valutazione massiva della

ricerca?

1. Per placare «semi-outsiders: funders, governements,

university administrators a suspicious general public» in

cambio di risorse

2. Come strumento di controllo dei comportamenti

accademici da parte dei governi (Foucault)

3. Come screening device del capitale all’epoca della

«società della conoscenza» (Cognitive capitalism)

In cambio di risorse

La valutazione massiva della ricerca sta sottoponendo

l’attività di ricerca al controllo diretto ed autoritario del

principe:

«Se lo stato sceglie di usare direttamente il proprio potere …

farà valutare la ricerca offrendo l’uso della sua spada agli

studiosi più propensi ad assecondarlo. Otterremo, così, una

scienza di stato che non solo conterrà e imporrà - come nelle

pagine più buie della storia del Novecento - errori di stato, ma

sarà anche sistematicamente d’ostacolo a ogni libero e serio

dibattito scientifico.» (Pievatolo 2017)