Seminario AIB Roma 13 novembre 2008 Misurazione e valutazione come .. MdG Misurazione e valutazione come strumenti di gestione, cambiamento e sviluppo Maurizio di Girolamo Maurizio di Girolamo Biblioteca di Ateneo Università degli Studi di Milano Bicocca Seminario AIB 13 novembre 2008
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Misurazione e valutazione come
strumenti di gestione, cambiamento
e sviluppo Maurizio di GirolamoMaurizio di Girolamo
Biblioteca di AteneoUniversità degli Studi di Milano Bicocca
Seminario AIB 13 novembre 2008
2Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Oggi parliamo di valutazione
• La valutazione: una brutta parola o tante parole da mettere insieme?
• Tutto quello che avremmo voluto sapere ma che non abbiamo mai osato chiedere… ancora
• Una sola domanda…
• … tante possibili risposte
3Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La “nuvola” della valutazione
4Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La misurazione, il monitoraggioe la valutazione della biblioteca
?
?
?
Valutare
A pproc c ioqualita tiv o
V alutare
Comprendereil presente
Balanc eds c orec ard
A pproc c ioquantita tiv o
E ffi ca cia
E ffi c i e n za
E co n o m i ci tà
Rilev az ion isistemat iche
Rilev az ion ioccasionali
M isu re
P ro ce ssi
Im p a tto
Co n tro l l o d i g e sti o n e
In d a g in i d i c l im a
P lu ri e n n a l e
A n n u a le
S e m e stra le
O u tco m e
In d i ca to ri
In d a g in i d i cu sto m e r
Fo cu s g ro u p
In te rvi ste stru ttu ra tese m i stru ttu ra ten a rra ti ve
Rice rca a zi o n e
Soddis f az ione degli utent i
Qualità de ls e rvizio
Budget
In f ras tru tture
Pianif ic are i lc am biam ento
A naliz z are i lpas s a to
V er if ic are g l iob ie tti vi
T a sso d i e rro re o d isco sta m e n to
Pres taz ion i
S ta ff
S e rvi zi tra d i z i o n a l i
S e rvi zi e l e ttro n i c i
Co n fo rm i tà a g l i sta n d a rd
E q u i tà
B a ck o ffi ce
Bis ognifo rm ati vi
M a p p a d e l l e co m p e te n ze
E m p o we rm e n t
T rim e stra l e
M e n si l e
P u b b l i ca zi o n e d i re p o rt d i si n te si a l i ve l l o a g g re g a to
In d a g in i d i cu sto m e s sa ti sfa cti o n
L a n cio d i n u o vi se rvi z i
In d a g in i q u a l i ta ti ve
In d a g in i su i b i so g n i fo rm a ti vi
E B L
In p u t
O u tp u t
M isu re d a ra cco g l i e reFo n tiM e to d o d i ri l e va zio n e
Quando misurare
Perchè misurarerac c ogliere informazioni per...
Come misurare
Fro n t o ffi ce
Cosa misurare
5Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione è…• l'insieme delle attività per esprimere un giudizio per un fine
decisionale; tale giudizio deve essere argomentato tramite procedure di ricerca valutativa che ne costituiscono elemento essenziale ed imprescindibile di argomentazione. Le espressioni di giudizio argomentate sulla base di dati e informazioni raccolti e analizzati per questo scopo, e finalizzate al sostegno della decisione, è ciò che distingue la valutazione scientifica e professionale dall'espressione di giudizi basati sul senso comune, su pregiudizi, su interessi di parte.
(Claudio Bezzi) http://www.valutazione.it
6Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La teoria: l’evoluzione dello La teoria: l’evoluzione dello “Scientific management”“Scientific management”
• La Misurazione (H. Ford, F. Taylor, 1920-30)
• PDCA = Plan, do, check, act (E. Deming, 1940-50)
• MBO = Manage by objective (P. Drucker, 1950-60)
• ABC = Activity base costing (1970-80)• Balance Scorecard (Norton-Kaplan
1990-2000)
7Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La teoria La teoria applicabileapplicabile alla pratica: alla pratica: i principi guida del New Public i principi guida del New Public
Management Management • Decentramento e autonomia della
gestione• Controllo delle spese• Informatizzazione• Misurazione delle prestazioni• Valutazione e incentivazione del
personale• Valutazione dell’impatto delle politiche
adottateLa governance nella PA
<http://www.governance.formez.it/>
8Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La performance come…
• Controllo di legittimità (adempimento burocratico) anni ’80
• Efficienza manageriale (efficienza, economicità, qualità) anni ’90
• Creazione di valore pubblico (risultati, effetti, impatti) anni 2000
Misurare per decidere La misurazione delle performance per migliorare le politiche pubbliche e i servizi (2007)
12,77%2,09%15,95%10,87%19,07%16,92%Psicologia Totale
3,85%2,09%4,42%5,46%9,30%8,92%Marzo
5,07%0,00%6,12%4,26%5,86%4,13%Febbraio
3,84%0,00%5,41%1,15%3,91%3,88%GennaioPsicologia
6,19%5,99%2,36%2,59%7,94%3,77%Informatica Totale
2,98%1,75%1,07%0,88%2,10%0,54%Marzo
2,64%2,69%1,07%1,39%1,87%1,25%Febbraio
0,57%1,55%0,21%0,32%3,97%1,97%GennaioInformatica
21,28%13,54%9,56%10,83%18,73%13,48%Formazione Totale
6,34%8,35%3,29%4,18%6,45%2,06%Marzo
7,02%3,70%3,65%2,79%7,14%3,79%Febbraio
7,93%1,48%2,62%3,86%5,14%7,62%GennaioFormazione
10,42%32,39%13,95%12,15%13,60%15,54%Economia Totale
2,33%13,06%3,43%4,62%3,03%7,76%Marzo
2,50%3,77%5,02%4,50%6,88%3,29%Febbraio
5,59%15,56%5,49%3,03%3,69%4,49%GennaioEconomia
21,84%30,24%35,39%45,40%10,41%27,29%Diritto Totale
6,48%9,70%15,22%19,51%2,93%5,83%Marzo
8,26%14,68%9,33%13,74%2,88%6,81%Febbraio
7,11%5,86%10,84%12,15%4,59%14,66%GennaioDiritto
FTEOutputFTEOutputFTEOutputMeseArea disc
OrdiniFascicoliAcquisizioni
DatiAttività
12,77%2,09%15,95%10,87%19,07%16,92%Psicologia Totale
3,85%2,09%4,42%5,46%9,30%8,92%Marzo
5,07%0,00%6,12%4,26%5,86%4,13%Febbraio
3,84%0,00%5,41%1,15%3,91%3,88%GennaioPsicologia
6,19%5,99%2,36%2,59%7,94%3,77%Informatica Totale
2,98%1,75%1,07%0,88%2,10%0,54%Marzo
2,64%2,69%1,07%1,39%1,87%1,25%Febbraio
0,57%1,55%0,21%0,32%3,97%1,97%GennaioInformatica
21,28%13,54%9,56%10,83%18,73%13,48%Formazione Totale
6,34%8,35%3,29%4,18%6,45%2,06%Marzo
7,02%3,70%3,65%2,79%7,14%3,79%Febbraio
7,93%1,48%2,62%3,86%5,14%7,62%GennaioFormazione
10,42%32,39%13,95%12,15%13,60%15,54%Economia Totale
2,33%13,06%3,43%4,62%3,03%7,76%Marzo
2,50%3,77%5,02%4,50%6,88%3,29%Febbraio
5,59%15,56%5,49%3,03%3,69%4,49%GennaioEconomia
21,84%30,24%35,39%45,40%10,41%27,29%Diritto Totale
6,48%9,70%15,22%19,51%2,93%5,83%Marzo
8,26%14,68%9,33%13,74%2,88%6,81%Febbraio
7,11%5,86%10,84%12,15%4,59%14,66%GennaioDiritto
FTEOutputFTEOutputFTEOutputMeseArea disc
OrdiniFascicoliAcquisizioni
DatiAttività
0
0,05
0,1
0,15
0,2
0,25
U2 U6 U8 U2 U6 U8 U2 U6 U8
Gennaio Febbraio Marzo
GdL Web / Linx
GdL Metalib/SFX
GdL Linx
GdL Aleph
Somma di FTE
Mese Sede
Attività
Dai numeri…
19Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
… alle parole (e oltre)
20Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
He uses statistics as a drunken man uses lampposts - for support rather than illumination
A. Lang
L’angolo del buon umore 2
21Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Statistics are like bikinis. What they reveal is suggestive, but what they conceal is vital
Aaron Levenstein
L’angolo del buon umore 3
22Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (1)
• Inizio rilevazioni quantitative: seconda metà anni ’90 (MURST) e nuovo impulso 2002-2003 (GIM)
• Indagini customer satisfaction: episodiche, soprattutto negli ultimi 3-4 anni
• Approccio qualitativo: molto scarso, se si eccettuano specifici ambiti di applicazione
, Maurizio di Girolamo, Perché misuriamo? : i sistemi bibliotecari di ateneo alle prese con il monitoraggio, tra entusiasmi e frustrazioni, Convegno AIB 2007, <http://www.aib.it/aib/congr/c54/mh.htm3>
23Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (2)
• Periodicità annuale con eccezioni sporadiche (spese, performance, carichi di lavoro)
• Controllo di gestione poco diffuso negli atenei e assente per gli SBA
La valutazione nei Sistemi Bibliotecari di Ateneo (3)
• Rapporto centro-periferia per raccolta ed elaborazione dati
• Coesistenza di dati imputati manualmente e dati derivati da sistemi informativi
• Sperimentazioni e analisi a livello decentrato (biblioteche di dipartimento)
25Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (4)
• Il monitoraggio come adempimento burocratico
• Le resistenze dello staff
• Le resistenze dei consigli scientifici
• Le eccezioni positive
26Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (5)
• Dati assoluti in serie storica• Benchmarking interno• Confronto con standard (GIM e non solo)• Risorse elettroniche• Indagini di customer satisfaction• Mancata correlazione fra analisi
quantitative e qualitative
27Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (6)
• Relazioni e rapporti annuali• Condivisione con lo staff e gli stakeholder• Pubblicazione dei dati e delle analisi
(Intranet vs Internet)• Occasioni particolari (comunicazioni,
pubblicazioni, …)• Eccezione: le indagini di customer
28Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (7)
• Atteggiamento “difensivo”– Analisi quantitative
• Atteggiamento “proattivo”– Analisi qualitative
• Comunicazione come condivisione
29Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (8)
• Ripartizione dei finanziamenti fra le strutture• Distribuzione del personale• Definizione e monitoraggio degli obiettivi di
struttura e dei dirigenti• Valutazione di singoli servizi, forniture• Politica delle collezioni (cartacee ed elettroniche)• Monitoraggio della formazione interna/esterna
30Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (9)
• Difficoltà di rapporto fra SBA e resto dell’Ateneo
• Mancanza di tempo/risorse da dedicare al monitoraggio
• Sottovalutazione dell’importanza della misurazione in termini di pianificazione del cambiamento
31Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
L’angolo del buon umore?
32Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Le indagini di OCLC• L’avvento del Web e la sempre maggiore confidenza degli utenti nei
confronti della rete, stanno, in effetti, rendendo evidente il fenomeno crescente della disintermediazione, o forse – più propriamente – iperintermediazione, informativa
• I motori di ricerca sono il punto di riferimento in assoluto più utilizzato, dal quale, secondo il report del 2005, ben l’84% degli intervistati parte per le proprie ricerche, contro l’1% di quelli che si rivolgono, inizialmente, al sito web della biblioteca
• Il 90% poi si ritiene soddisfatto dell’informazione ottenuta attraverso i search engines, soprattutto rispetto alla quantità e alla qualità delle informazioni ottenute
Andrea Marchitelli, AIB Notizie, 20, 2008 <http://www.aib.it/aib/editoria/n20/0413.htm3>
Il cambiamento è una questione
di SOPRAVVIVENZA
33Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
LIBQUAL+
My perception of the quality of service delivered
The level of service that I desire (can and should be delivered)
My minimum expectation of service(what I’m willing to accept)
“Gap” Model of Measuring Service Quality
Zoneof
ToleranceServiceAdequacyGap
Brown University Library’s Experience with LibQUAL+
BLC Output Measures WorkshopMay 27, 2003Boston Public Library
34Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Il Balanced Scorecard
Kaplan & Nortonhttp://www.balancedscorecard.org
35Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
I “Malcolm Baldridge Criteria”
<http://www.quality.nist.gov/>
36Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Would you recommend us to a friend?
<http://www.oclc.org/nextspace/005/1.htm>
37Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Pochi ma buoni…
• Measuring quality : performance measurement in libraries / Roswitha Poll, Peter te Boekhorst. - 2nd rev. ed. - München : K. G. Saur, 2007
• The evaluation and measurement of library services / Joseph R. Matthews. - Westport (Conn.) : Libraries Unlimited, 2007
• Measuring library performance : principles and techniques / Peter Brophy. - London : Facet, 2006
• The measure of library excellence / Despina Dapias Wilson, Theresa del Tufo and Anne E.C. Norman, Jefferson (N.C.) ; London : McFarland, c2008
38Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Per concludere…
"Obstacles are those frightful things you see when you take your eyes off your goal”