Valutazione del servizio di reference: anno 2015 · reference del 2015, per confrontarli con quelli emersi dall’indagine. ... antropologia. Alcuni utenti specificano il corso di

Valutazione del servizio di reference: anno 2015

A cura dell’Ufficio Formazione, Sviluppo e Promozione della

Biblioteca di Ateneo di Milano-Bicocca

Aprile 2016

• Premessa

• Oggetto dell’indagine

• Finalità dell’indagine

• Modalità dell’indagine

• Il questionario

• Criteri di analisi dei dati

• Campione esaminato

• Esiti dell’indagine

• Considerazioni sull’indagine

• Propositi post indagine

• Appendice

Sommario

Premessa [1]

Questa indagine sul reference riguarda le sessioni di

reference specialistico realizzate nel 2015.

Nel 2015 è stato adottato lo stesso strumento di

rilevazione degli anni 2011-14 per confrontare i risultati.

Negli anni 2008, 2009 e 2010 sono state realizzate altre

indagini sul servizio di reference, adottando però uno

strumento di rilevazione più analitico.

I rapporti di ricerca sono stati condivisi con tutti i colleghi

della biblioteca che si occupano del reference specialistico

per le varie aree disciplinari.

Premessa [2]

Con lo strumento di valutazione del reference adottato

dal 2011, la Biblioteca di Ateneo ha voluto utilizzare una

tecnica di rilevazione della customer satisfaction innovativa:

il «Net Promoter Score».

Questa tecnica, introdotta nel 2003, si basa sulla

misurazione della fedeltà dei clienti come indice

significativo della loro soddisfazione e delle probabilità di

successo di una organizzazione che eroga servizi.

La valutazione ruota intorno ad un’unica domanda

strategica, individuata dopo anni di ricerche: «Quanto è

probabile che raccomandi questa azienda (o questo servizio)

a un amico o collega su una scala da 0 a 10?».

Oggetto dell’indagine [1]

Il servizio di reference della Biblioteca di Ateneo è offerto a

tutti gli utenti interni e agli utenti di enti convenzionati e

consiste in un’attività di supporto fornita dal personale

bibliotecario per effettuare una ricerca bibliografica (su

cataloghi, banche dati, riviste elettroniche, siti internet).

Nella Sede Centrale e nella Sede di Medicina il reference

viene erogato su appuntamento e per ciascuna area

disciplinare c’è un bibliotecario di riferimento; il reference

è individuale e ha una durata compresa tra 1 e 2 ore.

Per l’area di Scienze della Formazione spesso viene effettuato il “reference collettivo”, cioè un incontro con 2 o 3 utenti, al fine di ottimizzare i tempi, a fronte dell’alto numero di richieste e della scarsa disponibilità di risorse.

Oggetto dell’indagine [2]

Ricordiamo che da aprile 2014 si è deciso di reindirizzare

sulla piattaforma di e-learning le richieste di supporto

più generiche, riservando il servizio di reference su

appuntamento a un livello di richiesta più specialistico.

Questa riorganizzazione si è realizzata compiutamente per

l’area di Medicina e in buona parte per l’area di

Psicologia, poiché il materiale didattico online è molto

ricco.

Presso la Sede di Medicina il servizio viene erogato in presenza

o a distanza per docenti, specializzandi, dottorandi, personale

tecnico-amministrativo e personale dell’Ospedale San Gerardo.

Gli studenti possono utilizzare le videoguide e i test di

autovalutazione dell’Area Medica su Biblio E-learning.

Finalità dell’indagine

• Raccogliere dagli utenti un feedback sul servizio di

reference attraverso una tecnica di rilevazione sintetica.

• Conoscere i principali motivi di soddisfazione o

insoddisfazione rispetto al servizio di reference.

• Scoprire eventuali aree di miglioramento del servizio.

• Realizzare l’indagine su tutte le aree disciplinari e

raccogliere un feedback «a caldo».

• Utilizzare la tecnica «Net Promoter Score», che si è

rivelata molto efficace.

Modalità dell’indagine

Questionario somministrato attraverso un form online,

segnalato con una email inviata a tutti gli utenti, subito

dopo la fruizione del servizio.

Indagine con metodo misto (quantitativo e qualitativo);

questionario con diversi tipi di domande:

• domande chiuse, per misurare il livello di fedeltà e

raccogliere varie informazioni

• domande aperte, per far emergere considerazioni e

suggerimenti.

Il questionario

• Il questionario raccoglie varie informazioni sugli utenti:

tipologia, corso di laurea (solo per studenti), ambito della

ricerca, mese della sessione.

• Si rileva inoltre il canale di comunicazione attraverso

cui si è venuti a conoscenza del reference.

• La domanda cruciale per misurare il livello di

fedeltà/soddisfazione in una scala 0-10 è: «Quanto è

probabile che consigli il reference a un amico o un collega?»

• Le ultime due domande del questionario rilevano i motivi

del punteggio attribuito e raccolgono suggerimenti per

migliorare il reference.

Criteri di analisi dei dati

Domande chiuse

Si riportano grafici che restituiscono i risultati emersi

dall’indagine.

Nota: in appendice si riportano i grafici relativi ai dati statistici sul

reference del 2015, per confrontarli con quelli emersi dall’indagine.

Domande aperte

Sono state individuate categorie di risposta e si riporta una

sintesi dei concetti espressi, con un linguaggio aderente ai

testi originali.

Nota: i numeri indicano le ricorsività rispetto alle categorie di risposta

individuate; alcuni non esprimono commenti e altri esprimono concetti

riconducibili a più categorie. La compilazione della risposta relativa alle

motivazioni del punteggio attribuito è stata resa obbligatoria.

Campione esaminato [1]

Destinatari del questionario: 78 utenti, che hanno

utilizzato il servizio di reference nel 2015 (v. appendice).

Rispondenti al questionario: 33 utenti, pari al 42% della

popolazione di riferimento.

Le percentuali di rispondenti rispetto agli utenti del reference

suddivisi per area disciplinare sono le seguenti:

• 15 di Scienze della Formazione: 83%

• 9 di Economia: 47%

• 4 di Sociologia: 80%

• 2 di Scienze MMFFNN: 100%

• 1 di Psicologia: 20%

• 1 di Statistica: 100%

• 1 di Medicina: 3%

Campione esaminato [2]

Rispetto al numero di valutanti, prevale l’area disciplinare di Scienze

della Formazione (15), seguita da Economia (9). Pochi sono i valutanti

per Sociologia (4), Scienze MMFFNN (2), Medicina (1), Psicologia (1) e

Statistica (1).

Esiti dell’indagine [1]

Rispetto alla tipologia di utenti, la maggioranza dei valutanti è

rappresentata da laureandi (26).

Pochi gli studenti (4), i dottorandi (2) e il personale tecnico-

amministrativo (1).

Esiti dell’indagine [2]

Il maggior numero di valutanti è costituito da iscritti a corsi di laurea

Magistrale (12). Seguono gli iscritti ai corsi di laurea Triennale (7) e a

Ciclo Unico (9). Alcuni non specificano il tipo di corso di laurea (5 di cui 3

non erano tenuti a farlo).

Esiti dell’indagine [3]

Il grafico relativo alla domanda sull’ambito della ricerca coincide con

quello relativo alla suddivisione del campione per area disciplinare,

poiché l’unico rispondente dell’area medica ha selezionato come ambito

di ricerca «ostetricia»; negli anni precedenti, invece, gli ambiti di ricerca

riconducibili all’area medica erano diversi.

Esiti dell’indagine [4]

Un solo utente aggiunge un altro ambiti della ricerca, oltre a

quello selezionato dalla domanda a risposta chiusa, poiché il

proprio tema era interdisciplinare (1): scienze MMFFNN e

antropologia.

Alcuni utenti specificano il corso di laurea (3): Scienze

della Formazione Primaria, Scienze dell’Educazione, Servizio

Sociale.

Diversi utenti specificano invece l’argomento di tesi (7):

«marketing», «turismo della memoria», «private label,

grande distribuzione», «immigrazione-shock culturale» etc.

Altri ambiti della ricerca

Esiti dell’indagine [5]

La maggioranza dei rispondenti ha usufruito del reference nei mesi di

ottobre e maggio (5). Seguono i mesi di aprile e novembre (4).

Esiti dell’indagine [6]

La maggioranza dei rispondenti al questionario è venuta a conoscenza

del reference da un amico (11), da un docente (10) o da un

bibliotecario (6).

I restanti ne sono venuti a conoscenza dal sito web della biblioteca (3) o

dai volantini sui servizi bibliotecari (1).

Alcuni lo hanno saputo attraverso altri canali (2).

Esiti dell’indagine [7]

Altri canali di comunicazione

Alla domanda che chiede di specificare eventuali altri canali

di comunicazione rispondono 5 utenti, di cui:

• uno ha risposto «altro» alla precedente domanda chiusa

(menù a tendina per selezionare un tipo di risposta)

• quattro specificano un secondo canale di comunicazione.

Le risposte sono riconducibili alle seguenti categorie:

• Volantini sui servizi bibliotecari (2)

• Bibliotecario (1)

• Amico (1)

Uno invece ha scritto una email a [email protected] (1).

Esiti dell’indagine [8]

I 33 utenti valutanti si dividono nelle seguenti categorie:

Promotori (valutazione 9-10): 28 (di cui 21 valori 10)

Passivi (valutazione 7-8): 2 (di cui 2 valori 8)

Detrattori (valutazione 0-6): 3 (collocati nei valori 6, 5 e 4 )

Nota: la media (9,2) e la mediana (10) in questa tecnica non sono significative.

«Quanto è probabile che consigli il

reference a un amico o un collega?» in una scala da 0 (del tutto improbabile)

a 10 (del tutto probabile).

Il «Net Promoter Score» (NPS) è ottenuto dalla

percentuale dei Promotori (valutazione 9-10)

meno la percentuale dei Detrattori (valutazione

0-6), escludendo i Passivi (valutazione 7-8).

Un valore NPS +50 (valori compresi tra –100 e

+100) è considerato eccellente.

Il valore NPS del reference è +76.

Esiti dell’indagine [9]

Motivi del punteggio attribuito [1]

I motivi principali del punteggio attribuito sono riconducibili

alle seguenti categorie:

• Efficacia (25): il reference è ritenuto «molto utile», «di

aiuto» (21); alcuni specificano che è indispensabile per chi

prepara la tesi di laurea o di dottorato (8), per reperire

materiale e scoprire risorse e servizi (8) o per imparare a

fare una ricerca (5); altri evidenziano il fatto che da soli non

sarebbero riusciti (2);

• Qualità del personale (16): molti hanno apprezzato il

lavoro dei bibliotecari sia sul piano emotivo, per disponibilità,

cortesia ed empatia (15), sia sul piano cognitivo, per l’alta

competenza, chiarezza ed esaustività (11).

Esiti dell’indagine [10]

Motivi del punteggio attribuito [2]

Uno esprime la propria soddisfazione: «Ritengo sia un

ottimo servizio che merita di essere usufruito anche da altri

miei colleghi studenti». Un altro apprezza la «prontezza»

con cui è stato erogato il servizio.

I tre utenti che hanno attribuito un punteggio compreso

tra 4 e 6 hanno espresso le seguenti motivazioni, che

sono negative solo in parte: «Credo sia un servizio utile

per conoscere i vari servizi che offre la biblioteca d’ateneo»;

«A mio avviso è un servizio utile per scoprire alcuni servizi

che non vengono pubblicizzati in alcun modo»; «Non è una

consulenza personalizzata».

Esiti dell’indagine [11]

Suggerimenti per migliorare il reference

I suggerimenti di miglioramento del reference (9) sono

riconducibili alle aree seguenti:

• Promozione (6): pubblicizzare di più il servizio, anche sul

sito di ateneo e sui social network;

• Efficienza (2): ridurre la durata per Psicologia; invitare gli

studenti a seguire tutorial online per Scienze della

Formazione, così da focalizzarsi su esigenze specifiche

durante l’incontro;

• Efficacia (1): fare incontri individuali per Scienze della

Formazione.

Uno sottolinea che è stato fatto «un lavoro eccezionale» (1).

Considerazioni sull’indagine [1]

La valutazione molto positiva del servizio, cresciuta

rispetto a quella del 2014 (NPS da +71 +76), si basa

principalmente su due aspetti:

• l’utilità del reference e quindi la sua efficacia;

• la qualità dello staff riconducibile sia alla dimensione

cognitiva che a quella emotiva del servizio.

Solo il 27% dei rispondenti esprime suggerimenti di

miglioramento.

Considerazioni sull’indagine [2]

Le risposte relative ai canali di comunicazione attraverso cui

si è venuti a conoscenza del reference, da una parte

confortano sull’impegno profuso dalla Biblioteca di Ateneo

nella comunicazione esterna attraverso varie modalità

scritte e orali (sito web, newsletter mensile, volantini sui

servizi, bibliotecari), dall’altra fanno riflettere

sull’importanza del passaparola tra studenti e sulla

promozione più generale della biblioteca realizzata dai

docenti.

Propositi post indagine [1]

Riflettendo sugli esiti dell’indagine e facendo i conti con

alcuni limiti strutturali, si possono individuare i seguenti

propositi di miglioramento:

• promuovere di più i seminari e collaborare di più con

docenti e ricercatori;

• valorizzare Biblio E-Learning, la piattaforma per

favorire l’autoapprendimento (attraverso tutorial,

audio/videoguide, quiz etc.) e per erogare corsi a distanza;

• confrontarsi tra le sedi per consolidare le «buone

pratiche» e ottimizzare le risorse dedicate al reference.

Propositi post indagine [2]

Come per le precedenti indagini sul reference, ci si propone

inoltre di:

• condividere con i colleghi gli esiti dell’indagine, al fine di

individuare insieme good practices e aree di miglioramento;

• diffondere il rapporto di indagine tra i vari stakeholders,

tramite sito web, mailing list, pubblicazioni etc., per

valorizzare il feedback degli utenti e per condividere

esperienze nell’ambito bibliotecario;

• realizzare un’indagine analoga per il 2016, invitando

gli utenti a comunicare un feedback subito dopo la sessione

di reference, per il benchmarking interno dei risultati.

Appendice [1]

Stando ai dati registrati dai bibliotecari, nel 2015 hanno usufruito del

reference 78 utenti, così suddivisi per area disciplinare: 29 di Medicina,

19 di Economia, 18 di Scienze della Formazione, 5 di Sociologia, 5 di

Psicologia e 2 di Scienze MMFFNN.

Appendice [2]

La quasi totalità degli utenti del reference è costituita da studenti o

laureandi (62). I restanti utenti sono docenti e ricercatori (6), dottorandi

o specializzandi (3) e utenti dell’Ospedale San Gerardo (1). Rientrano nella

categoria «altro» utenti esterni e personale amministrativo.

Appendice [3]

La maggioranza degli utenti del reference è costituita da iscritti a corsi di

laurea magistrale (26). Seguono gli iscritti a corsi di laurea triennali

(20) e gli iscritti ai cicli unici (17). Per alcuni – dottorandi, masteristi,

docenti etc. – il dato non è rilevabile (15).

Appendice [4]

Complessivamente il picco di attività di reference si è verificato nei mesi

di marzo, febbraio e maggio, mentre nei mesi estivi c’è stata una

bassa affluenza di utenti. Analizzando i dati statistici del 2015 si sono

però notate forti differenze di andamento del servizio tra la Sede di

Medicina (U8) e le altre due sedi (U6 e U2).

Appendice [5]

Nella Sede di Medicina (U8) il picco di attività di reference si è

verificato nel mese di febbraio (7 utenti).

Non è stato effettuato il reference non solo nei mesi estivi ma anche a

novembre.

Appendice [6]

Nella Sede Centrale (U6) e nella Sede di Scienze (U2) il picco di

attività di reference si è verificato nei mesi di marzo, maggio, ottobre e

novembre (7 utenti). L’affluenza di utenti è stata bassa nei mesi di

gennaio e giugno (2 utenti), escludendo agosto in cui si verifica la

chiusura estiva.

Appendice [7]

Da una lettura longitudinale dei dati statistici sul reference dal 2011 al

2015, si nota il numero di utenti è progressivamente calato, con

l’incremento dei seminari sulla ricerca bibliografica. Dal 2014, con la

riorganizzazione del servizio presso la Sede di Medicina, il numero di

utenti si è ridotto notevolmente, al fine di ottimizzare le risorse e di

potenziare l’uso della piattaforma di e-learning.

Contatti

per saperne di più…

Dott.ssa Ilaria Moroni

Ufficio Formazione, Sviluppo e Promozione

Biblioteca di Ateneo

Università degli Studi di Milano – Bicocca

Piazza dell’Ateneo Nuovo 1

20126 Milano

Tel. 02/6448.6272

E-mail: [email protected]

Sito web: www.biblio.unimib.it