Pedagogia sperimentale & Tecniche di valutazione Cristiano Corsini
la valutazione finale: metodi e criteri
1) Processuale. In base ai lavori di gruppo (3/6 persone). Corsiste e corsisti saranno valutate/i in base al lavoro di validazione degli strumenti di valutazione educativa scelti.
2) Finale. Rilevazione e valutazione delleconoscenze acquisite tramite prova scritta ecolloquio orale.
2
«Valutare e misurare»
• Lezioni frontali (18 ore)
«Unione» dei due corsi.
I contenuti: funzioni, approcci, forme, strumenti, limiti, miti, luoghi comuni e potenzialità della valutazione educativa
• Laboratori (18 ore)
Scelta e validazione di strumenti / percorsi di valutazione educativa
3
Concetti & Strumenti
RicercaMisurazione
Valore Aggiunto
Efficacia
ValutazioneAuto
DocimologiaValidità
Affidabilità
4
Oggettività
Equità
Invalsi
CompetenzeProcessi
ProdottiConoscenze
I numeri sono una cosa. I giudizi sono una cosa diversa. I numeri sono una cosa precisa, i giudizi sono spesso confusi. Ci sarà del resto una
ragione perché tutti i fenomeni significativi sono misurati con i numeri. Un terremoto è misurato con i numeri della scala Mercalli o Richter. Il moto marino è misurato in base alla scala numerica della
«forza», la pendenza di una parete di montagna in base ai «gradi», la temperatura del corpo umano ancora in base ai «gradi». La mente
umana è semplice e risponde a stimoli semplici. I numeri sono insieme precisi e semplici. Il messaggio che trasmettono è un
messaggio diretto. Se gli stessi fenomeni – terremoto, moto marino, pendenza, temperatura corporea – fossero espressi non con i numeri
ma attraverso frasi complesse con finalità descrittive, il messaggio resterebbe impreciso.
5
G. Tremonti, Il passato e il buon senso“Corriere della Sera”, 22 agosto 2008
John Dewey
c’è sempre qualche osservazione del risultato ottenuto in paragone e in contrasto con quello atteso, in modo che il paragone getti luce sulla effettiva adeguatezza delle cose adoperate come mezzi
Teoria della valutazione, 1939
Nella valutazione…
7
Jaap Scheerens
Giudizio del valore di oggetti educativi emesso sulla base di una raccolta sistematica di informazioni, al fine di sostenere i processi decisionali e l’apprendimento
Autovalutazione e uso delle informazioni nella scuola
orientata ai risultati, 2000
La valutazione
in educazione
8
Egle Becchi, Vega ScaleraAccertamento intersoggettivo di più dimensioni formative e organizzative di un contesto educativo e indicazione della loro misurabile distanza da espliciti livelli considerati ottimali da un gruppo di riferimento, in vista di un’incidenza concreta sull’esperienza educativa
Cit. in Bondioli, Verso un modello di
valutazione formativa, 2004
9
NA
SC
ITA
E S
VIL
UP
PI D
ELLA
DO
CIM
OLO
GIA
Scarti
Medi
Scarti più
frequenti
Scarti
massimi
Vero voto
N. minimo
Valutatori
Composizione francese 3,3 6 e 7 13 78
Versione dal latino 3,0 5 12 19
Inglese 2,2 4 9 28
Matematica 2,0 4 9 13
Filosofia 3,4 5 e 7 12 127
Fisica 1,9 4 8 16
Analisi dello scarto dei voti (scala da 1 a 20) assegnati da 30 docenti suddivisi in 6
gruppi alle prove finali del Baccalauréat (Piéron 1963)
NA
SC
ITA
E S
VIL
UP
PI D
ELLA
DO
CIM
OLO
GIA
10
Scarto = differenza tra due voti
assegnati alla stessa prova
• Legare concetti astratti a indicatori empirici
• Costruire il rapporto tra il concetto astratto e la risposta che dovrebbe rappresentarlo
es. Comprensione della lettura
1. Costruire un modello delle relazioni tra i concetti alla base della Comprensione della lettura
2. Ricercare le relazioni tra concetti e indicatori
3. Misurare gli indicatori
Esempio. Un Modello del concetto “Comprensione della lettura”
misurare
Caratteristiche di uno strumento di misura
Validità. Uno strumento è valido se misura quello che, attraverso il suo impiego, si intende misurare.
Affidabilità. Uno strumento è affidabile se, sottoposto allo stesso stimolo, fornisce la stessa misura.
Nella misurazione, attribuiamo dei valori
numerici a oggetti o ad eventi secondo regole
che permettono di rappresentare caratteri
degli oggetti o eventi n questione con
proprietà del sistema numerico.
In teoria, alle variabili di tipo qualitativo
possiamo assegnare solo nomi e non numeri,
tuttavia nella pratica è comune etichettare
variabili qualitative con numeri.
E' necessario ricordare però che in questi casi
i numeri non hanno le proprietà del sistema
numerico.
Una distinzione comunemente adottata è
quella che divide le scale di misura in quattro
categorie.
NOMINALI
ORDINALI
DI RAPPORTI
A INTERVALLI
la validità di una misura
La validità è la capacità di una misura di misurare proprio quel che intende
misurare
Ciò che è possibile validare non è mai uno strumento in sé, ma uno
strumento in relazione allo scopoper il quale viene costruito
Ciò che a noi interessa che abbia validità non è tanto lo strumento
quanto una particolare interpretazione dei dati ricavati dal
suo utilizzo
è possibile che uno strumento sia valido per misurare un fenomeno
diverso da quello che vogliamo misurare
la validità di contenuto
Il contenuto della prova è appropriato agli intenti di misura della prova?
es. per la misurazione del concetto “comprensione della lettura”, si deve
1 Definire in maniera operativa il concetto
(“tradurlo in comportamenti osservabili”)
... le domande che possono aiutarci in queste fasi:
a) la nostra definizione include tutti gli aspetti importanti del concetto?
b) la nostra definizione esclude qualcuno tra gli aspetti importanti del concetto?
2 Scegliere i testi in modo che siano adatti allo scopo
3 Scegliere gli indicatori per rappresentare il concetto
c) la scelta degli indici ha escluso aspetti importanti della nostra definizione?
4 SARÀ NECESSARIO CHE CIASCUNA
ABILITÀ VENGA RILEVATA DA MOLTI ITEM
verifica della validità di un test confrontando i suoi risultati con altre misure della stessa abilitàrilevate in modo indipendentesi tratta dunque di utilizzare un’altra misura come CRITERIO pervalidare la primaun modo molto semplice per validare secondo criterio è quello di prendere i punteggi di un test e verificare se sono correlaticon punteggi che l’insegnante ha attribuito in modo autonomo ai suoi studenti
la validità del criterio
si riferisce alla bontà di un test giudicata sulla base di quanto i punteggi ricavati dalla prova hanno senso in relazione alle nostre teorie
Come la validità di contenuto, anche la validità di costrutto può essere verificata solo in relazione a un modello teorico
Le operazioni necessarie per verificare la validità del costrutto prevedono la costruzione di una teoria (definizione di concetti e dei loro rapporti), la scelta di indicatori per ciascun concetto, la misurazione dei concetti, il calcolo delle correlazioni tra gli indici dei concetti misurati e il confronto tra queste correlazioni empiriche e quelle ipotizzate teoricamente tra i concetti
la validità di costrutto
si riferisce alla bontà di un test
valutata in base
al suo ASPETTO
da parte di persone che
non hanno esperienza di testing
L’aspetto condiziona l’accettazione,
l’uso e la circolazione di un test.
In una prova che propone
domande irrilevanti o inutili
agli occhi della popolazione
cui è destinata,
l’aspetto finisce con il condizionare
la validità delle misure,
generando resistenze o
superficialità nelle risposte
la validità di aspetto
Indicazioni per costruire prove «oggettive»Avvertenze Motivazioni
Il linguaggio (termini e struttura delle proposizioni) non sia inutilmente complicato ma sia adeguato ai destinatari (V)
La misurazione degli obiettivi sarebbe accompagnata o filtrata dalla misurazione delle abilità linguistiche riguardanti tali complicazioni
Gli stimoli siano brevi ed essenziali, nella misura del possibile. (V)
Si perde meno tempo, si provoca minore stanchezza.
Non fare tranelli (V) Si misurerebbe l’abilità di sfuggire ai tranelli.
Non chiedere cose banali o sciocche (V). Si misurerebbero conoscenze inutili.
Non fare domande alle quali si possa rispondere solo in base al buon senso o alla cultura generale (V).
Si misurerebbe il buon senso e la cultura generale.
Le risposte sbagliate non siano ingenue né raffinate, ma adeguate alla preparazione dei destinatari (V) (A).
Si misurerebbero acquisizioni estranee agli obiettivi perseguiti. Taluni soggetti potrebbero trovarsi in difficoltà.
Citare un autore, se si fanno riferimenti a quanto egli abbia detto o scritto (A).
Non si saprebbe altrimenti riconoscere come vere o false le asserzioni riportate.
La collocazione delle risposte esatte non deve essere preordinata (ad esempio VFVFVFVFVF, oppure VVFFVVFFVVFF) (AS).
Qualcuno potrebbe scoprirla
Non utilizzare mai ‘pezzi’presi tali e quali da libri usati per lo studio (AS).
Qualcuno li potrebbe avere memorizzati o ritrovarvi più facilmente la risposta esatta.
Ciascuna domanda sia indipendente dalle altre (AS)Chi scoprisse i collegamenti potrebbe essere facilitato.
Adattate da Gattullo, Giovannini, Misurare e valutare l’apprendimento nella
scuola media, 1989, Milano
Posizione e soluzione del problema1. La domanda deve focalizzare un solo problema o concetto, esprimendolo con precisione per
evitare incertezze e confusioni nella scelta della risposta.2. I distrattori devono essere plausibili rispetto al problema considerato. Ogni distrattore deve,
per contenuto e natura, risultare in qualche modo collegato alla domanda.Formulazione linguistica3. La domanda deve essere formulata in forma semplice ed esplicita. Il corpo della domanda
dovrebbe essere formulato da una frase in forma interrogativa o affermativa.4. Nei quesiti relativi alla comprensione di testi, usare un linguaggio simile (per difficoltà e in
relazione ai destinatari) a quello del testo a cui si riferisce.5. I distrattori e la risposta esatta devono essere formulati in modo omogeneo, per struttura
sintattica e per lunghezza.6. Le risposte esatte e i distrattori non dovrebbero ripetere termini usati nella domanda o, nel
caso di prove di comprensione della lettura, nel testo.7. Le alternative di risposta non dovrebbero contenere avverbi quali sempre, tutti, ogni,
dappertutto che inducono a credere nell’inesattezza delle risposte che li contengono.8. Allo stesso modo è bene evitare l’uso di termini come quasi sempre, spesso, qualche volta, che
inducono a credere nell’esattezza delle alternative. Unica eccezione il caso in cui queste espressioni siano usate in una scala graduata:sempre, quasi sempre, talvolta, quasi mai, mai.
9. Le domande dovrebbero evitare di contenere negazioni semplici o doppie. Se è proprio indispensabile, è consigliabile evidenziare la negazione in neretto, con sottolineatura o scrivendola in maiuscolo.
10. Le risposte contenenti cifre o quantità disporle in ordine crescente o decrescente.11. Le alternative di risposta: nessuna di queste, sia a che b, tutte le precedenti sono da evitare12. Le alternative di risposta devono accordarsi grammaticalmente con la domanda posta13. Le parole comuni usate nella alternative di risposta devono essere spostate nel corpo della
domanda.
Organizzazione dei quesiti14. I quesiti devono essere tra loro indipendenti per evitare che l’uno suggerisca la
risposta all’altro.15. Le risposte date in precedenti quesiti non devono essere usate come distrattori o
come risposte esatte in altri quesiti.16. La collocazione della risposta esatta deve variare all’interno di una prova, in modo
che nel complesso le risposte esatta non corrispondano tutte alla stessa lettera.Convenzioni grafiche17. Le alternative di risposta dei quesiti che terminano con il punto interrogativo devono
cominciare con la maiuscola18. Le alternative dei quesiti a completamento devono iniziare con la minuscola.19. Alla fine di ogni alternativa di risposta si usa per convenzione il punto20. Il corpo della domanda, nelle forme a completamento, non termina con i due punti o
con i puntini sospensivi, tranne nel caso in cui si riportano nelle risposte degli elenchi.
21. Le alternative di risposta vanno elencate e non disposte una di seguito all’altra.