Page 1
Roberto Ricci Agenzia Nazionale per lo Sviluppodell’Autonomia Scolastica (ex I.R.R.E. – E.R.)
[email protected] ://www.irreer.it/~ricci/
Castelfranco Emilia, 28 maggio 2008
METODI E TECNICHE PER LA VALUTAZIONE DELLE PROVE OGGETTIVE
Corso di formazione ADi
Page 2
Statisticamente tutto si spiega,
personalmente tutto si complica.
(Daniel Pennac, Diario di scuola, 2008)
Page 3
Il contesto teorico di riferimento
Page 4
Misurazione delle conoscenze
Scelta e validazione dello strumento di valutazione
questionario
Trasformazione della misurazione
punteggio su scala arbitraria
Page 5
Caratteristiche dello strumento di misurazione
Tutte le domande (o loro sottogruppi) devono misurare lo stesso costrutto latente dimensione dello spazio latente
Delle domande occorre verificare le proprietà psicometriche calibrazione
Ogni tipologia di domanda implica un modello statistico ad hoc per la sua valutazione
Page 6
La valutazione statistica dei risultati
Item Response Theory:
La performance di un soggetto è espressa in funzione di una (o più) abilità latente
Definizione e specificazione di un modello matematico che esprime la performance in funzione dell’abilità latente
Espressione numerica dell’abilità e delle caratteristiche delle domande
Comparabilità dei risultati in termini di abilità Indipendenza dal campione
Page 7
Le curve di risposta nel modello multiple choice(Thissen e Steinberg, 1984)
Validazione di una domanda analisi della risposta corretta e dei distrattori
Page 8
La valutazione statistica dei risultati
Item Analysis classica:
La performance di un soggetto è espressa in funzione del numero delle risposte corrette
Difficoltà di una domanda Potere discriminante di una domanda Attendibilità (coerenza) della prova Il ruolo dei distrattori
Page 9
La costruzione di una misura in campo cognitivo
Page 10
I quattro passi nella costruzione di una prova oggettiva
1.La mappa concettuale
2.La formulazione delle domande
3.Lo “spazio” degli esiti
4.Il modello di misura
Page 11
La mappa concettuale
Aspetto solitamente sottovalutato (!)
Definizione del comportamento “teorico” del rispondente
Le risposte possibili
Page 12
La formulazione delle domande
Il formato
Standardizzate: A risposta chiusa A risposta aperta
Corrispondenza tra ciascuna domanda e l’oggetto di misurazione
Page 13
Lo spazio degli esiti
Risposte dicotomiche Risposte politomiche Risposte “ordinali”
Lo schema di attribuzione del punteggio
Il punteggio e la valutazione per livelli
Page 14
Il modello di misura
Strumenti statistici: Media aritmetica Deviazione standard
La misurazione Difficoltà Potere discriminante Attendibilità
Page 15
Caratteristiche della media aritmetica
E’ applicabile solo a caratteri quantitativi
Si ipotizza l’equidistribuzione del carattere oggetto d’interesse
Ogni valore della variabile deve essere pesato con la sua frequenza (assoluta o relativa)
La media aritmetica “risente” di tutti i valori del carattere considerato.
Page 16
Gli scostamenti semplici
Gli scostamenti semplici sono dati dalla differenza di ciascun valore assunto dal carattere oggetto d’interesse e di un
valor medio
Page 17
Alcune proprietà degli scostamenti semplici
Il segno di ciascun scarto indica se un’unità statistica è plusvariante o minusvariante rispetto al valor medio considerato
La media degli scostamenti semplici dalla media aritmetica è uguale a zero (!!)
Page 18
Esempio
Punteggio Frequenza Scostamenti semplici
25 15 -16,91
30 18 -11,91
42 32 0,09
52 21 10,09
60 14 18,09
Totale 100
91,41
Page 19
Gli scostamenti quadratici
L’elevamento al quadrato permette di eliminare il “problema dei segni”, ma pone un problema di metrica
La media degli scostamenti quadratici (varianza) è un indicatore di variabilità
Page 20
Esempio
Punteggio Frequenza Scostamenti quadratici
25 15 4289,22
30 18 2553,27
42 32 0,26
52 21 2137,97
60 14 4581,47
Totale 100
91,41
Page 21
Gli scostamenti quadratici
Varianza
Deviazione standard
62.135100
1447,45812197,21373226,01827,25531522,42892
65,1162,1352
Page 22
La ricerca OCSE-PISA
(slide tratte da www.istruzioneer.it)
Page 23
Grazie per l’attenzione
[email protected]
http://www.irreer.it/~ricci/