Dott. Barbara Turella Metodologia della valutazione decimale: strumenti, tecniche e strategie Istituto Comprensivo Pacinotti San Cesario s/P (MO) San Cesario.
Post on 02-May-2015
218 Views
Preview:
Transcript
dott. Barbara Turelladott. Barbara Turella
Metodologia della Metodologia della valutazione decimale: valutazione decimale:
strumenti, tecniche e strategiestrumenti, tecniche e strategie
Istituto Comprensivo “Pacinotti”
San Cesario s/P (MO)
San Cesario s/P (MO) – 8-9 settembre 2009
Obiettivi dell’intervento formativo:Obiettivi dell’intervento formativo:
incrementare la competenza nel costruire prove di verifica degli apprendimenti con particolare riguardo agli aspetti valutativi
favorire la costruzione di una metodologia valutativa che consenta di passare dalla valutazione della singola prova alla valutazione
complessiva
facilitare l’individuazione di obiettivi formativi preventivamente connessi con la necessaria valutazione degli apprendimenti
Competenza e compitiCompetenza e compiti
Raccolta di un insieme di evidenze osservabili e misurabili che attestino la padronanza del soggetto rispetto alla competenza attesa.
• Prove di verifica (più o meno strutturate)
• Compiti autentici
• Realizzazione di manufatti o prodotti
• Selezione di lavori significativi per testimoniare il percorso di apprendimento e i risultati raggiunti
Valutazione della competenza Valutazione delle conoscenze
Valutazione delle abilità
La validitàLa validità
Consiste nel grado di corrispondenza tra la misura (rilevazione quantitativa o qualitativa) e ciò che si vuole misurare (fenomeno, processo, dato).
La validità di una misurazione richiede:
• un costrutto teorico che definisce e traduce la competenza nelle singole componenti, chiarendo le loro relazioni e la loro ampiezza.
• la selezione delle componenti che intendiamo valutare
• la definizione dei compiti, delle domande e delle prove che attivano le componenti selezionate
• la costruzione di criteri di assegnazione del punteggio e di una scala di misura adatta alla misurazione
La validitàLa validità
Validità di contenuto
- Riscontro della significatività degli elementi da sottoporre a verifica; dovrebbero
essere centrali e utili per la valutazione
- Selezione degli elementi da sottoporre a verifica come rappresentativi della competenza da valutare
Validità rispetto ad un criterio
- Concorrente: misure simultanee degli stessi elementi
- Predittiva: se disponiamo di un criterio con cui confrontare la valutazione a distanza di tempo
Validità apparente
- Controllo degli aspetti qualitativi ed emotivi in relazione all’adeguatezza degli stimoli rispetto ai destinatari
L’affidabilitàL’affidabilità
Consiste nel grado di precisione con cui si può effettuare la misurazione
(reliable = che dà affidamento)
Una misura affidabile presenta alti livelli di:
- concordanza tra valutatori [r >.80] (basso livello di interpretabilità)
- concordanza tra misurazioni ripetute (forme parallele, test-retest, split-half, ecc.)
- precisione (dello strumento e del valutatore)
- costanza del valutato (negli allievi si può incrementare aumentando le misurazioni)
L’affidabilitàL’affidabilitàCheck-list per la valutazione della precisione nella misurazione
Precisione dello strumento
a) Lo stimolo che propone (consegne, formato, ecc.) è uguale per tutti?
b) Gli stimoli offrono diversi livelli di risposta/soluzione?
c) La scala di misura permette la registrazione “oggettiva” delle risposte?
Precisione del valutatore
a) Usa uno strumento strutturato per la verifica/misurazione?
b) Nel caso di strumenti non strutturati, la registrazione è sistematica?
c) Ci sono livelli interpretativi nella somministrazione o presentazione dello stimolo?
d) Ci sono livelli interpretativi nell’attribuzione del punteggio?
Costanza del valutato
a) Il tipo di stimolo può essere condizionante
b) Le modalità di somministrazione possono condizionare la verifica?
c) Circostanze casuali che inficiano la rilevazione
d) Ci sono dimensioni ambientali o personali che possono condizione la prestazione?
L’affidabilitàL’affidabilitàCheck-list per la valutazione dei compiti
Il compito: richiede l’applicazione di concetti, principi e abilità fondamentali appresi a nuovi concetti? incoraggia un progresso dell’apprendimento? implica processi di livello più elevato della semplice ripetizione della conoscenza appresa? è aperto a più soluzioni possibili? è sfidante? è inserito in un contesto reale? ha un valore significativo in sé? esige lo sviluppo e la ricostruzione della conoscenza appresa? è parte del processo di apprendimento? integra conoscenze e abilità? sviluppa una maggior comprensione di concetti e di principi? fornisce chiare indicazioni riguardo a ciò che deve essere eseguito? è appropriato agli studenti a cui è proposto, è realizzabile in rapporto alle fonti richieste, è chiaro? mantiene un buon equilibrio tra la precisione delle richieste e le diverse possibili alternative? è in linea con gli standard e gli obiettivi del curricolo scolastico? dispone di criteri che rendono possibile e chiara la sua valutazioni?
L’oggettività della valutazioneL’oggettività della valutazione
Lichtner (2002): l’equivoco risiede nell’equazione “quantitativo=oggettivo”.
“Bisogna chiedersi come sono stati generati quei dati che poi elaboriamo. Tutto dipende dalla formulazione dei quesiti, dal tipo di alternative poste, che condizionano il comportamento che rileviamo. E la messa a punto di queste condizioni è satura di elementi soggettivi, frutto di scelte che a volte sono addirittura idiosincratiche. Se l’elaborazione quantitativa dei dati raccolti è “oggettiva”, certamente non è tale la procedura che ha “generato” i dati”.
(Lichtner, 2002, pp. 97-98)
Misurabili Non misurabili
Significativi
Non significativi
I compiti: prove strutturate (test)I compiti: prove strutturate (test) Forniscono uno stimolo e modalità di risposte di tipo chiuso Sono oggettive quando è possibile predefinire le risposte corrette per i singoli quesiti Possono essere prove di classe o prove standardizzate
Operativamente:
1. Definire la forma del quesito o item: domande a scelta multipla, vero/falso, ecc. o problema, analisi di caso ecc.
2. Strutturare lo stimolo: circoscrivere il campo delle possibili risposte (per es. numero di alternative o serie di punti da seguire nell’esecuzione del compito)
3. Individuare “a priori” la risposta corretta ovvero formulare i criteri di attribuzione del punteggio
Tipi di quesiti
• Soluzione di problemi
• Analisi di casi
• Vero/falso
• Scelta multipla
• Corrispondenza
• Completamento
I compiti: prove strutturate (test)I compiti: prove strutturate (test)
Esercitazione per disciplina (stabilito il livello)
1) Scegliere la competenza da valutare
2) Individuare prestazioni rappresentative della competenza prescelta
3) Strutturare un test con item che discriminino la presenza/assenza della competenza
4) Assegnare un peso agli item e stabilire i criteri di attribuzione del punteggio
5) Calcolare il punteggio
6) Stabilire il criterio con cui valutare i punteggi ottenuti
I compiti: prove non strutturateI compiti: prove non strutturate
Come si individuano gli indicatori?Gli indicatori sono validi rispetto a ciò che vogliamo valutare?
Gli indicatori consentono un adeguato accordo tra valutatori?
Le misurazioni sono affidabili?
1) Definire l’ampiezza/costrutto dell’oggetto della valutazione
2) Selezionare gli indicatori possibili
3) Stabilire l’ampiezza e la ripartizione della scala di punteggi o voti da considerare
4) Prevedere l’uso di aggettivi o espressioni per marcare le singole fasce dei valori di scala
5) Concordare ed usare collegialmente gli insiemi di indicatori per addestrarsi nel loro uso
Indici di accordo
I = 100 x accordi/ accordi + disaccordi
r = 2p – 100 (nei casi di 2 valutatori p = percentuale di accodo)
I compiti: prove non strutturateI compiti: prove non strutturate
L’elaborazione degli indicatoria) Metodo intuitivo: i singoli esperti del settore o della competenza possono predisporre
una lista di descrittori che può sia essere discussa e condivisa collegialmente sia essere sottoposta a verifica empirica
b) Metodi qualitativi: si procede alla raccolta sistematica di dati per definire ciò che si intende valutare; successivamente si “campionano” i descrittori rispetto alle prestazioni
c) Metodi quantitativi: l’osservazione e l’interpretazione degli indicatori avvengono attraverso l’analisi statistica (molto sofisticata come l’analisi discriminante, lo scaglionamento multidimensionale, ecc.)
Esercitazione per disciplina (stabilito il livello)1) Scegliere la competenza da valutare
2) Individuare prestazioni rappresentative della competenza prescelta
3) Classificare le prestazioni in una scala a 4 punti (pieno, adeguato, parziale, scarso)
4) Riconoscere gli indicatori sottesi
5) Assegnare un peso agli indicatori e stabilire i criteri di attribuzione del punteggio
6) Calcolare il punteggio
7) Stabilire il criterio con cui valutare i punteggi ottenuti
I compiti: prove non strutturateI compiti: prove non strutturate
Griglia di valutazione del colloquio
Indicatori 0-12 pt. 13-21 pt. 22 pt. 23-28 pt. 29-34 pt. 35 pt.
Padronanza della lingua
Scarsa Incerta Accettabile Sicura Specifica Ricercata
Capacità di utilizzare le conoscenze
Scarsa Limitata Accettabile Adeguata Significativa Documentata
Capacità di collegare le conoscenze
Scarsa Approssimativa Accettabile Appropriata Ampia dettagliata
Capacità di discutere gli argomenti
Scarsa Ripetitiva o meccanica
Accettabile Appropriata Ampia Arguta
Capacità di approfondire gli argomenti
Scarsa Limitata Accettabile Articolata Ampia Originale
I compiti: prove non strutturateI compiti: prove non strutturateGriglia di valutazione di quesiti a risposta singola su scala unitaria
Indicatori 0-5 pt. 6-9 pt. 10 pt. 11-14 pt. 15 pt.
Padronanza della lingua
Scarsa Incerta Accettabile Sicura Specifica
Esaustività degli argomenti
Scarsa Limitata Accettabile Adeguata Ampia
Collegamento delle conoscenze
Scarsa Approssimativa Accettabile Appropriata Ampia
Capacità argomentativa
Scarsa Ripetitiva o meccanica
Accettabile Appropriata Ampia
Griglia di valutazione di quesiti a risposta singola con indicatori ponderati
Indicatori Banda di oscillazione
Padronanza della lingua 0 – 2
Esaustività degli argomenti 0 – 6
Collegamento delle conoscenze 0 – 4
Capacità argomentativa 0 - 4
I compiti: prove non strutturateI compiti: prove non strutturateGriglia di valutazione per elaborati scritti
Indicatori generali
Sotto-indicatori
Livello 1 Pt. Livello 2 Pt. Livello 3 Pt. Livello 4 Pt.
Competenze linguistiche
Morfosintassi Sintassi errata
0 Sintassi elementare
2,0 Sintassi corretta
3,0 Padronanza 4,0
Lessico Improprio 0 Generico 1,0 Appropriato 1,5 Accurato 2,0
Ortografia Errori diffusi
0 Alcuni errori 2,0 Corretta 1,5 Corretta 4,0
Punteggiatura Scorretta 0 Incerta 1,0 Corretta 1,5 Appropriata 2,0
Competenze comunicative
Costruzione discorso
Disorganico e sconnesso
0 Coerente con incertezze
1,0 Coerente 1,5 Ben strutturato
2,0
Competenze testuali
Comprensione significato
Nulla 0 Sostanziale 1,0 Generale 1,5 Completa e approfondita
2,0
Sintesi Inefficace 0 Frammentaria 2,0 Efficace 3,0 Efficace e organica
4,0
I compiti autenticiI compiti autentici Le forme più tradizionali di valutazione, sia con prove strutturate che non strutturate, tendono a
essere basate retroattive, basate cioè sull’accertamento di quanto appreso, piuttosto che proattive orientando l’allievo verso il miglioramento dell’apprendimento
Le forme tradizioni di valutazione si basano quasi esclusivamente su fattori estrinseci di motivazione (voto, successo, competizione, ecc.) piuttosto che su fattori intrinseci (interesse, curiosità, piacere, ecc.)
L’apprendimento accertato con prove tradizionali tende a basarsi su una conoscenza scolastica scarsamente trasferibile e applicabile a contesti di vita reale
Si definisce compito autentico un problema complesso e aperto posto agli studenti come mezzo per dimostrare la padronanza di qualcosa
Con i compiti autentici possono essere valutate tre dimensioni: le conoscenze dichiarative e procedurali i processi cognitivi (analisi, riflessione, creatività, collaborazione, decisione, ecc.) i processi metacognitivi, motivazionali e attribuzioni
I compiti autenticiI compiti autentici
CARATTERISTICHE DEI COMPITI AUTENTICI
- Prevedono un contesto di realtà, diretto o simulato
- Utilizzano stimoli che sollecitano l’impiego di processi cognitivi complessi e l’integrazione degli apprendimenti
- Risultano in grado di favorire l’interesse e di motivare gli studenti ad un impiego efficace del proprio sapere, delle proprie risorse cognitive, sociali ed emotive in relazione al compito
Operativamente: I compiti devono essere autentici e significativi L’insieme dei compiti deve rappresentare un campione rappresentativo per
effettuare generalizzazioni I criteri di valutazione devono essere centrati sulla natura dei compiti stessi e
sull’insieme di conoscenze, abilità e disposizioni che intendono evidenziare per consentire una valutazione autentica
Il contesto in cui si inseriscono le prove deve essere realistico e piacevole riducendo le limitazioni di tempo e di accesso alle risorse
I compiti autenticiI compiti autentici
Esercitazione per disciplina (stabilito il livello)
1) Scegliere la competenza da valutare
2) Individuare prestazioni rappresentative della competenza prescelta
3) Classificare le prestazioni in una scala a 4 punti (pieno, adeguato, parziale, scarso)
4) Riconoscere gli indicatori sottesi
5) Assegnare un peso agli indicatori e stabilire i criteri di attribuzione del punteggio
6) Calcolare il punteggio
7) Stabilire il criterio con cui valutare i punteggi ottenuti
I punteggi e la valutazioneI punteggi e la valutazione
1) Analisi dei quesiti
Indice di facilità/difficoltà (buono 0.30< i <0.70)
Pc = Nc/N (Pc = proporzione di risposte corrette; Nc = n. risposte corrette; N = n. di risposte totali)
Discriminabilità (buono 0.20< d <0.40)
d = Esup –Einf /N (Esup = punteggio max; Einf = punteggio min; N = numero di soggetti)
2) Pesi nella correzione
a. Calcolo delle risposte giuste senza omissioni
b. Calcolo delle risposte considerando la probabilità del caso (penalizzazione dell’errore)
P = (E – S/n-1) K (E = n. risposte esatte; S = n. risposte errate; n = n. alternative; K = peso dell’item)
3) Ranghi percentili
Rango percentile = (n. stud. con punteggio più basso + ½ stud. stesso punteggio/N stud.) x 100
Suddivisione in quartili (fasce di punteggio)
4) La mediana
Collocare i punteggi in ordine decrescente e quantificare le frequenze per punteggio
Mediana = (n. soggetti + 1)/2 in corrispondenza di quel soggetto individuare il punteggio
I punteggi e la valutazioneI punteggi e la valutazione5) Calcolo della media e deviazione standard
Un test offre prestazioni omogenee quando la deviazione standard è contenuta entro il 20% della media
s
xxz
z = punto standardx = punteggio grezzox = media della distribuzioneS = scarto quadratico mediod.s. = dev. standard
Media della distribuzione
N
xx i
Scarto quadratico medio/dev. standard
N
xxs i
2 1
..
2
N
xxsd i
6) Standardizzazione dei punteggi
Consente di confrontare e valutare le prestazioni dello stesso soggetto in più compiti e tra soggetti
..sd
xxz
Si può utilizzare la standardizzazione in punti T (aggiunge una costante – spesso 50 – per eliminare i valori negativi ( T = 50 + 10 z)
I punteggi e i votiI punteggi e i votiDopo aver calcolato media e deviazione:
Distribuire i punteggi in fasce in funzione della distanza (dev. standard) dalla media (es. fasce pentenarie) e poi convertire i giudizi (scala di aggettivi) in voti
Es. distribuzione pentenaria
A superiori a xm + 1,5 d.s. Ottimo 8
B compresi tra xm + 1,5 d.s. e xm + 0,5 d.s. Buono 7
C compresi tra xm - 0,5 d.s. e xm + 0,5 d.s. Sufficiente 6
D compresi tra xm - 0,5 d.s. e xm - 1,5 d.s. Quasi sufficiente 5
E inferiori a xm – 1,5 d.s. Non sufficiente 4
Trasformare i punteggi grezzi in voti attraverso proporzioni (riferimento a criteri assoluti)
xg : xm = voto : media scala dei voti oppure xg : xmax = voto : votomax
N.B. La media della scala dei voti è: 6 se si usano i voti dal 4 all’8
5,5 se si usano i voti da 1 a 10
5 se si usano i voti da 0 a 10
Trasformare i punteggi standardizzati in voti (riferimento a norma)
(Pgrezzo – xgrezzo)/dev.st. = (voto – media scala voti)/1
Voto = media scala voti + punteggio standardizzato
Le scale di misuraLe scale di misuraNominale Intervalli
DicotomicaFasce
pentenarieDescrizioni verbali
Voti in decimi
Percentili
100
95
90
85
80
75
70
65
60
55
50
45
40
35
30
25
20
15
10
5
ScaleOrdinale
Giudizi
Promossi
A
B
C
10
9
8
Pieno e completo raggiungimento degli obiettivi; padronanza dei contenuti; abilità a
trasferirli in altra situazione.
Complessivo raggiungimento degli obiettivi; padronanza raggiunta con consapevolezza.
7
6
OT
TIM
O
DIS
TIN
TO
Raggiungimento degli obiettivi essenziali; la padronanza è adeguata per lo svolgimento del
programma
Raggiungimento di obiettivi essenziali in situazioni semplici.
Parziale raggiungimento degli obiettivi minimi programmati
Mancato raggiungimento degli obiettivi minimi programmati
3
2
Bocciati
D
E
1
BU
ON
O
SU
FF
ICIE
NT
E
INS
UF
FIC
IEN
TE
5
4
I criteri della valutazioneI criteri della valutazione- Criteri assoluti (Confronto tra prestazione e obiettivi attesi)
In questo caso la valutazione di ciascuna prova è effettuata in modo indipendente dall’andamento generale delle prove svolte dagli allievi.Per esempio si può dare il voto massimo solo se mancano del tutto gli errori o se ve ne sono soltanto in una certa misura; o si dà un giudizio di insufficienza solo per la constatazione di un certo tipo di risposta, o per il fatto che a una certa domanda non è stata data risposta; o ancora si sottrae punteggio per ogni errore accertato.
- Criteri relativi (Confronto tra prestazioni di un soggetto e quelle di altri soggetti)
In questo caso la valutazione di ciascuna prova è effettuata in modo dipendente dall’andamento generale delle prove svolte dal gruppo di allievi cui si fa riferimento.Per esempio si può attribuire il punteggio ad una prestazione utilizzando una “prestazione criterio” (riferimento approssimativo). Altrimenti si può calcolare la media o la distribuzione dei punteggi attraverso cui “riaggiustare” la misurazione delle singole prove.
- Criteri delle possibilità e del cambiamento (Confronto tra prestazioni dello steso soggetto)
In questo caso la valutazione di ciascuna prova è effettuata riferendosi alle possibilità del soggetto e alle variazioni del suo rendimentoPer esempio si può considerare che in una prova il soggetto non ha reso quanto avrebbe potuto , o che ha fatto quanto nelle sue possibilità. Si possono anche considerare le variazioni (progressi o regressi) rispetto alle prestazioni dello stesso soggetto nel tempo, senza considerare una misura assoluta.
La valutazione analiticaLa valutazione analitica
Si tratta di giudizi per discipline che possono essere costruiti:
a) considerando i diversi elementi di misura utilizzati: tipi di verifiche, osservazioni di comportamenti cognitivi, analisi del trend delle prestazioni, ecc.;
b) “pesando” i singoli elementi che concorrono alla valutazione rispettandone la specificità;
c) definire i livelli della scala prevista per il giudizio
Gli elementi considerati per la valutazione possono essere:
- risultati centesimali delle verifiche; insieme dei dati, media, moda;
- progresso rispetto al livello di partenza;
- standard delle prestazioni stabilite in base alle caratteristiche della disciplina;
- osservazione dei comportamenti cognitivi.
La valutazione globale per disciplinaLa valutazione globale per disciplina
La valutazione globale delle prestazioni risulta più attendibile se:
- si aumenta la numerosità delle verifiche
- si incrementa la differenziazione delle verifiche
- si attribuiscono pesi diversi alle verifiche
Operativamente:
• Media aritmetica dei punteggi delle verifiche
• Media pesata dei punteggi delle verifiche
• Riferimento alle prestazioni complessive del gruppo
• Riferimento all’andamento delle prestazioni del soggetto
La valutazione sinteticaLa valutazione sintetica
In genere il giudizio sintetico fa riferimento a:
- comportamento disciplinare
- livello di sviluppo emotivo e sociale
- partecipazione alle attività
- metodo di studio
- impegno
- profitto o livello di apprendimento
Per far ciò i docenti dovrebbero collegialmente:
a) individuare e concordare una serie di indicatori comuni;
b) esplicitare la misurabilità degli indicatori individuati in ciascuna delle diverse discipline e fornire il dato analitico al gruppo di colleghi coinvolti;
c) sintetizzare i vari giudizi in una formulazione globale, chiara e comprensibile ai diversi destinatari, capace di esprimere anche le eventuali divergenze di giudizio.
Si tratta di un giudizio globale che dovrebbe descrivere il grado di raggiungimenti rispetto a specifici obiettivi e descrittori e che dovrebbe, almeno in parte, poggiare sui singoli giudizi analitici per disciplina.
GrazieGrazie
Dott. Barbara TurellaDottore Magistrale in Psicologia dello Sviluppo e dell’Educazione – PsicoterapeutaDottore di Ricerca in Psicologia Cognitiva – Perfezionata in Psicologia Scolastica
Via del Campo, 27 – 00172 Roma Tel. 3393322719 e-mail barbara.turella@aliceposta.it
top related