Il contributo della valutazione esterna al miglioramento educativo Stefania Pozio
Il contributo della valutazione esterna al miglioramento
educativo
Stefania Pozio
Il documento
• Le Indicazioni Nazionali per il Curricolo sono un testo di
riferimento unico per tutte le scuole autonome che sostituisce
quelli che, un tempo, si chiamavano “programmi ministeriali”.
• Il testo entra in vigore con il decreto ministeriale n. 254 del 16
Novembre 2012 (G.U. n. 30 del 5 Febbraio 2013) e sostituisce
sia le Indicazioni nazionali del 2004 che le Indicazioni per il
curricolo del 2007.
Gli obiettivi
• Le Indicazioni Nazionali, come previsto con l’autonomia
scolastica, forniscono alle scuole obiettivi di apprendimento
e competenze che ogni studente deve acquisire.
• Confermano la validità dell’impianto educativo della nostra
scuola di base, ma indicano alcune necessità – in un contesto
demografico e culturale profondamente mutato – per garantire
a tutti i ragazzi delle solide conoscenze e competenze
iniziali.
I contenuti chiave
• Dialogo tra discipline: insegnare a ricomporre i grandi oggetti della
conoscenza in prospettiva complessa;
• Essenzialità: ricerca dei nuclei fondamentali delle discipline;
• Priorità: maggiore attenzione per una solida acquisizione delle
conoscenze e competenze di base, fondamentali per lo sviluppo
successivo del sapere e per l’esercizio della cittadinanza;
• Traguardi: sistema di verifiche periodiche e sistematiche degli
apprendimenti. Attenzione per le diversità individuali e valorizzazione
dei momenti di passaggio.
• Il Sistema di valutazione si basa sull’attività di collaborazione di tre istituzioni: l’INVALSI (Istituto nazionale per la valutazione del
sistema di istruzione e formazione), che assume il coordinamento funzionale dell’intera procedura di valutazione;
l’INDIRE (Istituto nazionale di documentazione, innovazione e ricerca educativa), che sostiene le scuole nei piani di miglioramento;
gli Ispettori, che collaborano nella fase di valutazione esterna delle scuole.
Regolamento approvato 8/03/2013
• Uno dei perni di questa riforma è costituito dall’autovalutazione delle scuole, determinata sulla base di dati forniti – dal sistema informativo del MIUR
– dall’Invalsi
– dalle stesse scuole
Regolamento approvato 8/03/2013
Questa analisi sarà contenuta in un Rapporto diautovalutazione da cui successivamente l’Invalsidesumerà gli indicatori che consentiranno di individuare le istituzioni scolastiche da sottoporre alla valutazione esterna,coordinata dagli ispettori.
• In base ai risultati del Rapporto, la scuola definirà un piano di miglioramento avvalendosi anche del sostegno dell’INDIRE, o della collaborazione con università, enti di ricerca, associazioni professionali e culturali.
• Gli esiti del procedimento di valutazione non hanno l’obiettivo di sanzionare o premiare, ma intendono rendere pubblico il rendimento della scuola in termini di efficacia formativa.
Regolamento approvato 8/03/2013
IL Sistema Nazionale di Valutazione• Permette di attivare un processo di
miglioramento sistematico e complessivo dell’efficienza e dell’efficacia del servizio, che deve essere mirato soprattutto a innalzare i livelli di apprendimento degli studenti e a dotarli di conoscenze e competenze essenziali per operare scelte consapevoli per il loro futuro
.• Permette di colmare il ritardo che il nostro Paese
ha accumulato, rispetto agli altri Paesi europei, perché fornisce una risposta all’impegno preciso richiesto dall’Europa di sostenere, con un programma di ristrutturazione, le scuole che hanno fatto registrare risultati insoddisfacenti.
Perché misurarePerché misurare
Scopo delle misurazioni: Le prove INVALSI hanno lo scopo principale di
misurare i livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali: la comprensione della lettura e la matematica.
La letteratura dimostra che la conoscenza in alcune discipline fondamentali (lettura, matematica) ha un ruolo di primo piano nell’avanzamento individuale e dell’intera società
gli ambiti oggetto di misurazione delle prove INVALSI non esauriscono di certo i saperi e le competenze prodotte dalla scuola.
NON Valutare!
!!
Alla base delle rilevazioniAlla base delle rilevazioni
Quadro teorico di riferimento: definisce gli ambiti, i processi cognitivi e i compiti
oggetto di rilevazione, delimitando quindi il campo rispetto al quale sono costruite le prove.
permette di definire e circoscrivere il valore informativo delle prove che in base ad esso vengono costruite, chiarendone la portata e i limiti.
Costituisce il documento fondamentale per gli autori delle prove, per gli esperti che ne curano la revisione, per i docenti che sono chiamati a interpretare i risultati dei loro allievi e per i cosiddetti stakeholder che utilizzano i risultati delle rilevazioni standardizzate nazionali per valutare i livelli di apprendimento garantiti dal sistema educativo nel suo complesso.
La struttura del Quadro di Riferimento
Quadro di riferimentoper la valutazione
Quadro di riferimento per i curricoli
Quadri di riferimentoper le valutazioni
internazionali
Esiti delle rilevazioni precedentiPrassi scolastica
11
Organizzazione delle rilevazioniOrganizzazione delle rilevazioni
Formulazione dei quesiti (numero di quesiti tre o quattro volte superiore a quello che effettivamente compare nella prova stessa somministrata agli allievi)– 200 docenti ed esperti provenienti dal mondo della
scuola e dell’università.– il consistente numero di autori rende possibile
disporre di un’ampia varietà di quesiti sia rispetto alla modalità di formulazione sia rispetto ai contenuti.
– se si vuole evitare che si inducano nella scuola fenomeni non desiderabili di addestramento alle prove standardizzate è necessario che queste siano molto varie da un anno all’altro, sia rispetto ai contenuti sia
alle modalità con le quali i quesiti sono formulati.
Organizzazione delle rilevazioniOrganizzazione delle rilevazioni
Messa a punto delle prove (ricercatori Invalsi, esperti): prima valutazione qualitativa in funzione di
rispondenza delle domande al QdR al livello scolastico per il quale devono essere proposte le prove composizione del fascicolo che dovrà essere inviato al pre-test.
Pre-test: campione casuale di classi con rappresentatività nazionale
(circa 5000 studenti) Studenti dell’anno successivo
Analisi risultati pre-test: calibrazione delle domande– Capacità misuratoria di ogni domanda: viene analizzata
mediante modelli statistici in grado di stabilire la coerenza di ciascuna opzione di risposta rispetto:
• al costrutto oggetto di valutazione• al livello di abilità/competenza del rispondente• alla difficoltà specifica della domanda stessa.
• ..
Un esempio di analisi di un item di Italiano in sede di pre-test (V Primaria 2012 – Item 9)
La versione originaria dell’item
L’analisi statistica dell’item 9 in sede di pre-test
La curva caratteristica dell’item
La modifica dell’item
Gli indici statistici dopo la modifica
PRE-TEST
Discriminazione: 0,18MNSQ: 1,22% risposte corrette: 66,5
Organizzazione delle rilevazioniOrganizzazione delle rilevazioni
Messa a punto dei fascicoli: sono composti in base:
tempi di compilazione livello complessivo di difficoltà equilibrio degli ambiti e dei processi
ATTENZIONE:
• La composizione di una prova standardizzata rivolta all’accertamento su scala nazionale dei livelli di apprendimento non risponde agli stessi criteri che guidano la costruzione delle verifiche di classe.
• Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all’interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza.
Uso dei dati INVALSI
L’INVALSI restituisce ad ogni singola scuola dati sull’andamento:
complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dell’Italia, dell’area geografica e della regione di appartenenza;
delle singoli classi nelle prove di italiano e di matematica nel loro complesso;
della singola classe e (su richiesta) del singolo studente analizzato nel dettaglio di ogni singola prova.
Percorso di autovalutazione
Potenziamento e miglioramento
dell’azione didattica
istituto e singola classe
DATI INVALSI
Uso dei dati INVALSI
11/04/23 21
i diversi profili di accesso ai dati INVALSIDirigente e Referente per la valutazione: vedono tutti i dati restituiti dall’INVALSI
Presidente CdI: vede i dati della scuola nel suo complesso compresi i dati sul cheating (anche delle singole classi) e sul ESCS (ma solo della scuola)
Insegnanti del collegio docenti: vedono i risultati complessivi della scuola
Insegnanti di classe: vedono anche i dati della loro classe
dall’anno scolastico 2011-2012 :i profili di accesso alla restituzione dei dati sono differenziati
i dati sono corretti dal cheating
è possibile il confronto con il punteggio medio conseguito da un gruppo di 200 classi/scuole con analogo background socio-economico-culturale degli studenti
alcuni dati restituiti sotto forma di grafico vengono pubblicati, previa autorizzazione del DS, sul sito “Scuole in Chiaro”
sono stati reintrodotti i livelli di apprendimento
I dati complessivi di scuola
11/04/23 23
- I risultati delle classi sono omogenei all’interno della scuola?
- Lo status socio-economico ha effettivamente un peso sui risultati delle classi?
- In quali classi i risultati sono stati inficiati da comportamenti “non corretti”?
Dati complessivi di scuola: Tavola 1a – Italiano; Tavola 1b - Matematica
punteggio grezzo
–cheating
=punteggio
medio della classe
Incidenza della variabilità TRA le classi prova di Matematica; prova di Italiano; indice ESCS
SNV 2011/2012 ITALIANO
I risultati delle classi sono omogenei all’interno della scuola?
Lo status socio-economico è omogeneo tra le classi?
Quali ipotesi si possono fare in caso di variabilità diversa nei punteggi conseguiti nelle due prove?
Incidenza della variabilità TRA le classi e DENTRO le classi
SOLO PER LA PROVA NAZIONALE
NB: un grafico per ciascuna delle due prove
29
+11,5
-1,8
Una diversa visualizzazione dei risultati complessivi
Restituzione dei dati per distribuzione nei cinque livelli
1 34
52
Dal + BASSO…………………………………………al + ALTO
Risultati < 75% media
nazionale
<75%Risultati < 95% media nazionale
<95%Risultati < 110% media
nazionale
<110%Risultati < 125% media
nazionale
Risultati > 125% media nazionale
31
Come sono distribuiti nei 5 livelli di apprendimento gli studenti di ciascuna classe per Italiano e per Matematica?
15 12
6
23
Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove?
Quanti sono gli studenti i cui risultati sono anomali?
6
447
1420
Confronto della distribuzione dei livelli di apprendimento nelle due prove
Tavola 5 – Italiano/Matematica - CorrelazioneATTENZIONEPer la Prova Nazionale, il voto preso in considerazione è il voto globale di ammissione all’esame.
Voto I° quadrimestreRisultato test INVALSI
N.B. Per la Prova Nazionale, il voto preso in considerazione è il voto globale di ammissione all’esame.
Come si correlano i voti dati dai docenti agli studenti con i loro risultati alle prove?
Classi considerate deboli dai loro prof. vanno bene nei test Invalsi o viceversa?
Relazione tra voto scuola e risultati INVALSI
3511/04/23 Notarbartolo - Pistoresi - Pozio
Confronto tra il voto medio di una classe e il punteggio medio conseguito nelle prove
Riflettere sui risultati per livelli scolastici
Media Nazionale
Media Nazionale
dei soli studenti italiani
Media nazionale
Media di una scuola con ESCS
simile
Utilizzare i risultati delle prove per migliorare la
didattica
3711/04/23
Tavola 2a – Parti del testo
3811/04/23 Notarbartolo - Pistoresi - Pozio
N.B. Analoghe tabelle sono restituite analizzando i risultati sia solo dei nativi sia solo dei regolari
Tavola 2b – Processi
Domande di grammatica
N.B. Analoghe tabelle sono restituite analizzando i risultati sia solo dei nativi sia solo dei regolari
Tavola 3a – Ambiti Matematica
N.B. Analoghe tabelle sono restituite analizzando i risultati sia solo dei nativi sia solo dei regolari
Tavola 3b – Processi
4111/04/23
N.B. Analoghe tabelle sono restituite analizzando i risultati sia solo dei nativi sia solo dei regolari
Tavola 7 – Italiano/Matematica – Dettaglio risposte per item
4211/04/23
% risposte corrette
% scelta distrattori
2
Media nazionale
Differenza fra punteggio classe e
punteggio media
nazionale
Confronto item per item
4311/04/23
4411/04/23
Progetti e idee per il futuro
11/04/23 45
L’INVALSI:anticiperà la restituzione dei dati alle scuole ai primi di settembrecurerà un forum/repository dove le scuole potranno pubblicare le loro iniziative di uso dei dati Database delle domandeIdee anti-cheatingAncoraggio delle prove
46
Per migliorarePer migliorareoccorre conoscere la occorre conoscere la
situazione:situazione:““valutare”valutare”
Per migliorarePer migliorareoccorre conoscere la occorre conoscere la
situazione:situazione:““valutare”valutare”
Idee chiaveIdee chiave
11
47
La preoccupazione non deve essereLa preoccupazione non deve essereCome preparare i ragazzi alle prove Come preparare i ragazzi alle prove
InvalsiInvalsiquantoquanto
Come usare le prove Invalsi per Come usare le prove Invalsi per migliorare i risultati del nostro lavoromigliorare i risultati del nostro lavoro
La preoccupazione non deve essereLa preoccupazione non deve essereCome preparare i ragazzi alle prove Come preparare i ragazzi alle prove
InvalsiInvalsiquantoquanto
Come usare le prove Invalsi per Come usare le prove Invalsi per migliorare i risultati del nostro lavoromigliorare i risultati del nostro lavoro
Idee chiaveIdee chiave
22
48
Un capovolgimento di prospettiva:
Cosa devo fareCosa devo fareper preparare le Prove per preparare le Prove
InvalsiInvalsi
il mio percorso di insegnamentopiegato al fine
del miglioramento
nelle prove Invalsi
Passare da:
a:
Come posso usare le Come posso usare le Prove InvalsiProve Invalsi
le prove Invalsi utilizzate
per il miglioramento
del miopercorso di
insegnamento
Per intervenire sui processi di apprendimentodei nostri allievi
Per il raggiungimento dei
nostri obiettivi formativi
Per acquisire consapevolezza
delle caratteristiche del nostro
insegnamento
I metodi e i risultati delle valutazioni esterne possono essere utilizzati
.
Ci sono molti aspetti dell’apprendimento che
possono essere valutati (e in qualche modo misurati) attraverso prove esterne
Queste prove esterne sono uno strumento in più in mano
all’insegnante per arrivare ad una valutazione complessiva
dell’allievo
Coltivare una cultura della valutazione che risulti organica e coerente tra i diversi livelli scolastici può aiutare anche nel superamento di alcuni
ostacoli che molti studenti incontrano nel passaggio dalla scuola primaria
alla scuola secondaria di primo grado e così via
Sulla terminologia, sulla costruzione delle frasi, sui
simboli, sull'uso delle rappresentazioni si costituisce
a poco a poco un lessico familiare d'aula in base al
quale i ragazzi interpretano le domande
In senso inverso, ogni insegnante impara a leggere (e
talvolta decodificare) gli elaborati degli allievi,
leggendoli alla luce sia delle caratteristiche personali di
ognuno, sia delle precedenti prestazioni
Quando un insegnante prepara una prova per i
propri allievi, inevitabilmente si pone all'interno di un preciso
contratto didattico
L'obiettività della valutazione interna è una chimera
L'obiettività della valutazione interna è una chimera
Non è raro che gli studenti desumano le modalità con cui
affrontare la valutazione fatta dal loro insegnante in base al modo in cui questa viene esposta o ancora
che ritengano che il proprio docente voglia che determinati compiti siano svolti in un certo
modo
L'uso di strumenti di valutazione non preparati
dall'insegnante ha il vantaggio di svincolare
l'alunno da quelle clausole del contratto
didattico che riguardano la verifica (che siano più
o meno esplicite)
Un test standardizzato realizzato da un organo
nazionale (o anche internazionale) può essere lo
strumento adatto per abbattere certi pregiudizi e valutare
abilità e conoscenze epurandole (almeno in parte) dai comportamenti che questi
dettavano
Contratto didattico
• Un pastore ha 20 pecore, 7 capre e 2 cani. Quanti anni ha il pastore?
• Risposte (III elementare, 14 alunni):– 29 anni (12/14)– Non ci sono dati sufficienti– Il pastore se ha due cani per così poche
bestie, uno dei due cani forse gli serve perché è non vedente. Quindi deduco che abbia 70-76 anni.
53
Continuità nelle prove Invalsi
• I test INVALSI (a partire dalla scuola primaria fino a quella secondaria di secondo grado) pongono domande collegabili in modo da costruire percorsi verticali.
• Compito dell'insegnante diviene quindi anche quello di verificare, attraverso l’analisi dei risultati delle prove INVALSI, che tutti i “tasselli" necessari alla costruzione di determinate competenze siano stati acquisiti ed eventualmente realizzare attività per il recupero o il consolidamento di quanto già appreso ai livelli precedenti.
54
Continuità nelle prove Invalsi
• La costruzione del pensiero, in particolare di quello matematico, è un processo lungo e progressivo nel quale concetti, abilità, competenze e atteggiamenti vengono ritrovati, intrecciati, consolidati e sviluppati a più riprese.
• Di conseguenza i traguardi del percorso scolastico non possono far altro che presentarsi come un'evoluzione di quelli del livello precedente a partire dai nuclei fondanti.
55
Continuità nelle prove Invalsi
• L'importanza della continuità scolastica è generalmente riconosciuta: dato che vengono svolte a più livelli scolastici e seguendo fedelmente le indicazioni ministeriali, le prove INVALSI possono diventare un utile strumento per individuare e mettere in luce quelle difficoltà che si dipanano nel corso di tutta la carriera scolastica, diventando talvolta meno evidenti ai livelli intermedi, per poi riaffiorare nella scuola secondaria rendendo problematico acquisire nuovi concetti o generalizzare quelli già posseduti.
56
Prove in Prove in continuitàcontinuità
Il primaria 2008/09
Prove in Prove in continuitàcontinuità
V primaria 2008/09
Prove in Prove in continuitàcontinuità
I secondaria I grado 2009/10
Prove in Prove in continuitàcontinuità
II secondaria II grado 2011/12
V primaria
I secondaria di I grado
Prove in Prove in continuitàcontinuità
I risultati del campione italiano
rispetto alle prove del 2012
62
I RISULTATI evoluzione nei livelli
11 aprile 2023 63
I RISULTATI evoluzione nei livelli
64
C’era una volta un pastore che accudiva al suo gregge. Dal ciglio di una strada di campagna improvvisamente una Jeep Cherokee nuova fiammante frena e si ferma vicino a lui. Il conducente, un giovane che veste un abito Brioni e cravatta YSL, calza scarpe Cerruti e porta occhiali Ray-ban, scende dal veicolo e chiede al pastore: “Se indovino quante pecore ha, me ne da una?” Il pastore guarda il giovane, poi volge lo sguardo alle pecore che pascolano e dice: “D’accordo”. Il giovane parcheggia l’auto, collega cellulare e laptop, accede ad un sito della NASA, scansiona il prato usando il GPS, apre un database, compila 60 tabelle excel con formule algoritmiche, quindi stampa un rapporto di 150 pagine sulla sua stampantina ad alta definizione. Si volge poi al pastore e gli dice: “Lei qui ha esattamente 1.586 pecore. ” Il pastore risponde: “Esatto, prenda pure la sua pecora.” Il giovane prende l’animale e lo carica sul retro della sua jeep.
DALLE PROVE INVALSI ALLE PRATICHE DIDATTICHE
Allora il pastore lo guarda e gli chiede: “Se io indovino che mestiere fa, mi restituisce l’animale?” Il giovane gli risponde: “Certo, perché no”. Il pastore: “Lei è un valutatore!” “Come fa a saperlo?”, chiede il giovane.
“Semplice”, risponde il pastore, “innanzi tutto, lei è piombato qui senza che nessuno la chiamasse; in secondo luogo, mi ha addebitato una pecora per dirmi una cosa che io sapevo già; infine non capisce un tubo di quello che faccio, perché ha preso il mio cane!”
66
PER SCARICARE IL PRODOTTO MULTIMEDIALE:
www.komedia.it/INVALSI/home.html
PER PROBLEMI INERENTI ALLA RESTITUZIONE DEI DATI: