L'uso delle rilevazioni del Servizio Nazionale di Valutazione da parte delle scuole

Seminario estivo residenziale ADi

Il fascino indiscreto dell'innovazione

L'uso delle rilevazioni del Servizio Nazionale di

Valutazione da parte delle scuole

Roberto Ricci INVALSI

Lecce, 1 settembre 2012

La presentazione

• Introduzione

• Il Servizio nazionale di valutazione 2012

• L’attendibilità dei dati

• La rappresentazione dei dati nel rapporto 2012

• I risultati nelle aree del Paese, nei livelli e nel tempo

• La variabilità dei risultati

• Gli effetti di composizione

• Le competenze dei nostri studenti

• Considerazioni conclusive

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Disegno della rilevazione

• Universale: tutte le classi dei livelli interessati delle scuole, statali e

paritarie

• Classi-campione:

• rappresentatività regionale e per macro-indirizzo (solo sec. II gr.)

• una o due classi per scuola campionata,

• osservatore esterno per ogni classe campionata,

• trasmissione elettronica dei risultati.

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

L’attendibilità dei dati (2/2)

• Il rispetto del protocollo di somministrazione

• Il cheating: applicazione di tecniche statistiche per l’individuazione di comportamenti anomali sul campione e sull’intera popolazione

• La restituzione dei risultati al netto del cheating: i dati sono forniti al sistema, ma anche alle singole scuole al netto dell’effetto del cheating

• Il cheating nelle classi campione del SNV e della PN

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Gli indici di propensione al cheating - 2012 R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Gli indici di propensione al cheating - 2011 R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati medi: un esempio

- I secondaria di primo grado -

Prima sec. di primo grado: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Prima sec. di primo grado: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze di genere: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze di genere: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati all’interno della prova: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati rispetto all’origine: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Il confronto interno alla scuola

• Confronto con la media nazionale

• Confronto con la media regionale

• Confronto per ambiti e processi

• Confronto al netto di eventuali comportamenti opportunistici

• Confronto con scuole che hanno le stesse caratteristiche

• Lo studio della variabilità interna dei risultati

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le finalità del confronto

• Governo del sistema scuola

• Promozione del miglioramento

• Verifica delle scelte operate

Il ruolo del Dirigente R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

1. Organizzativo

2. Conoscitivo

3. Facilitatore dell’uso per la didattica

La lettura dei dati

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I dati di scuola (1)

Istituto scolastico: XXIC803XXX

Denominazione: GIUSEPPE MAZZINI

Download dei grafici relativi a XXIC803XXX

Download guida alla lettura dei grafici

Restituzione dati livello II primaria:

Restituzione dati livello V primaria:

Restituzione dati livello I secondaria:

Livello V primaria - scegli codice classe: 412044720501

Livello V primaria - scegli codice classe: 412044720502

Livello V primaria - scegli codice classe: 412044720503

Ro

be

rto

Ric

ci –

1 s

ett

em

bre

2012

I dati di scuola (2)

Globale

per Nazionalità

per Regolarità (del percorso)

per Sesso

per Dettaglio Risposte

Ro

be

rto

Ric

ci –

1 s

ett

em

bre

2012

I dati di scuola (3)

Tabella dei dati - Visualizzazione GLOBALE

Ambiti e

argomenti Dom.

Media%

Classe

Media%

Scuola

Media%

Nazionale L1 L2 L3 L4 L5 L6

ITALIANO

Testo

narrativo A1 72,7 79,6 83,1 -

L2

- - - -

Ro

be

rto R

icci –

18

ge

nn

aio

20

12

1° decile

10° pc

1° quartile

25° pc

L 1

L 2

L 3 L 4

L 5

L 6

Mediana

50° pc

10%

15%

25% 25%

15%

10%

3° quartile

75° pc

9° decile

90° pc

I dati di scuola (4) R

ob

ert

o R

icci –

18

ge

nn

aio

20

12

Tabella dei dati - Visualizzazione per DETTAGLIO RISPOSTE - tabella 1

Ambiti e argomenti Dom. A B C D MANCATA

RISPOSTA

ITALIANO

Testo narrativo A1 9,09 72,7 13,6 4,54 0

I dati di scuola (5) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

I dati di scuola (6) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

I dati di scuola (7) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

I dati di scuola (8) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

I dati di scuola (9) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

La varianza tra classi e tra alunni (1) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

La varianza tra classi e tra alunni (2) R

ob

ert

o R

icci –

1 s

ett

em

bre

2012

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati complessivi

- Le differenze territoriali -

I risultati per livello e per aree geografiche: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

I risultati per livello e per aree geografiche: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze negli indirizzi di studio (Italiano) R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Le differenze negli indirizzi di studio (Matematica) R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze negli indirizzi di studio (Italiano)

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Le differenze negli indirizzi di studio (Matematica)

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

L’evoluzione temporale dei risultati: ITALIANO

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

L’evoluzione temporale dei risultati: MATEMATICA

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

La variabilità dei risultati

- Un esempio: la scuola primaria -

L’analisi della variabilità dei risultati R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

• Cosa si intende per variabilità

• Le componenti della variabilità:

• TRA scuola

• TRA classi

• DENTRO le classi (tra studenti)

• L’incidenza di ogni componente sulla variabilità totale

• Le differenza nel tempo e nello spazio

• Le implicazioni per i decisori

La scomposizione della variabilità: II primaria R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

La scomposizione della variabilità: II primaria R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

La scomposizione della variabilità: V primaria

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

La scomposizione della variabilità: V primaria

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2

Gli effetti di composizione

- Cosa cambia? -

Gli effetti di composizione R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

• Il peso delle variabili esplicative

• Il contesto “generale”

• Il background socio-economico-culturale (ESCS)

• I modelli statistici utilizzati

Gli effetti di composizione: un esempio (Italiano) R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Ma alla fine, i nostri studenti cosa sanno e cosa sanno meno? R

ob

ert

o R

icci – 1

se

tte

mb

re 2

01

2

Tendenze generali

•Maggiore dimestichezza con testi narrativi e continui e meno con testi

“meno tradizionali” (discontinui, regolativi, ecc.)

•Alcune difficoltà quando vengono richieste interpretazioni e valutazioni

•Buoni risultati nell’ambito “Dati e previsioni” quando i quesiti

riguardano più aspetti d’interpretazione dei dati e non hanno forte

contenuto tecnico

•Difficoltà nell’argomentare le soluzioni proposte

Considerazioni conclusive

• Consolidamento del rapporto con le scuole e coinvolgimenti anche di

settori finora esclusi (esempio la formazione professionale)

• Restituzione dei dati: a) aiuti alla lettura, b) celerità nella

restituzione, c) strumenti per l’autovalutazione

• «Tempistica» adeguata

• Introduzione di più tecnologia (raccolta dei dati, uso del PC, ecc.)

• Rafforzamento della valenza per (e non su) la scuola della

misurazione (coinvolgimento di tutte le componenti)

• Azioni per il superamento del fenomeno del cheating

Ro

be

rto

Ric

ci – 1

se

tte

mb

re 2

01

2