Costruzione dei test e valutazione delle competenze ... · Significa anche ... I limiti della misurazione della ... B L'acqua dei grandi laghi scalda la terra intorno a loro; ...

Costruzione dei test e valutazione delle competenze linguistico-comunicative

Mantova 22 gennaio 2013

Anna Maria Arruffoli

NEL QCER

la valutazione e il L.T. assumono un ruolo decisivo

sia all'interno del processo educativo sia nella misurazione delle competenze

linguistiche in un dato momento del loro sviluppo

IL TEST

serve a una più oggettiva valutazione di quello che un apprendente sa e sa fare

Significa anche

Accettare trasparenza e chiarezza di contenuti Rinunciare alla completa soggettività del

giudizio

COMPETENZE LINGUISTICO-COMUNICATIVE

CONOSCENZE lessicali, morfosintattiche. ABILITÀ di riconoscerle, organizzarle,

gestirle

CONOSCENZA delle convenzioni sociali (regole di cortesia, rapporti tra

generazioni, sessi, classi, gruppi sociali) ‏

USO funzionale della lingua

DIMENSIONI DELL’APPRENDIMENTO DELLA L2 SECONDO IL QCER

• DIMENSIONE VERTICALE: la scala ascendente di livelli che segnano il continuum della competenza

• DIMENSIONE ORIZZONTALE: parametri di gestione dell’attività comunicativa (ambiti e domini d’uso della L2, contesti di comunicazione, abilità, testi)

locutore/ apprendente COMPETENTE

C2 Comprende con facilità praticamente tutto ciò che sente o legge. Sa riassumere informazioni provenienti da diverse fonti sia parlate che scritte, ristrutturando gli argomenti in una presentazione coerente. Sa esprimersi spontaneamente, in modo molto scorrevole e preciso, individuando le più sottili sfumature di significato in situazioni complesse.

C1

Comprende un'ampia gamma di testi complessi e lunghi e ne sa riconoscere il significato implicito. Si esprime con scioltezza e naturalezza. Usa la lingua in modo flessibile ed efficace per scopi sociali, professionali e accademici. Riesce a produrre testi chiari, ben costruiti, dettagliati su argomenti complessi, mostrando un sicuro controllo della struttura testuale, dei connettori e degli elementi di coesione.

locutore/ apprendente AUTONOMO

B2

Comprende le idee principali di testi complessi su argomenti sia concreti che astratti, comprese le discussioni tecniche nel suo campo di specializzazione. È in grado di interagire con una certa scioltezza e spontaneità che rendono possibile un'interazione naturale con i parlanti nativi senza sforzo per l'interlocutore. Sa produrre un testo chiaro e dettagliato su un'ampia gamma di argomenti e spiegare un punto di vista su un argomento fornendo i pro e i contro delle varie opzioni.

B1

Comprende i punti chiave di argomenti familiari che riguardano la scuola, il tempo libero, ecc. Sa muoversi nella maggioranza delle situazioni che possono verificarsi mentre viaggia nel Paese in cui si parla la lingua. È in grado di produrre un testo semplice relativo ad argomenti che siano familiari o di interesse personale. È in grado di descrivere esperienze ed avvenimenti, sogni, speranze ed ambizioni e spiegare brevemente le ragioni delle sue opinioni e dei suoi progetti.

A2

Comprende frasi ed espressioni usate frequentemente relative ad ambiti di immediata rilevanza (es. informazioni personali e familiari di base, fare la spesa, la geografia locale, l'occupazione). Comunica in attività semplici e di routine che richiedono un semplice scambio di informazioni su argomenti familiari e comuni. Sa descrivere in termini semplici aspetti del suo background, dell'ambiente circostante. Sa esprimere bisogni immediati.

A1

Comprende e utilizza espressioni di uso quotidiano e frasi basilari tese a soddisfare bisogni di tipo concreto. Sa presentare se stesso/a e gli altri ed è in grado di fare domande e rispondere su particolari personali come dove abita, le persone che conosce e le cose che possiede. Interagisce in modo semplice purché l'altra persona parli lentamente e chiaramente e sia disposta a collaborare.

TEST COME STRUMENTO DI MISURA

Test: procedura elaborata per elicitare comportamenti dai quali poter fare

inferenze su determinate caratteristiche/competenze di un individuo

I limiti della misurazione della competenza linguistico–comunicativa

metrologico (non è possibile utilizzare procedimenti di misura in cui si parta da 0 come assenza assoluta e si proceda attraverso un’articolazione di unità uguali e costanti)‏

la misurazione è quasi sempre incompleta la misurazione è pressoché indiretta la misurazione avviene in situazioni artificiali

rispetto ai comportamenti che vengono sollecitati per essere sottoposti a controllo

VALUTAZIONE

DEL PROFITTO: accerta se è stato appreso ciò che è stato insegnato. Rappresenta un punto di vista interno alla disciplina

DELLA COMPETENZA: riguarda ciò che un individuo sa fare/conosce con riferimento al mondo reale. Rappresenta un punto di vista esterno

TIPI DI TEST

Placement test – test di ingresso funzione diagnostica

Achievement test – test di profitto funzione formativa e sommativa

Proficiency test – test di competenza funzione prognostica

MISURAZIONE E VALUTAZIONE DELLA COMPETENZA

Requisiti fondamentali dei test: validità

affidabilità

economicità

impatto

VALIDITÀ

un test è valido se misura quello che si propone di misurare Validità del test per il costrutto (construct validity)�� il contenuto (content validity) = PERTINENZA l'apparenza esterna (face validity) = ACCETTABILITÀ

VALIDITÀ DELL’UTILIZZO DI UN TEST DOPO UNA PRIMA SOMMINISTRAZIONE

la validità concorrente (concurrent validity) = COMPARABILITÀ

la validità predittiva (predictive validity)

AFFIDABILITÀ

Per affidabilità di un test si intende la sua STABILITÀ:

un test è affidabile quando è in grado di fornire risultati uguali se somministrato o valutato in tempi differenti e da persone differenti

è una qualità necessaria, ma non sufficiente

mentre la validità è teorica, la affidabilità è sperimentale

FATTIBILITÀ, ECONOMICITÀ

RAPPORTO costi/risorse - qualità/prezzo/risultati (prove oggettive/soggettive, ore, sperimentazione, modalità di somministrazione, numero valutatori ecc.)��

IMPATTO

a livello individuale

formativo, lavorativo a livello collettivo

diritti di cittadinanza

effetto washback ricadute sull'insegnamento/apprendimento

ETICA

Trasparenza e formalizzazione delle scelte e delle procedure

Consapevolezza delle responsabilità sociali insite nel lavoro di costruttore dei test

LE FASI DEL PROCESSO DI VALUTAZIONE

Determinare lo scopo

Definire il contenuto

Preparare il test

Stabilire i criteri di correzione e assegnazione del punteggio

Somministrare il test

Interpretare i risultati


1ª Fase:

Il COSTRUTTO gli aspetti delle conoscenze/competenze che si intende testare (costruiamo un test per verificare che cosa? Per quale utente?)‏


2ª Fase:

IL CONTENUTO ciò che un test contiene in termini di testi, compiti, tipi e numero di item, attività, tempo a disposizione


Fare un inventario accurato degli elementi di conoscenza e/o competenza che devono essere oggetto di valutazione

Stabilire la lunghezza massima del test

Stabilire le tipologie di prova più adatte agli scopi della verifica


Scegliere il TESTO più adatto

Scegliere il LESSICO in base all'obiettivo e al livello

TESTI PARLATI E SCRITTI PER ABILITÀ RICETTIVE Devono essere gestibili dall'apprendente.

Nella costruzione delle prove si devono selezionare i testi per: TIPOLOGIA LUNGHEZZA LESSICO TIPO DI PUBBLICO E LIVELLO al quale può essere

destinato TIPO DI TEST per il quale il testo è più adeguato

•

TIPOLOGIE TESTUALI

• DESCRIZIONE disposizione nello spazio

• NARRAZIONE seriazione, collocazione temporale

• ARGOMENTAZIONE gestione articolata di concetti astratti

• ESPOSIZIONE - REGOLAZIONE

IL CRITERIO DELL’IMPORTANZA PER L’APPRENDENTE

Un fattore che può ostacolare la comprensione è la presenza di unità lessicali di bassa frequenza (termini tecnici o nomi propri), che può essere annullato dalla familiarità con un determinato contenuto

motivazione interesse personale a entrare nel contenuto di un testo

sostiene gli sforzi di comprensione dell’apprendente

TESTI PARLATI E SCRITTI PER ABILITÀ RICETTIVE

Il criterio della struttura del discorso

Regole strutturali interne di un testo che riducono la complessità nella gestione dell’informazione, in considerazione di diversi fattori:

" la coerenza testuale sul piano del contenuto e la chiara organizzazione tematico-strutturale (sequenze temporali e punti principali chiaramente segnalati e presentati prima della loro illustrazione) " la coesione, determinata dai legami formali fra le diverse parti " la natura implicita o esplicita dell’informazione " l’assenza di contraddizioni

La leggibilità

• Indica la probabilità che le caratteristiche lessicali e morfosintattiche di un testo ne influenzino la comprensibilità

• Tanto più un testo è leggibile e tanto più si attua con facilità la cooperazione testo-fruitore

La leggibilità

• Per misurare la leggibilità ci sono molte formule. Per l’italiano le più usate sono

FORMULA DI FLESCH-VACCA F=206 – (0,6 X S) – P

FORMULA GULPEASE F=89 – (LP:10)+(FRX3)

Quali sono i ‘contro’ dei testi ad alta leggibilità? • Problemi di tipo linguistico:

“mancanza di stile” dei testi Esempio (da Amulfi M., Nuovo binario realtà, Sussidiario per la classe IV, Il Capitello)

A La presenza dei grandi laghi riesce a modificare il clima circostante; la massa d'acqua rende la temperatura sempre mite e le cittadine che sorgono sulle loro rive sono rinomate località turistiche estive ed invernali. (testo originale)

B L'acqua dei grandi laghi scalda la terra intorno a loro; per questo tanti turisti vanno in vacanza nelle città vicino ai laghi, in estate e in inverno. (testo riscritto)

SEMPLIFICAZIONE TESTUALE

• Lessico • Senso logico e

cronologico • Frasi brevi • Ridondanza • S – V – O • Modi verbali finiti • Forma attiva

No forme impersonali

No negazioni multiple

No ambiguità di scopo

Titolo

Immagini

Accorgimenti grafici

Aspetti fisici


3° Fase: COSTRUZIONE DEL TEST

CREARE il test, definire le chiavi e i criteri

Decidere i TEMPI di somministrazione del test e somministrarlo

I TEST: SCELTA DEL METODO

tecniche per la verifica delle abilità ricettive: scelta multipla, vero/falso, individuazione di informazioni, domande semistrutturate (test paper and pencil, McNamara 2000)��

compiti per la verifica delle abilità produttive: composizioni guidate, brevi saggi (performance test, McNamara 2000)��

CLASSIFICAZIONE DEI TEST DAL PUNTO DI VISTA COGNITIVO test a punti discreti

si focalizzano su un singolo elemento della lingua alla volta, o una abilità alla volta

test integrati cercano di misurare la capacità di usare più elementi insieme

TIPOLOGIE DI PROVE/TEST

PROVE OGGETTIVE scelta multipla vero/falso individuazione

informazioni cloze test abbinamento ricostruzione

PROVE SOGGETTIVE

produzione scritta

produzione orale

CLASSIFICAZIONE DEI TEST DAL PUNTO DI VISTA DELL’ATTRIBUZIONE DEI PUNTEGGI OGGETTIVI La correttezza della risposta è già determinata al momento della stesura del test. NON è richiesto il giudizio del valutatore

SOGGETTIVI È necessaria la presenza di un VALUTATORE che si esprime sulla correttezza della risposta, basandosi su criteri e scale di valutazione

VANTAGGI E LIMITI DELLE PROVE OGGETTIVE Oggettività Risparmio di tempo per la

valutazione Rapidità e facilità di uso Simultaneità delle

misurazioni

Si limita la libertà di espressione degli studenti

Necessità di molto tempo per la costruzione

Casualità delle risposte

Misurazione solo di alcuni aspetti dell’apprendimento

CRITERI GENERALI per le PROVE OGGETTIVE Linguaggio adeguato ai destinatari

Stimoli brevi ed essenziali

Non fare tranelli

Non chiedere cose banali o sciocche

Non fare domande risolvibili in base al buon senso o alla cultura generale

Le risposte sbagliate non devono essere né ingenue né raffinate, ma adeguate alla preparazione degli apprendenti

TIPOLOGIE DI PROVE scelta multipla E’ il tipo di test più adeguato per la verifica

della comprensione scritta e orale.

La scelta multipla può essere usata per testare un solo elemento come nella verifica del lessico

test a punti discreti o testare più elementi insieme come nella verifica della

comprensione scritta o orale test integrato

TIPOLOGIE DI PROVE scelta multipla Domanda o frase da completare (stem/quesito) contrassegnato da un numero

3 o 4 risposte o affermazioni contrassegnate da una lettera

2 o 3 distrattori risposte o alternative non esatte ma plausibili 1 sola risposta esatta

REGOLE per la costruzione di test a scelta multipla

La domanda/affermazione deve focalizzare con precisione un SOLO nodo informativo o concetto

Usare DISTRATTORI PLAUSIBILI. Ogni distrattore deve, per contenuto e natura, risultare in qualche modo collegato alle domande

REGOLE per la costruzione di test a scelta multipla Fare in modo che i quesiti siano tra loro

INDIPENDENTI

Non usare ALCUNA risposta precedente come distrattore o come risposta corretta in altri quesiti

Non collocare la risposta corretta di ogni item nella stessa posizione

Evitare che elementi grammaticali o la struttura delle frasi favoriscano la scelta

TIPOLOGIE DI PROVE individuazione di informazioni

Test che consiste nel presentare all’apprendente una serie di AFFERMAZIONI/FRASI su un testo letto o ascoltato.

Chi fa il test deve indicare se queste informazioni sono o NON sono presenti nel testo.

Si usa nella comprensione scritta e orale.

E’una forma più elaborata del Vero/falso.

TIPOLOGIE DI PROVE ricostruzione o riordino Il testo originale viene spezzettato in varie

sequenze che poi sono mescolate

Chi fa il test deve riordinare le sequenze e ricostruire il testo

Il test a riordino si basa sull’analisi e l’individuazione di legami testuali. Mette in gioco più conoscenze e competenze nello stesso tempo: si deve infatti ricostruire il testo in base al contenuto e alla sequenza logica, al lessico, ai connettivi temporali, spaziali e causali

Somministrazione

AMBIENTE Le prove si devono svolgere in un luogo

adeguato per spazi e attrezzature

Si dovrebbero eliminare tutti gli elementi di disturbo (distrazioni, rumori, interferenze, interruzioni ecc.)��

Più rilassato è il candidato, più potrà dare una prova migliore della sua competenza

Le prove soggettive

Prove di produzione scritta

Prove di produzione orale

Somministrazione

Chiarezza e pertinenza delle istruzioni

Tempo adeguato allo svolgimento del compito

Somministrazione della prova orale L'esaminatore deve stare attento al tono che usa

nell'interazione. Può essere

Troppo professorale

Scostante

Incoraggiante

Accondiscendente

Troppo accondiscendente

Somministrazione della prova orale Dovrebbe cercare di

Fare poche domande chiuse

Fare domande di rilancio

Non fare domande complesse o poco comprensibili

Non fare domande troppo lunghe

VALUTAZIONE

MISURARE: Calcolare la misura di qualcosa in rapporto ad un determinato strumento di misura

VALUTARE: attribuire un valore a una misurazione

VALUTAZIONE DELLE PROVE SOGGETTIVE

Valutazione globale

Valutazione con griglie che limitano la soggettività del valutatore

VALUTAZIONE

Per ridurre al minimo l’intervento di variabili soggettive nella valutazione delle prestazioni i valutatori cils hanno previsto:

in fase di costruzione del test, una griglia di valutazione che esplicita i criteri di riferimento relativi al compito e al livello di competenza, in base a descrittori della competenza richiesta

CRITERI DI VALUTAZIONE DELLA PRODUZIONE SCRITTA Efficacia comunicativa

registro/adeguatezza stilistica

adeguatezza di contenuto

correttezza morfosintattica

capacità di trasmettere il messaggio, l'informazione. Nei livelli C1 e C2 comprende prevalentemente la coerenza e la coesione del testo uso del registro secondo le regole pragmatiche e l'adeguatezza alla tipologia testuale adeguatezza e coerenza allo stimolo dato

uso adeguato delle strutture e forme previste dal livello

CRITERI DI VALUTAZIONE DELLA PRODUZIONE SCRITTA Adeguatezza e ricchezza

lessicale

ortografia e punteggiature

Uso di lessico adeguato al contesto di comunicazione

rispetto delle convenzioni ortografiche

GRIGLIA DI VALUTAZIONE DELLA PRODUZIONE ORALE INDICATORI

Efficacia comunicativa

adeguatezza di registro e di varietà linguistica

SOTTOINDICATORI

capacità di comprendere l'interlocutore, mantenere il flusso del discorso, interagire rispettando i turni della conversazione, mettere in atto strategie comunicative efficaci

uso del registro formale/informale secondo le regole pragmatiche e l'adeguatezza alla tipologia testuale richiesta

GRIGLIA DI VALUTAZIONE della produzione orale INDICATORI

correttezza morfosintattica

adeguatezza e ricchezza lessicale

pronuncia e intonazione

SOTTOINDICATORI

uso adeguato delle forme e delle strutture previste dal livello di competenza

uso del lessico adeguato al contesto di comunicazione

padronanza del sistema fonologico della lingua italiana

Attribuzione dei punteggi

Stabilire il livello di abilità o dominio

Stabilire il punto di taglio il punteggio minimo che attesta se è stato

raggiunto un dato livello di abilità o la competenza stabilita nel criterio


Per le prove chiuse si attribuisce un punteggio prestabilito per ogni risposta esatta e un punteggio 0 per ogni risposta sbagliata o omessa

La penalizzazione per le risposte sbagliate deve essere introdotta nel caso dei test di individuazione di informazioni, per evitare che un apprendente ottenga il punteggio massimo segnando tutte le risposte


Scegliere la scala di valutazione in base ai descrittori della competenza

La CERTIFICAZIONE CILS

nei livelli di base ha un forte peso l'efficacia comunicativa

nei livelli competenti ha un peso maggiore la correttezza formale

ANALISI DEI RISULTATI

Un test è tanto più affidabile quanto più minimizza errori di misura

La misura deve corrispondere alla competenza reale di chi fa il test


GLI ERRORI DI MISURA possono essere dovuti a

Caratteristiche del test

Caratteristiche di chi fa il test

Fattori imprevedibili *La misurazione è sempre incompleta e imprecisa perché non è possibile partire da uno 0 assoluto e procedere per unità uguali e costanti


Possibili errori del valutatore nelle prove orali

Effetto “Pigmalione”

Effetto “alone”

Errore di contrasto (dopo una prova scadente)��

Errore di assuefazione

Tendenza a raggruppare i voti nella parte centrale della scala

Variabilità dell'umore (stanchezza, fastidio ecc.)��


Difetti degli item Ambigui, troppo difficili o troppo facili

Se il test è troppo lungo Le prestazioni saranno migliori nella prima parte e

peggiori nell'ultima

Coerenza dei valutatori

Meglio dare test diversi per misurare la stessa abilità

BIBLIOGRAFIA

BACHMAN, L. F., 1990, Fundamental considerations in language testing, Oxford, Oxford University Press.

BACHMAN, L. F / PALMER, A. S., 1996, Language testing in practice,Oxford, Oxford Press.

BROWN, A. D., 2004, Interviewer variability in oral proficiency interviews, Melbourne, Department of Linguistic and Applied Linguistic, School of Languages, University of Melbourne.

DAVIES A., 1990, Principles of Language Testing, Oxford-Cambridge, Basil Blackwell.

DE MAURO, T., 1980, Guida all’uso delle parole, Roma, Editori Riuniti.

MCNAMARA, T., 2000, Language Testing, Oxford, Oxford University Press.

VEDOVELLI, M., 2002, Guida all'italiano per stranieri, La prospettiva del Quadro comune europeo per le lingue, Roma, Carocci.

VEDOVELLI M., a cura di, 2005, Manuale della certificazione dell’italiano L2, Roma, Carocci.

Costruzione dei test e valutazione delle competenze ... · Significa anche ... I limiti della misurazione della ... B L'acqua dei grandi laghi scalda la terra intorno a loro; ...

Documents