Bewust en bekwaam toetsen - Desirée Joosten-ten Brinken - OWD13

Bewust en bekwaam toetsen en beoordelen

Desirée Joosten-ten Brinke Fontys hogescholen en Open universiteit

Anneriet Florack Zuyd Hogeschool

Sabine van Eldik Hogeschool Arnhem en Nijmegen

De onderwijsdagen, 12 november 2013

Programma Toetsing en Toetsgestuurd Leren SURF (www.surf.nl/toetsen)

Context

• Uitgangspunt: toetsbekwaamheid van docenten is bepalende factor voor kwaliteit van toetsing

• Onderzoeksproject• Wat is het effect van ontwikkelingsgerichte

zelfbeoordeling door lerarenopleiders op hun toetspercepties, -kennis en -kunde?

Wat levert het project op?

• Een digitaal zelfbeoordelingsinstrument om vraaggestuurd en flexibel eigen kennis en kunde en verdere professionaliseringsbehoefte in kaart te brengen.

• www.bewustenbekwaamtoetsen.nl

Kwaliteitspiramide

(Joosten-ten Brinke & Sluijsmans, 2011)

Kennis en kunde van lerarenopleiders

• American Federation of Teachers, National Council on Measurement in Education, & National Education Association (1990); Schafer (1991); Stiggins (1999); NSW-Institue of Teachers (2005); Absolum en anderen (2009); Popham (2009); Stiggins (2009); Brookhart (2011)

Op itemniveau

• De lerarenopleider – kent verschillende typen toetsvragen.– weet op welke beheersingsniveaus een toetsvraag zich

richt.– kan toetsvragen op de kwaliteitscriteria relevantie,

objectiviteit, efficiëntie en juiste moeilijkheidsniveau beoordelen.

– kan toetsvragen na afname analyseren op psychometrische kwaliteit.

– …

Op toetsbeleidniveau (LLL)

• De lerarenopleider – weet wat externe validering inhoudt.– weet hoe hij studenten kan betrekken bij het nadenken

over toetsvisie.– kent het onderscheid tussen formeel, non-formeel en

informeel beoordelen.– kent het onderscheid tussen normgericht, criteriumgericht

en ipsatief beoordelen.– weet hoe onethische, illegale en oneerlijke toetspraktijken

voorkomen moeten worden.– …

Het instrument (1)

• Het zelfsturend leren wordt vormgegeven door kleine toetsen gekoppeld aan:– Leerdoelen– Concepten– Verdeeld over de lagen van de piramide

Leerdoelen

Sluijsmans, D. M. A., van Eldik, S., Joosten-ten Brinke, D., & Jakobs, L.

(2013). Bewust en bekwaam toetsen: Wat zouden lerarenopleiders moeten weten over toetsing? Tijdschrift voor

Lerarenopleiders, 34(3), 27-42.

Conceptmap

Conceptmap

Het instrument (2)

• 250 items• 60 subtoetsen• 1 kennistoets

Items

Feedback

Onderzoek naar werking instrument

100 lerarenopleiders, 4 instituten:•Maak een kennistoets over toetsing (18 items)•Los een casus op met behulp van het instrument•Geef een oordeel over het instrument

De casustoets

• Een casusbeschrijving van een probleem op een van de vier piramidelagen.

• Vijf open vragen

Resultaten onderzoek

• De scores op de kennistoets variëren tussen de 28% en 100% (M = 61,7; sd = 13,8)

• Kennis op onderste laag (item) is significant hoger dan kennis op bovenliggende lagen (toets, toetsprogramma en toetsbeleid)

Waardering instrument

Gem. 2,91; sd. .38 (4-punts schaal)

Waardering instrument is afhankelijk van de score casus

• Significante verschillen bij de hele evaluatie (F (19,48)=1.88, p<.05)

• Deelnemers met een hogere score op de casustoets zijn positiever over het nut van het instrument, de authenticiteit en de betekenis.

Aanvullende interviews

• Instrument versterkt bewustzijn over het domein van toetsen en beoordelen.

• Gebruik na langere tijd neemt zonder scholingscontext af.

• Behoefte aan interactie en werken met collega’s.

Conclusies (1)

• Instrument draagt bij aan bewustzijn over het domein van toetsen en beoordelen.

• Een grote spreiding in de kennis van docenten over toetsen en beoordelen.

• Het instrument is ontwikkeld voor onderzoek en geen volledig gevuld product.

Conclusies (2)

• Voor continuering is stimulering van gebruik nodig.

• Conceptmap en casustoets zijn interessante instrumenten.

• Interesse in het instrument (door niet direct betrokkenen) is groot.

Meer informatie

www.bewustenbekwaamtoetsen.nl•[email protected]•[email protected]•Programma Toetsing en Toetsgestuurd Leren SURF (www.surf.nl/toetsen)

Sluijsmans, D. M. A., van Eldik, S., Joosten-ten Brinke, D., & Jakobs, L. (2013). Bewust en bekwaam toetsen: Wat zouden lerarenopleiders moeten weten over toetsing? Tijdschrift voor Lerarenopleiders, 34(3), 27-42.