Ervaringen en ontwikkelingen Utrecht 15 februari 2011
Jan 11, 2016
Ervaringen en ontwikkelingen
Utrecht 15 februari 2011
Ervaringen en ontwikkelingen
• Pretesten– Doelstellingen– Aantallen– Ervaringen
• Ontwikkelingen– Redactie proces– Rapportages en statistiek
Doelstellingen pre-testen
1. Testen van toetsinfrastructuur op de betrokken instituten
2. Cesuurbepaling van de toets
1. Beoordeling van de kwaliteit van de toetsen en individuele toetsitems
Totaal over vier weken
• Ruim voldoende materiaal voor analyses• Nederlands, Engels, geschiedenis,
aardrijkskunde, natuurkunde, biologie en scheikunde
Ervaringen
• Gebruik van multiple choice werkt goed• Ja/nee werkt, vereist echter veel meer vragen• Andere typen vragen scoren niet goed, wordt
verder bekeken• Multimedia wordt afgeraden• Niet beveiligd en beveiligd worden getoetst• Meer controle nodig op standaarden en “look &
feel”• Deelnemers gegevens• Lettertypen/fonts• Figuren• Codering vragen• Opbouw en omvang vragenblokken
Ervaringen
• Validiteit• Moeilijkheidsgraad• Objectiviteit• Discriminerend
• Betrouwbaarheid
• Maken van items is (te) tijdrovend• Hoeveel items zijn nodig?• Rapportages zijn (te) tijdrovend• Planning aanpassen (van productie rijp maken van
toetsen)• Checklists samenstellen ten behoeve van redacties,
coördinatoren, beheerders, leverancier(s), surveillanten, studenten, enzovoort
• Surveillanten hebben iets meer begeleiding nodig
Ontwikkelingen
• Pretesten 2de graad in februari• Pretesten Pabo’s• Ervaringen aanvullen en uitwisselen• Staande organisatie inrichten• Rollen, activiteiten en protocollen beschrijven en
overeenkomen• Redactieproces beter ondersteunen
Generieke Matrijs
Generieke Matrijs
ProductieItems
ProductieItems
GoedkeurenItems
GoedkeurenItems
ProductieToetsen
ProductieToetsen
GoedkeurenToets(en)
GoedkeurenToets(en)
Specifieke Matrijs
Specifieke Matrijs
Afname(s)Afname(s) Beoordeling &Resultaten
Beoordeling &Resultaten RapportagesRapportages
Aanvullen Item kenmerken
Aanvullen Item kenmerken
Nieuwe inzichtenNieuwe
inzichten
Generieke Matrijs
Generieke Matrijs
Waarom is Generieke Matrijs zinvol of noodzakelijk?
Wie stelt deze matrijs samen? Hoeveel graden van vrijheid zijn gewenst? Welke dimensies moeten gerespecteerd worden?
- domeinen en leerdoelen / vak- betrouwbaarheid en validiteit- gewenste moeilijkheidsgraad, objectiviteit en discriminerend vermogen
Wie keurt Generieke Matrijs goed voor welke periode?
GoedkeurenItems
GoedkeurenItems
Waarom is Goedkeuren Items zinvol en noodzakelijk?
Wie keur wanneer een Item goed? Hoeveel goedgekeurde Items zijn gewenst? Welke dimensies moeten gerespecteerd worden?
- inhoud van vraag- bronnen, domeinen en leerdoelen - betrouwbaarheid en validiteit- moeilijkheidsgraad, objectiviteit, discriminerend vermogen, enzovoort..
Wie accepteert een Item en wat is de (minimale/maximale) periode voor houdbaarheid?
Item met kenmerken produceren: conceptueel proces diagram
Vra
ag
d
esk
un
dig
e
Vra
ag
d
esk
un
dig
eK
ritis
che
vr
ien
d
Kri
tisch
e
vrie
nd
Re
fere
ntie
g
roe
p
Re
fere
ntie
g
roe
pA
nd
ere
nA
nd
ere
nR
ed
act
ie
tea
m(s
)
Re
da
ctie
te
am
(s)
Stelt item met kenmerken op
Beoordeelt vorm en psychometrie
Toetst item en kenmerken
Directeuren, onderwijs coördinatoren, opleidingsdocenten, studenten, wetenschappelijke commissie, enzovoort...
Beoordeelt inhoud
RedacteurUtrecht
RedacteurTiburg
LectorHeerlen
Kritische vriendGroningen
Voorstel item met kenmerken
ok
ok
ok
RedacteurUtrecht
Aanpassingen
ok
ok
Item en kenmerken database
Iteraties ondersteund door telefonisch contact
Voegt kenmerken /
opmerkingen toe
Voegt kenmerken /
opmerkingen toe
Consensus proces
Panelleden overal in het land
Op ieder niveau mogelijkheden voor terugkoppeling
Ontwikkelingen
• Redactie en goedkeuringsprocessen (enkele functies)– Gelijke vraag detectie– Tele-samenwerking in teams– Vraag gekoppeld aan vraagdoel– Toetsmatrijs samenstellen en bewerken– Toetsmatrijs en automatische voorstellen
(genereren) van toetsen, met weging van moeilijkheidsgraden en domeinen
– Historie van item– Automatische rapportages– Invoer van multiple choice eenvoudig– Wiskundige (rekenkundige tekens) in standaard
editor– Eenvoudige manier van beoordelen en
beoordelingen vergelijken
Ontwikkelingen
• Redactie en goedkeuringsprocessen (enkele functies– Aanpasbaar aan specifieke eisen– Feedback per item– Real-time statistieken over redactie proces en
status items– Mogelijkheid om redacteuren vragen te sturen– Intuïtieve schermen