OWD2011 - 2 - Van wie is dit portfolio, de beoordeling beoordeeld - Michael Bots

SURF TTL Toetsing en toetsgestuurd leren

ONDERZOEK

VAN WIE IS DIT PORTFOLIO?

DE BEOORDELING BEOORDEELD.

PORTFOLIOBEOORDELING IN LERARENOPLEIDINGEN

GETOETST OP ECHTHEID EN EIGENHEID.

1

Looptijd: maart 2011 – juli 2013

Twee lerarenopleidingen2

Michael Bots en Jolanda de Putter

LOOPTIJD

MAART 2011 – JUNI 2013

3

Van wie is dit

portfolio?

WAT IS EEN

PORTFOLIO?Diversiteit in perspectieven

4

techniek

Uitwisseling

standards

Toetsing

Ontwikkeling

Presentatie

Assessment

Formatief

Summatief

MultimediaToegang en privacy

Eigendom

WAT IS EEN

PORTFOLIO?Een verzameling producten

5

Functie

Assessment

Presentatie

WAT IS EEN

PORTFOLIO?Een proces van leren, reflecteren en communiceren

6

Functie

Ontwikkeling

Korthagen (2008)

EEN E-PORTFOLIO

…… gebruikt elektronische technologie

als platform voor studenten

om artefacten in verschillende mediatypen

te verzamelen en te organiseren

en deze als illustraties te verbinden

aan de ontwikkeling of beheersing van

competenties, doelen of beroepsstandaarden

7

Formatief Summatief

PORTFOLIO =

REFLECTIE

8

Na

actie

in actie

voor actie

Schon, 2003

BEOORDELEN VAN

REFLECTIES

9

HET RISICO10

VAN WIE IS HET PORTFOLIO?11

Student Opleiding

Portfolio

Praktijk

ToetskadersInterpreteert

toetskaders

PortfolioBeoordeelt

Stelt portfolio samen

dat voldoet aan ..Interpreteert

DILEMMA

Standaardisatie versus openheid

Authenticiteit?

12

AUTHENTICITEIT

Met authenticiteit, als echtheid, wordt geloofwaardigheid bedoeld. In

hoeverre geeft een portfolio een goed beeld geeft van de

ontwikkelde competenties van de student in de praktijk.

Met authenticiteit, als eigenheid, wordt datgene bedoeld dat een

student onderscheidt van andere studenten. Deze kan gewenste

effecten bevatten (de persoonlijke inkleuring/invulling van het

beroep als leerkracht voor de klas) maar ook ongewenste effecten

bevatten.

13

ONDERZOEKSVRAAG

Hoe kunnen aanstaande leraren

middels een elektronisch

portfoliosysteem competenties

aantonen en kwalitatief

hoogstaand beoordeeld worden

op een manier die (a) valide en

betrouwbaar wordt geacht en (b)

die voldoende ruimte laat voor de

authenticiteit van de student?

14

DEELVRAGEN 1 EN 215

.

Athenticiteit (echtheid) - praktijk oz

Welke verschillende percepties van

studenten en beoordelaars kunnen

worden onderscheiden die een rol

spelen bij het beoordelen van

competenties in de praktijk en bij het

beoordelen van competenties a.h.v.

een portfolio?

1.

Portfoliobeoordeling in de

lerarenopleiding - verkennend oz

Op welke wijze worden

studentportfolio’s ingericht en

gebruikt voor beoordeling van

onderwijscompetenties en het HBO-

niveau?

DEELVRAGEN 3 EN 4 16

.

Optimalisatie van portfoliobeoorde-

ling in de lerarenopleiding - pilot

In hoeverre kunnen de

aanbevelingen uit voorgaande

onderzoeksvragen geïntegreerd

worden in een systematiek voor de

beoordeling van

onderwijscompetenties in de praktijk

en de HBO-kenmerken?

1.

Authenticiteit (eigenheid) - praktijk oz

Zijn er, buiten de te toetsen

onderwijscompetenties, andere

persoonskenmerken en

vaardigheden van studenten die een

rol spelen bij portfoliobeoordeling?

Welke zijn dat en hebben deze een

positief of negatief effect op de

beoordeling?

WAAR STAAN WE?17

Programma

Onderzoek authenciteit

Ontwikkeling

Pilot

Brede verkenning

Onderzoek echtheid

Onderzoek eigenheid

BREDE VERKENNING

OP WELKE WIJZE WORDEN

STUDENTPORTFOLIO’S INGERICHT EN

GEBRUIKT VOOR BEOORDELING VAN

ONDERWIJSCOMPETENTIES EN HET HBO-

NIVEAU?

LITERATUURONDERZOEK

VRAGENLIJST

CASE STUDIES

EERSTE BEVINDINGEN…

18

Vraag

Aanpak

Opbrengst

deelvraag 1

BEVINDINGEN19

Opbrengst

Een interactieve

verkenningAan de hand van een selectie resultaten

VISIE OP TOETSEN20

1 zoveel mogelijk geïntegreerde toetsing (grote eenheden)

2 toetsing van onderdelen (bijv. vakdomeinen afzonderlijk)

3 een combinatie van beide

4 Anders, nl.

PORTFOLIOSYSTEEM21

1 papieren portfolio's

2 portfolio van de eigen ELO (Blackboard, N@tschool, ...)

3 een apart, door derden ontwikkeld, elektronisch portfoliosysteem

4 een apart, zelf ontwikkeld, elektronisch portfoliosysteem

5 studenten mogen zelf kiezen op welke manier zij het portfolio maken

6 Anders, nl.

FORMATIEF VERSUS SUMMATIEF

TOETSEN

22

1 ja, alleen als summatieve (kwalificerende) toets

2 ja, alleen als formatieve (ontwikkelingsgerichte) toets

3 ja, op sommigemomenten alssummatieve en op sommige momentenals formatieve toets

4 nee, het portfolio wordt nooitbeoordeeld

SAMENSTELLING PORTFOLIO23

1 alleen tekst (geschreven reflecties/ beschrijvingen/..)

2 vooral tekst, incidenteel multimediaal

3 vooral tekst, regelmatig multimediaal

4 vooral multimediaal, beetje tekst

5 alleen multimediaal (afbeeldingen, film, audio,…),

MATE WAARIN VORM IS

VOORGESCHREVEN

24

1 niet voorgestructureerd, geheel vrij voor de student

2 grotendeels open (bijv. vrij in te vullen sjabloon/ template)

3 deels vastgelegd, deels open

4 grotendeels vastgelegd (bijv. sjabloon met verplicht op te nemen onderdelen)

5 volledig vastgelegd, ieder detail voorgeschreven(bijv. invulinstructieper onderdeel)

MATE WAARIN INHOUD

VOORGESCHREVEN

25

1 niet voorgestructureerd, geheel vrij voor de student

2 alleen doelen vastgelegd (bijv. competenties/ Dublindescriptoren)

3 doelen plus inhoudelijke hoofdonderdelen vastgelegd (bijv. enkele verplichte onderdelen/ opdrachten)

4 doelen plus inhoudelijke hoofdonderdelen plus subonderdelen vastgelegd (bijv. indicatorenlijst per competentie)

5 alleen verplichteopdrachten/ onderdelen

VORM EINDOORDEEL26

1 onvoldoende/ voldoende (of andere soortgelijke indeling)

2 onvoldoende/ voldoende/ goed/ zeer goed (of andere ordinale indeling)

3 cijfer

4 Anders, nl.

TOTSTANDKOMING EINDOORDEEL27

1 Per criterium wordt een puntenaantal/ deelcijfer toegekend, deze worden later bij elkaar opgeteld/ gemiddeld.

2 Per criterium wordt een uitspraak gedaan (bijv. in voldoende mate aanwezig of niet), gevolgd door een eindoordeel conform bepaalde regels (bijv. maximaal 1 gemist onderdeel).

3 Geen aparte scoring per criterium: met rekenschap van de criteria komt de beoordelaar tot een algemene uitspraak.

DETAILNIVEAU

BEOORDELINGSCRITERIA

28

1 globaal niveau (bijv. competenties als geheel)

2 enigszins gedetailleerd (bijv. deelaspecten per competentie)

3 zeer gedetailleerd(bijv. indicatoren per aspect per competentie)

4 Anders, nl.

CONTROLE AUTHENTICITEIT 29

1 Dit wordt geheel overgelaten aan de beoordelaar.

2 Er is afgesproken dat de beoordelaar bij twijfel met de mentor in contact treedt.

3 Op onderdelen is de student verplicht een reflectie/ beoordeling van de mentor op te nemen.

4 De inhoud van het portfolio wordtsamen met de mentor besproken.

TOTSTANDKOMING EINDOORDEEL30

1 Per criterium wordt een puntenaantal/ deelcijfer toegekend, deze worden later bij elkaar opgeteld/ gemiddeld.

2 Per criterium wordt een uitspraak gedaan (bijv. in voldoende mate aanwezig of niet), gevolgd door een eindoordeel conform bepaalde regels (bijv. maximaal 1 gemist onderdeel).

3 Geen aparte scoring per criterium: met rekenschap van de criteria komt de beoordelaar tot een algemene uitspraak.

RISICO STRATEGISCH GEDRAG 31

1 Volledig mee eens

2 Enigszins

3 nauwelijks

4 helemaal niet

5 n.v.t.

VIA DPF AUTHENTIEK BEELD COMPETENTIENIVEAU32

1 helemaal

2 behoorlijk

3 enigszins

4 nauwelijks

5 helemaal niet

6 Weet niet / NvT

VIA DPF AUTHENTIEK BEELD EIGEN VISIE EN

KWALITEITEN33

1 helemaal

2 behoorlijk

3 enigszins

4 nauwelijks

5 helemaal niet

6 Weet niet / NvT

VAN WIE IS DIT PORTFOLIO?

34

Vooruitblik, discussie en vragen

STANDAARDISATIE35

Procedure

BeoordelingPortfolio Eindoordeel

Echtheid Eigenheid

STELLINGEN36

1. HET WORDT TIJD DAT WE HET GAAN HEBBEN

OVER DE KWALITEIT VAN DE REGELS IN

PLAATS VAN DE KWANTITEIT

2. MIJN OPLEIDING HEEFT DE JUISTE BALANS

GEVONDEN TUSSEN STANDAARDISATIE EN

OPENHEID

3. DE STUDENT (EN NIET DE OPLEIDING) IS

EIGENAAR VAN ZIJN PORTFOLIO

?

37

Bijlage 1