Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap

UNIVERSITETETI OSLO

Institutt for statsvitenskap

Bjørn Erik Rasch:Bjørn Erik Rasch:

Karaktersetting: Karaktersetting: Erfaringer og undersøkelser fra Erfaringer og undersøkelser fra

statsvitenskapstatsvitenskap

1. Karaktersetting på masteroppgaver V-20072. En eller to sensorer? Et eksperiment

Nasjonal karaktersamlingNasjonal karaktersamling i regi av UHRs utdanningsutvalg og i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008analysegruppe, Høgskolen i Oslo, 28. oktober 2008

UNIVERSITETETI OSLO

Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap

Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)Masteroppgaver fra 6 studieprogrammerTilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

UNIVERSITETETI OSLO

Institutt for statsvitenskap

Utfordring: Svært gode karakterer på visse programmer

Masteroppgaver i statsvitenskap 2006

UNIVERSITETETI OSLO

Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap

Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)Masteroppgaver fra 6 studieprogrammerTilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

Utfordring: Svært gode karakterer på visse programmerKonklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

UNIVERSITETETI OSLO

Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap

Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)2 masteroppgaver fra hvert studieprogramTilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

Utfordring: Svært gode karakterer på visse programmerKonklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

Tilfeldig utvalg av 11 oppgaver fra fem universiteter med karakter B

UNIVERSITETETI OSLO

Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap

Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)2 masteroppgaver fra hvert studieprogramTilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

Utfordring: Svært gode karakterer på visse programmerKonklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

Hvordan ”sensorene” (flertallet) vurderte de 11 oppgavene som hadde fått B

3

7

1

UNIVERSITETETI OSLO

Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap

Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)2 masteroppgaver fra hvert studieprogramTilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

Utfordring: Svært gode karakterer på visse programmerKonklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

Hvordan de 7 ”sensorenes” stemmer ved vurderingen av de 11 oppgavene fordelte seg (prosent)

3

7

1

UNIVERSITETETI OSLO

Institutt for statsvitenskapDEL 2: Videreføring i form av et sensoreksperimentDEL 2: Videreføring i form av et sensoreksperiment

Institusjon og studiepoeng A B C D1. UiT 60 - - 4 12. Sampol 60 - 1 5 -3. Offadm 60 - - 6 14. Offadm 60 - 1 4 -5. NTNU 45 1 5 - -6. NTNU 45 - 4 2 -8. UiO 30 - - 6 -9. UiO 30 1 6 - -10. UiA 40 - - 3 211. Offadm 60 - - 3 4

→ 40 sensorer bedømmer samme besvarelse på et innføringsemne på bachelor i statsvitenskap

→ Formål å belyse spredning i vurderinger og sider ved interaksjonen i eksamenskommisjoner med to sensorer

Detaljert oversikt over sensorenes vurderinger

UNIVERSITETETI OSLO

Institutt for statsvitenskap

Sensoreksperiment:Sensoreksperiment: To hypoteserTo hypoteser

HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.

Bjørn Erik Rasch og Sara Kristine Eriksen (2008): ”En eller to sensorer? Et eksperiment.” Arbeidsnotat. Institutt for statsvitenskap, UiO.

UNIVERSITETETI OSLO

Institutt for statsvitenskap

Sherif, Muzafer (1937). “An Experimental Approach to Sherif, Muzafer (1937). “An Experimental Approach to the Study of Attitudes”, the Study of Attitudes”, SociometrySociometry 1: 90-98. 1: 90-98.

Hypotese 2: Teoretisk grunnlag……

UNIVERSITETETI OSLO

Institutt for statsvitenskap

UNIVERSITETETI OSLO

Institutt for statsvitenskapAsch, Solomon E. (1952). Social psychology. Englewood Cliffs, NJ: Prentice-Hall.

YouTube.comYouTube.com Conformity Video Clip ”Asch’s Conformity Experiment” http://www.youtube.com/watch?v=DKivdMAgdeA

Hvilken av strekene A, B eller C er like lang som denne?

UNIVERSITETETI OSLO

Institutt for statsvitenskap

HypoteserHypoteserHYPOTESE 1. Det er

liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.

HYPOTESE 2. Det første karakterinnspillet fra en sensor i en eksamenskommisjon påvirker i seg selv hvilket forslag den andre sensoren fremmer, og dermed indirekte karakterfastsettelsen.

Jeg foreslår en B.

UNIVERSITETETI OSLO

Institutt for statsvitenskapMetode (eksperimentelt design)Metode (eksperimentelt design)

Gruppe AKontrollgruppe

Gruppe BEksperimentgruppe

SnittkarakterSpredning

Medsensor: Foreslår ”for god” karakter

Høyere snittkarakterLavere spredning

Uavhengig variabel Avhengige variable

Informasjon NormeringSosial press

→ Besvarelsen til vurdering hadde fått D (D-en ble opprettholdt etter klage)

Medsensors beskjed: ”─Jeg synes ikke det var så lett å vurdere oppgaven, men har til slutt endt opp med å sette karakteren B.”

UNIVERSITETETI OSLO

Institutt for statsvitenskapResultater: KarakterResultater: Karakterfordelingfordeling for eksperimentgruppe for eksperimentgruppe (B) og kontrollgruppe (A)(B) og kontrollgruppe (A)

→ Besvarelsen til vurdering hadde fått D (D-en ble opprettholdt etter klage)

AA EEDDCCBB

UNIVERSITETETI OSLO

Institutt for statsvitenskapDeskriptiv statistikk for de Deskriptiv statistikk for de to sensorgruppeneto sensorgruppene

Min Maks Gj.snitt Std Antall

Gruppe A 1 (E) 4 (B) 2,47 (D) 0,90 N=19

Gruppe B 2 (D) 4 (B) 3,27 (C) 0,67 N=18

Avvik(t-verdi)

0,80 (3,04)

Størst spredning : Gruppe A

DD er modus, median og gjennomsnitt i gruppe A

CC er modus, median og gjennomsnitt i gruppe B

UNIVERSITETETI OSLO

Institutt for statsvitenskapForskjeller i gjennomsnittskarakter for Forskjeller i gjennomsnittskarakter for ulike grupper av sensorerulike grupper av sensorer

Sensorenes ekspertise og erfaring har betydning

Feilvurderinger som en sensor gjør blir ikke nødvendigvis rettet opp

UNIVERSITETETI OSLO

Institutt for statsvitenskap

Trenger bedre forståelse av Trenger bedre forståelse av karaktersetting som fenomen (både karaktersetting som fenomen (både individuelle og strukturelle mekanismer)individuelle og strukturelle mekanismer)

UNIVERSITETETI OSLO

Institutt for statsvitenskap

Trenger bedre forståelse av Trenger bedre forståelse av karaktersetting som fenomen (både karaktersetting som fenomen (både individuelle og strukturelle mekanismer)individuelle og strukturelle mekanismer)

Hvis enhetlig bruk av karakterskalaen er Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretterønskelig, må virkemidler velges deretter

UNIVERSITETETI OSLO

Institutt for statsvitenskap

Trenger bedre forståelse av Trenger bedre forståelse av karaktersetting som fenomen (både karaktersetting som fenomen (både individuelle og strukturelle mekanismer)individuelle og strukturelle mekanismer)

Hvis enhetlig bruk av karakterskalaen er Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretterønskelig, må virkemidler velges deretter

Må ta et skritt tilbake og spørre: Hva er Må ta et skritt tilbake og spørre: Hva er grunnlaget for karaktersettingen?grunnlaget for karaktersettingen?