Masteroppgave - IKT-støttet læring

EN ANALYSE AV

OSLOPRØVEN I DIGITAL KOMPETANSE

OG IDENTIFISERING AV BAKENFORLIGGENDE

ÅRSAKER TIL PRØVERESULTATENE

HÅVAR EIDSLOTT

Masteroppgave i IKT-støttet læring

Høgskolen i Oslo og Akershus

Fakultet for lærerutdanning og internasjonale studier

Seksjon for digital kompetanse

Håvar Eidslott - 2012 - HiOA

2

EN ANALYSE AV

OSLOPRØVEN I DIGITAL KOMPETANSE

OG IDENTIFISERING AV BAKENFORLIGGENDE

ÅRSAKER TIL PRØVERESULTATENE

HÅVAR EIDSLOTT

Masteroppgave i IKT-støttet læring

Høgskolen i Oslo og Akershus

Fakultet for lærerutdanning og internasjonale studier

Seksjon for digital kompetanse

Mai 2012


3

Forord Tusen takk til alle ansatte og forelesere på seksjon for digital kompetanse for mange interessante

og spennende foredrag og oppgaver. Jeg har satt stor pris på den vennlige og positive stemningen

på seksjonen. Takk til alle medstudenter for godt samarbeid. Det har vært svært lærerike år.

Jeg vil også takke min mentor Leikny Øgrim, som har gitt god støtte og veiledning gjennom hele

arbeidet med masteroppgaven.

Tusen takk til kollegaer og ledelse ved Nøklevann skole, som har lagt til rette for at jeg kunne

gjennomføre studiet, og som hver dag bidrar til et strålende arbeidsmiljø.

Til slutt: Tusen takk til min kjære familie som har måttet holde ut med en mann og pappa

nedgravd i bøker og papirer i flere måneder. Nå skal jeg konsentrere meg om dere igjen.

Håvar Eidslott

Oslo, mai 2012


4

Innholdsfortegnelse

Figurliste* 7!

Sammendrag* 9!

1*Innledning* 10!

1.1#Egen#bakgrunn# 10!

1.2#Bakgrunn#for#oppgaven# 10!

1.3#Problemstilling# 13!

1.3.1!Underspørsmål!i!analysen!av!osloprøven! 14!

1.3.2!Underspørsmål!i!kvantitativ!del! 14!

2.*Digital*kompetanse*og*vurdering* 16!

2.1#Digital#kompetanse# 16!

2.1.1!Å!kunne!bruke!digitale!verktøy! 16!

2.1.2!Digital!kompetanse!og!de!mange!definisjonene! 17!

2.1.3!Digital!kompetanse!i!osloprøven! 21!

2.1.4!Digital!kompetanse!i!denne!oppgaven! 24!

2.2#Osloprøveforskning# 25!

2.2.1!ITU!Monitor!analyse!2009! 25!

2.2.2!Rapport!om!resultater!fra!prøven!i!2011! 27!

2.3#Summativ#og#formativ#vurdering# 28!

2.4#Vurderingsforskning# 32!

2.4.1!“We!can!do!in!nanoseconds!what!ought!not!be!done!at!all”! 32!

2.4.2!"Norge!er!ingen!kunnskapsnasjon"! 34!

3.*Metode* 37!

3.1#Kvalitativ#metode# 38!

3.2#Kvantitativ#metode# 39!

3.2.1!Enheter,!respondenter!og!populasjon! 39!

3.2.2!Utvalg,!svarrespons!og!bortfall! 39!

3.2.3!Operasjonalisering,!variabler!og!verdier! 40!

3.2.4!Reliabilitet!og!validitet! 41!

3.2.5!Analysemetoder! 42!


5

3.2.6!SPSS! 45!

4.*Analyse*av*osloprøven*i*digital*kompetanse* 46!

4.1#Hvorfor#testes#det?# 46!

4.2#Reliabilitet#i#testing# 46!

4.3#Validitet#i#testing# 49!

4.4#Problemer#rundt#validitet#og#reliabilitet#i#testing# 53!

4.5#Spørsmålstyper#i#osloprøven# 54!

4.6#Problemer#rundt#oppgaveformuleringer#i#prøven# 65!

4.7#Tekniske#problemer#og#andre#vanskeligheter#rundt#prøven# 72!

4.8#Oppsummering#av#prøveanalysen# 72!

5.*Spørreundersøkelsen:*Innhenting*av*data*fra*skolene* 75!

5.1#IKTPansvarlig#som#respondent# 75!

5.2#Operasjonalisering,#variabler#og#målenivå# 75!

5.3#Utsendelse,#identifisering#og##purringer# 77!

5.4#Svarrespons#og#feilmargin# 79!

6.*Presentasjon*av*data* 81!

6.1#Osloprøvens#resultater# 81!

6.2#Sammenligning#av#datagrunnlag# 81!

7.*Analyse* 82!

7.1##Histogrammer# 82!

7.1.1!Datarom! 82!

7.1.2!Lett!tilgjengelige!maskiner!og!totalt!tilgjengelige!maskiner!pr!elev! 84!

7.1.3!Interaktive!tavler!og!prosjektor!i!klasserommene! 85!

7.2#Hypoteser# 86!

7.3#Korrelasjonsanalyse#med#hypotesetesting# 87!

7.3.1!Elever!pr!lett!tilgjengelig!datamaskin! 88!

7.3.2!Elever!pr!totalt!tilgjengelige!maskiner! 89!

7.3.3!Antall!timer!på!datarommet! 90!

7.3.4!Generalisering!til!populasjonen! 90!

7.3.5!Oppsummering!av!korrelasjonsanalysen! 91!

7.4#Nasjonale#prøver#og#osloprøven# 92!


6

8.*Tolkning*av*analyseresultater* 98!

9.*Avslutning* 100!

10.*Litteratur* 102!

11.*Vedlegg* 106!


7

Figurliste Figur*1:*TPACKOmodellen*(Koehler*2011)* 19!

Figur*2:*Digital*KompetanseOpyramide*(Baltzersen*2007)* 20!

Figur*3:*Enkel*tilfeldig*utvelgelse! *Figur*4:*Stratifisert*utvelgelse* 40!

Figur*5*:*Reliabilitet*i*testing*(McMillian*2001:*67)* 47!

Figur*6:*Høy*og*lav*validitet*og*reliabilitet*i*testing*(Airasian*2005:*19)* 49!

Figur*7:*Validitet*i*testing*(McMillian*2001:*61)* 50!

Figur*8:*Trykk*på*riktig*stedOoppgave* 55!

Figur*9:*Følg*lenken,*søk,*og*lesOoppgave*(tallet*viser*akseptert*verdi)* 55!

Figur*10:*Nettsiden*elevene*blir*sendt*til*i*følg*lenkenOoppgaven* 56!

Figur*11:*Statistisk*Sentralbyrås*forside*(ssb.no)* 57!

Figur*12:*Sett*sammen*riktige*ord*til*bildeneOoppgave* 58!

Figur*13:*Kopier*og*søkOoppgave* 59!

Figur*14:*Tabellavlesningsoppgave* 60!

Figur*15:*Flervalgsoppgave* 61!

Figur*16:*Kopier*og*limOoppgave* 61!

Figur*17:*Koordinatoppgaver* 62!

Figur*18:*Tell*punkter*i*en*punktlisteOoppgave* 63!

Figur*19:*Oversikt*over*oppgavetyper*i*osloprøven* 64!

Figur*20:*Nettvettoppgave*1* 67!

Figur*21:*Nettvettoppgave*2* 68!

Figur*22:*KildekritikkOoppgave* 70!

Figur*23:*Nettvettoppgave*3*og*4* 70!

Figur*24:*Kopier*og*limOoppgave*der*svaret*like*gjerne*kan*skrives*inn* 71!

Figur*25:*Spørreskjema*med*krav*om*innfylling*av*skolekode*og*individuell*kode* 78!

Figur*26:*Utsnitt*av*Google*Docs*regnearket,*med*skolekode*(retusjert*bort),*individuell*kode*og*

respondentenes*svar*på*tre*av*spørsmålene* 79!

Figur*27:*Tid*på*datarom*1.*Trinn! **Figur*28:*Tid*på*datarom*2.*trinn* 83!

Figur*29:*Tid*på*datarom*3.*Trinn! **Figur*30:*Tid*på*datarom*4.*trinn* 83!

Figur*31:*Gjennomsnittlig*antall*timer*på*datarom*fra*1.**til*4.*trinn* 84!

Figur*32:*Spredningsplott*osloprøven/prosjektorer* 86!

Figur*33:*Korrelasjon*osloprøven/elever*pr*lett*tilgjengelig**datamaskin* 88!

Figur*34:*Korrelasjon*osloprøven/totalt*tilgjengelige*datamaskiner* 89!

Figur*35:*Korrelasjon*osloprøven/antall*timer*på*datarommet* 90!


8

Figur*36:*Spredningsplott*osloprøven/nasjonal*prøve*i*lesing* 93!

Figur*37:*Spredningsplott*nasjonal*prøve*i*lesing/andel*med*annet*morsmål*enn*norsk* 94!

Figur*38:*Spredningsplott*osloprøven/andel*med*annet*morsmål*enn*norsk* 95!

Figur*39:*Spredningsplott*osloprøven/nasjonal*prøve*i*regning* 96!

Figur*40:*Eksempel*på*oppgave*fra*nasjonal*prøve*i*regning* 97!

Figur*41:*Korrelasjon*osloprøven/nasjonale*prøver* 97!


9

Sammendrag Osloprøven i digital kompetanse er en test som de siste årene har blitt gjennomført på hele 4.

trinn og VG1 i Oslo. Prøven er digital og er utformet med oppgaver som forsøker å måle

forskjellige aspekter av elevenes kunnskap innenfor IKT, fra grunnleggende ferdigheter til

nettvett og kildekritikk. I denne masteroppgaven, som konsentrerer seg om prøven for fjerde

trinn, gjennomfører jeg en analyse av prøvens form og innhold, og diskuterer prøvens

reliabilitets- og validitetsnivå ved å se på den i lys av vanlige retningslinjer for vurdering og Ola

Erstads definisjon av digital kompetanse.

Oppgaven inneholder også en kvantitativ analyse som ser nærmere på hvordan osloprøvens

resultater henger sammen med tilgangen til IKT-utstyr og resultater fra nasjonale prøver. Denne

delen av oppgaven er delvis basert på eget innsamlet tallmateriale og delvis på offentlig

tilgjengelig informasjon.

Hovedfunn i oppgaven er at osloprøven i lav grad måler det som faller inn under begrepet digital

kompetanse, slik det normalt defineres av forskere både i inn- og utland. Digital kompetanse er

et bredt begrep med et komplekst innhold, og osloprøven, med sin lukkede og binære rett/galt-

spørsmålsform kan ikke i tilstrekkelig grad brukes for å si noe om elever har høy eller lav digital

kompetanse.

Oppgaven viser også at det er svært lav statistisk sammenheng mellom hvordan skolene er utstyrt

med datamaskiner og annet IKT-utstyr, og hvordan tilgangen til utstyret prioriteres for 1. til 4.

trinn. Det er derimot en høy statistisk sammenheng mellom hvordan skolene scorer på

osloprøven i digital kompetanse og nasjonale prøver i blant annet lesing. I oppgaven diskuterer

jeg denne avhengigheten mellom gode leseferdigheter og osloprøvens resultater, og kommer

frem til at osloprøven har større gyldighet som et mål på leseferdigheter enn som et mål på

digital kompetanse.


10

1 Innledning

1.1 Egen bakgrunn Jeg er utdannet lærer ved Høgskolen i Bergen, og har siden 2006 jobbet på ulike trinn ved

Nøklevann skole i Oslo. Tidligere har jeg vært kontaktlærer, men har de siste årene fungert som

både faglærer og IKT-ansvarlig ved skolen. Som IKT-ansvarlig har jeg ansvaret for at

dataparken fungerer som den skal, samtidig som jeg hjelper kolleger og elever med alt fra å sette

i en strømkabel til introduksjon i interaktive tavler og gjennomføring av nasjonale prøver. Jeg

underviser også en klasse i IKT. Jeg synes det er en krevende oppgave. Mye av datautstyret

trekker på åra, det er knapt med ressurser, og ofte er både jeg og mine kolleger for opptatt til å

kunne gi eller motta god hjelp. Likevel trives jeg i rollen, og det fyller hverdagene med mye

variert arbeid.

Jeg har alltid hatt en interesse for IKT, og det å kunne utnytte de mulighetene datamaskiner gir i

pedagogisk sammenheng mener jeg bidrar til å gjøre undervisningen min bedre. Jeg føler jeg er

på trygg grunn når jeg jobber med datamaskiner, men når det kommer til å koble IKT opp mot

pedagogikk lærer jeg stadig noe nytt. Jeg tok et årskurs i pedagogisk bruk av IKT ved HiO i

2009, og etter det fikk jeg svært lyst til å fortsette med en masterutdannelse i samme tema.

1.2 Bakgrunn for oppgaven “Å kunne bruke digitale verktøy” er en grunnleggende ferdighet (Utdanningsdirektoratet 2006),

og det er skolenes plikt å innarbeide IKT i alle fag i skolen. For å kunne gjøre det må skolene ha

tilstrekkelig tilgang til IKT-utstyr. Oslo har tatt et skritt i riktig retning med innkjøringen av

InnsIKT-ordningen som danner en felles plattform for alle skolene i kommunen. InnsIKT ble

innført i 2002, og ifølge utdanningsetatens egne nettsider står InnsIKT for Innsats for pedagogisk

bruk av IKT i Osloskolen. Utdanningsetatens overordnede mål er at alle elever skal bruke IKT

målrettet og fleksibelt i læringsarbeidet. En forutsetning for dette er å høyne elevenes

kompetanse og legge til rette for økt bruk av IKT i undervisningen (Utdanningsetaten 2009).


11

InnsIKT-ordningen har sikret alle skoler fiberoppkobling mot Internett, en felles

læringsplattform i Fronter og en datamaskinpark i grunnskolen som ifølge Kvalitetsportalen1 nå

dekker 2,5 elever per datamaskin i gjennomsnitt (Kvalitetsportalen 2011). Dette

gjennomsnittstallet sier derimot ikke noe om den faktiske tilgangen til datamaskiner for elevene,

i tillegg til at skolene jobber på forskjellige måter med IKT i fagene og på trinnene.

Noen av forskjellene har sin årsak i den enkle grunn at skolebygningene ikke er like. Noen skoler

har plass til datarom som kan romme en hel klasse, og andre har plassert bærbare maskiner i

klasserommene. Gjennomsnittstallet fra kvalitetsportalen har også en svakhet i at det ikke

forteller noe om alder på utstyret. Gamle maskiner er trege maskiner, noe som blant annet gjør at

mange lærere dropper å bruke PC i undervisningen (Zachariassen 2012). Godkjent produktliste2 i

InnsIKT inneholder i år fremdeles maskiner som kom på markedet i 2007, som Dells Vostro

1000. Denne maskinen fases først ut til sommeren 2013. 5 år gamle maskiner gir ingen god

brukeropplevelse, og kan heller ikke kjøre noe annet enn Windows XP, et operativsystem som i

år fyller 11 år.

Hvordan skolene prioriterer ressursene har også noe å si for elevens tilgang til IKT. For første-

og andreklassinger er det ikke lett å logge på datamaskiner med brukernavn og passord, noe

InnsIKT-løsningen krever. Det kan gjøre det vanskelig å bruke IKT i undervisningen på skoler

som prioriterer datarom foran datamaskiner på klasserommene. Om skolene prioriterer tilgang til

utstyr til mellomtrinnet foran småskoletrinnet vil den faktiske tilgangen til datamaskiner også

minske, og gjennomsnittstallet på 2,5 elever per maskin vil dermed ikke gjenspeile virkeligheten.

Osloprøven i digital kompetanse3 er utviklet av ITU4 og ble gjennomført for første gang høsten

2007. Hensikten med prøven var å kartlegge elevenes kompetanse i forhold til den

1 Kvalitetsportalen Oslo er et nettstedet for å finne informasjon om resultater og ressursbruk knyttet til den enkelte 2 Godkjent produktliste (GPL) er en oversikt over godkjente klienter, datamaskiner og software i InnsIKT. 3 Heretter også kalt kun osloprøven


12

grunnleggende ferdigheten, å kunne bruke digitale verktøy (ITU 2007). Denne kartleggingen var

ny i Norge, og det var lite av det andre steder i verden5. Det fantes en del egenrapportering om

digital kompetanse, men ITU mente dette ikke var reliabelt, blant annet på grunn av at det ofte er

et stort sprik mellom det vi sier vi behersker og det vi faktisk gjør i praksis. De anså

flervalgsoppgaver som et mer reliabelt mål fordi elevene faktisk må løse oppgaver (Hatlevik

2009a).

Jeg har selv vært med på å gjennomføre denne prøven. Da vi fikk resultatene havnet skolen vår

litt over gjennomsnittet i score. Vi hadde brukt IKT jevnlig i undervisningen, elevene behersket

alt fra basale oppgaver, som å logge seg inn, til det å kunne modellere i Google Sketchup.

Likevel havnet vi midt på treet. Hvorfor gjorde vi det? Brukte vi for lite IKT? Brukte vi IKT på

feil måte? Var utstyret ikke godt nok? Kunne det være noe med prøven? Dette er spørsmål jeg

ble sittende igjen med, og som jeg nå har hatt muligheten til undersøke.

Formålet med denne oppgaven er å se nærmere på hva osloprøven faktisk måler og årsakene til

forskjellene i score på skolenivå. I første del vil jeg analysere osloprøven og diskutere om den

kan brukes til å danne et reliabelt og valid mål for elevenes digital kompetanse. I andre del vil

jeg gjennomføre en kvantitativ analyse av skolenes IKT-forhold, med vekt på elevene i

småskolens faktiske tilgang til IKT. Analysen vil være basert på eget innsamlet tallmateriale, og

jeg vil knytte dette opp mot skolenes score på osloprøven i digital kompetanse. Prøven ble

gjennomført våren 2011 og tallmaterialet ble samlet inn påfølgende høst. Denne delen av

oppgaven inneholder også en sammenligning av osloprøvens resultater og resultatene fra

nasjonal prøve i blant annet lesing.

En kvantitativ undersøkelse har historiske røtter i et positivistisk syn på vitenskap. Selv anser jeg

læring som noe som skjer i sosiale sammenhenger, og epistemologisk er jeg derfor mye nærmere

en sosial konstruktivist enn en positivist. Jeg er av den oppfatning at enkelte kunnskaper, ideer

4 Forsknings- og kompetansenettverk for IT i utdanning (ITU) er en nasjonal FoU-enhet innen feltet IKT og utdanning 5 Australia hadde utviklet prøver i “Digital Literacy” (Hatlevik 2009a)


13

og holdninger som vi formidler i skolen er svært viktige og ytterst verdifulle selv om vi ikke kan

tallfeste og rangere dem. Når det er sagt er jeg på ingen måte kategorisk negativ til testing,

hverken i liten eller stor skala. Prøver og undersøkelser kan gi nyttig informasjon, men det er

viktig at man er ærlig på hva tallfestet kunnskap kan og ikke kan forklare.

Jeg avgrenser dermed oppgaven til å omfatte en analyse av selve prøven, og en kvantitativ

analyse av fysiske IKT-forhold sett opp mot prøvens resultater. Denne avgrensingen danner

grunnlag for en overordnet problemstilling og tre underspørsmål som blir beskrevet i de neste to

kapitlene.

1.3 Problemstilling Denne oppgaven handler om osloprøven i digital kompetanse. Det jeg ønsker å se nærmere på er

hvordan prøven forsøker å måle det komplekse begrepet digital kompetanse. Hvordan går prøven

frem for å operasjonalisere innholdet i begrepet, hva er det prøven faktisk måler gjennom de

oppgavene som er gitt og hvordan tolkes resultatene? Samtidig er jeg interessert i hva som kan

være årsaken til at prøveresultatet varierer mellom skolene. Hva er det som påvirker resultatene?

Hvorfor scorer noen skoler høyt, og andre lavt? Kan det være fysiske forskjeller mellom

skolenes IKT-park? Eller ligger årsaken et annet sted, som i selve prøvens form? Alle disse

spørsmålene danner grunnlaget for denne overordnede problemstillingen:

I hvilken grad gir resultatene fra osloprøven i digital kompetanse et

gyldig bilde av elevenes faktiske digitale kompetanse?

For å svare på problemstillingen vil jeg bryte spørsmålet ned i tre underspørsmål.

Underspørsmålene deler oppgaven opp i en kvalitativ og en kvantitativ del, der den kvalitative

delen av oppgaven inneholder en analyse av selve prøven. Denne delen beskriver jeg nærmere i

kapittel 1.3.1. I den andre delen ser jeg på egeninnsamlede data om skolenes IKT-forhold og

hvordan osloprøvens resultater henger sammen med resultater fra nasjonale prøver, og annen

informasjon om skolene. Underspørsmålene i denne delen av oppgaven beskrives i kapittel 1.3.2.


14

1.3.1 Underspørsmål i analysen av osloprøven

I analysen av osloprøven vil jeg se på hvordan prøven er utformet, hvilke spørsmål den har og

hvilke spørsmålstyper den bruker. Spørsmålene rundt prøven er mange: Hvorfor skal elevene

testes? Har det noe å si hvordan prøven er utformet? Hvordan tolkes resultatene, og kan de

brukes til noe i etterkant av vurderingen? Alle disse spørsmålene koker ned til dette

underspørsmålet:

I hvilken grad er osloprøven i digital kompetanse reliabel og valid?

For å vurdere prøvens reliabilitet og validitet ser jeg blant annet på prøvens oppgaver opp mot

vanlige retningslinjer for flervalgsprøver, diskuterer hvordan prøven forholder seg til begrepet

digital kompetanse og ser på hvordan resultatene fra prøven tolkes. Både begrepene og analysene

presenteres i kapittel 4.

1.3.2 Underspørsmål i kvantitativ del

Denne delen av oppgaven er en forklarende undersøkelse der formålet er å finne ut av hvilke

faktorer som er årsak til et fenomen, eller hvilke fenomener som er konsekvens av et fenomen

(Johannessen 2010: 56). I denne delen har jeg formulert to underspørsmål. Det første handler om

skolenes IKT-utstyr:

I hvilken grad kan fysiske IKT-forhold ved skolene påvirke resultatene

på osloprøven i digital kompetanse?

Begrepet fysiske IKT-forhold åpner for flere underspørsmål, som alle vil se om forskjellige

faktorer påvirker prøveresultatene. Kan faktisk tilgang til datamaskiner påvirke prøveresultatene?

Har det noe å si om skolen er utstyrt med datarom eller ikke? Betyr det noe hvor mye tid

klassene bruker på datarommet? Påvirker det resultatene om skolen har prosjektor eller

interaktive tavler? Gjør godt utstyrte skoler det bedre enn dårlig utstyrte?


15

Underspørsmålene bidrar til å operasjonalisere problemstillingen. Det vil si å gå fra det generelle

til det konkrete (Johannessen: 63). I dette tilfellet vil det generelle være fysiske IKT-forhold.

Dette begrepet må gjøres om til noe målbart og tallfestes. Operasjonalisering vil jeg beskrive

nærmere i kapittel 3.2.3 om kvantitativ metode, og selve operasjonaliseringen vil jeg gjøre under

kapittel 5.2.

Det andre underspørsmålet i denne delen av oppgaven tar for seg osloprøvens resultater i lys av

annen informasjon om skolene. Analysen av osloprøven viser at den inneholder oppgaver som

forutsetter gode lesekunnskaper. Derfor vil jeg her sammenligne osloprøvens resultater med

resultater fra nasjonale prøver og andelen elever med et annet morsmål enn norsk:

I hvilken grad er resultatene fra osloprøven knyttet til leseferdigheter?

Før jeg begynner på den kvalitative og kvantitative analysen vil jeg presentere en del teori om

begrepet digital kompetanse, prøver og vurderingsformer. Jeg presenterer også tidligere analyser

av osloprøvens resultater. Dette fører oppgaven over i neste kapittel:


16

2. Digital kompetanse og vurdering I dette kapitlet vil jeg presentere noen av de sentrale begrepene rundt digital kompetanse og

vurdering. Jeg begynner med en kort gjennomgang av begrepene “å kunne bruke digitale

verktøy” og “digital kompetanse”, før jeg ser på hvordan begrepene blir brukt i osloprøven. Jeg

argumenterer også for hvorfor jeg velger Ola Erstads definisjon av begrepet digital kompetanse

når jeg skal analysere osloprøven. I tillegg inneholder kapitlet en gjennomgang av analysene i

rapportene til osloprøven 2009 og 2011. Etter det kommer jeg inn på skillet mellom formativ og

summativ vurdering, og ser på positive og negative aspekter rundt testing i forskjellige former.

Dette knyttes opp mot to artikler om vurdering i form av nasjonale prøver i lesing i Danmark, og

PISA-undersøkelsen i Norge. Kapitlet legger et grunnlag for mine egne analyser i både kvalitativ

og kvantitativ del.

2.1 Digital kompetanse

2.1.1 Å kunne bruke digitale verktøy

Våren 2004 la regjeringen frem stortingsmelding 30, Kultur for læring. Der ble det foreslått en

ny reform som innebar nye læreplaner for både grunnskolen og videregående opplæring. Det ble

også foreslått en femårig IKT-satsing som fikk navnet Program for digital kompetanse 2004-

2008. Programmet skulle gjøre digital kompetanse til alles “eiendom”, og det ble beskrevet en

fremtid hvor digital kompetanse ville være nødvendig for å kunne fungere i arbeids- og

samfunnsliv.

Reformen fikk etterhvert navnet Kunnskapsløftet, og det ble gjennomført flere endringer som økt

timeantall for elevene, et større fokus på resultater, og innføring av nasjonale prøver. I tillegg ble

det innført fem grunnleggende ferdigheter, som nå inngår i alle fag. De grunnleggende

ferdighetene er å kunne uttrykke seg muntlig, å kunne uttrykke seg skriftlig, å kunne lese, å

kunne regne og å kunne bruke digitale verktøy (Kunnskapsdepartementet 2010).


17

Sidestillingen av det å kunne bruke digitale verktøy med de andre basisferdighetene var ikke nytt

bare i Norge, men også i verden (Hatlevik 2010: 2). Med innføringen av IKT som en

basisferdighet ble det også nødvendig for skolene å utbedre både infrastruktur og egen

kompetanse. Dette lå også i programmets satsningsområder, som i tillegg omhandlet digitale

læringsressurser, læreplaner og arbeidsformer, og forsknings- og utviklingsarbeid

(Kunnskapsdepartementet 2010).

Samtidig med innføringen av IKT som en naturlig del av læringsarbeidet skulle det utvikles et

system for å kunne måle kvalitative og kvantitative utviklingstrekk med hensyn til tilgang, og

bruk av IKT i læringsarbeidet. Dette skulle gjøres for å få bedre innsikt i hvordan IKT påvirket

utdanningens kvalitet, motivasjon og om det førte til et styrket læringsutbytte

(Kunnskapsdepartementet 2010). Samme år som stortingsmelding 30 kom ut ble ITU etablert

som en permanent nasjonal fagenhet ved det utdanningsvitenskapelige fakultet ved Universitetet

i Oslo. ITU fikk senere i oppdrag av Utdanningsetaten å lage en Osloprøve i digital kompetanse.

I Kunnskapsløftet brukes ikke begrepet digital kompetanse, men “å kunne bruke digitale

verktøy”. Dette begrepet blir av flere kritisert for å være svært snevert (Erstad 2007) fordi det

ikke omfatter holdninger til og forståelse for hvordan omgivelsene påvirker bruk av teknologien.

I stedet bruker Erstad, ITU og andre forskere innenfor skole og IKT digital kompetanse, som

også er et svært omdiskutert begrep med mange (forsøk på) definisjoner.

2.1.2 Digital kompetanse og de mange definisjonene

ITU omtaler i sin leder i 2006 digital kompetanse som et “essentially contested concept”

(Søby 2006). Uttrykket ble introdusert av den skotske filosofen W.B Gallie, og handler

om konsepter hvor betydningen blir diskutert i det uendelige, og som det aldri vil bli noen

felles enighet om innholdet i. Gallie bruker begrepet “The champions” i sport som

eksempel. Hvem som er “The champions” varierer fra person til person og hvem de heier

på, uavhengig av hvilket lag som spiller best. Noen er de ekte mesterne, andre kan være de

moralske mesterne og bare vent, her er de kommende mesterne (Gallie: 1956)


18

(...) there are concepts which are essentially contested, concepts the proper use of

which inevitably involves endless disputes about their proper uses on the part of

their users.

(Gallie 1956: 169)

Uttrykket passer godt til digital kompetanse. Som med Gallies champions har alle en

viss forståelse av hva begrepet dreier seg om. Alle er enige om at det handler om å kunne

bruke digitale verktøy, men hva som vektlegges varierer fra definisjon til definisjon.

Kunnskapsdepartementet forsøkte seg i Stortingsmelding nr. 30 i 2004, og konkluderte

allerede i definisjonen med at digital kompetanse er et komplekst område:

Digital kompetanse er summen av enkle IKT-ferdigheter, som det å lese, skrive

og regne, og mer avanserte ferdigheter som sikrer en kreativ og kritisk bruk av

digitale verktøy og medier. IKT-ferdigheter omfatter det å ta i bruk programvare,

søke, lokalisere, omforme og kontrollere informasjon fra ulike digitale kilder,

mens den kritiske og kreative evnen også fordrer evnen til evaluering,

kildekritikk, fortolkning og analyse av digitale sjangrer og medieformer. Totalt

sett kan digital kompetanse dermed betraktes som en meget sammensatt

kompetanse.

(Kunnskapsdepartementet 2004)

En definisjon på digital kompetanse er vanskelig, ikke bare fordi teknologien er i stadig

endring og forskningsfeltet ikke klarer å holde tritt med utviklingen, men også fordi

definisjonen endrer seg alt etter som hvilket perspektiv vi legger til grunn. For eksempel

behøver læreren en digital kompetanse som inneholder en form for blanding mellom

pedagogisk kunnskap, fagkunnskap og teknologikunnskap. Denne sammenblandingen av

kunnskaper har blitt diskutert av Matthew J. Koehler, mannen bak teorien om TPACK,

som er et akronym for Technological, Pedagodical and Content Knowledge. Teorien kan

forklares gjennom dette venn-diagrammet:


19

Figur 1: TPACK-modellen (Koehler 2011)

Kort oppsummert handler det om at en lærer bør ha en kombinert kunnskap av pedagogisk,

faglig og teknologisk art. En lærers digitale kompetanse bør ikke bare handle om å kunne

bruke digitale verktøy. Det vil være like viktig å kunne kombinere denne kunnskapen med

pedagogikk og fag. Det vil si, læreren må også vite hvordan teknologien kan brukes i

pedagogisk sammenheng, og hvordan den kan den bidra til å formidle det aktuelle faget. En

definisjon som bærer dette perspektivet er laget av professor Leikny Øgrim og lyder slik:

Digital kompetanse er å kunne bruke digitale verktøy og ha en tilstrekkelig

forståelse av teknologien til å kunne fungere i og påvirke samfunnet, forståelse av

den dialektiske sammenhengen mellom teknologi og samfunn og IKT-didaktisk

kompetanse:

○ Kompetanse i undervisning med IKT og

○ Kompetanse i undervisning i IKT

(Øgrim 2010)


20

Ola Erstads definisjon er rettet mer mot hva elevene bør kunne både i skolen og i et

samfunnsperspektiv, og lyder slik: “Digital kompetanse er ferdigheter, kunnskaper og

holdninger ved bruk av digitale medier for mestring i det lærende samfunn” (Erstad 2005:

133). Definisjonen kommer med et tillegg som inneholder en rekke komponenter Erstad

mener elevene bør kunne vurderes i forhold til (se kapittel 2.1.4), fra blant annet enkel

verktøykompetanse som å kunne slå på datamaskinen, til å kunne navigere seg rundt,

uttrykke seg gjennom medier og til slutt kunne skape eget innhold, som nettsider eller

sammensatte tekster (Erstad 2005: 134).

Samfunnsperspektivet er også med i denne definisjonen fra boken DidIKTikk (Bjarnø

2008): "Digital kompetanse innebærer å kunne bruke digitale verktøy og ha en tilstrekkelig

forståelse av teknologien til å kunne fungere i og påvirke samfunnet." Samfunnsperspektivet

kan også sees på som digital dannelse, og i denne pyramiden av Baltzersen er det den

høyeste form for digital kompetanse:

Figur 2: Digital Kompetanse-pyramide (Baltzersen 2007)


21

I engelskspråklige land brukes begrepet "digital literacy", som ikke kan oversettes direkte til

digital kompetanse. Literacy er vidt begrep og omfatter ferdigheter som både lesing og

skriving. Literacy brukes i flere kontekster, for eksempel media literacy, digital literacy og

multiliteracies. Paul Gilster, forfatteren av boka Digital Literacy, har definert digital literacy

som "(...) the ability to understand and use information in multiple formats from a wide

range of sources when it is presented via computers." (Gilster 1997). Kathleen Tyner

påpeker at ingen av definisjonene på digital literacy er presise eller altomfattende nok til å

formidle en bred forståelse av behovene for kompetanse i en digital verden. Hun deler

digital literacy i to deler. Den ene er tool literacy, som omhandler grunnleggende ferdigheter

i datamaskiner, nettverk, og teknologi. Den andre er literacy of representation, som

innebærer information literacy, visual literacy og media literacy (Tyner 1998).

Øgrim og Beck påpeker at Digital kompetanse er et relativt begrep som må utdypes i

forhold til tid, sted, alder og bruksområder (Østerud 2009: 175). Sagt på en annen måte: Det

er ikke mulig å lage noen endelig definisjon på begrepet digital kompetanse. I stedet må

begrepet forklares ut i fra sammenhengene det brukes i. Jeg er enig at digital kompetanse

ikke kan få en endelig definisjon. Samtidig mener jeg at begrepet ikke kan defineres på

hvilken som helst måte. Jeg mener blant annet at digital kompetanse omfatter et bredt sett av

kunnskaper, og dette skriver jeg mer om i kapittel 2.1.4. Under produksjonen av osloprøven

har det også blitt definert hva som legges i begrepet, og det er dette jeg skriver om i neste

kapittel.

2.1.3 Digital kompetanse i osloprøven

Da ITU lagde de første osloprøvene i digital kompetanse i 2008 og 2009 forholdt de seg til

denne definisjonen:

Digital kompetanse er ferdigheter, kunnskaper, kreativitet og holdninger som alle

trenger for å kunne bruke digitale medier for læring og mestring i

kunnskapssamfunnet.

(ITU 2009)


22

I tillegg til definisjonen spesifiserte ITU seks områder innenfor begrepet digital kompetanse

de anså som sentrale for å kunne kartlegge elevene. Områdene er inspirert av en rekke

kompetansemål som International Society for Technology in Education6 har utviklet

(Hatlevik 2009a). På samme måte som Erstads komponenter bidrar disse områdene til å

spesifisere hva elevene bør ha av digital kompetanse. ITU tok dermed hensyn til at digital

kompetanse er et begrep som må utdypes når det gjelder bruksområde. De seks områdene er

beskrevet under:

• Grunnleggende IKT-operasjoner og -begreper: Dette tema dreier seg om å kartlegge

hvorvidt elevene vet hvordan de skal åpne programmer, skrive ut dokumenter, endre teksttyper

m.v. Det vil f.eks. dreie seg om elevenes forståelse av sentrale begreper som Internett, databaser

m.v.

• Sosiale og etiske spørsmål: Dette tema kan operasjonaliseres til å omfatte en kartlegging av

elevenes kunnskaper og kompetanser når det gjelder håndtering av datasikkerhet, nettvett,

personvern m.v.

• Produksjonsverktøy/publisering: Fokus for dette tema er elevenes kompetanse når det gjelder

å beherske verktøy for skriving, regning, presentasjon m.v. Ved en eventuell kartlegging vil det

primært dreie seg om hvorvidt elevene er i stand til å bruke verktøyene på hensiktsmessige

måter, og ikke om de behersker dem rent teknisk.

• Kommunikasjonsverktøy: Dette tema innebærer en kartlegging av elevenes kompetanse med

hensyn til bruk av kommunikasjonsverktøy som MSN, blogg eller e-post samt deres kunnskaper

om ulike kommunikasjonssjangre.

• Multiple kilder: I dette tema er fokus på hvordan elevene søker etter informasjon, kildekritikk

og hvordan de integrerer kunnskaper fra ulike kilder inn i egne produksjoner.

• Problemløsning med IKT: Det dreier seg om å undersøke hvilken kompetanse elevene har til

å anvende IKT-verktøy for å løse forskjellige typer problemer. Det kan f.eks. dreie seg om å

6 International Society for Technology in Education (ISTE) er en nonprofit-organisasjon med medlemmer fra hele verden. De jobber sammen med lærere og skoleleder for å utvikle IKT-støttet undervisning og læring.


23

finne avstand mellom to byer, å regne ut gjennomsnitt med et regneark, eller å forstå logiske

operasjoner knyttet til programmering.

(Hatlevik 2009a)

Ikke bare spesifiserer områdene hva ITU legger i digital kompetanse, men de bidrar også til

å operasjonalisere begrepet. Operasjonaliseringen gjør det mulig å lage oppgaver til hvert

enkelt tema, tilpasset det nivået som er forventet hos elever på et bestemt klassetrinn.

Områdene la dermed grunnlaget for spørsmålene i de første osloprøvene.

I 20117 ble prøven utviklet på grunnlag av læreplanen for 4. trinn i stedet for de seks

områdene nevnt over. Nå ble spørsmålene laget med utgangspunkt i kompetansemålene som

handler om bruk og beherskelse av digitale verktøy. I tillegg er det utviklet spørsmål som tar

utgangspunkt i områdene grunnleggende ferdigheter og informasjonskompetanse. I

rapporten om resultater fra prøve i digital kompetanse er områdene definert slik:

- Informasjonskompetanse tar for seg det å søke, identifisere og hente ut relevant (og

faglig) informasjon gjennom bruk av Internett.

- Grunnleggende digitale ferdigheter dreier seg om å ta i bruk, åpne, lagre og lukke

både spesielle programmer og dokumenter.

(Utdanningsetaten 2011a)

7 ITU er nå en del av Senter for IKT i Utdanningen, og i 2011 var det Senter for IKT i Utdanningen og UiO som gjennomførte prøven på bestilling fra Utdanningsetaten


24

2.1.4 Digital kompetanse i denne oppgaven

Jeg synes at Utdanningsetatens oppdeling av digital kompetanse i enhetene

informasjonskompetanse og grunnleggende digitale ferdigheter er et for snevert syn på hva

begrepet inneholder. Selv om digital kompetanse bør defineres ut i fra konteksten det brukes

i, så blir det for enkelt å se bort i fra store og viktige sider av begrepet som er med i nesten

alle definisjonsforsøk. Blant annet er samfunnsperspektivet og digital dannelse komplett

fraværende. Det samme er kunnskaper om kommunikasjon, samarbeid og kreative sider ved

bruk av IKT-bruk. Når prøven likevel blir gitt navnet osloprøven i digital kompetanse vil jeg

gjerne se på den i lys av en definisjon av begrepet som ikke er skreddersydd for en enkelt

prøve.

I denne oppgaven velger jeg derfor å forholde meg til Ola Erstads definisjon av digital

kompetanse. Den begynner å trekke litt på åra, men den dekker fremdeles det meste av det

jeg mener er viktig at elever bør kunne, både på skolen og samfunnet. Sammen med

definisjonens komponenter er det et utfyllende og omfangsrikt syn på et komplekst og

sammensatt begrep. Erstads 10 komponenter som følger definisjonen er:

• Grunnleggende ferdigheter: Kunne åpne programvare, sortere og lagre

informasjon på datamaskinen, og andre ferdigheter i bruk av datamaskiner og

programvare.

• Laste ned/opp: Kunne laste ned/opp ulike informasjonstyper fra/til Internett.

• Søke: Vite om hvordan man skal få tilgang til informasjon.

• Navigere: Kunne orientere seg i digitale nettverk, dataspill o.l, dvs.

Læringsstrategier for bruk av Internett.

• Klassifisere: Kunne organisere informasjon i forhold til en klassifikasjon, sjanger

eller lignende.

• Integrere: Kunne sammenligne og sammenstille ulike typer informasjon i forhold

til sammensatte tekster (multimodalitet).


25

• Evaluere: Kunne sjekke og vurdere om man har kommet dit en ønsket gjennom

Internett-søk. Kunne vurdere kvaliteten, relevansen, objektiviteten og nytten av den

informasjonen man har funnet (kildekritikk).

• Kommunisere: Kunne kommunisere informasjon og uttrykke seg gjennom ulike

medier.

• Samarbeide: Kunne inngå i nettbaserte lærende relasjoner med andre, og kunne

utnytte den digitale teknologien til samarbeid og deltagelse i nettverk.

• Skape/Kreere: Kunne produsere og sammenstille ulike former for informasjon som

sammensatte tekster, lage hjemmesider, m.m. Kunne utvikle noe nytt gjennom bruk

av spesielle verktøy eller programvare.

(Erstad 2005)

Erstads definisjon og hans 10 komponenter vil bli brukt gjennom hele oppgaven, men vil bli

ekstra hyppig referert til i analysen av osloprøvens form og innhold. I neste kapittel

presenterer jeg rapportene fra osloprøven 2009 og 2011.

2.2 Osloprøveforskning

2.2.1 ITU Monitor analyse 2009

De første gangene osloprøven ble arrangert var det 5. trinn på barnetrinnet som gjennomførte

prøven. I tillegg har ITU Monitor gjennomført prøven på et utvalg av skoler på 7. trinn, 9. trinn

og VG2. I 2009 ga ITU Monitor ut en rapport (Hatlevik 2009b) hvor de analyserer resultatene og

ser på sammenhenger mellom resultatene og andre variabler gjennom korrelasjonsanalyser.

På prøven for 7. trinn var det 15 spørsmål som skulle dekke ulike tema innenfor digital

kompetanse. Spørsmålene var delt inn i 6 tema som skilte mellom grunnleggende IKT-

operasjoner, sosiale og etiske spørsmål, produksjonsverktøy og publisering,

kommunikasjonsverktøy, multiple kilder og problemløsning med IKT. I vurderingen kommer det

frem at det var for stor variasjon i vanskelighetsgraden (Hatlevik 2009b). Oppgavenes


26

vanskelighetsgrad defineres ut i fra hvor mange prosent av elevene som klarer oppgaven. Om de

fleste elevene (fra 65 til 75%) svarer riktig kalles oppgaven enkel (Hatlevik 2009a). ITU ønsket

seg en bedre balanse i oppgavene, med flere vanskelige og middels vanskelige oppgaver.

I analysen viser det seg at jenter svarer betydelig bedre enn guttene totalt på prøven. På enkelte

av spørsmålene skiller det så mye som 10% mellom guttene og jentene, i guttenes disfavør. På

det eneste spørsmålet guttene gjør det bedre enn jentene skiller det kun 1 prosentpoeng. På

nesten halvparten av spørsmålene gjør jentene det bedre med 4 prosentpoeng eller mer.

I korrelasjonsanalysen sjekket ITU Monitor blant annet sammenhengen mellom prøveresultatene

og tidsbruk på data, motivasjon og hjemmeforhold i form av mors og fars utdanning og antall

bøker i hjemmet. Analyseresultatene viste at det er en signifikant sammenheng mellom

foreldrenes utdanning, bøker hjemme, mestringsmotivasjon og databruk på fritiden. Analysen

viste også en signifikant sammenheng mellom skoleleders holdning til integrering av IKT i

skolen og prøveresultatene.

En flernivåanalyse av variablene, med digital kompetanse som avhengig variabel, viser at

mestringsmotivasjon, kjønn, mors utdanning og integrering av IKT er de viktigste faktorene i

resultatforskjellene. Det å være jente utgjør 0,55 poeng mer på prøven sammenlignet med det å

være gutt. At jenter gjør det bedre enn guttene er ikke et ukjent fenomen, og gjelder blant annet

også for nasjonal prøve i lesing (Utdanningsdirektoratet 2012).

Interessant er det også at for syvende trinn er tilnærmet null sammenheng mellom tid brukt til

data på skolen og resultatene på prøven. Kanskje kan dette bety at arbeidsmetodene er viktigere

enn mengden tid brukt på data, eller kanskje det betyr at bruken av data på skolen er marginal i

forhold til bruken hjemme. Databruk hjemme, som ikke er skolearbeid, er nemlig en variabel

som stadig viser signifikant sammenheng med prøveresultatet. Dette går igjen på niende trinn og

på videregående kurs 2 (VG2). På VG2 er det også en viss sammenheng mellom prøveresultat og

tid brukt på data på skolen, men hjemmebruken veier fremdeles tyngre.


27

2.2.2 Rapport om resultater fra prøven i 2011

Denne rapporten (Utdanningsetaten 2011a) presenterer resultatene fra osloprøven i digital

kompetanse som ble gjennomført på 4. trinn i 20118. 98 skoler og 4883 elever deltok på prøven

som under gjennomføringen bestod av 60 oppgaver. 8 av oppgavene ble fjernet da analyser av

resultatene viste at de ikke kunne brukes. Analysene er dermed gjennomført på grunnlag av 52

oppgaver, som fordeler seg over to kategorier. Som nevnt tidligere er de to kategoriene

grunnleggende ferdigheter og informasjonskompetanse.

Oppgavene i kategorien informasjonskompetanse tar for seg det å søke, identifisere og hente ut

relevant informasjon ved bruk av internett. Totalt var det mulig å oppnå 32 poeng på dette settet

av oppgaver, og gjennomsnittlig scoret skolene i Oslo 26,3 poeng. På grunnlag av poengsummen

ble elevene fordelt i tre kompetansenivåer. Nivåene kjennetegnes slik:

Nivå 1 (Laveste kompetansenivå)

En elev på nivå 1 kan i noen grad finne frem til informasjon som ligger synlig på

nettsider. En elev på dette nivået har vansker med å gjennomføre søk, og de klarer i

mindre grad å hente ut informasjon fra ulike nettsteder. De trenger hjelp til å

gjennomføre vurderinger av kildebruk.

Nivå 2

En elev på nivå 2 kan hente ut informasjon fra ulike nettsteder, men de kan ha visse

vanskeligheter med å finne frem til riktig informasjon. En elev på dette nivået har

gode søkestrategier og de kan i noen grad hente ut relevant informasjon fra en

nettside. De har også brukbare vurderingsevne når det gjelder kildebruk.

Nivå 3 (Høyeste kompetansenivå)

En elev på dette nivået har svært gode søkestrategier og klarer å hente frem

informasjon om temperaturer, dyrearter og dinosaurer. En elev på nivå 3 innhenter

informasjon slik at han/hun kan planlegge reiseruter med digitale kart. De har også

svært god vurderingsevne når det gjelder kildebruk. 8 Dette er de samme prøveresultatene som jeg benytter i mine analyser i kap. 8.


28

Kun 9,5% av alle elevene havnet på nivå 1, mens 47,7% og 42,8% landet på nivå 2

og 3. Totalt sett er det svært få elever på det dårligste nivået, og 16 skoler har ingen

elever plassert der. 48 av skolene har kun mellom 1 til 10% elever som scorer til en

plassering på nivå 1. 17 skoler har over 20% av elevene plassert på nivå 1, og skolen

som gjør det dårligst har 50% av elevene på dette nivået.

Når det gjelder grunnleggende ferdigheter er elevene plassert i to kategorier som kalles 24 poeng

eller færre og 25 poeng eller mer. Kun 7,6% av alle elevene i Oslo scoret 24 poeng eller færre. I

rapporten blir det vist til at spørsmålene har en Cronbach’s alpha9 på 0,70, og rapporten fraråder

derfor å bruke resultatene som eneste grunnlag for å vurdere elevenes grunnleggende

kompetansenivå. I stedet oppfordrer rapporten til å bruke resultatene sammen med annen

informasjon om elevene for å se om resultatet gjenspeiler elevenes grunnleggende kompetanse.

En flernivåanalyse av resultatene koblet opp mot variablene kjønn, morsmål og vedtak om

språk10 viser at jenter, som i 2009, gjør det bedre enn gutter, elever med vedtak gjør det dårligere

enn elever uten vedtak og elever som snakker norsk eller samisk hjemme gjør det dårligere enn

elever som snakker andre språk. Rapporten har ingen forklaring på det siste funnet, og det blir

fremlagt et behov for ytterligere kartlegging.

2.3 Summativ og formativ vurdering Når man skal evaluere elever er det fort gjort å tenke på prøver. De brukes gjennom hele

skolegangen, fra småskolen til universitetet. De brukes fra skoleårets begynnelse som et redskap

for læreren for å få oversikt over hva elevene har med seg av forkunnskaper. Som gloseprøver,

kapittelprøver, oppsummeringsprøver, kartleggingsprøver og eksamensoppgaver. Prøver kan

9 Cronbach’s alpha er et mål på hvor reliable resultatene er. Jo høyere verdi, mellom 0.0 og 1.0, desto bedre reliabilitet: “(...) although the generally accepted value of .8 is appropriate for cognitive tests such as intelligence tests, for ability tests a cut-off point of .7 is more suitable (Field 2009) 10 Fra § 2-8 i Opplæringslova: Særskild språkopplæring for elevar frå språklege minoritetar


29

også brukes for å lage passende elevgrupper, for å bestemme farten i undervisningen og for å

kunne informere foreldre om tilstand og fremgang (Rudner 2002). Prøver kan være et nyttig

redskap i elevvurdering, men har også sine begrensninger. Kari Smith omtaler prøver slik:

En prøve er som et stillbilde tatt av en spesiell fremførelse i en bestemt situasjon.

Gyldigheten til denne prøven er ikke større eller mindre enn gyldigheten til et foto,

den dokumenterer ikke med sikkerhet prosessen som er foregått før prøven er gitt

(bildet er tatt) og den sier lite eller ingenting om fremtidige fremføringer eller andre

fremførelser i andre situasjoner.

(Smith 2009: 83)

Det er vanlig å skille mellom to typer vurdering i skolen: Formativ og summativ vurdering. De to

vurderingsformene skiller seg fra hverandre i måten evalueringen foregår på. Bob Stake forklarer

forskjellene med denne analogien: “When the cook tastes the soup, that’s formative; when the

guests taste the soup, that’s summative.” (Scriven 1991: 169). Summativ vurdering omtales også

som vurdering av læring, og formativ vurdering som vurdering for læring.

Summativ vurdering er ofte en sluttvurdering som gjennomføres etter en endt time, uke, måned,

på slutten av et semester eller ved uteksaminering. Det er i denne kategorien vi finner den

klassiske prøven. Summativ vurdering kan også forekomme underveis i en læringsprosess, men

om vurderingen blir karaktersatt kan det påvirke fremtidig læring på en negativ måte (Smith

2009: 84). En elev som føler at han mislykkes kan få forsterket inntrykket av dårlige

prøveresultater, og ta fra ham motet til videre læring (Merzano 2006: 8). Summativ vurdering

blir ofte kritisert for å være til liten nytte for elevene i læringsprosessen. Peter Airasia skiller

mellom summativ og formativ vurdering på denne måten:

(Formative assessments) ... are interactive and used primarily to form or alter an

ongoing process or activity. In contrast, assessments that come at the end of a

process or activity, when it is difficult to alter or rectify what has already occurred,

are called summative assessments”

(Marzano 2006: 9)


30

Problemet med summativ vurdering er at den som oftest kommer etter at læringsarbeidet er

overstått, og resultatene kan dermed ikke brukes til å forme undervisningen, eller veilede

elevene. Det finnes mye forskning som viser at et stort fokus på sluttproduktet fører til pugging

like før eksamen, og dermed overfladiske og kortvarige kunnskaper. Formativ vurdering kan

derimot bidra til å gi elevene en dypere forståelse av kunnskapene de tilegner seg, og gjøre

læringsprosessen bedre (Smith 2009: 85).

Forskning i stor skala viser at formativ vurdering gir bedre læringsresultater (Black 2006),

likevel finnes det ikke noen endelig definisjon på hva formativ vurdering er. Et av de mest

siterte forsøkene på å definere begrepet er denne av Paul Black og Wiliam Dyne:

(...) all those activities undertaken by teachers, and by their students in assessing

themselves, which provide information to be used as feedback to modify the

teaching and learning activities in which they are engaged. Such assessment

becomes ‘formative assessment’ when the evidence is actually used to adapt the

teaching work to meet the needs.

(Black 2001: 2)

Definisjonen legger tydelig vekt på at elevene og studentene skal være delaktige i vurderingen

ved egenvurdering, og at det er formativ vurdering først når informasjonen faktisk brukes til å

forme undervisningen etter behovene man kommer frem til. Kort oppsummert er intensjonen

bak vurdering for læring, eller formativ vurdering, at læreren skal hjelpe elevene med å finne ut

hvor de er i læringsprosessen, forklare hvordan de skal komme seg videre og veilede dem til å

finne den best egnede metoden.

Formativ vurdering er komplekst, og med mange definisjoner har ideene flere ganger blitt

misforstått på grunn av de flertydige beskrivelser av hva ideen handler om, eller misbrukt med

vilje av politiske årsaker. Paradoksalt nok har tankene bak formativ vurdering noen steder endt

opp i utvidet summativ vurdering. Et trettitalls pedagoger som var invitert til en internasjonal

konferanse for vurdering for læring oppsummerte noen av problemene:


31

For example, ‘deciding where the learners are in their learning, where they need to

go and how best to get there’, has sometimes been (mis)interpreted as an exhortation

to teachers to (summatively) test their students frequently to assess the levels they

attain on prescribed national/state scales in order to fix their failings and target the

next level. In this scenario, scores, which are intended to be indicators of, or proxies

for, learning, become the goals themselves. Real and sustained learning is sacrificed

to performance on a test.

(Position Paper on Assessment for Learning 2009)

Også i Norge har nasjonale prøver vært mye diskutert (Elstad 2009, Marstad 2011). Testingen i

Oslo er ifølge Steffen Handal11 langt mer utbredt enn i andre kommuner, og ingen andre steder

blir resultatene brukt mer politisk enn her. Han mener også at det som skulle være et middel for å

hjelpe elevene nå har blitt målet i seg selv (Skaar 2009). I en spørreundersøkelse får han støtte

fra et flertall av de spurte lærerne, der 62% er helt eller delvis enig i at fokuset på resultatene i de

nasjonale prøvene i for stor grad styrer lærernes og skolens prioriteringer (Utdanningsforbundet

2011)

Resultatene på en prøve forteller ikke nødvendigvis noe om at det har forekommet læring, fordi

elever og studenter kan lære seg å score bra på prøver, selv med lite faktisk læring. Med

vurdering for læring vil det derimot være slik at om læring har funnet sted, så vil det igjen vises i

elevenes ytelse (Position Paper on Assessment for Learning 2009).

Møtet mellom pedagogene på konferansen om vurdering for læring resulterte i en ny definisjon

som forsøker å tydeliggjøre på en bedre måte hva de mener med begrepet. Som et vedlegg til

definisjonen er også hver enkelt del utbrodert for å klargjøre hva som ligger i konseptet

vurdering for læring. Definisjonen lyder slik:

11 Sentralstyremedlem i Utdanningsforbundet


32

Assessment for Learning is part of everyday practice by students, teachers and peers

that seeks, reflects upon and responds to information from dialogue, demonstration

and observation in ways that enhance ongoing learning.

(Position Paper on Assessment for Learning 2009)

Vurdering for læring er ikke bare en vurderingsform, men også en metode å bedrive

undervisning på. Vurdering av læring er derimot en oppsummering som sammenligner en elevs

resultater med en eller annen standard, og er et av mange verktøy en lærer kan benytte seg av.

Men når prøvene er standardiserte, kommer utenfra og ikke lenger er direkte knyttet opp mot hva

elevene blir undervist i kan det bli et verktøy med negative effekter. Dette ser jeg nærmere på i

de to kommende kapitlene.

2.4 Vurderingsforskning

2.4.1 “We can do in nanoseconds what ought not be done at all”

Sitatet over kommer fra Gerald Bracey12 (Angel 2001), og er brukt i en vurderingsartikkel av

Lars Holm. Artikkelen med tittelen “Who evaluates the evaluation? - An analysis of computer-

adaptive testing using literacy as an example” (Holm 2006) kritiserer det som er danskenes

versjon av nasjonal prøve i lesing. Danskenes versjon av lesetesten skiller seg en del fra den

norske. I Danmark blir prøven gjennomført på en datamaskin og automatisk rettet. Underveis i

prøven forandrer oppgavene seg alt ettersom om eleven svarer riktig eller galt. Den begynner

med middels vanskelige oppgaver og tilpasser seg med andre ord nivået til eleven som tar

prøven. I Norge er ikke leseprøven digital ennå, og må rettes manuelt av en lærer før resultatene

sendes inn.

Selv om prøven Holm kritiserer handler om lesekyndighet er det mange aspekter ved prøven som

lar seg overføre til osloprøven i digital kompetanse. Begge prøvene gjennomføres på en

datamaskin, blir automatisk rettet og består av flervalgsoppgaver. Noen av Holms spørsmål

12 Tidligere testdirektør i Virginia Department of Education


33

overlapper også mine spørsmål i denne oppgaven. Han stiller blant annet spørsmål som: Hvordan

er prøven bygd opp? Hvilken forståelse av området prøven skal evaluere er lagt til grunn når

prøven ble lagd? Hvordan blir resultatene brukt? Hvordan påvirker prøven forholdet mellom

lærer og elev, elev og elev, elev og foreldre, og skolen og foreldre? Hvordan forandrer prøven

institusjonell praksis, verdier og relasjoner?

Holm beskriver tre forskjellige måter å se på lesekyndighet på: Den kognitive, den funksjonelle

og den sosiokulturelle. Den kognitive handler om det å kunne dekode tekst og omsette lyder til

bokstaver og ord. Den funksjonelle måten å se på lesekyndighet på handler om å mestre bestemte

typer tekst og bruke de i sammenheng med formålet de er ment for, som tidstabeller,

instruksjoner og lignende. Den tredje og siste måten å se lesekyndighet på er den sosiokulturelle.

Et sosiokulturelt syn anser lesekyndighet som et komplekst samfunnsfenomen som oppstår i

sosial samhandling, og som inneholder visse verdier og forhåndskunnskaper. Det sosiokulturelle

synet åpner for et fleksibelt og bredt syn på lesing som handler om å mestre mange forskjellige

typer tekster.

Holm går videre med å beskrive noen av oppgavene elevene må løse på lesetesten. Det er

oppgaver hvor forskjellige ord mangler, og som elevene må fylle inn ved å velge mellom et sett

forhåndsbestemte ord. Holm kaller denne formen for lesing for skolelesing, fordi det er tekster

som elevene vanligvis ikke leser noe annet sted enn i skolen. Testene er også basert på et

kognitivt syn på lesing, og er utformet for å avdekke elevenes avkodingsevner.

I tillegg til de tre forskjellige måtene å se lesekyndighet på beskriver Holm fem forskjellige

generasjoner av vurdering, der fire av dem er vitenskapelige. Den ikkevitenskapelige

vurderingsformen holdt blant andre Sokrates på med for snart 2500 år siden. Han testet elevene

sine med dialoger, og det fantes ikke noe riktig eller galt svar. Dialogen ble ansett som en bedre

måte å komme frem til ny kunnskap på enn det å kategorisere noe som rett eller galt.

Denne previtenskapelige generasjonen ble avløst av første generasjons vitenskapelige vurdering,

som først ble brukt tidlig på 1900-tallet. Grunnkonseptet i denne generasjonen vurdering var


34

måling, gjerne gjennom flervalgsoppgaver. Fjerde generasjon vurdering er inspirert av sosial

konstruktivisme, og ligger nært opp til formativ vurdering. Den danske lesetesten faller i følge

Holm inn under første generasjons vurdering på grunn av sin flervalgsform. Osloprøven er

utformet på samme måte, og faller derfor også inn under denne vurderingsformen.

Sokrates delte kunnskap inn i en orden som bestod av praktisk kunnskap, kunnskap om fakta,

konsepter og relasjoner, etisk kompetanse og filosofisk kompetanse rundt opprinnelsen av

kunnskap. Ifølge Holm havner databaserte flervalgsprøver på de laveste nivåene i denne

kunnskapsordenen, siden prøvene ikke omfatter analyse, syntese eller evaluering, og heller ikke

filosofisk refleksjon eller handlingskompetanse. Faren ved dette, sier Holm, er at siden prøvene

skal brukes som et pedagogisk verktøy i skole-hjem-samarbeidet, så risikeres det at elever og

foresatte ender opp med å se på denne svært smale målingen av kunnskap som en sentral og

viktig del av undervisningen i skolen. Holm mener rett og slett at nasjonale prøver er en fare for

elevenes demokratiske dannelse.

Fordi de nasjonale prøvene i Danmark har såpass høy status vil de kunne påføre skolesystemet

det som kalles en washback-effekt, en effekt der tester fører til at lærere og elever gjør ting de

vanligvis ikke ville ha gjort, noe som kan forhindre god læring. Testene vil ifølge Holm også

kunne påvirke foresattes, elevers og læreres oppfatning av hva som er viktig og verdsatt

kunnskap i samfunnet. Og det er testenes ekskludering av konsepter som analyse og kritisk sans

som gjør at Holm frykter de vil svekke elevens demokratiske dannelse. I det store og hele ønsker

Holm seg et helt annen bruk av nasjonale prøver, nærmere bestemt en stor utprøving av mange

forskjellige testtyper der svakheter og styrker ved vurderingsformene kunne blitt kartlagt.

2.4.2 "Norge er ingen kunnskapsnasjon"

PISA-resultatene i 2004 ble et hett tema i 2004 da det viste seg at Norge hadde landet på en 28.

plass og en 22. plass i naturfag og matematikk i den internasjonale undersøkelsen. Resultatene

skapte store overskrifter, og det var Aftenpostens Lars Kluge og Christine Engh som konkluderte

med at Norge ikke er en kunnskapsnasjon. (Kluge og Engh: 2004). Andre aviser skrev om en


35

skole som ligger på bråketoppen (Fantoft 2004), om en dyr skole med dårlige resultater (Lien

2005) og om selvgode og skolesvake elever (Nikolaisen 2004). Klassekampen spurte: "Kor lenge

skal vi vere tilfredse med å vere rike og dumme?" (Hustad 2004). Det var rett og slett storm

rundt skolekvaliteten i adventstiden 2004. PISA-resultatene ble brukt som bevis på at norsk skole

var i en elendig forfatning. Men ga egentlig PISA-undersøkelsen et grunnlag for å konkludere

slik?

Professor Svein Sjøberg mener det ikke finnes noe slikt grunnlag, og kritiserer slike oppslag for å

være overgeneraliserende. Resultatene fra undersøkelser som PISA blir den totale dommer over

kvaliteten i norsk skole som helhet, gjeldende for alle fag, alle nivåer og omtrent alle sider ved

skolen, på tross av at det ikke er forskerne selv som kommer med slike slutninger. De blir skapt

av de som formidler, forenkler og fortolker resultatene for offentligheten, altså media. Problemet

er at bildet av en skole i fritt fall fester seg hos folk flest, også hos politikere (Sjøberg 2007).

Sjøberg vil ikke slå bena under PISA, men ønsker at de saksforhold man faktisk har undersøkt

blir diskutert. I PISA er det matematikk, naturfag og leseferdigheter som testes. Ingen av de

andre fagene er med. Undersøkelsen gjennomføres på 15-åringer, og trekkes tilfeldig ut fra et

stort antall skoler i OECDs medlemsland, og en del andre land som også ønsker å være med på

undersøkelsen. Selve prøven ønsker å måle om elevene har den type kompetanse som skal til for

å mestre utfordringene i dagens og fremtidens samfunn. Prøven er altså ikke knyttet opp mot

noen lands læreplan, og har til og med spesifisert at de ikke skal være det (Sjøberg 2007).

Det betyr at viktige sider ved fagene matematikk og naturfag slik de beskrives i norske

læreplaner ikke blir testet. I K06 finnes det for eksempel mål om at elevene etter 10. årstrinn skal

kunne forklare betydningen av å se etter sammenhenger mellom årsak og virkning og forklare

hvorfor argumentering, uenighet og publisering er viktig i naturvitenskapen, og observere og gi

eksempler på hvordan menneskelige aktiviteter har påvirket et naturområde, identifisere ulike

interessegruppers syn på påvirkningen og foreslå tiltak som kan verne naturen for framtidige

generasjoner (Utdanningsdirektoratet 2012). Slik kunnskap er ikke lett å måle gjennom en

flervalgsprøve, og skal heller ikke være med i PISA, fordi den skal være nøytral mot alle lands


36

læreplaner. Derfor er spørsmålene i prøven også svært generelle, siden de samme spørsmålene

skal kunne brukes i alle land. Dette står i kontrast til læreplanen for grunnskolen i Norge, som er

sterkt preget av det som er konkret, lokalt, nært og aktuelt (Sjøberg 2007).

Poenget er at man skal være svært forsiktig med å bruke data som forteller noe om en sak til å

trekke konklusjoner om helt andre saker. Når media bruker resultatene fra en undersøkelse, som

ikke måler skolene opp mot det stortinget har bestemt at elevene skal lære gjennom læreplaner,

til å felle en dom om fallitt i norsk skole, så er slutningene lite gyldige. Det å trekke konklusjoner

som ligger fjernt fra det prøven måler senker det som kalles prøvens validitet, eller gyldighet.

Direkte feiltolkninger av resultatene er også med på å senke validitetsnivået. I artikkelen om

selvgode og skolesvake elever tolker for eksempel journalisten elevenes svake resultater og høye

selvfølelse som et tegn på at elevene er fulle av seg selv. Men det er også mulig å se annerledes

på det. Sjøberg skriver:

Noen ganger blir de norske elevenes høye selvtillit nesten framstilt som et

problem. Det sies at de skårer lavt i matematikk, men at de likevel har stor tro på

seg selv. Underforstått: 'egentlig' burde norske elever ha mindre selvtillit. Skolen

har altså ikke maktet å tørke av dem deres deres optimisme og tro på seg selv.

Kanskje vi kan snu på dette resonnementet, og heller hevde at dette er en klar

styrke ved norsk skolegang?

(Sjøberg 2007)

Feilslutninger og konklusjoner som er dannet på feil grunnlag går som sagt ut over gyldigheten

av en prøve. Prøvens gyldighet omtales også som prøvens validitet, og dette begrepet kommer

jeg nærmere inn på i kapittel 5.3. Der knytter jeg begrepet opp mot osloprøven i digital

kompetanse.


37

3. Metode Samfunnsvitenskapene har som hensikt å bidra med kunnskap om hvordan virkeligheten på små

og store plan ser ut, og da må en gå metodisk til verks (Johannessen 2010: 29). Det finnes mange

måter å beskrive virkeligheten på, og på mange områder kan samfunnsvitenskapene ligne på

journalistikk. Begge deler handler om å innhente informasjon, som så må analyseres, og til slutt

presenteres som en konsentrert representasjon av virkeligheten i en rapport eller i en reportasje.

Men samfunnsvitenskapene skiller seg fra journalistikken ved at en forsker bevisst samler inn

store mengder data, analyserer dataene systematisk og kobler arbeidet opp mot teori (Ragin

1994: 24-28). Denne prosessen gjennomføres ved hjelp av en vitenskapelig metode, og metode

dreier seg om å etablere prosedyrer og teknikker for å komme frem til mest mulig relevant og

pålitelig kunnskap om samfunnet (Johannessen 2010: 44).

Den danske samfunnsviteren Jette Fog sa: “Som så meget andet her i verden, er spørgsmålet om

metodevalg et konkret spørgsmål, som ikke kan avgjøres i all abstrakthed og på forhånd: før jeg

ved, hva jeg skal undersøke, kan jeg ikke vide, hvordan jeg skal gjøre det” (Grennes 2001: 192).

Sagt på en annen måte, det er ikke valg av teori og forskningsmetode som bestemmer

forskningsspørsmålet, men omvendt (Johannessen 2010: 59).

Det å velge metode før problemstillingen eller forskningsspørsmålet er stilt, kan få negative

konsekvenser. Man kan ende opp med å kun undersøke det som lar seg gjøre med den valgte

metoden, eller en kan ende opp med å måtte kjempe seg gjennom et forskningsopplegg selv om

den valgte metoden viser seg å være uegnet (Grennes 2001: 192). I forkant av arbeidet med

denne oppgaven har jeg vurdert både kvantitativ og kvalitativ metode, og kom frem til at jeg

ville benytte meg av fremgangsmåter innenfor begge to. I kapittel 3.1 og 3.2 beskriver jeg

hvordan jeg har jobbet med kvalitativ og kvantitativ metode.


38

3.1 Kvalitativ metode I kvalitativ metode er vanlige metoder for datainnsamling intervju, observasjoner, skrevne

dokumenter, lyd eller bildemateriale (Johannessen: 117). Et intervju kan ha forskjellige former.

Det kan være dybdeintervju med enkeltpersoner eller gruppeintervjuer med flere respondenter

samtidig. Det kan være åpne spørsmål, der intervjueren følger opp respondentens svar med nye

spørsmål underveis, eller det kan være strukturerte intervjuer der intervjueren har bestemt på

forhånd hvilke spørsmål som skal stilles. Jeg kunne for eksempel ha benyttet intervju med

skoleledere, lærere og elever for å kaste lys over arbeidsmetoder, holdninger og bruk av IKT,

men har i stedet valgt å fokusere kun på selve prøven og kvantitative data fra skolene.

Observasjoner er en annen kvalitativ metode som blant annet kan gjennomføres som deltagende

observasjon, hvor forskeren selv blir en del av miljøet som studeres, eller

tilstedeværende observasjoner, hvor forskeren engasjerer seg gjennom samtaler og intervjuer,

men ikke som deltaker (Johannessen: 128). Min problemstilling tillater ikke observasjon som

metode. Ikke bare ville det være alt for tidkrevende i forhold til omfanget på masteroppgaven,

men skolene ville være klar over at en forsker var tilstede, noe som kunne ha utløst en

Hawthorne-effekt. Det vil si at om skolen er klar over at den observeres, så kan det hende at

skolen jobber hardere med det observasjonen ønsker å undersøke (SNL.no: Hawthorne-effekt).

Kvalitativ metode i denne oppgaven er begrenset til en tekstanalyse av oppgavene, formen og

innholdet i selve osloprøven. Sentrale begreper innenfor analysen av osloprøven vil være

reliabilitet og validitet i testing, som presenteres i begynnelsen av kapittel 4. Prøvens

reliabilitets- og validitetsnivå blir blant annet diskutert i lys av Ola Erstads definisjon av digital

kompetanse, inkludert de 10 medfølgende komponentene som er presentert i kapittel 2.1.4, og

vanlige retningslinjer for vurdering.


39

3.2 Kvantitativ metode

“There's no such thing as qualitative data. Everything is either 1 or 0” (Miles: 40) Denne

påstanden kommer fra Fred Kerlinger, kvantitativ forsker og forfatter. Den er selvsagt ekstrem,

og ikke noe jeg vil stille meg bak. Men den viser med all tydelighet hvilket fokus kvantitativ

forskning har: Tall. I kvantitativ metode opererer forskeren med målbare og tallfestede data. Jeg

har samlet inn tall fra osloprøven i digital kompetanse, tall fra nasjonale prøver i regning og

lesing og egeninnsamlede tall fra min spørreundersøkelse, og det er dette datamaterialet jeg vil

benytte i den kvantitative delen av oppgaven. Denne delen inneholder mange vanlige, men

viktige begreper innenfor kvantitativ metode, og videre i dette kapitlet vil jeg forklare hva

begrepene handler om og knytte dem opp mot min oppgave.

3.2.1 Enheter, respondenter og populasjon

I min spørreundersøkelse har jeg samlet inn data fra barneskoler i Oslo. Skolene er dermed

enhetene i min undersøkelse, og de IKT-ansvarlige som har besvart undersøkelsen er

respondentene13. Samlet utgjør skolene populasjonen i min spørreundersøkelse. Det er ikke alltid

det er hensiktsmessig å ta med hele populasjonen i en spørreundersøkelse (Johannessen 2010:

240). Om populasjonen er svært stor (som hele Norge), blir det gjerne gjort et utvalg som

representerer alle. Om populasjonen er svært liten kan det være like greit å ta med hele

populasjonen i utvalget, fordi det normalt er bortfall i svarresponsen.

3.2.2 Utvalg, svarrespons og bortfall

Som sagt blir det ofte gjort et utvalg av populasjonen. Dette utvalget bør være representativt for

hele populasjonen. Ideelt sett må sammensetningen i utvalget tilsvare populasjonen når det

gjelder alle viktige egenskaper (Johannessen 2010: 241). For gjøre et utvalg er det vanlig å gjøre

et randomisert, eller tilfeldig utvalg, av populasjonen.

13 Hvorfor akkurat de IKT-ansvarlige ble valgt ut som respondenter er forklart under kapittel 6.1.


40

Denne utvalgsprosessen kalles sannsynlighetsutvelgelse. Den enkleste formen, enkel tilfeldig

utvelgelse (fig. 2), fungerer som å trekke en lapp ut av en hatt. Alle enheter behandles likt, og

utvalget er komplett tilfeldig. En annen metode er stratifisert utvelgelse (fig.2), der man ønsker at

en viss andel fra spesielle grupper av populasjonen er representert, for eksempel en viss

aldersgruppe innenfor populasjonen (Johannessen 2010: 242).

Figur 3: Enkel tilfeldig utvelgelse Figur 4: Stratifisert utvelgelse

Jeg valgte å gjennomføre undersøkelse på hele populasjonen. Siden populasjonen var såpass liten

var det naturlig å inkludere alle i undersøkelsen. Potensielt kunne jeg dermed fått inn svar fra alle

skolene, men ved gjennomføring av en undersøkelse er det alltid noen som av forskjellige

grunner ikke kan delta eller vil svare. Dette kalles bortfall av respondenter. Det opprinnelige

utvalget kalles bruttoutvalget, og når man trekker fra bortfallet sitter man igjen med

nettoutvalget. Nettoutvalget kalles svarrespons, og for en forsker er det alltid et mål å oppnå

størst mulig deltakelse (Johannessen 2010: 244-255). Utvalget mitt ble på denne måten en

tilfeldig rekke av skoler som valgte å besvare undersøkelsen. Men selv om utvalget av skoler

som har svart er tilfeldig, må jeg bemerke at det ikke er et utvalg dannet på grunnlag av en

genuin enkel tilfeldig utvelgelse. Jeg kan dermed ikke garantere at skolene som har svart på en

eller annen måte er skjevfordelt. Dette kommer jeg tilbake til i kapittel 7.2.

3.2.3 Operasjonalisering, variabler og verdier

Operasjonalisering er prosessen fra det generelle til det konkrete. I min oppgave spør jeg i

hvilken grad fysiske IKT-forhold kan påvirke prøveresultatene. For å finne ut av dette må jeg


41

konkretisere hva jeg mener med fysiske IKT-forhold. Resultatet av operasjonaliseringen er en

rekke variabler jeg kan benytte i spørreundersøkelsen. En variabel er en spesifikk egenskap eller

et kjennetegn ved enhetene som varier med forskjellige verdier (Johannessen 2010: 249). I mitt

tilfelle inngår variablene i en rekke forskjellige spørsmål, og det respondentene har svart er

variablenes verdi. Hvilke variabler jeg sitter igjen med etter operasjonaliseringen av begrepet

IKT-forhold kommer jeg tilbake til i kapittel 6.2.

3.2.4 Reliabilitet og validitet

To viktige begreper innenfor kvantitativ metode er reliabilitet og validitet. Reliabilitet handler

om hvor nøyaktig undersøkelsen er gjennomført. Det vil si i hvor stor grad en kan stole på de

data forskeren jobber med. Validitet dreier seg om forskningsresultatets gyldighet. For en forsker

er det et mål å ha både høy reliabilitet og høy validitet. Det er umulig å ha høy validitet med lav

reliabilitet, men det er fullt mulig å ha høy reliabilitet men likevel lav validitet (Grenness: 145).

I det første eksempelet vil forskeren jobbe med data som ikke er til å stole på. Om det er tilfelle

vil det heller ikke være mulig å komme frem til riktige konklusjoner. I det andre eksempelet vil

forskeren jobbe med et riktig og nøyaktig tallmateriale, men likevel ende opp med å trekke feil

slutninger. Slike feilslutninger kan avsløres ved at andre forskere ikke kommer frem til samme

resultat.

Når jeg har jobbet med innsamling av data har jeg gjort mitt beste for å være svært nøyaktig.

Spørsmålene har blitt utviklet og utprøvd for å unngå at de ble feiltolket av respondentene. Jeg

har også gjort tiltak for å være sikker på at datamaterialet er knyttet opp mot de riktige skolene.

Når det gjelder respondentenes svar må jeg stole på at de har sendt inn riktige verdier, men det

finnes også metoder for å luke ut åpenbare feilsvar. Min innsamling er basert på et egenprodusert

spørreskjema, noe som kan være en svakhet i og med at jeg ikke har noe å sammenligne med.

Om man bruker spørreskjemaer som har vært brukt tidligere kan datagrunnlaget sammenlignes,

og reliabiliteten økes.


42

Uansett hvor nøyaktig en jobber med tallene vil det likevel alltid være en viss grad av feil i

statistiske modeller. Denne feilmarginen kan beregnes ved hjelp av statistiske tester, og kan bidra

til å avgjøre om eventuelle sammenhenger mellom variablene er reelle, altså signifikante, eller

ikke (Grennes 2001: 201).

3.2.5 Analysemetoder Når tallmaterialet skal analyseres finnes det et stort antall forskjellige metoder som kan brukes,

fra de enkle til de svært komplekse. De enkleste metodene tar for seg kun en variabel, og dette

kalles univariat analyse. Det kan være så enkelt som å finne ut hvor ofte en verdi gjentar seg

(frekvensanalyse), gjennomsnittet, medianen eller modus av variablenes verdier. En mer

kompleks univariat analyse kan være standardavviket for verdiene. Disse, og andre viktige

begreper blir forklart nærmere nedover i teksten.

Fra gjennomsnitt til standardavvik

Gjennomsnittet er en av de enkleste statistiske modellene som kan brukes. Gjennomsnittet

oppsummerer alle verdiene i en variabel i et hypotetisk tall14. For å sjekke om gjennomsnittet

representerer verdiene i en variabel på en god måte kan man begynne med å subtrahere

gjennomsnittsverdien fra den faktiske verdien. Det positive eller negative tallet en da sitter igjen

med er avviket. Om tallet er negativt overvurderer gjennomsnittet variabelens faktiske verdi, og

omvendt dersom avviket er positivt.

Avviket kan deretter kvadreres, altså ganges med seg selv. Det vil gjøre alle avvikstall positive

før de summeres. Summen av kvadrerte avvik vil være større jo flere verdier som summeres.

Derfor deles summen av kvadrerte avvik på antall verdier, minus én15, for å finne

gjennomsnittlig kvadratavvik fra gjennomsnittet. Det gjennomsnittlige kvadratavviket fra

gjennomsnittet kalles variansen. Variansen brukes i mange statistiske modeller, men brukes også

til å finne det som kalles standardavviket. Dette gjøres ved å ta kvadratroten av variansen.

14 Tallet er hypotetisk fordi det ikke behøver å forekomme i selve tallmaterialet 15 Ved å trekke fra 1 kan vi bruke avviket i utvalget til å predikere avviket i populasjonen. Dette har å gjøre med frihetsgraden, som er antall avvik fra snittet som kan variere fritt. Antall avvik som kan variere er alltid én mindre enn antallet observasjoner (Field 2005: 319)


43

Standardavviket forteller hvor tett eller spredt verdiene ligger opp til gjennomsnittet av

variablene. Et standardavvik på 0 betyr at alle tallene har samme verdi. Om standardavviket er

høyt, i forhold til gjennomsnittet, betyr det at gjennomsnittet representerer verdiene på en dårlig

måte. Det vil si, i et tilfelle der gjennomsnittet av et sett verdier har et høyt standardavvik (i

forhold til gjennomsnittsverdien), der vil verdiene ligge svært spredt i forhold til gjennomsnittet

(Field 2005: 6). Standardavviket gir svært nyttig informasjon, siden gjennomsnittet lett lar seg

påvirke av enkelte ekstreme verdier i en gruppe med ellers temmelig nærliggende verdier.

Frekvenser, histogram og fordeling

Frekvensanalyse og histogrammer faller inn under kategorien deskriptiv statistikk. En

frekvensanalyse teller ganske enkelt opp hvor ofte forskjellige verdier oppstår under en variabel.

Den verdien som dukker opp flest ganger kalles modus. En variabel kan gjerne ha flere modus

dersom flere verdier dukker opp like mange ganger.

En frekvensanalyse kan fremstilles grafisk i et histogram. Histogrammet ligner på et

søylediagram, men forskjellen ligger i at det er antall ganger en verdi eksisterer under en variabel

som vises, og ikke verdiene i seg selv. Histogrammet gir nyttig informasjon om hvordan

verdiene er fordelt utover.

Korrelasjon

I kapittel 8 vil jeg foreta en rekke bivariate analyser. Det vil si at jeg tar to variabler og ser om

det kan være en sammenheng mellom dem. For å finne ut om det er en sammenheng mellom to

variabler finnes det flere metoder, som Spearmans rangkorrelasjon og den jeg bruker i denne

oppgaven: Pearsons produkt-moment korrelasjonskoeffisient. For at det skal finnes en

sammenheng må det være en relasjon mellom variablene på den måten at med stadig økende

verdier på den ene variabelen vil det opptre stadig økende eller minkende verdier på den andre

variabelen. Dette svarer da til henholdsvis positiv og negativ sammenheng (Grennes 2001: 200).


44

Signifikans

Signifikans i denne oppgaven er knyttet til Pearsons korrelasjonsanalyse, og dreier seg om

hvorvidt resultatet av analysen er en tilfeldighet i utvalget, eller om det er en reell sammenheng. I

samfunnsforskning er det vanlig å bruke et signifikansnivå på 5%. Det vil si, om

korrelasjonsanalysen viser en statistisk sammenheng mellom to variabler, så vil signifikansnivået

vise om denne sammenhengen er reell eller tilfeldig. Om verdien er mindre enn 0.05 sier vi at

resultatet er statistisk signifikant, og man kan da med 95% sikkerhet si at sammenhengen er reell

og at den kan generaliseres til populasjonen.

Type 1 og 2 feil

Under testing av hypoteser er det alltid en viss mulighet for at man lander på feil slutning.

Årsaken til det er at hypotesetesting alltid er forbundet med en viss feilmargin. For å gjøre

sannsynligheten lav for å trekke feilslutninger brukes det som sagt vanligvis et signifikansnivå på

5%. Det betyr at man med 95% sikkerhet trekker riktig slutning, men det er fremdeles 5% sjanse

for at det gjøres feil.

Hvilke feil som kan oppstå avhenger av hvilken slutning man trekker. Om man forkaster en

nullhypotese som viser seg å være sann har man begått en type I-feil. Om man går andre veien

og beholder en nullhypotese som er feil har man begått en type II-feil (Johannessen 2010: 356).

Kausalitet

Kausal forskningsdesign forsøker å fortelle noe om hva som er årsak og virkning mellom to

variabler. Det kan for eksempel være fristende å si at en høy andel datamaskiner pr elev

forårsaker gode resultater på osloprøven i digital kompetanse. Det høres i allefall mer logisk ut

enn at gode prøveresultater forårsaker en høy andel datamaskiner pr elev. Likevel er det slik at

en statistisk sammenheng mellom to variabler alene ikke er nok for å påvise årsak og virkning

(Grennes 2001: 202). Grunnen til at statistisk sammenheng ikke er det samme som

årsakssammenheng er “problemet med den tredje variabel”. Dette er andre variabler, kjente eller

ukjente, som også kan være med på å påvirke resultatet (Field 2010: 173). Om mine analyser


45

viser en statistisk sammenheng mellom to variabler kan jeg derfor ikke slå fast at det er en kausal

sammenheng.

3.2.6 SPSS

Statistical Package for the Social Sciences, eller SPSS, er et statistisk analyseprogram som ble

lansert første gang i 1968. I følge Wikipedia er SPSS et av de mest brukte statistiske

programmene innenfor samfunnsvitenskapene (Wikipedia: 2012). Programmet har et grafisk

brukergrensesnitt som gir enkel tilgang til en rekke analytiske verktøy. I denne oppgaven har jeg

brukt SPSS i alle analyser, fra frekvensanalyser til korrelasjonsanalyser. De fleste grafene (med

noen unntak produsert i Excel) og alle spredningsplott i oppgaven er konstruert i SPSS.


46

4. Analyse av osloprøven i digital kompetanse

4.1 Hvorfor testes det? Osloprøven i digital kompetanse er, ikke overraskende, laget for å prøve elevene ut i nettopp

digital kompetanse. Selve testoppdraget ble opprinnelig gitt av Utdanningsetaten til ITU. Som

sagt hadde det vært lite vurdering av digital kompetanse i Norge tidligere, utenom

selvrapportering fra skolene. Den lave reliabiliteten i selvrapportering ble ansett som

problematisk, og ble derfor erstattet med flervalgsoppgaver, fordi ”Flervalgsoppgaver er et mer

reliabelt mål fordi elevene faktisk må løse oppgaver” (Hatlevik 2009a). Samtidig lå det en

utfordring i ”(…) å skape oppgaver som er valide og som er realistiske nok i relasjon til en

praksissituasjon.” (Hatlevik 2009a)

Prøven skulle med andre ord gi reliable resultater som på grunnlag av sine oppgaver ville gi et

valid bilde av elevenes digitale kompetanse. I de neste underkapitlene vil jeg presentere

begrepene reliabilitet og validitet og diskutere hvordan osloprøven forholder seg til dem. Jeg vil

også gå igjennom prøvens oppgaver og diskutere hvorvidt de kan brukes til å måle digital

kompetanse. Kapitlet avsluttes med en konklusjon om prøvens reliabilitets- og validitetsnivå.

4.2 Reliabilitet i testing Som i kvalitative og kvantitative analyser er også testing forbundet med begrepene reliabilitet og

validitet. Reliabiliteten i testing varierer etter hva som skal måles, og hvordan det gjøres. Med

andre ord, all testing vil ha en viss feilmargin på samme måte som et utvalg av en populasjon.

Denne feilmarginen påvirkes av flere faktorer, både ytre og indre. Indre faktorer som kan påvirke

reliabiliteten til en test er blant annet humør, motivasjon, testkompetanse, angst, utslitthet og

generell helse. Ytre faktorer kan være instruksjonene som har blitt gitt, tvetydighet i

prøvespørsmålene, hvilke spørsmål prøven inneholder, tilstanden i rommet, som hete, kulde og

lys, avbrytelser og flaks. Sammen med elevens faktiske kunnskap, forståelse, resonnementer og


47

evner blir summen av de ytre og indre påvirkning til en observert score som alltid vil ha et visst

feilnivå (McMillian: 2001). Figuren under viser de forskjellige faktorene som påvirker

reliabiliteten i en vurdering.

Figur 5 : Reliabilitet i testing (McMillian 2001: 67)

Osloprøven er som kjent utformet som en automatisk rettet prøve med oppgaver som i de aller

fleste tilfellene kun har ett riktig alternativ. En slik prøveform vil gi et langt mer reliabelt

testresultat enn en prøve med åpne spørsmål eller en prøve med praktiske oppgaver som skal

vurderes av en lærer. Årsaken til det er at alle elevene blir vurdert på samme måte, gjennomfører

prøven på samme plattform og får prøven sin rettet på samme automatiske vis. Prøveformen

slipper ikke unna indre feilfaktorer, og heller ikke alle ytre, men svarene som blir gitt kan bare ha

to utfall: Rett eller galt.


48

En åpen spørreform, for eksempel "grei ut om nettvett", som skal rettes av en lærer vil ha et stort

potensiale for individuelle og subjektive vurderinger som vil føre til at elevene blir vurdert ulikt

fra elev til elev, klasse til klasse og skole til skole. Som nevnt under kapittel 1.2 fantes det en del

egenrapportering om digital kompetanse før osloprøven ble utviklet, men resultatene av denne

egenrapporteringen ble ikke ansett som reliabel fordi det var en tendens til at skoler skrøt på seg

mer enn det de kunne.

Reliabiliteten referer altså til stabiliteten eller konsistensen i vurderingsinformasjonen (Airasian

2005). I osloprøven 2011 ble konsistensen regnet ut ved hjelp av statistisk analyse, nærmere

bestemt Cronbachs Alpha. Som nevnt i kapittel 4.2.2 er Cronbachs Alpha et mål på reliabiliteten

i blant annet tester. For de to kategoriene informasjonskompetanse og grunnleggende ferdigheter

havnet osloprøven på et Cronbachs Alpha-nivå på 0.85 og 0.7. Dette er betyr at osloprøven har

en god konsistens når det gjelder kategorien informasjonskompetanse, og en akseptabel

konsistens rundt grunnleggende ferdigheter. Osloprøven har med andre ord reliable resultater.

Reliabiliteten i en vurdering forteller derimot ingenting om prøven er hensiktsmessig og om den

måler det den skal måle (Airasian 2005). Det er et anliggende rundt validiteten av en test. En

reliabel test kan legge et grunnlag for validiteten i en test, men det er fullt mulig å få en prøve

med manglende validitet selv om resultatene er reliable. Dette kan sammenlignes med reliabilitet

og validitet i kvantitative undersøkelser, hvor det er umulig å ha en valid undersøkelse uten

reliable tall, men likevel mulig å oppnå en ikke valid undersøkelse basert på reliable tall. En viss

forskjell er det likevel mellom reliabilitet i kvantitative analyser og i testing, på den måten at høy

reliabilitet i en test kan komme i veien for høy validitet. Dette diskuterer jeg i kapittel 4.4.

Illustrasjonen under viser hvordan de forskjellige kombinasjonene av reliabilitet og validitet

fordeler seg. Med høy reliabilitet er det fremdeles mulig å bomme på validiteten, for eksempel

om man tolker resultatene feil. Med høy reliabilitet og høy validitet er resultatene både

konsistente og tolket riktig, med andre ord, man treffer blink. Den siste blinken illustrerer lav


49

reliabilitet, som kan føre til lav validitet. Her blir vurderingen spredt og lite pålitelig (Airasian

2005).

Figur 6: Høy og lav validitet og reliabilitet i testing (Airasian 2005: 19)

4.3 Validitet i testing Validitet i vurdering handler egentlig ikke om selve prøven, men om slutningene som trekkes ut

fra resultatene. Det er altså slutningene som er valide eller ei, og ikke prøven. Det vil med andre

ord være mer korrekt å snakke om validiteten av forståelsen, slutningene eller bruken av

prøveresultatene, fremfor validiteten av prøven. Validitet er, som reliabilitet, heller ikke en

enten/eller sak. Validitet har også nivåer, det vil si, en prøve kan gi svært valide resultater for et

formål, samtidig som den kan gi langt fra valide resultater for et annet formål. McMillian bruker

et eksempel om en enkelt prøve som kan ha høy validitet når det gjelder å måle elevenes

kunnskap om den amerikanske revolusjonen, mindre validitet for å måle om elevene kan

argumentere, enda mindre validitet for å måle om elevene kan kommunisere effektivt via

skriving og tilnærmet ingen validitet for å måle elevens matematiske evner (McMillian 2001:

59).


50

Figur 7: Validitet i testing (McMillian 2001: 61)

Figuren over viser gangen i å avklare validiteten av en test. Testen gjennomføres i en eller annen

kontekst, i osloprøvens tilfelle digital kompetanse. Testen gir et resultat som sammen med tre

forskjellige typer validitetsbevis kan gi validitet rundt påstander, meninger, forståelse, bruk og

slutninger man kommer frem til.

Validitet er et enhetlig konsept, det vil si at man ikke skiller mellom forskjellige typer validitet,

men bruker tre typer bevis som er med på å avgjøre validiteten (McMillian 2001: 59). De tre

typene bevis er:

● Innholdsrelaterte beviser

● Kriterierelaterte beviser

● Konstruksjonsrelaterte beviser

Innholdsrelaterte beviser handler om å ta et utvalg av det som skal måles. Det er ikke mulig å

måle alt en elev har lært innenfor et område, og derfor bestemmer læreren seg for oppgaver som

kan representere det eleven vet om hele området. Osloprøven i digital kompetanse kan heller

ikke måle alt en elev innehar av digital kompetanse, og det er derfor det har blitt gjort et utvalg

som skal representere elevenes samlede kompetanse. En ulempe med osloprøven er at det ikke er

elevenes lærere som lager prøven og bestemmer innholdet, og siden skoler jobber med IKT på


51

forskjellige måter er det ikke sikkert at oppgavene inneholder spørsmål som er representative for

hva elevene kan rundt på de forskjellige skolene.

Utviklerne av osloprøven kan ikke være sikre på om alle elever som tar testen har brukt

PowerPoint, bildebehandlingsprogrammer eller for den saks skyld: Microsoft Windows. Når

prøven likevel stiller spørsmål som er relatert til slik bruk er det med på å senke prøvens

validitet. Hopfl kaller det for regel nummer 1 i testutvikling å relatere prøvespørsmål direkte til

spesifikk kunnskap fra undervisning. Osloprøven bryter med dette prinsippet. I verste fall kan

konsekvensen av å bruke tester som ikke er knyttet opp mot noe elevene har lært føre til en

unøyaktig forståelse av elevenes kompetansenivå, avgjørelser rundt undervisning basert på

feilaktig informasjon og en ukorrekt vurdering av selve undervisningen (Hoepfl 1994).

Kriterierelaterte beviser handler om å kunne relatere resultatene av prøven mot en vurdering av

lignende art, for så å kunne sammenligne resultatene for å se om de er valide. Dette kan gjøres på

formelt vis ved å kalkulere korrelasjonskoeffisienten mellom to like egenskaper eller

kunnskaper, eller uformelt i et klasserom ved at en lærer sammenligner prøveresultatet med noe

annet, og lignende, eleven har gjort tidligere. For eksempel, om en elev scorer bra på en prøve

om bruk av mikroskop, og læreren tidligere har sett at eleven mestrer bruk av et mikroskop, så

har han et godt kriterierelatert bevis som øker prøvens validitet (McMillian 2001: 63). I

osloprøvens rapport blir det oppfordret til at lærere skal sammenligne resultatene i

grunnleggende ferdigheter med annen informasjon de har om elevene for å se om det gir et riktig

bilde av elevenes nivå (Utdanningsetaten 2011a: 14). Om en slik sammenligning gjennomføres

vil det bidra til å øke osloprøvens validitet.

Den siste kategorien, konstruksjonsrelaterte beviser, handler om uobserverbare egenskaper eller

karakteristikker som en person innehar, for eksempel intelligens, leseforståelse, ærlighet,

holdninger og resonneringsevner. Det finnes tre typer konstruksjonsrelaterte beviser, og de er

teoretiske, statistiske og logiske. Det vil si, det er viktig å ha en klar teoretisk definisjon av hva

det er man måler. Om man er interessert i å måle holdninger, så må det fremlegges en tydelig og

klar definisjon på hva som menes med holdninger. Den statistiske typen beviser handler om å


52

sammenligne resultater mellom to vurderinger som måler det samme, eller nesten det samme.

Om en elev for eksempel scorer bra på en gloseprøve, og deretter gjør det bra på en mer åpen

engelskprøve, så vil man ha et bedre grunnlag for å si at eleven har et godt ordforråd i engelsk

enn om man kun brukte gloseprøvene. De logiske konstruksjonsbevisene kan innta mange

forskjellig former. Om en lærer spør hvordan eleven tenkte når han svarte på et spørsmål, så kan

det fortelle noe om elevens resonneringsevner. En annen måte å finne logiske beviser på er å

sammenligne prøveresultater på grupper som har lært det prøven spør om, mot grupper som ennå

ikke har fått undervisning om emnet (McMillian 2001: 64).

McMillian anbefaler at lærere bruker klare definisjoner på hva som måles kombinert med logiske

konstruksjonsbaserte beviser (McMillian 2001: 64). Osloprøven forsøker å måle digital

kompetanse på to områder, grunnleggende kompetanse og informasjonskompetanse. Begge

områdene er definert i rapporten om prøveresultatene, og er gjengitt under kapittel 2.1.3. I tillegg

er elevene delt inn i nivåer basert på resultatene, og her er det også definerte kriterier som

forteller hva som legges i begrepet informasjonskompetanse. Fjorårets osloprøverapport

oppfordrer også lærere til å sammenligne prøveresultatene med annen informasjon om elevene.

Om dette blir gjort vil det kunne øke prøvens validitet.

Spørsmålet om osloprøven kan brukes som et valid mål på digital kompetanse kommer dermed

an på hvilken informasjon prøven fremskaffer kombinert med hvilke slutninger som trekkes ut i

fra denne informasjonen. Selve navnet osloprøven i digital kompetanse forteller oss at den vil si

noe om elevenes digitale kompetanse. Om den kan si noe om det kommer dermed an på hvilke

oppgaver og spørsmål prøven inneholder. I kapittel 4.5 blir prøvens oppgaver analysert.

Neste kapittel diskuterer noen problemer som kan oppstå i forholdet mellom svært reliable

prøveresultater, som tilfellet er i osloprøven, og det å komme frem til valide konklusjoner.


53

4.4 Problemer rundt validitet og reliabilitet i testing Det er visse problemer rundt validitet og reliabilitet i testing av elever. I kvantitativ forskning er

det som sagt et mål å oppnå både høy reliabilitet og validitet, og det er dessuten umulig å oppnå

høy validitet ved lav reliabilitet. I testing er det derimot slik at kravet om høy reliabilitet kan stå i

veien for høy validitet (Jakobsen 2001: 22). Årsaken til det ligger i spørsmålstypene og hvilke

svar elevene kan gi.

I en prøve der svarene har et binært utfall, altså kun riktig eller galt, vil det være en høy grad av

reliabilitet i resultatene. Enten er svarene riktige, eller så er de feil, og dette er likt for alle som

tar testen. Om prøven er gjennomført på en gruppe elever vil en raskt kunne se hvem som har

flest og færrest riktige svar. Samtidig vil en slik prøve måle kun svært begrenset og faktabasert

kunnskap. Prøven vil ikke kunne fortelle noe om eleven har kompetanse på andre nærliggende

områder, om han kan løse oppgaven på en annen måte eller hvordan eleven tenker når han jobber

med problemene. Arne Jakobsen skriver:

At tilsidesætte validitet til fordel for reliabilitet kan minde om Storm P.’s berømte

tegning af manden, der under en gadelygt leder efter sine nøgle - ikke fordi det er

lige dér, han har tabt den, men fordi det er dér, han kan se noget.

(Jakobsen 2001: 23)

En prøve med høy reliabilitet kan være enkel å lage i form av flervalgsoppgaver med ett eller

flere riktige svar. En slik prøve kan til og med raskt bli automatisk rettet av en datamaskin, som

osloprøven. Om det er snakk om en nasjonal prøve eller en osloprøve er det attpåtil billig og

mindre tidkrevende å gjennomføre en automatisk rettet prøve fremfor en prøve som må rettes

manuelt av sensorer eller lærere. Det er lett å lage en digital prøve og si at den måler digital

kompetanse, men som kjent er digital kompetanse et komplekst begrep som inneholder mange

forskjellige typer kunnskaper. Er osloprøven lyset fra gatelykten? Leter vi etter digital

kompetanse blant elevene ved hjelp av en liten rett eller galt-prøve fordi det er det letteste?

Osloprøven har høy reliabilitet, men måler den egentlig digitale kompetanse? Inneholder den

spørsmål som kan representere det elevene kan rundt bruk av digitale verktøy? Eller måler den


54

en snever del av et stort og komplekst landskap? Tilsidesetter den validitet fremfor høy

reliabilitet? Videre i kapittel 4.5 vil jeg se på hvilke spørsmålstyper osloprøven er satt sammen

av, og diskutere i hvilken grad prøven kan kalles valid.

4.5 Spørsmålstyper i osloprøven Osloprøven består av 30 oppgaver med varierende utforming og innhold. Osloprøven er delt opp

i kategoriene grunnleggende ferdigheter og informasjonskompetanse, men i oppgaven er alle

oppgavene i de forskjellige kategoriene blandet sammen. Jeg har gått igjennom oppgavene og

har valgt å kategorisere dem etter hva oppgavene ber elevene gjøre. Jeg endte opp med 9

forskjellige kategorier som jeg her sammenligner med Ola Erstads digital kompetanse definisjon

og 10 medfølgende komponenter (Erstad 2005)16.

1. Trykk på riktig sted

Oppgavene i denne kategorien handler om å markere riktig sted i en skjermdump av et program,

som Microsoft Word eller PowerPoint, eller riktig tast på tastaturet. I eksempelet under skal

eleven markere knappen som setter inn et nytt lysbilde i PowerPoint17. Denne typen oppgaver

måler det Erstad kaller grunnleggende ferdigheter og er den første komponenten i listen hans. De

fleste av disse oppgavene bruker grensesnittet fra Microsoft Office som illustrasjon. Selv om

ikonene ligner hverandre mellom Microsoft Office, Open Office og Apples iWork er det en

svakhet ved oppgavene at de kun benytter Microsofts grensesnitt. Selv om majoriteten benytter

MS Office er det et fritt valg for skolene om de vil installere Microsofts produkter eller Open

Office.

16 Erstads komponenter er gjengitt i kapittel 2.1.4. 17 Den grønne markeringen stammer fra eksporten av prøven til PDF, som jeg har fått av Utdanningsetaten. Markeringen skal markere området for riktig svar, men er ikke alltid på helt riktig sted.


55

Figur 8: Trykk på riktig sted-oppgave

2. Følg lenken, (søk), og les

Her skal eleven følge en lenke til et eksternt nettsted og finne informasjon som skal fylles inn i

en tekstboks. Lenken åpner seg i et nytt vindu og fører noen ganger direkte til nettstedet eleven

skal finne informasjonen på, og noen ganger til Google eller Wikipedia der eleven selv må søke

opp informasjonen. I eksempelet under er oppgaven å finne ut hvor mange tenner bjørnen har18.

Denne typen oppgaver har et potensiale i seg til å kunne måle elevenes søkeferdigheter, som

Erstads tredje komponent, men når elevene blir sendt direkte til sidene som inneholder

informasjonen som skal settes inn i tekstboksen reduseres spørsmålet til en oppgave i lesing.

Figur 9: Følg lenken, søk, og les-oppgave (tallet viser akseptert verdi)

18 Her har ikke eksporten av oppgaven fått med seg lenken som fører eleven til et nettside på Globalskolen.no.


56

Figur 10: Nettsiden elevene blir sendt til i følg lenken-oppgaven

I en annen oppgave i samme

kategori skal elevene finne ut

hvor mange som har Stella som

eneste fornavn ved hjelp av

SSBs19 nettside. Også denne

oppgaven er svært avhengig av

høy lesekompetanse. SSBs

forside er en multimodal tekst

med store mengder tettpakket informasjon, og søkefeltet for navnestatistikken ligger helt til

venstre i skjermbildet. Om elevene tar feil og søker ved hjelp av søkefeltet øverst på siden får de

likevel presentert hvor mange som heter Stella, men ikke hvor mange som har Stella som eneste

fornavn. Denne informasjonen får man kun ved å søke i selve navnestatistikken. Denne lille

nyansen i spørsmålet kan være lett å glemme, spesielt når man samtidig navigerer et nettsted man

kanskje ikke har brukt spesielt ofte som 10-åring. Oppgaven kan sees på som et mål av Erstads

komponent navigere, men spesifiseringen i denne oppgaven av "eneste fornavn" gjør oppgaven

nærmere en leseforståelsesoppgave enn en navigeringsoppgave.

19 Statistisk Sentralbyrå: ssb.no


57

Figur 11: Statistisk Sentralbyrås forside (ssb.no)

3. Sett sammen riktige ord til bildene

Her presenteres elevene for et eller flere bilder som skal navngis ved at elevene drar ord til riktig

sted. Det kan for eksempel være bilder av datamaskindeler, verktøy på en verktøylinje eller

knapper i en medieavspiller. I skjermdumpen under skal elevene plassere ut riktig navn på

diverse ikoner hentet fra Windows. Som i oppgavene der elevene skal trykke på riktig sted er det

en svakhet i at oppgaven ikke tar hensyn til at enkelte skoler benytter Skolelinux. Denne

oppgaven inneholder også flere alternativer enn ikoner, noe som bryter med de fleste andre slike

oppgaver elever kjenner til. Denne typen oppgaver kan fungere som et mål på deler av Erstads

komponent grunnleggende ferdigheter.


58

Figur 12: Sett sammen riktige ord til bildene-oppgave

4. Kopier og søk

I denne oppgaven skal eleven bruke Google bilder til å søke seg frem til riktig svar. Oppgaven

inneholder flere lange og kompliserte dinosaurnavn som eleven skal benytte i søket, kanskje for

å sjekke om eleven mestrer nettsøk og kopiering og liming av tekst. Men det er ingenting som

hindrer eleven i å skrive av navnene i stedet. Hvilken øgle som har vinger blir dessuten avslørt i

en tidligere oppgave i prøven (se figur 16). Oppgavene kan sees på som et forsøk på å måle

søkeferdigheter, men når eleven sendes direkte til siden det skal søkes på, så har oppgaven

begrenset verdi.


59

Figur 13: Kopier og søk-oppgave

5. Tabellavlesing

I disse oppgavene skal eleven lese av en tabell og skrive svaret inn i en tekstboks, eller markere

riktig sted i tabellen. Det finnes mange slike oppgaver i prøven. Hvordan tabellavlesing passer

inn i begrepet digital kompetanse er noe usikkert. Enkelte av tabellene ligner på regneark man

finner i blant annet Excel, og i andre oppgaver skal elevene finne ut av hvilken planet som har

flest måner eller hvor mange ganger Norge har vunnet i Grand Prix. Oppgavene er mye nærmere

knyttet til grunnleggende ferdigheter som lesing og skriving i matematikk enn til å kunne bruke

digitale verktøy i matematikk og begrepet digital kompetanse.


60

Figur 14: Tabellavlesningsoppgave20

6. Flervalgsoppgaver

Flervalgsoppgavene dekker over flere emner, men er alle like i utformingen. Det er ett spørsmål

med ett eller flere korrekte svaralternativer, også kalt nøkler, mikset sammen med ett eller flere

gale svar, kalt distraktører. Det kan også være flere riktige svar i enkelte av oppgavene.

Spørsmålene dreier seg om alt fra nettvett til bildebehandling til kildekritikk. For at slike

oppgaver skal fungere er det viktig at de følger visse retningslinjer. Hva dette går ut på kommer

jeg nærmere inn på i kapittel 4.6.

Oppgavene i denne kategorien forsøker å måle kunnskaper om blant annet kildekritikk og

nettvett. Oppgaven i figur 15 er en av oppgavene som skal vise om en elev klarer å skille ut

underholdningssiden fra de mer seriøse sidene, men oppgaven sier lite om eleven sitter inne med

en god evne til å vurdere kvaliteten, relevansen og nytten av informasjonen, noe som er en viktig

del av Erstads kildekritikk-komponent evaluere.

20 Eksporten av oppgaven viser ikke hele regnearket.


61

Figur 15: Flervalgsoppgave

7. Kopier og lim

Denne oppgaven ligner på kopier og søk, men i stedet skal elevene kopiere ord, setninger eller

nettadresser fra en tekst inn i en tekstboks. Denne typen oppgaven finnes det flere av, og er et

forsøk på å måle om elevene mestrer kopiering og liming, og kanskje også om elevene vet hva

som er overskrifter, understreket tekst, nettadresser og lignende. Det er en ferdighet som faller

inn som en svært liten del av Erstads komponent grunnleggende ferdigheter. Oppgaveformen

utgjør likevel 6 av oppgavene i prøven. Problemet er bare at elevene like gjerne kan skrive inn

riktig svar. Oppgaven blir dermed redusert til en test i leseferdigheter. Vanskelige navn er et

hinder i veien dersom eleven ikke kopierer teksten, men det er likevel umulig å vite om eleven

har kopiert og limt eller skrevet av.

Figur 16: Kopier og lim-oppgave


62

7. Koordinatoppgaver

Her skal elevene trykke på riktig sted i et koordinatsystem, tegne en linje mellom to punkter eller

tegne opp en figur som dekker over flere ruter. Eksempelet under er hentet fra eksempelprøven

(Utdanningsetaten 2011b) fordi eksporten av osloprøven ikke fikk med seg grafikken i

koordinatsystemoppgavene. Denne oppgaven faller inn under kompetansemålet geometri etter

fjerde årstrinn i læreplanen. Der står det at elevene skal "plassere og beskrive posisjonar i

rutenett, på kart og i koordinatsystem, både med og utan digitale verktøy"

(Utdanningsdirektoratet 2012). Selv om oppgaven er knyttet til bruk av IKT, så er det ikke

primært det å beherske bruk av IKT denne oppgaven måler. Den måler først og fremst elevenes

ferdigheter i matematikk. Innenfor digital kompetanse kan ikke oppgaven brukes til å måle stort

mer enn elevenes ferdigheter i bruk av mus.

Figur 17: Koordinatoppgaver


63

8. Tell punkter i en punktliste

Den siste kategorien består av kun én oppgave jeg ikke fikk plassert i noen av de andre

kategoriene. Den går enkelt og greit ut på å telle antall punkter i en punktliste. Oppgaven er

presentert i skjermdumpen under (med akseptert verdi i parentes). Hva måler denne oppgaven?

Om eleven vet hva en punktliste er, eller om eleven kan telle til åtte? Det er lite i denne

oppgaven som kan si noe om en elevs digitale kompetanse.

Figur 18: Tell punkter i en punktliste-oppgave

Flervalgsoppgavene utgjør den største andelen av oppgavene, fulgt av oppgaver av typen trykk

på riktig sted og følg lenken, (søk), og les. Kakediagrammet under viser fordelingen av oppgaver

på de forskjellige kategoriene. De oppgavene som faktisk kan si noe om digital kompetanse

måler kun svært grunnleggende ferdigheter. Søkeoppgavene er i mange tilfeller leseoppgaver, og

det samme gjelder klipp og lim-oppgavene. Oppgavene som handler om tabeller, koordinater og

telling av kulepunkter ligger nærmere matematikk enn digital kompetanse. Da gjenstår

flervalgsoppgavene, og de kommer jeg nærmere inn på i neste kapittel.


64

Figur 19: Oversikt over oppgavetyper i osloprøven

11!

12!

4!

1!

7!

21!

6!

4!1!

Trykk!på!riktig!sted!

Følg!lenken,!(søk),!og!les!

Sett!sammen!riktig!ord!til!

bilde!Klipp!og!søk!

Tabellavlesing!

Flervalg!

Klipp!og!lim!

Koordinat!

Tell!punkter!i!punktliste!


65

4.6 Problemer rundt oppgaveformuleringer i prøven Den første osloprøven i digital kompetanse høstet kritikk for språkbruken,

spørsmålsformuleringene og svaralternativene. I et intervju i Aftenposten sier Tone Finne ved

Bredtvedt kompetansesenter dette om osloprøven som ble gjennomført i 2007:

- Selv om de i utgangspunktet spør om riktige ting i forhold til kravene i

Kunnskapsløftet, er ikke prøven egnet til å måle digitale ferdigheter og holdninger

hos niåringer. Språket er for voksent og er delt opp i lange leddsetninger, noe barn

ofte har problemer med å forstå. Svaralternativene i flervalgsoppgaven er dessuten

for mange, sier Finne, som mener «ja, nei, vet ikke» hadde passet bedre for en

niåring.

(Dregelid 2007)

Siden den gang har språket i prøven blitt senket til et nivå bedre tilpasset fjerdeklassinger, men

det finnes fremdeles flere spørsmål som ikke er spesielt godt formulerte, både når det gjelder

oppgavetekst, svaralternativer og illustrasjoner.

Et av dem er bruken av ord som kan være vanskelige for fjerdeklassinger å forstå. Et lite

eksempel er oppgaven som er gjengitt i figur 12, der oppgaven er å dra riktig begrep til riktig

bilde. Begrep kunne vært erstattet med enklere synonymer fra et mer dagligdags språk, som ord i

dette tilfellet. Retningslinjer for design av flervalgsspørsmål maner til bruk av et vokabular som

er kjent blant de som skal gjennomføre prøven (Hoepfl 1994, Anderson 2008). Osloprøven 2011

er likevel langt bedre enn sine forgjengere i språkbruken, og andelen fremmedord er denne

gangen lav.

Det å illustrere oppgavene kan også bidra til at elevene forstår oppgavene bedre, om det er gjort

på en god måte. Det finnes mange illustrasjoner i prøven, og de fleste fungerer OK, mens andre

er mindre gode og noen direkte dårlige. I spørsmål 20 skal elevene svare på om det er lov å

komme med trusler på Internett. Oppgaven er illustrert med logoen til Internet Explorer. Ordet

trussel måtte jeg forklare til flere elever da jeg gjennomførte prøven ved min skole. Om


66

oppgaven var illustrert med en skjermdump av et chattevindu der det stod et eksempel på en

truende melding kunne kanskje elevene lettere forstå oppgaven på egen hånd. Det ville også bli

lettere for lærere å forklare oppgaven. Men i hvilken grad skal læreren hjelpe elevene med

oppgavene? Her finnes det ingen retningslinjer, og det blir opp til den enkelte lærer å vurdere

hvor langt en skal gå i forklaringen. Slike subjektive vurderinger er en ytre påvirkning på

elevenes prøveprestasjon som kan bidra til å senke prøvens reliabilitet.

I oppgave 20 var det ikke bare illustrasjonen som kunne trenge en forandring. Oppgavetekstene,

eller stammen som de kalles i flervalgsspørsmål, er formulert som to påstander. Den første lyder

slik: ”Det er ikke lov å komme med trusler på internett”. Er svaret ja, det er ikke lov å komme

med trusler på internett, eller nei, det er ikke lov å komme med trusler på internett? Det siste

alternativet er en vanlig muntlig svarformulering hvor man ofte sier avkreftende nei før man

konstaterer regelen: “Nei, det er ikke lov.” I retningslinjer for design av flervalgsspørsmål

oppfordres det til å unngå bruk av negativer i stammen (Hoepfl 1994, Anderson 2008). Om

stammen likevel er negativ kan ikke svaralternativene være det (Anderson 2008: 36). Oppgave

20 bryter med dette prinsippet. Om oppgaven var formulert som et spørsmål ville det være langt

enklere å velge svaralternativ: “Er det lov å komme med trusler på Internett?” En slik

formulering faller inn under Hoepfls anbefaling om å bruke direkte spørsmål eller uferdige

setninger som stamme (Hoepfl 1994).


67

Den andre påstanden er at ”Barn under 18 år kan komme med trusler på Internett”. Hva er det

påstanden ønsker at elevene skal forstå? Er det at barn under 18 år også noen ganger oppfører

seg truende på nettet? Eller er det at det ikke er lov å true andre på nettet, og at denne loven også

gjelder for barn under 18 år? Det er jo på ingen måte slik at barn er forhindret i å true andre. De

kan gjerne komme trusler, mot så mange de vil, men om det er lov er en annen sak. Stammen kan

oppleves forvirrende og kunne med fordel vært formulert om et spørsmål.

Figur 20: Nettvettoppgave 1

Oppgave 18 er et spørsmål der stammen lyder slik “Kan du stole på at dette er Per på 14 år?”,

akkompagnert av et bilde av en voksen mann med skjegg. Svaralternativene elevene kan velge

mellom er distraktørene: Du kan alltid stole på de du møter på Internett, Du kan alltid stole på

gutter du møter på Internett, Det kan hende han heter Jens og nøkkelen Du kan aldri vite hvem

du møter på Internett. Oppgaven er ment for å sjekke om eleven forstår at folk man møter på

nettet ikke nødvendigvis er den han eller hun utgir seg for å være. Men hvorfor brukes det et

bilde av en voksen mann for å illustrere situasjonen? Dette er et eksempel på en dårlig illustrert

oppgave.


68

Figur 21: Nettvettoppgave 2

Resultatet er at oppgaven fremstår som forvirrende. Selvsagt er det ikke Per på 14 år på bildet.

Hvem er det da? Det kan jo hende han heter Jens? Slike svaralternativer er diskuterbare, og

fungerer ikke som gode distraktører. Svarene bør også utelukke hverandre, noe som ikke er

tilfellet her. For eksempel, om du alltid kan stole på de du møter på Internett, så er det gitt at du

også alltid kan stole på gutter du møter på Internett. På toppen av det hele er nøkkelen

problematisk i denne oppgaven. Den utelukker alle muligheter for at man kan vite hvem du

møter på nettet. Kan vi virkelig aldri noensinne vite hvem vi treffer på nettet? Vanligvis er det

best å unngå å bruke ord som alltid og aldri i svaralternativene (Anderson 2008: 37).

Elever i dag er kjent med Microsofts Messenger, Facebook og diverse blogger hvor svært mange

bruker sine egentlige navn. En bedre formulering av stammen kunne for eksempel være: “Noen

du ikke kjenner tar kontakt med deg på nettet. Kan du vite helt sikkert om de snakker sant?” Om

oppgaven i tillegg hadde en illustrasjon hentet fra et chattevindu, Facebook eller epost med en

tekst, som: “Hei, jeg heter Anne, hvem er du?”, kunne det vært lettere for elevene å skjønne

oppgaven. Stammen vil her være formulert slik at det kun er mulig med ja og nei-svar. Dette gjør


69

det lettere å gamble seg til riktig svar, men det utelukker også meningsløse distraktører som “Det

kan hende han heter Jens”. For det første bryter denne distraktøren med de andre alternativene,

og for det andre er den ikke udiskutabelt inkorrekt, noe som bryter med anbefalte retningslinjer

(Anderson 2008: 38).

Svært mange flervalgsspørsmål kan med fordel kortes ned til enten/eller-spørsmål. En analyse

gjennomført av Haladyna og Downing i 1993 så på 1100 spørsmål fra standardiserte prøver og

fant at svært mange av dem kun hadde en fungerende distraktør. De andre distraktørene fungerte

rett og slett ikke, og spørsmålene kunne dermed like gjerne ha vært formulert med to

svaralternativer, altså en nøkkel og en distraktør (Haladyna 2004: 75).

Et annet eksempel på dette er oppgaven om kildekritikk (Se figur 22). Her skal elevene svare på

om all informasjon på internett og Wikipedia er riktig. Svaralternativene er ja og nei, og

oppgavene fungerer greit som en test på elevene forstår at ikke alt på nett er sant. Men siste

spørsmål feiler med sine tre alternativer. Er det mulig å finne ut hva som er sant på Internett? Ja,

nei eller noen ganger? Ja og noen ganger overlapper hverandre. Her burde spørsmålet vært

kortet ned til to svaralternativer ved å kombinere ja og noen ganger til "Ja, noen ganger", som

sammen med "Nei" ville gitt en (temmelig enkel) distraktør og en nøkkel. Spørsmålet er i

utgangspunktet svært generelt, og kunne kanskje i stedet vært formulert som et mer åpent

spørsmål med flere riktige svar, som "Hvordan kan du sjekke om noe er riktig på nettet?". Da

kunne det vært flere nøkler, som "Se etter hvem som har skrevet teksten", "Sjekke flere steder"

og "Se på hvilken nettside du er på". Problemet er å finne gode distraktører til en slik oppgave.


70

Figur 22: Kildekritikk-oppgave

I oppgave 10 får elevene beskjed om at flere svar kan være riktige. Likevel er det bare en nøkkel

blant de to distraktørene. I et slikt tilfelle kan man ende opp med at elevene antar at det skal være

flere riktige alternativer i oppgaven. Om det kun er en nøkkel er det unødvendig å advare elevene

om at det kan være flere riktige svar.

Figur 23: Nettvettoppgave 3 og 4


71

I oppgave 11 er det to nøkler og en distraktør, og oppgaven er dermed riktig merket med at det

kan være flere riktige svar. Oppgaven er likevel svak i og med at distraktøren er svært lett å

gjennomskue, samtidig som få fjerdeklassinger på eget initiativ vil si i fra til politiet om at de har

fått en stygg melding. Første steg for barn er å si i fra til en voksen, som foreldre eller lærer. Det

å bruke foresatte er også et brudd på retningslinjene om å bruke vokabular tilpasset den som skal

gjennomføre prøven. Ordet kunne lett blitt byttet ut med "foreldre", “mamma og pappa” eller “en

voksen jeg stoler på”.

Et annet problem rammer oppgavene som handler om å kopiere og lime tekst inn i en tekstboks

(se figur 24). De skal måle om elevene kan å kopiere og lime tekst, men det er ingenting som

hindrer elevene i å skrive inn riktig svar. For å legge et lite hinder i veien handler mange av disse

oppgavene om dinosaurer med lange navn som fort kan staves feil. Men om elevene er nøye og

taster inn bokstav for bokstav vil de få riktig svar uavhengig om de kan å kopiere og lime eller ei.

Oppgaven ender dermed opp med å bare måle om elevene kan lese og avkode oppgaven.

Figur 24: Kopier og lim-oppgave der svaret like gjerne kan skrives inn

Problemene som presenteres her senker prøvens reliabilitet ved at spørsmålene fremstår som

upresise og i noen tilfeller nærmest villedende. Det er ikke mulig å vite om elevene har svart feil

fordi de ikke kunne svaret, eller fordi de ikke forstod, eller rett og slett misforstod, oppgaven. Og

når oppgaver kan løses på en måte som ikke lenger måler det oppgaven skal måle, som i kopier


72

og lim-tilfellet, da henger konklusjoner om elevene mestrer oppgaven eller ikke i en tynn tråd.

Dette fører meg inn på kapittel 4.9 som handler om hva osloprøven faktisk måler med sine

spørsmål.

4.7 Tekniske problemer og andre vanskeligheter rundt prøven

Prøven, som presenteres gjennom et Flash-basert system, gjennomføres i en nettleser på skolens

datamaskiner. Prøven sjekker hvilken nettleser som brukes, og støtter kun Internet Explorer og

Firefox. Prøven kan gjennomføres i andre nettlesere, men brukeren får da en advarsel om at

uforutsette ting kan skje. Prøven krever også en viss oppløsning og versjon av Flash-innstikket.

Kravene er langt fra urimelige og ikke noe problem for de fleste skolene. Det dukket likevel opp

tekniske problemer i 2011-prøven. To av spørsmålene ville ikke laste seg inn hos alle elevene, og

ble derfor kuttet fra analysene (Utdanningsetaten 2011a).

Enkelte av oppgavene sendte elevene til en ny nettside ved å åpne et nytt vindu. Under min egen

gjennomføring var det flere elever som ikke fant igjen prøven når en ny side eller fane åpnet seg.

Det skjønte ikke at det gikk an å bytte mellom flere vinduer. Dette forteller litt om nivået på

deres digitale kompetanse, men det forteller også om en prøve som forutsetter kunnskaper som

kanskje ikke er der for i det hele tatt å kunne gjennomføre prøven. Heldigvis lagres elevens

fremgang, slik at de som i vanvare lukket nettleseren under jakten på prøvevinduet kunne logge

seg inn og fortsette der de slapp.

4.8 Oppsummering av prøveanalysen

Prøven i digital kompetanse gir en totalscore som rangerer skoler fra øverst til nederst på en

skala. Dermed er det fristende å si at en skole som scorer over gjennomsnittet har elever som i

stigende grad på rangeringen er flinke i digital kompetanse, og skoler som scorer under

gjennomsnittet har elever som i synkende grad på rangeringen er dårlige på digital kompetanse.


73

En slik slutning vil være lite valid, rett og slett fordi osloprøven ikke måler digital kompetanse,

den måler et snevert sett av grunnleggende digitale ferdigheter inkludert noen (ofte problematisk

formulerte) oppgaver som forsøker å måle nettvett og kildekritikk.

Osloprøven er preget av spørsmål som stiller høye krav til elevenes leseferdigheter. For å kunne

svare på mange av spørsmålene må elevene kunne lese tekst i mange forskjellige former, som

spørsmål, påstander, faktatekster og sammensatte tekster, som på SSBs hjemmeside. De må

kunne avkode oppgaver og finne ut av hva spørsmålene vil ha til svar. Oppgavene der elevene

skal finne informasjon er i de fleste tilfeller lenket direkte til tekstsider. I en av to kartoppgaver

er søket allerede gjennomført. Det gjenstår med andre ord kun å lese og finne informasjon i

teksten for å besvare spørsmålene.

Oppgavene som forteller eleven at han skal kopiere og lime inn tekst er utformet slik at det er

fullt mulig å skrive inn teksten i stedet for å kopiere og lime. Oppgaven måler dermed ikke om

elevene kan kopiere og lime, men om de kan lese seg frem til riktig svar i oppgavene. I

oppgavene om mobiltelefonbruk og stygge meldinger på SMS må elevene forholde seg til

formuleringer som fort kan misforståes på grunn av negativ stamme i spørsmålet eller

svaralternativer som ikke fullt og helt kan utelukkes. Oppgavene måler dermed om eleven klarer

å holde tunga rett i munnen mens de avkoder oppgavene.

Osloprøven hevder som sagt å måle to typer ferdigheter, informasjonskompetanse og

grunnleggende ferdigheter. Informasjonskompetanse er inndelt i tre nivåer, der nivå 3 er det

høyeste. Dette nivået beskrives på denne måten:

En elev på dette nivået har svært gode søkestrategier og klarer å hente frem

informasjon om temperaturer, dyrearter og dinosaurer. En elev på nivå 3

innhenter informasjon slik at han/hun kan planlegge reiseruter med digitale kart.

De har også svært god vurderingsevne når det gjelder kildebruk.

(Utdanningsetaten 2011a)


74

Jeg mener oppgavene i prøven ikke legger et grunnlag for å komme med en slutning som i sitatet

over. Om eleven ikke blir lenket videre til sidene de skal finne informasjon på, så sendes de til

Google eller den siden som skal brukes til søket. Oppgavene sier heller ingenting om eleven kan

vurdere kvaliteten, relevansen, objektiviteten eller nytten av informasjonen som er funnet. Det

betyr at det ikke finnes noe grunnlag for å konkludere med at elevene har svært god

vurderingsevne når det gjelder kildebruk. Resten av kompetansen på nivå 3 dreier seg om

planlegging av kjøreruter ved hjelp av Google Maps, en ferdighet som er lite relevant for 10-

åringer.

Sett opp mot Ola Erstads definisjon av digital kompetanse er osloprøven en prøve i noen få

grunnleggende ferdigheter og litt nettvett, kombinert med en test av lese- og

matematikkferdigheter. Prøven sier svært lite eller ingenting om det Erstad kaller klassifisering,

integrering, evaluering, kommunisering, samarbeid og det å skape og kreere. Dette kommer som

en naturlig konsekvens av prøvens form med lukkede spørsmål med et binært rett eller galt-

utfall. Med andre ord, selv om osloprøven har en høy grad av statistisk reliabilitet, så har den en

lav grad av validitet som et mål på digital kompetanse. Den hevder å måle digital kompetanse,

men bommer på mål, som i første blink i figur 6. Digital kompetanse er et svært komplekst

begrep som vanskelig lar seg operasjonalisere til en kort digital test. Slik prøven fremstod i 2011

er den mer valid som et mål på leseferdigheter enn det den er for digital kompetanse.

Om prøven hadde endret navn til osloprøven i grunnleggende digitale ferdigheter ville det bli

enklere å lage en prøve som både er reliabel og valid. Med en slik navneendring ville det heller

ikke være nødvendig å vanne ut begrepet digital kompetanse til noe som ligner mest på det man

kan kalle en snever del av basale IKT-ferdigheter. Når man ser nærmere etter hvordan prøven er

bygd opp, og hvordan begrepet digital kompetanse er blitt brukt, så kan man nesten mistenke at

digital kompetanse har blitt forstått som et synonym for grunnleggende ferdigheter.

Her avsluttes selve prøveanalysen. I neste kapittel begynner den kvantitative analysen av

osloprøven. Der ser jeg nærmere på om det er noen sammenheng mellom skolenes fysiske IKT-

forhold samt nasjonale prøveresultater og osloprøvens resultater.


75

5. Spørreundersøkelsen: Innhenting av data

fra skolene

5.1 IKT-ansvarlig som respondent Da jeg skulle utforme spørreundersøkelsen måtte jeg først bestemme hvem som skulle besvare

den ved hver enkelt skole. Jeg kunne sende den til rektorene, men de har gjerne ikke

detaljkunnskap rundt datamaskinparken. Arbeidsmengden til rektorene er også av en art som

kanskje ville redusert svarprosenten ved at en frivillig spørreundersøkelse fort kan bli

nedprioritert. Lærerne ved fjerde trinn var også en potensiell mottaker, men hvem på trinnet som

skulle svare ville jeg ikke kunne kontrollere. De mangler, som rektorene, også den totale

oversikten over skolens IKT-utstyr.

Spørreundersøkelsen ble derfor utformet med tanke på at den skulle besvares av IKT-ansvarlig

ved skolene. Siden spørreundersøkelsen skulle dreie seg om tilgang, mengder og tilstand mente

jeg at det var naturlig at IKT-ansvarlig ble mottaker. Ut i fra egen erfaring vet jeg at en IKT-

ansvarlig har lett tilgang på alle slike tall. Gjennom Utdanningsetaten fikk jeg tilgang på en

mailingliste med oversikt over navn og epost til alle IKT-ansvarlige ved barneskolene i Oslo.

Dermed kunne jeg sende spørreundersøkelsen direkte til hver enkelt person.

5.2 Operasjonalisering, variabler og målenivå Som tidligere nevnt er operasjonalisering prosessen fra det generelle til det konkrete. Jeg er ute

etter data om skolenes IKT-forhold. Det vil si både mengder, alder og tilgang til IKT utstyr. For

å kunne tallfeste og måle dette lagde jeg flere spørsmål som utgjorde spørreundersøkelsen.

Spørsmålene bestod av forskjellige variabler. Enten var det variabler som konkretiserte det jeg la

i begrepet IKT-forhold, eller så var det variabler jeg mente kunne bidra med interessant

tilleggsinformasjon, som antall elever i forhold til antall klasser. Variablene i spørsmålene er

blant annet hentet fra noen av nullhypotesene, som jeg beskriver i kapittel 7.2.


76

Variabler har forskjellig målenivå. Målenivået angir hvilke statistiske analyser det er meningsfylt

å foreta under databehandlingen (Johannessen 2010: 253). Min spørreundersøkelse inneholdt

variabler på fire målenivåer: Nominalnivå, ordinalnivå, intervallnivå og forholdstallsnivå. Noen

av spørsmålene inneholdt også dikotome variabler. Det vil si at de kun består av to verdier.

Under følger en gjennomgang av variablene og hvilket målenivå de tilhører21:

Nominalnivå

Variabler på nominalnivå har verdier som det ikke gir mening å måle opp mot hverandre. De kan

ikke rangeres på en logisk måte, og er gjensidig utelukkende. I denne spørreundersøkelsen faller

skolenavnet i form av skolekoden22 i denne kategorien. Variabelen er viktig for å kunne knytte

data opp mot osloprøven.

Variabel: Skolekode

Verdi: For eksempel NOK for Nøklevann

Ordinalnivå

Variabler på ordinalnivå kan ordnes i en bestemt rekkefølge ved rangering. Det vil si at verdien

forteller noe om grader av noe eller posisjon i en serie. I spørreundersøkelsen hadde jeg spørsmål

som angikk bestemte trinn.

Variabel: Trinn

Verdi: Første, andre, tredje eller fjerde trinn

Intervallnivå

En variabel på intervallnivå har en nøyaktig lik avstand mellom hver verdi, men ikke et naturlig

nullpunkt. I mitt spørsmål om hvor mange grupper eller klasser elevene var delt inn i er det ikke

mulig å svare null.

21 Enkelte av beskrivelsene av målenivåene er hentet fra Johannessen 2010, kapittel 18. 22 Alle skoler i Oslo har en skolekode som består av tre bokstaver hentet fra skolenavnet.


77

Variabel: Antall klasser/grupper

Verdi: 1 - 9.

Forholdstallsnivå

De fleste av mine variabler ligger på forholdstallsnivå. Forholdstall har et naturlig nullpunkt, og

det er mulig å si noe om forholdet mellom verdiene. En skole med 10 datamaskiner har dobbelt

så mange maskiner som en skole med 5.

Variabel: Antall bærbare maskiner, antall stasjonære maskiner, antall datarom, antall timer på

datarom, antall nye maskiner, antall lesebrett.

Verdi: Fra 0 og oppover

Dikotome variabler

Dikotome variabler har kun to verdier. Jeg var interessert i hvilke trinn som var utstyrt med

prosjektor og annet IKT-utstyr. Respondentene huket av ved de trinnene som hadde det aktuelle

utstyret, og verdien ble dermed et ja eller nei. Dikotome variabler har ikke noe spesielt målenivå,

men behandles ofte som nominalvariabler.

Variabel: Prosjektor i klasserommet, interaktive tavler i klasserommet, digitale fotoapparater

tilgjengelig på trinnet, digitale videokameraer tilgjengelig på trinnet, lesebrett tilgjengelig på

trinnet

Verdi: Ja eller nei

5.3 Utsendelse, identifisering og purringer Spørreskjemaet ble sendt ut til 79 IKT-ansvarlige ved 99 skoler i slutten av November 2011.

Årsaken til at det er færre IKT-ansvarlige enn skoler er at 27 skoler leier inn IKT-ansvarlig fra et

eksternt firma, og 3 skoler deler IKT-ansvarlig med 3 andre skoler. Jeg forsøkte å unngå og

sende ut skjemaet på et tidspunkt med mange andre spørreundersøkelser, for ikke å bli

nedprioritert i et “mettet marked”.


78

Mailen de IKT-ansvarlige mottok inneholdt et følgeskriv som forklarte hva spørreundersøkelsen

dreide seg om, sammen med en kort veiledning og en personlig kode. I forkant av utsendelsen

brukte jeg en online tjeneste23 for å generere 99 unike koder bestående av fire blokkbokstaver.

Siden jeg ikke passordbeskyttet spørreskjemaet kunne det i teorien åpnes av uvedkommende, og

dermed fylle skjemaet med feilaktig data. For at dette skulle skje måtte de i tilfelle ha kjennskap

til skjemaets nettadresse, som er en tilfeldig streng på 34 bokstaver. Risikoen var derfor lav, men

sammen med skolekodene og den unike koden kunne jeg bestemt utelukke uønsket data-input og

i tillegg nøyaktig identifisere skolene som svarte slik at de ble koblet opp mot riktig data fra

osloprøven.

Figur 25: Spørreskjema med krav om innfylling av skolekode og individuell kode

Datamaterialet i de ferdig utfylte skjemaet ble sendt til et Google Docs regneark. Her kunne jeg

fortløpende følge med på hvilke data som kom inn, sjekke skolekode og individuell kode og lese

kommentarer fra respondentene. Da spørreundersøkelsens deadline var passert kunne jeg

eksportere all data til et valgfritt format, som Microsoft Excel eller kommaseparert dokument.

Dette kunne jeg igjen importere til SPSS for analyse.

23 http://www.random.org/strings/


79

Figur 26: Utsnitt av Google Docs regnearket, med skolekode (retusjert bort), individuell kode og respondentenes svar på tre av spørsmålene

Etter første runde hadde jeg mottatt 31 besvarelser. Jeg oppdaget da at jeg ikke hadde fått inn

svar fra noen av de IKT-ansvarlige fra det eksterne firmaet enkelte skoler bruker. Jeg vet ikke

hvorfor de ikke svarte, men noe av årsaken kan ligge i at de ikke har detaljkunnskaper om hver

enkelt skoles trinn og IKT-forhold, at de har en policy på ikke å besvare eksterne undersøkelser

eller at de ikke prioriterer eller har kapasitet til slike undersøkelser. Purringen ble sendt ut litt

over en måned etter første utsending, og hentet inn 13 nye besvarelser, men ingen fra skolene

med ekstern IKT-ansvarlig. De 27 skolene er dermed utelukket i analysene. Dette, og andre

svakheter i tallmaterialet omtales i neste kapittel.

5.4 Svarrespons og feilmargin Skolene med ekstern IKT-ansvarlig var ikke de eneste som ikke besvarte undersøkelsen.

Ytterligere 30 skoler leverte aldri sine svar. Bortfallet kan skyldes nedprioritering eller

bortprioritering av denne type henvendelser i en travel lærerhverdag, forglemmelse, IKT-

ansvarlig i permisjon eller et utall andre årsaker.

Populasjonen bestod opprinnelig av 99 skoler. Med et bortfall på 57 skoler står jeg igjen med en

svarrespons på ca. 42%. I større undersøkelser er det en tommelfingerregel at 50% eller mer er

en god svarrespons (Johannessen 2010), men i små populasjoner beregnes det nødvendige


80

utvalget noe annerledes enn i svært store populasjoner (Morris u.å). Feilmarginen i utvalget kan

beregnes ved hjelp av denne ligningen:

Størrelsen på utvalget er n. I dette tilfellet er den 42 skoler. N er populasjonsstørrelsen og p og q

er populasjonsproporsjonene, her med verdiene 0,5. Z er konfidensintervallet, som forteller med

hvor høy sikkerhet feilmarginen er riktig. Her er den satt til 95%, representert ved verdien 1.96 i

ligningen. E er selve feilmarginen, som her ender på ca. 11.

Et eksempel: Om 50% av utvalgsskolene svarer ja på om de har datarom kan jeg være 95%

sikker på at mellom 39 og 61% av skolene i populasjonen ville ha svart det samme dersom de

også deltok i undersøkelsen. Denne bredden i feilmarginen gjør at jeg må trå noe forsiktig når det

gjelder å generalisere funnene i analysen til alle skolene.

Som nevnt tidligere er det også en svakhet i datamaterialet at ingen av skolene med ekstern IKT-

ansvarlig har besvart undersøkelsen. Et annet potensielt problem er at skoler som er lite aktive i

bruken av IKT lar være å besvare undersøkelsen. Dette kan føre til en skjevhet i datamaterialet

som vil påvirke analysene. I neste kapittel vil jeg presentere data fra både spørreundersøkelsen

og osloprøven, og gjennomføre en sammenligning av datamaterialet for å avdekke eventuelle

skjevheter.


81

6. Presentasjon av data

6.1 Osloprøvens resultater Osloprøvens resultater er basert på data fra 99 forskjellige skoler. Prøveresultatene spenner over

19 heltall fra 49 til 63. Verdiene i seg selv er finmasket med to desimaltall, der skolen som har

gjort det best har verdien 63.88 og skolen på bunnen av skalaen har verdien 44.69. Prøvens

totalscore har et gjennomsnitt på 55.83 med et standardavvik på 3.98.

6.2 Sammenligning av datagrunnlag Som sagt havnet svarresponsens i min undersøkelse på 42%. Den noe lave deltakelsen kombinert

med at utvalget ikke er dannet på grunnlag av en genuin tilfeldig utvelgelse skaper et potensiale

for skjevheter i datagrunnlaget, sett opp mot hvordan det virkelig er i populasjonen. En måte å

sammenligne datagrunnlaget på er ved å sammenligne gjennomsnittet og standardavviket til

skolenes prøveresultat mellom mitt utvalg og hele populasjonen.

Gjennomsnittet i populasjonen er på 55,8 med et standardavvik på 3,97, og gjennomsnittet i

utvalget er på 55,5 med et standardavvik på 4,02. Maksimumsverdien og minimumsverdien i

populasjonen strekker seg fra 44,69 til 63,88, mot 44,89 til 62,22 i utvalget. Dette er forteller at

verdiene er noenlunde jevnt fordelt mellom populasjonen og utvalget. Det er spesielt viktig at jeg

har et utvalg som er spredd utover hele scoreskalaen når jeg skal gjennomføre

korrelasjonsanalysene. Det er likevel kun et utvalg jeg jobber med, og det vil aldri kunne gi en

helt korrekt gjenspeiling av forholdene i populasjonen.


82

7. Analyse

7.1 Histogrammer

7.1.1 Datarom

34 av de 42 skolene i undersøkelsen har ett eller flere datarom tilgjengelig for elevene. Bruken

av datarom har blitt kritisert fordi det gjør datamaskiner til et lite tilgjengelig verktøy i

undervisningen (Davis & Shade 1994, Salomon 1990). Datarom kan likevel være praktiske under

opplæring i bruk av IKT utstyr. Om datarommet er godt egnet til IKT-opplæring kommer an på

innredning av rommet, men ofte sitter elevene på rekke og rad med ansiktet vendt mot et lerret

hvor lærerens skjerm vises. På denne måten kan læreren gå trinn for trinn igjennom forskjellige

operasjoner, samtidig som elevene utfører de samme operasjonene på sin maskin.

Histogrammene under viser at antallet timer elevene bruker på datarommet stiger jevnt etterhvert

som elevene går oppover i klassetrinn24. Første trinn bruker datarommet lite på de aller fleste

skolene. På andre trinn begynner enkelte skoler å ta i bruk datarommet oftere, på tredje trinn

bruker flertallet av skolene datarommet 1 til 5 timer i uka og på fjerde trinn er det bare 8 skoler

som ikke bruker tilgjengelig(e) datarom. Gjennomsnittlig stiger bruken av datarom fra litt over

en halvtime i uka på første trinn til drøye to timer i uka på 4 trinn. To timer er ikke mye i forhold

til de ca. 22 timene i uka fjerdeklassingene har undervisning, men et datarom er et spesialrom og

må deles med andre klasser på skolen.

24 Skolene uten datarom er ikke tatt med


83

Figur 27: Tid på datarom 1. Trinn Figur 28: Tid på datarom 2. trinn

Figur 29: Tid på datarom 3. Trinn Figur 30: Tid på datarom 4. trinn


84

Figur 31: Gjennomsnittlig antall timer på datarom fra 1. til 4. trinn

7.1.2 Lett tilgjengelige maskiner og totalt tilgjengelige maskiner pr elev

Som nevnt i kapittel 1.2 er det i følge kvalitetsportalen 2,5 elever pr datamaskin i grunnskolen i

Oslo. Dette tallet ligger tett opp mot tallene fra de skolene jeg har samlet inn data fra, og som

viser at fjerde trinn i gjennomsnitt har 2,9 elever pr datamaskin om jeg regner med alle

datamaskiner som fjerde trinn har tilgang til. Dette inkluderer maskiner i klasserommene,

utlånsmaskiner og maskiner andre steder på skolen.

Om analysen begrenses til maskiner som er lett tilgjengelig for elevene, altså maskiner som står i

klasserommet eller som kan hentes til klasserommet som utlånsmaskiner stiger antallet elever pr


85

datamaskin til 5,2. Det er over dobbelt så mange elever pr datamaskin som tallet fra

kvalitetsportalen, og gir kanskje et mer realistisk bilde av den faktiske tilgangen til datamaskiner

for fjerdeklassingene.

Gjennomsnittet forteller som sagt heller ikke noe om hvordan verdiene er spredt utover mellom

skolene. Det viser seg at det er store forskjeller. Når det gjelder elever pr totalt tilgjengelige

maskiner på skolen har gjennomsnittet på 2,9 et standardavvik på 2,86. Maksimum og

minimumsverdi varierer fra 0,48 elever pr maskin til 12,8 elever pr maskin. Forskjellene mellom

skolene er enda større rundt lett tilgjengelige maskiner. Gjennomsnittet på 5,2 har her et

standardavvik på 6,5, og en maksimum og minimumsverdi på 0,74 og 28.

Den store variasjonen mellom antallet elever pr datamaskin forteller noe om hvor forskjellig IKT

prioriteres på småskoletrinnet mellom skolene i Oslo.

7.1.3 Interaktive tavler og prosjektor i klasserommene

Prosjektorer og interaktive tavler er digitale hjelpemidler som eksponerer elevene for

datamaskinbruk i normale undervisningstimer. Tallene fra undersøkelsen viser at prosjektor eller

både prosjektor og interaktive tavler er installert i majoriteten av klasserommene for første til

fjerdeklassingene. Hele 73% av skolene har utstyrt alle trinn mellom 1 og 4 med prosjektor, og

61% av skolene har installert interaktive tavler på de samme trinnene.

Om interaktive tavler har en effekt på elevenes læring i forskjellige fag har vært omtalt både som

en revolusjon for undervisningen (Betcher 2009) og som en teknologijippo som til og med låser

læreren til utgått på dato-undervisning med enveis kringkasting fra læreren ved tavla ned til

elevene (McCrummen 2010). Dette er anekdotisk, men av egen erfaring vet jeg at prosjektoren er

hyppig brukt blant mine kolleger. Den er lett å bruke og er i bruk i alle slags undervisningstimer.

Smartboarden derimot blir langt sjeldnere brukt aktivt, blant annet fordi mange føler de mangler

kompetansen som skal til for å utnytte mulighetene i den.


86

Når så mange skoler er utstyrt med prosjektor og smartboard på alle trinn vil det ikke være mulig

å gjøre en korrelasjonsanalyse mellom disse variablene og score på osloprøven.

Spredningsplottet under viser hvorfor. Når majoriteten av skolene har utstyret på plass vil

skolene være spredd utover hele poengskalaen:

Figur 32: Spredningsplott osloprøven/prosjektorer

7.2 Hypoteser Mitt forskningsspørsmål for denne kvantitative delen av oppgaven er, for å gjenta det:

I hvilken grad kan fysiske IKT-forhold ved skolene påvirke resultatene på osloprøven i

digital kompetanse?

For å finne ut av dette har jeg operasjonalisert begrepet IKT-forhold gjennom en rekke variabler

i en spørreundersøkelse. For å kunne svare på forskningsspørsmålet har jeg også utarbeidet

hypoteser som kan testes direkte gjennom korrelasjonsanalyse i SPSS. Hypotesene under består


87

av en nullhypotese, som testes direkte, og en alternativ hypotese som vil bli akseptert dersom det

finnes grunnlag for å forkaste nullhypotesen:

H0: Antall lett tilgjengelige datamaskiner pr elev påvirker ikke prøveresultatet.

Ha: Antall lett tilgjengelige datamaskiner pr elev påvirker prøveresultatet.

H0: Antall reelt tilgjengelige maskiner pr elev påvirker ikke prøveresultatet.

Ha: Antall reelt tilgjengelige maskiner pr elev påvirker prøveresultatet.

H0: Antall timer på datarom påvirker ikke prøveresultatet.

Ha: Antall timer på datarom påvirker prøveresultatet.

7.3 Korrelasjonsanalyse med hypotesetesting Analysene i dette kapitlet er gjennomført gjennom Pearsons korrelasjonsanalyse i SPSS. Jeg har

på forhånd ikke definert om antall timer på et datarom eller om antall tilgjengelige maskiner

påvirker prøveresultatet positivt eller negativt. Analysen gjennomføres derfor som en 2-tailed-

test. Utfallet i en 2-tailed test er 3 alternativer:

1. Tid brukt på datarom eller antall datamaskiner påvirker prøveresultatet positivt.

2. Tid brukt på datarom eller antall datamaskiner påvirker ikke prøveresultatet i noen retning.

3. Tid brukt på datarom eller antall datamaskiner påvirker prøveresultatet negativt.

Resultatet av analysen, og om det finnes en sammenheng eller ei, defineres av et tall fra minus 1

til pluss 1. Det finnes mange guider på hvordan resultatene i en Pearsons korrelasjonsanalyse

skal tolkes. Det vil si, om styrken i sammenhengen skal sees på som ikke-eksisterende, svak,

moderat eller sterk. Den amerikanske statistikeren Jacob Cohen foreslo denne firedelte skalaen

(den samme skalaen gjelder for negative verdier):


88

● 0.0 - 0.1 Ingen sammenheng

● 0.1 - 0.3 Svak sammenheng

● 0.3 - 0.5 Moderat sammenheng

● 0.5 - 1.0 Sterk sammenheng

Tallet 0 indikerer at det ikke er noen statistisk sammenheng mellom variablene. Om verdien

derimot nærmer seg 1 eller -1 er det snakk om en sterk positiv eller negativ sammenheng.

Cohens skala utelukker likevel ikke nødvendigheten av å evaluere resultatene i sammenheng

med konteksten av hva man undersøker (Field 2010: 57). Det kan for eksempel være tilfeller

hvor en svak sammenheng også er betydningsfull.

7.3.1 Elever pr lett tilgjengelig datamaskin

I første analyse ser jeg på variabelen Elever pr lett tilgjengelig maskin opp mot totalscore på

osloprøven:

Figur 33: Korrelasjon osloprøven/elever pr lett tilgjengelig datamaskin

Tabellen viser at det ikke er en noen statistisk sammenheng mellom lett tilgjengelige maskiner

og prøveresultatene. Den øverste linjen viser at totalscoren på osloprøven korrelerer med elever

per lett tilgjengelig maskin med en verdi på .098. Denne verdien faller dermed inn under ingen

sammenheng på Cohens skala. Antallet lett tilgjengelige maskiner påvirker med andre ord ikke

prøveresultatet i noen retning. Det betyr at nullhypotesen “Antall lett tilgjengelige datamaskiner


89

pr elev påvirker ikke prøveresultatet” beholdes. Med et signifikansnivå på .543 er ikke dette

resultatet et bevis for at nullhypotesen er sann. Det vil si, det kan være at denne svake

sammenhengen er en tilfeldighet i utvalget, men utgangspunktet, som er nullhypotesen beholdes.

7.3.2 Elever pr totalt tilgjengelige maskiner

I andre analyse ser jeg på variabelen elever pr totalt tilgjengelige datamaskiner opp mot

totalscore på osloprøven:

Figur 34: Korrelasjon osloprøven/totalt tilgjengelige datamaskiner

Analysen viser en svært svak positiv sammenheng mellom antallet datamaskiner tilgjengelig på

skolene og resultatet på osloprøven. Signifikansnivået er også her av en art som ikke utelukker at

resultatet er en tilfeldighet i utvalget. Det betyr at nullhypotesen “Antall reelt tilgjengelige

maskiner pr elev påvirker ikke prøveresultatet” beholdes.


90

7.3.3 Antall timer på datarommet

I tredje analyse ser jeg på variabelen antall timer på datarommet opp mot totalscore på

osloprøven:

Figur 35: Korrelasjon osloprøven/antall timer på datarommet

Analysen viser en svak positiv sammenheng mellom antall timer på datarommet og resultatet på

osloprøven. Og som i de forrige analysene er signifikansnivået slik at tilfeldigheter ikke kan

utelukkes. Det betyr at nullhypotesen “Antall timer på datarom påvirker ikke prøveresultatet”

beholdes.

7.3.4 Generalisering til populasjonen

Om det hadde vært spor av en sterk sammenheng kunne størrelsen på utvalget utgjort et problem

i forbindelse med generalisering til populasjonen. Men med analyseresultater som viser en så

tydelig svak eller ingen statistisk sammenheng mellom hvordan skolene er IKT-utstyrt og

osloprøven, er det lite sannsynlig at resultatet ville blitt radikalt annerledes med et større utvalg.

Likevel, med et bortfall på over 60% fra nettopopulasjonen er det mulig at jeg ved å beholde

nullhypotesene begår en type II-feil. Med det signifikansnivået som kommer frem er det også en

mulighet for at den lave sammenhengen i utvalget er en tilfeldighet. For å avkrefte dette er det

nødvendig med en ny undersøkelse, gjerne med et større utvalg. Det er også verdt å gjenta at når

jeg nå har beholdt nullhypotesene, så betyr ikke det at nullhypotesene er bekreftet eller bevist,

bare at utgangspunktet beholdes.


91

7.3.5 Oppsummering av korrelasjonsanalysen Mine resultater viser det samme som analysene i rapportene om osloprøven i 2009 og 2011. Det

er liten eller ingen statistisk sammenheng mellom tiden eleven bruker på data eller

tilgjengeligheten på datamaskiner og prøveresultatet. I mine analyser er det en helt tydelig

tendens til at skolens IKT-tilbud ikke virker inn på prøveresultatet i noen retning. Uansett om

elevene bruker lite eller mye tid på datarommet, har mange datamaskiner lett tilgjengelig eller

om skolen har høy maskintetthet, så kan resultatet på prøven bli alt fra toppnivå til bunnivå.

Det betyr at det må være helt andre faktorer enn de rent fysiske som spiller inn på resultatet. Som

nevnt i kapittel 2.2 viser ITUs analyser at det er statistisk sammenheng mellom hjemmeforhold,

karakterer og prøveresultatet. De skriver:

Resultater presentert i Utdanningsspeilet for 2008 viser at det er en klar tendens

til at det å ha høyt utdannede foreldre har positiv sammenheng med elevenes

skoleresultater. Dette gjelder elever av begge kjønn, og er et funn som gjentar

seg hvert år. I ITU Monitor2009 finner vi også en klar tendens til at elevenes

målte digitale kompetanse står i en sterk sammenheng med karakterene de

oppgir å ha fått. Elevenes digitale kompetanse kan slik fortolkes som et uttrykk

for faglig dyktighet.

(ITU 2009)

Prøven i digital kompetanse gjenspeiler altså elevenes faglige dyktighet. Men er det slik at kun

faglig dyktige elever kan ha god digital kompetanse? Eller er det slik at elevenes leseferdigheter

er avgjørende for å kunne score bra på prøven? Som prøveanalysen min viser er mange av

oppgavene i osloprøven tungt preget av at elevene må kunne lese tekst i varierende former,

avkode spørsmålene og forstå hva som er ønsket svar. Det er en kjent sak at hjemmeforhold og

leseferdigheter påvirker elevenes karakterer. Det er også slik at skolene med en høy andel elever

med norsk som andrespråk gjør det dårligere på lesetester enn skoler med lavere andel (Lindvig

2002). Når osloprøven er såpass lesetung kan det derfor være interessant å se i hvilken grad

resultatene fra osloprøven henger sammen med resultater fra nasjonal prøve i lesing. I neste

kapittel går jeg nærmere inn på nettopp dette.


92

7.4 Nasjonale prøver og osloprøven I denne delen av den kvantitative analysen har jeg samlet data fra 89 til 94 skoler, avhengig av

hvilken variabel som brukes. Utvalget er dermed omtrent like stort som populasjonen, og

problematikken rundt generalisering fra utvalg til populasjon er dermed nesten eliminert.

Analysene vil her ikke være utformet som hypotesetester, men jeg har laget spredningsplott og

gjennomført korrelasjonsanalyser for å vise hvordan osloprøven henger sammen med blant annet

leseferdigheter. Et spredningsplott er en visuell fremstilling av en korrelasjonsanalyse, og gir et

raskt overblikk om det eksisterer en statistisk positiv eller negativ sammenheng. Om punktene

stiger mot høyre indikerer det en positiv sammenheng, og motsatt, om punktene synker mot

høyre indikerer det en negativ sammenheng. Jo tettere punktene ligger i en stigende eller

synkende linje, desto sterkere er den statistiske sammenhengen.

Figur 36 er et spredningsplott som viser en statistisk sammenheng mellom resultatene på

nasjonal prøve i lesing og resultatene fra osloprøven. Resultatskalaen for nasjonal prøve i lesing

strekker seg her fra laveste verdi på litt over 1.25 til høyeste verdi på litt over 2.50. Osloprøvens

resultater strekker seg som kjent fra ca. 44 til 63. Hver sirkel representerer en skole.

Spredningsplottet viser temmelig tydelig positiv tendens til at skoler som scorer lavt på nasjonal

prøve i lesing også scorer lavt på osloprøven. Desto bedre skolene gjør det nasjonal prøve i

lesing, jo bedre gjør de det på osloprøven.


93

Figur 36: Spredningsplott osloprøven/nasjonal prøve i lesing

Men hvorfor er slik at noen skoler scorer høyt på nasjonal prøve i lesing, mens andre scorer lavt?

Hvem har større utfordringer når det gjelder å lese norsk? Det er som kjent elever med norsk som

andrespråk. Om man sammenligner resultatet på nasjonal prøve i lesing med andelen elever som

har norsk som andrespråk får man et tilsvarende spredningsplott som i sted, men i negativ

retning.


94

Figur 37 viser at skolene som har en lav andel elever (i %) med norsk som andrespråk, de scorer

langt bedre på nasjonal prøve i lesing enn det skoler med en høy andel elever med norsk som

andrespråk gjør.

Figur 37: Spredningsplott nasjonal prøve i lesing/andel med annet morsmål enn norsk


95

Figur 38 viser hvordan osloprøvens resultater henger sammen med andelen elever med norsk

som andrespråk. Spredningsplottet viser her samme negative statistiske sammenheng som i

forrige figur.

Figur 38: Spredningsplott osloprøven/andel med annet morsmål enn norsk


96

I figur 39 er det osloprøvens resultater og resultatene fra nasjonal prøve i regning som er satt

sammen. Her er det samme positive statistiske sammenheng som mellom lesing og osloprøven. En av

årsakene til at disse to resultatene viser såpass like resultater kan være at osloprøven inneholder en

del oppgaver som er knyttet til kompetansemål i matematikk, og at nasjonal prøve i regning, som

osloprøven, består av svært mange tekstbaserte oppgaver. Et eksempel på en vanlig oppgave fra

nasjonal prøve i regning (Utdanningsetaten 2011c) kan sees i figur 40.

Figur 39: Spredningsplott osloprøven/nasjonal prøve i regning


97

Figur 40: Eksempel på oppgave fra nasjonal prøve i regning

I figur 41 er den statistiske sammenhengen mål i Pearsons korrelasjonsanalyse. Tabellen viser at det

er sterke positive statistiske sammenhenger mellom resultatene fra osloprøven i digital kompetanse

og resultatene fra nasjonal prøve i lesing og regning, samtidig som det er en sterk negativ

sammenheng mellom andelen med et annet morsmål enn norsk og alle prøveresultater.

Sammenhengene er også statistisk signifikante.

Figur 41: Korrelasjon osloprøven/nasjonale prøver


98

8. Tolkning av analyseresultater Osloprøven har en statistisk høy grad av reliabilitet. Dette har å gjøre med prøvens digitale,

automatisk rettede form med oppgaver med binære rett/galt-utfall. Men høy reliabilitet er et

uinteressant mål i seg selv. Reliabiliteten i en prøve må alltid kobles opp mot hvordan resultatene

tolkes, med andre ord, prøvens validitet. Osloprøven hevder å måle digital kompetanse. Det er et

ambisiøst mål, men prøven kommer til kort. Digital kompetanse, slik det beskrives av blant

andre Østerud, Erstad, Tyner, Øgrim og Beck, er en kompleks og bred kompetanse som

innebærer alt fra grunnleggende ferdigheter til kreasjon til digital dannelse og samfunnsmessige

perspektiver. Dette er viktige aspekter som osloprøven overser, og kanskje må overse, fordi det

ikke vil være mulig å lage spørsmål som på en hensiktsmessig måte kan måle slike kunnskaper.

Om vi ser på hva prøven faktisk måler, så er det et lite sett av grunnleggende ferdigheter

kombinert med litt nettvett og enda mindre kildekritikk. Dette er et smalt kakestykke av et stort

bilde. Prøven kunne med fordel endret navn, til osloprøven i grunnleggende IKT-ferdigheter eller

osloprøven i å bruke digitale verktøy. Prøven ville dermed blitt ærligere, og det ville blitt lettere

å forsvare bruken av en automatisk rettet flervalgsprøve. Så lenge prøven heter osloprøven i

digital kompetanse skryter den på seg å måle mer enn den noensinne vil kunne gjøre. Som et mål

på digital kompetanse har osloprøven en lav grad av validitet.

Selv om prøven ikke kan brukes som et mål på en elevs digitale kompetanse, så sier den litt om

en elevs grunnleggende ferdigheter. For å kunne besvare prøven kreves det at eleven behersker

en digital prøveform, og forstår grunnleggende operasjoner som å trykke på en lenke og søke i et

søkefelt. Kjennskap til en del vanlige Windows-baserte verktøy er også nødvendig. Mine

analyser viser at tilgang på datamaskiner og antall timer på datarom har liten eller ingen

betydning for resultatet. Nå er det uansett slik at alle skoler i Oslo stort sett har noe utstyr

tilgjengelige for elevene, selv om det er variasjon mellom skolene. Det kan bety at hvordan

skolene jobber med IKT, og hva de lar elevene bruke IKT til i undervisningen har mer å si enn

mengden utstyr. Dette sier ikke mine analyser noe om, men kunne være spennende å undersøke.


99

Mine analyser viser også at prøveresultatet er svært nært knyttet til hvordan skolene gjør det på

nasjonal prøve i lesing. For å score bra må eleven mestre oppgaver og tekster i mange former,

som påstander, spørsmål og multimodale tekster. Spørsmålet er dermed om prøven er nærmere

en leseprøve enn en prøve i digitale ferdigheter. En elev som scorer dårlig på leseprøver kan

likevel være er god til å bruke datamaskiner til å spille, tegne, animere og finne frem til fakta og

informasjon han er interessert i. Men om han er avhengig av gode leseferdigheter for å score bra

på osloprøven, hva er det denne prøven forteller som ikke leseprøven forteller? Gir osloprøven

lærere nyttig og ukjent informasjon om elevene? Kommer det frem ny informasjon en lærer ikke

allerede vet? Og i hvilken grad brukes prøveresultatene til å forme undervisningen ved skolene?

Sjøberg skriver om hvordan PISA-resultatene brukes som et bevis på at norsk skole er i en

elendig tilstand, på tross av at de ikke måler stort annet enn teoretiske matematikk- og

naturfagsferdigheter som ikke er knyttet til noen læreplan. Han spør også om hvordan PISA-

debatten virker inn på skolens liv og arbeid, lærernes identitet, trivsel, selvforståelse og deres

forhold til elever og foreldre (Sjøberg 2007). Hvordan påvirker osloprøven i digital kompetanse

skolene, fra ledelse til lærere og elever? Når skoler som scorer lavt på nasjonal prøve i lesing og

regning også får vite at de feiler i digital kompetanse, på tross av at prøven ikke måler så mye

annet enn grunnleggende IKT-ferdigheter og leseferdigheter, hva skjer med elevenes selvfølelse,

lærernes syn på egen undervisning og det totale skolemiljø? Med prøving og testing følger det

også etiske spørsmål det er viktig å ta hensyn til. Dette har det ikke vært mye diskusjon om rundt

osloprøven.


100

9. Avslutning Denne oppgaven har vist at skolenes IKT-park ikke har noen statistisk sammenheng med hvor

bra eller dårlig skolene gjør det på osloprøven i digital kompetanse. Samtidig har prøveanalysene

vist at osloprøven på langt nær måler det som kjennetegner begrepet digital kompetanse, slik det

brukes av forskere innenfor feltet. Prøvens reliabilitet er målt til å være høy, men med flere

problematiske spørsmål er det grunn til å sette spørsmålstegn ved hva resultatene forteller. Å

bruke prøven til å konkludere i den ene eller andre retningen om elevenes digitale kompetanse

vil ha en lav grad av validitet. På sett og vis tilsidesetter prøven validitet fremfor reliabilitet.

Det å kunne bruke digitale verktøy slik det er omtalt i Kunnskapsløftet og digital kompetanse er

ikke likestilte begreper. Det å kunne bruke digitale verktøy er en liten del av det store lerretet

digital kompetanse. IKT kan være et svært nyttig verktøy i skolen, og utenfor skolen er

samfunnet allerede for lengst digitalisert. Det å gi elevene et godt grunnlag med ferdigheter,

kunnskaper og holdninger ved bruk av digitale medier for mestring i det lærende samfunn ser jeg

på som en viktig oppgave i skolen. Men å redusere denne oppgaven til noen få målbare variabler

i en summativ, automatisk rettet prøve er å forenkle, og nærmest fordumme, det

samfunnsoppdraget skolen har.

Skolen har allerede svært mange prøver å forholde seg til, spesielt i Oslo, og jeg mener det er på

tide å spørre om det er nødvendig med en prøve i digital kompetanse når den ikke gir et godt

bilde av digital kompetanse, men ligger tett opp mot det leseprøvene uansett forteller. Det er

grunn til å bekymre seg for det Lars Holm omtaler som washback-effekten. Standardiserte prøver

og rangeringer presser frem et krav om resultater, og lærere bruker uten tvil også mye tid for å

øve til denne prøven. En obligatorisk prøve, arrangert av Utdanningsetaten på alle skoler i Oslo,

vil også i kraft av sin status og omfang kunne ha en definerende effekt på hva som blir ansett

som digital kompetanse, blant ledelse, lærere, foreldre og elever. Det vil si, det er en fare for at

prøvens snevre innhold til slutt blir forstått og omtalt som digital kompetanse. Det vil være en

kraftig nedgradering av hva begrepet faktisk handler om


101

Som student på master i IKT-støttet læring er jeg selvsagt opptatt av at IKT skal få sin rolle i

skolen, men det må skje på en måte som fremmer entusiasme, læringsglede og kreativitet.

Osloprøven ble innført som en erstatning for egenrapportering fra skolene, fordi det ikke var

reliabelt nok. Men hva om vi ser bort i fra reliabilitet og målbare kunnskaper et øyeblikk, og

gjeninnfører egenrapporteringer som samler metoder og erfaringer og deler dette mellom

skolene. Det å bruke IKT som en integrert del av undervisningen er ikke noe som skjer

automatisk. Det krever idéer, planlegging og tid. Men rundt omkring på skolene finnes det

allerede lærere med spennende og engasjerende undervisningsopplegg som tar i bruk IKT på nye

og lærerike måter. Å samle denne kunnskapen, dele den og samtidig øke bevisstheten rundt hva

digital kompetanse er ville være langt mer nyttig enn det å forsøke å tallfeste og måle begrepet.

Digital kompetanse er for viktig til å bare la det bli nok en statistisk rangeringskonkurranse.


102

10. Litteratur

Anderson, P. & Morgan, G. (2008). Developing Tests and Questionnaires for a National Assessment of

Educational Achievement: World Bank.

Angel, D. & Gascoyne, T. (2001). Scholar slams testing myths. Newsreview. Hentet fra

http://www.newsreview.com/reno/briefly/content?oid=7217.

Baltzersen, R. K. (2007). IKT - mirakelkultur eller tynn suppe?: En kritisk analyse av sentrale

teknologibegreper innenfor skolefeltet. Høgskolen i Østfold Rapport 2007:9

Betcher, C. & Lee, M. (2009). The Interactive Whiteboard Revolution: Teaching With Iwbs: Acer Press.

Bjarnø, V., Øgrim, L., Giæver, T. H. & Johannesen, M. (2008). Didiktikk : digital kompetanse i praktisk

undervisning. Bergen: Fagbokforl.

Black, P. & Wiliam, D. (2001). Inside the Black Box: Raising Standards Through Classroom

Assessment: nferNelson.

Davis, B. C. & Shade, D. D. (1994). Integrate, Don't Isolate! Computers in the Early Childhood

Curriculum. ERIC Digest.: Urbana, IL: ERIC Clearinghouse on Elementary and Early Childhood

Education.

Dregelid, S. (2007). Slakter osloprøve. Aftenposten. Hentet fra http://www.aftenposten.no/oslo/Slakter-

Osloprove-6492973.html#.T4xfmuiol2B.

Elstad, E. (2009). Schools which are named, shamed and blamed by the media: school accountability in

Norway. Educational Assessment, Evaluation and Accountability, 21(2), 173-189.

Erstad, O. (2005). Digital kompetanse i skolen : en innføring: Universitetsforlaget.

Erstad, O. (2007). Den femte grunnleggende ferdighet - noen grunnlagsproblemer. Norsk Pedagogisk

Tidsskrift, 43, 43-55.

Fantoft, S. (2004, 07.12.2004). Norske elever på bråketoppen. Dagbladet.

Field, A. (2010). Discovering Statistics Using SPSS, 3rd edition: SAGE.

Field, A. & Miles, J. (2005). Discovering Statistics Using SPSS, 2nd edition: SAGE.

Gilster, P. (1997). Digital Literacy. New York: Wiley.

Grenness, T. (2001). Innføring i vitenskapsteori og metode. Oslo: Universitetsforl.

Haladyna, T. M. (2004). Developing and Validating Multiple-Choice Test Items: Lawrence Erlbaum


103

Associates.

Hatlevik, O. (2010). Case Study: Norway - Assessing Digital Competence in Primary Schools.

European Schoolnet.

Hatlevik, O. & Arnseth, H. C. (2009a). Vurdering av digital kompetanse – kartlegging av digital

kompetanse ved bruk av flervalgsoppgaver. Hentet 10.02 2012 fra

http://www.itu.no/Vurdering+av+digital+kompetanse+%E2%80%93+kartlegging+av+digital+ko

mpetanse+ved+bruk+av+flervalgsoppgaver.9UFRnQ3O.ips

Hatlevik, O. E. (2009b). Oversikt over datagrunnlaget for analysene i ITU Monitor 2009. ITU /

Universitetet i Oslo.

Hoepfl, M. C. (1994). Developing and Evaluating Multiple Choice Tests. The Technology

Teacher(April), 24-25.

Holm, L. (2009). Who evaluates the evaluation? - An analysis of computer-adaptive testing using

literacy as an example. Nordic Studies in Education(1), 137-148.

Hustad, J. (2004, 07.12.2004). Nedover og nedover. Klassekampen.

ITU. (2007). Osloprøve i Digital Kompetanse. Hentet 10.02 2012 fra

http://www.ituarkiv.no/Prosjekter/1160124336.28.html

Jakobsen, A. & Lauvås, P. (2001). Eksamen - eller hvad? : Samfundslitteratur 2001.

Johannessen, A., Tufte, P. A. & Kristoffersen, L. (2010). Introduksjon til samfunnsvitenskapelig metode.

Oslo: Abstrakt.

Kluge, L. & Engh, C. (2004). Typisk norsk å være dårlig. Aftenposten. Hentet fra

http://www.aftenposten.no/meninger/kommentarer/Typisk-norsk-a-vare-darlig-

6328653.html#.T4qKOemompo.

Koeheler, M. (2011). TPACK. Hentet 14.02 2012 fra

http://mkoehler.educ.msu.edu/tpack/files/2011/05/tpack.jpg

Kunnskapsdepartementet. (2004). Stortingsmelding nr. 30: Kultur for læring. Hentet 13.02 2012 fra

http://www.regjeringen.no/nb/dep/kd/dok/regpubl/stmeld/20032004/stmeld-nr-030-2003-2004-

/4/6/7.html?id=404474

Kunnskapsdepartementet. (2010). NOU 2010: 8 Med forskertrang og lekelyst. Hentet 13.02 2012 fra

http://www.regjeringen.no/nb/dep/kd/dok/nouer/2010/nou-2010-8/5/2.html?id=616156

Kvalitetsportalen. (2011). Nøkkeltall. Hentet 10.02 2012 fra


104

http://www.kp.osloskolen.no/kvalitetsportalen?id=14

Lien, T. (2005, 11.01.2005). Mer skole for pengene. Bladet Tromsø.

Lindvig, Y., Lervåg, A., Wærness, J. I., Berthinussen, S. & Morandé, F. (2002). Dybdevurdering i

Osloskolen 2002. Hvor godt leser elevene? Skoleetaten i Oslo og LÆRINGSlaben.

Marsdal, M. E. (2011). Kunnskapsbløffen: Forlaget Manifest.

Marzano, R. J., Supervision, A. f. & Development, C. (2006). Classroom assessment & grading that

work: Association for Supervision and Curriculum Development.

McCrummen, S. (2010). Some educators question if whiteboards, other high-tech tools raise

achievement. Washington Post. Hentet fra http://www.washingtonpost.com/wp-

dyn/content/article/2010/06/10/AR2010061005522.html.

Mcmillian, J. H. (2001). Classroom Assessment (2. utg.): Allyn and Bacon.

Miles, M. B. & Huberman, A. M. (1999). Qualitative data analysis: Sage Publ.

Morris, E. (u.å). Sampling from Small Populations. Hentet 28.03.2012 fra

http://uregina.ca/~morrisev/Sociology/Sampling%20from%20small%20populations.htm

Nikolaisen, P.-I. (2004, 14.12.2004). Typisk norsk å være selvgod og skolesvak. Dagsavisen.

Position Paper on Assessment for Learning. (2009). Third International Conference on Assessment for

Learning.

Ragin, C. C. (1994). Constructing social research: the unity and diversity of method: Pine Forge Press.

Rudner, L. & Schafer, W. (2002). What Teachers Need to Know About Assessment: Washington DC:

National Education Association.

Scriven, M. (1991). Evaluation thesaurus: Sage Publications.

Sjøberg, S. (2007). Internasjonale undersøkelser: Grunnlaget for norsk utdanningspolitikk?

Skaar, S. (2011). Lærerne mister troen på nasjonale prøver. Hentet 09.03 2012 fra

http://www.utdanningsforbundet.no/Hovedmeny/Grunnskole/Fag-og-utdanning/Andre-

artikler/Larerne-mister-troen-pa-nasjonale-prover/

Smith, K. (2009). Vurdering - en kompleks aktivitet. Bedre Skole(3).

SNL.no - Store Norske Leksikon (2012). Hawthorne-effekt. Hentet 29.04.2012 fra

http://snl.no/Hawthorne-effekt

Tyner, K. R. (1998). Literacy in a Digital World: Teaching and Learning in the Age of Information: L.

Erlbaum Associates.


105

Utdanningsdirektoratet. (2006). Grunnleggende ferdigheter for grunnskolen. Hentet 09.02 2012 fra

http://www.udir.no/Lareplaner/Grep/Modul/?gmid=2&v=5

Utdanningsdirektoratet. (2012). Fag og læreplaner. Hentet 16.04.2012 fra

http://www.udir.no/Lareplaner/Grep/

Utdanningsetaten. (2009). InnsIKT. Hentet 10.02 2012 fra

http://www.utdanningsetaten.oslo.kommune.no/satsingsomrader/ikt/innsikt/

Utdanningsetaten. (2011a). Rapport om resultater fra prøve i digital kompetanse.

Utdanningsetaten. (2011b). Eksempeloppgaver fra osloprøven i digital kompetanse for 4.trinn. Hentet

27.03.2012 fra

https://osloprover.no/udeUser?method=previewTest&contentItemId=5149541&marketplaceId=7

94593&languageId=1

Utdanningsetaten. (2011c). Eksempeloppgaver på nasjonal prøve i regning for 4. trinn. Hentet

29.04.2012 fra https://pgsc.udir.no/kursweb/content?contentItemId=5811117

Zachariassen, E. (2012). Trege pc-er stopper dataundervisning. E24. Hentet fra http://e24.no/it/trege-pc-

er-stopper-dataundervisning/20174030.

Øgrim, L. (2010). Forelesning om digital kompetanse, 3. Desember 2010.

Østerud, S. (2009). Enter : veien mot en IKT-didaktikk. Oslo: Gyldendal akademisk.


106

11. Vedlegg Vedleggene følger i de kommende sidene, i denne rekkefølgen:

11.1 Følgetekst til spørreundersøkelsen og spørreundersøkelsen

11.2 Osloprøven

4/29/12 11:09 AMSpørreundersøkelse om tilgang til IKT-utstyr for 1-4. trinn

Page 1 of 7https://docs.google.com/spreadsheet/viewform?formkey=dEVKOUNvcm5wY1lnOGFIMHBCVXJGN1E6MQ#gid=0

Spørreundersøkelse om tilgang til IKT-utstyr for 1-4. trinnDenne undersøkelsen er et ledd i en masteroppgave av Håvar Eidslott ved Høgskolen i Oslo og Akershus - Seksjon for digital kompetanse. Masteroppgaven har Osloprøven i digital kompetanse som tema, og har som mål å se om det er en sammenheng mellom 1-4. trinns faktiske tilgang til IKT-utstyr og resultatene på Osloprøven.

Spørreskjemaet er sendt ut til IKT-ansvarlig ved alle barneskoler i Oslo. IKT-ansvarlig har god oversikt over tilgang og antallmaskiner, og er derfor best egnet til å svare på denne undersøkelsen.

Dataene som samles inn vil bli behandlet konfidensielt, og resultatet av analysen vil være anonymisert som avtalt i Håvar Eidslotts databehandleravtale med UDE.

Tusen takk for at du tar deg tid til å fylle ut undersøkelsen!

Spørsmål kan sendes til Håvar Eidslott på [email protected]*Må fylles ut

Skolekode og individuell kodeEposten som er sendt ut til IKT-ansvarlig inneholder både skolekode og en individuell kode. Bruk disse kodene i de to felteneunder.

Skolekode *(Eksempel: NOK)

Individuell kode *(Fire bokstaver som du finner i eposten angående denne undersøkelsen)

Elevantall og elevgrupper/klasser

Hvor mange elever er det på 1. trinn? *

Hvor mange klasser/grupper er elevene på 1. trinn delt inn i? *(Her menes permanente klasser eller grupper)

1 2 3 4 5 6 7 8 9




Hvor mange klasser/grupper er elevene på 2. trinn delt inn i? *(Permanente grupper, som 2A, 2B, osv)

1 2 3 4 5 6 7 8 9



1 2 3 4 5 6 7 8 9



1 2 3 4 5 6 7 8 9

Bærbare maskinerFørste del av undersøkelsen omhandler tilgang til bærbare datamaskiner.

Hvor mange bærbare maskiner er tilgjengelig på klasserommet/klasserommene for 1. trinn? *Fyll inn antall bærbare maskiner som er utplassert på klasserommene til 1. trinn. Ikke ta med maskiner som er tilgjengeligsom utlånsmaskiner. Besvar med 0 (null) om det ikke er bærbare maskiner utplassert på klasserommene.






Bærbare utlånsmaskiner

Hvor mange bærbare maskiner er tilgjengelig som utlånsmaskiner for elevene? *Fyll inn totalt antall bærbare maskiner som elevene fra 1-4. trinn kan låne med seg til klasserommet.

Stasjonære maskinerAndre del av undersøkelsen omhandler tilgang til stasjonære datamaskiner.

Hvor mange stasjonære maskiner er tilgjengelig på klasserommet/klasserommene for 1. trinn? *Fyll inn antall stasjonære maskiner som er utplassert på klasserommene til 1. trinn. Ikke ta med maskiner på datarom ellerlignende. Besvar med 0 (null) om det ikke er stasjonære maskiner utplassert på klasserommene.




DataromMed datarom menes rom dedikert for bruk av IKT, og som kan benyttes av hele klasser eller elevgrupper.



Om skolen ikke har dedikerte datarom, fyll inn boksene under med en X

Hvor mange datarom er tilgjengelig for 1. trinn? *Fyll inn antall dedikerte datarom som er tilgjengelig for 1. trinn. Besvar med null (0) om skolen har datarom som ikke ertilgjengelig for 1. trinn. Besvar med X om skolen ikke har dedikerte datarom.




Hvor mange timer i en normal uke tilbringer 1. trinn på et datarom? *Besvar med 0 (null) om 1. trinn ikke er på noe datarom i løpet av uka. Besvar med X om skolen ikke har dedikerte datarom.




Stasjonære maskiner tilgjengelig andre steder på skolen



Hvor mange stasjonære maskiner er tilgjengelig for 1-4. trinn andre steder på skolen? *Som i biblioteket, mediateket og lignende. Besvar med X om skolen ikke har maskiner andre steder på skolen tilgjengelig for1-4. trinn.

Alder på bærbare og stasjonære maskiner som er tilgjengelig for 1-4 trinnTredje del av undersøkelsen omhandler alderen på datamaskinene som er tilgjengelig for 1-4. trinn.

Hvor mange av maskinene som er tilgjengelig for 1-4. trinn ble kjøpt inn i løpet av de to siste skoleårene? *Skolårene 2009/10 og 2010/11. Om antallet er ukjent, besvar med X. Besvar med 0 (null) om ingen maskiner tilgjengelig for4. trinn ble kjøpt inn i løpet av de to siste åra.

Annet IKT-utstyrSiste del av undersøkelsen omhandler andre typer IKT-utstyr 1-4. trinn har tilgang til, eller er utstyrt med i klasserommet/klasserommene.

Hvilke av trinnene er utstyrt med prosjektor på et eller flere klasserom?Her kan du krysse av flere steder.

Trinn 1

Trinn 2

Trinn 3

Trinn 4

Hvilke trinn er utstyrt med interaktive tavler (som smartboard) på et eller flere klasserom?Her kan du krysse av flere steder.

Trinn 1

Trinn 2

Trinn 3

Trinn 4

Om skolen har digitale lesebrett (som iPad), hvor mange er tilgjengelig for 1-4 trinn? *Besvar med 0 om skolen har digitale lesebrett som ikke er tilgjengelig for 1-4. trinn. Besvar med X om skolen ikke har digitalelesebrett.

Hvilke trinn har tilgang på digitale lesebrett (som iPad)?Her kan du krysse av flere steder.



Trinn 1

Trinn 2

Trinn 3

Trinn 4

Hvilke trinn har tilgang på digitale fotoapparater?Her kan du krysse av flere steder.

Trinn 1

Trinn 2

Trinn 3

Trinn 4

Hvilke trinn har tilgang på digitale videokameraer?Her kan du krysse av flere steder.

Trinn 1

Trinn 2

Trinn 3

Trinn 4

Kommentarer og levering

Har du noe å tilføye kan du gjøre det her. Takk for at du deltok i undersøkelsen!

Send

Drevet av Google Dokumenter

Rapporter misbruk - Vilkår for bruk - Ytterligere vilkår

2VORSU¡YH�L�GLJLWDO�NRPSHWDQVH��WULQQ��'(/��2SSJDYH��

Trykk på cellen E7 iregnearket.

Korrekturutgave - Osloprøve i digital kompetanse 4.trinn 2011. DEL 1

1 av 14

2SSJDYH��

Hvilke celler i regnearketer markert?

Rød: (C5,5C)

Blå: (E12,12E)


2 av 14

2SSJDYH��

Hvor mange tenner har bjørnen?

Følg lenken til , og sett inn riktig svar i feltet nedenfor:

(24) tenner

2SSJDYH��

Finn punktet (4,4) Koordinatsystem.


3 av 14

2SSJDYH��

Lag en linje mellompunktene (1,1) og(5,5)

Koordinatsystem.

2SSJDYH��

Hvilken knapptrykker du på for åsette inn bilder?


4 av 14

2SSJDYH��

Sett riktig navn påPC-delene.

Dra riktig ord til riktigboks.

Bærbar PC

Stasjonær PC

Skriver

Mus

Skjerm

Tastatur

2SSJDYH��

Hva kalles orrhane?

Følg lenken til , og lim inn svaret i feltet nedenfor.

Orrhane kalles skogens (prins,pins,pirns)


5 av 14

2SSJDYH��

Hvilken dinosaur nedenfor har vinger?

Tips: Bruk for å finne svaret.

Argentinosaurus

Ornithoceirus

Giganotosaurus

Leaellynasaura

(Ornithoceirus)

2SSJDYH��

Hva var onsdagens temperatur på Blindern?

og les tabellen.

Lim inn svaret i feltet nedenfor.

(25)


6 av 14

2SSJDYH��

Du snakker med Anne og Leif på nettet. Kan du være sikker på at det virkeliger Anne og Leif du snakker med?

Ja, hvis de har et bilde å vise fram.Bare Anne fordi hun er et barn.Bare Leif fordi han er voksen.Nei, det går ikke an å vite det sikkert.

2SSJDYH��

Hvilken knapptrykker du for å få nylinje?


7 av 14

2SSJDYH��

Hvilken planet har 27 måner?

og les tabellen.

Skriv inn svaret under.

(Uranus)

2SSJDYH��

Hvor mange kvinner har Stella som eneste fornavn?

Tips: Bruk sitt nettsted til å søke.

(320) - (280)

2SSJDYH��

Hvor mange poeng fikk Norge i Melodi Grand Prix 2009?

Følg , og les tabellen

Skriv inn svaret i feltet under.

(390) - (384)

2SSJDYH��

Kan man endre størrelsen på et digitalt bilde?JaNei

Kan man endre fargene i et digitalt bilde?JaNei


8 av 14

2SSJDYH��

Er all informasjon på Internett riktig?JaNei

Er all informasjon på Wikipedia riktig?JaNei

Er det mulig å finne ut hva som er sant på Internett?JaNeiNoen ganger

2SSJDYH��

Hvilken av disse sidene er en typisk underholdningsside?Wikipedia (wikipedia.no.org)Regjeringen (regjeringen.no)Barbie (barbie.com)Stortinget (stortinget.no)

2SSJDYH��

Hvilken knapptrykker du på for ålaste opp en fil tilFronter?


9 av 14

2SSJDYH��

Det er ikke lov å komme med trusler på Internett.JaNei

Barn under 18 år kan komme med trusler på Internett.JaNei

2SSJDYH��

Trykk på denknappen som girpunktliste i en tekst


10 av 14

2SSJDYH��

Trykk på riktigknapp for å fåmidtstilt tekst

2SSJDYH��

Les teksten nedenfor om dinosaurer, og kopier inn navnet på en planteeter som kanbli nesten 100 tonn

Det er vanlig å skille mellom to typer dinosaurer: Planteetere og kjøttetere.

De største dinosaurene var planteetere. Som navnet tilsier, levde planteeterne påplanter, gress og lignende. Argentinosaurus var den største med en vekt på nesten100 tonn og en lengde på 35 meter. Andre planteetere er:

(Argentinosaurus)


11 av 14

2SSJDYH��

Hvilken knapptrykker du på for åendre skrifttype(font)?

2SSJDYH��

Kopier og lim inn ordene som er understreket i feltet nederst.

Additional Search Activities

The electronic database searches were supplemented with a review of articles citedin recent meta-analyses and narrative syntheses of research on distance learning,including those for teacher professional development and career technical education.The analysts examined references from these reviews to identify studies that mightmeet the criteria for inclusion in the present review.

(including those for teacher professional development and careertechnical )


12 av 14

2SSJDYH��

Les teksten nedenfor. Ta kopi og lim inn navnene på de to kjøttetende dinosaurene.

Det er vanlig å skille mellom to typer dinosaurer: Planteetere og kjøttetere.

Kjøtteterne både jaktet på andre dyr eller de spiste dyr som allerede var døde. Blantde meste kjente kjøtteterne er:

Giganotosaurus

Tyrannosaurus rex

(Giganotosaurus,Tyrannosaurus rex) (Tyrannosaurus rex,Giganotosaurus)

2SSJDYH��

Tegn trekant mellompunktene (5,2), (3,7)og (8,7)

Koordinatsystem.


13 av 14

2SSJDYH��

Finn nettadressen i teksten nedenfor. Lim den inn i det åpne feltet nedenfor.

Klimamysteriet

Spillets hovedspråk er engelsk, men det finnes også informasjon på engelsk.Klimamysteriet er gratis og tilgjengelig for alle. I 16 uker legges nye episoder ut påhttp://www.climatemystery.com

(http://www.climatemystery.com,www.climatemystery.com,climatemystery.com)

2SSJDYH��

Hvor mange ganger større er planeten Jupiter enn Jorda?

Tips: Bruk

(11.2)

2SSJDYH��

Hva er korteste kjøreavstand fra Holmlia skole (Oslo) til Svarttjern skole(Oslo)?

Vi har gjort søket for deg. Følg lenken , og finn korteste kjøreavstand. Sett inn antallkilometer (km) nedenfor.

(26.5) - (25.5) kilometer (km)


14 av 14

2VORSU¡YH�L�GLJLWDO�NRPSHWDQVH��WULQQ��'(/��2SSJDYH��

Hva må du skrive for å få en vanlig "smiley" (smileansikt)?

8-I:-):-P:-(

2SSJDYH��

Klikk på celle B12 iregnearket?


1 av 13

2SSJDYH��

Hvilken celle iregnearket er markert?

(D9,9D)


2 av 13

2SSJDYH��

Hvilken knapp må dutrykke på for å setteinn nytt lysbilde?

2SSJDYH��

Se hvor pilene peker.Dra 4 av ordene tilriktig boks.

Skrifttype Midtstill tekstSkriftstørrelseFet tekst


3 av 13

2SSJDYH��

Hva heter disseikonene iverktøylinjen iAudacity?

Dra riktig beskrivelsetil riktig ikon.

Gå til begynnelsen

Spill inn

Pause Gå til sluttenSpill av

Stopp

2SSJDYH��

Kopier overskriften fra teksten under, og lim den inn i det åpne feltet.

Klimamysteriet

Klimamysteriet er fortelling som engasjerer elever i forhold til miljø- ogklimaproblematikk.

Spillets hovedspråk var engelsk, Klimamysteriet var gratis og tilgjengelig for alle.

(Klimamysteriet)


4 av 13

2SSJDYH��

Hvilken knapptrykker du på for å fåFET skrift?

2SSJDYH��

Hva betyr dissebildene? Dra riktigbegrep til riktigbilde.

Skru av PC

Lukke programmer

Papirkurv

USB tilkobling

Mappe


5 av 13

2SSJDYH��

Er det lov å sende truende tekstmeldinger på mobiltelefon (flere svar kan væreriktige)?

Det er lov, men man burde ikke gjøre det.Det er ikke lov å komme med trusler.Det er ikke forbudt for barn under 18 år å komme med trusler.

2SSJDYH��

Du har mottatt en stygg melding på mobiltelefonen fra en ukjent. Hva bør dugjøre (flere svar kan være riktig):

Melde saken til politiet fordi dette er brudd på norsk lov.Sende meldingen til venner.Vise meldingen til foresatte og be om råd.

2SSJDYH��

Hva er det største rovdyret i Norge?

Tips: Bruk Internett for å finne svaret.

(Bjørn,Bjørnen,Skogsbjørn,brunbjørn,en bjørn)


6 av 13

2SSJDYH��

Les teksten nedenfor, og kopier inn navnet på flyveøglen som levde på fisk?

Dinosaurer

På samme tid som dinosaurene levde fantes det også store fiskeøgler og flyveøgler.Ornithocheirus var en flyveøgle som levde på fisk. Den kunne ha et vingespenn påover 3 meter. Ophthalmosaurus var en fiskeøgle med store øyne og en delfinlignendekropp.

(Ornithocheirus)

2SSJDYH��

Tegn en figur somdekker åtte ruter.

Koordinatsystem.

2SSJDYH��

Kan du legge ut bilder av vennene dine på Internett?Ja, dersom jeg har lyst.Hvis noen andre sier at det er ok.Bare hvis de har godkjent det selv.


7 av 13

2SSJDYH��

Hvor mange punkter er det i punktlista nedenfor?

Her er noen eksempler på dyr som bor i skogen:

• ulv• bjørn• rev• gaupe• hare• elg• hjort• ekorn

(8,åtte)

2SSJDYH��

Hva spiser ekornet?

Følg lenken til , og sett inn riktig svar i feltene nedenfor.

(frø,nøtter)

(nøtter,frø)


8 av 13

2SSJDYH��

Kan du stole på at dette er Per på 14 år?

Du kan alltid stole på de du møter på InternettDu kan alltid stole på gutter du møter på InternettDet kan hende han heter JensDu kan aldri vite hvem du møter på Internett

2SSJDYH��

Kan en presentasjon (f eks PowerPoint) inneholde tekst?JaNei

Kan en presentasjon (f eks PowerPoint) inneholde bilde?JaNei

Kan en presentasjon (f eks PowerPoint) inneholde både tekst og bilde?JaNei

2SSJDYH��

Dersom du får en stygg melding på mobiltelefonen bør du vise meldingen tilforesatte?

JaNei

Dersom du får en stygg melding på mobiltelefonen bør du sende den videre tilvenner

JaNei


9 av 13

2SSJDYH��

Hvilken planet har flest måner?

og les tabellen.

Skriv inn svaret i boksen under.

(Jupiter)

2SSJDYH��

Hvor mange KVINNER har Kim som eneste fornavn?

Tips: Bruk søkefeltet på for å finne svaret.

(60) - (50)

2SSJDYH��

Hvilket land fikk flest poeng i Melodi Grand Prix 2004?

og les tabell.

Skriv svaret under.

(Ukraina)

2SSJDYH��

Hva er e-postadressen til Newton på [email protected]@newton.nonewton#nrk.nonrk#[email protected]


10 av 13

2SSJDYH��

Finner du riktig dinosaur?

En av dinosaurene under levde i vann og lignet en delfin. Søk i , og lim inn svaret ifeltet nedenfor.

Ophthalmosaurus

Argentinosaurus

Coelophysis

Tyrannosaurus rex

(Ophthalmosaurus)

2SSJDYH��

Hvilken dinosaursuser den tyngste?

Trykk på navnet til dentyngste dinosaurusen.


11 av 13

2SSJDYH��

Du skal skrive mangesetninger med storebokstaver.

Hvilken knapp børdu velge før dubegynner å skrive?

2SSJDYH��

Hvilket år ble Hans Majestet Kong Harald V født?

Tips: Bruk Internett for å finne svaret.

(1937)

2SSJDYH��

Hvem gjelder Barnekonvensjonen for?

Følg lenken til og fyll inn riktig alder nedenfor.

Konvensjonen gjelder for alle barn under (18) år


12 av 13

2SSJDYH��

Hva er korteste kjøreavstand mellom Vikingskiphuset på Huk og Stovnersenter? Sett inn antall km.

Tips: Bruk

(24) - (18) km


13 av 13

Masteroppgave - IKT-støttet læring

Documents

planteetere

lpet av de

kopier og

spredningsplott

spredningsplottosloprvennasjonalprve

gutter du

kopier og

de du mter