Kognition, design och utvärdering Kognition • där inne • där ute • distribuerad Perception • teori • praktik
Jan 02, 2016
Kognition, design och utvärdering
Kognition• där inne
• där ute
• distribuerad
Perception• teori
• praktik
Minne• teori
• praktik
Lärande• teorier om lärande/pedagogik
• anpassande av teorier
Epistemologiska skiften i lärande
dekontextualiserad kontextualiserad
abstrakt kunskap praxis
expertis som fakta praxis i en viss domän
mål förväntningar
uppgifter och problem aktiviteter och användande
individuellt socialt
• konsekvenser för design- och utvärdering av lärandemiljöer?
Pedagogiska ansatser för undervisning– problembaserat lärande
– exempelbaserat lärande
– ”anchored” instruction
– kognitivt lärlingsskap
– etc…..
• konsekvenser för design- och utvärdering av lärandemiljöer?
Metodproblem– kvantitativa- och/eller kvalitativa metoder?
– objektivitet/subjektivitet?
– process/resultat?
– vilka parametrar ska man mäta?
– krav för att säga att ngn lärt sig?
– vilka slutsatser kan man dra?
– vilken status har slutsatserna?
Frågor– är det viktigt att vara teoretiskt stringent?
– bör man fokusera på renodlade aspekter eller helhet?
– vilka faktorer variabler bör man fokusera på?
» lära/förstå mer/bättre/djupare vad betyder det?
» vilken vikt skall faktorer som motivation, engagemang tillmätas?
– ska ett IT-baserat verktyg för lärande tillföra ngt som traditionell undervisning inte kan ge,….om så,….vad?
Metodologiska aspekter - vad mäter vi?
Syfte/typ av uppgift:
• minnas
• förstå
• förklara
• använda
Bla, bla,bla,bla,bla.. Bla,bla,bla,bla,bla..
• Representera text
• Organisera text
• Tolka
• Transformera
Ansträngning Resultat
Ett verktyg för att lära sig programmera
Navigationskarta överrummen
Öppnar faddern
Öppnar kalendern
Presentation av aktuelllön och provision
Stänger av ljudet isysmtemet
Avslutar systemet
Välkomsttavlan
Intro - Vad är programmering?Intro - Om pedagogikenIntro - Om företaget
Meddelanderuta
Delproblem för aktuellt uppdrag Beskrivning/pseudokod för markerat delproblem
Datorn medprogramkod
Knappar för att spara, kompilera och exekvera
Markeratdelproblem
Tar bort markeratdelproblem
Lägger till nyttdelproblem på nivå
under markeratdelproblem
Interaktivwhiteboard
Expertens whiteboard Expertens dator
Text och bild somkompletterar ljudet
Animationens tidslinje
Knappar för attkompilera och exekveraexpertens kod
Enheter i animationen
Vaktmästarens fråga
Faddernssvar
Visar eller döljer fadderns svar
Användarenssvar
Sparar svaretStängerfönstret
Bokhyllan med böcker
Text som beskriverett koncept. Texten
kompletteras av ljud.
Animation somkompletterar texten
Stänger faddern
Faddern talar omvilket rum och
uppdrag hon troranvändaren
arbetar med.
Innehållsförteckningöver den hjälp
faddern kan ge.
Faddern färgkodasefter vilket rum
användaren befinnersig i.
Frågor till användaren. Användarenväljer det alternativ som passarbäst och får svar på den frågan.
Lista över uppdrag
Markerat uppdragäven aktuellt uppdrag
i arbetsrummet
Beskrivning avmarkeratuppdrag
Uppdragsfliken
Användarens status
Här byter användarennivå
Kontraktfliken
Verktyg för lärande av konceptuell modellering
Fig. 1: The Pattern library Fig. 2: Expert track Fig. 3: The assistant
”Spårverktyget”
Ett ”expertspår”
Utvärdering på temat lärande
Pedagogisk komplexitet kräver utvärdering• lektion
• demonstration
• lab, simulering etc……..
• pedagogik och anpassning av pedagogik
• lärande (repetera, använda….)
Teknologisk komplexitet kräver utvärdering• www, text, grafik, audio, video, VR, plug-ins...
Komplexitet i utveckling kräver utvärdering• dåligt innehåll
• dåligt gränssnitt
• fel media
• urusel pedagogik
Ökade krav på resultat kräver utvärdering• pengar
• större effektivitet
Kvantitativ ansats• det finns objektiva fakta skilt från våra
föreställningar
• målet med utvärdering är att upptäcka orsaker till förändringar hos fenomen genom mätning och kvantitativ analys
• experimentella ansatser är bäst eftersom de reducerar felkällor
• objektivitet är idealet
Kvalitativ ansats• verkligheten är socialt konstruerad
• målet med utvärdering är att tolka fenomen med hjälp av flera perspektiv
• etnografiska ansatser med observation är bäst eftersom de tillhandahåller en grund för flera tolkningar
• att gå på djupet är idealet
Post-modern ansats• verkligheten är individuellt konstruerad baserad på
erfarenhet, kön, kultur, etc…
• målet med utvärdering är att förbättra omständigheter och status för minoriteter
• kritisk teori används för att bena upp fenomen för att blottlägga gömda planer
• politiskt engagemang är idealet
Pragmatisk ansats• verkligheten är komplex och vissa fenomen är
kaotiska och oförutsägbara
• målet med utvärdering är helt enkelt att göra saker bättre
• metoder bör väljas mot bakgrund av dessas potential att förbättra kvalitet
• undran och skepticism är idealet
Kriterier för utvärdering
• Lärande
• Upplevelse (motivation, engagemang, etc..)
• Ekonomi
• Säkerhet
• Flexibilitet
• Effektivitet
Grundläggande frågor för utvärdering
Vad hände?
Hur kan det förbättras?
Uppnåddes målen/avsikterna?
Vilken effekt uppnåddes?
Att utföra utvärderingar
Steg 1• klargör vilka beslut som måste fattas
– adoptera teorier/ansatser/principer
– utveckla teorier/ansatser/principer
– förbättra teorier/ansatser/principer
– släng ut teorier/ansatser/principer
– reallokera resurser
– etc….
Steg 2• klargör vilka frågor som måste ställas för att vägleda
beslutsfattandet– hur fungerade navigeringen?
– hur fungerade färgvalet?
– hur kan gränssnittet förbättras?
– vad lärde man sig?
– vilka färdigheter följde med till den skarpa situationen
– etc…...
Steg 3• välj metoder för utvärdering
– observationer
– intervjuer
– frågeformulär
– loggning
– expertpanel
– försöksgrupp
– etc……
Steg 4• samla in och tolka data
– analysera data som samlats in med valda metoder
» jämför data -- olika perspektiv
– revidera datainsamlingsstrategier om det behövs
» det går inte att förutse allt!
– Acceptera begränsningar men sikta mot kvalitet
Steg 5• dokumentera och rapportera resultaten
– rapportera tidigt och ofta
– input från olika håll
– insatser kan göra på ett tidigare stadie
• använd flera format– nå ut till många
• engagera individer på olika poster– olika perspektiv
• dölj inte komplexitet– lyft fram och analysera för fortsatt arbete
Tre strategier1) Användbarhetstest
2) Expert-panel
3) Checklistor och skattningsformulär
1) Användbarhetstest– går det lätt att lära?
– går det fort och lätt att utföra saker?
– görs det få fel?
– vad är den subjektiva upplevelsen?
– återkommer användare över tid?
En tänka på/göra lista– välj metoder
– skapa ett formulär som definierar uppgifter för testgrupp och tidsbegräsningar
– välj testgrupp som motsvarar tänkta användare
– gör testgruppen bekant med situationen
– gå igenom formuläret
– ge testgruppen tid att bekanta sig med utrustningen och den process som valts för att dokumentera prestationen
– testgruppen bör utföra uppgifterna enligt formuläret
– dokumentera interaktionen, video, anteckningar, log.
– stäm av med testgruppen, intervju direkt efter
– låt testgruppen kommentera fritt, idéer och åsikter
– analysera och rapportera data
2) Expert-panel– ”Innehållsexperter”
– Pedagogiska experter
– Gränssnittsexperter
– Teknik experter
– etc….
----> även experter behöver vägledning för att kunna ge den information du behöver/är intresserad av
3) Checklistor och skattningsformulär– kriterier för grafiska gränssnitt
» Estetik, tilltalande/icke tilltalande
» Navigering, svårt/lätt
» Kognitiv belastning, ohanterlig/hanterlig
» etc…
– design element
» Interaktivitet
» Feedback
» etc…
– precision och tillförlitlighet
» syfte
» innehåll, (korrekt/icke korrekt, design faktorer)
» har rätt fokus antagits?