Scripting van peerreview in een leerpraktijk in de ... · Scripting van peerreview in een leerpraktijk in de opleiding Communicatie ... vier docenten en twee onderzoekers TLT. Kwantitatieve
Post on 13-Jul-2020
0 Views
Preview:
Transcript
Scripting van peerreview in een leerpraktijk in de opleiding Communicatie
Rapportage over test en evaluatie van een herontwerp van het project ‘De Communicatiecyclus’ op locaties Diemen/Den Haag/ Rotterdam
Korte versie
Teaching, Learning & Technology Bob Götte
Pieter Swager Jos Fransen
Met medewerking van:
Jeroen Bottema
Definitief 03/2017
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
2
Inhoud
Samenvatting 2
1. Inleiding 3
2. Methode 4
3. Resultaten 6
4. Conclusies en aanbevelingen 11
5. Referenties 15
Bijlage → Schematische weergave van het peerreview scenario 16
Samenvatting
Een behoefte aan activerende didactiek in de opleiding Communicatie leidde tot de ontwikkeling van een eerste
prototype van een didactische strategie in de vorm van een script voor de inzet van peerreview in het project ‘De
Communicatiecyclus’. In een ontwerpgericht onderzoek werd dit prototype verfijnd en getest in de praktijk op de
locaties van deze opleiding. Daarbij waren acht docenten en ongeveer zestig docenten betrokken die op van een
vragenlijst, logboek en focusgroepen werden gevraagd inzicht te geven in procesgang, ervaren bruikbaarheid en
ervaren effectiviteit. Belangrijkste conclusies zijn dat het script een bijdrage levert aan activering van de student,
maar dat een verhoging van de kwaliteit van de leeruitkomsten van de gegeven leerpraktijk alleen verwacht kan
worden als een aantal verbeteringen wordt doorgevoerd die de bruikbaarheid van het script verhogen.
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
3
1. Inleiding
1.1 Aanleiding
De opleiding Communicatie wordt met ingang van studiejaar 2015-2016 didactisch verder ontwikkeld. De noodzaak
hiervan ligt in de ervaringen met de huidige studentpopulatie. Het nieuwe curriculum van de opleiding gaat uit van
activerende didactiek opdat studenten worden gestimuleerd meer betrokken te raken bij en meer regie te nemen
over hun eigen leerproces. Dit vraagt een didactisch herontwerp van curriculumonderdelen. Feedback en de inzet
van peerreview zijn belangrijke instrumenten in een didactische aanpak, omdat het effect hiervan op leerprocessen
groot kan zijn, mits de feedback kwalitatief goed is en de inzet van peerreview adequaat wordt georganiseerd. De
opleiding wordt aangeboden op de locaties Diemen, Den Haag en Rotterdam.
1.2 Probleemanalyse en visie
Het opleiden van communicatieprofessionals van de toekomst vereist een andere didactiek. In de uitvoering van
het huidige curriculum is de didactiek nog onvoldoende gericht op de activering van de student tot participatie in
leeractiviteiten en op de ontwikkeling van zijn zelfsturend vermogen. Activerende didactiek impliceert een scenario
(script) voor het leerproces in een leerpraktijk. Vanaf het derde jaar worden de projecten hiertoe georganiseerd
rondom communities of learners, waarin peerreview een belangrijke leeractiviteit is in het kader van activerende
didactiek. In de teams is inhoudelijke expertise op het terrein van de leerinhouden ruimschoots vertegenwoordigd,
maar docenten verschillen met betrekking tot didactische expertise en onderwijsvisie. Daarom is gekozen om
docenten te laten samenwerken in de begeleiding van de studenten die praktijkgericht onderzoek uitvoeren.
Feedback is cruciaal voor het sturen van een leerproces en voor het realiseren van de gewenste leeropbrengsten,
maar de feedback moet kwalitatief goed zijn en in de juiste vorm en op het juiste moment worden gegeven, en de
student moet in staat zijn die feedback te benutten. Daarnaast is het belangrijk dat de student impliciete feedback
krijgt op het handelen vanuit de leeromgeving en dat vereist een herontwerp van de leeromgeving. Ten slotte kan
de beredeneerde inzet van peerreview bijdragen aan cohesie binnen een community of learners, aan de kwaliteit
van de leeropbrengst en aan de actieve participatie van de student in het leerproces. Daarbij is voorwaarde dat dit
instrument op het juiste moment en in de juiste mate wordt ingezet en adequaat wordt ondersteund, passend bij
de ontwikkeling van de student en de leerpraktijk. Technologie kan in het proces van peerreview een meerwaarde
hebben in het kader van de organisatie en de inhoudelijke kwaliteit van peerreview, en de efficiënte benutting van
contacttijd. Een uitgebreide theoretische verkenning met betrekking tot feedback en de inzet van peerreview is te
vinden op de website van het lectoraat Teaching, Learning & Technology (www.inholland.nl/tlt).
In een ontwerponderzoek (Götte, 2015) werd een script ontwikkeld voor peerreview dat nog getest moet worden
in de praktijk. Op basis daarvan kan het worden doorontwikkeld om te worden benut op de andere locaties waar
de opleiding Communicatie wordt aangeboden. De verwachting is dat het leerproces van studenten kan worden
geoptimaliseerd op basis van de uitvoering van dat script, met als beoogd effect dat het vereiste niveau sneller
wordt bereikt.
1.3 Onderwerp, doel en vraagstelling
Het object van onderzoek betreft de inzet van feedback binnen leerpraktijken. Het gaat hierbij om de inzet van
peerfeedback en feedback van de docent (hierna: expertfeedback), en de wijze waarop de digitale leeromgeving
(Moodle) het proces van peer- en expertreview kan ondersteunen. Het resultaat van de activiteiten wordt in dit
onderzoek benoemd als peerfeedback en expertfeedback; het proces van feedback geven wordt beschreven als
peerreview en expertreview. Doel van het onderzoek is het in samenwerking met betrokken pioniers en docenten
testen van een concrete uitwerking van een didactisch concept voor een specifiek curriculumonderdeel, waarbij
peerreview en expertreview effectief worden ingezet ter ondersteuning van het leerproces van de student. Het
onderzoek richt zich op het project ‘De Communicatiecyclus’, dat in de derde periode van het derde jaar van de
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
4
voltijdse opleiding Communicatie van de locaties Diemen, Den Haag en Rotterdam wordt uitgevoerd. Het is een
oefening voorafgaand aan de afstudeerfase en kan fungeren als exemplarische aanpak voor de ontwikkeling van
andere curriculumonderdelen. De leerpraktijk omvat een individuele opdracht waarbij op basis van een door de
student zelf verworven praktijkopdracht op systematische wijze naar een communicatieoplossing moet worden
gezocht. Hierbij voert de student een probleemverkenning uit, levert een onderzoek en een oplossingskader op, en
werkt op basis van de uitkomsten een implementatieplan uit. De opdracht neemt een onderwijssemester in beslag.
De vraag in deze studie luidt: Hoe ziet het didactisch ontwerp van het project ‘De Communicatiecyclus’ in jaar 3 van
de opleiding Communicatie eruit waarin feedback van de docent en inzet van peerreview bijdragen aan de kwaliteit
van de leeropbrengst in de perceptie van betrokkenen, en waarbij docenten zich eigenaar voelen van het ontwerp
en zich in staat achten de uitvoering conform het ontwerp te realiseren?
Het lectoraat Teaching, Learning & Technology is nauw betrokken bij dit onderzoek, waarbij gewerkt wordt met de
pionier in een team, die met enkele collega’s uit dat team een herontwerp van een gegeven leerpraktijk ontwikkeld
en test in de praktijk.
1.4 Relevantie, reikwijdte en afbakening
Het betreft een contextspecifiek herontwerp en dat impliceert dat het herontwerp aansluit bij randvoorwaarden
die gelden in de gegeven context en bij de visie op didactiek. Daarmee is het ontwerp niet onverkort te vertalen
naar andere opleidingen, maar kan wel als inspiratie dienen. Het onderzoek richtte zich op een eerste iteratie van
het prototype, het script is daarom als try-out door een selectie van de docenten in de reguliere praktijksituatie
gebruikt. Bij het onderzoek waren acht docenten en ongeveer 60 studenten betrokken, verdeeld over de locaties
Den Haag, Rotterdam en Diemen (respectievelijk drie kringen één kring en twee kringen).
1.5 Randvoorwaarden, beperkingen en uitgangspunten
Randvoorwaarde was dat het herontwerp past bij de didactische uitgangspunten van de opleiding Communicatie
en uitvoerbaar is binnen de gegeven condities van beschikbare capaciteit en middelen. Daarbij moest rekening
worden gehouden met mogelijke beperkingen die gelden ten aanzien van organiseerbaarheid als gevolg van de
regelgeving op hogeschoolniveau met betrekking tot de organisatie en planning van het onderwijs.
2. Methode
2.1 Typering van het onderzoek
De aanpak kan worden getypeerd als ontwerpgericht onderzoek dat resulteert in een contextspecifiek herontwerp
en kennis over de werking van dat ontwerp in de gegeven praktijk. In de prototypingfase wordt dat ontwerp getest
en geëvalueerd op consistentie en op ervaren bruikbaarheid en effectiviteit, waarbij één iteratie werd doorlopen.
Het betrof een formatieve evaluatie waarbij vooral de procesgang in de uitvoering werd bekeken, omdat dit veel
zegt over de consistentie en bruikbaarheid van het ontwerp (Nieveen, Folmer & Vliegen, 2012).
2.2 Participanten en instrumentatie
De participanten zijn primair de betrokken pionier, docent[en] en studenten Communicatie. De instrumentatie is
gebaseerd op de volgende onderzoeksvragen:
Vooronderzoeksfase
Wat kan uit de theorie worden afgeleid met betrekking tot het scripten van peerreview en expertreview?
(literatuuronderzoek)
Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren?
(ontwerpsessies)
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
5
Ontwerpfase
Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase? (ontwerpsessies)
Evaluatiefase
Is het ontwerp uitgevoerd conform ontwerp? (interview, focusgroep, vragenlijsten studenten en docenten en
logboek docenten)?
Wat is de ervaren bruikbaarheid en ervaren effectiviteit van het herontwerp in de perceptie van docenten en
studenten (interview, focusgroep, vragenlijsten studenten en docenten en logboek docenten)?
Welke verbeteringen kunnen volgens betrokkenen in het ontwerp worden doorgevoerd? (interview,
focusgroep, vragenlijsten studenten en docenten en logboek docenten)?
Vragenlijsten
Vragenlijsten zijn ingezet bij de evaluatie van de werking van het prototype in de praktijk. Ze omvatten stellingen,
gesloten vragen en enkele open vragen. De vragenlijsten zijn samengesteld op basis van de thema’s die werden
afgeleid uit de theorie over activerende didactiek en over de beredeneerde inzet van technologie in leerpraktijken.
Daarnaast bevatten de vragenlijsten vragen gerelateerd aan de ervaren bruikbaarheid en ervaren effectiviteit van
het specifieke ontwerp en gerelateerd aan de specifieke context waarin het ontwerp moet functioneren.
Focusgroep
Een focusgroep is ingezet bij de evaluatie van de uitgevoerde leerpraktijk met pionier en docenten Communicatie
(Diemen en Rotterdam). De onderwerpen op de agenda zijn afgeleid van het theoretisch kader met betrekking tot
activerende didactiek en de inzet van technologie, aangevuld met de bespreekpunten gerelateerd aan kenmerken
van ontwerp en context. Daarnaast zijn de meest opvallende resultaten uit de vragenlijsten besproken.
Logboek
Ten behoeve van het registreren van de ervaringen bij de uitvoering door de pioniers/docenten is gebruik gemaakt
van een logboek binnen een digitale applicatie. In totaal hebben twee pioniers/docenten gebruikt gemaakt van de
mogelijkheden hun ervaringen op te tekenen.
Alle instrumenten zijn te vinden in bijlagen bij de uitgebreide rapportage en online bij: www.inholland.nl/tlt
2.3 Procedures voor dataverzameling en aanpak data-analyse
Vragenlijsten en logboek zijn opgesteld in Google Forms en door middel van hyperlinks ontsloten. De vragenlijsten
voor de studenten en docenten zijn online afgenomen aan het eind van de uitgevoerde leerpraktijk. De focusgroep
vond plaats na verwerking van de data van de vragenlijsten voor de studenten en docenten. De sessie duurde vijf
kwartier en is opgenomen met audioapparatuur. Van deze sessie is een samenvattend verslag gemaakt dat voor
membercheck is aangeboden aan betrokkenen. Vijf personen participeerden in de focusgroep: één pionier/docent,
vier docenten en twee onderzoekers TLT. Kwantitatieve data van gesloten vragen en stellingen uit de vragenlijsten
zijn bewerkt en geanalyseerd, waarbij primair frequenties en spreiding zijn gerapporteerd. Alle kwalitatieve data
(focusgroep/interview/logboek) zijn gecodeerd op basis van uit de theorie afgeleide aspecten en gerubriceerd naar
uit ontwerpspecificaties afgeleide rubrieken.
2.4 Validiteit en betrouwbaarheid
De validiteit werd in dit onderzoek versterkt door de theoretische inbedding van het onderzoek, door triangulatie
van methoden en onderzoekers, en door representatieve selectie van respondenten. Verder werden bedreigingen
van validiteit en betrouwbaarheid gereduceerd door vastleggen focusgroep en interview op geluidsdragers en door
‘member check’. Het vastleggen van keuzes, inclusief de onderliggende argumentatie, alsmede het documenteren
van de procesgang van het onderzoek, droeg in dit onderzoek bij aan de navolgbaarheid en de transparantie. Bij de
opzet en uitvoering van het onderzoek is de Gedragscode Praktijkgericht Onderzoek voor het hbo leidraad geweest
(Commissie Gedragscode Praktijkgericht onderzoek in het hbo, 2010).
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
6
3. Resultaten
3.1 Vooronderzoeksfase
→ Wat kan uit de theorie worden afgeleid met betrekking tot het scripten van peerreview en expertreview?
Peerreview wordt hier gedefinieerd als leeractiviteit, waarbij studenten het werk van medestudenten voorzien van
formatieve feedback, met als doel het leerproces wederzijds te ondersteunen (Götte, 2015) en sluit aan bij doelen
als zelfsturend, activerend en collaboratief leren (Van Zundert, Sluijsmans, & Merriënboer, 2010). Peerreview kan
leerprocessen versterken (Rieber, 2006; Topping, 1998) tenzij het proces gebrekkig wordt georganiseerd (Falchikov,
2005; Nilson, 2003; Rompa & Romme, 2001). De toegevoegde waarde van peerreview wordt beïnvloed door hoe
het wordt ingezet en de mate waarin valkuilen en problemen worden vermeden (Hattie & Timperley, 2007; Nilson,
2003; Shute, 2008). De impact van feedback op leerprocessen is inmiddels in onderzoek aangetoond (Hattie, 2009;
Shute, 2008). Een strategie om het effect van feedback op het leerproces te verhogen, is het direct betrekken van
studenten bij het feedbackproces (Dochy, Segers, & Sluijsmans, 1999; Topping, Smith, Swanson, & Elliot, 2000) in
de vorm van peerreview (Falchikov, 2005; Rieber, 2006; Van den Berg, Admiraal, & Pilot, 2006). Met de groeiende
aandacht voor peerreview, is de interesse in onderzoek naar effectieve toepassing ervan toegenomen, alsmede in
de rol die technologie daarbij kan vervullen (Laurillard, 2002). De uitgebreide literatuurverkenning met betrekking
tot de inzet van feedback en scripting van peerreview is beschikbaar en te vinden op www.inholland.nl/tlt.
De literatuurverkenning resulteerde in de volgende implicaties voor het ontwerp:
Adequaat ondersteunen van leerprocessen door peerreview vereist goede organisatie van het review-proces;
Richtlijnen met betrekking tot het geven van adequate feedback moeten deel uitmaken van het ontwerp;
Het geven van feedback moet gebeuren aan de hand van duidelijke, inhoudelijke criteria;
De volgorde in het geven van feedback is belangrijk, ofwel peerreview moet voorafgaan aan expertreview;
Peerreview kan goed ondersteund worden door inzet technologie;
De wijze waarop peerfeedback is gegeven en verwerkt moet (bij voorkeur face-to-face) worden besproken.
→ Vraag: Welke specificaties kunnen worden afgeleid uit de context waarin het ontwerp moet functioneren?
In de vooronderzoeksfase is vastgesteld dat peerfeedback en expertfeedback beide deel uit moeten maken van het
ontwerp en dat de digitale leeromgeving Moodle wordt ingezet ter ondersteuning. Het ontwerp moet beschikbaar
zijn voor de opleiding op de locaties Diemen, Den Haag en Rotterdam en uitvoering vindt plaats binnen afspraken
voor studieonderdelen uit het OER: verplichte deelname aan lesactiviteiten en vigerende toetsing. Het script moest
tot stand komen op basis van de volgende randvoorwaarden: het moet uitgevoerd moet kunnen worden door de
betrokken docenten, met voldoende draagvlak voor de werkwijze onder de uitvoerende docenten, en uitvoerbaar
zijn binnen de community of learners en binnen de daarvoor beschikbare tijd voor studenten en docenten.
3.2 Ontwerpfase
→ Hoe ziet het (her)ontwerp eruit op basis van de ontwerpeisen uit de vooronderzoeksfase?
In een ontwerponderzoek van een docent uit het team van Diemen was een gedetailleerd scenario ontwikkeld voor
de inzet van peerreview in de afstudeerfase dat nog getest moet worden in de praktijk. (Götte, 2015). Het scenario
uit het onderzoek werd door deze pionier vertaald naar een hanteerbaar script voor het curriculumonderdeel ‘3.1.1
project De Communicatiecyclus’ (zie: www.inholland.nl/tlt). Het script is voor expert-appraisal voorgelegd aan twee
onderzoekers van het lectoraat TLT, en met docenten die het uitvoerden is een walkthrough gehouden.
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
7
De leerpraktijk betreft het individueel uitvoeren en rapporteren van een praktijkopdracht waarmee alle fasen van
de communicatiecyclus worden doorlopen. De opdracht is verworven tijdens de stage in het eerste semester van
het studiejaar en goedgekeurd via een startdocument door de studieloopbaanbegeleider. De leerpraktijk start met
een gemeenschappelijke kick-off, daarna werken studenten in kringen van ongeveer 15 studenten verder die eerst
wekelijks bijeenkomen, maar gaandeweg tweewekelijks bijeenkomen. Voorafgaand aan een bijeenkomst posten
studenten hun werk op Moodle. Moodle biedt hen de gelegenheid om buiten de bijeenkomsten om vragen aan
kringleden te stellen. De peerreviews worden gestuurd aan de hand van gerichte vragen. Een kring wordt begeleid
door twee docenten, een docent met expertise op het gebied van onderzoek en een docent met expertise op het
gebied van conceptontwikkeling en content creatie. De leerpraktijk omvat een semester (16 European Credits).
Voor een volledige beschrijving van leerpraktijk en het script wordt verwezen naar de uitgebreide rapportage op
www.inholland.nl/tlt.
Het herontwerp is gebaseerd op een script waarin per week staat aangegeven wat de activiteiten van docenten en
studenten zijn, welke workshops en kringbijeenkomsten plaatsvinden per week en in welke volgorde. Het gaat om
een aantal activiteiten gericht op het ondersteunen van feedback met adequate inzet van technologie. Voor de drie
locaties moesten twee aparte scripts worden gemaakt vanwege verschillende vakantieperiodes op de locaties. Wat
betreft de inzet van peerfeedback en expert(docent)feedback en de rationale daarachter het volgende: voor de
opleiding Communicatie omvatte het script de volgende onderdelen in de volgende volgorde:
Voorafgaand of tijdens de bijeenkomst bekijken van de weblecture1 over het geven van effectieve feedback;
Tijdens de bijeenkomst bespreken van begrippen uit de weblecture (richtlijnen voor het geven van feedback);
Bespreken van de betreffende inhoudelijke criteria voor het geven van effectieve feedback;
Geven van feedback aan medestudenten in de digitale leeromgeving;
Tijdens de bijeenkomst bespreken van de peerfeedback en ingaan op de verwerking ervan;
Geven van feedback door de docent (expertfeedback).
3.3 Evaluatiefase
→ Is het ontwerp uitgevoerd conform ontwerp?
→ Wat is de ervaren bruikbaarheid en ervaren effectiviteit van het herontwerp (prototype van het ontwerp) in
de perceptie van docenten en studenten?
→ Welke verbeteringen in het ontwerp kunnen volgens betrokkenen worden doorgevoerd?
De studentenvragenlijst is ingevuld door 30 studenten, wat overeenkomt met iets meer dan 40% van de populatie;
de docentenvragenlijst werd ingevuld door zeven docenten (de pionier vulde de vragenlijst niet in). Het logboek
werd ingevuld door twee docenten en aan de focusgroep namen vier docenten en de pionier deel.
De resultaten worden gerapporteerd op basis van de ervaren procesgang, de ervaren effecten, de waardering voor
de aanpak en onderdelen ervan, en de verbetersuggesties. Voor een volledige weergaven van de resultaten en voor
meer context en achtergrondinformatie ter duiding van deze resultaten wordt verwezen naar www.inholland.nl/tlt,
alwaar ook de verslagen van interviews en focusgroep te vinden zijn.
Ervaren procesgang
1 Aspecten kwaliteit feedback: https://goo.gl/v88L6t
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
8
In tabel 1 wordt aangegeven welke onderdelen van het script volgens studenten en docenten werden uitgevoerd
(in geschatte percentages van aantallen studenten/docenten):
Tabel 1. Percentage respondenten dat aangeeft dat een gegeven onderdeel is uitgevoerd (afgeronde percentages).
* Enkele docenten geven aan dat bespreken van feedback vaak niet mogelijk was wegens tijdgebrek en daarmee soms exemplarisch gebeurt.
Ervaren effecten
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Voorafgaand aan de bijeenkomst bekijken van de weblecture
Tijdens een bijeenkomst bekijken van de weblecture
Bespreking van de begrippen uit de weblecture tijdens eenbijeenkomst
Bespreken van inhoudelijke criteria voor het geven van feedbackin bijeenkomst
Opdracht aan studenten tot het geven van feedback aanmedestudenten
Docent heeft feedback gegeven aan de studenten(expertfeedback)
De peerfeedback is besproken tijdens een bijeenkomst
Expertfeedback is besproken tijdens een bijeenkomst
Alle betrokkenen hebben zich gehouden aan deadlines voor hetgeven van feedback
Studenten hebben voldoende feedback gegeven aanmedestudenten
Studenten hebben genoeg feedback gekregen vanmedestudenten
Studenten hebben genoeg feedback gekregen van de docent
Studenten hebben meer feedback gegeven dan gekregen
In de bijeenkomst werd ingegaan op de in de digitale omgevinggegeven feedback *
Studenten (N=30) Docenten (N=7)
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
9
In tabel 2 wordt aangeven welke effecten door studenten en docenten werden ervaren van de gehele aanpak en
van onderdelen van het script, waarbij de mate waarin effecten werden ervaren in kleur wordt weergegeven van
donkerrood (-- = niet mee eens) tot donkergroen (++ = mee eens) en met grijs voor de neutrale positie (+/-).
Tabel 2. Door respondenten ervaren effect op het leerproces van de aanpak of een onderdeel/aspect ervan (inschattingen op basis van de data).
Aanpak of onderdeel van het script waarvan effect is ervaren door respondenten Studenten Docenten
De aanpak in deze leerpraktijk past goed bij de opdracht ++ ++
De aanpak in deze leerpraktijk ondersteund bij het maken van de opdracht ++ ++
De aanpak in deze leerpraktijk werkt motiverend voor het maken van de opdracht +/- +
Weblecture met richtlijnen voor het geven van feedback is als ondersteunend ervaren +/- +/-
De studenten gebruikten de algemene richtlijnen voor het geven van feedback goed ++ -
Opbrengst in bijeenkomsten is hoger vanwege feedbackactiviteiten in de digitale omgeving ++ ++
De digitale omgeving Moodle is als ondersteunend ervaren bij het geven van feedback ++ +/- *
Het geven van feedback aan medestudenten heeft de studenten geholpen bij de opdracht ++ ++
De feedback van medestudenten is ondersteunend bij het maken van de opdracht + ++
De feedback die studenten elkaar geven is van voldoende kwaliteit +/- --
De feedback die de docent geeft is van voldoende kwaliteit ++ ++
Studenten ervaren feedback van de docent als ondersteunend bij het maken de opdracht ++ ++
De digitale omgeving Moodle is geschikt voor het geven van feedback ++ ++
De digitale omgeving Moodle is een aantrekkelijke leeromgeving +/- +/-
De digitale omgeving Moodle is een gebruikersvriendelijke omgeving +/- +/-
Het bespreken van de feedback in de bijeenkomsten helpt studenten in het leerproces ++ ++
Het geven van feedback in de digitale omgeving Moodle is waardevol voor het leerproces ++ ++
De balans tussen peerfeedback en expertfeedback is goed +/- ++
Respondenten waarderen de aanpak in deze leerpraktijk met het volgende cijfer (0-10) 7 7
* Enkele docenten geven aan dat de verdeeldheid over de waardering van Moodle mede voortvloeit uit gebrek aan ervaring, het gebrek aan tijd en/of de weerstand van sommige docenten tegenover het opereren in een digitale leeromgeving.
De volgende activiteiten hebben volgens studenten en docenten het meest geholpen in het leerproces: geven van
feedback door de docent (1), bespreken van expertfeedback in de bijeenkomst (2), bespreken van peerfeedback in
de bijeenkomst (3), geven van peerfeedback (4), bespreken van criteria voor geven van feedback (5) en kijken van
de weblecture over het geven van feedback (6). Docenten geven aan dat het scheiden van de rollen als expert en
begeleider een uitdaging blijft.
Studenten noemen als sterke punten van de aanpak: bijdrage aan het leerproces (efficiëntie), toegang tot werk en
feedback van anderen, waarde van de expertfeedback, waarde van peerreview en sturing van het leerproces door
deadlines. Studenten noemen als minder sterke punten: kwaliteit en betrouwbaarheid van de peerfeedback, een
ervaren tekort aan expertfeedback, te weinig expertfeedback in de digitale omgeving, bespreking van feedback in
bijeenkomsten kost teveel tijd, gebrek aan duidelijke instructie en gebrekkige fasering van de opdracht.
Docenten noemen als minder sterke punten van de aanpak: de geringe kwaliteit van de peerfeedback, gebrekkige
organisatie met te krappe planning en deadlines, gebrek aan tijd voor de docent en beperkte mogelijkheden van
Moodle om de peerreview te volgen.
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
10
Verbetersuggesties
In tabel 3 worden de belangrijkste verbetersuggesties genoemd, aangevuld met eventuele toelichtingen, waarbij
ook wordt vermeld of het gaat om suggesties van studenten of docenten.
Tabel 3. De verbetersuggesties voor de aanpak, met eventuele toelichting, met verwijzing naar de respondenten die een suggestie deden.
Verbetersuggestie Toelichting Studenten Docenten
Eenduidige instructie opdracht Duidelijke afspraken, goede planning, heldere deadlines, overeenstemming bij docenten over de aanpak
X
Voorbereiding van docenten Docenten een training aanbieden voor het verzorgen van dit type onderwijs, docenten trainen in feedback geven
X
Organisatie van de leerpraktijk * Fasering en deelopdrachten beter doordenken zodat tijd is voor alle deelopdrachten en peerreview
X X
Flexibilisering van het script Het script laat nu te weinig ruimte voor aanpassing aan de gegeven context en tussentijdse aanpassing
X
Organisatie van de peerreview Goede afstemming tussen docenten, voldoende tijd in de bijenkomsten voor bespreking, betere fasering opdracht
X
Meer kortere feedbackloops, fasering in opdracht maakt bekijken en bespreken peerfeedback lastig
X
Effectiviteit van de peerreview Meer ondersteuning in geven van feedback, bewaken dat alle studenten evenveel relevante feedback krijgen
X
Verbeteren van digitale omgeving Gebruiksvriendelijker maken van Moodle, niet werken in forums vanwege onoverzichtelijkheid.
X
Gebruiksvriendelijker maken van Moodle, overzichtelijker inrichten van de digitale omgeving
X
Intensiveren van de expertreview Expertfeedback sneller laten volgen op peerreview, meer expertfeedback geven gedurende de leerpraktijk
X
* De organisatie van de leerpraktijk wordt zowel door docenten als door studenten genoemd als te verbeteren aspect, maar niet altijd vanwege dezelfde redenen. Studenten wijzen vooral op onduidelijkheid, ondoordachte fasering en gebrek aan eenduidigheid in de begeleiding door de docenten, terwijl docenten vooral wijzen op gebrekkige aansluiting van de fasering op de peerreview activiteiten en het tijdgebrek dat ervaren wordt om alles goed te begeleiden en te monitoren.
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
11
4. Conclusies en aanbevelingen
4.1 Ontwerp, uitvoering en relevantie
In de vooronderzoeksfase zijn ontwerpeisen gegenereerd, waarna in de ontwerpfase het ontwerp werd gemaakt.
In de evaluatiefase is onderzocht of het ontwerp is uitgevoerd zoals bedoeld en hoe door de betrokkenen wordt
beoordeeld op bruikbaarheid en effectiviteit. Tevens werden verbetervoorstellen geïnventariseerd.
Geconcludeerd kan worden dat het integrale ontwerp (script) in grote lijnen is uitgevoerd zoals bedoeld, maar dat
een aantal onderdelen van het script in sommige gevallen niet is uitgevoerd zoals bedoeld. Met integrale ontwerp
(script) wordt bedoeld: alle onderdelen van het script (inhoud) en de volgorde waarin deze onderdelen uitgevoerd
moeten worden (routing/planning). De volgende afwijkingen werden geconstateerd:
Het bekijken weblecture over het geven van effectieve feedback vond niet overal plaats;
De weblecture werd tijdens de les bekeken in plaats van online voorafgaande aan de kringbijeenkomst;
Niet overal werden tijdens de bijeenkomst algemene begrippen uit de weblecture besproken;
In een enkel geval werden de inhoudelijke criteria voor het geven van feedback niet besproken.
Met betrekking tot het script in algemene zin is de conclusie dat de docenten alle onderdelen ‘herkennen’ en van
mening zijn dat alle studenten in meer of mindere mate feedback hebben gegeven. Docenten vragen zich daarbij
wel af in hoeverre de verplichte ‘actieve participatie’ daartoe heeft bijgedragen.
Zowel docenten als studenten geven aan dat de peerfeedback tijdens de bijeenkomst voldoende besproken werd,
maar dit wordt door de docenten genuanceerd. Ze geven aan dat ze door tijdgebrek niet altijd toekwamen aan het
bespreken van de peer- en expertfeedback.
Met betrekking tot een oordeel over het gehanteerde script op basis van de uitvoering kan worden geconcludeerd
dat over het integrale ontwerp (script) geen uitspraken gedaan kunnen worden omdat het script niet overal werd
uitgevoerd conform het ontwerp (1), dat wel uitspraken gedaan kunnen worden over het ‘scripten’ in het algemeen
(2), en ook uitspraken kunnen worden gedaan over bepaalde onderdelen van het script die zijn uitgevoerd (3).
De vanuit de theorie en contextanalyse vastgestelde relevantie van het ontwerp werd bevestigd. De bruikbaarheid
van het script werd door docenten en studenten zowel positief als negatief beoordeeld. Het script is echter in het
algemeen als effectief ervaren door docenten en studenten, maar hierbij moet een aantal nuanceringen worden
gemaakt. Zowel studenten als docenten vonden de aanpak passend bij de opdracht die moest worden uitgevoerd.
Positief vonden zij de houvast en structuur die het script bood en het dwingende karakter dat ertoe bijdroeg dat
deadlines gehaald werden en de voortgang van studenten transparant werd gemaakt. Het gebrek aan vrijheid (het
keurslijf) dat het script veroorzaakte, werd zowel positief als negatief ervaren. Positief vond men dat het script ook
docenten disciplineert in de uitvoering van hun onderwijs, de vrijblijvendheid terugdringt, en hen dwingt samen te
werken. Als negatief werd ervaren dat de gedetailleerde planning het onmogelijk maakt om als docent wijzigingen
aan te brengen. De combinatie van strikte deadlines en het feedbackscript, maken het project minder flexibel.
4.2 Ervaren bruikbaarheid
Geconcludeerd kan worden dat de bruikbaarheid van onderdelen van het script zowel positief als negatief ervaren
werden door docenten en studenten.
Digitale leeromgeving Moodle Geconcludeerd kan worden dat studenten en docenten de digitale leeromgeving Moodle geschikt vinden voor het
geven van feedback, maar de digitale omgeving niet erg aantrekkelijk en gebruiksvriendelijk vinden. Een verklaring
voor de tegengestelde scores is dat studenten wel het nut in zien van de werkwijze in de digitale omgeving, maar
niet tevreden zijn over de techniek, de functionaliteiten van de omgeving, of de navigatie binnen de omgeving. De
rol en de activiteiten van de docent in de digitale omgeving is mede bepalend voor de waardering van de omgeving.
Algemene conclusie met betrekking inzet elektronische leeromgeving Moodle: in deze opzet was de elektronische
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
12
leeromgeving in principe bruikbaar, maar de omgeving wordt niet als uitnodigend en gebruiksvriendelijk ervaren.
Docenten geven aan dat Moodle veel onderhoud en structurering vraagt en veel (irrelevante) notificaties oplevert.
Volgens de docenten ervaren studenten Moodle al snel als de plek waar al die deadlines moeten worden gehaald.
Over de discussieforums zijn de docenten tevreden.
4.3 Ervaren effectiviteit
Geconcludeerd kan worden dat het herontwerp (script) ‘over geheel genomen’ effectief is in de perceptie van de
docenten en studenten, met een aantal nuanceringen. De volgende onderdelen van het script werden als meest
ondersteunend ervaren: het geven van feedback door de docent (1), het bespreken van de expertfeedback tijdens
de les (2), het bespreken van de peerfeedback van studenten (3) en het geven en bespreken van peerfeedback (4).
Mogelijke oorzaken dat geven van feedback aan medestudenten op de vierde plaats staat zijn: goede studenten
ervaren minder meerwaarde van het ontvangen van peerfeedback (van zwakkere studenten), en de docent blijft te
veel in zijn expertrol aanwezig, waardoor studenten de meerwaarde van peerfeedback minder ervaarden. Tot slot
kan het zijn dat studenten überhaupt minder waarde toekennen aan feedbackactiviteiten met medestudenten dan
aan feedbackactiviteiten waarbij de docent betrokken is.
Nuanceringen die ten aanzien van de effectiviteit van het script gemaakt kunnen worden, hebben betrekking op:
Weblecture voor geven van effectieve feedback → alleen goed te begrijpen door studenten met voorkennis.
Feedback algemeen → verschil van mening over hoeveelheid feedback en de balans peer- en expertfeedback.
Peerfeedback → kwaliteit van peerfeedback schiet tekort volgens docenten en neemt nog af onder werkdruk.
Expertfeedback → feedback docenten is niet eenduidig; docenten worstelen met rol begeleider/beoordelaar.
Feedbackbespreking → docenten twijfelen of feedback voldoende wordt besproken en ze ervaren tijdgebrek.
Met betrekking tot de ontworpen didactische strategie kan worden vastgesteld dat de strategie, en meer precies
de concretisering van die strategie in de vorm van het script, een bijdrage levert aan de versterking van de actieve
betrokkenheid van de student in het leerproces van de gegeven leerpraktijk en kan bijdragen aan een versterking
van het zelfsturend vermogen van de studenten in de perceptie van alle betrokkenen. In deze eerste iteratie werd
duidelijk dat de bruikbaarheid van het script nog verbeterd kan worden ten aanzien van een aantal punten. Pas als
die verbeteringen zijn gerealiseerd, kan wellicht in een tweede iteratie worden vastgesteld of het script volgens de
betrokkenen ook bijdraagt aan een verhoging van de kwaliteit van de leeropbrengsten. Daarbij is het de uitdaging
om in het tweede prototype tegemoet te komen aan zowel gerichte sturing op de inhoudelijke kwaliteit van alle
reviewprocessen als het bieden van maatwerk bij het inzetten van het script in een gegeven context. Tevens kan
worden opgemerkt dat het wellicht noodzakelijk is om docenten meer te ondersteunen bij een eerste uitvoering
van het script om te mogen verwachten dat zij zich in staat achten het script conform het ontwerp uit te voeren.
4.4 Verbetersuggesties
De organisatie van deze leerpraktijk staat bij studenten bovenaan de lijst van verbeterpunten. Er is behoefte aan
meer tijd voor en een meer evenwichtige tijdsverdeling tussen alle uit te voeren leeractiviteiten en aan meer en
langere kringbijeenkomsten. Daarnaast moeten concurrerende leeractiviteiten bij andere curriculumonderdelen
daarop worden afgestemd. Studenten willen dat docenten eenduidiger instructie geven en hen meer ondersteunen
bij het uitvoeren van activiteiten volgens het script. De expertfeedback mag van hen meer kwaliteit hebben en de
ze willen dat meer controle wordt uitgevoerd op de kwaliteit van de peerfeedback die wordt gegeven.
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
13
Docenten zijn verdeeld over de aspecten die verbeterd moeten worden. Eén suggesties betreft de bruikbaarheid en
uitvoerbaarheid van het script. Enerzijds wordt het script met strikte deadlines ervaren als een keurslijf, anderzijds
draagt het ertoe bij dat studenten minder uitstelgedrag vertonen. Er zou volgens docenten betere aansluiting bij de
student moeten worden gezocht en aanwezige kennis zou eerst moeten worden geactiveerd. Docenttraining op de
begeleiden van het reviewproces is genoemd als verbeterpunt, evenals de gebruiksvriendelijkheid van de digitale
omgeving.
Om de verzameling verbetersuggesties te ordenen wordt onderstaande indeling gebruikt in het overzicht in tabel 4:
Factoren met betrekking tot de bruikbaarheid van het ontwerp
Factoren met betrekking tot de effectiviteit van het ontwerp
Factoren met betrekking tot de randvoorwaarden, met als onderscheid:
o Factoren die niet beïnvloedbaar zijn vanuit het ontwerp of de implementatie van het ontwerp.
o Factoren die beïnvloedbaar zijn via het ontwerp: functionele eisen of voorwaarden, want de functionele
eis dat peerreview op een bepaalde wijze wordt ingezet, kan alleen leiden tot een effectief ontwerp als
aan de voorwaarde wordt voldaan dat studenten in staat zijn om feedback te geven en te benutten, en
het ontwerp moet voorzien in het waarborgen van de voorwaarden opdat het ontwerp effectief kan zijn;
o Factoren die beïnvloedbaar zijn in de voorbereiding van de implementatie: condities in de context die de
uitvoering zoals bedoeld in de weg staan, maar die wel kunnen worden beïnvloed vanuit het onderzoek.
Tabel 4. De verbetersuggesties voor de aanpak, met eventuele toelichting, met verwijzing naar de respondenten die een suggestie deden.
Factoren met betrekking tot Verbetersuggestie Toelichting
Bruikbaarheid van het ontwerp Weblecture over geven van feedback aanpassen.
Een weblecture ontwikkelen die aansluit bij het kennisniveau van studenten en die richtlijnen, voorbeelden en aanwijzingen voor toepassing bevat.
Effectiviteit van het ontwerp Verbeteren van de eenduidigheid en hoeveelheid expertfeedback.
Docenten trainen het geven van feedback de via intervisie zorgen voor meer eenduidigheid.
Verbeteren controle op peerreview en kwaliteit van peerfeedback.
Workshop in Moodle gebruiken voor peerreview en studenten trainen in leren geven feedback.
Randvoorwaarden die via het ontwerp zijn te beïnvloeden
Betere afstemming van het script op het leerproces.
Een herontwerp van de leerpraktijk zou eigenlijk wenselijk zijn, zoals fasering van leeractiviteiten en frequentie en lengte van bijeenkomsten, maar indien niet mogelijk, dan betere afstemming van het script op de gegeven situatie op een locatie.
Betere monitoring en begeleiding van de peerreview.
Inbouwen van docentondersteuning in het script, waaronder uitgewerkte voorbeelden, alsmede de training van docenten in het gebruik van Moodle.
Inzicht geven in de achtergronden en de werkwijze van deze aanpak.
Heldere uitleg over de aanpak en beschrijving van de rollen en taken (social scripting) en sturing op inhoudelijke uitvoering (cognitive scripting).
Randvoorwaarden die via de im-plementatie zijn te beïnvloeden
Verbeteren van overzichtelijkheid van de digitale omgeving.
De workshop ‘tool’ gebruiken voor peerreview en kijken naar de vormgeving van de omgeving.
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
14
4.5 Reflectie op conclusies
Het beoogde doel van het script is maar ten dele bereikt, omdat een aantal factoren een belemmerende rol heeft
gespeeld. Voor een bruikbaar en effectief script is het cruciaal dat aan noodzakelijke voorwaarden wordt voldaan.
Bij de conclusies zijn deze voorwaardelijke factoren opgesplitst naar drie categorieën:
1. Variabelen die niet beïnvloedbaar zijn: in deze casus betreft dat bijvoorbeeld het commitment bij de docenten
en de tijdsdruk die docenten ervaren door alle werkzaamheden die buiten deze leerpraktijk vallen. Duidelijk is dat
er strenger op moet worden toegezien dat aan deze randvoorwaarden kan worden voldaan; ze zijn voorwaardelijk
voor een succesvol herontwerptraject. Bij het ontbreken van deze randvoorwaarden moet heroverwogen worden
of het werken met een script zinvol is in het kader van de verbetering van de kwaliteit van het onderwijs.
2. Variabelen die beïnvloedbaar zijn via het ontwerp: daarbij gaat het om zowel voorwaarden als functionele eisen.
In deze casus bijvoorbeeld adequate uitleg over het script aan studenten en docenten, adequate voorbereiding op
het geven van effectieve feedback door studenten, bespreken van algemene, inhoudelijke criteria voor het geven
van feedback, adequate voorbereiding op de begeleiding van het feedbackproces aan docenten, een realistische
planning van feedbackactiviteiten, en in het verlengde daarvan de ‘fine tuning’ van het script op het scenario van
leeractiviteiten en de routing ervan in de gegeven leerpraktijk.
3. Variabelen beïnvloedbaar in de voorbereiding van de uitvoering en/of implementatie: daarbij gaat het om alle
voorwaarden in de context die de uitvoering conform het ontwerp in de weg staan. In deze casus bijvoorbeeld de
adequate inrichting digitale leeromgeving en de afstemming tussen alle interventies die het script voorschrijft ten
aanzien van het proces van peerreview en expertreview en het type en volgorde van leeractiviteiten met daarvoor
beschikbare tijd in de gegeven leerpraktijk.
4.6 Suggesties voor vervolgonderzoek
Een aantal verbetersuggesties zijn gedaan, maar wil niet zeggen dat het vervolgonderzoek zich op al deze aspecten
moet richten; er kunnen keuzes gemaakt worden. Daarbij is het in ieder geval van belang om aandacht te schenken
aan zowel condities die via het script te beïnvloeden zijn als aan condities die in de voorbereiding aandacht vragen.
Het onderzoek toont aan dat peerreview het leerproces kan ondersteunen, maar studenten en docenten geven aan
dat niet alle peerfeedback van hoge kwaliteit is geweest. Vervolgonderzoek kan gericht worden op de wijze waarop
het geven van feedback van goede kwaliteit kan worden bevorderd, op hoe het geven van goede feedback effectief
kan worden ondersteund en onontkoombaar kan worden gemaakt, of op hoe het monitoren van de kwaliteit van
de peerfeedback kan worden ondersteund.
Het onderzoek laat zien dat de weblecture met richtlijnen voor het geven van feedback niet door alle betrokkenen
als waardevol is ervaren, terwijl het toepassen ervan cruciaal is voor het geven van goede feedback. Daarom zou
vervolgonderzoek zich ook kunnen richten op hoe via maatwerk in uitleg en door het aanbieden van uitgewerkte
voorbeelden het geven van goede feedback gecommuniceerd, geoefend en ondersteund kan worden.
Uit het onderzoek blijkt dat zowel studenten als docenten moeite hebben ervaren bij het aanhouden van het script.
Dit kan deels te maken hebben met een gebrek aan flexibiliteit in het script, deels met onwennigheid in het werken
met een script, en deels met de noodzaak tot ‘fine tuning’ tussen script en leeractiviteiten. Vervolgonderzoek kan
zich richten op de vraag welke aspecten in welke mate aangepast dienen te worden.
Een oorzakelijk verband tussen de leeropbrengsten en het werken met ‘scripting van peerreview’ kan uiteraard nog
niet worden gelegd, maar is iets om nader te verkennen in vervolgonderzoek. Het is duidelijk dat het ‘script’ ertoe
heeft geleid dat meer studenten hun werk op tijd aanleverden en dat sluit aan bij wat ook uit de data kon worden
afgeleid, namelijk dat het werken met deadlines studenten helpt om hun leerproces te organiseren en te sturen.
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
15
5. Referenties
Commissie Gedragscode Praktijkgericht onderzoek in het hbo. (2010). Gedragscode praktijkgericht onderzoek voor het hbo; Gedragscode voor het voorbereiden en uitvoeren van praktijkgericht onderzoek binnen het Hoger Beroepsonderwijs in Nederland. Den Haag: HBO-Raad.
Dochy, F., Segers, M., & Sluijsmans, D. (1999). Co-assessment in higher education: A review. Studies in Higher Education, 24(3).
Falchikov, N. (2005). Improving assessment through student involvement: Practical solutions for aiding learning in higher and further education. New York: RoutledgeFalmer.
Götte, B. (2015). Cirkelen rond peerreview: Een ontwerpgericht onderzoek naar een scenario voor de inzet van peerreview in de afstudeerfase van de hogere beroepsopleiding Communicatie van Hogeschool Inholland Diemen. (Master thesis). Den Haag: Hogeschool Inholland.
Götte, B., Fransen, J., & Swager, P. (2016). Peerreview ter ondersteuning van het leerproces in de afstudeerfase: Ontwerpgericht onderzoek naar een peerreviewscenario voor het afstudeertraject van de opleiding Communicatie van Inholland. In I. Wegman (Ed.), Praktijkgericht onderzoek inspireert (pp. 43-52). Den Haag: Hogeschool Inholland.
Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.
Laurillard, D. (2002). Rethinking university teaching: A conversational framework for the effective use of learning technologies. Londen UK: Routledge Falmer.
Nieveen, N., Folmer, E., & Vliegen, S. (2012). Het evaluatiematchboard. Enschede: SLO.
Nilson, L. (2003). Improving student peer feedback. College Teaching, 51(1), 34-38.
Rieber, L. J. (2006). Using peer review to improve student writing in business courses. Journal of Education for Business, 322-326.
Rompa, R., & Romme, A. (2001). Samenwerking en leerprestaties in afstudeerkringen. Pedagogische Studien, 78(5), 298-312.
Shute, V. (2008). Focus on formative feedback. Review of Educational Research, 78, 153-189.
Topping, K. (1998). Peer assessment between students in colleges and universities. Review of Educational Research, 68, 249-276.
Topping, K., Smith, E., Swanson, L., & Elliot, A. (2000). Formative peer assessment of academic writing between postgraduate students. Assessment & Evaluation in Higher Education, 25(2).
Van den Berg, I., Admiraal, W., & Pilot, A. (2006). Designing student peer assessment in higher education: Analysis of written and oral peer feedback. Teaching in Higher Education, 11(2), 135-147.
Van Zundert, M., Sluijsmans, D., & Merriënboer, V. (2010). Effective peer assessment processes: Research findings and future directions. Learning and Instruction, 20, 270-279.
Williams, B., Brown, T., & Benson, R. (2013). Feedback in the digital environment. In D. Boud & E. Molloy (Eds.), Feedback in higher and professional education: Understanding it and doing it well (pp. 125-139). London UK: Routledge.
Teaching, Learning & Technology Onderzoeksrapportage TLF – Communicatie [korte versie]
16
Bijlage → Schematische weergave van het peerreview scenario
Beoordelings-formulieren
opdracht
PR-formulier per object
Kringbijeenkomst voor peerreview (synchroon) Aandacht voor goede sfeer en reduceren weerstanden
Activeren voorkennis over het object Doorgronden van het beoordelingsformulier van het object
Bestuderen van een goed voorbeeld van het object Bespreken en oefenen peerfeedback formulier
Bestuderen goed voorbeeld peerreview Aandacht voor kenmerken effectieve feedback
Peerreviewproces en samenwerkingsafspraken maken en doorspreken Planning en groepsindeling vaststellen
Docent modelleert motiveert instrueert
Kringbijeenkomst voor peerreview (synchroon) Aandacht voor goede sfeer
Verantwoorden verwerking van de feedback Discussie ‘reviewers’ en ‘gereviewde’ over feedback
Aandacht voor kenmerken effectieve feedback Punten voor volgende revisie benoemen (versie expertfeedback)
Peerreviewproces en samenwerkingsafspraken evalueren en doorspreken Planning en groepsindeling (laten) bijstellen
Peerreview terugkoppelings
formulier per object
Docent modereert stuurt bij
Student verwerkt
feedback uit de kring
Student plaatst object
voor expertreview
en/of
Docent review en
beoordeelt object als expert
Geplande expertreview
Fysieke bijeenkomst afstudeerkring Interacties in elektronische leeromgeving [ELO] Acties [en interacties] van de student Acties [en interacties] van de docent [expert]
Ondersteunend materiaal student Tijdslots Individuele aandacht/communicatie
Legenda
=
=
=
=
=
= =
Docent activeert motiveert
modelleert faciliteert
Docent monitort faciliteert
Docent monitort
modereert stuurt bij
Docent monitort faciliteert
Elektronische leeromgeving [ELO] met map voor materialen en formulieren, een vraag/antwoord forum [frequently asked questions] en omgeving waarin peerreview kan worden georganiseerd en ondersteund.
Docent organiseert
Student plaatst terug- koppelings-formulier en
gereviseerd object
Geplande peerreview
Student reviseert object op basis van
peerfeedback
Student plaatst peer-
review op ELO
Student voert peer-
review uit
Student plaatst object op ELO
Student ontwik-kelt het object
Peerreview scenario met kringbijeenkomsten en activiteiten in de elektronische leeromgeving (Götte et al., 2016).
top related