Scripting van peerreview in een leerpraktijk in de opleiding Communicatie Rapportage over test en evaluatie van een herontwerp van het project ‘De Communicatiecyclus’ op locaties Diemen/Den Haag/ Rotterdam Korte versie Teaching, Learning & Technology Bob Götte Pieter Swager Jos Fransen Met medewerking van: Jeroen Bottema Definitief 03/2017
16
Embed
Scripting van peerreview in een leerpraktijk in de ... · Scripting van peerreview in een leerpraktijk in de opleiding Communicatie ... vier docenten en twee onderzoekers TLT. Kwantitatieve
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Scripting van peerreview in een leerpraktijk in de opleiding Communicatie
Rapportage over test en evaluatie van een herontwerp van het project ‘De Communicatiecyclus’ op locaties Diemen/Den Haag/ Rotterdam
In tabel 2 wordt aangeven welke effecten door studenten en docenten werden ervaren van de gehele aanpak en
van onderdelen van het script, waarbij de mate waarin effecten werden ervaren in kleur wordt weergegeven van
donkerrood (-- = niet mee eens) tot donkergroen (++ = mee eens) en met grijs voor de neutrale positie (+/-).
Tabel 2. Door respondenten ervaren effect op het leerproces van de aanpak of een onderdeel/aspect ervan (inschattingen op basis van de data).
Aanpak of onderdeel van het script waarvan effect is ervaren door respondenten Studenten Docenten
De aanpak in deze leerpraktijk past goed bij de opdracht ++ ++
De aanpak in deze leerpraktijk ondersteund bij het maken van de opdracht ++ ++
De aanpak in deze leerpraktijk werkt motiverend voor het maken van de opdracht +/- +
Weblecture met richtlijnen voor het geven van feedback is als ondersteunend ervaren +/- +/-
De studenten gebruikten de algemene richtlijnen voor het geven van feedback goed ++ -
Opbrengst in bijeenkomsten is hoger vanwege feedbackactiviteiten in de digitale omgeving ++ ++
De digitale omgeving Moodle is als ondersteunend ervaren bij het geven van feedback ++ +/- *
Het geven van feedback aan medestudenten heeft de studenten geholpen bij de opdracht ++ ++
De feedback van medestudenten is ondersteunend bij het maken van de opdracht + ++
De feedback die studenten elkaar geven is van voldoende kwaliteit +/- --
De feedback die de docent geeft is van voldoende kwaliteit ++ ++
Studenten ervaren feedback van de docent als ondersteunend bij het maken de opdracht ++ ++
De digitale omgeving Moodle is geschikt voor het geven van feedback ++ ++
De digitale omgeving Moodle is een aantrekkelijke leeromgeving +/- +/-
De digitale omgeving Moodle is een gebruikersvriendelijke omgeving +/- +/-
Het bespreken van de feedback in de bijeenkomsten helpt studenten in het leerproces ++ ++
Het geven van feedback in de digitale omgeving Moodle is waardevol voor het leerproces ++ ++
De balans tussen peerfeedback en expertfeedback is goed +/- ++
Respondenten waarderen de aanpak in deze leerpraktijk met het volgende cijfer (0-10) 7 7
* Enkele docenten geven aan dat de verdeeldheid over de waardering van Moodle mede voortvloeit uit gebrek aan ervaring, het gebrek aan tijd en/of de weerstand van sommige docenten tegenover het opereren in een digitale leeromgeving.
De volgende activiteiten hebben volgens studenten en docenten het meest geholpen in het leerproces: geven van
feedback door de docent (1), bespreken van expertfeedback in de bijeenkomst (2), bespreken van peerfeedback in
de bijeenkomst (3), geven van peerfeedback (4), bespreken van criteria voor geven van feedback (5) en kijken van
de weblecture over het geven van feedback (6). Docenten geven aan dat het scheiden van de rollen als expert en
begeleider een uitdaging blijft.
Studenten noemen als sterke punten van de aanpak: bijdrage aan het leerproces (efficiëntie), toegang tot werk en
feedback van anderen, waarde van de expertfeedback, waarde van peerreview en sturing van het leerproces door
deadlines. Studenten noemen als minder sterke punten: kwaliteit en betrouwbaarheid van de peerfeedback, een
ervaren tekort aan expertfeedback, te weinig expertfeedback in de digitale omgeving, bespreking van feedback in
bijeenkomsten kost teveel tijd, gebrek aan duidelijke instructie en gebrekkige fasering van de opdracht.
Docenten noemen als minder sterke punten van de aanpak: de geringe kwaliteit van de peerfeedback, gebrekkige
organisatie met te krappe planning en deadlines, gebrek aan tijd voor de docent en beperkte mogelijkheden van
In tabel 3 worden de belangrijkste verbetersuggesties genoemd, aangevuld met eventuele toelichtingen, waarbij
ook wordt vermeld of het gaat om suggesties van studenten of docenten.
Tabel 3. De verbetersuggesties voor de aanpak, met eventuele toelichting, met verwijzing naar de respondenten die een suggestie deden.
Verbetersuggestie Toelichting Studenten Docenten
Eenduidige instructie opdracht Duidelijke afspraken, goede planning, heldere deadlines, overeenstemming bij docenten over de aanpak
X
Voorbereiding van docenten Docenten een training aanbieden voor het verzorgen van dit type onderwijs, docenten trainen in feedback geven
X
Organisatie van de leerpraktijk * Fasering en deelopdrachten beter doordenken zodat tijd is voor alle deelopdrachten en peerreview
X X
Flexibilisering van het script Het script laat nu te weinig ruimte voor aanpassing aan de gegeven context en tussentijdse aanpassing
X
Organisatie van de peerreview Goede afstemming tussen docenten, voldoende tijd in de bijenkomsten voor bespreking, betere fasering opdracht
X
Meer kortere feedbackloops, fasering in opdracht maakt bekijken en bespreken peerfeedback lastig
X
Effectiviteit van de peerreview Meer ondersteuning in geven van feedback, bewaken dat alle studenten evenveel relevante feedback krijgen
X
Verbeteren van digitale omgeving Gebruiksvriendelijker maken van Moodle, niet werken in forums vanwege onoverzichtelijkheid.
X
Gebruiksvriendelijker maken van Moodle, overzichtelijker inrichten van de digitale omgeving
X
Intensiveren van de expertreview Expertfeedback sneller laten volgen op peerreview, meer expertfeedback geven gedurende de leerpraktijk
X
* De organisatie van de leerpraktijk wordt zowel door docenten als door studenten genoemd als te verbeteren aspect, maar niet altijd vanwege dezelfde redenen. Studenten wijzen vooral op onduidelijkheid, ondoordachte fasering en gebrek aan eenduidigheid in de begeleiding door de docenten, terwijl docenten vooral wijzen op gebrekkige aansluiting van de fasering op de peerreview activiteiten en het tijdgebrek dat ervaren wordt om alles goed te begeleiden en te monitoren.
Docenten zijn verdeeld over de aspecten die verbeterd moeten worden. Eén suggesties betreft de bruikbaarheid en
uitvoerbaarheid van het script. Enerzijds wordt het script met strikte deadlines ervaren als een keurslijf, anderzijds
draagt het ertoe bij dat studenten minder uitstelgedrag vertonen. Er zou volgens docenten betere aansluiting bij de
student moeten worden gezocht en aanwezige kennis zou eerst moeten worden geactiveerd. Docenttraining op de
begeleiden van het reviewproces is genoemd als verbeterpunt, evenals de gebruiksvriendelijkheid van de digitale
omgeving.
Om de verzameling verbetersuggesties te ordenen wordt onderstaande indeling gebruikt in het overzicht in tabel 4:
Factoren met betrekking tot de bruikbaarheid van het ontwerp
Factoren met betrekking tot de effectiviteit van het ontwerp
Factoren met betrekking tot de randvoorwaarden, met als onderscheid:
o Factoren die niet beïnvloedbaar zijn vanuit het ontwerp of de implementatie van het ontwerp.
o Factoren die beïnvloedbaar zijn via het ontwerp: functionele eisen of voorwaarden, want de functionele
eis dat peerreview op een bepaalde wijze wordt ingezet, kan alleen leiden tot een effectief ontwerp als
aan de voorwaarde wordt voldaan dat studenten in staat zijn om feedback te geven en te benutten, en
het ontwerp moet voorzien in het waarborgen van de voorwaarden opdat het ontwerp effectief kan zijn;
o Factoren die beïnvloedbaar zijn in de voorbereiding van de implementatie: condities in de context die de
uitvoering zoals bedoeld in de weg staan, maar die wel kunnen worden beïnvloed vanuit het onderzoek.
Tabel 4. De verbetersuggesties voor de aanpak, met eventuele toelichting, met verwijzing naar de respondenten die een suggestie deden.
Factoren met betrekking tot Verbetersuggestie Toelichting
Bruikbaarheid van het ontwerp Weblecture over geven van feedback aanpassen.
Een weblecture ontwikkelen die aansluit bij het kennisniveau van studenten en die richtlijnen, voorbeelden en aanwijzingen voor toepassing bevat.
Effectiviteit van het ontwerp Verbeteren van de eenduidigheid en hoeveelheid expertfeedback.
Docenten trainen het geven van feedback de via intervisie zorgen voor meer eenduidigheid.
Verbeteren controle op peerreview en kwaliteit van peerfeedback.
Workshop in Moodle gebruiken voor peerreview en studenten trainen in leren geven feedback.
Randvoorwaarden die via het ontwerp zijn te beïnvloeden
Betere afstemming van het script op het leerproces.
Een herontwerp van de leerpraktijk zou eigenlijk wenselijk zijn, zoals fasering van leeractiviteiten en frequentie en lengte van bijeenkomsten, maar indien niet mogelijk, dan betere afstemming van het script op de gegeven situatie op een locatie.
Betere monitoring en begeleiding van de peerreview.
Inbouwen van docentondersteuning in het script, waaronder uitgewerkte voorbeelden, alsmede de training van docenten in het gebruik van Moodle.
Inzicht geven in de achtergronden en de werkwijze van deze aanpak.
Heldere uitleg over de aanpak en beschrijving van de rollen en taken (social scripting) en sturing op inhoudelijke uitvoering (cognitive scripting).
Randvoorwaarden die via de im-plementatie zijn te beïnvloeden
Verbeteren van overzichtelijkheid van de digitale omgeving.
De workshop ‘tool’ gebruiken voor peerreview en kijken naar de vormgeving van de omgeving.
Commissie Gedragscode Praktijkgericht onderzoek in het hbo. (2010). Gedragscode praktijkgericht onderzoek voor het hbo; Gedragscode voor het voorbereiden en uitvoeren van praktijkgericht onderzoek binnen het Hoger Beroepsonderwijs in Nederland. Den Haag: HBO-Raad.
Dochy, F., Segers, M., & Sluijsmans, D. (1999). Co-assessment in higher education: A review. Studies in Higher Education, 24(3).
Falchikov, N. (2005). Improving assessment through student involvement: Practical solutions for aiding learning in higher and further education. New York: RoutledgeFalmer.
Götte, B. (2015). Cirkelen rond peerreview: Een ontwerpgericht onderzoek naar een scenario voor de inzet van peerreview in de afstudeerfase van de hogere beroepsopleiding Communicatie van Hogeschool Inholland Diemen. (Master thesis). Den Haag: Hogeschool Inholland.
Götte, B., Fransen, J., & Swager, P. (2016). Peerreview ter ondersteuning van het leerproces in de afstudeerfase: Ontwerpgericht onderzoek naar een peerreviewscenario voor het afstudeertraject van de opleiding Communicatie van Inholland. In I. Wegman (Ed.), Praktijkgericht onderzoek inspireert (pp. 43-52). Den Haag: Hogeschool Inholland.
Hattie, J. (2009). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. New York: Routledge.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.
Laurillard, D. (2002). Rethinking university teaching: A conversational framework for the effective use of learning technologies. Londen UK: Routledge Falmer.
Nieveen, N., Folmer, E., & Vliegen, S. (2012). Het evaluatiematchboard. Enschede: SLO.
Nilson, L. (2003). Improving student peer feedback. College Teaching, 51(1), 34-38.
Rieber, L. J. (2006). Using peer review to improve student writing in business courses. Journal of Education for Business, 322-326.
Rompa, R., & Romme, A. (2001). Samenwerking en leerprestaties in afstudeerkringen. Pedagogische Studien, 78(5), 298-312.
Shute, V. (2008). Focus on formative feedback. Review of Educational Research, 78, 153-189.
Topping, K. (1998). Peer assessment between students in colleges and universities. Review of Educational Research, 68, 249-276.
Topping, K., Smith, E., Swanson, L., & Elliot, A. (2000). Formative peer assessment of academic writing between postgraduate students. Assessment & Evaluation in Higher Education, 25(2).
Van den Berg, I., Admiraal, W., & Pilot, A. (2006). Designing student peer assessment in higher education: Analysis of written and oral peer feedback. Teaching in Higher Education, 11(2), 135-147.
Van Zundert, M., Sluijsmans, D., & Merriënboer, V. (2010). Effective peer assessment processes: Research findings and future directions. Learning and Instruction, 20, 270-279.
Williams, B., Brown, T., & Benson, R. (2013). Feedback in the digital environment. In D. Boud & E. Molloy (Eds.), Feedback in higher and professional education: Understanding it and doing it well (pp. 125-139). London UK: Routledge.
Bijlage → Schematische weergave van het peerreview scenario
Beoordelings-formulieren
opdracht
PR-formulier per object
Kringbijeenkomst voor peerreview (synchroon) Aandacht voor goede sfeer en reduceren weerstanden
Activeren voorkennis over het object Doorgronden van het beoordelingsformulier van het object
Bestuderen van een goed voorbeeld van het object Bespreken en oefenen peerfeedback formulier
Bestuderen goed voorbeeld peerreview Aandacht voor kenmerken effectieve feedback
Peerreviewproces en samenwerkingsafspraken maken en doorspreken Planning en groepsindeling vaststellen
Docent modelleert motiveert instrueert
Kringbijeenkomst voor peerreview (synchroon) Aandacht voor goede sfeer
Verantwoorden verwerking van de feedback Discussie ‘reviewers’ en ‘gereviewde’ over feedback
Aandacht voor kenmerken effectieve feedback Punten voor volgende revisie benoemen (versie expertfeedback)
Peerreviewproces en samenwerkingsafspraken evalueren en doorspreken Planning en groepsindeling (laten) bijstellen
Peerreview terugkoppelings
formulier per object
Docent modereert stuurt bij
Student verwerkt
feedback uit de kring
Student plaatst object
voor expertreview
en/of
Docent review en
beoordeelt object als expert
Geplande expertreview
Fysieke bijeenkomst afstudeerkring Interacties in elektronische leeromgeving [ELO] Acties [en interacties] van de student Acties [en interacties] van de docent [expert]
Elektronische leeromgeving [ELO] met map voor materialen en formulieren, een vraag/antwoord forum [frequently asked questions] en omgeving waarin peerreview kan worden georganiseerd en ondersteund.
Docent organiseert
Student plaatst terug- koppelings-formulier en
gereviseerd object
Geplande peerreview
Student reviseert object op basis van
peerfeedback
Student plaatst peer-
review op ELO
Student voert peer-
review uit
Student plaatst object op ELO
Student ontwik-kelt het object
Peerreview scenario met kringbijeenkomsten en activiteiten in de elektronische leeromgeving (Götte et al., 2016).