Einführung E-Assessment & Organisation von E-Assessment Cornelia Ruedel E-Learning Center, Universität Zürich http://www. elc . uzh . ch
Einführung E-Assessment
&
Organisation von E-Assessment
Cornelia RuedelE-Learning Center, Universität Zürich
http://www.elc.uzh.ch
Agenda
1. Teil: Einführung• Was ist E-Assessment?
• Begrifflichkeiten und Zusammenhänge
2. Teil: Vom Pilotversuch zum universitätsweiten Angebot• Bestandteile eines Pilotversuchs
• Verschiedene Modelle
• Schlüsselfaktoren
FusszeileGMW-Workshop 03.09.2009 / 3
Alltag an der Universität
Aktuelle Prüfungssituationan der Universität Zürich• vermehrtes Prüfungs-
aufkommen durchdie Bologna Reform
• Prüfungsdurchführungund -auswertung ist einegrosse Personalbelastung
• Problematik: Massenfächer(Z.B. UZH: Assessmentstufe Wirtschaftswissenschaften)
Universitärer Dreikampf: Prüfung, Hausarbeit, Referat
FusszeileGMW-Workshop 03.09.2009 / 4
Probleme mitkonventionellen Prüfungen
Schriftlich:
fragliche Validität und Reliabilität,
zeitaufwendige Korrektur
Problem: Lesbarkeit der Handschriften
Mündlich:fragliche Validität,Reliabilität
und Fairness,
jede/r Prüfling hat andere Bedingungen,
zeitaufwendige Durchführung
FusszeileGMW-Workshop 03.09.2009 / 5
Was ist E-Assessment?
Ruedel et al (2007a)
FusszeileGMW-Workshop 03.09.2009 / 6
Was ist E-Assessment?
DefinitionUnter E-Assessment versteht man die Benutzung von ICT bei den Arbeitschrittenzur Erstellung, Präsentation, Durchführung und der Auswertung vonLeistungsnachweisen.
oderDer Begriff E-Assessment beschreibt im Allgemeinen das Prüfen mit„e“-lektronischen Medien. Hierbei wird bei den Arbeitschritten Erstellung,Durchführung, Auswertung und Rückmeldung auf allen Ebenen (Dozenten,Prüflinge) der Computer verwendet.
kurz gesagt: ...E-Assessment = Erstellung/Durchführung/Auswertungvon Assessment mit Hilfe von Computer/Netzwerk
FusszeileGMW-Workshop 03.09.2009 / 7
Wie hat sich E-Assessmententwickelt? (Teil I)
Stand-alone
Closed
network/
Intranet
Internet
Software which has the capability
to run on a stand-alone computer
over a network/intranet or
through the Internet and to
combine the use of all three
technologies if appropriate.
For example: a test which is
posted to students on a CD-
ROM. Students take the test
and upon completion the
software accesses the Internet
to upload files to a database.
For example: an assessment
which is delivered question by
question from a closed network
server. When all results have
been stored, they are distributed
to tutors using the Internet.
For example: a test
completely downloaded
from a server onto a
computer, which is offline
during the test-taking and
reconnects to the network
to upload final results.
Bull, J. & McKenna, C. (2004): Overview over CAA Technologies
Bull & McKenna (2004)
FusszeileGMW-Workshop 03.09.2009 / 8
Wie hat sich E-Assessmententwickelt? (Teil 2)
CAA OMR
Port-
folios
CBA
Networked
Online Assessment stand-
alone
Warburton, B. & Conole, G. (2005)
Warburton, B. & Conole, G. (2005): Different Types of CAA
FusszeileGMW-Workshop 03.09.2009 / 9
Wie hat sich E-Assessmententwickelt? (Teil 3)
Technologiebasiertes Assessment
E-Assessment
Online Assessment
Internet basiertes
Assessment
Web basiertes
Assessment
Computerbasiertes
Assessment
Bloh, E. (2006): Differenzierung von E- / Online-Assessment
Bloh (2006)
FusszeileGMW-Workshop 03.09.2009 / 10
Selektion
diagnostisch formativ summativ
Lehrveranstaltung (en)
Modul
Lernlenkung Bewertung
Eingangs-test
Prüfung
Welche Einsatzbereiche gibt es?
Crisp (2007)
E-ASSESSMENTS
E-Port-folios
ElectronicSubmission
OnlineDiskussions-
forumPeer-
Assess-ment
LEISTUNGSNACHWEISE
MündlichePrüfungen
Seminar-arbeiten
Poster-Präsentationen
Studien-tagebücher
Port-folios
Protokolle
Gruppen-prüfungen
Gruppenpuzzle
Blog
Wikis
Referate
Peer-Assess-ment
SchriftlichePrüfungen
E-Klausur
elektronischePrüfungen
offene Fragen
offene Fragen
geschlossene Fragen
geschlossene Fragen
Wissenschafts-praktische
Tätigkeiten
Simu-lationen
Digital Storytelling
MündlicheMitarbeit
- gibt Ähnlichkeiten
- gleich
Prüfungsformen
Apaptives Testing
OMR
FusszeileGMW-Workshop 03.09.2009 / 12
Teil 2:
Vom Pilotversuch
zum universitätsweiten Angebot
Prüfungsformen
Was wird für ein Pilotversuchbenötigt?
Prüfungs-
ordnungen
RäumeComputer
Netzwerk
Software Hardware
Dozierende
Lehr-veranstaltung
Studierende
Prüfungs-fragen
Verwaltung
Universität
Idee: E-Assessment
Sicherheits-
aspekte
FusszeileGMW-Workshop 03.09.2009 / 14
Grundsätzliche Überlegungen: Wie entwickeln sich Pilotprojekte?
Ideal Institutional
Ideal tutor
Disastrous
Ad hoc
Lowstakes,smallscale
Lowstakes,largescale
Highstakes
Embedded End oflife
Planning
Warburton (2005): Typische CAA Entwicklungen
Piloting
Warburton (2005)
FusszeileGMW-Workshop 03.09.2009 / 15
JISC Forschungsprojekt
2005 - 2007:
JISC Project: Case Studies Project «Innovative andeffective Use of e-Assessment»• Good Practice
• Identifikation von Erfolgsfaktoren
• Hilfestellung für Universitäten im Anfangsstadium
Whitelock et al. (2006) / Ruedel et al. (2007)
FusszeileGMW-Workshop 03.09.2009 / 16
Ergebnisse:Maturity and Effectiveness
FusszeileGMW-Workshop 03.09.2009 / 17
Organisation-Klassifikation:3 verschiedene Typen
FusszeileGMW-Workshop 03.09.2009 / 18
Typ 1: Departmental Champion
• Wer: Dozent/in
• Motivation: Verbesserung der Lehre/Prüfung
• Software: sehr oft Eigenentwicklungen
• Durchführung: Computerarbeitsräume
• Dokumentation: vorhanden
• Einfluss auf die Gesamtuniversität: gering
• Kommunikation: Innerhalb der Fach-Community aber nichtinnerhalb der Universität
• Finanzierung: Meist aus Eigenmittel finanziert
• Vorteile: sehr individuelle und innovative Lösungen
Ruedel et al.(2007b)
FusszeileGMW-Workshop 03.09.2009 / 19
Typ 2: Faculty based Team
• Wer: Kreis von Dozierenden mit dem Support Team innerhalb
einer Fakultät
• Motivation: Meistens auf ein bestimmten Aspekt konzentriert,
z.B. rich feedback
• Software: Eigenentwicklung oder kommerzielle Software
• Durchführung: Computerarbeitsräume
• Dokumentation: langjährige Erfahrung mit vielen Publikationen
• Einfluss auf die Gesamtuniversität: mässig
• Kommunikation: innerhalb Fakultät & ausserhalb der Universität
• Finanzierung: Projektmittel
Ruedel et al.(2007b)
FusszeileGMW-Workshop 03.09.2009 / 20
Typ 3: Central Team
• Wer: Zentrales Team unterstützt und koordiniert die E-Assessment Aktivitäten
• Motivation: Kosten- und Zeitersparnis
• Software: Kommerzielle Software oder Eigenentwicklung mithohen Sicherheitsstandard
• Durchführung: Eigene Räumlichkeiten oderComputerarbeitsräume der Universität
• Dokumentation: sehr gut
• Einfluss auf die Gesamtuniversität: universitätsweite Angebot
• Kommunikation: transparent innerhalb und ausserhalb derHochschule
• Finanzierung: Direkte finanzielle Unterstützung von derUniversitätsleitung
Ruedel et al.(2007b)
FusszeileGMW-Workshop 03.09.2009 / 21
Was bringen die Forschungsergebnisse?
FusszeileGMW-Workshop 03.09.2009 / 22
Einteilung als Entwicklungspfad
Müssen alle Stadien durchlaufen werden oder kann E-
Assessment auch gleich in der 3. Stufe eingesetzt
werden?
DepartmentalChampion
Faculty basedTeam
CentralTeam
Zeit
Einführung vonE-Assessment
KommerzielleNutzung
Typ 1 Typ 2 Typ 3
Ruedel et al.(2007b)
FusszeileGMW-Workshop 03.09.2009 / 23
Schlüsselfaktoren für die effektive
Organisation von e-Assessment
• Unterstützung durch Universitätsleitung
• Zentrales Team mit klarer Rollenverteilung
• Effektive Kommunikation mit Dozierenden
• LMS als Katalysator für formatives e-Assessment
• Klare Richtlinien und Arbeitsabläufe
Ruedel et al.(2007b)
FusszeileGMW-Workshop 03.09.2009 / 24
Klare Richtlinien und Arbeitsabläufe
FusszeileGMW-Workshop 03.09.2009 / 25
1. Schritt: Identifikation allerBeteiligten
Dozierende
Studie-rende
Institute
Fakultäten
Uni-leitung
E-Assess-MentTeam
E-Learning
AufsichtID
Netzwerk
Rechen-zentrum
Hörsaal-Buchung
Bauten und
Räume
Rechts-dienst
Kanton
Wirtschaft
Curriculum
Eltern
Freunde
Mit-Studie-rende
Verwaltung
Bund
Medien
E-Assessment
Reinigung
Hörsaal-austattung
Autoren
Editoren
Stakeholder
3. Ebene
2. Ebene
1. Ebene
Senior Management
Erstellung
Finanzgeber
Meinungsmacher
Unterstützung
Bereitstellung
FusszeileGMW-Workshop 03.09.2009 / 26
2. Schritt: Entwicklungskreislauf(2006)
Whitelock, et al. (2006) / Ruedel et al. (2007a)
FusszeileGMW-Workshop 03.09.2009 / 27
3. Schritt: Definition der ArbeitsschritteMotivation
- Analyse der Lehre - Beratungen - Lernmaterialien - Mitarbeiterschulungen
Planung
- Festlegung der Prüfungsart und Beurteilungskriterien - Fragenherstellung nach Vorgaben der Prüfungsinhalte - Vorrevision der Fragen (sprachlich, inhaltlich)
Entwicklung
- Eingeben /Programmieren der Frage in den Frageneditor - Grafische Umsetzung (z.B. FLASH) - Revision der Fragen - Vortest der Fragen - Zusammenstellung des Fragenpools
Administration
- Prüfungsausschreibung - Informationen über Leistungsnachweis für Studierende - Anmeldung – Zugang zu Prüfungssystem - Erstellen der Kandidatenliste - Reservation des Prüfungsraum
Durchführung
- Test des Lesistungsnachweis - Probelauf für die Studierende - Bereitstellen des Leistungsnachweis - Durchführung - Prüfungsaufsicht - Datenübermittlung
Auswertung
- Erste elektronische Auswertung/Beurteilung - Manuelle Auswertung bei Essay-Prüfungen - Analyse - Entscheide zur definitiven Bewertung - Definitive elektronische Auswertung/Bewertung - Nachprüfen der Prüfungsresultate (manuelle Stichproben) - Feedback an die Kandidaten - Analyse/Bericht/Evaluation: Überprüfen der Gütekriterien
Rekurse - Bearbeitung von allfälligen Rekursen
Archivierung - Archivierung der Resultate - Elektronische Aufbewahrung der ganzen Prüfung
Evaluation
- Nachlese und Verbesserungsvorschläge
Ruedel et al (2007a)
FusszeileGMW-Workshop 03.09.2009 / 28
4. Schritte: Schnittstellenanalyse
D F U Z K ID H BUR RD S
Motivation x x x x X
Planung x x x
Entwicklung x
Administration x x x x X x
Durchführung x x x X
Auswertung x
Rekurse x X x
Archivierung x x x X
Evaluation x x x x
Ruedel et al (2007a)
FusszeileGMW-Workshop 03.09.2009 / 29
5. Schritt: Arbeitsmodell mit Risiken
Risikomanagement
• Pädagogische Risiken
• Operationale Risiken
• Technische Risiken
• Web-basierte Risiken
• Finanzielle Risiken
• Sicherheitsaspekte
Ruedel et al (2007a) / Zakrzewski & Steven, C. (2003)
FusszeileGMW-Workshop 03.09.2009 / 30
5. Schritt: Arbeitsmodell mit Risiken
Evaluation
Archivierung
Rekurse
Auswertung
Durchführung
Administration
Entwicklung
Planung
P1P1P1Motivation
SRDBURHIDKZUFD
ZürichArbeitsmodell
FusszeileGMW-Workshop 03.09.2009 / 31
Zusammenfassung:
Organisatorische Schlüsselfaktoren
• Unterstützung durch Universitätsleitung
• Zentrales Team mit klarer Rollenverteilung
• Effektive Kommunikation mit Dozierenden
• LMS als Katalysator für formatives e-Assessment
• Klare Richtlinien und Arbeitsabläufe
Weitere wichtige Faktoren
• Dozierende
• Prüfungsfragen
FusszeileGMW-Workshop 03.09.2009 / 32
Literaturliste:
Bloh, E. (2006) Differenzierung von E-/Online-Assessment, Präsentation bei VCRP-Workshop –„Möglichkeiten und Probleme des Online Assessments“ in Kaiserslautern am 20.04.2006.
Bull, J. & McKenna, C. (2004) Blueprint for Computer-assisted Assessment London: RoutledgeFalmer
Ruedel, C.; Schiefner, M.; Noetzli, C.; Seiler Schiedt, E. (2007a).Risikomanagement für E-Assessment. In:Marianne Merkt, Kerstin Mayrberger, Rolf Schulmeister, Angela Sommer,Ivo van den Berk (Hrsg.).Studieren neu erfinden – Hochschule neu denken. Waxmann Verlag, siehe auch:http://pruefung.net/?p=439
Ruedel, C., Whitelock, D. and Mackenzie, D. (2007b) Key Factors for Effective Organisation of E-Assessment, IN: Proceedings of the 11th CAA Conference, Loughborough: Loughborough University, UK
Warburton, B. und Conole, G. (2005) A review of computer-assisted assessment. ALT-J, Research inLearning Technology Vol. 13, No. 1, March 2005, pp. 17-31
Warburton, W. (2005) Towards a theory of computer-assisted asessment uptake in UK higher education.Unpublished PhD Thesis, University of Southampton.
Zakrzewski, S. and Steven, C. (2000) A Model for Computer-based Assessment: the catherine wheelprinciple, Assessment & Evaluation in Higher Education, 25, 201-215
Zakrzewski, S. & Steven, C. (2003) Computer-based Assessment: quality assurance issues, the hub of thewheel. Assessment and Evaluation in Higher Education, 30, 603-620