eAssessment im Testcenter der Universität Bremender ... · eAssessment im Testcenter der Universität Bremender Universität Bremen Objektiv Valide Sicher 9. Tagung des Bologna-Zentrums

eAssessment im Testcenter eAssessment im Testcenter der Universität Bremender Universität Bremender Universität Bremender Universität Bremen

Objektivj

Valide

Sicher

9. Tagung des Bologna-Zentrums der HRK - Ulm - 8. Oktober 2009

DefinitioneAssessment:eAssessment:Erstellung, Durchführung von Auswertung von Bewertungen unter Einsatz von Computern1

Form Diagnostisch Formativ Summativ

Bsp Ziel Selektion Lernlenkung BewertungBsp. Ziel Selektion Lernlenkung Bewertung

Bsp. Typ Einstufungstest Übung eKlausur

e-Klausur:eAssessment, bei dem unter Aufsicht, alleine und nur mit den zugelassenen Hilfsmitteln vorgegebene Aufgaben bearbeitet werden

1) R d l (2009)1) Ruedel (2009)

Christinas BeispielEinstufungstests im TestcenterEinstufungstests im Testcenter

Informationen auf eassessment.uni-bremen.de

Kompetenzorientierte Fragetypen

Ergebnis direkt bei Abgabe, sofortige Zeugnisausstellung

Self-Assessments und Probeklausuren

Zahlreiche Hilfestellungen in der Prüfungssoftware

Prüfungsablauf vergleichbar zu schriftlichen Prüfungen

Verwendung komplexer AnlagenVerwendung komplexer Anlagen

Kommentierung der Fragen / Hinweise an die Lehrenden

Nachbewertung offener Fragen

Schwachstellenanalyse

Ziel: Qualitätsverbesserung von Prüfungen

Objek‐jtivität Zeitersparnis durch

automatische Korrektur

P ti iPrüfungs-

qualität

Prozessoptimierung

q

Relia‐bilität

Vali‐dität

Ökonomie

Ziel: Qualitätsverbesserung von Prüfungen

Objek‐jtivität Sofortige

Ergebnisrückmeldung bei geschlossenen Fragen

Prüfungs-qualität

Schnellere Nachbewertung offener q

Relia‐bilität

Vali‐dität

Fragen

Schwachstellenanalyse

Ökonomie

Ziel: Qualitätsverbesserung von Prüfungen

Objek‐Objektivität

Hohe Auswertungs- und Durchführungsobjektivität

Prüfungs-qualitätq

Relia‐bilität

Vali‐dität

Ökonomie

Ziel: Qualitätsverbesserung von Prüfungen

Objek‐jtivität Einfacher meßbar

(Konsistenzanalyse)

St ti ti h A tPrüfungs-

qualität

Statistische Auswertung(Schwierigkeitsgrad)

Vergleich unabhängigerq

Relia‐bilität

Vali‐dität

Vergleich unabhängiger Durchläufe

Ökonomie

bilität

Ziel: Qualitätsverbesserung von Prüfungen

Objek‐PrüfungLernziele

jtivität

Prüfungs-qualität

Integration fachspezifischer Softwareq

Relia‐bilität

Vali‐dität

Internetrecherche

Integration von Multimedia

Ökonomie

dität

Hoher Initialaufwand

…

Hoher Initialaufwand

Streitpunkt: Validität von eKlausuren

eKlausuren = 100% MCMC = Reproduktion von Faktenwissen100% Faktenwissen geringe Validität ?g g

eKlausuren = FreitextKurztexte und Zahlen

= BeurteilungSyntheseKurztexte und Zahlen

ZuordnungenVideoessaysHö tä d i

SyntheseAnalyseAnwendungV tä d i

!Hörverständnis….MC

VerständnisFaktenwissen

ABER…

eAssessment als Dienstleistung des ZMML

Unterstützung der Lehrenden in allen Phasen computergestützter Assessments

Pl

Im Vorfeld Währendessen Im Anschluß

Planung

E t ll D hfüh

Nachbewertung

A tErstellung Durchführung Auswertung

Vorbereitung Archivierung

Akzeptanz durch Service

MotivationArbeitserleichterung

Motiva‐tion

g

Neue prüfungsdidaktische Möglichkeiten

Können

Akzeptanz

Beratung / Schulung / Support

ErmöglichungAkzeptanz

Können Ermög‐

Bereitstellung der Infrastruktur

Katalogerstellung und Qualitätssicherung g

lichungQua tätss c e u g

Testcenter

Raumplan Testcenter

13

Ausstattung

14

Vorteile des Testcenters gegenüber PC-Pool-Lösung

Hohe Kapazität

Stabile Prozesse – Hohe DurchführungssicherheitStabile Prozesse Hohe Durchführungssicherheit

Drastisch reduzierter Personalaufwand

Verbesserter Datenschutz und Datensicherheit

Neue Aufgaben und PrüfungsformateNeue Aufgaben- und Prüfungsformate

Qualitätsmanagement: Prozessqualität

K ll d BeratungKontrolle der Prüfungsprozesse

Ri ik t

Beratung

Schulung Anmeldung

A f i htRisikomanagement

Datenschutz und Datensicherheit

Katalogerstellung / QMAufsichten

Datensicherheit

Dokumentation Zugangstest

Vorbereitung

Nachbewertung

Prüfung

Ergebnisexport + Analyse

Einsicht

TMT – Dateiaustausch, Termine und Controlling

17

Fragetypen

Freitextfragen Offen

F

Freitextfragen

Eingabe Zahlen / Texte

Offen

Ges

Freie Einge,

PD

F)

Positionieren

Zuordnen / Sortierenschlossen Agabe

n (S

crip

te

obje

kte

Zuordnen / Sortieren(Texte, Graphiken)

Antwortpaare

n (autom

Antw

ort-WAnl

agen

timed

iao

Antwortpaare(z.B. Ja/Nein)

Multiple Choice

m. B

ewer

Wahl-Verfm

plex

e A

Mul

t

Multiple Choice

Single Choice

rtung)

fahrenKom

18

Screenshot1

Screenshot2Screenshot2

Sonderfrage (Auswahl + Eingabefeld)

Single-Choice - Auswahlliste

Multiple Choice - Matrix

Qualitätsmanagement der Fragenkataloge

F t llFragenerstellung

KontrolleStatistische o Inhaltsvalidität

Prüfkriterien

AutorenAuswertung o Konstruktvaliditäto Fragestellungo Bewertung

KontrolleZMML

Kommentare Studierende

KatalogRevision

o Bewertungo Schwierigkeitsgrado Trennschärfe

KatalogtestEinstellungs

o Thematische Zuordnungo Layouto ZeitbedarfKatalogtestEinstellungs-

test

eAssessment in Zahlen

25.000 Prüfungsleistungen gesamt (Testcenter 14.000 )

aktuell ca. 4000 Prüfungsleistungen pro Semester

35Veranstaltungen mit eKlausur

g g p

20

25

30

Biologie / ChemieSozialwissenschaftenSprachwissenschaftenRechtswissenschaftKunst- u. Kulturwiss.

estc

ente

r

cent

er

5

10

15

ErziehungswissenschaftMathematik / InformatikHuman u. Gesundh.wiss.ProduktionstechnikBiologie / Chemie Te

Test

c

0Wirtschaftswissenschaft

25

Wo stehen Wir?

Pilotprojekt Diversifi-zierung

Etablierung Institutiona-lisierungProjekt

Einstieg Aufbau Professiona-li i

OptimierungFormen

eKlausurSoftwareprüfungePortfolio

lisierung

1. Generation

2. Generation

Generation„R“eAssessment

GenerationPapier Computer Multimedia VR, Simulation, …

Einmalig, TC Einmalig, TC Wiederholt, Ortsunabhängig

Generation(Bennett 1998)

Zukünftige Strategische Ausrichtung

Förderung formativer eAssessments(u.a. ePortfolios)

Objektivierung und Qualitätsmanagement des Prüfungswesens

Ausbau Prüfungsdidaktische Beratung

Kommende Innovationsimpulse

Nationales Open Science Zentrum für kompetenzorientiertes eAssessment

Verzahnung eLearning – eAssessment am Beispiel eGeneral-Studies

Vielen Dank für Ihre Aufmerksamkeit

[email protected]

www.eassessment.uni-bremen.de

29