Abteilung EvaluationAbteilung Evaluation FernUniversität in HagenFernUniversität in Hagen
Überlegungen zurÜberlegungen zurEvaluation an der FernUniversitätEvaluation an der FernUniversität
Stabsstelle Qualitätssicherung & Evaluation
~ Abteilung Evaluation ~
Dr. C. von Prümmer / Dr. Fritz Helms / U. Rossié
November 2005
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 22
RahmenbedingungenRahmenbedingungen
Die Aufgaben und Themenstellungen der Stabsstelle Stabsstelle sind durch bestimmte Rahmenbedingungen vorgegeben.
Zu diesen gehören:
Gesetzliche und andere extern gesetzte Grundlagen HRWG, insbesondere § 6 Zielvereinbarungen Erfordernise der (Re-) Akkreditierung
Hochschulinterne Grundlagen Evaluationsordnung Hochschulkonzept zum Qualitätsmanagement in der
Lehre der FernUniversität in Hagen Bestehendes Evaluationssystem der FernUniversität
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 33
Aufgabenbereiche und Themenfelder der Evaluation an der FernUniversität
Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005
Stabsstelle Q & E
Aufgaben-bereiche
InstitutionalResearch
Evaluations-untersuchungen
Konzepte & Instrumente
Beratung &Unterstützung
Beratung
Unterstützung
ZentraleAnlaufstelle
Themenfelder
Lehre &Studium
Kurs-/Modul-evaluation
Studiengangs-evaluation
Studiensystem & Medien
System-evaluation
Evaluationder VU
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 44
AufgabenbereicheAufgabenbereiche
Zu den Aufgabenbereichen der Stabsstelle Stabsstelle gehören vor allem:
Institutional research Evaluationsuntersuchungen Weiterentwicklung der Konzepte und Instrumente
Beratung und Unterstützung bei konkreten Evaluationsvorhaben PraxisTransferSeminare, Schulungen Einzelberatungen
Allgemeine / übergreifende Beratung und Unterstützung Liaison / Kooperation / Mitgliedschaften (intern und extern) Clearing Stelle (intern)
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 55
Liaison / Kooperation / Mitgliedschaften Liaison / Kooperation / Mitgliedschaften (intern und extern)(intern und extern)
Es gibt verschiedene interne wie externe Gremien, bei denen
die Stabsstelle mitarbeitet, mit beratender Stimme teilnimmt oder zu denen die Stabsstelle in Kontakt ist und mit denen sie sich
austauscht.
Hierzu gehören: Institutionelle Kooperation, intern
Ausschuss für Qualitätssicherung, beratende Mitgliedschaft . . .
Institutionelle Kooperation, Fernstudierende Evaluationsausschuß des AstA der FernUniversität Arbeitskreis Evaluation des Studierendenparlamentes der
FernUniversität . . .
Institutionelle Kooperation, extern Arbeitskreis der Evaluationsbeauftragten bzw. MitarbeiterInnen im
Bereich Evaluation and den Fachhochschulen und Universitäten im Land NRW
. . .
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 66
Clearing StelleClearing Stelle
Es wird zunehmend deutlich, dass die FernUniversität eine Clearing Stelle einrichten muss, zur
Sammlung von Informationen über sämtliche, nicht auf einzelne Lehrgebiete beschränkte, Evaluationsuntersuchungen
Verbreitung von Informationen über bisher durchgeführte, laufende oder geplante Evaluationsvorhaben in der FernUniversität
Da das Ausmaß von Erhebungen durch gesetzliche Vorschriften sowie die Erfordernisse der (Re-) Akkreditierung enorm steigen wird, ist dringend auf die Feldpflege zu achten, um die Antwortbereitschaft der Fernstudierenden nicht unnötig zu strapazieren
Im Interesse eines effektiven Ressourcenmanagements sollte vermieden werden,
Doppelerhebungen durchzuführen bei entsprechend in der FernUniversität vorhandenem Know
how und Befragungsinstrumentarium externe Evaluationsaufträge zu vergeben
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 77
Aufgabenbereiche der Evaluation: Übersicht
Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005
Aufgaben-bereiche
InstitutionalResearch
Evaluations-untersuchungen
Fragestellungen& Untersuchungs-verfahren
Untersuchungdurchführen
Konzepte & Instrumente
InhaltlicheWeiterentwicklung
MethodischeWeiterentwicklung
Beratung & Unterstützung
Beratung
PraxisTransfer-Seminare
Schulungen
Einzel-beratungen
Unterstützung
Hilfe bei derOperationalisierung
MethodischeUnterstützung
Umsetzung vononline Erhebungenmit SPSS-MR
ZentraleAnlaufstelle
Liaison &Kooperationen
Clearing Stelle
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 88
Aufgabenbereiche der Evaluation (1)
Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005
InstitutionalResearch
Evaluations-untersuchungen
Fragestellungen& Untersuchungs-
verfahren
Themen mitAuftraggeberInnenabklären
MethodischesVorgehenfestlegen
Untersuchungdurchführen
Untersuchungs-population & -designdefinieren
TechnischeUmsetzungz.B. Befragungen
Konzepte & Instrumente
InhaltlicheWeiterentwicklung
Konzepte &Themenfelder fürEvaluation von ODL
MethodischeWeiterentwicklung
kontinuierlicheStandardisierung
onlineBefragungen
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 99
Aufgabenbereiche der Evaluation (1 a)
Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005
Evaluations-untersuchungen
Fragestellungen& Untersuchungs-
verfahren
Themen mitAuftraggeberInnen
abklären
Fragestellungenkonkretisieren
Untersuchungs-populationdefinieren
AdressatInnenfür Ergebnissefestlegen
MethodischesVorgehenfestlegen
Kontakte mitKooperations-partnerInnen
Literatur-studium
Untersuchungdurchführen
Untersuchungs-population & -design
definieren
Sampledefinieren
Untersuchungs-design
Bericht /Präsentation
TechnischeUmsetzung
z.B. Befragungen
Fragebogenerstellen
Samplebildung
Anschreiben-- per Post-- online
Datensammlung& -auswertung
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1010
Aufgabenbereiche der Evaluation (1 b)
Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005
Konzepte & Instrumente
InhaltlicheWeiterentwicklung
Konzepte &Themenfelder für
Evaluation von ODL
Evaluationskonzeptefür die FernUniversität
Aktuelle Themen voninstitutional researchrezipieren
Literaturrecherche
Forschungsergebnisserezipieren
MethodischeWeiterentwicklung
kontinuierlicheStandardisierung
Befragungen-- Fragenkataloge-- Struktur
Frage-Bibliothekausbauen
Auswertungenstandardisieren
Vorlagen für Berichte/ Präsentationen
onlineBefragungen
online (SPSS-MR):Befragungs-Softwareanpassen
anwendungsbezogeneWeiterentwicklung
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1111
ThemenfelderThemenfelder
Die Themenfelder der Evaluation liegen vor allem in den Bereichen:
Lehre und Studium Kurs- und Modulevaluation (v.a. Kurse und
Studienmaterialien, Didaktik und Betreuung) Studiengangsevaluation (v.a. Bachelor- & Master-
Studiengänge)
Studiensystem und Medien Systemevaluation (v.a. Komponenten des
Studiensystems und Zielgruppen) Evaluation der Virtuellen Universität (v.a. Einsatz
von neuen Medien und IuK)
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1212
Themenfelder der Evaluation: Übersicht
Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005
Themenfelder derEvaluation
Lehre &
Studium
Kurs- & Modul-evaluation
Dateikurs
Sonstige Kursform
Studiengangs-evaluation
Struktur
Kohorten-analyse
Studiensystem &
Medien
Systemevaluation& Zielgruppen
Studierende
Lehrende
Sonstige
Medien
Zugang &Nutzungs-verhalten
E-Learning
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1313
Themenfelder der Evaluation (1)
Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005
Lehre & Studium
Kurs- & Modul-evaluation
Dateikurs
Kursmaterial
Beratung
Studierhinweise
Ergänzungen
Sonstige Kursform
Seminar
Übungen
Experimente
. . .
Studiengangs-evaluation
Struktur
Voraussetzungen
Aufbau
Zielsetzung
Kohorten-analyse
Studienziele
Studierverhalten
Studienerfolg
Verwertung des Abschlusses
Drop-OutBefragung
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1414
Themenfelder der Evaluation (2)
Überlegungen zur Evaluation an der FernUniversität / Abteilung Evaluation / cvp / November 2005
Studiensystem & Medien
Systemevaluation& Zielgruppen
Studierende
Frauen & Männer
Studien-anfängerInnen
AbsolventInnen/ Drop-Outs
Ältere / jüngereStudierende
. . .
Lehrende Sonstige
InteressentInnen
Non-Starter
Externe
Medien
Zugang &Nutzungs-verhalten
Ausstattung
Verfügbarkeit
Kompetenz
Umgang mitHard- & Software
. . .
E-Learning
Angemessenheit
Nutzungs-freundlichkeit
Lernverhalten
. . .
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1515
EvaluationsverfahrenEvaluationsverfahren
Die angewandten Evaluationsverfahren ergeben sich aus der langjährigen Evaluationspraxis der
FernUniversität Entwicklungen im Bereich der neuen Medien und
IuK, die zum Einsatz kommen
den Erfordernissen der (Re-)Akkreditierung
Hierbei ist u.a. zu berücksichtigen, dass flächendeckende Erhebungen mit höherem
Standardisierungsbedarf einhergehen Befragungen zunehmend online durchgeführt
werden
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1616
Evaluationsverfahren: Beispiel Kurs- & Modulevaluation (Übersicht)
Überlegungen zur Evaluation an der FernUniversität / cvp / November 2005
Kurs- & Modul-evaluation
Fragebogen
standardisierteBefragung
feedback-button
onlineFragebogen
offlineFragebogen
spezifischeBefragungen
Lehrtext-kritik
onlineFragebogen
offlineFragebogen
Interview
Einzel-interview
persönlich
telefonisch
per Video-konferenz
Gruppen-interviews
persönlich
telefonisch
technischvermittelt
Monitoring
Aufzeichnungen
log-in files
Prüfungs-ergebnisse
. . .
Beobachtungen
Arbeits-verhalten
Lösungs-strategien
. . .
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1717
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1818
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 1919
Gegenstände der EvaluationGegenstände der Evaluation
Innerhalb der Themenfelder wendet sich die Evaluation konkreten Untersuchungsgegenständen zu
Im Rahmen der Kurs- und Modulevelaution z.B. sind dies Einzelne Kurselemente wie
StudienmaterialBeratung /Kursbetreuung / StudierhinweiseLeistungsnachweise / Klausuren / Prüfungen
Medieneinsatz
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 2020
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 2121
FernUniversität in HagenFernUniversität in HagenAbteilung EvaluationAbteilung Evaluation November 2005 / Folie November 2005 / Folie 2222