1
Kompetenz messen, Wissen überprüfen, Erfolg evaluieren.PROF. DR. JOHANNES MOSKALIUK 24.01.2017 | LEARNTEC KONGRESS | KARLSRUHE
WORKSHOP
Johannes Moskaliuk | Workshop Evaluation
2In diesem Workshop lernen Sie ...
- worauf es bei einer Evaluation ankommt, - welche Möglichkeiten es gibt, Zufriedenheit, Lernerfolg und erworbene
Kompetenzen zu messen, - welche typischen Fehler bei der Formulierung von Fragen es gibt, - welche methodischen Schwierigkeiten auftreten können, - was bei der computerbasierten Testung zu beachten ist, - und was bei der Interpretation der Ergebnisse berücksichtigt werden muss.
Johannes Moskaliuk | Workshop Evaluation
3Inhalt
- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Computerbasiertes Testen- Einblick in die Praxis
Johannes Moskaliuk | Workshop Evaluation
4Happy Sheet
5%9%
21%
36%
29%
Zufriedenheit der Teilnehmenden
geht soin Ordnunghervorragendsehr hervorragendäußerst hervorragend
Die Location für das Seminar war ... Der Trainer, die Trainerin war mir sympathisch. Das Seminar war anstrengend für mich. Ich möchte gerne mehr zu diesem Thema lernen. Das Seminar hat mit gut gefallen.
Wichtige Fragen, aber ... Johannes Moskaliuk | Workshop Evaluation
5
Zu Beginn müssen deshalb die Ziele des Projekts definiert werden und dann die Frage geklärt werden, was in der Evaluation gemessen werden soll.
... viele Evaluationsprojekte scheitern*, weil zu Beginn nicht klar ist, was gemessen werden soll.
*gemeint ist: Die Ergebnisse können nicht genutzt werden.
Johannes Moskaliuk | Workshop Evaluation
Ihre Beispiele aus der Praxis
- In welchem Ihrer aktuellen Projekte würde sich eine Evaluation anbieten?
- Was ist das zentrale Erfolgskriterium? Woran erkennen Sie, dass Ihr Projekt erfolgreich war.
- Wer hat Interesse an den Ergebnissen der Evaluation?- Welche Konsequenzen haben die Ergebnisse der Evaluation für
das Projekt?
6
Johannes Moskaliuk | Workshop Evaluation
und Fragen
7Was ist eine Evaluation?
Welche Ziele und welche Erfolgskriterien werden verwendet?
Wurde das intendierte Ziel erreicht? War eine Maßnahme wirksam? Haben die Teilnehmenden etwas gelernt?
Soll Ist
Bewertung der Ergebnisse von Projekten oder Prozessen
summativ formativ
Johannes Moskaliuk | Workshop Evaluation
8Was sind die Kriterien für Erfolg?
Kirkpatrick, 1959 Johannes Moskaliuk | Workshop Evaluation
9Inhalt
- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Computerbasiertes Testen- Einblick in die Praxis
Johannes Moskaliuk | Workshop Evaluation
10Welche Methoden gibt es?Wissenstest ............................. Längsschnittstudie
festgelegter Zielwert
vorher / nachher
Womit wird verglichen?
vorhandene Kennwerte
langfristig
kurzfristig
Johannes Moskaliuk | Workshop Evaluation
11Welche Messmethoden gibt es?Ein Fragebogen ist nur eine von vielen Möglichkeiten!
Johannes Moskaliuk | Workshop Evaluation
12Was ist eine gute Messung?
Objektivität
Validität
Reliabilität
Die Ergebnisse sind unabhängig von der durchführenden, auswertenden und interpretierenden Person.
Der Test misst, was er messen soll.
Der Test misst genau, d.h. mit geringem Messfehler.
Johannes Moskaliuk | Workshop Evaluation
13Projektive Verfahren
Rorschach - Test
Thematischer Apperzeptionstest (TAT)OMT (Operanter Motiv-Test)
Johannes Moskaliuk | Workshop Evaluation
14Apparative TestsDrahtbiegeprobeWiener Testsystem
Johannes Moskaliuk | Workshop Evaluation
15Fragebogen | Befragungenpapierbasiertcomputerbasiert
Johannes Moskaliuk | Workshop Evaluation
online
© Raim
ond Spekking via Wikim
edia Comm
ons
16Inhalt
- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Computerbasiertes Testen- Einblick in die Praxis
Johannes Moskaliuk | Workshop Evaluation
17Aufgaben mit freiem Format
Geben Sie so viele kreative Ideen wie möglich an, was man mit einer Garnrolle und einem Nagel machen könnte. _________________________________
Kurzsatzaufgaben
Vorteile NachteileReproduktion von Wisseneigene Antwort
mehr Aufwand für den Probanden
zufällig richtige Antworten sind ausgeschlossen
Mehr Aufwand für die Auswertung
gut zur Erfassung von Motiven und Gründen
Auswertungsobjektivität eingeschränkt
bei projektiven Verfahren
Sehr abhängig von sprachlicher Kompetenz des Probanden Johannes Moskaliuk | Workshop Evaluation
18Aufgaben mit freiem Format
Atheist verhält sich zu Religion wie Pazifist zu ____________ Specht und Ente sind ____________Die Hauptstadt von Deutschland ist ____________2 4 8 16 ____________
Ergänzungsaufgaben
Vorteile NachteileReproduktion von Wissenstatt nur Wieder-erkennung
meist nur Faktenwissen prüfbar
zufällig richtige Antworten sind ausgeschlossen
Abhängig von Lesefähigkeit und Intelligenz
Wenn Auswerteschema: Objektivität hoch
Mehr Zeitaufwand für Durchführung und Auswertung Johannes Moskaliuk | Workshop Evaluation
Aufgaben mit gebundenem Antwortformat
Zuordnungsaufgaben
Umordnungsaufgaben
Johannes Moskaliuk | Workshop Evaluation
19
Aufgaben mit gebundenem Antwortformat
ZuordnungsaufgabenUmordnungsaufgaben
Vorteile Nachteileeinfach, ökonomisch, objektiv
Keine Reproduktion von Wissen
Zufällig richtige Antwort im Prinzip ausgeschlossen
Antwortalternativen nicht unabhängig. Freiheitsgrade sinken mit jeder richtigen Zuordnung
Gut für Wissenstests / Kenntnistests geeignet
Mehr Zeitaufwand für Durchführung und Auswertung
Johannes Moskaliuk | Workshop Evaluation
20
Aufgaben mit gebundenem Antwortformat
Auswahlaufgaben
Johannes Moskaliuk | Workshop Evaluation
21
Aufgaben mit gebundenem Antwortformat
Dichotome AufgabenVorteile Nachteileeinfach, ökonomisch, objektiv
Keine Reproduktion von Wissen
Kurze Lösungszeit Hohe Ratewahrscheinlichkeit
Angela Merkel ist ...
☐ Bundeskanzlerin der BRD.☐ Ministerpräsidentin von
Berlin. Ich würde gerne mehr über das Thema wissen.
☐ Stimmt.☐ Stimmt nicht.
Johannes Moskaliuk | Workshop Evaluation
22
23
Mehrfachwahl-Aufgaben
Multiple-Choice Aufgabeneine vs. mehrere korrekte Antwortalternativen
Vorteile Nachteileeinfach, ökonomisch, objektiv
Keine Reproduktion von Wissen
Ratewahrscheinlichkeit verringert, da mehr Antwortalternativen
Nicht immer sinnvoll, z.B. nicht für Kreativität
Verzerrungen, wenn Distraktoren nicht gut gewählt oder Hinweis auf richtige Antwort enthalten
Welche Personen sind Mitglied des aktuellen Bundeskabinetts?
☐ Angela Merkel☐ Barack Obama ☐ Sigmar Gabriel☐ Winfried Kretschmann
Johannes Moskaliuk | Workshop Evaluation
Aufgaben mit gebundenem Antwortformat
Ihre Beispiele aus der Praxis
- Formulieren Sie einige Beispielfragen (Items), die Sie in Ihrem Evaluationsprojekt einsetzen möchten.
- Machen Sie sich Notizen!
Diskutieren Sie: - Welche Problem könnten sich bei der Frage ergeben? - Welche Lösungsmöglichkeiten sehen Sie?
24
Johannes Moskaliuk | Workshop Evaluation
und Fragen
25Inhalt
- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Computerbasiertes Testen- Einblick in die Praxis
Johannes Moskaliuk | Workshop Evaluation
Problem: Nicht disjunkte Antwortalternativen
Problem: Nicht exhaustive Antwortalternativen
Vollständigkeit der Antwortalternativen
Antwortalternativen schließen sich gegenseitig aus
Exhaustivität bei Persönlichkeitstest wichtig
Alternative: Forced Choice
Wie groß ist 1/5 von 10?
a.) kleiner als 1,5 b.) 1,5 bis 2 c.) 2,0 bis 2,5 d.) größer als 2,5
Wählen Sie die Antwort aus, die auf Sie am besten zutrifft. a.) Ich bevorzuge harte, realistische Action-Thrillerb.) Ich bevorzuge gefühlvoll, feinsinnig Filme. Johannes Moskaliuk | Workshop Evaluation
26
Konstruktion von Beurteilungsaufgaben
Skalenstufen visuelle Analogskaladiskret gestufte Ratingskala
Polarität unipolar vs. bipolar
Johannes Moskaliuk | Workshop Evaluation
27
28Konstruktion von Beurteilungsaufgaben
SkalenpunkteNumerische Skala IntervallskalaVerbale RatingskalaOptische Skalen
Johannes Moskaliuk | Workshop Evaluation
29Konstruktion von Beurteilungsaufgaben
Mittelkategorie
Weiß nicht Kategorie
gerade / ungerade Anzahl Skalenpunkte
asymmetrische Skalen Boden- / Deckeneffekte
Johannes Moskaliuk | Workshop Evaluation
30Welche Probleme sehen Sie bei folgenden Items?
o Finden Sie keinen Gefallen an der Abholzung des Regenwaldes?o Ich finde nicht, dass ich häufig nicht hungrig bin!o Wenn ich mit meinem Auto zu einem wichtigen Meeting fahre, so wü̈rde ich
mich, falls es dann noch einen Stau aufgrund der Rush Hour gäbe, aufregen.o Ich neige zur Prokrastination. o Mein Kind kann sich nie auf nur eine Aufgabe konzentrieren.o Ich gehe gerne auf Parties und trinke gerne Alkohol.o Die jü̈ngsten Erfolge der transkraniellen Magnetstimulation im Bereich der
alternativen Therapien affektiver Störungen halte ich für ein sehr wichtiges Forschungsergebnis.
o In letzter Zeit war ich häufig in der Oper.
Johannes Moskaliuk | Workshop Evaluation
31Itemformulierung
direktSind Sie ängstlich?
indirektFühlen Sie sich unsicher, wenn Sie nachts allein auf der Straße sind?
hypothetisch biografiebezogenStellen Sie sich vor, es gäbe immer wieder Konflikte zwischen den Mitarbeiternin ihrer Abteilung.
Wie haben Sie sich bei der letztenAuseinandersetzung mit einem Kollegen verhalten?
Exkurs
Johannes Moskaliuk | Workshop Evaluation
32Itemformulierung
konkret abstraktWie verhalten Sie sich, wenn Sie einen Streit zwischen Kollegen schlichten müssen?
Wie belastend schätzen Sie dieArbeit in einem konfliktreichen Arbeitsumfeld ein
personalisiert depersonalisiertTreiben Sie regelmäßig Sport? Halten Sie es für sinnvoll, regelmäßig
Sport zu treiben?
Exkurs
Johannes Moskaliuk | Workshop Evaluation
33ItemformulierungQualität / Intensität
Halten Sie sich für einen ängstlichen Menschen?Bekommen Sie Herzrasen, wenn Ihnen nachts jemand auf der Straße folgt?
SelbstbeschreibungIch bin ein fröhlicher Mensch.
FremdbeschreibungAndere halten mich für einen fröhlichen Menschen.
TraitzuschreibungIch lache oft und gern.
Wünsche Interesse
Ich interessiere mich für Psychologie.
EinstellungenMeinungen
Es gibt wichtigeres als beruflichen Erfolg
BiografieIch war schon oft im Ausland.
Exkurs
Johannes Moskaliuk | Workshop Evaluation
34Regeln für die Formulierung von Items
positiv formuliertKeine Verneinung
klare Konstruktion
keine Abkürzungen
keine Fachbegriffe
Angaben zur Intensität oder Häufigkeit können problematisch sein.
Ich trinke häufig Wein.trifft zu trifft nicht zu
Ich entspanne mich gern mit einem alkoholischen Getränk.
besser:
Verständlichkeit
Johannes Moskaliuk | Workshop Evaluation
35Regeln für die Formulierung von ItemsEindeutigkeit
keine Universalausdrücke immer, nie, alle ...
Schwieriges definieren
keine Mehrdeutigkeit
eine Aussage pro Item
Vorwissen beachten
Bezugsgrößen definieren
Zeitspannen klar angeben
Johannes Moskaliuk | Workshop Evaluation
36Was ist eine gute Aufgabe?- Leichte Verständlichkeit- einfache Durchführbarkeit- kurze Lösungszeit- Geringer Material und Papierverbrauch- Leichte Auswertbarkeit- Geringe Häufigkeit von Zufallslösungen
Johannes Moskaliuk | Workshop Evaluation
Ihre Beispiele aus der Praxis
- Prüfen Sie die Items, die Sie notiert haben. - Sind alle Regeln für die Formulierung von Items berücksichtigt?
- Finden Sie alternative Formulierungen.
37
Johannes Moskaliuk | Workshop Evaluation
und Fragen
38Inhalt
- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Computerbasiertes Testen- Einblick in die Praxis
Johannes Moskaliuk | Workshop Evaluation
39FehlerquellenSoziale
ErwünschtheitSelfdeceptive EnhancementImpression Management
Kontrollskalen / LügenskalenAnonymität
Gründe
LösungAkquieszenz
Ja-Sage-Tendenz
LösungInventierung von Items
Tendenz zur Mitte
-2 -1 0 1 2010203040
Tendenz zur Mitte
-2 -1 0 1 2010203040
Tendenz zu extremen
Urteil
Antwortkategorie
Antw
orth
äufig
keit
Antw
orth
äufig
keit
Antwortkategorie
Lösungkeine Mittelkategorie
Johannes Moskaliuk | Workshop Evaluation
40Konstruktvalidität
Konstruktlatente Variable | Trait
Kriteriumbeobachtbares Verhalten
z.B. Item ankreuzen
Nomologisches NetzwerkFaktorenanalyse
konvergente divergentediskriminante
Exkurs
Johannes Moskaliuk | Workshop Evaluation
41Kriteriumsvalidität
Kriteriumbeobachtbares Verhalten
z.B. Item ankreuzen
konkurrente prognostisch
Übereinstimmung Vorhersagezeitgleich zukünftig
Verhalten
Exkurs
Johannes Moskaliuk | Workshop Evaluation
42Inhalt
- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Computerbasiertes Testen- Einblick in die Praxis
Johannes Moskaliuk | Workshop Evaluation
43TestartenLeistungstests
Intelligenz Konzentration
Speed vs. Power
Persönlichkeitstests
Trait vs. StateInteresse
Selbstauskunftverhaltensnahe Testsprojektive Verfahren
Fragebogen objektive Tests apparativ Computer
Exkurs
Johannes Moskaliuk | Workshop Evaluation
44Testökonomie
Ist der finanzielle und zeitliche Aufwand dem diagnostischen Erkenntnisgewinn angemessen?
TestmaterialHard-/SoftwareLizenzgebühren
Finanzieller Aufwandzeitlicher Aufwand
BearbeitungszeitVorbereitungAuswertung
Ausblick: Internetgestütztes TestenAdaptives Testen
Johannes Moskaliuk | Workshop Evaluation
45ItemschwierigkeitZiel: Items eines Fragebogen sollen individuelle Unterschiede abbilden.
zu leichte und zu schwere AufgabenIch halte Umweltverschmutzung für schädlich.
Sonderfallsehr seltene Merkmalez.B. in der klinischen Psychologie
Problem
Itemvarianz
Itemschwierigkeit
Statistische Kenngrößen
Exkurs
Johannes Moskaliuk | Workshop Evaluation
46Weitere AspekteAktualität
Wertungen
Wie heißt der Ministerpräsident von Baden-Württemberg?
Warum ist es besser, Geld einerWohltätigkeitsorganisation zu spenden als einem Bettler?
SuggestionSie stimmen doch zu, dass der Nichtraucherschutz in Deutschland sehr wichtig ist?
GendergerechtigkeitIch ärgere mich oft über meinen Chef.
Johannes Moskaliuk | Workshop Evaluation
47Inhalt
- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Computerbasiertes Testen- Einblick in die Praxis
Johannes Moskaliuk | Workshop Evaluation
48Computerbasiertes Testen
Volljährigkeit der TeilnehmerInnen
Ethische Aspekte
Einverständnis-erklärung
Anonymisierung
verdeckte Datenerhebung?
Kontrollierbarkeit
Identität der TNAngaben korrekt?
VerhaltenAblenkung?
AbsichtlichesFehlverhalten
Mehrfachteilnahme
meistens höhereStichprobe notwendig
Definition von Ausreißern
verzerrte Stichprobe
Dropouts
Johannes Moskaliuk | Workshop Evaluation
49Inhalt
- Was ist eine Evaluation?- Messmethoden- Aufgabenformate- Was ist eine gute Beurteilungsaufgabe?- Formulierung von Items - Fehlerquellen bei der Messung- Testarten- Häufige Fehler- Computerbasiertes Testen- Beispiele aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
50Beispiel aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
Virtuelle Polizei
51Feldstudie | Warum ist virtuelles Training erfolgreich?
Standard-Training Virtuelles TrainingVerhaltensempfehlung
Wissenstest
Subjektive MaßeWissenstestTransfertest
52Feldstudie | Methode
Ich würde meinen KollegInnen den Besuch dieses Trainings empfehlen.
Akzeptanz
Ich bin mit dem virtuellen Training zufrieden.
Zufriedenheit
LernerfolgIch habe in dem Training sehr viel Neues gelernt.
Subjektive Maße Wissenstest mit 20 Items
Wie wird die Person genannt, die vom Hubschrauber hauptsächlich angesprochen wird?
A LeiterB LenkerC FührerD Identifizierungsbeamter
53Feldstudie | WissenWissenstest*
02
468
10
121416
1820
VE Reales Training VirtuellesTraining
WissenVorher
WissenNachher
Standard Virtuellkein Training
54Feldstudie | TransferVideotest*
0
2
4
6
8
10
VE Reales Training Virtuelles Training
Standard Virtuellkein Training
55Beispiel aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
Patongo
Fokus - Gruppe
Plattform zum Austausch von Best-Practices
Forschungsfrage: Welche Hürden bestehen für den Informationsaustausch?
Logfile-Analyse
Befragung
56Beispiel aus der Praxis
Johannes Moskaliuk | Workshop Evaluation
Generation Ypersönliche SicherheitLeistung
Mitgefühl
Verantwortung
Wertschätzung
Konformität
Das Gesicht wahren
Genuss/HedonismusBescheidenheitFührung übernehmen
Macht
Selbstbestimmung (Handeln)
Selbstbestimmung (Denken)
gesellschaftliche Sicherheit
Stimulation
Tradition
Universalismus
0
5
10
57Vielen Dank für Ihr Interesse.
Johannes [email protected]
Folien und weiterführende Links unter: http://www.moskaliuk.com/evaluatio
nLT
twitter.com/moskaliuk
slideshare.net/moskaliuk
facebook.com/moskaliuk