Institut für Erziehungswissenschaft
Videographie in der empirischen Unterrichtsforschung Summer School der GDM, 20. September 2012, Freiburg (D) Christine Pauli, Universität Zürich ([email protected])
Überblick
1. Quantitative Videoanalyse als wissenschaftliche Forschungsmethode: Warum Videoanalysen?
2. Videobasierte Unterrichtsforschung praktisch: – Überlegungen zur Datenerhebung
– Beobachtungsverfahren – Von der Videoaufnahme zur Datenanalyse (Ausblick)
3. Abschluss: Hinweise zu Qualitätssicherung, Austausch zu Videosoftware, Diskussion, Fragen
20.09.12 Christine Pauli, Universität Zürich 2
20.09.12 Christine Pauli, Universität Zürich Seite 3
Vorteile von Videodaten – „Dichte“: Unterrichtsprozesse in
ihrer Komplexität der Beobachtung zugänglich machen; ganzheitliche Sicht auf Verläufe
– „Permanenz“: a) Verläufe einfangen; b) wiederholte Betrachtung aus unterschiedlichen Perspektiven und zu verschiedenen Zeitpunkten möglich – ermöglicht Integration von
unterschiedlichen Analyse-methoden und -strategien
– Offenheit für unantizipierte Phänomene
– Komplexitätsreduktion ist reversibel
– erleichtern Kommunikation über Unterrichtsprozesse
– nutzbar für die Aus- und Weiterbildung von Lehrpersonen
3 Perspektiven auf Unterricht (die sich ergänzen)
20.09.12 Christine Pauli, Universität Zürich 4
Unterrichtsprozesse Angebot von Lern-
gelegenheiten
Wahrnehmung und Nutzung der Lernge-
legenheiten
Schülerbefragung + subjektives Unterrichtserleben,
bes. affektive und soziale Aspekte
+ Beschreibung von Routinen - differenzierte Beschreibung
und Beurteilung didaktischer Konzeptionen!
Videoanalysen / Beobachtung + Beschreibung und Beurteilung didaktischer und methodischer Aspekte des Unterrichts und der Interaktion - Erfassung des subjektiven Erlebens von Unterricht - Erfassung individueller Lernprozesse - Erfassung seltener Ereignisse!
Lehrerbefragung + Beschreibung didaktischer
Gestaltung - Beurteilung Qualität und
Nutzung des Unterrichts!
5
2. Videobasierte Unterrichtsforschung praktisch
(Von der Videoaufzeichnung ...)
... über die Entwicklung und Anwendung von Analyseinstrumenten ...
(... zur Datenanalyse und Beantwortung der Forschungsfrage(n))
20.09.12 Christine Pauli, Universität Zürich
Christine Pauli, Universität Zürich
Überlegungen zur Datenerhebung 1. Festlegung des Beobachtungsfeldes:
Wo, wann und unter welchen Rahmenbedingungen wird beobachtet?
2. Festlegung der Beobachtungseinheiten: Wer und was wird wie lange/wie oft beobachtet?
3. Festlegung der Stichprobe; Feldkontakt (wichtig: Massnahmen zum Datenschutz und ggf. zur erweiterten Nutzung des Videomaterials!)
4. Entwicklung und Erprobung (!) des Kameraskripts, incl. Begleitmaterialien
5. Schulung des Kamerapersonals
6. Durchführung der Aufzeichnung
vgl. z.B. Praetorius, Lenske & Helmke (2012)
20.09.12 Seite 6
22.2.2012 C. Pauli, Universität Zürich, Institut für Erziehungswissenschaft, PPD Seite 7
Angebotsbezogene Stützsysteme
System-Architektur, Lehrplan und Pädagogische
Traditionen
Lehrerbildung, Qualifikation, Aus- und Fortbildung
der Lehrpersonen
Merkmale der Einzelschule
Lehrermerkmale: professionelle
Kompetenz
Quantität, Qualität des Lehrangebots
UNTERRICHT
Nutzungsbezogene Stützsysteme
Schülermerkmale
Qualität der Angebotsnutzung und
der Lernaktivitäten
Soziokultureller Kontext: gesellschaftliche
Wertschätzung von Bildung
Familie Peers
MEHRDIMENSIONALE BILDUNGSWIRKUNGEN
Hintergrund: Angebots-Nutzungs-Modell Unterrichtsqualität und -wirksamkeit
Reusser & Pauli (2003); vgl. auch Fend (1998); Helmke (2009)
20.09.12 Christine Pauli, Universität Zürich Seite 8
BeispieI für eine Einbettung der Videoeinheiten in ein Gesamtdesign („Pythagoras-Studie; Klieme, Pauli & Reusser, 2009)
Word problems 2 lessons
Pythagorean theorem unit
3 lessons Tests, questionnaires!
Tests, questionnaires!
Tests, questionnaires!
Questionnaires!
Tutorial dialogues
1 school year (2002/2003)!
Sample: 20 German teachers/classrooms (9th grade) 20 Swiss teachers/classroom (8th grade) approx. 1000 students
Datenschutz und Einwilligungen: Von allen LP und allen Eltern/Lernenden
Lokale Datenschutzbestimmungen beachten; Anfrage bei Datenschutz-Beauftagten o.ä.
Evtl. mehrstufiges Verfahren sinnvoll (für Verwendung in Lebi/Lefo)
20.09.12 Seite 9 Christine Pauli, Universität Zürich
Kameraskript: ein Beispiel zur Positionierung der Kameras (vgl. u.a. Petko, 2006)
L: “Follow the teacher” S: Klassenüberblick
(Nicht geeignet für Beobachtung von Schüler-Schüler-Interaktion bei Gruppenarbeit)
Entscheidend: Tonqualität!
L"
s"
Lehrerkamera (L)"
Schülerkamera (S)"
20.09.12 Seite 10 Christine Pauli, Universität Zürich
Beispiel eines Kameraskripts
! Petko, D. (2006). Kameraskript. In E. Klieme, C. Pauli & K. Reusser (Hrsg.), Dokumentation der Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie „Unterrichtsqualität, Lernverhalten und mathematisches Verständnis“, Teil 3: Hugener, I., Pauli, C. & Reusser, K.: Videoanalysen (S. 15-37). Frankfurt a.M.: DIPF.
! Entscheidend ist nicht nur ein gutes, d.h. zielgerechtes Kameraskript, sondern
– die technische Ausrüstung (v.a.: Ton!)
– eine gute Kamerapersonenschulung – Qualitätskontrolle und
– trotz Kameraskript intelligentes und adaptives Verhalten der Kameraperson
Christine Pauli, Universität Zürich 20.09.12 Seite 11
12
Quantitative Videoanalysen durchführen
... über die Entwicklung und Anwendung von Analyseinstrumenten ...
20.09.12 Christine Pauli, Universität Zürich
Ziele quantitativer Videoanalyse
! Unterricht systematisch beschreiben und vergleichen: – theoriegeleitet – anhand bestimmter Dimensionen (und unter Ausschluss anderer
Dimensionen) – im Hinblick auf bestimmte Fragestellungen
– unter Einhaltung von wissenschaftlichen Gütestandards
! Lernrelevante Qualitäts- und Gestaltungsmerkmale des Unterrichts identifizieren – (unter Berücksichtigung der Angebots-Nutzungs-Struktur von
Bildungsprozessen)
20.09.12 Christine Pauli, Universität Zürich 13
Beobachtungsverfahren: zwei Grundunterscheidungen
20.09.12 Christine Pauli, Universität Zürich 14
1) Ausmass erforderlicher Schlussfolgerungen Urteil/die Entscheidung
„niedrig inferent“ „hoch inferent“
2) Beobachtungsverfahren
kodieren beurteilen / „Ratings“
15
Beobachtungsverfahren
Beurteilung („Ratings“) Kodierung
Erfassung von Auftreten, Häufigkeit, Dauer von beobachtbaren Ereignissen
Beschreibung der
Unterrichtsgestaltung, des Lehrer- oder Schülerverhaltens
Ereignis- oder Zeitstichproben
Hohe Beobachter-Übereinstimmung
i.d.R. leichter erreichbar als bei Ratings
Integration verschiedener Merkmale zu einem Urteil („In welchem Ausmass ist Merkmal xy verwirklicht?“)
Qualitative Einschätzung von Dimensionen
der Unterrichtsgestaltung, der Lehrer-Schüler-Interaktion usw.
meist längere Unterrichtssequenzen bis hin
zu ganzen Unterrichtsstunden Hohe Beobachterübereinstimmung
(Reliabilität) oft schwer erreichbar
Verfahren Ziel Analyse-einheit Gütekri-terien
16
Zwei Analyseansätze
Beurteilung („Ratings“) auf der Basis von Standards (meist „hoch inferent“)
Verhaltens- bzw. phänomennahe Codierung des Auftretens von Merkmalen
Quantifizierende Verfahren der Videoanalyse
„Time-Sampling“ „Event-Sampling“
20.09.12 Christine Pauli, Universität Zürich
„Flächen-Codes“ „Ereignis-Codes“
Anwendungsbeispiele: Kodierung
20.09.12 Christine Pauli, Universität Zürich 17
Anwendungsbeispiel 1: Kodierung (Beispiel aus „Pythagoras-Studie“
Siehe Teilnehmerunterlage: 1) Basiskodierung im Pythagoras-Projekt:
! Sozialformen
! inhaltsbezogene Aktivitäten ! Funktionen im Lernprozess
" Lektionsübersichten
20.09.12 Christine Pauli, Universität Zürich 18
Satz des Pythagoras: „Verstehenselemente“ (Drollinger-Vetter, 2011)
Nur im rechtwinkligen Dreieck
222 cba =+
Zwei Typen von Seiten
Kodierung „Verstehenselemente“ (als Teil der Erfassung der „fachdidaktischen Qualität“; vgl. Drollinger-Vetter, 2011; Drollinger-Vetter & Lipowsky, 2006)
Kleine Übung: „Verstehenselemente“: Kodierung von Vorkommen und Dauer 1. Kodierung 2. Kurzer Austausch mit Nachbar/in 3. Diskussion
20.09.12 Christine Pauli, Universität Zürich Seite 20
21
Zusammenfassung Codierung (Lipowsky, 2006)
• Codiert werden Aspekte des beobachtbaren Verhaltens • Arbeitsgrundlage: detailliertes Codier-Manual
• Codieranweisungen sorgen für geringen Interpretationsspielraum
• Codiereinheit: Zeiteinheit (time sampling) oder Sinneinheit (event sampling)
• Training: Genaue Kenntnis der Codierregeln
• Qualitätssicherung: Feststellung der Übereinstimmung zwischen Codierpersonen mittels Inter-Codierer-Reliabilitätsprüfungen (prozentuale Übereinstimmung, Kappa)
• Je nach erfasstem/ Aspekt/en ist Codierung sehr aufwändig und erfordert u.U. mehrere Durchgänge durch das Material (Bsp. Videostudie CH-D: 5 Durchgänge)
22
2. Anwendungsbeispiel: Ratings Zur Erinnerung ...
Beurteilung („Ratings“) Kodierung
Erfassung von Auftreten, Häufigkeit, Dauer von beobachtbaren Ereignissen
Beschreibung der
Unterrichtsgestaltung, des Lehrer- oder Schülerverhaltens
Ereignis- oder Zeitstichproben
Hohe Beobachter-Übereinstimmung
i.d.R. leichter erreichbar als bei Ratings
Integration verschiedener Merkmale zu einem Urteil („In welchem Ausmass ist Merkmal xy verwirklicht?“)
Qualitative Einschätzung von Dimensionen
der Unterrichtsgestaltung, der Lehrer-Schüler-Interaktion usw.
meist längere Unterrichtssequenzen bis hin
zu ganzen Unterrichtsstunden Hohe Beobachterübereinstimmung
(Reliabilität) oft schwer erreichbar
Verfahren Ziel Analyse-einheit Gütekri-terien
Allgemeine Bemerkungen zu Ratings (vgl. auch Rakoczy, 2006) ! Ratingverfahren waren (und sind) umstritten und werden von
Methodikern häufig als wertend kritisiert (vgl. z.B. Fassnacht, 1995) ! Videotechnologie trugen zur Verbesserung bei
! In vielen Fällen gibt es kaum eine Alternative, die dem Untersuchungsgegenstand (komplexe Merkmale) angemessen wäre
! Hauptkritik: Subjektivität und damit verbundene geringe Reliabilität und Validität: Messwert hängt nicht nur vom Objekt, sondern vom Rater (individuell) und der Beschaffenheit des Instruments (allgemein) ab
Massnahmen: ! Operationalisierung der Merkmale, Definition der Ratingdimensionen ! Festlegen von Regeln für den Ratingprozess
! Intensives Training der Rater ! Qualitätssicherung (Überprüfung der intersubjektiven Übereinstimmung) 20.09.12 Christine Pauli, Universität Zürich Seite 23
24
Entwicklung eines Kodier- oder Ratingmanuals
Videobetrachtung Generierung von Kodier- oder Ratingperspektiven unter Rückgriff auf Theorie
Entwurf Kodierkategorien oder Ratingkriterien Suche nach genauen Definitionen
Anwendung auf Videosequenzen
Evaluation; Anpassung Definitionen/ Kategorien
Schulung, Reliabilitätsprüfung, Codierung, Auswertung
20.09.12 Christine Pauli, Universität Zürich
Ziel: eine möglichst objektive Einschätzung bzw. Beschreibung des Unterrichts, die unabhängig von der Person ist, die das Verfahren durchführt
25
Operationalisierung
Hoch inferente Ratings: vom theoretischen Konstrukt zur Beurteilung Verständnisorientierter Aufbau flexibel nutzbarer kognitiver Strukturen
(vgl. u.a. Aebli, 1983; NCTM, 2001; 2003; usw.)
Strukturelle Klarheit Qualität des Strukturaufbaus
weitere…
Förderung des Verständnisses
Aktive kognitive Auseinandersetzung
mit dem Stoff
Anknüpfen an Vorwissen
„Verknüpfung der Repräsen-tationsformen tragen zum Verständnis bei.“
„LP trennt Wichtiges von Unwichtigem.“ „Die Theorie wird verständlich dokumentiert.“
(vgl. weiteres Beispiel in der Teilnehmer-unterlage: Wahlmög-lichkeiten)
Anwendungsbeispiel 2: Beurteilung/Rating
Kleine Übung: Beurteilung von Aspekten der „fachdidaktischen Qualität“ (Drollinger-Vetter, 2011; Drollinger-Vetter & Lipowsky, 2006):
! „Qualität des Strukturaufbaus“ ! „Strukturelle Klarheit“ (ausgewählte Items)
! vgl. Teilnehmerunterlage
20.09.12 Christine Pauli, Universität Zürich 26
(vgl. weiteres Beispiel eines Ratings in der Teilnehmer-unterlage: Wahlmöglichkeiten für die Schüler/innen)
Kleine Übung 2: Rating „Qualität des Strukturaufbaus “ „Strukturelle Klarheit“ 1. Beurteilung 2. Austausch mit Nachbar/in 3. Diskussion
20.09.12 Christine Pauli, Universität Zürich Seite 27
Training für Rating-Personal (Beispiel: HIR-Training von K. Rakoczy, 2004) Ziel: ! Intersubjektive Übereinstimmung der Ratings
(Beobachterübereinstimmung, Interraterreliabilität)
Inhalte eines Trainings: Entwickeln eines gemeinsamen theoretischen Verständnisses auf der Basis des Manuals Kennenlernen der Bandbreite des Materials (Ankerbeispiele für die Skalenausprägung werden gezeigt)
Unabhängige Beurteilung der Merkmale im Beispielmaterial, Diskussion, wie Urteile zustande gekommen sind, Abstimmung der Kriterien, Üben
Dauer: bei 20 Dimensionen mindestens 1 Woche Material: Videos sollten möglichst nicht Teil der Stichprobe, aber mit den Videos der Stichprobe vergleichbar sein (Folie nach Rakoczy, 2007)
20.09.12 Christine Pauli, Universität Zürich Seite 28
29
Kodierung oder Rating?
! Entscheidung abhängig von der Fragestellung und der Komplexität der zu erfassenden Konstrukte
! Kombination von Kodierung und Ratings möglich und oft sinnvoll (vgl. die folgenden Anwendungsbeispiele), z.B. – Basiskodierung, welche bestimmte Analyseeinheiten definiert – anschliessend qualitative Einschätzung der Analyseeinheiten
Beurteilung („Ratings“) auf der Basis von Standards
Verhaltens- bzw. phänomennahe Kodierung des Auftretens von Merkmalen
Quantifizierende Verfahren der Videoanalyse
20.09.12 Christine Pauli, Universität Zürich
Beispiel: Multiple Beobachtungsverfahren und Datenquellen
20.09.12 Christine Pauli, Universität Zürich 30
22.2.2012 C. Pauli, Universität Zürich, Institut für Erziehungswissenschaft, PPD Seite 31
Fachdidaktische Qualität und Unterrichtswirkung: Vorhersage der Nachtestleistung (Drollinger-Vetter, 2011)
Modell 1 Klassenebene Mittleres Vorwissen .25*** Strukturelle Klarheit .21***
Schülerebene Vorwissen .17** Intelligenz .21*** Interesse .10** ***p<.001, **p<.005; +p<.10. Standardisierte Beta-Koeffizienten
(Drollinger-Vetter, 2011, S. 284)
Überblick
1. Quantitative Videoanalyse als wissenschaftliche Forschungsmethode: Warum Videoanalysen?
2. Videobasierte Unterrichtsforschung praktisch: – Überlegungen zur Datenerhebung
– Beobachtungsverfahren – Von der Videoaufnahme zur Datenanalyse (Ausblick)
3. Abschluss: Hinweise zu Qualitätssicherung, Austausch zu Videosoftware, Diskussion, Fragen
20.09.12 Christine Pauli, Universität Zürich 32
Qualitätssicherung: Beobachterübereinstimmung
Für Kodierungen (nominalskalierte Daten) ! (Prozentuale Beobachterübereinstimmung ) ! Cohens Kappa
Für (intervallskalierte) Ratings ! Intraklassenkorrelation (ICC) ! Generalisierbarkeitskoeffizient (G-Koeffizient)
Literatur (Standardwerk): Wirtz, M. & Caspar, F. (2002). Beurteilerübereinstimmung und
Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.
Zu Generalisierbarkeitskoeffizient z.B.: Holling, H. (2010). Generalisierbarkeitstheorie. In H. Holling & B. Schmitz (Eds.), Handbuch Statistik, Methoden und Evaluation (pp. 686-699). Göttingen: Hogrefe.
siehe auch: Praetorius, A.-K., Lenske, G., & Helmke, A. (2012). Observer ratings of instructional quality: Do they fulfill what they promise? (in Druck). [doi: 10.1016/j.learninstruc.2012.03.002]. Learning and Instruction.
33
34
Software zur Datenanalyse
Videograph (Rimmele, IPN, Kiel): http://www.ipn.uni-kiel.de/aktuell/videograph/htmStart.htm
Transana (Open source software): http://www.transana.org/
Interact (Mangold): http://www.mangold-international.com/de/software/interact.html
Weitere, mit denen Teilnehmende gute Erfahrungen gemacht haben?
Ersatzlösungen bzw. je nach Fall sinnvolle Alternative: ! Ratings oder Codes z.B. in Excel-Tabellen eingeben, je nach
Komplexität; es braucht nicht immer spezielle Software
35
Ausgewählte Literatur Derry, S. (2007). Guidelines for conducting video research in education: Recommendations from an expert panel.
Chicago: Data Research and Development Center (abrufbar unter: http://drdc.uchicago.edu/what/video-research.html)
Derry, S., Pea, R. D., Barron, B., Engle, R. A., Erickson, F., Goldman, R. et al. (2010). Conducting video research in the learning sciences: Guidance on selection, analysis, technology, and ethics. Journal of the Learning Sciences, 19(1), 3-53."
Goldman, R., Pea, R. D., Barron, B. & Derry, S. (Hrsg.). (2007). Video research in the learning sciences. Mahwah, N.J.: Erlbaum."
Dalehefte, I. M., & Kobarg, M. (2012). Einführung in die Grundlagen systematischer Videoanalysen in der empirischen Bildungsforschung. In M. Gläser-Zikuda, T. Seidel, C. Rohlfs, A. Gröschner & S. Ziegelbauer (Eds.), Mixed Methods in der empirischen Bildungsforschung (pp. 15-26). Münster: Waxmann.
Hugener, I., Pauli, C., & Reusser, K. (2006). Videoanalysen (= Teil 3 der Dokumentation Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie "Unterrichtsqualität, Lernverhalten und mathematisches Verständnis", hrsg. von E. Klieme, C. Pauli & K. Reusser). Frankfurt am Main: Gesellschaft zur Förderung Pädagogischer Forschung (GFPF)/Deutsches Institut für Internationale Pädagogische Forschung (DIPF).
Hugener, I., Rakoczy, K., Pauli, C., & Reusser, K. (2006). Videobasierte Unterrichtsforschung: Integration verschiedener Methoden der Videoanalyse für eine differenzierte Sicht auf Lehr-Lernprozesse. In S. Rahm, I. Mammes & M. Schratz (Eds.), Schulpädagogische Forschung. Unterrichtsforschung. Perspektiven innovativer Ansätze (pp. 41-53). Innsbruck: StudienVerlag.
Janik, T. & Seidel, T. (Hrsg.). (2009). The power of video studies in investigating teaching and learning in the classroom. Münster: Waxmann.
Pauli, C., & Reusser, K. (2006). Von international vergleichenden Video Surveys zur videobasierten Unterrichtsforschung und -entwicklung. Zeitschrift für Pädagogik, 52(6), 774-798.
Pauli, C. (2008). Unterrichtsbeobachtung. In F. Hellmich (Hrsg.), Lehr-Lernforschung und Grundschulpädagogik (S. 143-155). Bad Heilbrunn: Klinkhardt.
Seidel, T., Prenzel, M., Duit, R., & Lehrke, M. (Eds.). (2003). Technischer Bericht zur Videostudie "Lehr-Lern-Prozesse im Physikunterricht". Kiel: Leibniz-Institut für die Pädagogik der Naturwissenschaften (IPN).
Seidel, T. & Prenzel, M. (2010). Beobachtungsverfahren: Vom Datenmaterial zur Datenanalyse. In H. Holling & B. Schmitz (Hrsg.), Handbuch Statistik, Methoden und Evaluation (S. 139-152). Göttingen: Hogrefe.
Wirtz, M., & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.