Institut für Erziehungswissenschaft Videographie in der empirischen Unterrichtsforschung Summer School der GDM, 20. September 2012, Freiburg (D) Christine Pauli, Universität Zürich ([email protected]) Überblick 1. Quantitative Videoanalyse als wissenschaftliche Forschungsmethode: Warum Videoanalysen? 2. Videobasierte Unterrichtsforschung praktisch: – Überlegungen zur Datenerhebung – Beobachtungsverfahren – Von der Videoaufnahme zur Datenanalyse (Ausblick) 3. Abschluss: Hinweise zu Qualitätssicherung, Austausch zu Videosoftware, Diskussion, Fragen 20.09.12 Christine Pauli, Universität Zürich 2
18
Embed
Videographie in der empirischen Unterrichtsforschung · Institut für Erziehungswissenschaft Videographie in der empirischen Unterrichtsforschung Summer School der GDM, 20. September
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Institut für Erziehungswissenschaft
Videographie in der empirischen Unterrichtsforschung Summer School der GDM, 20. September 2012, Freiburg (D) Christine Pauli, Universität Zürich ([email protected])
Überblick
1. Quantitative Videoanalyse als wissenschaftliche Forschungsmethode: Warum Videoanalysen?
2. Videobasierte Unterrichtsforschung praktisch: – Überlegungen zur Datenerhebung
– Beobachtungsverfahren – Von der Videoaufnahme zur Datenanalyse (Ausblick)
3. Abschluss: Hinweise zu Qualitätssicherung, Austausch zu Videosoftware, Diskussion, Fragen
20.09.12 Christine Pauli, Universität Zürich 2
20.09.12 Christine Pauli, Universität Zürich Seite 3
Vorteile von Videodaten – „Dichte“: Unterrichtsprozesse in
ihrer Komplexität der Beobachtung zugänglich machen; ganzheitliche Sicht auf Verläufe
– „Permanenz“: a) Verläufe einfangen; b) wiederholte Betrachtung aus unterschiedlichen Perspektiven und zu verschiedenen Zeitpunkten möglich – ermöglicht Integration von
unterschiedlichen Analyse-methoden und -strategien
– Offenheit für unantizipierte Phänomene
– Komplexitätsreduktion ist reversibel
– erleichtern Kommunikation über Unterrichtsprozesse
– nutzbar für die Aus- und Weiterbildung von Lehrpersonen
+ Beschreibung von Routinen - differenzierte Beschreibung
und Beurteilung didaktischer Konzeptionen!
Videoanalysen / Beobachtung + Beschreibung und Beurteilung didaktischer und methodischer Aspekte des Unterrichts und der Interaktion - Erfassung des subjektiven Erlebens von Unterricht - Erfassung individueller Lernprozesse - Erfassung seltener Ereignisse!
Lehrerbefragung + Beschreibung didaktischer
Gestaltung - Beurteilung Qualität und
Nutzung des Unterrichts!
5
2. Videobasierte Unterrichtsforschung praktisch
(Von der Videoaufzeichnung ...)
... über die Entwicklung und Anwendung von Analyseinstrumenten ...
(... zur Datenanalyse und Beantwortung der Forschungsfrage(n))
20.09.12 Christine Pauli, Universität Zürich
Christine Pauli, Universität Zürich
Überlegungen zur Datenerhebung 1. Festlegung des Beobachtungsfeldes:
Wo, wann und unter welchen Rahmenbedingungen wird beobachtet?
2. Festlegung der Beobachtungseinheiten: Wer und was wird wie lange/wie oft beobachtet?
3. Festlegung der Stichprobe; Feldkontakt (wichtig: Massnahmen zum Datenschutz und ggf. zur erweiterten Nutzung des Videomaterials!)
4. Entwicklung und Erprobung (!) des Kameraskripts, incl. Begleitmaterialien
5. Schulung des Kamerapersonals
6. Durchführung der Aufzeichnung
vgl. z.B. Praetorius, Lenske & Helmke (2012)
20.09.12 Seite 6
22.2.2012 C. Pauli, Universität Zürich, Institut für Erziehungswissenschaft, PPD Seite 7
Angebotsbezogene Stützsysteme
System-Architektur, Lehrplan und Pädagogische
Traditionen
Lehrerbildung, Qualifikation, Aus- und Fortbildung
der Lehrpersonen
Merkmale der Einzelschule
Lehrermerkmale: professionelle
Kompetenz
Quantität, Qualität des Lehrangebots
UNTERRICHT
Nutzungsbezogene Stützsysteme
Schülermerkmale
Qualität der Angebotsnutzung und
der Lernaktivitäten
Soziokultureller Kontext: gesellschaftliche
Wertschätzung von Bildung
Familie Peers
MEHRDIMENSIONALE BILDUNGSWIRKUNGEN
Hintergrund: Angebots-Nutzungs-Modell Unterrichtsqualität und -wirksamkeit
Reusser & Pauli (2003); vgl. auch Fend (1998); Helmke (2009)
20.09.12 Christine Pauli, Universität Zürich Seite 8
BeispieI für eine Einbettung der Videoeinheiten in ein Gesamtdesign („Pythagoras-Studie; Klieme, Pauli & Reusser, 2009)
Word problems 2 lessons
Pythagorean theorem unit
3 lessons Tests, questionnaires!
Tests, questionnaires!
Tests, questionnaires!
Questionnaires!
Tutorial dialogues
1 school year (2002/2003)!
Sample: 20 German teachers/classrooms (9th grade) 20 Swiss teachers/classroom (8th grade) approx. 1000 students
Datenschutz und Einwilligungen: Von allen LP und allen Eltern/Lernenden
Lokale Datenschutzbestimmungen beachten; Anfrage bei Datenschutz-Beauftagten o.ä.
Evtl. mehrstufiges Verfahren sinnvoll (für Verwendung in Lebi/Lefo)
20.09.12 Seite 9 Christine Pauli, Universität Zürich
Kameraskript: ein Beispiel zur Positionierung der Kameras (vgl. u.a. Petko, 2006)
L: “Follow the teacher” S: Klassenüberblick
(Nicht geeignet für Beobachtung von Schüler-Schüler-Interaktion bei Gruppenarbeit)
Entscheidend: Tonqualität!
L"
s"
Lehrerkamera (L)"
Schülerkamera (S)"
20.09.12 Seite 10 Christine Pauli, Universität Zürich
Beispiel eines Kameraskripts
! Petko, D. (2006). Kameraskript. In E. Klieme, C. Pauli & K. Reusser (Hrsg.), Dokumentation der Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie „Unterrichtsqualität, Lernverhalten und mathematisches Verständnis“, Teil 3: Hugener, I., Pauli, C. & Reusser, K.: Videoanalysen (S. 15-37). Frankfurt a.M.: DIPF.
! Entscheidend ist nicht nur ein gutes, d.h. zielgerechtes Kameraskript, sondern
– die technische Ausrüstung (v.a.: Ton!)
– eine gute Kamerapersonenschulung – Qualitätskontrolle und
– trotz Kameraskript intelligentes und adaptives Verhalten der Kameraperson
Christine Pauli, Universität Zürich 20.09.12 Seite 11
12
Quantitative Videoanalysen durchführen
... über die Entwicklung und Anwendung von Analyseinstrumenten ...
20.09.12 Christine Pauli, Universität Zürich
Ziele quantitativer Videoanalyse
! Unterricht systematisch beschreiben und vergleichen: – theoriegeleitet – anhand bestimmter Dimensionen (und unter Ausschluss anderer
Dimensionen) – im Hinblick auf bestimmte Fragestellungen
– unter Einhaltung von wissenschaftlichen Gütestandards
! Lernrelevante Qualitäts- und Gestaltungsmerkmale des Unterrichts identifizieren – (unter Berücksichtigung der Angebots-Nutzungs-Struktur von
Erfassung von Auftreten, Häufigkeit, Dauer von beobachtbaren Ereignissen
Beschreibung der
Unterrichtsgestaltung, des Lehrer- oder Schülerverhaltens
Ereignis- oder Zeitstichproben
Hohe Beobachter-Übereinstimmung
i.d.R. leichter erreichbar als bei Ratings
Integration verschiedener Merkmale zu einem Urteil („In welchem Ausmass ist Merkmal xy verwirklicht?“)
Qualitative Einschätzung von Dimensionen
der Unterrichtsgestaltung, der Lehrer-Schüler-Interaktion usw.
meist längere Unterrichtssequenzen bis hin
zu ganzen Unterrichtsstunden Hohe Beobachterübereinstimmung
(Reliabilität) oft schwer erreichbar
Verfahren Ziel Analyse-einheit Gütekri-terien
16
Zwei Analyseansätze
Beurteilung („Ratings“) auf der Basis von Standards (meist „hoch inferent“)
Verhaltens- bzw. phänomennahe Codierung des Auftretens von Merkmalen
Quantifizierende Verfahren der Videoanalyse
„Time-Sampling“ „Event-Sampling“
20.09.12 Christine Pauli, Universität Zürich
„Flächen-Codes“ „Ereignis-Codes“
Anwendungsbeispiele: Kodierung
20.09.12 Christine Pauli, Universität Zürich 17
Anwendungsbeispiel 1: Kodierung (Beispiel aus „Pythagoras-Studie“
Siehe Teilnehmerunterlage: 1) Basiskodierung im Pythagoras-Projekt:
! Sozialformen
! inhaltsbezogene Aktivitäten ! Funktionen im Lernprozess
" Lektionsübersichten
20.09.12 Christine Pauli, Universität Zürich 18
Satz des Pythagoras: „Verstehenselemente“ (Drollinger-Vetter, 2011)
Nur im rechtwinkligen Dreieck
222 cba =+
Zwei Typen von Seiten
Kodierung „Verstehenselemente“ (als Teil der Erfassung der „fachdidaktischen Qualität“; vgl. Drollinger-Vetter, 2011; Drollinger-Vetter & Lipowsky, 2006)
Kleine Übung: „Verstehenselemente“: Kodierung von Vorkommen und Dauer 1. Kodierung 2. Kurzer Austausch mit Nachbar/in 3. Diskussion
20.09.12 Christine Pauli, Universität Zürich Seite 20
21
Zusammenfassung Codierung (Lipowsky, 2006)
• Codiert werden Aspekte des beobachtbaren Verhaltens • Arbeitsgrundlage: detailliertes Codier-Manual
• Codieranweisungen sorgen für geringen Interpretationsspielraum
• Codiereinheit: Zeiteinheit (time sampling) oder Sinneinheit (event sampling)
• Training: Genaue Kenntnis der Codierregeln
• Qualitätssicherung: Feststellung der Übereinstimmung zwischen Codierpersonen mittels Inter-Codierer-Reliabilitätsprüfungen (prozentuale Übereinstimmung, Kappa)
• Je nach erfasstem/ Aspekt/en ist Codierung sehr aufwändig und erfordert u.U. mehrere Durchgänge durch das Material (Bsp. Videostudie CH-D: 5 Durchgänge)
22
2. Anwendungsbeispiel: Ratings Zur Erinnerung ...
Beurteilung („Ratings“) Kodierung
Erfassung von Auftreten, Häufigkeit, Dauer von beobachtbaren Ereignissen
Beschreibung der
Unterrichtsgestaltung, des Lehrer- oder Schülerverhaltens
Ereignis- oder Zeitstichproben
Hohe Beobachter-Übereinstimmung
i.d.R. leichter erreichbar als bei Ratings
Integration verschiedener Merkmale zu einem Urteil („In welchem Ausmass ist Merkmal xy verwirklicht?“)
Qualitative Einschätzung von Dimensionen
der Unterrichtsgestaltung, der Lehrer-Schüler-Interaktion usw.
meist längere Unterrichtssequenzen bis hin
zu ganzen Unterrichtsstunden Hohe Beobachterübereinstimmung
(Reliabilität) oft schwer erreichbar
Verfahren Ziel Analyse-einheit Gütekri-terien
Allgemeine Bemerkungen zu Ratings (vgl. auch Rakoczy, 2006) ! Ratingverfahren waren (und sind) umstritten und werden von
Methodikern häufig als wertend kritisiert (vgl. z.B. Fassnacht, 1995) ! Videotechnologie trugen zur Verbesserung bei
! In vielen Fällen gibt es kaum eine Alternative, die dem Untersuchungsgegenstand (komplexe Merkmale) angemessen wäre
! Hauptkritik: Subjektivität und damit verbundene geringe Reliabilität und Validität: Messwert hängt nicht nur vom Objekt, sondern vom Rater (individuell) und der Beschaffenheit des Instruments (allgemein) ab
Massnahmen: ! Operationalisierung der Merkmale, Definition der Ratingdimensionen ! Festlegen von Regeln für den Ratingprozess
! Intensives Training der Rater ! Qualitätssicherung (Überprüfung der intersubjektiven Übereinstimmung) 20.09.12 Christine Pauli, Universität Zürich Seite 23
24
Entwicklung eines Kodier- oder Ratingmanuals
Videobetrachtung Generierung von Kodier- oder Ratingperspektiven unter Rückgriff auf Theorie
Entwurf Kodierkategorien oder Ratingkriterien Suche nach genauen Definitionen
Inhalte eines Trainings: Entwickeln eines gemeinsamen theoretischen Verständnisses auf der Basis des Manuals Kennenlernen der Bandbreite des Materials (Ankerbeispiele für die Skalenausprägung werden gezeigt)
Unabhängige Beurteilung der Merkmale im Beispielmaterial, Diskussion, wie Urteile zustande gekommen sind, Abstimmung der Kriterien, Üben
Dauer: bei 20 Dimensionen mindestens 1 Woche Material: Videos sollten möglichst nicht Teil der Stichprobe, aber mit den Videos der Stichprobe vergleichbar sein (Folie nach Rakoczy, 2007)
20.09.12 Christine Pauli, Universität Zürich Seite 28
29
Kodierung oder Rating?
! Entscheidung abhängig von der Fragestellung und der Komplexität der zu erfassenden Konstrukte
! Kombination von Kodierung und Ratings möglich und oft sinnvoll (vgl. die folgenden Anwendungsbeispiele), z.B. – Basiskodierung, welche bestimmte Analyseeinheiten definiert – anschliessend qualitative Einschätzung der Analyseeinheiten
Beurteilung („Ratings“) auf der Basis von Standards
Verhaltens- bzw. phänomennahe Kodierung des Auftretens von Merkmalen
Quantifizierende Verfahren der Videoanalyse
20.09.12 Christine Pauli, Universität Zürich
Beispiel: Multiple Beobachtungsverfahren und Datenquellen
20.09.12 Christine Pauli, Universität Zürich 30
22.2.2012 C. Pauli, Universität Zürich, Institut für Erziehungswissenschaft, PPD Seite 31
Fachdidaktische Qualität und Unterrichtswirkung: Vorhersage der Nachtestleistung (Drollinger-Vetter, 2011)
Modell 1 Klassenebene Mittleres Vorwissen .25*** Strukturelle Klarheit .21***
Für (intervallskalierte) Ratings ! Intraklassenkorrelation (ICC) ! Generalisierbarkeitskoeffizient (G-Koeffizient)
Literatur (Standardwerk): Wirtz, M. & Caspar, F. (2002). Beurteilerübereinstimmung und
Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.
Zu Generalisierbarkeitskoeffizient z.B.: Holling, H. (2010). Generalisierbarkeitstheorie. In H. Holling & B. Schmitz (Eds.), Handbuch Statistik, Methoden und Evaluation (pp. 686-699). Göttingen: Hogrefe.
siehe auch: Praetorius, A.-K., Lenske, G., & Helmke, A. (2012). Observer ratings of instructional quality: Do they fulfill what they promise? (in Druck). [doi: 10.1016/j.learninstruc.2012.03.002]. Learning and Instruction.
Weitere, mit denen Teilnehmende gute Erfahrungen gemacht haben?
Ersatzlösungen bzw. je nach Fall sinnvolle Alternative: ! Ratings oder Codes z.B. in Excel-Tabellen eingeben, je nach
Komplexität; es braucht nicht immer spezielle Software
35
Ausgewählte Literatur Derry, S. (2007). Guidelines for conducting video research in education: Recommendations from an expert panel.
Chicago: Data Research and Development Center (abrufbar unter: http://drdc.uchicago.edu/what/video-research.html)
Derry, S., Pea, R. D., Barron, B., Engle, R. A., Erickson, F., Goldman, R. et al. (2010). Conducting video research in the learning sciences: Guidance on selection, analysis, technology, and ethics. Journal of the Learning Sciences, 19(1), 3-53."
Goldman, R., Pea, R. D., Barron, B. & Derry, S. (Hrsg.). (2007). Video research in the learning sciences. Mahwah, N.J.: Erlbaum."
Dalehefte, I. M., & Kobarg, M. (2012). Einführung in die Grundlagen systematischer Videoanalysen in der empirischen Bildungsforschung. In M. Gläser-Zikuda, T. Seidel, C. Rohlfs, A. Gröschner & S. Ziegelbauer (Eds.), Mixed Methods in der empirischen Bildungsforschung (pp. 15-26). Münster: Waxmann.
Hugener, I., Pauli, C., & Reusser, K. (2006). Videoanalysen (= Teil 3 der Dokumentation Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie "Unterrichtsqualität, Lernverhalten und mathematisches Verständnis", hrsg. von E. Klieme, C. Pauli & K. Reusser). Frankfurt am Main: Gesellschaft zur Förderung Pädagogischer Forschung (GFPF)/Deutsches Institut für Internationale Pädagogische Forschung (DIPF).
Hugener, I., Rakoczy, K., Pauli, C., & Reusser, K. (2006). Videobasierte Unterrichtsforschung: Integration verschiedener Methoden der Videoanalyse für eine differenzierte Sicht auf Lehr-Lernprozesse. In S. Rahm, I. Mammes & M. Schratz (Eds.), Schulpädagogische Forschung. Unterrichtsforschung. Perspektiven innovativer Ansätze (pp. 41-53). Innsbruck: StudienVerlag.
Janik, T. & Seidel, T. (Hrsg.). (2009). The power of video studies in investigating teaching and learning in the classroom. Münster: Waxmann.
Pauli, C., & Reusser, K. (2006). Von international vergleichenden Video Surveys zur videobasierten Unterrichtsforschung und -entwicklung. Zeitschrift für Pädagogik, 52(6), 774-798.
Pauli, C. (2008). Unterrichtsbeobachtung. In F. Hellmich (Hrsg.), Lehr-Lernforschung und Grundschulpädagogik (S. 143-155). Bad Heilbrunn: Klinkhardt.
Seidel, T., Prenzel, M., Duit, R., & Lehrke, M. (Eds.). (2003). Technischer Bericht zur Videostudie "Lehr-Lern-Prozesse im Physikunterricht". Kiel: Leibniz-Institut für die Pädagogik der Naturwissenschaften (IPN).
Seidel, T. & Prenzel, M. (2010). Beobachtungsverfahren: Vom Datenmaterial zur Datenanalyse. In H. Holling & B. Schmitz (Hrsg.), Handbuch Statistik, Methoden und Evaluation (S. 139-152). Göttingen: Hogrefe.
Wirtz, M., & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe.