Markus Schmitt | Moti Brinkhaus Erhebungs- und Auswertungsmethoden in der empirischen Schreibforschung Dr. Markus Schmitt (Pädagogische Hochschule Heidelberg) Moti Brinkhaus, M.Sc. (Leibniz Universität Hannover)
Markus Schmitt | Moti Brinkhaus
Erhebungs- und Auswertungsmethoden in der empirischen Schreibforschung
Dr. Markus Schmitt (Pädagogische Hochschule Heidelberg)
Moti Brinkhaus, M.Sc.
(Leibniz Universität Hannover)
Markus Schmitt | Moti Brinkhaus
Input I
Forschungsmethoden in der empirischen Schreibforschung
Markus Schmitt | Moti Brinkhaus
Input I: Forschungsmethoden in der empirischen Schreibforschung
Begriffsklärung:
Forschungsmethoden
Erhebungsmethoden
Auswertungsmethoden
Markus Schmitt | Moti Brinkhaus
Input I: Forschungsmethoden in der empirischen Schreibforschung
Forschungsmethoden als Überbegriff, umfasst auch Erhebungs- und Auswertungsmethoden
Je nach Forschungsfrage wird in quantitativer Forschung eine dieser drei Varianten umgesetzt:
• Experimentelle Studie
• Quasiexperimentelle Studie
• Nichtexperimentelle Studie (Korrelationsstudie)
Markus Schmitt | Moti Brinkhaus
Input I: Forschungsmethoden in der empirischen Schreibforschung
Forschungsmethodische Aspekte:
• Anlage einer Studie/Untersuchung (Versuchsplan)
• Zeitliche Struktur
• Zielgruppe/Stichprobe
• unabhängige Variable(n) = UV und abhängige Variable(n) = AV sowie deren Messung (Operationalisierung)
• Entscheidung über Erhebungs- und Auswertungsmethode
Markus Schmitt | Moti Brinkhaus
Input I: Forschungsmethoden in der empirischen Schreibforschung
Bedeutung der Forschungsfrage:
• Anhand dieser muss entschieden werden, welche Forschungsmethode (inkl. Erhebungs- und Auswertungsmethode) geeignet ist
• Auf Basis der Forschungsfrage werden i.d.R. Hypothesen formuliert, die empirisch prüfbar sind.
• Auch stärker qualitativ ausgerichtete Forschung nutzt forschungsleitende Fragen, um theoriegeleitet und mit definierten Vorannahmen zu Erkenntnis zu kommen.
Markus Schmitt | Moti Brinkhaus
Input I: Forschungsmethoden in der empirischen Schreibforschung
Um welche Phänomene geht es in der Schreibforschung? • Schreibprozess: Planen, Anfertigen und Überarbeiten von
Texten (klassisches theoretisches Modell: Hayes & Flower, 1980)
• Schreibprozess: Zusammenspiel von Teilprozessen im zeitlichen Verlauf
• (typische) Entwicklung schreibbezogener Kompetenzen • Qualität (und Qualitätsunterschiede) in Texten • Motivation zum Schreiben • …
Markus Schmitt | Moti Brinkhaus
Input I: Forschungsmethoden in der empirischen Schreibforschung
Was könnten typische Forschungsfragen in der Schreibforschung sein (Beispiele)?
Grundlagenaspekte:
• Wie lässt sich der Prozess des Schreibens präzise und theoretisch fundiert beschreiben?
• Welche Rolle spielen die Komponenten des Arbeitsgedächtnisses beim Schreiben?
• Welche Rolle spielen Blickbewegungen während des Schreibprozesses?
Entwicklungsaspekte:
• Wie verläuft der individuelle Erwerb schreibbezogener Kompetenzen typischerweise?
• Wie lassen sich Risikofaktoren identifizieren?
• Welches sind wichtige Vorläuferkompetenzen für die Entwicklung von Schreibkompetenz?
Interventionsaspekte:
• Wie lässt sich Schreiben bei bestimmten Zielgruppen fördern?
• Wie effektiv ist eine Fördermaßnahme?
• Welche Rolle spielen Schreibstrategien?
• Welche Rahmenbedingungen sind günstig zur Förderung schreibbezogener Prozesse?
Markus Schmitt | Moti Brinkhaus
Input II
Erhebungsmethoden in der empirischen Schreibforschung
Markus Schmitt | Moti Brinkhaus
Input II: Erhebungsmethoden in der empirischen Schreibforschung
Das Spektrum an möglichen Erhebungsmethoden ist theoretisch nicht begrenzt. Für schreibprozessbezogene Fragestellungen gibt es allerdings einige „Klassiker“.
Mit Blick auf die Erhebungssituation muss aber zunächst die Bedeutung des Schreibanlasses betrachtet werden!
Die Entscheidung über den Schreibanlass (Stimulusebene) bestimmt im Wesentlichen mit, welche Art von innerpsychischen Prozessen überhaupt zugänglich werden.
Schreibanlässe unterscheiden sich hinsichtlich… • Strukturierungsgrad • Situierungsgrad • evoziert („künstlich“) / nicht evoziert („natürlich“) • Leseanteil • thematischer Komplexität • kommunikativem Charakter (Adressatenorientierung) • kooperativem Charakter (interpersonelle Ebene) • …
Markus Schmitt | Moti Brinkhaus
Methoden der Schreibprozessforschung. (entnommen aus Linnemann, 2017, S.337)
Markus Schmitt | Moti Brinkhaus
Digitale Stifte/Schreibtablet
• Beispiel: Eye & Pen Software (Chesnet & Alamargot, Universität Poitier) – Video: http://eyeandpen.net/eye-and-pen-en/presentation-en/
• synchrone Datenaufzeichnung
• Einblicke in die mentalen Prozesse während des Schreibens
• Analyse von Schreibflüssigkeit, Pausen(länge), Druck (Motorik), Blickbewegungen
Markus Schmitt | Moti Brinkhaus
Arbeitsauftrag II
Die „Think Aloud“-Methode (lautes Denken)
Markus Schmitt | Moti Brinkhaus
Arbeitsauftrag II: Die „Think-Aloud“-Methode (lautes Denken)
Theoretischer Hintergrund: nicht nur für Schreibforschung relevant. Wurde aber z.B. auch von Hayes und Flower (1980) eingesetzt.
Ziel: innerpsychische Prozesse beobachtbar machen. Dabei kann man drei mögliche Verbalisierungsebenen differenzieren (in Anlehnung Ericsson & Simon, 1993; zit. n. Konrad, 2010):
• talk aloud
• think aloud -> bestmöglicher Zugang zu nicht bereits verbalisierten Inhalten im Arbeitsgedächtnis
• reflection prompts
Zwei definierte Rollen: Proband/-in(nen) und Beobachter/-in(nen)
Markus Schmitt | Moti Brinkhaus
Input III
Forschungsmethoden und Erhebungsmethoden:
Ein Blick auf Kovariaten
Markus Schmitt | Moti Brinkhaus
Alphabet Task (Berninger & Alsdorf, 1989)
• Klasse 5 (n=146)
• Klasse 9 (n=131)
min max MW SD
Alphabet Task 5 21 12,3 3,7
min max MW SD
Alphabet Task 0 36 21,1 6,1
Markus Schmitt | Moti Brinkhaus
Kooperatives Schreiben (Lehnen, 2017, S. 305)
• häufig Kombination aus mündlicher und schriftlicher Interaktion • hier: Kooperatives Schreiben als Forschungsmethode und nicht
als didaktisches Konzept
Rückmeldeorientierte Verfahren („fremder“ Text)
Ko-Autorschaft (gemeinsamer Text)
mündlich schriftlich mündlich schriftlich
Schreibkonferenz virtuelle Schreibkonferenz, Textlupe, Textkarussell, Arbeitsjournal
konversationelle Schreibinteraktion (reziprokes Formulieren/ Aushandeln)
virtuelle Schreibinteraktion (paralleles oder sequentielles Formulieren, z.B. Wikis)
Markus Schmitt | Moti Brinkhaus
Arbeitsauftrag III
„Schreibforschung konkret“
Markus Schmitt | Moti Brinkhaus
Arbeitsauftrag III: Schreibforschung konkret Vier Stationen zum Entdecken von Erhebungsmethoden und Kovariaten „Checkliste“ für die Gruppen; Ausfüllen im Anschluss an das Kennenlernen
der Stationen Folgende vier Stationen: a) Kooperatives Schreiben (Moti Brinkhaus) b) Keystroke-logging: Translog II (Markus Schmitt) c) Poster zu Kovariaten und Material
zur exemplarischen Erprobung (Markus Schmitt) d) Ratingverfahren (Moti Brinkhaus)
Wichtiger Hinweis: Auf Grund der Zeit(knappheit) gehen wir davon aus, dass jeder zumindest drei der vier Stationen kennenlernen kann.
Markus Schmitt | Moti Brinkhaus
Input IV
Auswertungsmethoden in der empirischen Schreibforschung
Markus Schmitt | Moti Brinkhaus
Kooperatives Schreiben
… als Forschungsmethode:
• Einblick in vollständige Textgenese/Entstehungsprozesse
• Verdeutlichung der Herausforderungen beim Schreiben
• Einblick in das Verhältnis von prätextuellen Ideen und verschriftlichten Ideen
• Einblick in subjektive Vorstellungen, Textmusterwissen und adressatenbezogenes Wissen des Schreibers
Markus Schmitt | Moti Brinkhaus
Kooperatives Schreiben
• Herausforderungen bei der Planung von Studien:
• Gruppenzusammensetzung
• Muster der Interaktion
• Scaffolding
• Schreibaufgabe/Aufgabenkomplexität
• Was wird als UV und AV herangezogen?
Markus Schmitt | Moti Brinkhaus
Keystroke Logging Analyse der gewonnenen Daten mit Blick auf den zeitkritischen Verlauf Wichtige Indikatoren: • Schreibdauer • Pausen • so genannte „bursts“ • Lokation und zeitlicher Verlauf von Tippfehlern und Korrekturprozessen -> Interpretationsschwierigkeiten beachten! Sowohl qualitative Analysen (was bedeutet eine Pause in ihrem Kontext?) als auch quantifizierende Analysen (statistischer Art; z.B. kumulierte Pausenhäufigkeiten, durchschnittliche Pausenlänge) möglich Gilt grundlegend auch für erfasste Handschriftprozesse Prinzipiell auch Kopplung an eye-tracking-Daten möglich. Dies bietet dann sehr differenzierte Analysemöglichkeiten! Leider noch kein einheitlicher „Exportstandard“ mit Blick auf Dateiformate/-typen etabliert
Markus Schmitt | Moti Brinkhaus
Keystroke Logging: Übersicht Programme
(Quelle: www.writingpro.eu)
Markus Schmitt | Moti Brinkhaus
Beispiel zur Erhebung von Kovariaten Klasse 5 (n=146)
Klasse 9 (n=131)
• für Mittelwertsvergleiche: Anzahl korrekt bearbeiteter Items (RW) oder Bearbeitungszeiten hilfreicher als Rückgriff auf Normdaten
min max MW SD
CFT20-R Wortschatz 4 27 17,0 5,0
SLS 10 51 28,5 8,0
Listening Span 0 10 4,1 2,1
Alphabet Task 5 21 12,3 3,7
min max MW SD
CFT20-R Wortschatz 1 30 24,3 4,6
SLS 13 70 44,3 10,3
Listening Span 1 11 5,8 2,2 Alphabet Task 0 36 21,1 6,1
Markus Schmitt | Moti Brinkhaus
Beispiel zur Erhebung von Kovariaten
Alphabet Task
SLS CFT 20R Corsi-Block Listening Span
Klasse 5 - .26** .30** - .30**
Klasse 9 .29** .35** .44** .33** .38**
Korrelation mit der Textqualität im Bericht (naives Rating)
Markus Schmitt | Moti Brinkhaus
Ratingverfahren
Ber 1 Ber 2 Ber 3 Ber 4 Arg 1 Arg 2 Arg 3 Arg 4
Stufe 0
Stufe 1
Stufe 2
Stufe 3
Stufe 4
Stufe 5
21.11.2015
Markus Schmitt | Moti Brinkhaus
Ratingverfahren: Herausforderungen
• standardisierte Verfahren vs. selbst entwickelte Verfahren
• globale vs. analytische Verfahren
• Fokus auf Inhalt, Grammatik, Lexik, Genre, Makrostruktur, ...
• zeitliche und finanzielle Aspekte
• Quantifizierbarkeit und Dichotomisierung
• (Konstrukt-) Validität
• Interraterreliabiltät
• didaktische Implikationen
• ....
Markus Schmitt | Moti Brinkhaus
Beispiel eines analytischen Verfahrens
• Detaillierte Textanalyse: Sprachliche Merkmale, die zum Zustandekommen der Textfunktion, Verständlichkeit und Kohärenz beitragen
• zentrale Kategorien (Basis: Zürcher Textanalyseraster, Nussbaumer &
Sieber, 1994):
– Vollständigkeit von Informationen
– Sprachliche Realisierung
– Kohärenz
– Textstruktur (Anfang/Ende)
• Formulierung der Kriterien entlang der spezifischen Aufgabe
Markus Schmitt | Moti Brinkhaus
analytische Verfahren
• Frage nach gleichgewichteter Aggregation der Items
• Berechnung der internen Konsistenz der versch. Skalen:
– je nach Textsorte variierend, einzelne Aspekte gehören offenbar „mehr“ zu einer Kategorie als andere
Markus Schmitt | Moti Brinkhaus
Korrelation mit anderen Textqualitätsmaßen
Bericht Textlänge NAEP naives Rating
Vollständigkeit .44** .65** .62**
Beschreibung .52** .64** .61**
Lokalisiation .56** .65** .63**
sprachl.
Realisierung .37** .65** .57**
Rahmung/Kohärenz .49** .39** .31**
Markus Schmitt | Moti Brinkhaus
Korrelation zwischen verschiedenen Textqualitätmaßen
Stichprobe: n=277, Klasse 5 und 9, Bericht
• Textlänge und NAEP: .60**
• Textlänge und naives Rating: .52**
• NAEP und naives Rating: .75**
Markus Schmitt | Moti Brinkhaus
weitere Auswertungsmethoden
• sprachliche Merkmale in den Texten als Hinweise auf kognitive und sprachliche Kompetenzen
– reine Auszählungen von Anzahl der Wörter, Anzahl der Types, bildungssprachliche Merkmale, Kohäsionsmittel, Textprozeduren, ...
– Beurteilungen von spezifischen Textstellen (z.B. Angemessenheit obligatorischer Verben)
– Annotationen und Kategorisierungen von Textstellen (induktiv oder deduktiv), z.B. in MAXQDA
• Zusammenhang der Merkmale mit Designfaktoren und/oder Textqualität
Markus Schmitt | Moti Brinkhaus
ABSCHLUSS
…wir freuen uns auf eine angeregte Diskussion!
Markus Schmitt | Moti Brinkhaus
Hilfreiche Links
• www.eyeandpen.net/ (digitales Schreibpad)
• https://edupad.ch/ (Tool zum digitalen kooperativen Schreiben)
• https://wiki.zum.de/wiki/Kooperatives_Schreiben (Überblick zu verschiedenen Tools zum kooperativen Schreiben)
• www.writingpro.eu (Webseite Schreibprozessforschung)
• https://sites.google.com/site/centretranslationinnovation/home (Homepage Translog II)
• www.schreibkompetenz.com (deutschsprachige Schreibforschergruppe)
• https://www.uni-giessen.de/fbz/fb05/dies (dieS-Forschergruppe: didaktisch empirische Schreibforschung)
Markus Schmitt | Moti Brinkhaus
Literatur Becker-Mrotzek, M., Brinkhaus, M., Grabowski, J., Hennecke, V., Jost, J., Knopp, M., Schmitt, M., Weinzierl, C. & Wilmsmeier, S. (2015).
Kohärenzherstellung und Perspektivenübernahme als Teilkomponenten der Schreibkompetenz: von der diagnostischen Absicherung zur di-daktischen Implementierung. In A. Redder, J. Naumann & R. Tracy (Hrsg.), Forschungsinitiative Sprachdiagnostik und Sprachförderung – Ergebnisse. Münster: Waxmann, S. 177-205.
Berninger, V. W. & Alsdorf, B. (1989). Are there errors in error analysis? Journal of Psycheducational Assessment, 7, 209–222.
Grabowski, J., Becker-Mrotzek, M., Knopp, M., Jost, J. & Weinzierl, C. (2014). Comparing and combining different approaches to the as-sessment of text quality. In D. Knorr, C. Heine & J. Engberg (Eds.), Methods in writing process research (pp. 147–165). Frankfurt/M.: Lang.
Hayes, J.R. & Flower, L.S. (1980). Identifying the organization of writing processes. In L.W. Gregg & E.R. Steinberg (Eds.), Cognitive processes in writing: An interdisciplinary approach (pp. 3–30). Hillsdale, NJ: Lawrence Erlbaum Associates.
Knopp, M. & Schmitt, M. (2017). Prädiktoren der Schreibkompetenz. In M. Becker-Mrotzek, J. Grabowski & T. Steinhoff (Hrsg.), Forschungshandbuch empirische Schreibdidaktik. Münster: Waxmann, S. 239-252.
Konrad, K. (2010). Lautes Denken. In G. Mey & K. Mruck (Hrsg.), Handbuch qualitative Forschung in der Psychologie. Wiesbaden: Springer VS, S.476-490.
Lehnen, K. (2017). Kooperatives Schreiben. In M. Becker-Mrotzek, J. Grabowski & T. Steinhoff (Hrsg.), Forschungshandbuch empirische Schreibdidaktik. Münster: Waxmann, S. 299-313.
Linnemann, M. (2017). Erfassung von Schreibprozessen: Methoden, Techniken, Tools. . In M. Becker-Mrotzek, J. Grabowski & T. Steinhoff (Hrsg.), Forschungshandbuch empirische Schreibdidaktik. Münster: Waxmann, S. 335-352.
Nussbaumer, M. & Sieber, P. (1994). Texte analysieren mit dem Zürcher Textanalyseraster. In P. Sieber (Hrsg.), Sprachfähigkeiten – Besser als ihr Ruf und nötiger denn je!. Aarau: Sauerländer, S. 141-186.
Wilmsmeier, S., Brinkhaus, M. & Hennecke, V. (2016). Ratingverfahren zur Messung von Textqualität in Schülertexten. Bulletin suisse de linguistique appliquée, 103, 101-117.