1 BBS Hamburg Maritzen 09/2005 Standards und Tests - Standards und Tests - Teufelswerkzeug oder Teufelswerkzeug oder Wunderwaffe für die Schul- und Wunderwaffe für die Schul- und Unterrichtsentwicklung? Unterrichtsentwicklung? Vortrag an der Universität Graz Vortrag an der Universität Graz am 22. September 2005 am 22. September 2005
35
Embed
1 BBS Hamburg Maritzen 09/2005 Standards und Tests - Teufelswerkzeug oder Wunderwaffe für die Schul- und Unterrichtsentwicklung? Vortrag an der Universität.
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
1
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
Standards und Tests -Standards und Tests -Teufelswerkzeug oder Teufelswerkzeug oder
Wunderwaffe für die Schul- und Wunderwaffe für die Schul- und Unterrichtsentwicklung?Unterrichtsentwicklung?
Vortrag an der Universität Graz Vortrag an der Universität Graz
am 22. September 2005am 22. September 2005
2
ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen
Schritt 2Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung
Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
3
ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen
Schritt 2Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung
Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
4
„PISA“ – Symptom für eine tiefgreifende Aufmerksamkeitsverschiebung „Krise“: Erfindung, um über Alarm-szenarien Geld zu akquirieren, Politik in Gang zu setzen, Erlösungsversprechen abzugeben, Legitimationsnotstände zu kaschieren Traditionslosigkeit der Evaluation: Ambivalenz von Heilserwartung („finnische Verhältnisse“) und Untergangsszenarien („amerikanische Verhältnisse“) kaum empirische „Erdung“ der Schul- und Unterrichtsentwicklung
Signaturen des Krisengeredes
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
5
Hamburg: Stadtstaat mit knapp 2 Mio Einwohnern; ca. 460 staatliche Schulen hohe Bildungsinvestitionen bei einbrechenden Steuereinnahmen 19,5 % Schüler/-innen mit nicht deutscher Staatsangehörigkeit, mehr als 30%mehr als 30% mit Migrations-hintergrund mehr als 90 gesprochene Sprachen seit Mitte der 90er Jahre Erfahrung mit flächendeckenden Schulentwicklungprogrammen und Schulleistungsuntersuchungen im Längsschnitt Einführung verbindlicher testbasierter Vergleichsarbeiten in Klasse 3, 6 und 8 zentrale Abschlussprüfungen in Klasse 9 bzw. 10
Perspektive eines Systemverantwortlichen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
6
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5 0
10
20
30
40
50
60
70
80
BB DEU BY HE BW HHHH NW HB
Sch
üle
r in
Pro
zent
Die Angaben stammen aus dem Lehrerfragebogen. Die Daten für Hamburg basieren auf der Erhebung im Rahmen von KESS 4 aus dem Jahr 2003.
Gute schulische Leistungen werden an unserer Schule öffentlich hervorgehoben Misserfolge von Schülern werden an unserer Schule den Lehrern angelastetSchulversagen wird bei uns als Problem der Schule und weniger des Schülers gesehen
Schullaufbahnenempfehlungen von Lehrkräften für Hamburg differenziert nach Lesekompetenz in
Prozent – Gesamtskala Lesen
8
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
80,0
90,0
100,0
0 10 20 30 40 50 60
ohne
Abschl.
%
nichtdt.
Her-
kunftspr.
%
Warum Standards und Tests?HH: Anteile der Hauptschulabsolventen ohne
Abschluss P
rozen
t
Schulen (N= 57)
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
9
Warum Standards und Tests?Leistungsentwicklung nach Schulen in Mathematik
(LAU 9/11)
Le
istu
ng
se
ntw
icklu
ng
Ma
the
ma
tik I
170
160
150
140
130
120
110
H/R Gesamtschulen Gymnasien BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
10
Hamburg
500
550
600
650
700
750
0 5 10 15 20 25
Mat
hemat
ik T
estlei
stun
g
Hamburg
Warum Standards und Tests?Mittlere Mathematikleistungen in PISA 2000E
von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
11
500
550
600
650
700
750
0 5 10 15 20 25
Mat
hem
atik
Tes
tlei
stun
g
Bayern
Hamburg
Warum Standards und Tests?Mittlere Mathematikleistungen in PISA 2000E
von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
12
400
450
500
550
600
650
700
Note 1 Note 2 Note 3 Note 4 Note 5
Mat
hem
atik
Tes
tlei
stun
g
Schule 1
Schule 2
Warum Standards und Tests?
Testleistung in Bezug zu Noten
PISA 2000 E
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
13
Erreichung von Mindeststandards Vergleichbarkeit von Abschlüssen Bezugsnormen bei Leistungsbeurteilungen Verteilungsgerechtigkeit bei der Berechtigungsvergabe Chancengleichheit bei der Bildungsbeteiligung extrem heterogene Ausgangslagen der Schulen Streuung zwischen sehr günstigen und ungünstigen Standortentwicklungen trotz vergleichbarer Ausgangslagen
Sind das keine Probleme der Schulentwicklung???
ProblemstauLokalisierbarer !!!B
BS
Ham
bu
rgM
ari
tzen
0
9/2
00
5
14
ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen
Schritt 2Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung
Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
15
„Tests“ – Versuch einer Ordnung der Landschaft 1
1. Schulleistungsuntersuchungen
-Stichprobe vs. Fläche - Querschnitt vs. Längsschnitt - mit/ohne Berücksichtigung
der Lernausgangslage - mit/ohne
Ergebnisrückmeldung an Lehrkraft, Schulleitung, Schul-aufsicht
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
16
2. „Vergleichsarbeiten“ -zentral vs. dezentral gestellte
Aufgaben - standardisiert/nicht
standardisiert - zentrale vs. dezentrale
Auswertung - mit/ohne Zusammenhang zum
Berechtigungswesen - Ergebniskenntnis bei
Lehrkräften, ggf. Schulleitung, Schulaufsicht
„Tests“ – Versuch einer Ordnung der Landschaft 2
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
17
3. Pädagogische Diagnostik -dezentral, von Lehrkräften und
anderen Professionen administriert und ausgewertet
- i. d. R. standardisiert - Ergebniskenntnis bei
Lehrkräften, ggf. Schulleitung, Schulaufsicht
- ggf. Rückmeldung der Ergebnisse an die getestete Person
„Tests“ – Versuch einer Ordnung der Landschaft 3
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
18
„Tests“ – Funktionsvielfalt
Schul- leistungs- unter- suchung
„Vergleichsarbeit“
diagnost. Test
Generierung von Steuerungswissen Schulevaluation Vergleiche zwischen Gruppen Überprüfung der Standard-erreichung Vergabe von Abschlüssen oder Zugangsberechtigungen öffentliches Ranking Impulse zur Unterrichtsentwick-lung: professionelle Verständigung über Anforderungen und Aufgaben individuelle Förderung
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
19
Erklärungsabstand zwischen Erklärungsabstand zwischen „PISA“ und „meinem „PISA“ und „meinem
Unterricht“Unterricht“ aggregierte Maße für Mittelwerte und aggregierte Maße für Mittelwerte und StreuungenStreuungen extern verantwortete Veranstaltungen mit extern verantwortete Veranstaltungen mit geringer praktischer Anschlussfähigkeit geringer praktischer Anschlussfähigkeit „ „Time-lagTime-lag“ zwischen Anwendung und “ zwischen Anwendung und BerichterstattungBerichterstattung
Standards und Tests müssen/können zeitnah auf den konkreten Unterricht, auf seine Voraussetzungen, Bedingungen und Ergebnisse bezogen werden. Standards und Tests müssen/können die lerndiagnostische Kompetenz der Lehrkräfte unterstützen und erweitern. Standards und Tests müssen/können die didaktische Phantasie konkret anregen.
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
20
„Vergleichsarbeiten“B
BS
Ham
bu
rgM
ari
tzen
0
9/2
00
5Vergleichsarbeiten unterscheiden sich von Schulleistungsstudien (z.B. PISA) durch flächendeckende Einbeziehung der Schulen (nicht nur Stichprobe) die enge Bindung an Standards einheitliche Aufgabensätze für Lerngruppen (kein „Multimatrix-Sampling“) die Konzentration auf ausgewählte Teilleistungsbereiche der Fächer eine Korrektur/Auswertung durch Lehrkräfte das Angebot von empirisch abgesicherten Referenzwerten zu Aufgabenschwierigkeiten und Schülerleistungen (ermöglicht faire Vergleiche) die systematische Einbindung in einen schulischen Entwicklungsprozess
21
Orientierung der Aufgaben an Lehrplänen und den Bildungsstandards der KMK
Akzentsetzungen auf ausgewählte Teilleistungs- bzw. Kompetenzbereiche
Unterrichtsnähe
Balance zwischen begrenzten und komplexen Anforderungen
Anforderungsprofile und Orientierungen zur Beurteilung
Berücksichtigung diagnostischer Perspektiven
Auswertbarkeit in den Schulen
„Vergleichsarbeiten“:Anforderungen an die Aufgabenentwicklung
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
22
„Vergleichsarbeiten“:Anforderungen an die Aufgabenentwicklung
Ermittlung und Beschreibung schwierigkeits-bestimmender Merkmale von schwierigkeits-bestimmender Merkmale von AufgabenAufgaben: Kontext, Textlänge, sprachliche Komplexität, Anzahl und Verknüpfung der Lösungsschritte, Anzahl zu verarbeitender „Größen“, Schwierigkeit der zu beweisenden Kompetenz, Antwortformat, eine/mehrere Lösungen...)
systematische Variation von Schwierigkeits-merkmalen
Kontextualisierung vs. Dekontextualisierung
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
23
„Vergleichsarbeiten“:externes Feedback und interne Reflexion von Schülerleistungen
Analyse von Lösungshäufigkeiten der einzelnen Analyse von Lösungshäufigkeiten der einzelnen Aufgaben: Beschreibung von Aufgaben: Beschreibung von Kompetenzprofilen der KlassenKompetenzprofilen der Klassen
Ergebnisdarstellung in Form von Ergebnisdarstellung in Form von Kompetenzstufen: Kompetenzstufen: inhaltliche Beschreibung von Lernständeninhaltliche Beschreibung von Lernständen
Vergleich der Ergebnisse von parallelen Vergleich der Ergebnisse von parallelen KlassenKlassen
Vergleich der Ergebnisse mit Vergleich der Ergebnisse mit schulübergreifenden Referenzwertenschulübergreifenden Referenzwerten
ÜbersichtÜbersichtSchritt 1Schritt 1 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen
Schritt 2Schritt 2 Tests – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung
Schritt 3Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Prinzipien
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
32
Einige Voraussetzungen: Schule
schulinternes Monitoring von „Daten“ zu Leistungsentwicklungen, Abschlüssen, Schullaufbahnabbrüchen usw. datenbasierte Planungs- u. Entscheidungs-verläufe als Grundlage für Schulprogramme Bildung von „learning communities“ z. B. zum didaktischen Training u. Coaching oder für Maßnahmen der Unterrichtsevaluation „Fachleiter/-innen“ mit Kompetenz schulinterne Qualifizierung „instructional leadership“
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
33
Einige Voraussetzungen: System
Orientierungsrahmen „Schulqualität“
auf Dauer gestelltes Feedback
Tools mit Verfahren / Instrumenten
diagnostischer und didaktischer Support
verbindliche Rechenschaftslegung und Transparenz
technische Infrastrukturen
früh einsetzende Fördersysteme
Intervention in schulische Zeitstrukturen
BB
S H
am
bu
rgM
ari
tzen
0
9/2
00
5
34
Risiken und Nebenwirkungen
Risiko des Wissens Unterschätzung des Zeitbedarfs und der systemischen Zusammenhänge Technologieüberschuss auf der Steuerungsebene vs. Technologie„defizit“ auf der Ebene des pädagogischen Handelns Transparenz von Ergebnissen, für deren Zustandekommen nur uneindeutige Praktiken zur Verfügung stehen Verschärfung des Selektionssystems Nachahmung von vermeintlich „Erfolgreichen“