Tischvorlage zu TOP 4 Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel Prof. Dr. Olaf Köller Sch Sch Sch Schülerleistungen und lerleistungen und lerleistungen und lerleistungen und Kompetenzstufenmodelle Kompetenzstufenmodelle Kompetenzstufenmodelle Kompetenzstufenmodelle Olaf K Olaf K Olaf K Olaf Köller ller ller ller Leibniz Leibniz Leibniz Leibniz-Institut f Institut f Institut f Institut für die P r die P r die P r die Pädagogik der Naturwissenschaften dagogik der Naturwissenschaften dagogik der Naturwissenschaften dagogik der Naturwissenschaften und Mathematik (IPN) und Mathematik (IPN) und Mathematik (IPN) und Mathematik (IPN) 4. Kieler Schulleitungssymposium: Leistung und Leistungsmessung in der Schule Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel Prof. Dr. Olaf Köller Die KMK-Gesamtstrategie der Qualitätssicherung Von Kompetenzskalen zu Kompetenzstufen: Standard-Setting Ein Beispiel: Definition von Kompetenzstufen im Fach Englisch Nutzung von Kompetenzstufen zur Definition von Mindest-, Regel- und Idealstandards Kompetenzstufen im Ländervergleich 2009 Nutzung von Kompetenzstufenmodellen bei der Lernausgangslagendiagnostik zu Beginn der Sekundarstufe I Zusammenfassung Überblick berblick berblick berblick Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel Prof. Dr. Olaf Köller Beteiligung an internationalen Studien auf Stichprobenbasis (internationales Benchmarking) -PISA in der Sekundarstufe I (15jährige) -PIRLS und TIMSS in der Grundschule (4. Jahrgangsstufe) Nationaler Vergleich (Ländervergleich) durch das IQB auf der Basis der länderübergreifenden Bildungsstandards -4. Jahrgangsstufe für den Primarbereich -9. Jahrgangsstufe für den Mittleren Abschluss Flächendeckende Vergleichsarbeiten (Stufen 3 und 8) zum Zwecke der intermediären Feststellung von Leistungs- ständen; Anbindung an die Standards (VERA 3 und VERA 8) Standards, L Standards, L Standards, L Standards, Ländervergleiche und Vergleichs ndervergleiche und Vergleichs ndervergleiche und Vergleichs ndervergleiche und Vergleichs- arbeiten: Beschl arbeiten: Beschl arbeiten: Beschl arbeiten: Beschlüsse der KMK sse der KMK sse der KMK sse der KMK
10
Embed
Tischvorlage zu TOP 4 - kieler … · A2 358 372 365 10 350 360 355 7 ... Optimal-Optimal---bzw. ... Standardisiertes Testheft pro SchStandardisiertes Testheft pro Schü üüüler
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Tischvorlage zu TOP 4
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
SchSchSchSchüüüülerleistungen und lerleistungen und lerleistungen und lerleistungen und KompetenzstufenmodelleKompetenzstufenmodelleKompetenzstufenmodelleKompetenzstufenmodelle
Olaf KOlaf KOlaf KOlaf KööööllerllerllerllerLeibnizLeibnizLeibnizLeibniz----Institut fInstitut fInstitut fInstitut füüüür die Pr die Pr die Pr die Päääädagogik der Naturwissenschaften dagogik der Naturwissenschaften dagogik der Naturwissenschaften dagogik der Naturwissenschaften
und Mathematik (IPN)und Mathematik (IPN)und Mathematik (IPN)und Mathematik (IPN)
4. Kieler Schulleitungssymposium: Leistung und Leistungsmessung in der Schule
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
� Die KMK-Gesamtstrategie der Qualitätssicherung
� Von Kompetenzskalen zu Kompetenzstufen: Standard-Setting
� Ein Beispiel: Definition von Kompetenzstufen im Fach Englisch
� Nutzung von Kompetenzstufen zur Definition von Mindest-,
Regel- und Idealstandards
� Kompetenzstufen im Ländervergleich 2009
� Nutzung von Kompetenzstufenmodellen bei der
Lernausgangslagendiagnostik zu Beginn der Sekundarstufe I
� Zusammenfassung
ÜÜÜÜberblickberblickberblickberblick
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
� Beteiligung an internationalen Studien auf Stichprobenbasis
(internationales Benchmarking)
-PISA in der Sekundarstufe I (15jährige)
-PIRLS und TIMSS in der Grundschule (4. Jahrgangsstufe)
� Nationaler Vergleich (Ländervergleich) durch das IQB auf
der Basis der länderübergreifenden Bildungsstandards
-4. Jahrgangsstufe für den Primarbereich
-9. Jahrgangsstufe für den Mittleren Abschluss
� Flächendeckende Vergleichsarbeiten (Stufen 3 und 8) zum
Zwecke der intermediären Feststellung von Leistungs-
ständen; Anbindung an die Standards (VERA 3 und VERA 8)
Standards, LStandards, LStandards, LStandards, Läääändervergleiche und Vergleichsndervergleiche und Vergleichsndervergleiche und Vergleichsndervergleiche und Vergleichs----arbeiten: Beschlarbeiten: Beschlarbeiten: Beschlarbeiten: Beschlüüüüsse der KMKsse der KMKsse der KMKsse der KMK
Tischvorlage zu TOP 4
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
KMKKMKKMKKMK----Gesamtstrategie zum BildungsmonitoringGesamtstrategie zum BildungsmonitoringGesamtstrategie zum BildungsmonitoringGesamtstrategie zum BildungsmonitoringZeitliche PerspektivenZeitliche PerspektivenZeitliche PerspektivenZeitliche Perspektiven
LV-GS: Ländervergleich in der 4. Jahrgangsstufe (Deutsch, Mathematik)LV-Sek.: Ländervergleich in der 9. Jahrgangsstufe (abwechselnd Sprachen vs. Mathe + Nawi)VERA: Vergleichsarbeiten in der 3. und 8. JahrgangsstufeNBB: Nationaler Bildungsbericht
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
� Ergebnisse müssen verständlich/nachvollziehbar sein
� Welche Leistung muss erreicht werden, damit die
Schule/Klasse bzw. die Schülerinnen und Schüler im Soll
sind?
� Wie kann ich die Ergebnisse für Unterrichtsentwicklung und
individuelle Förderung nutzen?
Forderungen, die aus der Praxis an TestsForderungen, die aus der Praxis an TestsForderungen, die aus der Praxis an TestsForderungen, die aus der Praxis an Testsgestellt werdengestellt werdengestellt werdengestellt werden
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Kompetenzstufenmodelle als Kompetenzstufenmodelle als Kompetenzstufenmodelle als Kompetenzstufenmodelle als Interpretationshilfe Interpretationshilfe Interpretationshilfe Interpretationshilfe
� Schulleistungen/Kompetenzen sind typischerweise kontinuierliche Merkmale
� Prozedur: Einteilung des Kontinuums in Intervalle zur besseren Interpretation von Testwerten
� Ziel der Niveaustufensetzung müssen plausibel interpretierbare und kommunizierbare Kompetenzstufen sein
� Hierzu sollten Experten unterschiedlicher Gruppen eingebunden werden
� Wichtige Voraussetzung: Aufgaben und Schüler liegen auf dem selben Maßstab
Tischvorlage zu TOP 4
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Kontinuierliche Kompetenzskala Kontinuierliche Kompetenzskala Kontinuierliche Kompetenzskala Kontinuierliche Kompetenzskala ((((MMMM = 500 und = 500 und = 500 und = 500 und SDSDSDSD = 100) = 100) = 100) = 100)
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Schritte im StandardSchritte im StandardSchritte im StandardSchritte im Standard----setting Prozesssetting Prozesssetting Prozesssetting Prozess
1. Auswahl von Experten
2. Training von Experten (sofern nötig)
3. Entwicklung von Bezeichnungen für die einzelnen Kompetenzstufen
4. Entwicklung von Deskriptoren für die einzelnen Kompetenzstufen
5. Bestimmung von Schwellenwerten in mehreren Runden
(a) ohne Feedback und Diskussionsmöglichkeit
(b) mit Feedback und Diskussionsmöglichkeit
(c) mit « Impact Data » und Diskussionsmöglichkeit
6. Endgültige Setzung der Schwellenwerte durch politische Entscheidungsträger
7. Evaluation der Effektivität des Standard-setting Prozesses
8. Dokumentation des Standard-setting Prozesses
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
StandardStandardStandardStandard----setting im Fach Englisch fsetting im Fach Englisch fsetting im Fach Englisch fsetting im Fach Englisch füüüür r r r den Mittleren Schulabschlussden Mittleren Schulabschlussden Mittleren Schulabschlussden Mittleren Schulabschluss
� Insgesamt vier Panels
- Lehrkräfte mit klassischer Bookmark-Methode (homogen)
- Lehrkräfte mit modifizierter Bookmarkmethode (Computer-Programm Criterion Map; homogen)
- Fachdidaktiker/Bildungsforscher/Lehrkräfte mit klassischer Bookmark-Methode (heterogen)
- Fachdidaktiker/Bildungsforscher/Lehrkräfte mit modifizierter Bookmarkmethode (Computer-Programm Criterion Map; heterogen)
� Fünftägiger Workshop
� Festlegung von vier Cut Scores
Tischvorlage zu TOP 4
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
BEAR Assessment Center BEAR Assessment Center BEAR Assessment Center BEAR Assessment Center
(University of California at (University of California at (University of California at (University of California at Berkeley)Berkeley)Berkeley)Berkeley)
C1C1C1C1
680680680680
B2B2B2B2
560560560560
B1B1B1B1
430430430430
A2A2A2A2
350350350350
A1A1A1A1
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Befunde im LesenBefunde im LesenBefunde im LesenBefunde im Lesen
Level HomogenHeterogen Mean SD HomogenHeterogen Mean SD
C1 647 655 651 6 640 735 688 67
B2 499 557 528 41 580 540 560 28
B1 426 437 432 8 450 450 450 0
A2 358 372 365 10 350 360 355 7
CriterionMapBookmark
Level Grand Mean SD Adjusted Mean Interval Cuts after Rescaling
C1 681,13 44,26 650 100 700
B2 539,00 34,19 550 100 600
B1 440,75 11,59 450 100 500
A2 361,25 9,09 350 400
Level HomogenHeterogen Mean SD HomogenHeterogen Mean SD
C1 647 655 651 6 640 735 688 67
B2 499 557 528 41 580 540 560 28
B1 426 437 432 8 450 450 450 0
A2 358 372 365 10 350 360 355 7
CriterionMapBookmark
Level Grand Mean SD Adjusted Mean Interval Cuts after Rescaling
C1 681,13 44,26 650 100 700
B2 539,00 34,19 550 100 600
B1 440,75 11,59 450 100 500
A2 361,25 9,09 350 400
Tischvorlage zu TOP 4
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Verteilung der SchVerteilung der SchVerteilung der SchVerteilung der Schüüüüler auf die Stufenler auf die Stufenler auf die Stufenler auf die Stufen
C1
B2
B1
A2
A1
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
MindestMindestMindestMindest----, Regel, Regel, Regel, Regel---- und Maximalstandardsund Maximalstandardsund Maximalstandardsund Maximalstandards� MindeststandardsMindeststandardsMindeststandardsMindeststandards beschreiben Kompetenzniveaus, bei denen die
Vorgaben der Standards nicht erreicht werden, die vorhandenen Kompetenzen aber vermuten lassen, dass bei Unterstützungs-maßnahmen der erfolgreiche Übergang in die berufliche Erst-ausbildung gelingt. Ziel eines Bildungssystems muss sein, dass alle Schülerinnen und Schüler wenigstens die Mindeststandards erreichen.
� RegelstandardsRegelstandardsRegelstandardsRegelstandards beschreiben Kompetenzniveaus, die im Einklang mit den durch die KMK verabschiedeten Kompetenzerwartungen sind.
� Regelstandards plus Regelstandards plus Regelstandards plus Regelstandards plus beschreiben Kompetenzniveaus, die in einem gelingenden Unterricht langfristig erreicht werden sollten
� OptimalOptimalOptimalOptimal---- bzw. Maximalstandards bzw. Maximalstandards bzw. Maximalstandards bzw. Maximalstandards beschreiben Kompetenzniveaus, die deutlich über die curricularen Anforderungen hinaus gehen und das Ergebnis günstiger Voraussetzungen auf Seiten der Schüler und gelungenen Unterrichts sind.
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
MindestMindestMindestMindest----, Regel, Regel, Regel, Regel---- und Maximalstandards fund Maximalstandards fund Maximalstandards fund Maximalstandards füüüür r r r den MSA iden MSA iden MSA iden MSA in Englischn Englischn Englischn Englisch
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
SchSchSchSchüüüüleranteile im Hleranteile im Hleranteile im Hleranteile im Höööörverstehen (in %) nach rverstehen (in %) nach rverstehen (in %) nach rverstehen (in %) nach LLLLäääändergruppe und Stufen (Lndergruppe und Stufen (Lndergruppe und Stufen (Lndergruppe und Stufen (Läääändervergleich 2009)ndervergleich 2009)ndervergleich 2009)ndervergleich 2009)
� Kompetenzstufen werden in erster Linie definiert, um die
Kommunikation über Leistungen aus Schulleistungs-
studien zu erleichtern
� Sie sind das Resultat eines konsensuellen Prozesses in
Abstimmung zwischen Fachdidaktik, Psychometrie und
Politik
� Kompetenzstufen können in einem Assessment-System
auch die Basis zur Definition von Mindest-, Regel- und
Idealstandards sein
� Die Befunde für das Fach Englisch zeigen, dass in solch
einem System substanzielle Schüleranteile die gesetzten
Ziel verpassen können
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Nutzung von Kompetenzstufenmodellen Nutzung von Kompetenzstufenmodellen Nutzung von Kompetenzstufenmodellen Nutzung von Kompetenzstufenmodellen ffffüüüür Lernausgangslagenuntersuchungenr Lernausgangslagenuntersuchungenr Lernausgangslagenuntersuchungenr Lernausgangslagenuntersuchungen
� Projekt an Bremer Schulen (Sekundarschulen, Integrierte
Gesamtschulen, Gymnasien), 687 Schülerinnen und
Schüler aus 9 Schulen und 34 Klassen
� Finanzierung durch die Bremer Senatsbehörde
� Feststellung der Lernausgangslagen zu Beginn der 5.
Jahrgangsstufe im Fach Mathematik auf der Basis der
Bildungsstandards
� Nutzung des Kompetenzstufenmodells für das Fach
Mathematik am Ende der 4. Jahrgangsstufe
� Identifikation von Förderbedarf zu Beginn der 5.
Jahrgangsstufe
Tischvorlage zu TOP 4
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
BeschreibungBeschreibungBeschreibungBeschreibung Anteil im Anteil im Anteil im Anteil im 4. Jg. 4. Jg. 4. Jg. 4. Jg.
I < 390 Routineprozeduren auf Grundlage ein-fachen begrifflichen Wissens
10%
II 390 - 459 Einfache Anwendungen von Grundlagen-wissen
21%
III 460 - 529 Erkennen und Nutzen von Zusammen-hängen in einem vertrauten (mathe-matischen und sachbezogenen) Kontext
33%
IV 530 - 599 Sicheres und flexibles Anwenden von begrifflichem Wissen und Prozeduren im curricularen Umfang
21%
V ≥ 600 Modellierung komplexer Probleme unter selbstständiger Entwicklung geeigneter Strategien
15%
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Beispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und Operationen
V
IV
III
II
I
600
530
460
390
M = 500;
SD = 100
Rechne schriftlich.
348 + 87 + 609 = _____________
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
V
IV
III
II
I
600
530
460
390
M = 500;
SD = 100
Beispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und Operationen
Tischvorlage zu TOP 4
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
V
IV
III
II
I
600
530
460
390
M = 500;
SD = 100
Welche Zahl ist um 4 größer als das Produkt aus 9 und 3?
� 10
� 16
� 31
� 39
� 63
Tina und Ester sammeln Fußball-Bilder. Zusammen haben sie 25 Bilder. Tina hat 7 Bilder mehr als Esther.
Wie viele Bilder hat Esther?� 7
� 9
� 16
� 18
Beispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und OperationenBeispielaufgaben: Zahlen und Operationen
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Standardisiertes Testheft pro SchStandardisiertes Testheft pro SchStandardisiertes Testheft pro SchStandardisiertes Testheft pro Schüüüüler 1 ler 1 ler 1 ler 1 €€€€
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
� Zwei Testhefte für das Fach Mathematik in der Grundschule
� Ein Handbuch informiert über die Bildungsstandards und gibt Auswertungs- und Interpretationshilfen
� Normierte Aufgaben für die Klassenstufen 3 und 4
� Lehrkräfte erhalten Hinweise, welche Aufgaben konkret hinter den Leistungserwartungen der Bildungsstandards stehen
� Lehrkräfte können die Hefte einsetzen (wann immer sie wollen) um zu testen, ob die Schülerinnen und Schüler die in den Standards formulierten Erwartungen erfüllen
� Ergebnisse bleiben in der Schule, gehen nicht an die Schulaufsicht
� Tests sind als Screening-Instrumente geeignet
Zu den TestheftenZu den TestheftenZu den TestheftenZu den Testheften
Tischvorlage zu TOP 4
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
SchulrSchulrSchulrSchulrüüüückmeldung: Schckmeldung: Schckmeldung: Schckmeldung: Schüüüüler nach ler nach ler nach ler nach Kompetenzstufen in 2008Kompetenzstufen in 2008Kompetenzstufen in 2008Kompetenzstufen in 2008
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Nationale Norm (Ende
4. Jg.)
SMS 2008
SMS-Sekundarschulen
SMS-Gesamtschulen
SMS-Gymnasien
Ihre Schule
Schüler in %
Stufe I
Stufe II
Stufe III
Stufe IV
Stufe V
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
SchulrSchulrSchulrSchulrüüüückmeldung: Lernstand 2008 in Ihren ckmeldung: Lernstand 2008 in Ihren ckmeldung: Lernstand 2008 in Ihren ckmeldung: Lernstand 2008 in Ihren KlassenKlassenKlassenKlassen
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Klasse 5a
Klasse 5b
Ihre Schule
Schüler in %
Stufe I
Stufe II
Stufe III
Stufe IV
Stufe V
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Was folgt aus den Ergebnissen?Was folgt aus den Ergebnissen?Was folgt aus den Ergebnissen?Was folgt aus den Ergebnissen?
DurchfDurchfDurchfDurchfüüüührung der Vergleichsarbeitenhrung der Vergleichsarbeitenhrung der Vergleichsarbeitenhrung der VergleichsarbeitenAnalyse der Ergebnisse: Analyse der Ergebnisse: Analyse der Ergebnisse: Analyse der Ergebnisse: Systematische Betrachtung der quantitativen Ergebnisse
Interpretation der Ergebnisse:Interpretation der Ergebnisse:Interpretation der Ergebnisse:Interpretation der Ergebnisse:Bewertung und Erklärung der aus der Analyse hervorgegangenen Erkenntnisse
Formulierung von Zielen und Planung der MaFormulierung von Zielen und Planung der MaFormulierung von Zielen und Planung der MaFormulierung von Zielen und Planung der Maßßßßnahmen:nahmen:nahmen:nahmen:Vereinbarung von vorrangigen aus der Interpretation entstandenenZielen und Planung von entsprechenden Maßnahmen
Umsetzung der MaUmsetzung der MaUmsetzung der MaUmsetzung der Maßßßßnahmen:nahmen:nahmen:nahmen:Durchführung schulischer und unterrichtlicher Maßnahmen basierend auf den Zielen und Planungen
Tischvorlage zu TOP 4
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
Prof. Dr. Olaf Köller
Zusammenfassung
� Kompetenzstufenmodelle als Orientierungshilfe bei
Lernausgangslagenuntersuchungen
� Feststellung individuellen Förderbedarfs (Stufen I und II)
� Ergebnisse nicht als Assessment der abgebenden
Grundschulen
� Idealerweise bei Fördermaßnahmen Prozessevaluation
� Und nicht vergessen: Von Daten zu Taten!!!
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel