JOHANNES KEPLER UNIVERSITÄT LINZ Altenberger Straße 69 4040 Linz, Österreich www.jku.at FORSCHUNG IM MEHREBENEN- SYSTEM SCHULE Herbert Altrichter Linz School of Education
JOHANNES KEPLER
UNIVERSITÄT LINZ
Altenberger Straße 69
4040 Linz, Österreich
www.jku.at
FORSCHUNG IM MEHREBENEN-
SYSTEM SCHULE
Herbert Altrichter
Linz School of Education
ÜBERSICHT
Educational Governance – eine Entwicklung
Was heißt Steuern in der Governance-Perspektive?
Forschung zu neuen Steuerungsinstrumenten
Schulinspektion
Bildungsstandard-Politik
Zusammenfassung und Ausblick
EDUCATIONAL GOVERNANCE – EINE
ENTWICKLUNG
ein „anerkannt uneindeutiger Begriff“ (Blumenthal 2005, 1150)
1. “government; exercise of authority; control.
2. a method or system of government or management.”
„Während Government auf den Bereich des formalen
Entscheidens innerhalb der Verfassungsinstitutionen zielt und in
erster Linie die einseitige staatliche Steuerung vorrangig durch
Setzung verbindlichen Rechts impliziert, weist Governance auf
ein Zusammenspiel verschiedener staatlicher wie
nichtstaatlicher Akteure hin, das in unterschiedlicher
Ausprägung auftritt, in der Regel jedoch eine Komponente der
Verständigung oder des Verhandelns aufweist. Der zentrale
Unterschied liegt dabei weniger in den Ergebnissen als vielmehr
in der Ausgestaltung des Prozesses (…).“ (Blumenthal 2005:
1151)
EDUCATIONAL GOVERNANCE – EINE
ENTWICKLUNG
Die Idee, Politik allein aus der Perspektive der formal
entscheidungsberechtigten Staatenlenker, der „legislators“ auf der
Ebene der Nationalstaaten, kam von zwei Seiten der Druck:
von unten: „dass Regierungen und Verwaltungen ihre Aufgaben
meistens nicht autonom, sondern nur in Zusammenwirkung mit
andern Akteuren, seien es solche aus dem öffentlichen oder dem
privaten Sektor, erfüllen können, ferner dass zahlreiche kollektiv
verbindliche Regeln ohne den Staat gesetzt und durchgesetzt
werden.“ (Benz 2004a: 17)
von oben: Europäische Union, Globalisierung regulatorische
Prozesse ‚oberhalb‘ des Nationalstaates, ein zentraler Akteur?
theoretische Ermöglichung der Übertragung der Governance-
Perspektive von der gesamtstaatlichen Ebene auf einzelne
Politikfelder, wie Verwaltung, Gesundheitswesen, Bildungswesen
EDUCATIONAL GOVERNANCE – EINE
ENTWICKLUNG
Steuerung der Universitätssysteme und der Forschung im
Vergleich von England, Niederlanden, Deutschland und
Österreich (vgl. Schimank 2005; Schiene & Schimank 2007; de
Boer, Enders & Schimank 2007)
Brüsemeister (2004a; 2004b): wie Transformationen im
Schulwesen von Lehrpersonen wahrgenommen und in ihrem
Handeln aufgegriffen werden
Altrichter, Brüsemeister & Heinrich (2005): Merkmale und Fragen
einer Governance-Reform am Beispiel des österreichischen
Schulwesens
SEIT 2007 BUCHREIHE
EDUCATIONAL GOVERNANCE
WIESBADEN: SPRINGER VS
6
BUCHREIHE EDUCATIONAL
GOVERNANCE - BIS 2016 34 BÄNDE
7
EDUCATIONAL GOVERNANCE – EINE
ENTWICKLUNG
Deutschen Institut für Internationale Pädagogische Forschung
(DIPF), Arbeitseinheit Steuerung und Finanzierung des
Bildungswesens/Center for Research on Educational Governance
(Prof. Kai Maaz)
Institut für Educational Governance und Qualitätsentwicklung der
PH Steiermark
„Governance ist somit ein Ansatz, um die Frage zu beantworten, wie sozialer
Wandel angesichts sich verändernder staatlicher Regulierun-gen und
angesichts sich verändernder sozialer Wirklichkeiten geschieht und wie dieser
über neue emergente Regulierungen von intelligenten Akteuren mitgestaltet
wird. Die staatliche Regulierung wird damit insofern „verflüssigt“, als sie mit
neuen Strukturen, mit neuen Akteuren (z. B. den non-governmental
organizations), neuen Handlungsinstrumenten (z.B. Öffentlichkeits-arbeit und
Monitoring) und neuen Legitimationsprozessen (etwa durch Partizipation) zu
arbeiten beginnt.“
Fend, H. (2011). Die Wirksamkeit der Neuen Steuerung –theoretische und methodische Probleme ihrer Evaluation.
Zeitschrift für Bildungsforschung 1 (1), 5–24.
EDUCATIONAL GOVERNANCE – EINE
ENTWICKLUNG
DGfE-Kommission ‚Bildungsorganisation, Bildungsplanung und
Bildungsrecht‘ (KBBB)
ECER NW Policy studies
Strategien zur Erforschung der Governance im Bildungswesen
(25.-26. November 2010, JKU Linz), Julia von Blumenthal
(Berlin), Helmut Fend (Zürich), Uwe Schimank (Bremen)
GOVERNANCE, PROFESSION und ARBEIT in BILDUNG,
PFLEGE und KREATIVWIRTSCHAFT (18. bis 20. November
2015, JKU Linz) Helen Gunter (Manchester), Kerstin Rieder
(Aalen), Uwe Schimank (Bremen) Hildegard Theobald (Vechta)
Bildungsstandards im Spannungsfeld zwischen Politik und
schulischem Alltag (20. – 21. April 2017 in Linz, Johannes
Kepler Universität) Kai Maaz (DIPF Berlin), Daniel Tröhler
(Universität Luxemburg)
ÜBERSICHT
Educational Governance – eine Entwicklung
Was heißt Steuern in der Governance-Perspektive?
Forschung zu neuen Steuerungsinstrumenten
Schulinspektion
Bildungsstandard-Politik
Zusammenfassung und Ausblick
WAS HEIßT „STEUERN VON SOZIALEN
SYSTEMEN“?
WAS HEIßT „STEUERN VON SOZIALEN
SYSTEMEN“?
Stellschrauben, Regelungshebel??
Regieren / Verwalten
Planen OECD-Bildungsplanung, Dt. Bildungsrat
Pressmann & Wildavsky (1973): „How Great Expectations in Washington Are Dashed
in Oakland“
Entwickeln
Steuern
„Wer steuert wie was?“
„Wie kommt es, dass der Eindruck der Gesteuertheit von sozialen
Systemen entsteht?“
WAS HEIßT „STEUERN“ IN SOZIALEN
ZUSAMMENHÄNGEN?
Handlung setzen, die „bestimmte“ weitere Handlungen anregen
WAS HEIßT „STEUERUNG“ EINES
SCHULSYSTEMS?
Die Governance-Forschung untersucht das
Zustandekommen sozialer Ordnung („Regelungsstruktur")
und sozialer Leistungen („Leistungsstruktur")
unter der Perspektive der Handlungskoordination
zwischen verschiedenen sozialen Akteuren
in komplexen Mehrebenensystemen
TRAD.
VORSTELLUNG VON
„STEUERN“,
REGIEREN
BLICKRICHTUNGEN:
(1) Vielzahl von Akteuren
vs. Einfluss allein
durch „Regierende“
BLICKRICHTUNG 1: AKTEURE
Nicht ein Steuerungsakteur (die „Regierung“), sondern „Zusammenwirken“ verschiedener Akteure auf verschiedenen Ebenen mit unterschiedlichen Intentionen
Welche Akteure sind beteiligt?
Durch welche Handlungen/Praktiken beteiligen sich bestimmte soziale Akteure an der Konstituierung von sozialen Ordnung und Leistungen?
Wie schauen die Koordinationsbeziehungen zwischen den verschiedenen beteiligten sozialen Akteuren aus?
In Transformationsphasen:
Werden in der neuen sozialen Ordnung neue Akteure beteiligt bzw. früher beteiligte nicht mehr beteiligt?
In welcher Weise (abgelesen an den zum Handlungssystem beigetragenen Praktiken) verändern sich die beteiligten sozialen Akteure?
BLICKRICHTUNG 1: AKTEURE
Kleines theoretisches Problem:
Soziale Akteure
Entstanden durch „Zusammenhandeln“ (Fend)
Also selbst das Ergebnis einer „Handlungskoordination“
Z.B. Profession (Freidson, E. (2001). Professionalism. The Third
Logic. University of Chicago Press: Chicago.
Hierarchie Markt Profession evidenzbasierte Steuerung
Basale
Mechanismen
Beeinflussung Beobachtung
[Verhandlung]
Beeinflussung
[Verhandlung]
Beeinflussung: Ziele, ev. Sanktionen,
Beobachtung: Ist-Soll-Vergleiche
Entwicklung
Beziehungen dauerhaft,
hierarchisch
kurzzeitig,
Vielzahl von
PartnerInnen
egalitär/ oligar-
chisch,
dauerhaft,
extern:hierarch.
Schule-System: “Teilautonomie“ +
Rahmensteuerung: Evaluation
Schule-Mitarbeiter/in: „Verbetrieblichung“,
Orientierung
an
Weisung Preis, indiv
Nutzen
Kompetenz,
Monopol,
Berufsth. Werte
Extern: hierarchische Abhängigkeit,
Leistungsvereinbarung, Evaluation,
Schule-Klient/innen: Werbung
Intern: hierarchische Abhängigkeit, ev.
gemildert durch prof. Spielräume
Bindung zw.
Akteuren und
Ebenen
Hierarchische
Abhängigkeit
Kosten-
Nutzen-
Kalküle
Vertrauen in
Kompetenz und
Moral
Leistungsziele,
Ist-Soll-Vergleiche
Zuordnung
von Leistung
und
Gegenleistung
„relationale
Verträge“ –
globale
Verkaufs-
verträge
Wertschät-
zung, staatl.
Regulierg.
Definition, „Instrumente“ zur
Objektivierung der Zuordnung
Entwicklung Planung,
hierarch
Koordination
„invisible
hand“,
regulierende
Eingriffe
Wiss.Entwicklg.
geschützte
Bereiche,
staatl.
Regulierg.
Zielorientierung,
Selbstregulierung,
Beobachtung von Klient/innen-
Bedürfnissen
Blickrichtungen:
(1) Vielzahl von
Akteuren
(2) Handlungskoordi-
nation vs. direkte
„Steuerung“
BLICKRICHTUNG 2:
HANDLUNGSKOORDINATION
Wie koordinieren die Akteure ihr Handlungen?
„Bindung“
Duality of agency and structure (Giddens)
Strukturierte Handlung
Gehandelte Strukturen
„STRUKTUREN“
Regeln Materielle und
immaterielle
Ressourcen
„Struktur“ Gesetze, Verordnungen,
Verträge, Handlungs-
anweisungen, informelle
Rechte, "ungeschriebene
Gesetze", Umgangsregeln,
Gepflogenheiten
Geld, Zeit,
Kompetenz, Raum,
Sinn usw.
„AGENCY AND STRUCTUREN“
Regeln Materielle und
immaterielle
Ressourcen
Akteur Bereitschaften,
Intentionen, Motivationen,
wertenden Weltsichten etc.
der Akteure
Fähigkeiten, Wissen,
Kompetenzen,
Handlungsprozeduren
und Routinen
„Struktur“ =
Handlungs-
umgebung d.
Akteurs
Gesetze, Verordnungen,
Verträge, Handlungs-
anweisungen, informelle
Rechte, "ungeschriebene
Gesetze", Umgangsregeln,
Gepflogenheiten
Geld, Zeit,
Kompetenz, Raum,
Sinn usw.
BLICKRICHTUNG 2B:
HANDLUNGSKOORDINATION
Wie koordinieren die Akteure ihr Handlungen? wie kann man
spezifische Handlungskoordinationen inhaltlich beschreiben?
‚Mikrobeschreibung (Lange & Schimank)
Beobachtung
Beeinflussung
Verhandlung
„Klassische Modelle“ - institutionell verdichtete, komplexere Formen
der Koordination:
Hierarchie,
Markt,
Gemeinschaft,
Netzwerk, …
BLICKRICHTUNG 2B:
HANDLUNGSKOORDINATION
zeit- und bereichsspezifische
Koordinationsmechanismen
Selbststeuerung
L-profession
Außensteuerung
substanzieller
Ziele
Schulinterne
Führung -
Management
Konkurrenz-
druck und
Quasi-Märkte
Staatliche Input-
Regelung
FÜNF DIMENSIONEN DER ANALYSE VON
GOVERNANCE-TRANSFORMATIONEN
(„GOVERNANCE-EQUALIZER“ NACH SCHIMANK UND CLARK)
Selbststeuerung
L-profession
Außensteuerung
substanzieller
Ziele
Schulinterne
Führung -
Management
Konkurrenz-
druck und
Quasi-Märkte
Staatliche Input-
Regelung
FÜNF DIMENSIONEN DER ANALYSE VON
GOVERNANCE-TRANSFORMATIONEN
(„GOVERNANCE-EQUALIZER“ NACH SCHIMANK UND CLARK)
Blickrichtungen:
(1) Vielzahl von Akteuren
(2) Handlungskoordination
(3) Mehrebenensystem
BLICKRICHTUNG 3:
MEHREBENENSYSTEM
nicht alle Akteure interagieren in gleicher Weise, sondern es gibt
„typische Schichten“, auf denen eigene Handlungslogiken
herrschen, die sich von jenen auf anderen „Schichten“
unterscheiden können
Mikro/Unterricht
Meso/Einzelschule
Makro/System
Intermediär/Kontroll- & Unterstützungssysteme
BILDUNGSREFORM ALS
MEHREBENENPHÄNOMEN
Systemreform Akteure müssen ihr Handeln auf partiell neue Weise mit einander koordinieren
Wie wird an den „Schnittstellen“ des Systems z.B. zwischen Schulaufsicht und Einzelschule, zwischen Schulleitung und LehrerInnen, zwischen LehrerInnen und SchülerInnen,
die Reformintention kommuniziert und
führt sie zu neuen (zu neu aufeinander abgestimmten) Handlungen
oder ‚zwingen‘ die Akteure einander – willentlich oder unwillentlich – in alte Geleise, indem sie Reformelemente im Sinne bewährter Praktiken interpretieren?
BLICKRICHTUNG 4:
INTENTIONALITÄT UND
TRANSINTENTIONALITÄT
Akteure haben werthafte Intentionen,
Intentionalität der Akteure
die sich auch rechtfertigend und strategisch einsetzen.
handlungsstrategischen Bedeutung
Die Interaktionen haben Wirkungen,
„Leistungsstruktur“, nicht nur „Regelungsstruktur“
die nicht den proklamierten Intentionen entsprechen müssen.
nicht-intendierte Handlungsfolgen: Transintentionalität
GOVERNANCEANALYTISCHE
PERSPEKTIVE
Fokus auf: Handlungskoordination in sozialen Systemen
Schlägt sich nieder ‚Regelungsstruktur‘ = ‚Leistungsstruktur‘
Ergibt sich durch Handlungen einer Mehrzahl (sozialer) Akteure, Administration/Aufsicht, Lehrpersonen, Schulleitungen
SchülerInnen, Eltern
Weitere Akeure: Schulbuchverlage, Fortbildung, Gemeinden
die sich auf Strukturen (Regeln & Ressourcen) stützen und dabei
diese verstärken/verändern
Interesse für ‚relativ dauerhafte‘ Koordinationen (Beschreibung
durch ‚Koordinationsmechanismen‘) – Bindung der Akteure an
bestimmten Koordinationen?
GOVERNANCEANALYTISCHE
PERSPEKTIVE
Bildungsreform = Versuch, die bestehenden und eingespielten
Handlungskoordinationen in einem System zu verändern
= ‚Strukturangebot‘, das durch bestimmte Akteure (z.B.
Bildungspolitik) in ein System eingegeben wird und von anderen
Akteure aufgegriffen werden muss, um soziale Bedeutung zu
bekommen
‚Aufgreifen‘ ist ein notwendig konstruktiver (=verändernder) Akt, in
dem ‚Strukturangebote‘ für den jeweiligen Kontext passend
spezifiziert und in Konzepte, Handlungen und Strukturen
‚übersetzt‘ werden müssen = Rekontextualisierung (Fend 2006)
In einem Mehrebenensystem ist die ‚Implementierung‘/Verbreitung
der Reform/Übersetzung von Strukturangeboten zwischen den
Ebenen ein kritischer Prozess, weil unterschiedliche ‚Handlungs-
logiken‘ auf den verschiedenen Ebenen (z.B. Administration/
Schulleitung/ Unterricht) herrschen
GOVERNANCEANALYTISCHE
PERSPEKTIVE
Um die Ziele einer Reform zu erreichen, sollen die Akteure durch
verschiedenen Reformelemente dazu stimuliert werden,
die Strukturangebote in einer bestimmten Weise zu
‚rekontextualisieren‘ und
Sich auf relativ dauerhafte Weise (partiell) neu zu koordinieren
( Koordinationsmechanismen = ‚relativ dauerhafte‘ Formen
der Handlungskoordination, die für des spezif Phänomen
charakteristisch sind)
Die Analyse des ‚Wirkungsmodells‘ einer Reform (vgl. auch Leuuw
2003: Programmtheorie) zeigt auf,
Welche einzelnen Elemente einer Reform
Durch welche Koordinationsmechanismen
Mit den Zielen der Reform verbunden sind.
GOVERNANCEANALYTISCHE
PERSPEKTIVE
Ein solches ‚Wirkungsmodell‘ kann Normativ sein, wenn es die Wirkungserwartungen und
–behauptungen der Reform-ProponentInnen rekonstruiert (z.B. Ehren
et al. 2013),
Empirisch sein, wenn die Wirkungserwartungen empirisch geprüft und
ev. alternative Koordinationsmechanismen und Ziele gefunden werden
(z.B. Gustafsson et al. 2015)
GOVERNANCE STUDIES
FORSCHUNGSSTRATEGIE (ALTRICHTER & MAAG MERKI 2016)
Governance Perspektive vs Governance Theorie
Governance-Studien beziehen unterschiedliche theoretische
Ansätze in die eigenen Analysen mit ein. Sie sind damit für
verschiedene sozialwissenschaftliche Theorieansätze offen.
Allerdings zeichnet sich die Governance-Perspektive durch einen
Satz von gemeinsamen Bestimmungstücken aus, die die
Aufmerksamkeit von Forscher/innen auf bestimmte Aspekte der
Wirklichkeit lenken und „kategoriale Brücken“ zwischen
verschiedenen Einzeluntersuchungen ermöglichen.
GOVERNANCE STUDIES
FORSCHUNGSSTRATEGIE(ALTRICHTER & MAAG MERKI 2016)
Governance-Studien dürfen keinen engen Fokus wählen, sondern
müssen Politiken in ihrem Kontext und ihrer historischen
Bedingtheit untersuchen – der Komplexität gerecht werden
müssen sowohl die Ebene politischer Proklamation und
Legitimation als auch jene tatsächlicher Handlung und ihrer
Wirkungen in den Blick nehmen und zueinander in Beziehung
setzen.
Rekontextualisierung: Zusammenhänge und Wechselwirkung
zwischen Ebenen
… anspruchsvoll
Anspruch an Diskurs: Anschlussfähigkeit, Brückenkonzepte
Theoretische Konzepte
ÜBERSICHT
Educational Governance – eine Entwicklung
Was heißt Steuern in der Governance-Perspektive?
Forschung zu neuen Steuerungsinstrumenten
Schulinspektion
Bildungsstandard-Politik
Zusammenfassung und Ausblick
WELCHE WIRKUNGEN SOLLEN SCHULINSPEKTIONEN IN
VERSCHIEDENEN EUROPÄISCHEN LÄNDERN AUF
SCHULEN AUSÜBEN? AUF WELCHE WEISE (DURCH
WELCHE PROZESSE UND KONTEXTFAKTOREN) SOLLEN
DIESE WIRKUNGEN ERREICHT WERDEN?
Analyse von Programmtheorien (Leeuw 2003)
Rekonstruktion der Annahmen über kausale Mechanismen und
beabsichtigte Effekte
Dokumentenanalyse von Inspektionsregelungen und einschlägigen
rechtlichen Dokumenten
Interviews mit Inspektor/innen
eine ‘Programmtheorie ’ für jedes Land
Cross-case Analyse: “konzeptuelles Modell”, das den “konzeptuellen
Kern” von Inspektion repräsentiert
ENTWICKLUNG EINES WIRKUNGSMODELLS VON
SCHULINSPEKTIONEN DURCH VERGLEICHENDE
ANALYSE DER PROGRAMMTHEORIEN
Wirkungsmodell aus dem Vergleich der nationalen „Programmtheorie“
Einzelmodelle
repräsentiert offiziellen Erwartungen und Wirkungsannahmen -- ein
normatives Modell
ABB. 3: WIRKUNGSMODELL VON
SCHULINSPEKTIONEN(EHREN, ALTRICHTER, MCNAMARA & O‘HARA 2013)
Schul-
inspektion
(elements)
• Cyclical vs
differentiated
• Output criteria
• Conse-
quences /
sanctions
• Public
inspection
reportsHandlungen
der
Stakeholders
Akzeptieren
& Verwenden
v. Feedback
Aufbau von
Erwartungen
Schul-
entwick-
lung
(inkl.
schul.
Selbst-
evalu-
ation)
Schul-
qualität
Schul-
inspektion
(elements)
Handlungen
der
Stakeholders
Akzeptieren
& Verwenden
v. Feedback
Aufbau von
Erwartungen
Schul-
entwick-
lung
(inkl.
schul.
Selbst-
evalu-
ation)
Schul-
qualität
Schul-
inspektion
(elements)
Handlungen
der
Stakeholders
Akzeptieren
& Verwenden
v. Feedback
Aufbau von
Erwartungen
Schul-
entwick-
lung
(inkl.
schul.
Selbst-
evalu-
ation)
Schul-
qualität
„VERMITTELNDE MECHANISMEN“ ZUR
ERZIELUNG DER INTENDIERTEN EFFEKTE
Aufbau von Erwartungen: Inspektionen kommunizieren
Erwartungen über schulische Ziele und Prozesse durch Standards,
Auftreten in Besuchen, Berichte und Konsequenzen
Akzeptieren und Verarbeiten von Feedback: Inspektionen „wirken“
durch ihre Feedbackberichte, wenn Schulen diese Botschaften
akzeptieren und als Leitlinie für künftige Handlungen nehmen
Aufmerksamkeit und Handlungen der stakeholders: Inspektionen
machen die stakeholders der Schule auf Qualitätsmerkmale und
Stärken und Schwächen aufmerksam und motivieren sie, durch
Unterstützung oder Druck auf Schulentwicklung zu dringen.
LEITIDEEN EINES „EVIDENZBASIERTEN
STEUERUNGSMODELLS“
Ziele: formuliert Erwartungen für die Leistungen des Schulsystems und
kommuniziert sie entschiedener als zuvor
Ist-Soll-Vergleich: soll „Evidenz“ bzgl. Leistungserwartungen produzieren
Entwicklung: Diese „Evidenz“ soll Systementwicklung und -verbesserung auf allen
Systemebenen stimulieren und orientieren (d.h. auf die richtige Ziele richten).
Transparenz/Öffentlichkeit: Verschiedene stakeholder der Schulen sollen
einbezogen werden, um externe Aufmerksamkeit (Druck/Unterstützung) zu
erhöhen
beansprucht Orientierungskraft für alle Ebenen des „Mehrebenensystem Schule“
Aufbau von
Erwartungen
Akzeptieren &
Verwenden v.
Feedback
Handlungen der
Stakeholders
‚evidenz-
basierte
Steuerungs-
instrumente
(Schul-
inspektion,
Bildungs-
standards)
Handlungen
der
Stakeholders
Akzeptieren
& Verwenden
v. Feedback
Aufbau von
Erwartungen
Schul-
entwick-
lung
(inkl.
schul.
Selbst-
evalu-
ation)
Schul-
qualität
EU-LLP PROJEKT „IMPACT OF
SCHOOL INSPECTIONS ON
TEACHING AND LEARNING“ (ISI-TL)
Forschungsteams aus acht europäischen Ländern: NL, UK/ENG,
IRL, SWE, CZE, AUT (Steiermark)
Online-Befragung von 2300 Primar- und Sekundar-Schulleiter/innen
im Längsschnitt
ISI-TL1 November 2011 – Jänner 2012
ISI-TL2 November 2012 – Jänner 2013
ISI-TL3 November 2013 – Jänner 2014
52
SAMPLES AND RESPONSE RATES
Country Targeted sample Actual sample
Netherlands Three threshold groups (no risk, risk, high risk) which each consist of 100
schools (50 schools in primary education, 50 schools in secondary education),
adding up to a selection of 300 schools in total.
Targeted sample (taking into account drop out of schools): 408 primary
schools, 359 secondary schools
Actual sample primary
schools: 73 (17.76%)
Actual sample secondary
schools: 15 (4.18%)
England Targeted sample: 211 primary and 211 secondary schools that were closest to
the threshold for monitoring inspections (the “treatment” in the England study).
Logistic regression models were developed to give good estimates as to how
close each school was to the threshold for monitoring inspections.
Actual sample primary
schools: 62 (29.38%)
Actual sample secondary
schools: 42 (20.10%)
Sweden The target sample included a random selection of 1167 primary schools, and
987 secondary schools from the population of 3468 primary schools and 1529
secondary schools.
Actual sample primary
schools: 567 (48.59%)
Actual sample secondary
schools: 464 (47.01%)
Ireland All schools were included in the target sample: 3200 primary schools and 729
secondary schools.
Actual sample primary
schools: 220 (6.9%)
Actual sample secondary
schools: 51 (7%)
Austria
(Styria)
All schools were included in the target sample: 503 primary schools and 194
secondary schools.
Actual sample primary
schools: 345 (68.5%)
Actual sample secondary
schools: 149 (77.2%)
Czech
Republic
TIMSS design used to sample of schools: 150 primary schools and 170
secondary schools
Actual sample primary
schools: 50 (33%)
Sec. schools: 66 (39%)
OVERVIEW OF LATENT VARIABLES
Latent construct Example itemNo. of
itemsScale
Cronbachs
Alpha
Setting
expectations
The inspection standards affect the evaluation and
supervision of teachers. 7
strongly
agree (1) -
strongly
disagree
(5)
.835
Stakeholders
sensitive to
reports
The school’s Board of Management/ Boards of Governors
is very aware of the contents of the school inspection
report.3 .607
Accepting
feedback
The feedback received from the inspectors was useful.
5 .792
Improving self-
evaluations
Compared to last academic year, I spent less/more time
on the self-evaluation process as a whole. 3
much less
(1) - much
more (5)
.869
Improvement
actions for
capacity building
Compared to last academic year, I spent less/more time
involving teachers in making decisions about using new
teaching methods.
7 .791
Improvement
teacher participation
in decision making1
Compared to last academic year, I spent less/more time
involving teachers in making decisions about using new
teaching methods.
2 .638
Improvement
teacher co-
operation1
Compared to last academic year, I spent less/more time
on improving teachers’ collaboration in discussing
assessment results of students with each other.
2 .665
Improvement
transformational
leadership1
Compared to last academic year, I spent less/more time in
my leadership role communicating the school’s vision to
the staff, pupils, parents and others.
2 .632
Juli 2012
Latent constructExample itemNo. of
itemsScale
Cronbachs
Alpha
Improvement
actions for
school
effectiveness
Compared to last academic year, I spent less/more time on
improving the extent to which teachers make effective use of
teaching time within lessons. 10
much less
(1) - much
more (5)
.836
Improvement
assessment of
teachers/school2
Compared to last academic year, I spent less/more time on
using assessment results for comparing the school with
other schools.
3 .697
Improvement
opportunity to
learn2
Compared to last academic year, I spent less/more time on
improving the extent to which teachers make effective use of
teaching time within lessons.
2 .711
Improvement
assessment of
students2
Compared to last academic year, I spent less/more time on
making sure teachers use assessments to monitor students’
progress.
2 .612
Improvement
structured
teaching2
Compared to last academic year, I spent less/more time on
improving the extent to which teachers give clear instructions
and explanations.
3 .824
Durch welche Mechanismen fördern Schulinspektionen
Entwicklungsaktivitäten (bzw. unerwünschte Konsequenzen)?
Gustafsson, J.-E., Ehren, M.C.M., Conyngham, G., McNamara, G.,
Altrichter, H. & O’Hara, J. (2015). From Inspection to Quality: Ways
in Which School Inspection Influences Change in Schools. Studies in
Educational Evaluation 47, 47-57.
doi:10.1016/j.stueduc.2015.07.002
PFADMODELL BASIEREND AUF DEM
WIRKUNGSMODELL VON SCHULINSPEKTIONEN
(Chi Quadrat = 778,04; df = 583; CFI = 0,986; TLI =
0,979; RMSEA = 0,012; 90 % CI = 0,010 - 0,014)
Wirkt Inspektion in unterschiedlichen nationalen/Governance-
Kontexten unterschiedlich?
Altrichter, H. & Kemethofer, D. (2015). Does Accountability Pressure
through School Inspections Promote School Improvement? School
Effectiveness and School Improvement 26(1), 32-56.
Ehren, M.C.M., Gustafsson, J.-E., Altrichter, H., Skedsmo, G.,
Kemethofer, D., & Huber, S.G. (2015). Comparing effects and side
effects of different school inspection systems across Europe.
Comparative Education 51(3), 375-400.
TAB. 9: “VERMITTELNDE MECHANISMEN” NACH
RECHENSCHAFTSSYSTEMEN
Intermediate mechanisms Accountability system N Mean SD p ( .05)
Setting expectations Austria 310 3.34 .563
ENG > SE >
AT Sweden 357 3.55 .689
England 237 3.96 .634
Stakeholders sensitive to
reports
Austria 288 3.32 .614 ENG > SE >
AT Sweden 351 3.56 .626
England 238 4.03 .626
Accepting feedback Austria 305 3.88 .661
AT ≈ SE >
ENG Sweden 359 3.86 .606
England 238 3.71 .747 Note: The last column presents the results of the comparison of group means (Duncan test) and is to be read in
the following way: “>” … the group mean is significantly bigger (p .05) than …; “≈” … the group mean does
not significantly differ (p .05 ) from …
TABLE 10: UNERWARTETE/UNERWÜNSCHTE
KONSEQUENZEN NACH RECHENSCHAFTSSYSTEMEN
Unintended consequences Accountability system N Mean SD p (.05)
Discouraging new teaching
methods
Austria 302 1.91 .793 SE >
ENG >
AT Sweden 354 2.62 .868
England 235 2.15 .926
Narrowing the curriculum
and instructional strategies
Austria 299 1.87 .757 ENG >
SE > AT Sweden 353 2.29 .909
England 235 3.08 1.251 Note: The last column presents the results of the comparison of group means (Duncan test) and is to be read in
the following way: “>” … the group mean is significantly bigger (p .05) than …; “≈” … the group mean does
not significantly differ (p .05 ) from …
ERGEBNISSE DER FORSCHUNG ZUR
REZEPTION VON FEEDBACK AUS
INSPEKTIONEN UND
LERNSTANDSERHEBUNGEN
Auch jenen Schulen und Lehrpersonen, die den neuen
Steuerungsinstrumenten positiv gegenüberstehen, fällt es oft
nicht leicht, aus Evaluationsrückmeldungen produktive
Konsequenzen für die Weiterentwicklung von Unterricht zu ziehen
Jene, die Konsequenzen ziehen, berichten eher „kleinere‘
Veränderungen (Stoffe wiederholen, mehr Zeit für Stoffe,
Testformate übernehmen)
61
Mehr Rechenschaftsdruck (high stakes-Systeme)
vergrößert das Ausmaß an Entwicklungsaktivitäten,
vermindert aber die Auseinandersetzung mit
Evaluationsfeedback
erhöht das Ausmaß von nicht-intendierten Effekten (teaching to
the test, Einschränkung des Curriculums auf geprüfte Inhalte).
Frage: Rezeption von Bildungsstandards und Datenfeedback
Fallstudien in 6 Volksschulen, Haupt-/NMS und AHS, cross case
analysis
3 Datenerhebungen in drei Jahren:
vor M-Bildungsstandard-Testung, nach M-Feedback/vor E-
Testung, nach E-Feedback
Interviews mit SL, LL, Elternvertreter/in
SCHULENTWICKLUNG DURCH
BILDUNGSSTANDARDS?
(STEINER ET AL. 2016)
Bildungs-
standards
Verbesserte
Prozesse (z.B.
individualisierter, kompetenzorientierter
Unterricht)
Datenrück-
meldung
Standard-
bezogene
Tests
Unterrichts- (&
Schul-)
Entwicklung(noticing, interpreting,
constructing implications)
Berichte an
Schulpartner
Unterrichtsmaterial,
Aufgabenbeispiele,
Diagnosetests
Feedback-
modera-
tion
Verbesserte
Ergebnisse (Schülerkompe-
tenzen, Chancen-
gerechtigkeit)
Unterrichts- (&
Schul-)
Entwicklung(noticing, interpreting,
constructing implications)
Verbesserte
Prozesse (z.B.
individualisierter,
kompetenzorientierter
Unterricht, Qualitäts-
entwicklung, Selbst-
evaluation)
EBIS
Beratung,
Fortbildung
Organisation
Prozesse
Alignment durch Unterstützung
Aufbau von Erwartungen
Stimulation durch Feedback
Einbeziehen v. stakeholder
Alignment durch innerschulische
Koordination
Alignment durch Unterstützung
KontextWIRKUNGSMODELL DER ‚STANDARDS-
POLITIK‘
Wenig Auswirkungen der Rückmeldung des Standard-
Ergebnisse: wenn im Erwartungswert
Aufgabe von Einzelpersonen, keine schulbezogene Verarbeitung
Keine schülerbezogenen Informationen
Wann komme ich wieder dran?
Als Vorbereitung auf die Testung werden in den 4. Klassen häufiger die BIFIE-Unterstützungsmaterialien
studiert
wo notwendig, inhaltliche Umgewichtungen vorgenommen und mit
neuen Aufgabentypen gearbeitet
Teaching to the test oder Anreicherung des Unterrichts mit neuen
Lernmöglichkeiten?
Berichte an stakeholders werden nicht intensiv genutzt
SCHULENTWICKLUNG DURCH
BILDUNGSSTANDARDS? ERGEBNISSE
Bildungs-
standards
Verbesserte
Prozesse (z.B.
individualisierter, kompetenzorientierter
Unterricht)
Datenrück-
meldung
Standard-
bezogene
Tests
Unterrichts- (&
Schul-)
Entwicklung(noticing, interpreting,
constructing implications)
Berichte an
Schulpartner
Unterrichtsmaterial,
Aufgabenbeispiele,
Diagnosetests
Feedback-
modera-
tion
Verbesserte
Ergebnisse (Schülerkompe-
tenzen, Chancen-
gerechtigkeit)
Unterrichts- (&
Schul-)
Entwicklung(noticing, interpreting,
constructing implications)
Verbesserte
Prozesse (z.B.
individualisierter,
kompetenzorientierter
Unterricht, Qualitäts-
entwicklung, Selbst-
evaluation)
EBIS
Beratung,
Fortbildung
Organisation
Prozesse
Kontext
ÜBERSICHT
Educational Governance – eine Entwicklung
Was heißt Steuern in der Governance-Perspektive?
Forschung zu neuen Steuerungsinstrumenten
Schulinspektion
Bildungsstandard-Politik
Zusammenfassung und Ausblick
68/23
WIRKUNGSHYPOTHESEN ZUR
EVIDENZBASIERTEN STEUERUNG
Arrangements evidenzbasierter Steuerung fördern
Schulentwicklung durch den ‘Aufbau von Erwartungen’
Neo-institutionalistische Theorien: normativer Druck, Suche nach
Legitimität
Die ‚Einbeziehung von stakeholders‘ hat in unseren Schulsystemen
weniger Tradition und entfaltet daher seltener stimulierende
Wirkung für Unterrichts- und Schulentwicklung.
Datenfeedback scheint derzeit weniger Einfluss auf Schul- und
Unterrichtsentwicklung zu haben, als ursprünglich erwartet.
Schulleitungen nutzen Daten eher als Lehrpersonen (Young 2016)
In der stärkeren Abstimmung zwischen Schulleitung und
Lehrpersonen liegt möglicherweise Potential
Unterrichtsnahe, handlungsorientierte Unterstützungsmaterialien
fördern Veränderung
69/23
WIRKUNGSHYPOTHESEN ZUR
EVIDENZBASIERTEN STEUERUNG
Mehr Rechenschaftsdruck (high stakes-Systeme)
erhöht die Anpassung an vorgegebene Kriterien,
vergrößert das Ausmaß an Entwicklungsaktivitäten,
vermindert aber die Auseinandersetzung mit
Evaluationsfeedback
erhöht das Ausmaß von nicht-intendierten Effekten (teaching to
the test, Einschränkung des Curriculums auf geprüfte Inhalte).
70/23
WIRKUNGSHYPOTHESEN ZUR
EVIDENZBASIERTEN STEUERUNG
Neo-institutionelle Theorien und Theorien der sozialen
Koordination haben mehr Erklärungskraft für das Funktionieren
neuer Steuerung als Feedbacktheorien
Feedback über eigene Leistungen ist weniger effektiv unter high-
stakes Bedingungen, weil
‘gute Schulen’ sich vor der Inspektion/Prüfung vorbereiten Unter
normativen Druck suchen Schulen Legitimität durch Konformität und
Vorbereitung
Wenn also der Mechanismus „Aufbau von Erwartungen‘ effektiv ist,
dann reduziert sich die Wahrscheinlichkeit, dass Schulleitungen
“Aufmerksamkeit auf das Feedback” legen und
Handlungskonsequenzen daraus ableiten
‘Schulen mit Problemen’ finden es schwer, Feedback zu verarbeiten
und Handlungskonsequenzen zu ziehen unter dem Handlungsdruck,
der durch ungünstige Ergebnisse entstanden ist
Titel/Ersteller,
Datum
Herzlichen Dank
ERGEBNISSE DER FORSCHUNG ZUR
REZEPTION VON FEEDBACK AUS
INSPEKTIONEN UND
LERNSTANDSERHEBUNGEN
Auch jenen Schulen und Lehrpersonen, die den neuen
Steuerungsinstrumenten positiv gegenüberstehen, fällt es oft
nicht leicht, aus Evaluationsrückmeldungen produktive
Konsequenzen für die Weiterentwicklung von Unterricht zu ziehen
Jene, die Konsequenzen ziehen, berichten eher „kleinere‘
Veränderungen (Stoffe wiederholen, mehr Zeit für Stoffe,
Testformate übernehmen)
72
„UMSTEUERUNG“ – WOVON UND
WIE?
Seit dem PISA-Schock ist Qualitätsevaluation nicht nur ein
Hilfsmittel zur ‚rationalen‘ Einzelschulentwicklung, sondern ein
wesentliches Element einer „Umsteuerung“ des Bildungswesens.
Eine Grundidee dieser „Umsteuerung“ („Evidenzbasierte
Steuerung“) besteht darin, dass Qualitätsentwicklung
zielgerichteter, auf einer besseren Informationsbasis und
schneller als bis dahin üblich betrieben werden müsse und dass
dafür nicht nur einzelschulische, sondern auch gesamt-
systemische Massnahmen notwendig wären.
Besonders wichtig sind «Output-Informationen» über
Schülerleistungen
SCHÜLERLEISTUNG UND
UNTERRICHTSENTWICKLUNG
Annahme von Lernstandserhebungen: schülerbezogene
Leistungsinformationen lassen sich – mit Hilfe von
Kompetenzmodellen - in didaktische Erneuerung übersetzen
Leistungsinformation = «Indikator»
Für Unterrichtsentwicklung braucht es mehr prozessbezogene
Information, mehr Information über Faktoren der
Unterrichtsqualität und didaktischen Gestaltung
74