Qualitätsentwicklung als partizipativer Prozess Dr. Sandra Mittag Referat Qualitätsmanagement, TU Darmstadt CHE-Forum: QM-Systeme: Qualität als Gemeinschaftsleistung von Hochschulleitung, Wissenschaft und Verwaltung Kassel, 28. April 2009
Qualitätsentwicklung als partizipativer Prozess
Dr. Sandra MittagReferat Qualitätsmanagement, TU Darmstadt
CHE-Forum: QM-Systeme: Qualität als Gemeinschaftsleistung von Hochschulleitung, Wissenschaft und VerwaltungKassel, 28. April 2009
Inhalt
Rolle und Aufgaben verschiedener Akteure an Hochschulen: Hochschulleitung, wissenschaftliches und nicht-wissenschaftliches Personal, StudierendeBest Practice Beispiel: Institutionelle Evaluationen an der Universität ZürichQualitätskultur
Quality Culture Project (2002-2006): Zentrale Ergebnisse (1)
Relationship between leadership and staff capacity of the institutional leadership to provide room for a grass-roots approach to quality (wide consultation and discussion) and to avoid the risk of over-bureaucratisation integration of all relevant members of the institution in the decision-making process, including academic and administrative staff and students introducing transparent rules and procedures which are discussed and then clearly documented and communicated to the institutional community
Quelle: European University Association (2006)
Quality Culture Project (2002-2006): Zentrale Ergebnisse (2)
a follow-up to the results of internally organised reviews and a positive “can do” and proactive approach to problem solving rather than a punitive or merely reactive one a balanced mix of top-down and bottom-up elements self-empowerment of staff
Quelle: European University Association (2006)
European Standards and Guidelines (ENQA, 2009)
Hochschulen sollten sich zur Entwicklung einer Qualitätskultur verpflichten. Sie sollten eine Strategie für die kontinuierliche
Qualitätsentwicklung erarbeiten und umsetzen. Die Strategie sowie die Qualitätssicherungsprozesse
sollten auch die Studierenden mit einbeziehen. Die Strategie sowie die Qualitätssicherungsprozesse
sollten öffentlich zugänglich sein. Über die Ergebnisse (externer) Qualitätssicherung
sollte es eine transparente Berichterstattung geben.
European Association for Quality Assurance in Higher Education (2009, 3. Auflage)
Voraussetzungen für eine erfolgreiche Qualitätsentwicklung
Instrumente der Qualitätsentwicklung sind erfolgreicher, wenn ... sie diskursiv und auf Vertrauen angelegt sind und nicht auf
Macht und Kontrolle zielen (Harvey & Newton, 2004; Huisman & Currie, 2004; Massy, 1999; de Weert, 1990) ... Qualitätsentwicklung als ein permanenter reflexiver Prozess
verstanden wird, in den die Betroffenen eingebunden sind (Preskill, 2004) ... wenn keine negativen finanziellen Konsequenzen als
unmittelbare Folge gezogen, sondern verstärkt Anreize eingesetzt werden (Daxner, 1999; Jaeger, 2005; van Bruggen, Scheele und Westerheijden, 1998) ... wenn die Ergebnisse konsequent umgesetzt werden und die
Instrumente auf Vertrauen und Verlässlichkeit basieren (VolkswagenStiftung, 2005)
Gründe für die ausbleibende Umsetzung von Evaluationsergebnissen
Erschwerender oder verhindernder Umstand absolut in Prozent
Es gab keine ausreichende finanzielle und strukturelle Unterstützung bei der Umsetzung der Empfehlungen. 54 62
Die Professorinnen und Professoren waren überwiegend der Auffassung, dass der Aufwand für die Evaluation nicht dem Nutzen entspricht. 41 47
Es bestand keine oder kaum die Möglichkeit, mit der Gutachterkommission über das Gutachten zu diskutieren. 39 45
Die Professorinnen und Professoren haben sich zu wenig / nicht mehr um die Umsetzung der Ergebnisse der Evaluation gekümmert. 36 41
Es hat von außerhalb des Faches niemand nach der Umsetzung gefragt. 36 41
Die Professorinnen und Professoren kooperierten / kooperieren nicht (ausreichend) miteinander. 34 39
Die Professorinnen und Professoren waren überwiegend der Auffassung, dass die Evaluation keine bedeutenden Ergebnisse erzielt. 34 39
Im gesamten Evaluationsverfahren wurden die strukturellen Rahmenbedin-gungen des Faches bzw. der Hochschule (zur Verfügung stehende Mittel, Stellenbesetzung u. ä.) nicht oder zu wenig berücksichtigt.
32 37
Umstände, die in den Verfahren (n = 87) nach Ansicht der Fachangehörigen (n=135) am häufigsten dazu beitrugen, dass Aktivitäten mit dem Ziel der Qualitätssicherung und -verbesserung in Studium und Lehre erschwert oder verhindert wurden (in absoluten und relativen Häufigkeiten)
Quelle: Mittag, S. (2006)
Veränderungen der Kommunikation durch das Evaluationsverfahren
Veränderungen der Kommunikation durch das Evaluationsverfahren 1) innerhalb der Professorenschaft und 2) zwischen Fach und Hochschulleitung (n = 55 Evaluationsverfah- ren; in absoluten und relativen Häufigkeiten)
Veränderungen der Kommunikation absolut in Prozent
1) Innerhalb der Professorenschaft
verbessert 33 60 gleich geblieben 21 38 verschlechtert 1 2
Gesamt 55 100
2) Zwischen Fach und Hochschulleitung
verbessert 27 49 gleich geblieben 25 46 verschlechtert 3 5
Gesamt 55 100
Quelle: Mittag, S. (2006)
Best Practice Beispiel
Zwecke:
Erhebung, Sicherung und Verbesserung der Qualität der wissenschaftlichen Arbeit in Forschung, Lehre und Dienstleistung sowie der Qualität der Arbeit in der Leitung und der Verwaltung Erarbeitung von Entscheidungshilfen bei der mittel- und langfristigen strategischen Planung Rechenschaftslegung gegenüber der Öffentlichkeit
Institutionelle Evaluationen an der Universität Zürich
Quelle: Evaluationsstelle der Universität Zürich
Organisations- und Leitungsstruktur der Universität Zürich
Quelle: Evaluationsstelle der Universität Zürich
Zuständigkeiten und Kompetenzen (1)
Universitätsrat Erlass des EvaluationsreglementsWahl der Leitung der Evaluationsstelle Auftraggeber aller EvaluationenGenehmigung des Evaluationsplans (rollender 3-Jahresplan) Information der Öffentlichkeit
UniversitätsleitungAusarbeitung des Evaluationsplans (mit der Evaluationsstelle) Festlegen von Zielvereinbarungen / Maßnahmenprogrammen (mit der evaluierten Einheit)Umsetzung von Maßnahmen
Quelle: Evaluationsstelle der Universität Zürich
Zuständigkeiten und Kompetenzen (2)
Evaluationsstelle Organisation der Evaluationen Bestimmung der Expertinnen und Experten
(mit Fachdekan / Universitätsleitung) Gesamtevaluationsbericht mit Befunden und Empfehlungen Monitoring der Umsetzung der Zielvereinbarungen Entwicklung und Optimierung der Evaluationsverfahren Antragsrecht auf Evaluationen
Evaluierte Einheit Mitarbeit bei der Konzipierung und Durchführung der
Evaluation Vorschläge für die Zusammensetzung der Expertenkommission Stellungnahmen zum Expertenbericht und
Gesamtevaluationsbericht Einbezug bei Zielvereinbarungen und Maßnahmen Antragsrecht auf Evaluationen
Quelle: Evaluationsstelle der Universität Zürich
Re-Evaluation (ca. 6-8 Jahre nach Abschluss Zielvereinbarung)
Ablauf der Evaluation (1)
Informed Peer-review-
Verfahren
Evaluationsstelle
Monitoring derUmsetzung von
Zielvereinbarung / Maßnahmen
Evaluationsstelle
Follow-up
Memorandum of understanding /
Zielvereinbarung
Universitätsleitung
Quelle: Evaluationsstelle der Universität Zürich
BefragungenStudierendeAlumniMittelbauMitarbeitende«Kunden»
Selbstevaluations-bericht
Stellung-nahmen
Evaluierte Einheit
Follow-up
Universitätsrat,Universitäts-leitung
Memorandum ofunderstanding / Zielvereinbarung / Maßnahmen-programm
Evaluationsstelle
Gesamt-evaluations-
bericht
Stellung-nahmen
Lehrveranstaltungs-beurteilung
1. Semester 2. Semester 4. Semester
Bibliometr. Analysen
Ablauf der Evaluation (2)
Experten(Peers)
Experten-BerichtSite-Visit
3. Semester
Quelle: Evaluationsstelle der Universität Zürich
Transparenzgebot
§ 13
Die Evaluationsstelle trifft Vorkehren für die Transparenz der Evaluationsvorgänge und ihrer Verarbeitung in Zusammenarbeit mit allen Beteiligten.Sie informiert alle Beteiligten rechtzeitig über Arbeitsschritte und Ergebnisse.
(Auszug aus dem Evaluationsreglement vom 5. Mai 2000)
Quelle: Evaluationsreglement der Universität Zürich: http://www.evaluation.uzh.ch/regulations.html
Follow-up-Verfahren, Ablauf (1)
Provisorischer Maßnahmenkatalog der Universitätsleitung Follow-up-Gespräch mit der evaluierten Einheit Zielvereinbarung Ausarbeitung von Konzepten durch die evaluierte Einheit Genehmigung der Konzepte durch die Universitäts-
leitung Umsetzung Monitoring durch die Evaluationsstelle nach 2 Jahren
Quelle: Evaluationsstelle der Universität Zürich
Follow-up-Verfahren, Ablauf (2)
Weitere involvierte Stellen:
Universitätsrat diskutiert Evaluationsergebnisse und gibt Hinweise auf
gewünschte Maßnahmen wird über Follow-up-Gespräch und Zielvereinbarung
informiert
Fakultät
nimmt vor dem Follow-up-Gespräch Stellung zur Frage, welche Ressourcen zur Umsetzung der Maßnahmen verfügbar sind Dekan nimmt am Follow-up-Gespräch teil
Quelle: Evaluationsstelle der Universität Zürich
Das Zürcher Modell
Institutionelle Evaluationen nach dem Zürcher Modell erlauben
eine holistische Sicht auf alle relevanten Bereiche und Themen unter Berücksichtigung der Vielfalt universitärer Kernaufgaben und der verschiedenen Perspektiven von Universitätsangehörigen (und Studierenden); die integrative Wertung von Befunden (Aggregation von Erkenntnissen interner Qualitätssicherung, Verknüpfung mit externen - nationalen und internationalen - Ergebnissen, Akkreditierung, Benchmarking); eine formative Komponente durch situationsadäquate, handlungsleitende Empfehlungen an alle Beteiligten; ein unabhängiges Feedback an die Einheiten und an die Leitungsorgane zur mittel- und langfristigen Entscheidungs-findung / Steuerung und zur Rechenschaftslegung
Quelle: Evaluationsstelle der Universität Zürich
Assessment des Evaluationsverfahrens
Befragung von Koordinationsgruppenmitgliedern (n=49): 70% stimmen zu, dass die verschiedenen
Statusgruppen insgesamt ausreichend in die Evaluation einbezogen wurden 60% sind der Auffassung, dass die Evaluation in der
Einheit eine Diskussion über Stärken, Schwächen und Entwicklungsoptionen ausgelöst hat 67% lehnen es ab, dass bestimmte Teile des
Expertenberichts nicht allen Angehörigen der evaluierten Einheit zugestellt werden 85% sind mit der Information über das Evaluations-
verfahren durch die Evaluationsstelle zufrieden
Quelle: Evaluationsstelle der Universität Zürich
Risiken
Qualitäts«bürokratie» vs. Qualitätskultur «Evaluitis»
Inhalte vs. Prozesse «Qualität, die überzeugt»
Profilierung vs. Standardisierung Gewichtung von Lehre, Forschung, Dienstleistung
Handlungsfähigkeit Freier Zugang zur UniversitätRessourcen, Zeithorizonte
Quality Culture: Definition
„Quality culture refers to an organisational culture that intends to enhance quality permanently and is characterised by two distinct elements: on the one hand, a cultural / psychological element of shared values, beliefs, expectations and commitment towards quality and, on the other hand, a structural / managerial element with defined processes that enhance quality and aim at coordinating individual efforts. Thus, the cultural / psychological element refers back to individual staff members while the structural / managerial refers back to the institution.“
European University Association (2006, S. 10)
Quality Culture: Modell
Quelle: European University Association (2006)
Literatur
Bruggen, J. C. van, Scheele, J. P. & Westerheijden, D. F. (1998). To be continued. Syntheses and trends in follow-up of quality assurance in West European higher education. European Journal for Education Law and Policy, 2 (2), 155-163. Daxner, M. (1999). Evaluation, Indikatoren und Akkreditierung. Auf dem
Weg in die Rechtfertigungsgesellschaft. In Hochschulrektorenkonferenz (Hrsg.), „Viel Lärm um nichts?“ Evaluation von Studium und Lehre und ihre Folgen. Tagung an der Universität Rostock, 1998 (Beiträge zur Hochschulpolitik, 4, Projekt Qualitätssicherung) (S. 41-49). Bonn: Hochschulrektorenkonferenz. European Association for Quality Assurance in Higher Education (2009,
3. Auflage). Standards and Guidelines for Quality Assurance in the European Higher Education Area. [Online]. URL: http://www.enqa.eu/ files/ESG_3edition%20(2).pdf (Zugriff: April 2009). European University Association (2006). Quality Culture in European
Universities: A Bottom-Up Approach. Report on the Three Rounds of the Quality Culture Project 2002-2006. Brüssel: European University Association. Harvey, L. & Newton, J. (2004). Transforming quality evaluation. Quality
in Higher Education, 10 (2), 149-165. Huisman, J. & Currie, J. (2004). Accountability in higher education.
Bridge over troubled water? Higher Education, 48 (4), 529-551.
Literatur
Jaeger, M., Leszczensky, M., Orr, D. & Schwarzenberger, A. (2005). Formelgebundene Mittelvergabe und Zielvereinbarungen als Instrumente der Budgetierung an deutschen Universitäten: Ergebnisse einer bundesweiten Befragung (HIS Kurzinformation, A 13). Hannover: Hochschul-Informations-System. Massy, W. F. (1999, May). Energizing quality work. Higher education
quality evaluation in Sweden and Denmark (Technical report, 6-06). Mittag, S. (2006). Qualitätssicherung an Hochschulen. Eine
Untersuchung zu den Folgen der Evaluation von Studium und Lehre. Münster: Waxmann. Preskill, H. (2004). The transformational power of evaluation. Passion,
purpose, and practice. In M. Alkin (Hrsg.), Evaluation roots. Tracing theorists' views and influences (S. 343-355). Thousand Oaks: Sage. VolkswagenStiftung (2005). Eckpunkte eines zukunftsfähigen deutschen
Wissenschaftssystems. Zwölf Empfehlungen. Hannover: VolkswagenStiftung. Weert, E. de (1990). A macro-analysis of quality assessment in higher
education. Higher Education, 19 (1), 57-72.
Vielen Dank für Ihre Aufmerksamkeit!
Dr. Sandra MittagReferat Qualitätsmanagement, TU Darmstadt [email protected]