d Einleitung Herzlich Willkommen zur Veranstaltung: Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105) ranstaltungsüberblick und 09. April 2013 „Überblick über Grundlagen und Methoden der Evaluationsforschung“ Veranstaltungsleiterin: Anne Bachmann Ver Institut für Psychologie Der Christian-Albrechts-Universität zu Kiel Sozialpsychologie & Politische Psychologie Dr. Anne Bachmann Vorlesung: Evaluation SS 2013 Veranstaltungsleiterin: Anne Bachmann Veranstaltungsort: OHP2 (Otto-Hahn-Hörsaal Chemie II) Veranstaltungszeit: dienstags 12.15-13.45 Uhr
35
Embed
„Überblick über Grundlagen und Methoden der ......• Kriterien und Standards bedürfen der Anpassung an jeweilige Situation (wichtig sind jene, die zur Wahl eines geeigneten Evaluationsdesigns
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Herzlich Willkommen zur Veranstaltung:
Sozialpsychologie und Politische Psychologie HBM6: Evaluation (051105)
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3
„Überblick über Grundlagen und Methoden der Evaluationsforschung“
Veranstaltungsleiterin: Anne Bachmann
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Sommersemester, Vorlesung Evaluation, Themen- und Terminplan); Einstellung jeweils vor der Veranstaltung
• Klausur im Juli (vermutlich 8./9. Juli), Start: 8:30 Uhr mit Formalia, ca. 8:45 Uhr Beginn der Einlesezeit + Beantwortung von Fragen, Schreibbeginn um 09:00 Uhr, Klausurdauer 1h, Ort: wird noch bekannt gegeben
• Klausur besteht aus 7 Hauptfragen mit offenen Teilfragen (Mischung aus Reproduktion, Transfer und Beurteilung)
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
(Mischung aus Reproduktion, Transfer und Beurteilung)
• ?weitere Fragen?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng 1. Was verstehen Sie unter Evaluation?
2. Wozu dient Evaluation bzw. warum sind gute Evaluati onen wichtig?
Buzz-SessionV
era
nsta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3
wichtig?
3. Was ist Ihr Gewinn bei der Beschäftigung mit Eval uation(auch wenn es Ihnen „nur“ um eine gute Note geht, wofür kann die Beschäftigung mit Evaluation noch nützlich sein!)?
Also: Was haben Sie davon, sich mit Evaluation zu beschäftigen?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Evaluationsforschung in der Psychologie
Begriffe
Evaluation:
• allgemein: Festsetzung des Wertes einer Sachein der Psychologie => Zentrierung auf psychologische Maßnahmen als Sache
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 • Überprüfung der Maßnahme im Sinne einer Bewertungim Vordergrund steht der Nachweis der Wirksamkeit der Maßnahme
• ethisch-moralische Komponente=> Sicherstellung des Nutzens einer Maßnahme für die Menschen
Evaluationsforschung:
• Prozess der Optimierung der Überprüfung von Maßnahmen„… bei dem nach zuvor festgelegten Zielen und explizit auf den Sachverhalt
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
„… bei dem nach zuvor festgelegten Zielen und explizit auf den Sachverhalt bezogenen und begründeten Kriterien ein Evaluationsgegenstand bewertet wird. Dies geschieht unter Zuhilfenahme sozialwissenschaftlicher Methoden durch Personen, welche hierfür besonders qualifiziert sind. …“ (Balzer, 2005, S.16)
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Wissenschaftstheoretische Grundlage der Evaluations forschung
Kritischer Rationalismus (Karl Popper)
1. Jeder sinnvollen empirischen Forschung haben Theo rien und Hypo-thesen vorauszugehen, da es keine theoriefreie Beob achtung gibt.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 Jede Hypothese muss an der Empirie scheitern können.
2. Forderung nach kritischem Umgang mit Daten und Hy pothesen.
Überprüfung der Plausibilität der Hypothesen vor dem verfügbaren Hintergrundwissen und kritisches Hinterfragen des Zustandekommens der empirischen Daten
Grundprinzip für die Evaluationsforschung :Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Grundprinzip für die Evaluationsforschung :
„Die beste Statistik kann eine schlechte Versuchsplanung nicht retten, wie auch die beste Versuchsplanung eine schlechte theoretische und meta-theoretische Konzeption nicht kompensieren kann.“
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Entwicklungen in der psychologischen Evaluationsforschung
Wachsender wissenschaftlicher Anspruch
• heute: Steuerung der Evaluationsforschung durch wissenschaftliche Übereinkünfte, Kriterien und Standards
Evaluationsforschung in der PsychologieV
era
nsta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 • systematische Konstruktion von geeigneten Messinstrumenten
• Problematik: Evaluationsforschung häufig Auftragsforschung => Auseinandersetzung mit Auftraggebern und deren Interessen (Spannungen zwischen Akzeptanz für Evaluationen und wissenschaftlichem/ methodischem Anspruch an Evaluationen)
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Entwicklungen in der psychologischen Evaluationsforschung
Unterscheidung von Evaluations- und Grundlagenforsch ungEvaluationsforschung als neues, eigenständiges Forschungsparadigma
Unterschiede:
Evaluationsforschung in der PsychologieV
era
nsta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3
Grundlagenforschung Evaluationsforschung
Ziel Untersuchung theoretisch begründeter Fragestellungen
Untersuchung von Fragen der Wirksamkeit von Maßnahmen
Unter-suchungs-gegenstand
theoretisches Problem Interventionsmaßnahme
Ergebnis-erwartung
Nachweis der Unterschied-lichkeit im Sinne eines
Nachweis der Effektivität (nicht nur Signifikanz im Sinne eines Treat-V
era
nsta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
erwartung lichkeit im Sinne eines Treatmenteffektes
Signifikanz im Sinne eines Treat-menteffekts, sondern Nachweis der Relevanz des Effekts)
Ähnlichkeiten: in Phasen der Konzeptualisierung, der Implementation und der Wirkungsforschung
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Entwicklungen in der psychologischen Evaluationsforschung
• Erfassung aller Programmkosten und Programmwirkungen
• Bestimmung der Gesamtkosten in Geldeinheiten
• Bestimmung des Gesamtnutzens in Geldeinheiten/Zieleinheiten
• Bestimmung der Programmeffizienz
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Entwicklungen in der psychologischen Evaluationsforschung
Evaluationsforschung in der Psychologie
Bereitstellung von Standards und Kriterien
• u.a. zur Vorbeugung von Meinungsverschiedenheiten mit Auftraggebern
• Vorschlag von allgemeinen Standards für die Evaluationsforschung von
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3
• Vorschlag von allgemeinen Standards für die Evaluationsforschung von der Evaluation Research Society und dem Joint Commitee on Standards for Educational Evaluation (1994); vier Gruppen von Standards:1) Nutzenstandards:
Zusammenfassung der verschiedenen Aspekte des Nutzens der Evaluation für die Beteiligten
2) Machbarkeits- oder Durchführbarkeitsstandards: Richtlinien, die bei der Realisierung der Evaluation unter Berücksichtigung der konkreten Randbedingungen beachtet werden sollten
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
konkreten Randbedingungen beachtet werden sollten
3) Standards für Anstand und ethisches VorgehenEinhaltung der ethischen Rechte der Beteiligten
4) GenauigkeitsstandardsGarantie eines hinreichenden Grades an Genauigkeit und Ausführlichkeit der Informationen, um nützlich zu sein
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Entwicklungen in der psychologischen Evaluationsforschung
Evaluationsforschung in der Psychologie
Das Evaluationsdesign
• Kriterien und Standards bedürfen der Anpassung an jeweilige Situation (wichtig sind jene, die zur Wahl eines geeigneten Evaluationsdesigns als
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 zentraler Komponente der Validität einer Evaluation beitragen)
• Unterscheidung von Störfaktoren für die interne und die externe Validität, Reflexion auf Möglichkeiten der jeweiligen Kontrolle
• Ausgangspunkt für evaluationsgerechte Validitätskonzeption: jeweilige Erwartung an Interventionsmaßnahme (üblicherweise Kompetenz-verbesserung)
=> Wirksamkeitsmessungen zu mehr als einem Zeitpunkt=> Bestimmung des AusgangszustandesV
era
nsta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
=> Bestimmung des Ausgangszustandes=> Kontrolle von Störfaktoren durch Vergleichsgruppen
⇒ Regelfall sollte Vortest-Nachtest-Follow-up-Vergleichsgruppenplan sein
⇒ Evaluationsparadigmen: isolierte vs. vergleichende Evaluation
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Entwicklungen in der psychologischen Evaluationsforschung
Evaluationsforschung in der Psychologie
Professionalisierung der Evaluationsforschung
Zwei Faktoren machen Professionalisierung der E-Forschung erforderlich:
1. Steigende Nachfrage nach wissenschaftlichen Evaluationen
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3
1. Steigende Nachfrage nach wissenschaftlichen Evaluationen
=> Nachfrage auch zunehmend von großen Unternehmen, Behörden und gesetzgebenden Körperschaften
2. Anwachsen des Methodeninventars (macht es wissenschaftlichen Laien zunehmend schwerer, Evaluationsforschung zu betreiben)
=> in Deutschland 1987 Verabschiedung einer Rahmenprüfungsordnung für Diplomstudiengang Psychologie, die ein eigenes Lehr- und Prüffach „Evaluation und Forschungsmethodik“ vorsah, das mittlerweile überall
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
„Evaluation und Forschungsmethodik“ vorsah, das mittlerweile überall eingeführt und zum Standard wurde
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Anwendungsbereiche
Evaluationsforschung in der Psychologie
1. Evaluation sozialer Programme
Auseinandersetzung mit Programmen für soziale Problemgruppen wie z.B. Delinquenten oder Drogenabhängige
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 zentrale Aufgabe der Evaluation: Nutzen des Programms für die Mitglieder der betroffenen Gruppen zu überprüfen (v.a. ob die z.T. erheblichen finanziellen und personellen Investitionen gerechtfertigt sind)
2. Therapieevaluation
große Therapien(arten)vielfalt: Therapieevalution versucht v.a. die Therapiearten vergleichend gegeneinander abzugrenzen
Ziel: Ermittlung derjenigen Therapiearten, die in Anbetracht der jeweiligen
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Ziel: Ermittlung derjenigen Therapiearten, die in Anbetracht der jeweiligen Patientenmerkmale den größten Nutzen erbringt: das Wohl der Patienten steht im Vordergrund, aber auch Kosten müssen geprüft werden
Vorteil: Rückgriff auf originär psychologische Theorien und Instrumente
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Anwendungsbereiche
Evaluationsforschung in der Psychologie
3. Evaluation von Maßnahmen im Kontext der A&O-Psych ologie
Evaluationen v.a. von Aus- und Weiterbildungsmaßnahmen
Thematik mitunter fachfremd und stellt somit hohe Anforderungen and
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3
Thematik mitunter fachfremd und stellt somit hohe Anforderungen and Festlegung der zu erwartenden Auswirkungen und an die Auswahl eines geeigneten Instrumentariums für die Wirkungsmessung
4. Evaluation im pädagogischen Bereich
Evaluation von Bildungsmaßnahmen, z.B. vom Einsatz neuer Medien (alles, was das Lernen von Schülern begünstigen soll)
Evaluationen von Programmen zur Verbesserung der Randbedingungen der Ausbildung, z.B. Verringerung von Gewalt in der Schule
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
der Ausbildung, z.B. Verringerung von Gewalt in der Schule
Ziel: Maximierung des Nutzens für Schüler
Vorteil: Nähe zu psychologischen Inhalten und Verfügbarkeit einer großen Zahl von Messinstrumenten
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Termin- und ThemenübersichtDatum Thema
09.04. Veranstaltungsüberblick und Einleitung
16.04. Anwender(innen)bedürfnisse und Theorie-Praxis-Probleme
23.04. Psychologische Interventionsmaßnahmen (I)
30.04. Psychologische Interventionsmaßnahmen (II)
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3
30.04. Psychologische Interventionsmaßnahmen (II)
07.05. Transfer
14.05. Rahmenkonzept zur Evaluation psychologischer Interventionen
21.05. Standards für die Evaluationsforschung und die Evaluationspraxis
28.05. Wirksamkeit/Gütekriterien von Evaluationsprogrammen
04.06. Wirksamkeits- und Wirksamkeitsunterschiedshypothesen, Evaluationsparadigmen, Kontrolle
Evaluationsparadigmen in der Praxis
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
• Wer sind die Anwender von Interventionsprogrammen?
• Wie vertragen sich Qualitätssicherung psychologisch er
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3
• Wie vertragen sich Qualitätssicherung psychologisch er Interventionen mit praktischen Bedürfnissen der Anw ender?
• Welche Schwierigkeiten bestehen zwischen Theorie un d Praxis?
Literatur:
• Brezing, H. (2000): Welche Bedürfnisse haben Anwender(innen), und wie werden sie der Forschung abgedeckt?, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
der Forschung abgedeckt?, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 8-18.
• Patry, J.-L., Perrez, M. (2000): Theorie-Praxis-Probleme und die Evaluation von Interventionsprogrammen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 19-40.
Fragen:• Welche Arten von Wirkungen gibt es?• Welche Qualität können die Wirkungen haben?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 • Wie erfasst man Wirkungen (wie z.B. Kompetenzsteige rungen)?• Welche Maße gibt es dafür?• Wann kann eine Interventionsmaßnahme als erfolgreic h
bezeichnet werden?
Literatur:
• Hager, W. & Hasselhorn, M. (2000): Psychologische Interventionsmaßnahmen: Was sollen sie bewirken können?, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.),
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
sollen sie bewirken können?, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 41-85.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
07.05.13 Transfer
Fragen:• Was versteht man unter Transfer in der Evaluationsf orschung?• Welche Transfertheorien gibt es?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 • Warum sind Transferleistungen wichtig?• Wie kann man Transfer erklären und erfassen?• Was sind Transferhindernisse und Transferhilfen?
Literatur:
• Hasselhorn, M., Mähler, C. (2000): Transfer: Theorien, Technologien und empirische Erfassung, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 86-101.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Evaluationsmaßnahmen, Bern 2000, S. 86-101.
• Ebert, D., Porath, J. (2006): Transfer fällt nicht vom Himmel! Wege zur Transfer-sicherung in Bildungs- und Beratungsangeboten. In: Mittag, E., Sticker, E. und Kuhl-mann, K. (Hrsg.): Leistung – Lust und Last. Impulse für eine Schule zwischen Aufbruch und Widerstand. Kongressbericht der 17. Bundeskonferenz für Schulpsychologie 2006 in Köln. Bonn 2006, S. 135-140.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
14.05.13 Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen
Fragen:• Wie geht man bei der Evaluation einer Maßnahme konk ret vor?• Wie sieht ein Rahmenkonzept zur Evaluation aus?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 • Worauf muss man als Evaluator_in besonders achten?
Literatur:
• Mittag, W. & Hager, W. (2000): Ein Rahmenkonzept zur Evaluation psychologischer Interventionsmaßnahmen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Interventionsmaßnahmen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 102-128.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
21.05.13 Standards für die Evaluationsforschung und die Evaluationspraxis
Fragen:• Welche Standards gibt es für die Evaluationsforschu ng?• Welche Standards gibt es für die Evaluationspraxis?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 • Was bedeuten diese Standards?
Literatur:
• Rost, R. (2000): Allgemeine Standards für die Evaluationsforschung, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 129-140.
• Schiffler, A., Hübner, S. (2000): Allgemeine Standards für die Evaluationspraxis. Die Standards des „Joint Committee on Standards for Educational Evaluation“ und ihre
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
Standards des „Joint Committee on Standards for Educational Evaluation“ und ihre Anwendung auf praktische Aspekte bei der Evaluation von psychologischen Inter-ventionsmaßnahmen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 141-152.
• Deutsche Gesellschaft für Evaluation DeGEval (2008): Standards für Evaluation. 4. unveränderte Auflage, Mainz 2008.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
28.05.13 Wirksamkeit von Evaluationsprogrammen / Gütekriterien von Kriteriumsmaßen
Fragen:• Welche Kriterien gibt es für die Bewertung der Wirk samkeit von
Evaluationsprogrammen?• Anhand welcher Gütekriterien werden Kriteriumsmaße beurteilt?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 • Anhand welcher Gütekriterien werden Kriteriumsmaße beurteilt?
Literatur:
• Hager, W. (2000): Zur Wirksamkeit von Interventionsprogrammen: Allgemeine Kriterien der Wirksamkeit von Programmen in einzelnen Untersuchungen, in: W. Hager, J.-L. Patry
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
der Wirksamkeit von Programmen in einzelnen Untersuchungen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 153-168.
• Hager, W. & Hasselhorn, M. (2000): Einige Gütekriterien für Kriteriumsmaße bei der Evaluation von Interventionsprogrammen, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 169-179.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
04.06.13 Wirksamkeits- und Wirksamkeitsunterschieds-hypothesen, Evaluationsparadigmen, Kontrolle
Fragen:• Welche Evaluationsparadigmen gibt es?• Wie sehen die dazugehörigen Hypothesen aus?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 • Welche Aussagen über die Wirksamkeit sind bei welch em Paradigma möglich?
• Was bedeutet Kontrolle im Kontext von Evaluationen?
Literatur:• Hager, W. (2000): Wirksamkeits- und Wirksamkeitsunterschiedshypothesen,
Evaluationsparadigmen, Vergleichsgruppen und Kontrolle, in: W. Hager, J.-L. Patry & H. Brezing (Hrsg.), Evaluation psychologischer Evaluationsmaßnahmen, Bern 2000, S. 180-201.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
201.• Metzler, P., Krause, B. (1997): Methodischer Standard bei Studien zur Therapieevaluation,
in: Methods of Psychological Research Online, 2 (1), 55-67. • Hager, W. (1998): Therapieevaluation: Begriffsbildung, Kontrolle, Randomisierung und
statistische Auswertung. Einige Anmerkungen und Ergänzungen zu Metzler und Krause (1997), in: Methods of Psychological Research Online, 3 (1), 69-81.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Vertiefungsempfehlung: Evaluationsparadigmen in der Praxis
Fragen:• Wann ist ein Wirksamkeitsvergleich zwischen verschi edenen
psychologischen Interventionsmaßnahmen möglich?• Wie können und müssen Evaluationen beurteilt werden?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3 • Wie können und müssen Evaluationen beurteilt werden?
Literatur:• Hager, W., Leichsenring, F., Schiffler, A. (1999): Evaluationsparadigmen. Zur Bedeutung
der Unterscheidung von vergleichenden und isolierten Evaluationen in der Psycho-therapieforschung, in: Psychotherapeut, 44, 234-240.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
Institut für PsychologieDer Christian-Albrechts-Universität zu KielSozialpsychologie & Politische PsychologieDr. Anne Bachmann
Vorlesung: EvaluationSS 2013
therapieforschung, in: Psychotherapeut, 44, 234-240. • Hager, W., Leichsenring, F., Schiffler, A. (2000): Wann ermöglicht eine Therapiestudie
direkte Wirksamkeitsvergleiche zwischen verschiedenen Therapieformen? Psychotherapie, Psychosomatik und medizinische Psychologie, 50, 51-62.
• Csontos, I. (2000): Psychotherapieforschung: Grawe-Debatte und aktuellere Fragestellungen, in: Schweizerische Ärztezeitung, 81 (27), 1527-1531.
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
11.06.13 Quasiexperimentelle Evaluationsdesigns
Fragen:• Welche quasiexperimentellen Evaluationsdesigns gibt es?• Wie kann man in diesen Designs die interne Validitä t sichern?
Ve
ran
sta
ltu
ng
sü
be
rbli
ck
un
d E
inle
itu
ng
09
. A
pri
l 2
01
3
Literatur:• Posavac, E.J., Carey, R.G. (2003): Quasi-experimental approach to outcome