„Hochschul-PISA“ in der Soziologie? Zur Messung „soziologischer Kompetenzen“ Workshop: „Rational Choice Sociology: Theory and Empirical Applications“ Felix Wolter Jürgen Schiener Institut für Soziologie Johannes Gutenberg-Universität Mainz Venice International University, San Servolo, November 19 th , 2013
61
Embed
„Hochschul-PISA“ in der Soziologie? Zur Messung ... · Zur Messung soziologischer Kompetenzen 1. Motivation 2. Zwei Pilotstudien zur Messung soziologischer Kompetenzen – Begriffe,
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
„Hochschul-PISA“ in der Soziologie?Zur Messung „soziologischer Kompetenzen“
Workshop: „Rational Choice Sociology: Theory and Empirical Applications“
Felix WolterJürgen Schiener
Institut für SoziologieJohannes Gutenberg-Universität Mainz
Venice International University, San Servolo, November 19th, 2013
Zur Messung soziologischer Kompetenzen
1. Motivation2. Zwei Pilotstudien zur Messung soziologischer Kompetenzen
– Begriffe, Konzepte und Methoden– Erhebungsdesign
3. Ergebnisse zu Studie 1– Skalierung der Kompetenzskalen– Ausgewählte inhaltliche Analysen
5. Fazit und Ausblick
Folie Nr. 2Datum: 19.11.2013
Gliederung
Zur Messung soziologischer Kompetenzen
1. Motivation2. Zwei Pilotstudien zur Messung soziologischer Kompetenzen
– Begriffe, Konzepte und Methoden– Erhebungsdesign
3. Ergebnisse zu Studie 1– Skalierung der Kompetenzskalen– Ausgewählte inhaltliche Analysen
5. Fazit und Ausblick
Folie Nr. 3Datum: 19.11.2013
Gliederung
1. Motivation
• Hintergrund:– Seit ~2000 regelmäßige Kompetenzdiagnostik im schulischen Bereich
( PISA et al.)– mittlerweile gut ausgearbeitete Kompetenzmodelle und Messinstrumente– Output-Orientierung („empirische Wende“)
• Dagegen: Erheblicher Forschungsbedarf für den HochschulbereichAktuell: BMBF-Forschungsprogramm „Kompetenzen im Hochschulsektor“ mit>20 ProjektenBisher kaum Forschung zu „soziologischen Kompetenzen“
Folie Nr. 4Datum: 19.11.2013
Warum eine Kompetenzmessung in der Soziologie?
1. Motivation
• Drei Motivationen für eine Kompetenzmessung in der Soziologie:– Hochschulevaluation:
• Evaluation anhand von Input-Indikatoren (CHE-Ranking) und subjektiverIndikatoren unzureichend oder zumindest problematisch.
• Viele Curricula (Modulhandbücher) schreiben den Erwerb bestimmterKompetenzen als Ziel fest, ohne dass bisher das Erreichen der Ziele objektivgemessen oder überprüft werden kann.
– Inhaltlich-soziologisches Argument:• „Kompetenz“ als besserer Indikator für (ungleichheits)soziologische
Bildungsforschung (Determinanten und Erträge von Bildung).• Bisher: Problematische Proxy-Indikatoren wie Zertifikate oder „Noten“.
– Außendarstellung:• Berufsbild und Inhalt der soziologischen Ausbildung sind in der Öffentlichkeit und
der Berufswelt immer noch vage und unklar. Daher: Wissen und Fähigkeiten vonSoziolog/innen sprachlich fixieren und messbar machen.
Folie Nr. 5Datum: 19.11.2013
Warum eine Kompetenzmessung in der Soziologie?
1. Motivation
• Drei Motivationen für eine Kompetenzmessung in der Soziologie:– Hochschulevaluation:
• Evaluation anhand von Input-Indikatoren (CHE-Ranking) und subjektiverIndikatoren unzureichend oder zumindest problematisch.
• Viele Curricula (Modulhandbücher) schreiben den Erwerb bestimmterKompetenzen als Ziel fest, ohne dass bisher das Erreichen der Ziele objektivgemessen oder überprüft werden kann.
– Inhaltlich-soziologisches Argument:• „Kompetenz“ als besserer Indikator für (ungleichheits)soziologische
Bildungsforschung (Determinanten und Erträge von Bildung).• Bisher: Problematische Proxy-Indikatoren wie Zertifikate oder „Noten“.
– Außendarstellung:• Berufsbild und Inhalt der soziologischen Ausbildung sind in der Öffentlichkeit und
der Berufswelt immer noch vage und unklar. Daher: Wissen und Fähigkeiten vonSoziolog/innen sprachlich fixieren und messbar machen.
Folie Nr. 6Datum: 19.11.2013
Warum eine Kompetenzmessung in der Soziologie?
1. Motivation
• Drei Motivationen für eine Kompetenzmessung in der Soziologie:– Hochschulevaluation:
• Evaluation anhand von Input-Indikatoren (CHE-Ranking) und subjektiverIndikatoren unzureichend oder zumindest problematisch.
• Viele Curricula (Modulhandbücher) schreiben den Erwerb bestimmterKompetenzen als Ziel fest, ohne dass bisher das Erreichen der Ziele objektivgemessen oder überprüft werden kann.
– Inhaltlich-soziologisches Argument:• „Kompetenz“ als besserer Indikator für (ungleichheits)soziologische
Bildungsforschung (Determinanten und Erträge von Bildung).• Bisher: Problematische Proxy-Indikatoren wie Zertifikate oder „Noten“.
– Außendarstellung:• Berufsbild und Inhalt der soziologischen Ausbildung sind in der Öffentlichkeit und
der Berufswelt immer noch vage und unklar. Daher: Wissen und Fähigkeiten vonSoziolog/innen sprachlich fixieren und messbar machen.
Folie Nr. 7Datum: 19.11.2013
Warum eine Kompetenzmessung in der Soziologie?
1. Motivation
• Drei Motivationen für eine Kompetenzmessung in der Soziologie:– Hochschulevaluation:
• Evaluation anhand von Input-Indikatoren (CHE-Ranking) und subjektiverIndikatoren unzureichend oder zumindest problematisch.
• Viele Curricula (Modulhandbücher) schreiben den Erwerb bestimmterKompetenzen als Ziel fest, ohne dass bisher das Erreichen der Ziele objektivgemessen oder überprüft werden kann.
– Inhaltlich-soziologisches Argument:• „Kompetenz“ als besserer Indikator für (ungleichheits)soziologische
Bildungsforschung (Determinanten und Erträge von Bildung).• Bisher: Problematische Proxy-Indikatoren wie Zertifikate oder „Noten“.
– Außendarstellung:• Berufsbild und Inhalt der soziologischen Ausbildung sind in der Öffentlichkeit und
der Berufswelt immer noch vage und unklar. Daher: Wissen und Fähigkeiten vonSoziolog/innen sprachlich fixieren und messbar machen.
Folie Nr. 8Datum: 19.11.2013
Warum eine Kompetenzmessung in der Soziologie?
Zur Messung soziologischer Kompetenzen
1. Motivation2. Zwei Pilotstudien zur Messung soziologischer Kompetenzen
– Begriffe, Konzepte und Methoden– Erhebungsdesign
3. Ergebnisse zu Studie 1– Skalierung der Kompetenzskalen– Ausgewählte inhaltliche Analysen
• Ziele:– Schluss von beobachtbaren Probandenantworten auf Testitems auf
zugrundeliegende, nicht beobachtbare latente Variable (=Kompetenz).– Itemhomogenität (lokale stochastische Unabhängigkeit) bzw.
Eindimensionalität: Nur das gewünschte latente Merkmal (und dieSchwierigkeit der Aufgaben) beeinflusst die Antworten auf Testitems.
• Zentral:– Rasch-Skala bzw. 1PL-Modell (Rasch 1960)– Birnbaum-Skala bzw. 2PL-Modell (Birnbaum 1968)– Rateparameter-Modell bzw. 3PL-Modell und erweiterte Modelle
• Ziele:– Schluss von beobachtbaren Probandenantworten auf Testitems auf
zugrundeliegende, nicht beobachtbare latente Variable (=Kompetenz).– Itemhomogenität (lokale stochastische Unabhängigkeit) bzw.
Eindimensionalität: Nur das gewünschte latente Merkmal (und dieSchwierigkeit der Aufgaben) beeinflusst die Antworten auf Testitems.
• Zentral:– Rasch-Skala bzw. 1PL-Modell (Rasch 1960)– Birnbaum-Skala bzw. 2PL-Modell (Birnbaum 1968)– Rateparameter-Modell bzw. 3PL-Modell und erweiterte Modelle
Studie 2:„Kompetenzen in Methoden derempirischen Sozialforschung“
Selbstadministrierte PAPI-Befragung von Studierenden in Lehrveranstaltungen
Uni Mainz, Institut für Soziologie 7 Universitäten (D/CH)
Testheftdesign mit randomisierter Reihenfolge der Testlets
40 Items, 35 pro Testheft+ Hintergrundmerkmale
48 Items (32 pro Testheft)+ subjektive Kompetenz, Hintergrundmerkmale
N = 540 (davon 59 Dubletten) N > 650 (aktuell noch im Feld / Dateneingabe)
2. Soziologische Kompetenzen: Erhebungsdesign
Folie Nr. 31Datum: 19.11.2013
Beispielfragen
Zur Messung soziologischer Kompetenzen
1. Motivation2. Zwei Pilotstudien zur Messung soziologischer Kompetenzen
– Begriffe, Konzepte und Methoden– Erhebungsdesign
3. Ergebnisse zu Studie 1– Skalierung der Kompetenzskalen– Ausgewählte inhaltliche Analysen
5. Fazit und Ausblick
Folie Nr. 32Datum: 19.11.2013
Gliederung
3. Ergebnisse: Skalierung der Kompetenzskalen
• Zunächst: Bewertung der Testitems (0=nicht/falsch gelöst, 1=korrekt gelöst)
• Bildung von Subskalen für jede der fünf inhaltlichen Dimensionen mit IRT-Verfahren
• Schätzen und Speichern der Personenparameter
• Dimensionale Analyse der fünf Subskalen– Ergebnis: Eindimensional bei 57,4% erklärter Varianz– Speichern der Faktorwerte, um einen „globalen Kompetenzindikator“ zu
erhalten
Folie Nr. 33Datum: 19.11.2013
Skalierung: Vorgehensweise
Beg./Th./Kl. Sozialstruktur Quanti-Methoden
Quali-Methoden Infrastruktur
Erhobene Items 12 10 6 5 7
Ausgewählte Items 10 8 6 4 5
Gewähltes Modell Rasch Rasch Rasch Rasch 2PL
DIF -Split: z (df) 18,11 (8) 7,86 (7) 8,80 (4) 0,45 (3) n. k.
LR-Test 2PL: 2 (df) 34,23 (9) *** 8,25 (7) n. k. 2,49 (3) 449,60(4)
***
3. Ergebnisse: Skalierung der Kompetenzskalen
Folie Nr. 35Datum: 19.11.2013
Skalierung: Ergebnisse
3. Ergebnisse: Skalierung der Kompetenzskalen
Folie Nr. 36Datum: 19.11.2013
Globaler Kompetenzindikator0
24
68
1012
Pro
zent
3 4 5 6 7 8 9Kompetenzwert
Zur Messung soziologischer Kompetenzen
1. Motivation2. Eine Pilotstudie zur Messung soziologischer Kompetenzen
– Begriffe, Konzepte und Methoden– Erhebungsdesign
3. Ergebnisse– Skalierung der Kompetenzskalen– Ausgewählte inhaltliche Analysen
5. Fazit und Ausblick
Folie Nr. 37Datum: 19.11.2013
Gliederung
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 38Datum: 19.11.2013
Deskriptive Auswertungen
Min Max Mittelwert St.abw. NSoziologische Kompetenz 3,26 8,48 5 1 481Fachsemester in Soziologie 0 18 3,36 2,94 476Nebenfach (1 = ja) 0 1 0,37 478Selbstwirksamkeit 1,71 6,14 4,07 0,81 452Intrinsische (fachliche) Motivation 1 7 4,34 1,21 466Abiturnote 1 5 2,50 0,52 460Erwerbstätigkeit neben Studium (1 = ja) 0 1 0,56 470Bildung der Eltern in Jahren 7 18 14,24 2,62 447Migrationshintergrund (1 = ja) 0 1 0,28 467Deutschkenntnisse (subjektiv) 1 5 4,47 0,79 475Geschlecht (1 = weiblich) 0 1 0,61 472Mühe beim Ausfüllen der Testitems (subjektiv) 1 7 4,40 1,57 473
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 39Datum: 19.11.2013
Deskriptive Auswertungen
Min Max Mittelwert St.abw. NSoziologische Kompetenz 3,26 8,48 5 1 481Fachsemester in Soziologie 0 18 3,36 2,94 476Nebenfach (1 = ja) 0 1 0,37 478Selbstwirksamkeit 1,71 6,14 4,07 0,81 452Intrinsische (fachliche) Motivation 1 7 4,34 1,21 466Abiturnote 1 5 2,50 0,52 460Erwerbstätigkeit neben Studium (1 = ja) 0 1 0,56 470Bildung der Eltern in Jahren 7 18 14,24 2,62 447Migrationshintergrund (1 = ja) 0 1 0,28 467Deutschkenntnisse (subjektiv) 1 5 4,47 0,79 475Geschlecht (1 = weiblich) 0 1 0,61 472Mühe beim Ausfüllen der Testitems (subjektiv) 1 7 4,40 1,57 473
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 40Datum: 19.11.2013
Deskriptive Auswertungen
Min Max Mittelwert St.abw. NSoziologische Kompetenz 3,26 8,48 5 1 481Fachsemester in Soziologie 0 18 3,36 2,94 476Nebenfach (1 = ja) 0 1 0,37 478Selbstwirksamkeit 1,71 6,14 4,07 0,81 452Intrinsische (fachliche) Motivation 1 7 4,34 1,21 466Abiturnote 1 5 2,50 0,52 460Erwerbstätigkeit neben Studium (1 = ja) 0 1 0,56 470Bildung der Eltern in Jahren 7 18 14,24 2,62 447Migrationshintergrund (1 = ja) 0 1 0,28 467Deutschkenntnisse (subjektiv) 1 5 4,47 0,79 475Geschlecht (1 = weiblich) 0 1 0,61 472Mühe beim Ausfüllen der Testitems (subjektiv) 1 7 4,40 1,57 473
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 41Datum: 19.11.2013
Deskriptive Auswertungen
Min Max Mittelwert St.abw. NSoziologische Kompetenz 3,26 8,48 5 1 481Fachsemester in Soziologie 0 18 3,36 2,94 476Nebenfach (1 = ja) 0 1 0,37 478Selbstwirksamkeit 1,71 6,14 4,07 0,81 452Intrinsische (fachliche) Motivation 1 7 4,34 1,21 466Abiturnote 1 5 2,50 0,52 460Erwerbstätigkeit neben Studium (1 = ja) 0 1 0,56 470Bildung der Eltern in Jahren 7 18 14,24 2,62 447Migrationshintergrund (1 = ja) 0 1 0,28 467Deutschkenntnisse (subjektiv) 1 5 4,47 0,79 475Geschlecht (1 = weiblich) 0 1 0,61 472Mühe beim Ausfüllen der Testitems (subjektiv) 1 7 4,40 1,57 473
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 42Datum: 19.11.2013
Deskriptive Auswertungen
Min Max Mittelwert St.abw. NSoziologische Kompetenz 3,26 8,48 5 1 481Fachsemester in Soziologie 0 18 3,36 2,94 476Nebenfach (1 = ja) 0 1 0,37 478Selbstwirksamkeit 1,71 6,14 4,07 0,81 452Intrinsische (fachliche) Motivation 1 7 4,34 1,21 466Abiturnote 1 5 2,50 0,52 460Erwerbstätigkeit neben Studium (1 = ja) 0 1 0,56 470Bildung der Eltern in Jahren 7 18 14,24 2,62 447Migrationshintergrund (1 = ja) 0 1 0,28 467Deutschkenntnisse (subjektiv) 1 5 4,47 0,79 475Geschlecht (1 = weiblich) 0 1 0,61 472Mühe beim Ausfüllen der Testitems (subjektiv) 1 7 4,40 1,57 473
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 43Datum: 19.11.2013
Deskriptive Auswertungen
Min Max Mittelwert St.abw. NSoziologische Kompetenz 3,26 8,48 5 1 481Fachsemester in Soziologie 0 18 3,36 2,94 476Nebenfach (1 = ja) 0 1 0,37 478Selbstwirksamkeit 1,71 6,14 4,07 0,81 452Intrinsische (fachliche) Motivation 1 7 4,34 1,21 466Abiturnote 1 5 2,50 0,52 460Erwerbstätigkeit neben Studium (1 = ja) 0 1 0,56 470Bildung der Eltern in Jahren 7 18 14,24 2,62 447Migrationshintergrund (1 = ja) 0 1 0,28 467Deutschkenntnisse (subjektiv) 1 5 4,47 0,79 475Geschlecht (1 = weiblich) 0 1 0,61 472Mühe beim Ausfüllen der Testitems (subjektiv) 1 7 4,40 1,57 473
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 44Datum: 19.11.2013
Determinanten soziologischer KompetenzModell 1 (b) Modell 2 (b)
Fachsemester 0,361 ***Fachsemester quadriert 0,016 ***Nebenfach (1 = ja)SelbstwirksamkeitIntrinsische (fachliche) MotivationAbiturnoteErwerbstätigkeit neben Studium (1 = ja)Bildung der Eltern in JahrenMigrationshintergrund (1 = ja)Deutschkenntnisse (subjektiv)Geschlecht (1 = weiblich)Mühe beim Ausfüllen der Testitems (subjektiv)Konstante 4,111 ***Korrigiertes R2 0,345
OLS-Regression mit multipel imputierten Daten, N = 481.
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 45Datum: 19.11.2013
Studienfortschritt (Fachsemester) und Kompetenz3
45
67
Vorh
erge
sagt
er K
ompe
tenz
wer
t (95
%-C
I)
0 5 10 15 20Absolvierte Soziologie-Fachsemester
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 46Datum: 19.11.2013
Determinanten soziologischer KompetenzModell 1 (b) Modell 2 (b)
Fachsemester 0,361 *** 0,385 ***Fachsemester quadriert 0,016 *** 0,018 ***Nebenfach (1 = ja) 0,183 *Selbstwirksamkeit 0,064Intrinsische (fachliche) Motivation 0,087 **Abiturnote 0,146 *Erwerbstätigkeit neben Studium (1 = ja) 0,019Bildung der Eltern in Jahren 0,025Migrationshintergrund (1 = ja) 0,308 ***Deutschkenntnisse (subjektiv) 0,173 ***Geschlecht (1 = weiblich) 0,248 **Mühe beim Ausfüllen der Testitems (subjektiv) 0,102 ***Konstante 4,111 *** 3,213 ***Korrigiertes R2 0,345 0,477
OLS-Regression mit multipel imputierten Daten, N = 481.
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 47Datum: 19.11.2013
Determinanten soziologischer KompetenzModell 1 (b) Modell 2 (b)
Fachsemester 0,361 *** 0,385 ***Fachsemester quadriert 0,016 *** 0,018 ***Nebenfach (1 = ja) 0,183 *Selbstwirksamkeit 0,064Intrinsische (fachliche) Motivation 0,087 **Abiturnote 0,146 *Erwerbstätigkeit neben Studium (1 = ja) 0,019Bildung der Eltern in Jahren 0,025Migrationshintergrund (1 = ja) 0,308 ***Deutschkenntnisse (subjektiv) 0,173 ***Geschlecht (1 = weiblich) 0,248 **Mühe beim Ausfüllen der Testitems (subjektiv) 0,102 ***Konstante 4,111 *** 3,213 ***Korrigiertes R2 0,345 0,477
OLS-Regression mit multipel imputierten Daten, N = 481.
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 48Datum: 19.11.2013
Determinanten soziologischer KompetenzModell 1 (b) Modell 2 (b)
Fachsemester 0,361 *** 0,385 ***Fachsemester quadriert 0,016 *** 0,018 ***Nebenfach (1 = ja) 0,183 *Selbstwirksamkeit 0,064Intrinsische (fachliche) Motivation 0,087 **Abiturnote 0,146 *Erwerbstätigkeit neben Studium (1 = ja) 0,019Bildung der Eltern in Jahren 0,025Migrationshintergrund (1 = ja) 0,308 ***Deutschkenntnisse (subjektiv) 0,173 ***Geschlecht (1 = weiblich) 0,248 **Mühe beim Ausfüllen der Testitems (subjektiv) 0,102 ***Konstante 4,111 *** 3,213 ***Korrigiertes R2 0,345 0,477
OLS-Regression mit multipel imputierten Daten, N = 481.
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 49Datum: 19.11.2013
Determinanten soziologischer KompetenzModell 1 (b) Modell 2 (b)
Fachsemester 0,361 *** 0,385 ***Fachsemester quadriert 0,016 *** 0,018 ***Nebenfach (1 = ja) 0,183 *Selbstwirksamkeit 0,064Intrinsische (fachliche) Motivation 0,087 **Abiturnote 0,146 *Erwerbstätigkeit neben Studium (1 = ja) 0,019Bildung der Eltern in Jahren 0,025Migrationshintergrund (1 = ja) 0,308 ***Deutschkenntnisse (subjektiv) 0,173 ***Geschlecht (1 = weiblich) 0,248 **Mühe beim Ausfüllen der Testitems (subjektiv) 0,102 ***Konstante 4,111 *** 3,213 ***Korrigiertes R2 0,345 0,477
OLS-Regression mit multipel imputierten Daten, N = 481.
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 50Datum: 19.11.2013
Determinanten des Plans, „weiter zu studieren“b
Kompetenzwert 0,334 **Fachsemester 0,220 ***Nebenfach (1 = ja) 0,914 ***Selbstwirksamkeit 0,525 ***Abiturnote 0,022Erwerbstätigkeit neben Studium (1 = ja) 0,187Bildung der Eltern in Jahren 0,087 *Migrationshintergrund (1 = ja) 0,040Deutschkenntnisse (subjektiv) 0,258Geschlecht (1 = weiblich) 0,006Konstante 1,600Korrigiertes R2 0,165
OLS-Regression mit multipel imputierten Daten, N = 481.
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 51Datum: 19.11.2013
Determinanten des Plans, „weiter zu studieren“b
Kompetenzwert 0,334 **Fachsemester 0,220 ***Nebenfach (1 = ja) 0,914 ***Selbstwirksamkeit 0,525 ***Abiturnote 0,022Erwerbstätigkeit neben Studium (1 = ja) 0,187Bildung der Eltern in Jahren 0,087 *Migrationshintergrund (1 = ja) 0,040Deutschkenntnisse (subjektiv) 0,258Geschlecht (1 = weiblich) 0,006Konstante 1,600Korrigiertes R2 0,165
OLS-Regression mit multipel imputierten Daten, N = 481.
Zur Messung soziologischer Kompetenzen
1. Motivation2. Zwei Pilotstudien zur Messung soziologischer Kompetenzen
– Begriffe, Konzepte und Methoden– Erhebungsdesign
3. Ergebnisse zu Studie 1– Skalierung der Kompetenzskalen– Ausgewählte inhaltliche Analysen
5. Fazit und Ausblick
Folie Nr. 52Datum: 19.11.2013
Gliederung
5. Fazit und Ausblick
• Ziel: Messung soziologischer Kompetenzen– …im Stil der PISA-Studien– …im Stil der in anderen Fächern aktuell laufenden Forschung zu
Kompetenzdiagnostik im Hochschulbereich– …für eine standardisierte, über Hochschulen vergleichbare und wiederholt
durchführbare Hochschulevaluation– Ersetzen des CHE-Rankings?
• Positive Erfahrungen:– Erhebungspraktisch gut durchführbar.– Skalierung der Konstrukte funktioniert besser als gedacht.– Aussagekräftige inhaltliche Analysen/gute Konstruktvalidität
Folie Nr. 53Datum: 19.11.2013
Zusammenfassung
5. Fazit und Ausblick
• Konsensfähigkeit von Kompetenzmodellen / Testinhalten gerade in derSoziologie?
• Large-scale-assessments brauchen large-scale-Ressourcen:– Mehr Definitionsarbeit im Vorfeld– Höhere Fallzahlen, mehr Testitems– Auswahl der Untersuchungseinheiten und Zeitpunkte der Messungen im
Studienverlauf? Ideal: Vollerhebung der Absolventen?– Dabei: Institutionelle Beratung und Unterstützung (DGS?!)
• Baumert, Jürgen/Klieme, Eckhard/Neubrand, Michael/Prenzel, Manfred/Schiefele,Ulrich/Schneider, Wolfgang/Stanat, Petra/Tillmann, Klaus-Jürgen/Weiß, Manfred/(DeutschesPISA-Konsortium) (Hrsg.) 2001: PISA 2000. Basiskompetenzen von Schülerinnen und Schülernim internationalen Vergleich, Opladen: Leske+Budrich.
• Birnbaum, Allan 1968: Some Latent Trait Models, in: Lord, Frederic M./Novick, Melvin R. (Hrsg.):Statistical Theories of Mental Test Scores, Reading, MA: Addison-Wesley: S. 395–479.
• Hartig, Johannes/Klieme, Eckhard 2006: Kompetenz und Kompetenzdiagnostik, in: Schweizer,Karl (Hrsg.): Leistung und Leistungsdiagnostik, Heidelberg: Springer: S. 127–143.
• Klieme, Eckhard/Leutner, Detlev 2006: Kompetenzmodelle zur Erfassung individuellerLernergebnisse und zur Bilanzierung von Bildungsprozessen. Beschreibung eines neueingerichteten Schwerpunktprogramms der DFG, in: Zeitschrift für Pädagogik 52 (6): S. 876–903.
• Krathwohl, David R. 2002: A Revision of Bloom's Taxonomy: An Overview, in: Theory intoPractice 41 (4): S. 212–218.
• Prenzel, Manfred/Artelt, Cordula/Baumert, Jürgen/Blum, Werner/Hammann, Marcus/Klieme,Eckhard/Pekrun, Reinhard/(PISA-Konsortium Deutschland) (Hrsg.) 2008: PISA 2006 inDeutschland. Die Kompetenzen der Jugendlichen im dritten Ländervergleich, Münster: Waxmann.
• Rasch, Georg 1960: Probabilistic Models for some Intelligence and Attainment Tests,Kopenhagen: The Danish Institute for Educational Research.
• Roth, Heinrich 1971: Pädagogische Anthropologie. Band 2: Entwicklung und Erziehung.Grundlagen einer Entwicklungspädagogik, Hannover: Schroedel.
Folie Nr. 56Datum: 19.11.2013
Literatur
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 57Datum: 19.11.2013
Determinanten soziologischer KompetenzModell 1 (b) Modell 2 (b)
Fachsemester 0,367 *** 0,436 ***Fachsemester quadriert 0,017 *** 0,022 ***Nebenfach (1 = ja) 0,261 **Selbstwirksamkeit 0,073Intrinsische (fachliche) Motivation 0,081 *Abiturnote 0,248 **Erwerbstätigkeit neben Studium (1 = ja) 0,006Bildung der Eltern in Jahren 0,013Migrationshintergrund (1 = ja) 0,283 **Deutschkenntnisse (subjektiv) 0,149 **Geschlecht (1 = weiblich) 0,241 **Mühe beim Ausfüllen der Testitems (subjektiv) 0,094 ***Konstante 4,106 *** 3,409 ***Korrigiertes R2 0,350 0,512
OLS-Regression mit Complete Case Analysis, N = 476 bzw. 387.
3. Ergebnisse: Ausgewählte inhaltliche Analysen
Folie Nr. 58Datum: 19.11.2013
Determinanten des Plans, „weiter zu studieren“b
Kompetenzwert 0,298 *Fachsemester 0,232 ***Nebenfach (1 = ja) 0,855 ***Selbstwirksamkeit 0,621 ***Abiturnote 0,087Erwerbstätigkeit neben Studium (1 = ja) 0,253Bildung der Eltern in Jahren 0,103 *Migrationshintergrund (1 = ja) 0,012Deutschkenntnisse (subjektiv) 0,112Geschlecht (1 = weiblich) 0,001Konstante 0,460Korrigiertes R2 0,168
OLS-Regression mit Complete Case Analysis, N = 355.