Induktive Statistik: Regressionsanalyse
Induktive Statistik: Regressionsanalyse
Regression -> Output
Aufgenommene/Entfernte Variablenb,c
SEXa . EingebenModell1
Aufgenommene Variablen
EntfernteVariablen Methode
Alle gewünschten Variablen wurden aufgenommen.a.
Abhängige Variable: breit/ba&rösingb.
Regression der gewichteten kleinsten Quadrate,gewichtet durch SQRTIND
c.
Modellzusammenfassung
.758a .575 .575 4.8602Modell1
R R-QuadratKorrigiertesR-Quadrat
Standardfehler desSchätzers
Einflußvariablen : (Konstante), SEXa.
ANOVAb,c
119995.1 1 119995.12 5079.878 .000a
88719.162 3756 23.622
208714.3 3757
Regression
Residuen
Gesamt
Modell1
Quadratsumme df
Mittel derQuadrate F Signifikanz
Einflußvariablen : (Konstante), SEXa.
Abhängige Variable: breit/ba&rösingb.
Regression der gewichteten kleinsten Quadrate, gewichtet durch SQRTINDc.
Koeffizientena,b
162.073 .090 1807.508 .000
7.695 .108 .758 71.273 .000
(Konstante)
SEX
Modell1
BStandardf
ehler
Nicht standardisierteKoeffizienten
Beta
Standardisierte
Koeffizienten
T Signifikanz
Abhängige Variable: breit/ba&rösinga.
Regression der gewichteten kleinsten Quadrate, gewichtet durch SQRTINDb.
zu erklärende Variable erklärende Variablen Regressionskoeffizient b t-Werte p-Wert R² F-Wert Anzahl der Beobachtungen N:
df: Freiheitsgrade
.
analysieren/Regression/Linear; abhängige & unabhängige Variable einfügen/ OK
OrdinaryLeastSquare-Regression
statistische Zusammenhänge zwischen zwei oder mehreren Variablen
univariate OLS-Regression: nur eine erklärende Variable in der Schätzgleichung
Schätzgleichung: y = a+bx+e y: zu erklärende Variablea: Schnittpunkt mit y-Achse bzw. vertikaler Achsenabschnitt: „Konstante“, d.h. der Wert der abhängigen Variable, bei dem alle
unabhängigen Variablen = 0b: Steigung der Regressionsgerade (Regressionskoeffizient): Wert besagt, um wie viel sich die AV verändert (+/-), wenn die UV
um 1 Einheit steigt positive/ negative Steigung entspricht einem positiven/ negativen
Zusammenhangx: erklärende Variable
OLS-Regression
e: Fehlerterm = Residuen = unerklärte Abweichungen von einer möglichen Regressionsgeraden diese werden quadriert, so daß größere Abweichungen
stärker gewichtet werden OLS: Lage der Regressionsgerade derart, daß die Summe
der Quadrate aller Abweichungen der Punkte von der Geraden minimiert werden=> Minimierung des Fehlerterms e² (d.h. der Summe der quadrierten Fehler): macht z.B. SPSS
je niedriger die Summe von e² relativ zur Gesamtvarianz der zu erklärenden Variable, desto besser das Modell
positive oder negative Korrelation: wachsenden x-Werten entsprechen steigende y-Werte oder umgekehrt
mögliches Problem: Scheinkorrelation: nicht meßbare Variablen beeinflussen erklärende und zu erklärende Variablen
OLS-Regression: Annahmen
1. ist normalverteilt (sonst Fehlspezifikation) Überprüfung: Analysieren/ Regression/ Linear; Abhängige
& unabhängige Variable einfügen & zusätzlich unter Speichern: Residuen Nicht standardisiert ankreuzen/ Weiter/ OK
im Dateneditor erscheinen nun die Residuen als neue Variable res_1 (bei weiteren Regressionen mit fortlaufender Nummer)
mit dem Kolmogorov-Smirnov-Test die Residuen auf Normalverteilung überprüfen: Analysieren/ Nichtparametrische Tests/ K-S bei einer Stichprobe/ Testvariablen/ res_1
2. E()=0 (kein systematischer Einfluß des Störterms auf y)
OLS-Regression: Annahmen II
3. var(constant (Homoskedastie der Residuen )
4. cov(it)=0 (Residuen korrelieren nicht miteinander)
5. cov(xit)=0 (Residuen korrelieren nicht mit exogenen
Variablen)
bei Verletzung der Annahmen führt die OLS-Methode zu Schätzfehlern
aber: Überprüfung der Variablen auf Schiefe und Umformung schließt viele Fehler aus
Präzision einzelner Regressionskoeffizientenund t-Wert
da die Residuen einer zufällig gezogenen Störvariable entsprechen, würden wir bei einer erneuten Ziehung andere Werte für die abhängige Variable erhalten, damit könnte sich auch der berechnete Regressionskoeffizient ändern
Wie verläßlich ist dieser also?
Zweite Ziehung
Erste Ziehung
b < b
Überprüfung der Signifikanz der Regressionskoeffizienten anhand sog. t-Werte zeigt an, ob eine einzelne Variable einflußreich wenn > 2 => signifikanter Unterschied: d.h. es gibt Zusammenhang +/-: positiver/ negativer Zusammenhang
OLS-Regression: Güte des ModellsBestimmtheitsmaß R²
Güte einer Schätzung läßt sich mit Hilfe des Bestimmtheitsmaßes R² bestimmen
Interpretation: Anteil der durch das Schätzmodell erklärten Varianz an der Gesamtvarianz der abhängigen Variablen
0< R²<1 je näher an 1, desto besser das Modell; die Angabe von R² in der Regressionstabelle ist notwendig
das R² * 100 wird im Text als Prozent interpretiert (R²=0,65: „mit dem Modell können 65% der Varianz erklärt werden“
Vorteil von R2: Werte verschiedener Grundgesamtheiten können direkt miteinander verglichen werden
Angabe von R² ist immer notwendig! adjustiertes R² bei Modellen mit mehreren Variablen
(s. multiple Regression)
OLS-Regression: Signifikanz
zur Angabe der Signifikanz entweder Verwendung des „p-Werts der Signifikanz“ oder anhand der t-Statistik (Daumenregel: ist t-Wert
betragsmäßig größer als 2, dürfte der p-Wert kleiner als 0,05 sein)
p-Wert: Maßzahl für Signifikanz: ermöglicht Beurteilung, wie „systematisch“ (Unterschiede)
eine(r) UV eine AV beeinflußt bzw.: Wie wahrscheinlich ist es, daß ein Zusammenhang
besteht zwischen exogenen und endogener Variablen? eigentlich: Test, ob bzw. wie hoch die
Fehlerwahrscheinlichkeit, daß der Koeffizient oder die Konstante ungleich Null sind, und daher allgemeinere Schlüsse aus dieser Stichprobe gezogen werden dürfen
OLS-Regression: Signifikanz II
Signifikanzniveau/ Sicherheitsniveau:wenn p-Wert < 0,01 oder 0,05 oder 0,1 => signifikanter Einfluß der UV: auf 1%, 5% oder 10%-Level „besser“, desto näher an Null aber: Wahl des Signifikanzniveaus kann von der
Meßqualität der Daten abhängig gemacht werden Z.B.: 1%-Niveau: Wahrscheinlichkeit von 99%, daß
signifikanter Koeffizient einflußreich ist, Irrtumswahrscheinlichkeit: 1%
OLS-Regression: Streudiagramm
nur für univariate Regression rechtwinkliges Koordinatensystem: Streudiagramm –
linearer, nichtlinearer oder kein Zusammenhang abhängige (=zu erklärende, endogene) Variable: wird auf
der y- Achse abgetragen (z. B.: Körpergröße)erklärende (=exogene, unabhängige) Variable: wird auf der x-Achse abgetragen (z. B.: Zeit)
Graphiken/ Streudiagramm/ Einfach Definieren/ erklärende Variable in x-Achse & zu erklärende Variable in y-Achse/ (Fallbeschriftung) / OK
Einfügen der Regressionsgeraden 2X auf Streudiagramm klicken, führt zum Grafikeditor; darin
auf Diagramme/ Optionen/ Kreuz bei Anpassungslinie gesamt/ OK
Veranschaulichung der Zusammenhänge zwischen UV & AV
OLS-Regression:Einflußreiche Ausreißer
Verteilung der Beobachtungen: Berücksichtigung möglicher Ausreißer
=> verschiedene Streudiagramme identifizieren einflußreiche Ausreißer
Def.: Beobachtungen, die von den mittleren 50% der Werte mehr als drei mal dieser Distanz entfernt liegen (Daumenregel)
Regressionsgerade reagiert möglicherweise sehr sensitiv auf Ausreißer
Lösung: Regression mit und eine ohne Ausreißer durchführen und Veränderung der Regressionskoeffizienten betrachten
Ergebnisse, die auf Ausreißern basieren, sind unglaubwürdig
Ausreißer raus!
Multiple Regression
mehrere erklärende Variable im Schätzmodell große Stärke der Regressionsanalyse: es können Einflüsse
von mehreren erklärenden Variablen geschätzt werden graphisch kaum vorstellbar wichtig: statistische Kennzahlen und Tests, die Hinweise auf
ein korrektes Schätzmodell geben, richtig auszuwerten (z.B. die bereits erwähnten p-Werte)
Multiple Regression undkorrigiertes R2
das „adjustierte R²“ ist hier ein besseres Maß für den Erklärungsanteil des Modells
es ist so konstruiert, daß es sinkt, wenn viele nicht erklärungskräftige Variablen mitberücksichtigt werden
bei Modellen mit mehreren Variablen, nimmt der Erklärungsanteil mit der Anzahl der erklärenden Variablen zu
Extremfall: für jede Beobachtung gibt es eine erklärende Variable R²=1 normales Bestimmtheitsmaß ist nicht mehr aussagekräftig Anpassung um die Anzahl der erklärenden Variablen v Modelle mit höherem R²adj sind vorzuziehen, auch wenn R²
kleiner ist wenn R²adj nach Variablenausschluß stark reduziert
Kolliniarität übersehen
Multiple Regressionen: Sensitivitätsanalyse
wie robust sind die Ergebnisse bei geringfügigen Änderungen in der Modellspezifikation?
Ergebnisse sind unglaubwürdig, falls sich Vorzeichen und Signifikanz der Koeffizienten durch geringfügige Änderungen stark ändern
Aufnahme und Ausschluß von zweifelhaften Variablen und Betrachtung der Auswirkung auf die Schlüsselvariablen
Multiple Regressionen: Teststrategie
Vorgehensweise nach dem Grundsatz „general to specific modelling“, um Verzerrung der Regressions-koeffizienten durch unberücksichtigte Variablen zu vermeiden
zuerst umfassendes Modell mit allen Variablen schätzen, die auch rivalisierende Erklärungen einschließen
dann: insignifikante Variablen aus dem Modell ausschließen: allmählich zum „wahren“ Modell vorarbeiten (hier Multikollinearität möglich)
notwendig: Überprüfung, ob die Annahmen der OLS-Schätzmethode erfüllt sind
Multikollinearität
Def.: Vorhandensein von Kollinearitäten (Abhängigkeiten) zwischen den erklärenden Variablen in multiplen Regressionsmodellen treten aber fast immer (schwache) Abhängigkeiten zwischen den UV auf OLS-Schätzungen bleiben unverzerrt bei starker Multikollinearität kann Variabilität der Koeffizienten- schätzung zunehmen: d.h. schon mit einer geringfügig anderen Modellspezifikation ganz andere Schätzergebnisse möglich
Multikollinearität II
„täuschende“ Insignifikanz bei einer oder mehreren UV möglich => Einfluß einer UV wird übersehen (bei geringen t-Werten)
Auslassen von Variablen mit niedrigen t-Werten kann zu einer Verzerrung der anderen Schätzer führen
Interpretation der Regressionskoeffizienten gestaltet sich schwieriger
aber: R² nicht betroffen Überprüfung der Kollinearitäten hilfreich, um die Ergebnisse
richtig einschätzen zu können
Bestimmung von Multikollinearität
oft als erste Approximation: Überprüfung der Korrelationskoeffizienten=> Schwankungen nach Ausschluß von Variablen die in engem Zusammenhang mit Schlüsselvariable
Bestimmung von Multikollinearität: z.B. mit Variance Inflation Factor (VIF):Werte > 10 deuten auf Multikollinearität (z.B. in SPSS im Regressionsfenster unter „Statistiken“ die Option „Multikollinearitätsdiagnose“ aktivieren)
Daumenregel: kein Problem, wenn R2 > R2 irgendeiner UV auf die anderen UV, oder wenn alles signifikant
Dummy-Variablen
auch Indikator-/ und Kategorienvariablen qualitative Variablen, die keine Ordnung im mathematischen
Sinne angeben Dummies bei 2 Kategorien:
nehmen nur Werte 0 oder 1 an, z.B.x=1, falls Mann & x=0, falls Frau oder x=1, falls zum Römischen Reich gehörig & x=0, falls sonstige Dummy-Variablen können auch zwischen unterschiedlichen Zeitspannen trennen: z.B. 1500-1550=0, 1551-1600=1
Interaktionsterme
um den Einfluß einer Interaktion zwischen zwei Dummyvariablen zu schätzen, werden diese miteinander multipliziert
ergibt eine neue Dummyvariable: mit Wert=1 falls Zugehörigkeit zu beiden Ausgangskategorien Wert=0, falls Zugehörigkeit zu einer oder keiner der beiden
Ausgangskategorien in SPSS: transformieren -> berechnen... zugehöriger Regressionskoeffizient besagt ob eine
Kombination der Charakteristika signifikant unterschiedlich ist von einer bloßen Addition der Koeffizienten der Ausgangsdummies
Dummy-Variablen II
Dummies bei mehr als 2 Kategorien: insbes. bei mehreren Möglichkeiten qualitativer Charakteristika: z.B. Ständegesellschaft:1.Stand/ 2.Stand/ 3.Stand Region: Nordosteuropa/ Zentraleuropa/Südeuropa usw.
mehr Dummies: z.B. Ständegesellschaft:stand1=1, falls 1.Stand/sonstige Kategorien stand1=0stand2=1, falls 2. Stand/sonst stand2=0stand3=1, falls 3. Stand/sonst stand3=0
Vorteil: Kategorien lassen sich unterscheiden, ohne daß Anzahl der Beobachtungen in separaten Regressionen reduziert wird => Präzision der Regressionskoeffizienten bleibt erhalten
Homoskedastie
Varianz der Residuen var(e)=konstant
Heteroskedastie
xx3
a
xx1 x2
yy=a+b
x
keine konstante Varianz der Residuen (graphische Überprüfung: Trichterform!)
Regressionskoeffizienten werden weiterhin unverzerrt geschätzt auf diesen basierende Konfidenzintervalle sind un- gültig: t-Werte falsch geschätzt
OLS-Schätzmethode nicht länger effizient
Heteroskedastie II
Überprüfung durch ‚Modifizierten White-Test‘ vereinfacht: Residuen werden quadriert, um festzustellen,
ob ‚Trichterform‘ signifikant
e² =c+d1ŷ+d2ŷ²+Fehlertermŷ = erwartete, geschätzte Werte der abhängigen Variablec = Konstanted = Regressionskoeffizienten in SPSS:
1. Regression durchführen; dabei unstandardisierte Residuen und unstandardisierte vorhergesagte Werte speichern (im Regressionsfenster unter Speichern/ Residuen (nicht standardisiert) und vorhergesagte Werte (nicht standardisiert) ankreuzen)
Heteroskedastie III
2.Quadrate der vorhergesagten Werte und Residuen bilden(Transformieren/ Berechnen)
3. Regression durchführen, mit AV: quadrierte Residuen; UV: vorhergesagte Werte und quadrierte vorhergesagte Werte
=> Unterscheiden sich die Regressoren gemeinsam signifikant von 0 = wenn F-Wertes signifikant = Heteroskedastie
verschiedene Möglichkeiten Heteroskedastie zu beheben meist hilfreich: Transformation der Variablen (insbes.
Logarithmierung) Aufnahme von weiteren exogenen Variablen