11.01.2002 Vorlesung 8 1 Der χ χ χ 2 Test Es gibt verschiedene Arten von Signifikanztests Neben Signifikanztests, die sich mit dem Mittelwert beschäftigen, gibt es auch Testverfahren für Verteilungen Bei Verteilungen Beantwortung der Frage, ob eine gemessene Verteilung Gauß- oder Poisson-verteilt ist oder nicht ? Allgemeine Definition : ( ) ∑ = − = n k k k k T T E 1 2 2 χ E k ist die experimentelle Häufigkeit T k ist die theoretisch erwartete Häufigkeit
43
Embed
Der χ Test - Physik in Würzburgreusch/fehler/wisem0102/vorlesung8.pdf · Chi-quadrat f(Chi-quadrat) Autobahn ν=3. 11.01.2002 Vorlesung 8 13 Der χ2 Test Allgemeines Vorgehen: Aufstellen
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
11.01.2002 Vorlesung 8 1
Der χχχχ2 Test
Es gibt verschiedene Arten von SignifikanztestsNeben Signifikanztests, die sich mit dem Mittelwert beschäftigen,
gibt es auch Testverfahren für Verteilungen
Bei Verteilungen Beantwortung der Frage, ob eine gemessene Verteilung
Gauß- oder Poisson-verteilt ist oder nicht ?
Allgemeine Definition :
( )∑=
−=n
k k
kk
TTE
1
22χ
Ek ist die experimentelle Häufigkeit
Tk ist die theoretisch erwartete Häufigkeit
11.01.2002 Vorlesung 8 2
Der χχχχ2 Test
Wir wiederholen eine Messung viele (N) Male,fassen die Messwerte in n-Klassen zusammen
und ermitteln die Anzahl der Beobachtungen Ek, die in die Klasse k fallen.Beispiel: Siehe letzte Übungsaufgabe zur Poisson-Verteilung
Unter der Voraussetzung, dass die Messwerte der erwarteten Verteilung folgen, berechnen wir die
theoretisch erwartete Zahl von Messwerten in der k-ten Klasse.
Bei χ2 = 0 ist die Übereinstimmung vollkommen.
Dies ist selten der Fall, also wird χ2 > 0 sein.Aufgabe ist es, Grenzen zu finden, bei denen man
die Übereinstimmung als signifikant bezeichnen kann.
11.01.2002 Vorlesung 8 3
Der χχχχ2 Test
Beispiele zur Motivation:
Auf einer vierspurigen Autobahn werden die Fahrzeuge pro Spur gezählt:Bevorzugen die Fahrer eine Fahrbahn ?
Insgesamt 1000 Fahrzeuge
Annahme: Die Fahrer bevorzugen keine Fahrbahn, das heißt pk = 1/4 ; somit ist Tk =250 für alle k
192238276294Fahrzeuge
4321Spur
( ) ( ) ( ) ( ) 4824250
250192250
250238250
250276250
250294 22222
.=−+−+−+−=χ
11.01.2002 Vorlesung 8 4
Der χχχχ2 TestRechteckverteilungen kommen beim Würfeln vor,
hier ist die Wahrscheinlichkeit für das Würfeln einer Zahl pk=1/6
Wir würfeln 240 Mal
Andere typische Rechtecksverteilung ist die Ziehungshäufigkeit beim Lotto
324537494235Häufigkeit
654321Augenzahl
χ2 = 5.20
Ist dies ein zu großes χχχχ2 ?
Ist der Würfel manipuliert ?
11.01.2002 Vorlesung 8 5
Der χχχχ2 Test
Die Summe N = 11982
Mittlere Ziehungshäufigkeit Tk = 244.53
Wir haben bei allen drei Beispielen unterschiedliche Anzahlen von Klassen
χ2 bei 4 Fahrspuren muss anders
bewertet werden als χ2 bei 49 Klassen im Beispiel der Lottozahlen
χ2 = 46,77
11.01.2002 Vorlesung 8 6
Der χχχχ2 Test
( )∑=
−=n
k k
kk
TTE
1
22χ
Die Ek und Tk sind Häufigkeiten und nicht Wahrscheinlichkeiten
Nehmen wir zufällige Schwankungen in den experimentellen Verteilungen an, so erhalten wir für χ2 wieder eine Verteilung:
( ) ( )
−
−
= −
2exp
12
2
1 21
22
2
2
!χχ
νχ
ν
νf
Es wird die Wahrscheinlichkeit berechnet mit der χ2 Werte auftreten
11.01.2002 Vorlesung 8 7
Der χχχχ2 Test
0,00
0,05
0,10
0,15
0,20
0,25
0 5 10 15 20Chi-quadrat
f(Chi
-qua
drat
)
( ) ( )
−
−
= −
2exp
12
2
1 21
22
2
2
!χχ
νχ
ν
νf
0,00
0,05
0,10
0,15
0 10 20 30 40Chi-quadrat
f(Chi
-qua
drat
)
0,00
0,05
0,10
0 10 20 30 40 50 60Chi-quadrat
f(Chi
-qua
drat
)
0,00
0,05
0 20 40 60 80 100 120Chi-quadrat
f(Chi
-qua
drat
)
ν = 5
ν = 20
ν = 10
ν = 50
11.01.2002 Vorlesung 8 8
Der χχχχ2 TestDer Begriff der Freiheitsgrade
im allgemeinen ist die Anzahl der Freiheitsgrade ν in einer statistischen Rechnung definiert als
die Anzahl der beobachteten Klassen n minus der Anzahl der aus den Daten berechneten und/oder in der Rechnung verwendeten Parameter c.
Die Anzahl der Freiheitsgrade νννν ist:νννν = n - c,
wobei c die Anzahl der Parameter ist, die aus den Daten berechnet
werden mussten um die erwarteten Anzahlen Tk zu berechnen.
11.01.2002 Vorlesung 8 9
Der χχχχ2 Test
N = 11982 = ∑=
n
kkE
1
Beispiel: Lotto
Folglich ist zur Berechnung der theoretischen Häufigkeiten genau ein Parameter nötig,
der aus den Daten bestimmt werden muss, nämlich N.
Die Anzahl der Zwangsbedingungen ist c = 1.
Die Zahl der Freiheitsgrade ν = n - 1 = 49 - 1 = 48
(Beim Beispiel der Autobahn 3 beim Würfel 5)
11.01.2002 Vorlesung 8 10
Der χχχχ2 Test
Beispiel: Lotto
Sobald N festliegt, können wir die Gleichung N =
als Zwangsbedingung auffassen. ∑
=
n
kkT
1
Wir haben freie Wahl für die Häufigkeiten T1,... Tn-1.
Die letzte Zahl Tn ist jedoch nicht mehr frei wählbar.
Sie muss so gewählt werden, dass die Summe der Ti die Anzahl N ergibt
Wir werden sehen, dass die Zahl der Zwangsbedingungen größer als eins werden kann (Gaußverteilung etc.)
11.01.2002 Vorlesung 8 11
Der χχχχ2 Test
0,00
0,05
0,10
0,15
0,20
0,25
0 5 10 15 20Chi-quadrat
f(Chi
-qua
drat
)
Wie groß ist die Wahrscheinlichkeit χχχχ2 – Werte zu finden, die größer sind als ein bestimmter Wert?
11.01.2002 Vorlesung 8 12
Der χχχχ2 Test
Wie groß ist die Wahrscheinlichkeit χχχχ2 – Werte zu finden, die größer sind als ein bestimmter Wert?
Beispiel χ2 Freiheits-grad
P = 90 % P = 1% P = 0.1% P(χ2 )
Autobahn 24.48 3 0.58 11.34 16.27 < 0.1%
Würfel 5.20 5 1.61 15.09 20.52 0.391
Lotto 46.77 48 35.95 73.68 84.04 0.523
0,00
0,05
0 20 40 60 80Chi-quadrat
f(Chi
-qua
drat
) Lotto ν=48
0,00
0,05
0,10
0,15
0,20
0,25
0 2 4 6 8 10Chi-quadrat
f(Chi
-qua
drat
) Autobahn ν=3
11.01.2002 Vorlesung 8 13
Der χχχχ2 TestAllgemeines Vorgehen:
Die Lottozahlen sind manipuliert !Aufstellen einer Hypothese
Festlegen einer Irrtumswahrscheinlichkeit 5 %
Bestimmung der Sicherheitsschwelle (Tabelle) χχχχ2SW = 65.17
Vergleich der Sicherheitsschwelle mit dem experimentellen Wert χχχχ2
EX = 46.77
Ist χχχχ2 der Sicherheitsschwelle größer als der experimentelle Wert,muss die Hypothese verworfen werden.
11.01.2002 Vorlesung 8 14
Der χχχχ2 TestAllgemeines Vorgehen:
Alle Fahrbahnen werden gleichmäßig benutztAufstellen einer Hypothese
Festlegen einer Irrtumswahrscheinlichkeit 5 %
Bestimmung der Sicherheitsschwelle (Tabelle) χχχχ2SW = 7.81
Vergleich der Sicherheitsschwelle mit dem experimentellen Wert χχχχ2
EX = 24.48
Ist χχχχ2 der Sicherheitsschwelle kleiner als der experimentelle Wert,muss die Hypothese verworfen werden.
Irrtumswahrscheinlichkeit ist 5 %
11.01.2002 Vorlesung 8 15
Der χχχχ2 Test
Wir würfeln 240 Mal324537494235Häufigkeit
654321Augenzahl
χ2 = 5.20
Wir würfeln 360 Mal mit einem manipulierten Würfel
605350806650Häufigkeit
654321Augenzahl
χ2 = 12.15
Hypothese: Meine Kumpels sind Ganoven !
Testen der Hypothese mit einer Irrtumswahrscheinlichkeit von 5%, 1% und 0.1%
Beide Verteilungen sind mit einer Irrtumswahrscheinlichkeit von 5% Poisson-verteilt
11.01.2002 Vorlesung 8 24
Der χχχχ2 TestAlle bislang diskutierten Messgrößen waren diskret.
Es gab keine Schwierigkeiten bei der Klasseneinteilung
Die Gauß-Verteilung ist eine kontinuierliche Verteilung. Es gibt andere häufig vorkommende kontinuierliche Verteilungen
(Lorentz-, Maxwell-, Boltzmann-, Fermi-Verteilung sind in der Physik sehr häufig)
Wie immer die Verteilung aussehen mag, die gesamte Fläche unter dem Graphen f(x) aufgetragen gegen x, ist gleich 1 und die Wahrscheinlichkeit eines Messwertes zwischen
x = a und x = b ist gleich der Fläche zwischen a und b.
( ) ( )∫=<<b
adxxfbxaP
11.01.2002 Vorlesung 8 25
Der χχχχ2 Test
Wenn also die k-te Klasse von x = ak bis x = ak+1 läuft, ist die (nach insgesamt N Messungen) erwartete
Anzahl von Messwerten in der k-ten Klasse:
( ) ( )∫+⋅=<<⋅= +1
1k
k
a
akkk dxxfNaxaPNT
0 5 10 15 20 25 30 35 40 45 50 55 60 65 700
1
2
3
4
5
6
7
8
9
10
11
12 NanosM = 30.4SABW=9.86SF=1.4
Häu
figke
it
Punktzahl
Beispiele:Klausurergebnisse
Körpergröße von Menschen
Aufwändiges Verfahren
11.01.2002 Vorlesung 8 26
Der χχχχ2 TestBeispiel 200 Studenten
Körpergröße sei normalverteilt
Wir messen die Körpergröße X von N = 200 Studenten, errechnen µo und σ
Klasse Größen in der Klasse Beobachtete Ek Erwartete Tk Qk
Weiteres Zusammenfassen von KlassenVorgehen wird immer fragwürdiger
Datenmaterial N = 51 ist viel zu gering für eine verlässliche Aussage
11.01.2002 Vorlesung 8 29
KonfidenzintervalleWir haben eine normalverteilte Grundgesamtheit
mit Mittelwert µ und Standardabweichung σ
Wir machen eine Stichprobe von n Messungen und erhalten einen Mittelwert µi und eine Stichprobenstandardabweichung s.
Die Mittelwerte µi sind normalverteilt um den wahren Mittelwert µmit einer Standardabweichung von , wenn n groß ist. n
σ
Das heißt, alle Mittelwerte einer Stichprobe liegen mit einer
68.27 % Wahrscheinlichkeit im Intervall
+−n
;n
σµσµ ii
11.01.2002 Übung - 8 16
Übung 8 – Motivation
45 46 47 48 49 50 51 52 53 54 550,00
0,02
0,04
0,06
0,08
Häu
figke
it Mittelwerte
11.01.2002 Vorlesung 8 30
Übung 8 – Motivation
45 46 47 48 49 50 51 52 53 54 550,00
0,02
0,04
0,06
0,08
Häu
figke
it
Mittelwerte
11.01.2002 Vorlesung 8 31
Konfidenzintervalle
Dieses Intervall
Aufgabe ist es jetzt, die Länge eines Intervalls so festzulegen, dass es den wahren Mittelwert
mit einer runden Vertrauenswahrscheinlichkeit β überdeckt,also 90% oder 95%
+−n
;n
σµσµ ii
wird als Konfidenzintervall für den wahren Mittelwert µ
zur Vertrauenswahrscheinlichkeit 68.27 % bezeichnet.
11.01.2002 Vorlesung 8 32
Konfidenzintervalle
In der Praxis hat β die Werte β = 0.90, β = 0.95, β = 0.99 und gelegentlich β = 0.999
Es ist klar, dass es einen Parameter λβ geben muss, so dass das Intervall
+−
n;
nσλµσλµ ββ ii
ein Konfidenzintervall für zur Vertrauenswahrscheinlichkeit β ist.
βσλµµσλµ ββ =
+⟨⟨−Φnn ii
11.01.2002 Vorlesung 8 33
Konfidenzintervalle
Diese Gleichung lässt sich umformen
β=
+⟨
−⟨−Φ β
iβ λn
σµµλ
Häufig benutzte Werte:
λ90% = 1.645
λ95% = 1.960
λ99% = 2.576
βσλµµσλµ ββ =
+⟨⟨−Φnn ii
Dies sind zweiseitige Schranken der Normalverteilung.
11.01.2002 Vorlesung 8 34
Konfidenzintervalle
Es gibt auch einseitige Schranken von Konfidenzintervallen
λ90%* = 1.282
λ95%* = 1.645
λ99%* = 2.326
+−∞nσλµ; *
βi
In der Praxis ist σ selten bekannt und darüber hinaus n klein
Dies führt zur t-Verteilung oder der Verteilung nach Student
11.01.2002 Vorlesung 8 35
Die t-VerteilungWilliam Gosset (1908)
Stichprobenanalysen:Ist die Standardabweichung einer Grenzverteilung unbekannt,
so kann sie durch die Standardabweichung einer größeren Population angenähert werden.
Bei kleinen Datenausschnitten (Stichproben) ist s
(Standardabweichung der Stichprobe) allerdings kein gutes Maß für σ.
Da s größer oder kleiner sein kann als σ, wird auch der Fehler des Stichprobenmittelwertes µi
einmal größer oder kleiner sein als der Fehler des Mittelwertes der Grenzverteilung .
=nss
iµ
=n
σσ µ
Wird aus einem kleinen Datenausschnitt abgeleitet,
ist das ein sehr ungenaues Maß für
ns
n
σ
" !
11.01.2002 Vorlesung 8 36
Die t-VerteilungMacht man viele Datenausschnitte mit einer geringen Anzahl von Messungen, so ergibt sich für die Mittelwerte eine bestimmte Verteilung.
(Siehe Motivation zu Übung 8)
W. Gosset verwendete als Parameter nicht die Häufigkeit dieser Mittelwerte.Er verwendete einen Parameter t zur Auftragung
ns
t i µµ −=
Die Häufigkeitsverteilung dieses Parameters heißt t-Verteilung oder t-Verteilung nach Student
Die Verteilung ist von der Anzahl
der Messungen abhängig.
11.01.2002 Vorlesung 8 37
Die t-Verteilung
Freiheitsgrad =
Anzahl der Messungen – 1 =
n - 1
Ziemlich willkürliche Definition
Es zeigt sich, dass je kleiner der Datenausschnitt ist (kleines n), desto größer die Wahrscheinlichkeit dafür ist, dass die Verteilung der Mittelwerte breiter wird als erwartet.
H. Basler:Keine inhaltlich anschauliche Bedeutung
ns
t i µµ −=
11.01.2002 Vorlesung 8 38
Signifikanztests
Überprüfung mit Zufallsstichproben
Ist die Hypothese richtig, dass der wahre Mittelwert µ mit dem Mittelwert der Stichprobe µi übereinstimmt ?
Testen von Hypothesen über den Mittelwert
Eine Maschine füllt Zuckerpakete ab.Die Nettogewichte der abgefüllten Pakete seien normalverteilt.
Der wahre Mittelwert sei µµµµ .
Wir versuchen zwei Hypothesen zu testen
1. Der wahre Mittelwert des Nettogewichtes der von der Maschine gefüllten Pakete beträgt 500 g
2. Der wahre Mittelwert der Nettogewichte beträgt höchstens 500 g
11.01.2002 Vorlesung 8 39
SignifikanztestsHypothesen, die aufgrund von Zufallsstichproben überprüft werden,
heißen Nullhypothesen und werden mit Ho abgekürzt
Ho: µ = µSoll
Ho* : µ ≤ µSoll
Ho ist eine zweiseitige; Ho* ist eine einseitige Nullhypothese
Ho ist falsch, wenn µ unterhalb von µSoll liegt,
die Hypothese ist aber auch falsch,
wenn µ oberhalb von µSol l liegt.
Die Nullhypothese Ho* ist nur dann falsch, wenn µ oberhalb von µSoll liegt.
11.01.2002 Vorlesung 8 40
Signifikanztests
Was bedeutet dies für die zu testenden Hypothesen ?
Test von Ho : µ = µSoll
Der wahre Mittelwert des Nettogewichtes der von der Maschine gefüllten Pakete beträgt 500 g
Test von Ho* : µ ≤ µSoll
Der wahre Mittelwert der Nettogewichte beträgt höchstens 500 g
ns
t solli µµ −=
Wir berechnen den Parameter t,
wobei wir den wahren Mittelwert durch den Sollwert µSoll ersetzen.