Testen von Hypothesen
Fällen von Entscheidungen
Statistische Auswertung von Daten bisher (Parameterschätzung, Konfidenzregionen):
➢ Bestimmung von Parametern und deren Fehler bei einer gegebenen Wahrscheinlichkeitsverteilung
Häufig soll aus Daten eine weitere Information gewonnen werden:
➢ Fällen einer Entscheidung, z.B.:
● Ist das nachgewiesene Teilchen ein Pion oder ein Kaon?● Ist die gemessene Zerfallszeitverteilung einer radioaktiven
Substanz eine Exponentialverteilung?● Existiert das Higgs-Boson oder nicht?
➔ Formulierung in Form von Hypothesen Hi
(Wahrscheinlichkeitsdichten für die Daten: f(x|Hi ))
Hypothesen
Arten von Hypothesen:
● Einfach = unabhängig von Parametern
● Zusammengesetzt = parameterabhängig: f(x|H,a)
Bezeichnung von Hypothesen:
● Zu testende Hypothese: Null-Hypothese H0
● Alle anderen Hypothesen: Alternativhypothese(n): H1, H
2, …
Reduktion der Dimensionalität durch Teststatistik
x → t, f(x|H) → g(t|H)
➔ Definition von Entscheidungskriterien anhand der Teststatistik
Wahl zwischen zwei Hypothesen
Konfidenzlevel von H0 für t > t
c : Signifikanz
➔ Verwerfen der richtigen Hypothese: Fehler erster Art
Konfidenzlevel von H1 für t < t
c : , Mächtigkeit (power) 1 –
➔ Akzeptieren der falschen Hypothese: Fehler zweiter Art
➢ Geeignete Wahl der Teststatistik für möglichst signifikanten und mächtigen Test → Klassifizierung
Klassifizierungsmethoden
Fisher-Diskriminante
● Lineare Transformation, t = const definiert Hyperebenen
➔ Optimal bei Gaußverteilungen
Neuronale Netze
➔ Optimal bei hinreichender Anzahl Knoten
Likelihood-Ratio
● r = f(x|H0) / f(x|H
1) > r
c
➢ Neyman-Pearson-Lemma
➔ Optimal (für einfache Hypothesen)
Test einer Hypothese
➢ Sind Daten statistisch verträglich mit Hypothese H0 ?
Statistische Methoden können eine Hypothese nicht (direkt) beweisen, sondern höchstens widerlegen!
➔ Beweis über Ausschluss von Alternativhypothesen
● Wahl der gewünschten Signifikanz
● Bestimmung einer Konfidenzregion (nicht eindeutig, z.B. ein-/zweiseitig)
➢ Verwerfen der Hypothese, falls Daten außerhalb der Konfidenzregion
Oft statt vorheriger Wahl von → Angabe von p-Wert
➔ Wahrscheinlichkeit statistische Fluktuation wie in den beobachteten Daten oder „größer“ zu erhalten unter Annahme von H
0 (→ „beobachtete Signifikanz“)
Beispiel: Orbital angeregte Bs-Mesonen
➢ Hat man ein, oder zwei, oder mehr Signale, oder sind alles nur statistische Fluktuationen?
Gefahr von Verzerrungen
Beispiel:
● 20 Physiker führen (unabhängig voneinander) jeweils eine Messung durch
● Einer sieht eine Abweichung von der Erwartung um 2(Ausschluss der Null-Hypothese mit 5% Signifikanz)
● Der eine publiziert sein Ergebnis, die anderen nicht
➔ Bias der veröffentlichten Ergebnisse!
Publikation sollte nicht vom Ausgang des Tests abhängen
➢ Auch „negative“ Resultate publizieren
Binomial-Verteilung
AnzahlKopf
Wahrschein-lichkeit p
15 0.003%
14 0.05%
13 0.3%
12 1.4%
11 4.2%
10 9.2%
Beispiel:
➢ 15 Münzwürfe
➢ Daten: n = Anzahl Kopf
1. Vermutung: Münze gezinkt
● Null-Hypothese: p = ½
● Gewählte Signifikanz: 10%
2. Vermutung: Kopf wahrscheinlicher als Zahl
● Null-Hypothese: p ≤ ½
● Gewählte Signifikanz: 10%
Poisson-Verteilung
Häufige Frage: Signifikanz eines Signals
Beispiel:
● Daten: n = 5, Untergrund-Erwartung b = 0.5
➔ p(n >= 5 | b = 0.5) = 1.7 x 10- 4
➢ Problem: Unsicherheit der Untergrund-Erwartungz.B. für
b = 0.8: p = 1.4 x 10- 3
➔ Angabe eines Bereichs von p-Werten
Falls n groß → Gauß'sche Näherung
f(n|H0) = Gauß( =
b , = √(
b +
b2 ))
● Für b = 0: Signifikanzniveau S / √B, S = n -
b, B =
b
Signale in Verteilungen
Beispiel:
➔ Poisson-Verteilung: p = 5.0 x 10-4
➢ Nur richtig, falls schon vor der Messung dort ein Signal vermutet wird und die Bins ausgewählt wurden
Signifikanz der Abweichung geringer, falls Sie irgendwo in der Verteilung auftreten kann Man mehrere Verteilungen anschaut Die Selektionskriterien (bewusst oder unbewusst) gewählt
wurden, so dass ein Peak entsteht➔ Bilde Analyse:
Wahl der Selektionskriterien, bevor man die Daten anschaut
Mehr Ereignisse in beiden mittleren Bins als erwartet:n = 11,
b = 3.2
Pearson's 2-Test
t = ∑i = 1..N
(yi – f(x
i ))2 /
i2
folgt 2-Verteilung für N Freiheitsgrade (ndf), falls yi Gauß-verteilt
● Ndf = N – m, falls m Parameter aus den Daten bestimmt
➢ Histogramm-Binning: N klein → Empfindlichkeit, Gauß-sche NäherungN groß → Auflösung von Strukturen
Beispiel von voriger Seite mit i = √y
i :
2 = 29.8, ndf = 20 → p = 7.3%Toys: p = 11%
Run-Test
Beispiel: 2 = 12 für 12 Bins → 2-Test ok
✗ Aber Daten offensichtlich nicht linear
Struktur der Abweichungen:
AAABBBBBBAAA für A = above, B = below
➔ Nur 3 Runs
Mögliche Anzahl Anordnungen für NA A- und N
B B-Werte:
C(NA, N
B) = N! / (N
A! N
B!), N = N
A + N
B
Wahrscheinlichkeit für r Runs: r gerade: p(r) = 2 C(N
A – 1, r/2 – 1) C(N
B – 1, r/2 – 1) / C(N, N
A)
r ungerade: p(r) = [C(NA – 1, (r-3)/2) C(N
B – 1, (r-1)/2) + C(N
A – 1, (r-1)/2) C(N
B – 1, (r-3)/2)] / C(N, N
A)
➔ E[r] = 1 + 2NAN
B / N, E[V(r)] = 2N
AN
B(2N
AN
B – N) / [N2(N-1)]
Beispiel: E[r] = 7, (r) = 1.65 → r = 2.4, p(einseitig) = 1%
Kolmogorov-Smirnov-Test
● Daten der Größe nach sortieren
● Kumulierte Verteilung, normiert mit 1/N, auftragen
Y(x) = (Anzahl Werte < x) / N
● Vergleich mit kumulierter Wahrscheinlichkeitsverteilung
F(x) = ∫–∞
x f(x') dx'
➔ Testgröße definiert durch maximale Abweichung:
t = √N max|Y(x) – F(X)|
Z.B. p = 1% für t = 1.63, p = 10% für t = 1.22
● Gilt nur, wenn f(x) nicht an die Daten angepasst wurde(kein Analogon zu ndf beim 2-Test)
Vergleich von Mittelwerten und Varianzen
Test auf gleichen Mittelwerten zweier Datensätze bei unbekannter Varianz
● Schätzung der Varianz aus den Daten: s2 = 1/[N(N-1)] ∑i = 1..N
(xi - )2
● Testgröße: t = (1 –
2) / √(s
12 + s
22)
➔ folgt Studentscher t-Verteilung
Test auf gleiche Varianz zweier Datensätze
● Testgröße: F = V1 / V
2
➔ Folgt F-Verteilung
Für große Anzahlen ist Z = ½ log F Gauß-verteilt mit Mittelwert ½ (1/f
2 – 1/f
1) und Varianz ½ (1/f
2 + 1/f
1)
für f1 = N
1 – 1 und f
2 = N
2 – 1
^
^ ^
^ ^
Likelihood-Ratio als Testgröße
Häufiger Fall:
Test auf bestimmte Werte von Parametern eines allgemeinen Modells
➔ Testgröße: T = f(x|a1(H
0), ..., a
m(H
0), â
m+1, ...â
n) / f(x|â')
Satz von Wilks:
➢ Wird eine Grundgesamtheit durch eine Wahrscheinlichkeits-dichte f(x|a) beschrieben (die vernünftigen Anforderungen an ihre Stetigkeit genügt), und werden m der n Parameter festgelegt, so folgt
-2 ln T
einer 2-Verteilung mit m Freiheitsgraden für (sehr) große N
Beispiel: Orbital angeregte Bs-Mesonen
● Allgemeines Modell:Untergrund undzwei Signale
➢ Null-Hypothese (pro Signal): Signalanzahl = 0
➔ Zwei Parameter weniger (Anzahl und Mittelwert)
● Erstes Signal:
T = 48 → p = 3x10-10, 6.3● Zweites Signal:
● T = 74 → p = 10-14, 7.7
Beispiel: Orbital angeregte Bs-Mesonen
Überprüfung der Signifikanzbestimmung mit Toy-MC
➔ Signifikanz > 5
● Genaue Bestimmung des p-Wertes limitiert durch Anzahl Pseudoexperimente
Beispiel: Orbital angeregte Bs-Mesonen
Theorie sagt weiteres Signal bei ~0.022 GeV vorher
➢ Likelihood-Ratio-Test (ohne/mit drittem Signal): 3.7
➔ Evidenz für weiteres Signal?
Beispiel: Orbital angeregte Bs-Mesonen
Weiterer Test mit alternativem Untergrund-Modell
➢ Signifikanz nur noch 2.7
➔ Mehr Daten erforderlich, um Evidenz des Signals zu etablieren (falls es existiert)
Empfehlungen
➢ Legen Sie den Test und die gewünschte Signifikanz fest,bevor Sie die Messung durchführen
➢ Vermeiden Sie Verzerrungen → Blinde Analyse
➢ Prüfen Sie die Robustheit des Resultats(Binning, Selektion, Fit-Modell)
➢ Überprüfen Sie die Signifikanzbestimmung, falls angebracht, durch Pseudoexperimente
➢ Visualisieren Sie die Daten und achten Sie auf Abweichungen, die nicht vom Test erfasst werden
➢ Publizieren Sie Ihr Resultat, auch wenn kein signifikanter Effekt beobachtet wird