Fakultät für Physik Institut für Experimentelle Kernphysik www.kit.edu KIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft Günter Quast SS '19 Vorlesung: Computergestützte Datenauswertung Wahrscheinlichkeit, diskrete und kontinuierliche Verteilungen
33
Embed
Vorlesung: Computergestützte Datenauswertungcomp.physik.kit.edu/Lehre/CGDA/Vorlesungsfolien/V03_Verteilungen1.pdf · Grafik mit Script messpunkt.py. Beispiel einer Messung Beispiel:
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Fakultät für PhysikInstitut für Experimentelle Kernphysik
www.kit.eduKIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft
Schätzung von Parametern aus endlicher Stichprobe (z.B. Mittelwert)
Verteilung der Messwerte um den Mittelwert
Anpassung von Funktionen (z.B. „Ausgleichsgerade”)
Kombination von Messungen
Bestimmung der Unsicherheit von Messgrößen:
Einfluss zufälliger Effekte (oft: „Messfehler”, besser: „Messunsicherheit”) werden mit Methoden der Statistik behandelt (z. B. Ablesegenauigkeit, Rauschen, Eichfehler ...)
Die Angabe von Ergebnissen ohne Unsicherheit ist sinnlos!
dabei „statistische“ und „systematische“ Unsicherheiten trennen: z.B. Masse des Higgs-Bosons: mH = 125,5 ± 0.2 (stat.) ± 0.6 (syst.) GeV/c2 (ATLAS Exp.)
Als Naturwissenschaftler sollten Sie die angewandten Methoden verstehen und die Ergebnisse bewerten können!
Sammlung und Analyse von Daten
– Forschung in Naturwissenschaften, Medizin z.B. Evidenz für die Existenz eines Higgs-Bosons, Evidenz für Klimawandel, Wirksamkeit von Therapien und Medikamenten, ...
– Finanzwelt und Handel: Börsendaten, Wechselkurse, Risikobewertungen, Angebotsplanung, ...
– Data-Mining in der Wirtschaft: Google, Payback-Karten, Umfragen ...
Test von Hypothesen, Klassifizierung von Daten, Bewertung von Risiken – Ist diese E-Mail Spam? – Gibt es eine globale Erwärmung? – Ist dieser Online-Kunde ein potenzieller Betrüger ? – Ist dieser Versicherungskunde ein „Raser“ ?
und viele, viele weitere Beispiele ….
Statistische und systematische Messunsicherheiten
m = w + zsys + zstat
Messwert wahrer Wert
zufällige systematische Abweichung
zufällige statistische Abweichung
● systematische Unsicherheit betrifft alle Messwerte in gleicher Weise
● statistische Unsicherheit ist beijeder Messung anders
Daten einer Messreihe
Statistische Unsicherheiten können durch Mehrfachmessung und Mittelwertbildung
reduziert werden → Zusammengefasst als Messpunkt mit „Fehlerbalken“
simulierte Messdaten Zahl der Messungen: 9 wahrer Wert: 0.95 syst. Abweichung: 0.3 stat. Unsicherheit: 0.3
Grafik mit Script messpunkt.py
Beispiel einer Messung
Beispiel: Die Lichtgeschwindigkeit ist bereits sehr genau bekannt, „Literaturwert“ : c = 2.99792458 ·108 m/s
Eine Messung c = (3.09 ± 0.15)·108 m/s ist in Übereinstimmung
Eine Messung c= (3.09 ± 0.01) ·108 m/s wäre dagegen im Widerspruch
Entscheidend für Bewertung eines Ergebnisses ist die Messunsicherheit !
Angabe eines Ergebnisses ohne „Vertrauensbereich“ („Konfidenzbereich“), in diesem Fall ohne die Messunsicherheit, ist wertlos!
grafische Darstellung mit erzeugendem Script in der Sprache python
import numpy as np, matplotlib.pyplot as plt
# die Messdatenc_m=[3.09e8, 3.09e8]c_e=[0.15e8, 0.01e8]c_w=2.99792458e8
# grafische Darstellungplt.errorbar([1, 2], c_m, yerr=c_e, fmt='bo')plt.axhline(c_w, color='darkred', linewidth=3)plt.text(0.55, 3.005e8, 'wahrer Wert', color='darkred') plt.ylabel("c (m/s$^2$)", size='x-large')plt.xlabel("Nr. der Messung")plt.title("Messungen der Lichtgeschwindigkeit")
# (… + einige Verschoenerungen ...)plt.show()
Beschreibung des Zufalls
Die Stochastik (von altgriechisch στοχαστικὴW τέχνὴ stochastikē technē, lateinisch ars conjectandi, also ‚Kunst des Vermutens‘, ‚Ratekunst‘) ist ein Teilgebiet der Mathematik und fasst als Oberbegriff die Gebiete Wahrscheinlichkeitstheorie und Statistik zusammen. (aus Wikipedia)
Teilgebiet der Mathematik, das sich mit der Beschreibung des Zufalls beschäftigt:
Der Zufall folgt genauen Regeln, deren Verständnis die Grundlage zur Behandlung der statistischen Komponente in empirischen Daten unerlässlich ist.
Zentral dabei ist das Konzept der Wahrscheinlichkeit
An dieser Stelle ausreichend ist die „Häufigkeitsdefinition“
Mathematische Grundlage: die Kolmogorov-Axiome
Literaturempfehlung: Erdmann, Hebbeker, “Moderne Methoden der Datenanalyse“
(Zufalls-)Ereignis im Sinne der Statistik: durch spezifische Eigenschaften definiertes Ergebnis eines Prozesses
Beispiele: - eine „3“ würfeln - ein Tor fällt in den ersten fünf Minuten eines Fußballspiels - beim Angeln einen Hecht fangen - eine „2“ und dann eine „5“ würfeln - eine Zahl größer als „3“ würfeln - Messung eines Werts für e zwischen 1.60•10-19 C und 1.61•10-19C
Kompatible Ereignisse: - eine gewürfelte Zahl ist „>3“ und „5“ („>3“ ∩ „5“) - eine Karte aus einem Kartenspiel ist rot und ein As („rot“ ∩ „As“) - eine Karte ist ein As oder eine Dame („As“ U „Dame“) - Karte ist As oder kein As (gilt für beliebige, d.h. alle Karten!)
Exklusive Ereignisse: - „3“ und gleichzeitig „5“ würfeln - eine Karte ist ein As und eine Dame (gilt für keine Karte)
Häufigkeitsdefinition der Wahrscheinlichkeit
Eine Beobachtung wird unter identischen Bedingungen unabhängig vonein-
ander n mal wiederholt. Wenn die Eigenschaft A dabei k mal beobachtet wird,
ist das Verhältnis k/n die
(empirische) Wahrscheinlichkeit für das Auftreten von A:
Bsp.: Wahrscheinlichkeit, eine Zahl 1, …, 6 zu Würfeln: 1/6
Wahrscheinlichkeit für Kopf oder Zahl 0.5
Wahrscheinlichkeit, ein As beim Skat zu ziehen: 4 / 32 = 1 / 8
Wahrscheinlichkeit, eine Karo-Karte zu ziehen (Spiel ohne Joker): 1/4
Beim Festlegen der Wahrscheinlichkeit helfen bei diesen Beispielen Symmetrien oder „Kombinatorik“, d.h. Abzählen der günstigen Ausgänge bezogen auf alle möglichen Ergebnisse.
Wahrscheinlichkeit: Kopf oder Zahl ?
Beispiel Münzwurf:
Wahrscheinlichkeit für Kopf: pK = 0.5 Wahrscheinlichkeit für Zahl: pZ = 1 – pK = 0.5
Führe N=1, .., N Computer-Experimnte durch, berechne jeweils die Häufigkeit hn= NK(n) / n
# throw a coin N timesimport numpy as npN=500f=[ ]Nh=0for n in range(N): if np.random.rand()>0.5: Nh+=1 f.append(float(Nh)/(n+1.))
throwCoin.py
Häufigkeit nähert sich der Wahrscheinlichkeit an:
hn → pK(n)
Anm.: Berechnung des Unsicherheitsbands später n
hn
[** Die Kolmogorov-Axiome ]Für mathematisch Interessierte: Formale Definition der Wahrscheinlichkeit:
positiv
additiv
normiert
seien
ei : Elementarereignisse , die sich gegenseitig ausschließen
Ω : die Menge aller Elementarereignisse
P(ei): die Warhscheinlichkeit für ei
Kolmogorov-Axiome (1931):
ei
ej
[** Laplace Bedingungen ] Für mathematisch Interessierte: Zusammenhang mit der Häufigkeit
Laplace-Bedingungen:
Ereignismenge endlich
alle Wahrscheinlichkeiten gleich
Die Wahrscheinlichkeit eines Ereignisses A berechnet sich als Quotient aus der Anzahl g der günstigen Fälle und der Anzahl n aller möglichen Ergebnisse
– erfüllt die Kolmogorov-Axiome
– als Definition der Wahrscheinlichkeit unbefriedigend, weil der Begriff in L2 vorkommt!
Kombination von Wahrscheinlichkeiten
“Bedingte Wahrscheinlichkeit“ für A wenn B wahr ist.
Wahrer Wert einer Größe existiert (ist aber unbekannt), wird im Limes unendliche vieler Messungen erreicht: P(A) = lim …
Typisches Resultat: Fehlerintervall → „68% aller aus Daten gebildeten Intervalle [a,b] erhalten den wahren Wert μ”
In der unmittelbaren Praxis werden wir uns zunächst nicht darumkümmern müssen, bei der „professionellen“ Interpretation vonErgebnissen wird der Unterschied aber bedeutsam.
* „Bessel-Korrektur“: N → N-1 vermeidet Verzerrung Plausibilitätsargument: für N=1 ist V nicht definiert !
*
Schiefe
Kurtosis
γ2 = 0 für Gauß-Vert.
+ höhere ...
nennt man das n-te Moment der Verteilung
Eine Verteilung ist über ihre Momente vollständig charakterisiert
Einschub: Rechenregeln für Erwartungswerte
Die Berechnung von Erwartungswerten ist eine lineare Prozedur:
seien a,b Konstanten und x, x1, x2 Zufallszahlen;
es gilt (mit E[x] = <x>):
<a>=a d.h. auch <<x>>=<x> <ax> = a <x>
<x1+x2>= <x1> + <x2>
und damit <ax1 + bx2> = a <x1> +b <x2>
insb. gilt i. A.: <x1 x2> ≠ <x1><x2>
( „=“ nur, wenn x1, x2 unabhängige Zufallszahlen sind)
diese Regeln ersparen u. U. viel Rechnerei!
[** Kleine Nebenrechnung: Varianz ]
Umformung der Formel für die Varianz (als Beispiel für das Rechnen mit Erwartungswerten) :
Die umgeformte, äquivalente Formulierung ist numerisch effizienter, weil nur ein Durchlauf durch die Zufallszahlen (=Daten) notwendig ist, wenn man dabei sowohl E[x] als auch E[x2] bestimmt.
üblich in der Physik zur Darstellung von Messergebnissen:
Zentral-Wert und 1σ-Bereich als „Punkt mit Fehlerbalken“
insb. bei asymmetrischen Balken als ±34%-Quantil um Erwartungswert zu verstehen
Fehlerfortpflanzung
Mittelwert und Varianz für lineare Funktionen von Zufallszahlen
Linearkombination von Zufallszahlen x1 und x2 :
der dritte Term verschwindet für unabhängige Variable; man nennt ihn (analog zur Definition der Varianz für eine Variable), die Kovarianz von
mit den Regeln von eben ergibt sich:
Mit Hilfe der Kovarianz geschrieben
nicht–lineare Funktionen von Zufallszahlen
im Falle von nicht-linearen Funkionen linearisieren wir durch
Taylor-Entwicklung um den Erwartungswert:
wir erhalten:
lineares Fehlerfortpflanzungsgesetzzusammenfassend kann man die Ergebnisse für unabhängige Variablen xi kompakt so schreiben:
Fehlerfortpflanzungsgesetz
Quadrierter absoluter Fehler auf Summe dieoder Differenz zweier Messungen ist die quadratische Summe ihrer absoluten Fehler
Quadrierter relativer Fehler auf das Produktoder Verhältnis zweier Messungen ist die quadratische Summe ihrer relativen Fehler
Anwendung: Fehler auf den Mittelwert
Der Mittelwert einer Anzahl von N Messungen der gleichen Größe,
, ist eine lineare Funktion der Messwerte und damit
selbst eine Zufallsgröße.
weil alle Messungen aus der gleichen Verteilung stammen, sind alle Unsicherheiten gleich
Die Unsicherheit auf den Mittelwert aus N (identischen, unabhängigen) Messungen ist um den Faktor √N kleiner als die Unsicherheit auf eine Einzelmessung
Wir erhalten das sehr wichtige Ergebnis
Mit dem Fehlerfortpflanzungsgesetz können wir die Unsicherheit berechnen:
Illustration: Fehler des Mittelwerts
normalverteilteZufallszahlen
Summe von je 9 normalverteiltenZufallszahlen
sigma=1.002
sigma=0.336
Die Breite der Verteilung der Mittelwerte ist exakt um √n=3 kleiner.
Beispiel: Messung der Tischhöhen aus VL02
Mittelwert: 75.75 cmStandardabweichung: 0.47 cmUnsicherheit d. Mittlelwerts: 0.13 cm
[** Beispiel: Unsicherheit einer Effizienzbestimmung]
Bei der Untersuchung eines Sensors oder eines medizinischen Tests wird bestimmt, wie häufig er auf ein Signal anspricht:
N Versuche, davon p positiv und n=N-p mit negativem Ausgang; (Schätzung der) Effizienz über die Häufigkeit:
Die statistischen Unsicherheiten auf die beobachteten Häufigkeiten p und n sind √p und √n (Poisson-Verteilung, s. später) Was ist die Unsicherheit auf die so bestimmte Effizienz ?
Lösung:
Anm.: 1.) diese Lösung gilt für „große“ Zahlen n, p anschaulich: wenn man nur eine Messung macht, ist die Unsicherheit natürlich nicht Null! 2.) Die Wahrscheinlichkeit, in N Versuchen p Ergebnisse eines Typs zu sehen, folgt einer Binomialverteilung Pb(p ; N, ε) (s. später).
Unser Ergebnis stimmt mit den aus deren Eigenschaften abgeleiteten überein.