Rachunek prawdopodobieństwa Stanislaw Jaworski Rachunek prawdopodobieństwa: dzial matematy- ki zajmujący się badaniem modeli zjawisk losowych (przypadkowych) i praw nimi rządzących (Encyklope- dia Popularna PWN, 1998) Rachunek prawdopodobieństwa zajmuje się zdarzenia- mi, pojawiającymi się przy wykonywaniu doświadczeń, których wyniku nie da się z góry przewidzieć, a jedno- cześnie dających się powtarzać w tych samych warun- kach. Pojęciem pierwotnym w rachunku prawdopodobień- stwa jest przestrzeń zdarzeń elementarnych. Bę- dziemy ją oznaczać przez Ω. 1
142
Embed
Rachunek prawdopodobieństwa Stanisław Jaworski Rachunek ...
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Rachunek prawdopodobieństwa
Stanisław Jaworski
Rachunek prawdopodobieństwa: dział matematy-ki zajmujący się badaniem modeli zjawisk losowych(przypadkowych) i praw nimi rządzących (Encyklope-dia Popularna PWN, 1998)
Rachunek prawdopodobieństwa zajmuje się zdarzenia-mi, pojawiającymi się przy wykonywaniu doświadczeń,których wyniku nie da się z góry przewidzieć, a jedno-cześnie dających się powtarzać w tych samych warun-kach.
Pojęciem pierwotnym w rachunku prawdopodobień-stwa jest przestrzeń zdarzeń elementarnych. Bę-dziemy ją oznaczać przez Ω.
1
Przykład. Rzut monetą.
Ω = O,R
¥
Przykład. Rzut kostką.
Ω = 1, 2, 3, 4, 5, 6
¥
Przykład. Rzut monetą do chwili pojawienia się orła.
Ω = ω1, ω2, . . . , ωn, . . . ,
gdzie ωn oznacza, że w pierwszych n − 1 rzutach wy-padły reszki, a za n – tym razem wypadł orzeł. Możli-wych wyników jest nieskończenie wiele. Dadzą się usta-wić w ciąg, tzn. że jest ich przeliczalnie wiele. ¥
2
Przykład. Ze zbioru n ponumerowanych elementówlosujemy dwa elementy.
Ω = (ωi, ωj)| i, j = 1, 2, . . . , n, i < j
ωi oznacza wylosowanie elementu o numerze i. ¥
Przykład. Czas oczekiwania na autobus.
Ω = [0,∞)
¥
Przykład. Niech Tk ∈ 〈[0, 45], k = 1, 2, . . . , 10, ozna-cza spóźnienie k – tego studenta na losowo wybranywykład (w minutach).
(T1, T2, . . . , T10) ∈ Ω
Ω = [0, 45]× [0, 45]× . . .× [0, 45] = [0, 45]10
¥
3
Podstawowe pojęcia rachunkuprawdopodobieństwa
Definicja. Rodzinę F spełniającą warunki
1. F 6= ∅2. Jeśli A ∈ F , to Ω \A ∈ F3. Jeśli Ai ∈ F dla i = 1, 2, . . . , to
∞⋃i=1
Ai ∈ Fnazywamy σ – ciałem podzbiorów zbioru Ω.
Zdarzenie losowe jest elementem rodziny F
Definicja. Prawdopodobieństwem nazywamy dowol-ną funkcję P , określoną na σ−ciele zdarzeń F ⊆ 2Ω,spełniającą warunki
A1. P : F → R+;
A2. P (Ω) = 1
A3. Jeśli Ai ∈ F , i = 1, 2, . . . oraz Ai ∩ Aj = ∅ dlai 6= j, to
P
( ∞⋃
i=1
Ai
)=∞∑
i=1
P (Ai)
Mówimy, że matematyczny model doświadczenia loso-wego to trójka (Ω,F , P ), którą nazywamy przestrze-nią probabilistyczną
4
Przykład. Rozkład prawdopodobieństwaw skończonej przestrzeni zdarzeń
NiechΩ = ω1, ω2, . . . , ωn.
Niechpi > 0, i = 1, 2, . . . , n,
będą tak dobrane, że
n∑
i=1
pi = 1
Wówczas funkcję P określamy w następujący sposób:
P (ωi) = pi oraz
dla A ⊆ Ω postaci A = ωi1 , ωi2 , . . . , ωik
P (A) = pi1 + pi2 + . . .+ pik
Tak określona funkcja spełnia układ aksjomatów Koł-mogorowa dla F = 2Ω ¥
5
Przykład. Rzut kostką.
ωi 1 2 3 4 5 6pi 1/6 1/6 1/6 1/6 1/6 1/6
P (1, 2, 5) = 1/6 + 1/6 + 1/6 = 3/6 = 1/2
ωi 1 2 3 4 5 6pi 1/12 1/12 1/12 3/12 3/12 3/12
P (1, 2, 5) = 1/12 + 1/12 + 3/12 = 5/12 < 1/2
¥
Przykład. Przeliczalna przestrzeni zdarzeń
Ω = ω1, ω2, . . .
pi > 0,∞∑
i=1
pi = 1
P (ωi) = pi, P (A) =∑
j:ωj∈Apj
(?) Tak określona funkcja spełnia układ aksjomatów Koł-mogorowa dla F = 2Ω ¥
6
Przykład. Liczba zarejestrowanych cząstek w odcin-ku czasu [0, t].
Ω = 0, 1, . . .
P (k) = e−αt(αt)k
k!, k = 0, 1, . . .
(?) Zachodzi∞∑k=0
e−αt(αt)k
k!= 1 ¥
Ciągła przestrzeń zdarzeń
Przykład. Czas oczekiwania na pierwszą cząstkę.
Ω = [0,∞)
Zdarzenie (t,∞): pierwsza cząstka pojawi się późniejniż w chwili t
P ((t,∞)) = e−αt(αt)0
0!= e−αt
Stąd dla dowolnych s < t
P ((s, t]) = e−αs − e−αt
¥
7
Przykład. Rzut strzałką do tarczy o promieniu 1.
Model 1.Ω = (x, y) : x2 + y2 ≤ 1
(x, y)– współrzędne kartezjańskie punktu trafieniastrzałki w tarczę
Dowód. Zbiór A1 ∪ A2 ∪ . . . ∪ An daje się zapisaćw postaci sumy rozłącznych składowych. Zatem Lewastrona równania włącza każdą składową dokładnie raz.Musimy pokazać, że prawa strona równania wprowa-dza każdą składową też dokładnie raz.W pierwszym składniku wzoru, czyli
∑
16i6nP (Ai)
każda składowa postaci
A1 ∩A2 ∩ . . . ∩Ak ∩A′k+1 ∩A′k+2 ∩ . . . ∩A′n
zostanie włączona k razy, w drugim, czyli
∑
16i16i26nP (Ai1 ∩Ai2),
16
wyłączona(k2
)razy, itd. Ostatecznie liczba włączeń
wyniesie
(k
1
)−(k
2
)+(k
3
)+ . . . (−1)k+1
(k
k
)= 1.
Uwaga. Korzystam ze wzoru dwumianowego New-tona:
(a+ b)k =k∑
i=0
(k
i
)ak−ibi
¥
Przykład. n listów losowo wkładamy do kopert. Jakiejest prawdopodobieństwo, że choć jeden list dotrze doadresata?Niech Ai oznacza zdarzenie, że i−ty list dotrze do ad-resata. Zatem
P
(n⋃
i=1
Ai
)= n
P (A1)︷ ︸︸ ︷(n− 1)!n!
−(n
2
)P (A1∩A2)︷ ︸︸ ︷(n− 2)!n!
+ . . .
+ (−1)n(
n
n− 1
)1n!
+ (−1)n+1 1n!
=
17
= 1− 12!
+13!
+ . . .+ (−1)n1
(n− 1)!+ (−1)n+1 1
n!
=n∑
i=1
(−1)i+1
i!= 1 +
n∑
i=0
(−1)i+1
i!= 1−
n∑
i=0
(−1)i
i!
≈ 1− e−1
Błąd oszacowania
∣∣∣∣∣P(
n⋃
i=1
Ai
)− (1− e−1)
∣∣∣∣∣ 61
(n+ 1)!
Skorzystałem z oszacowania:
∣∣∣∣∣ex −
n∑
i=0
xi
i!
∣∣∣∣∣ 6|x|n+1
(n+ 1)!
¥
18
Twierdzenie 3. (O ciągłości). Niech(Ω,F , P ) bę-dzie przestrzenią probabilistyczną.
(i) Jeśli (An)∞n=1 jest wstępującą rodziną zdarzeń
oraz∞⋃n=1
An = A, to
P (A) = limn→∞
P (An).
(ii) Jeśli (An)∞n=1 jest zstępującą rodziną zdarzeń
oraz∞⋂n=1
An = A, to
P (A) = limn→∞
P (An).
Rodzinę zdarzeń Ai nazywamy wstępującą, jeśli
A1 ⊆ A2 ⊆ . . . ⊂ An ⊆ An+1 · · ·
i zstępującą, jeśli
A1 ⊇ A2 ⊇ . . . ⊃ An ⊇ An+1 · · ·
19
Dowód. (i) Niech
B1 = A1, B2 = A2 \A1 i ogólnie: Bn = An \An−1
Wtedy zdarzenia Bi wykluczają się,
n⋃
i=1
Bi =n⋃
i=1
Ai = An,
a także⋃∞i=1Bi = A. Z przeliczalnej addytywności
wynika, że
P (A) = P
( ∞⋃
i=1
Bi
)=∞∑
i=1
P (Bi) =
= limn→∞
n∑
i=1
P (Bi) = limn→∞
P (An)
(ii) Rozpatrzmy rodzinę wstępującą (Cn)∞n=1,gdzie Cn = A′n. Wtedy
∞⋃n=1
Cn =∞⋃n=1
A′n =
[ ∞⋂n=1
An
]′= A′
i wystarczy skorzystać z (i) ¥
20
Prawdopodobieństwo warunkowe
Definicja. Prawdopodobieństwem warunkowym zaj-ścia zdarzenia A pod warunkiem zajścia zdarzenia B,gdzie P (B) > 0, nazywamy liczbę
P (A|B) =P (A ∩B)P (B)
(?) Uwaga. Przy ustalonym B prawdopodobieństwo wa-runkowe P (A|B) jest zwykłym prawdopodobieństwemna (Ω,F), a także na (B,FB), gdzie
FB = A ∩B : A ∈ F
(?) Wzór łańcuchowy. Jeśli P (A1 ∩ . . . ∩An−1) > 0, to
P (A1 ∩ . . . ∩An) = P (A1)P (A2|A1)×× P (A3|A1 ∩A2) · . . . · P (An|A1 ∩ . . . ∩An−1)
21
Definicja. Rozbiciem przestrzeni Ω nazywamy rodzi-nę zdarzeń Hii∈I , które wzajemnie wykluczają się,zaś ich suma jest równa Ω.
Twierdzenie 4.Jeżeli H1, H2, . . . , Hn jest rozbiciem Ω na zdarze-nia o dodatnim prawdopodobieństwie, to dla dowol-nego zdarzenia A
P (A) =n∑
i=1
P (A|Hi)P (Hi)
Dowód.
P (A) = P (n⋃
i=1
(A ∩Hi)) =n∑
i=1
P (A|Hi)P (Hi)
¥
(?) Uwaga.Twierdzenie jest prawdziwe i dla rozbicia Ωna przeliczalną liczbę zdarzeń Hi, i = 1, 2, . . . .
22
Przykład. W loterii fantowej szansa wygranej jestrówna p, przegranej – q, a z prawdopodobieństwemr wyciągamy los „graj dalej”. Los „graj dalej” wrzu-camy z powrotem do urny i dokonujemy ponownegolosowania. Jakie jest prawdopodobieństwo wygranej?
A−wyciągneliśmy los wygrywającyB−wyciągneliśmy los przegrywającyC−wyciągneliśmy los „graj dalej”W−wygraliśmy na loterii
P (W ) = P (W |A)P (A) + P (W |B)P (B)+
+ P (W |C)P (C) = 1 · p+ 0 · q + P (W ) · r
Stąd
P (W ) =p
1− r =p
p+ q
¥
Twierdzenie 5. Niech Hii∈I będzie rozbiciem Ωna zdarzenia o dodatnim prawdopodobieństwie. GdyP (B) > 0, to
P (A|B) =∑
i∈IP (A|B ∩Hi)P (Hi|B),
gdzie zbiór indeksów I jest skończony lub przeliczalny.
23
Przykład. Grześ i Jaś rzucają na przemian monetą.Jaś wygrywa, gdy pojawią się kolejno OOR, Grześ –gdy ROR. Jakie są prawdopodobieństwa wygranej dlaobu chłopców?
NiechW1 – wygra Jaś, W2 – wygra Grześ,Ok – w k-tym rzucie wypadł orzeł,Rk – w k-tym rzucie wypadła reszka.
x = P (W1|O1 ∩O2) y = P (W1|O1 ∩R2)
z = P (W1|R1 ∩O2) w = P (W1|R1 ∩R2)
Zatem
y =P (W1|O1 ∩R2 ∩O3)P (O3|O1 ∩R2)+
+ P (W1|O1 ∩R2 ∩R3)P (R3|O1 ∩R2)
=z12
+ w12
Analogicznie
x =12x+
12· 1, z =
12x+ 0, w =
12w +
12z
Stąd P (W1) = (x+ y + z + w)/4 = 5/8. ¥
24
Twierdzenie 6. Wzór Bayesa. Niech Hii∈I będzierozbiciem Ω na zdarzenia o dodatnim prawdopodo-bieństwie i P (A) > 0, to dla dowolnego j ∈ I mamy
P (Hj |A) =P (A|Hj)P (Hj)∑i∈I P (A|Hi)P (Hi)
Przykład. Amperomierze pochodzą z trzech taśmprodukcyjnych w stosunku 1:1:1. Dostawy z pierwszejtaśmy zawierają 0.5% braków, z drugiej 0.7%, a z trze-ciej 1%. Wybrany losowo amperomierz okazał się bra-kiem. Obliczyć prawdopodobieństwo, że został on wy-produkowany na taśmie drugiej.
A−amperomierz jest brakiemHi−amperomierz pochodzi z i−tej taśmy
P (H1) = P (H2) = P (H3) = 1/3
P (A|H1) = 0.005; P (A|H2) = 0.007; P (A|H3) = 0.01
Stąd
P (A) =13
(0.005 + 0.007 + 0.01) =0.022
3
P (H2|A) =P (H2)P (A|H2)
P (A)=
13
0.007
13
0.022=
722
¥
25
Niezależność zdarzeń.
Zdarzenie B nie zależy od zdarzenia A, gdy wiedza otym, że zaszło A nie wpływa na prawdopodobieństwozajścia B.
P (B|A) = P (B), P (A) > 0
⇓P (A ∩B) = P (A)P (B)
Definicja. Zdarzenia A oraz B nazywamy niezależ-nymi, gdy
P (A ∩B) = P (A)P (B)
Definicja. Zdarzenia A1, A2, . . . , An nazywamy nie-zależnymi, gdy
P (Ai1 ∩Ai2 ∩ . . . ∩Aik) = P (Ai1) . . . P (Aik)
dla 1 ≤ ii < i2, . . . < ik ≤ n, k = 2, 3, . . . , n
26
Przykład. Spośród rodzin mających n dzieci wybie-ramy jedną rodzinę. Niech zdarzenie A polega na tym,że w losowo wybranej rodzinie jest co najwyżej jednadziewczynka, B – w rodzinie są dziewczynki i chłopcy.Czy zdarzenia A i B są niezależne?
Przestrzeń probabilistyczną tworzą ciągi n− elemen-towe – uporządkowane według starszeństwa dzieci.
P (A ∩B) = P (A)P (B)⇔ n
2n=(n+ 1
2n
)(2n − 2
2n
)
⇔ n = 3
¥
Przykład. W urnie są cztery kule – niebieska, zielona,czerwona i pstrokata (niebiesko-zielono-czerwona).ZdarzeniaAn – wyciągneliśmy kulę z kolorem niebieskimAz – wyciągneliśmy kulę z kolorem zielonymAn – wyciągneliśmy kulę z kolorem czerwonymMamy
P (An) = P (Az) = P (Ac) = 1/2
P (An ∩Az) = P (An ∩Ac) = P (Az ∩Ac) = 1/4
Zatem rozważane zdarzenia są parami niezależne.
27
Zauważmy jednak, że
P (An ∩Az ∩Ac) =146= 1
8= P (An)P (Az)P (Ac)
¥
Przykład. Ω = [0, 1]2, F = B([0, 1]2), P− rozkładrównomierny na [0, 1]2.Zdarzenia
A = B =
(x, y) ∈ [0, 1]2 : x > y
C =
(x, y) ∈ [0, 1]2 : x < 0.5
Zauważmy, że
P (A ∩B ∩ C) =18
= P (A)P (B)P (C)
natomiast żadne dwa nie są niezależne ¥
28
Przyjmijmy konwencję: A0 = A, A1 = A′
Twierdzenie 7.Następujące warunki są równoważne:
(i) Zdarzenia A1, A2, . . . , An są niezależne;
(ii) Dla każdego ciągu ε1, ε2, . . . , εn, gdzie εi ∈0, 1, i = 1, 2, . . . , n, zdarzenia Aε11 , . . . , A
εnn
są niezależne;
(iii) Dla każdego ciągu ε1, ε2, . . . , εn, gdzie εi ∈0, 1, i = 1, 2, . . . , n, zachodzi równość
P (Aε11 ∩ . . . ∩Aεnn ) = P (Aε11 ) . . . P (Aεnn )
Dowód. (i)⇒ (ii) (indukcja względem n)
(1o) Pokażemy dla n = 2
(2o) Założymy, że tw. jest prawdziwe dla n− 1
(3o) Pokażemy, że
A1, . . . , An−1, An niezależne
⇓A1, . . . , An−1, A
′n niezależne
(4o) Zauważymy, że z 3o wynika
Aε11 , . . . , Aεn−1n−1 , A
εnn niezależne
29
Dla n = 2
P (A1 ∩A′2) = P (A1 \A1 ∩A2) =
= P (A1)− P (A1 ∩A2) =
= P (A1)[1− P (A2)] = P (A1)P (A′2)
Zatem A1, A′2 są niezależne. Na mocy symetrii także
A′1, A2 są niezależne. Stosując jeszcze raz powyższerozumowanie do A′1, A2 , otrzymujemy niezależnośćA′1, A
′2
Zakładamy, że tw. jest prawdziwe dla n − 1 i dowo-dzimy dla n.
W tym celu wystarczy pokazać:
P (A1 ∩ . . . ∩An−1 ∩A′n) =
= P (A1 ∩ . . . ∩An−1 \A1 ∩ . . . ∩An−1 ∩An) =
= P (A1 ∩ . . . ∩An−1)− P (A1 ∩ . . . ∩An) =
= P (A1 ∩ . . . ∩An−1)[1− P (An)]
= P (A1) . . . P (An−1)P (A′n)
¥
Definicja. Zdarzenia A1, A2, . . . nazywamy niezależ-nymi, gdy dla każdego n zdarzenia A1, A2, . . . , An sąniezależne.
30
Zmienne losowe.
Cel: Ujednolicić sposób rozważań dla różnych prze-strzeni zdarzeń elementarnych.
Definicja. Zmienna losowa jest to funkcja rzeczywista
Definicja. Mówimy, że zmienna losowa jest typu sko-kowego (dyskretna), jeżeli istnieje zbiór skończony lubprzeliczalny X ⊂ R taki, że
PX(X ) = 1
Przykłady zmiennych losowychtypu skokowego:
• rozkład dwumianowy
• rozkład Poissona
• rozkład ujemny dwumianowy
• rozkład wielomianowy
37
Rozkład dwumianowy
Powtarzające się i niezależne próby nazywamy pró-bami Bernoulliego, jeżeli każda próba ma tylko dwamożliwe wyniki: „sukces” z prawdopodobieństwem poraz „porażka” z prawdopodobieństwem q
Niech X oznacza ilość sukcesów osiągniętych w ciągun prób Bernoulliego.
Zmienna losowa X ma następujący rozkład prawdopo-dobieństwa:
P (X = k) =(n
k
)pkqn−k,
gdzie p ∈ (0, 1) oraz k = 0, 1, . . . , n.
O zmiennej losowej X mówimy, że ma rozkład dwu-mianowy (X ∼ B(n, p)).
38
Przykład. Dziesięciu robotników używa z przerwamienergię elektryczną. Jakiego należy oczekiwać obciąże-nia, jeżeli
1. W każdej danej chwili każdy robotnik ma to samoprawdopodobieństwo p zapotrzebowania na jed-nostkę energii.
2. Robotnicy pracują niezależnie od siebie.3. Przeciętnie jeden robotnik używa dostarczanej
energii w ciągu 12 minut na godzinę.
Niech X oznacza liczbę robotników, którzy potrzebująenergii w tym samym czasie.
X ∼ B(10, 1/5).
Wówczas, jeżeli dopływ energii jest ustalony na pozio-mie sześciu jednostek, to przeciążenie ma szanse:
P (X > 7) = 0.0008643584
(?) W ciągu 20 godzin powinno trwać łącznie przezokoło minutę.
¥
39
Rozkład Poissona
Zmienna losowa X ma rozkład Poissona z parametremλ > 0 (X ∼ P0(λ)), jeżeli:
P (X = k) =e−λλk
k!, k = 0, 1, . . .
Rozkład Poissona a rozkład dwumianowy.
Załóżmy, że liczba doświadczeń n w poszczególnychseriach schematu Bernoulliego wzrasta dążąc do nie-skończoności a prawdopodobieństwo p dąży do zeratak, że iloczyn np jest wielkością stałą równą λ > 0.Wtedy zachodzi
limn→∞
(n
k
)pk(1− p)n−k =
e−λλk
k!.
Wynika to z rozpisania:(nk
)pk(1− p)n−k =
=1k!
(n− k + 1)(n− k + 2) . . . n(λ
n
)k (1− λ
n
)n−k
=λk
k!
(1− k − 1
n
)(1− k − 2
n
). . .
. . .
(1− 1
n
)1(
1− λ
n
)n−k
40
Przykład. Jakie jest prawdopodobieństwo pk, żewśród 500 ludzi dokładnie k będzie miało urodziny wdniu Nowego Roku?
Jeżeli 500 ludzi zostało wybranych losowo, to możemyzastosować schemat 500 prób Bernoulliego z prawdo-podobieństwem sukcesu 1/365. Wówczas
p0 = (364/365)500 = 0.2537 . . .
Dla przybliżenia Poissona bierzemy
λ = 500/365 = 1.3699 . . .
Wtedy
p0 ≈ e−1.36991.36990
0!≈ 0.2541
¥
41
Ujemny rozkład dwumianowy.
Prowadzimy doświadczenia według schematu Berno-ulliego do momentu pojawienia się r−tego sukcesu.Niech X oznacza liczbę porażek poprzedzających r−tysukces.
P (X = k)=(r + k − 1
k
)pr−1qk · p =
(r + k − 1
k
)prqk
gdzie q = 1− p, k = 0, 1, . . .
O zmiennej losowej X mówimy, że ma ujemny rozkładdwumianowy (X ∼ f(r, p)). Zakładamy, że r > 0 oraz0 < p < 1.
Uwaga. Możemy przyjąć, że r > 0 nie musi być liczbącałkowitą. Wtedy przyjmujemy następującą definicjęsymbolu Newtona (dla a ∈ R oraz k > 0)
(a
k
):=
a(a− 1)(a− 2) . . . (a− (k − 1))k!
, k ∈ N
1 , k = 0
0 , k /∈ Z
42
Przykład. Zadanie Banacha o pudełkach zapałek.Mamy dwa pudełka zapałek – jedno w prawej kieszenii jedno w lewej. Kiedy potrzebujemy zapałkę, wybie-ramy jedną z kieszeni losowo. Przypuśćmy, że począt-kowo każde z pudełek zawiera N zapałek. Ile wynosiprawdopodobieństwo, że gdy wyciągniemy puste pu-dełko, w drugim będzie dokładnie m zapałek.
X – liczba wyciągnięć pudełka z prawej kieszeni domomentu aż w drugim pudełku będzie m zapa-łek
Y – . . . z lewej kieszeni . . .
X ∼ f(N −m, 0.5), Y ∼ f(N −m, 0.5)
Poszukiwane prawdopodobieństwo wynosi
P (X = N + 1 ∪ Y = N + 1) =
= P (X = N + 1) + P (Y = N + 1)
¥
43
Rozkład wielomianowy
uogólnienie rozkładu dwumianowego
Wykonujemy serię n niezależnych prób. Każda próbamoże mieć jeden z kilku wyników, np. E1, E2, . . . , Er.
Prawdopodobieństwo realizacji Ei w każdej próbie wy-nosi pi, i = 1, 2, . . . , r.
Prawdopodobieństwo, że w n próbach E1 występujek1 razy, E2 występuje k2 razy itd. wynosi
n!k1!k2! . . . kr!
pk11 p
k22 . . . pkrr
44
Zmienne losowe typu ciągłego
Definicja. Mówimy, że zmienna losowa o dystrybu-ancie F jest typu ciągłego, jeżeli istnieje taka funkcjaf ≥ 0, że dla każdego x zachodzi równość
F (x) =
x∫
−∞f(u) du
Funkcję f nazywamy gęstością prawdopodobieństwazmiennej losowej X lub w skrócie gęstością
Uwagi
(1) W punktach, w których f jest ciągła zachodzi
d
dxF (x) = f(x)
(2)∫∞−∞ f(x) dx = 1
(3) Każda funkcja f nieujemna i spełniająca (2)wyznacza dystrybuantę F za pomocą wzoru
F (x) =
x∫
−∞f(u) du
45
Przykład. Sprawdzić, czy funkcja f określona wzo-rem
f(x) =
0 dla x < 0
e−x dla x ≥ 0
jest gęstością.
∞∫
−∞f(x) dx =
∞∫
0
e−x dx =[−e−x]∞0 = 1
¥
Przykłady zmiennych losowych ciągłych:
• rozkład normalny N(µ, σ2)
• rozkład jednostajny U(a, b)
• rozkład gamma G(b, p)
• rozkład beta B(p, q)
• rozkład Cauchyego C(µ, λ)
46
N(µ, σ2), σ > 0
f(x) =1
σ√
2πexp
[−(x− µ)2
2σ2
]
U(a, b), a < b
f(x) =
1b− a, x ∈ [a, b],
0, x /∈ [a, b]
G(b, p), b > 0, p > 0
f(x) =
bp
Γ(p)xp−1e−bx, x > 0
0, x ≤ 0
gdzie
Γ(p) =
∞∫
0
xp−1e−x dx
47
B(p, q), b > 0, p > 0
f(x) =
1B(p, q)
xp−1(1− x)q−1, x ∈ (0, 1)
0, x /∈ (0, 1)
gdzie
B(p, q) =
1∫
0
xp−1(1− x)q−1 dx
a także
B(p, q) =Γ(p)Γ(q)Γ(p+ q)
C(µ, λ), λ > 0
f(x) =1π
λ
λ2 + (x− µ)2
48
Przykład. Sprawdzimy, że rozkład N(µ, σ2) jest rze-czywiście rozkładem prawdopodobieństwa:
∞∫
−∞
1
σ√
2πexp
[−(x− µ)2
2σ2
]dx =
podstawienie: y = (x− µ)/σ
=1√2π
∞∫
−∞exp
(− y2
2
)dy =
Należy zatem sprawdzić, że ostatnia całka równa jest√2π. Ponadto zauważmy, że przy okazji otrzymaliśmy
następujący fakt
X ∼ N(µ, σ2)⇒ X − µσ
∼ N(0, 1)
49
∞∫
−∞exp
(− y2
2
)dy
2
=
=
∞∫
−∞exp
(− x2
2
)dx ·
∞∫
−∞exp
(− y2
2
)dy =
=
∞∫
−∞
∞∫
−∞exp
(−x
2 + y2
2
)dx dy =
przejście na współrzędne biegunowe:
ϕ(r, t) = (r cos t, r sin t)
Jϕ(r, t) =∣∣∣∣cos(t) −r sin(t)sin(t) r cos(t)
∣∣∣∣ = r
=
∞∫
0
2π∫
0
exp(−r
2
2
)r dr dt = 2π
∞∫
0
exp(−r
2
2
)r dr =
= 2π[− exp
−r2
2
]∞
0= 2π
¥
50
Funkcje zmiennej losowej
Przykład. Niech Y = aX+b, gdzie a 6= 0 oraz X jestzmienną losową o rozkładzie
P (X = 0) = 1/4, P (X = 1) = 3/4.
Chcemy znaleźć rozkład zmiennej losowej Y .
P (X = 0) = P (Y = b) = 1/4
P (X = 1) = P (Y = a+ b) = 3/4
¥
Przykład. Niech X będzie zmienną losową typu cią-głego o gęstości fX , dystrybuancie FX oraz niech Y =aX + b, a < 0. Chcemy znaleźć rozkład Y
FY (y) = P (Y ≤ y) = P (X ≥ y − ba
) =
= 1− P(X <
y − ba
)= 1− FX
(y − ba
)
Zatem fY (y) =d
dyFY (y) = −1
afX
(y − ba
)¥
51
Przykład. Niech X oznacza zmienną losową ciągłąo dystrybuancie FX oraz gęstości fX . Niech fX jestfunkcją ciągłą, a g funkcją ściśle monotoniczną orazniech h = g−1. Wtedy dystrybuantą zmiennej losowejY = g(X) jest:
(dla g - rosnącej)
FY (y) = P (Y ≤ y) = P (g(X) ≤ y)
= P (X ≤ h(y)) = FX(h(y))
Jeżeli h jest funkcją różniczkowalną, to
d
dyFY (y) = fX(h(y))h′(y)
jest gęstością zmiennej losowej Y = g(X)
(dla g - malejącej)
FY (y) = P (Y ≤ y) = P (g(X) ≤ y)
= P (X ≥ h(y)) = 1− FX(h(y))
Jeżeli h jest funkcją różniczkowalną, to
d
dyFY (y) = fX(h(y))(−h′(y))
jest gęstością zmiennej losowej Y = g(X)
52
Zatem w obu przypadkach
fY (y) = fX(h(y))|h′(y)|
¥
Przykład. Niech X – nieujemna zmienna losowa typuciągłego oraz Y =
√X. Zatem h(y) = y2 oraz
fY (y) = 2y · fX(y2) · I(0,∞)(y)
Uwaga. IA(x) =
1, x ∈ A0, x /∈ A ¥
Przykład. Niech X – zmienna losowa typu ciągłegooraz Y = X2.
FY (y) = P (X2 ≤ y) = P (−√y ≤ X ≤ √y) =
= P (X ≤ √y)− P (X ≤ −√y)
= FX(√y)− FX(−√y)
fY (y) =d
dyFY (y) =
d
dy(FX(
√y)− F (−√y)) =
=1
2√y
(fX(√y) + fX(−√y))
¥
53
Twierdzenie 9.
Niech X będzie zmienną losową typu ciągłego. Niechg będzie funkcją określoną na zbiorze
n⋃
k=1
[ak, bk],
która na każdym przedziale otwartym (ak, bk) jestfunkcją ściśle monotoniczną oraz ma ciągłą pochodnąg(x)′ 6= 0. Niech hk(y) będzie funkcją odwrotną dofunkcji g(x) na przedziale
Ik = g((ak, bk)) = y : x ∈ (ak, bk), g(x) = y.
Wówczas funkcja gęstości zmiennej losowej Y = g(X)ma następującą postać
fY (y) =n∑
k=1
fX(hk(y)) · |h′(y)| · IIk(y)
Przykład. X− ciągła, Y = X2. Wtedy g(x) = x2,h1(y) = −√y, h2(y) =
√y, I1 = I2 = (0,∞). ¥
54
Dowód. Niech A ∈ B(R)
P (Y ∈ A) = P (g(X) ∈ A) = P (X ∈ g−1(A))
=n∑
k=1
P (X ∈ (ak, bk) ∩ g−1(A))
=n∑
k=1
P (X ∈ g−1(Ik) ∩ g−1(A))
=n∑
k=1
P (X ∈ g−1(Ik ∩A))
=n∑
k=1
P (X ∈ hk(Ik ∩A))
=n∑
k=1
∫
hk(Ik∩A)
fX(x) dx
=n∑
k=1
∫
Ik∩A
fX(hk(y)) · |h′k(y)| dy
=∫
A
n∑
k=1
fX(hk(y)) · |h′k(y)| · IIk dy
Pytanie: Czy coś by się zmieniło, gdyby n =∞? ¥
55
Wektory losowe
Definicja. Wektor losowy X = (X1, . . . , Xn) to od-wzorowanie
X : Ω→ X ⊆ Rn
o własności:
ω ∈ Ω : X1(ω) ≤ x1, . . . , Xn(ω) ≤ xn ∈ F
dla dowolnego (x1, x2, . . . , xn) ∈ Rn
X – zbiór wartości wektora losowego
Często
X = 0, 1, . . . n, X = [0,∞)n, X = [a, b]n, X = Rn
Definicja. Rozkładem prawdopodobieństwa wektoralosowego X nazywamy rozkład prawdopodobieństwaPX określony wzorem
Definicja. Wektor losowy jest typu skokowego, jeżeliistnieje zbiór przeliczalny X ⊂ Rn, taki że PX(X ) = 1
Definicja. Wektor losowy jest typu ciągłego, jeżeli ist-nieje nieujemna funkcja fX(x1, x2, . . . , xn), zwanagęstością, taka że dla każdego x = (x1, x2, . . . , xn) ∈Rn
FX(x) =
x1∫
−∞· · ·
x2∫
−∞fX(u1, . . . , un) du1 . . . dun
57
Uwagi
Prawie wszędzie ma miejsce równość
∂FX(x1, . . . , xn)∂x1, . . . , ∂xn
= fX(x1, . . . , xn)
Dla dowolnego A ∈ B(Rn) zachodzi∫
A
fX(x) dx
Zauważmy, że
P (X1 ∈ A) = P (X1 ∈ A,X2 ∈ R, . . . , Xn ∈ R)
=∫
A
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx1 . . . dxn
=∫
A
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx2 . . . dxn
dx1
Zatem
fX1(x1) =
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx2 . . . dxn
Jest to tzw. brzegowa gęstość prawdopodobieństwa.
58
Dla rozkładów brzegowych wielowymiarowych mamy:
f(X1,X2)(x1, x2) =
=
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx3 . . . dxn
f(X1,X2,X3)(x1, x2, x3) =
=
∞∫
−∞· · ·
∞∫
−∞fX(x1, . . . , xn) dx4 . . . dxn
itd.
Podobnie postępuje się przy rozkładach skokowych:
Przykład. Niech wektor losowy (X,Y ) ma rozkładokreślony liczbami
pik = P (X = xi, Y = yk), gdzie i ∈ I, k ∈ K.
Wówczas rozkład zmiennej losowej X określają liczby
pi = P (X = xi) =∑
k∈Kpik, gdzie i ∈ I
¥
59
Przykład.
Niech (X,Y ) ma rozkład równomierny
na Ω = [0, 2]× [0, 3]:
fX,Y (x, y) =16IΩ(x, y).
Wówczas
fX(x) =
∞∫
−∞fX,Y (x, y) dy =
16
∞∫
−∞IΩ(x, y) dy =
=16
∞∫
−∞I[0,2](x) · I[0,3](y) dy =
=16I[0,2](x)
∞∫
−∞I[0,3](y) =
12I[0,2](x)
¥
60
Przykład. Niech (X1, X2) ma dwuwymiarowy roz-kład normalny, tzn:
Definicja. Niech (Ω,F , P ) będzie przestrzenią proba-bilistyczną, a X1, X2, . . . , Xn będą zmiennymi lo-sowymi określonymi na tej przestrzeni. Mówimy, żete zmienne losowe są niezależne, jeżeli dla dowolnychzbiorów borelowskich A1, A2, . . . , An zachodzi:
P (X1 ∈ A1, . . . Xn,∈ An) =
= P (X1 ∈ A1) . . . P (Xn ∈ An)
Definicja. Mówimy, że zmienne losowe X1, X2, . . .są niezależne, jeżeli każdy skończony podciąg ciąguX1, X2, . . . składa się z niezależnych zmiennych lo-sowych
Twierdzenie 11. Jeżeli X = (X1, X2, . . . , Xn) jestwektorem losowym typu skokowego to warunkiem ko-niecznym i wystarczającym niezależności zmiennychlosowych X1, X2, . . . , Xn jest:
P (X1 = x1, . . . , Xn = xn) =
= P1(X1 = x1) . . . Pn(Xn = xn),
dla każdego (x1, . . . , xn) ∈ Rn, gdzie Pk oznacza brze-gowy rozkład prawdopodobieństwa zmiennej losowejXk (k = 1, 2, . . . , n).
Twierdzenie 12. Jeżeli X = (X1, X2, . . . , Xn) jestwektorem losowym typu ciągłego o gęstości fX , to wa-runkiem koniecznym i wystarczającym niezależnościzmiennych losowych X1, X2, . . . , Xn jest:
fX(x) = fX1(x1) . . . fXn(xn),
dla każdego x = (x1, . . . , xn) ∈ Rn, gdzie fXk jestgęstością rozkładu brzegowego zmiennej losowej Xk
(k = 1, . . . , n )
65
Przykład. Niech X1, X2 ma łączny rozkład normalny.Chcemy znaleźć warunek konieczny i wystarczającyna niezależność zmiennych X1 oraz X2. Z twierdzeniamamy, że powinno zachodzić
fX1,X2(x1, x2) = fX1(x1)fX2(x2)
Ponieważ
fX1,X2(x1, x2) =1
2πσ1σ2(1− %2)12·
· exp
− 1
2(1− %2)
[(x1 − µ1
σ1
)2
+
+(x2 − µ2
σ2
)2
− 2%(x1 − µ1)(x2 − µ2)
σ1σ2
]
oraz
fX1(x1) =1
σ1√
2πexp
[−(x1 − µ1)2
2σ21
]
fX2(x2) =1
σ2√
2πexp
[−(x2 − µ2)2
2σ22
]
zauważamy, że warunkiem tym jest % = 0 ¥
66
Przykład. Niech Xi ∼ N(µi, σ2i ), i = 1, 2, · · · , n.
Wówczas
n∏
i=1
fXi(xi) =
=1
n∏i=1
(σi√
2π)exp
[−1
2
n∑
i=1
(xi − µi)2
σ2i
]=
=1√
(2π)n|Σ| exp[−1
2(x− µ)Σ−1(x− µ)′
],
gdzie x = (x1, x2, . . . , xn), µ = (µ1, µ2, . . . , µn)oraz
Σ =
σ2
1 0. . .
0 σ2n
Wniosek: Jeżeli X = (X1, X2, . . . , Xn) ∼ Nn(µ,Σ),to warunkiem koniecznym i dostatecznym niezależno-ści zmiennych losowych Xi, i = 1, 2, . . . , n jest to, abymacierz Σ była diagonalna. ¥
67
Twierdzenie 13.
(a) Jeżeli zmienne losowe X1, X2, . . . , Xn są nie-zależne oraz g1, g2, . . . , gn są funkcjami bore-lowskimi, to zmienne losowe
Y1 = g1(X1), . . . , Yn = gn(Xn)
są również niezależne.
(b) Jeżeli X1, . . . , Xm, Y1, . . . , Yn są niezależnymizmiennymi losowymi oraz
f : Rm → R i g : Rn → R
są funkcjami borelowskimi, to
U = f(X1, . . . , Xm) i V = g(Y1, . . . , Yn)
są niezależnymi zmiennymi losowymi, a także
U, Y1, . . . , Yn
są niezależnymi zmiennymi losowymi.
68
Przykład. Niech Xi ∼ N(0, 1), i = 1, 2 będą zmien-nymi niezależnymi.
Chcemy znaleźć rozkład zmiennej losowej X21 +X2
2 .
Ponieważ zmienne X1, X2 są niezależne, to zmienneY1 = X2
1 , Y2 = X22 też są niezależne. Zatem
fY1,Y2(y1, y2) = fY1(y1)fY2(y2)
Ponieważ
fYi(yi) =1
2√yi
(fXi(√yi) + fXi(−
√yi)) I(0,∞)(yi)
oraz
fXi(xi) =1
σ√
2πexp
[−x2i
2
]
mamy
fYi(yi) =1√
2πyiexp
[−yi
2
]I(0,∞)(yi)
69
Niech Z = X21 +X2
2 = Y1 + Y2.
FZ(z) = P (Y1 + Y2 ≤ z) =∫
Y1+Y2≤z
fY1,Y2(y1, y2) dy1dy2 =
=
∞∫
−∞
z−y2∫
−∞fY1,Y2(y1, y2) dy1
dy2 =
=
∞∫
−∞
z−y2∫
−∞fY1(y1) dy1
fY2(y2)dy2 =
=
∞∫
−∞
z∫
−∞fY1(y1 − y2) dy1
fY2(y2)dy2 =
=
z∫
−∞
∞∫
−∞fY1(y1 − y2)fY2(y2) dy2
dy1
Zmiana oznaczeń dla funkcji w nawiasach:
z := y1, x := y2
Zatem fZ(z) =∞∫−∞
fY1(z − x)fY2(x) dx
70
Robimy odpowiednie podstawienie i otrzymujemy
dla z > 0:
fZ(z) =1
2π
z∫
0
1√(z − x)x
exp[−z − x+ x
2
]dx =
=1
2πexp
[−z
2
] z∫
0
1√(z − x)x
dx =
podstawienie t := x/z
=1
2πexp
[−z
2
] 1∫
0
t−12 (1− t)− 1
2 dt =
=1
2πexp
[−z
2
]B(1/2, 1/2) =
=1
2πexp
[−z
2
] Γ( 12 )Γ(1
2 )
Γ( 12 + 1
2 )=
=12
exp[−z
2
]
ZatemfZ(z) =
12
exp[−z
2
]I(0,∞)(z)
71
Można pokazać przez indukcję ze względu na n, żezmienna losowa Z = X2
1 + . . . + X2n ma rozkład o gę-
stości
fZ(z) =1
2n/2Γ(n/2)zn/2−1e−z/2I(0,∞)(z)
Jest to tzw. rozkład chi-kwadrat o n stopniach swo-body. Symbolicznie piszemy
X21 + . . .+X2
n ∼ χ2(n)
Fakt.m∑i=1
λiX2i ∼ χ2(n), X2
i ∼ χ2(1) ⇒ m = n, λi = 1¥
72
Parametry rozkładówWartość oczekiwaną (wartość przeciętna, nadzieję ma-tematyczną) zmiennej losowejX oznaczamy symbolemE(X) i określamy w następujący sposób:
Dla zmiennej losowej skokowej
Jeżeli X jest zmienną losową typu skokowego, X =x1, x2, . . . , przy czym szereg
∑
k
|xk|P (X = xk)
jest zbieżny, to
E(X) =∑
k
xkP (X = xk)
Dla zmiennej losowej ciągłej
Jeżeli X jest zmienną losową typu ciągłego o gęstościf i zbieżna jest całka∫
R
|x|f(x) dx,
to
E(X) =∫
R
x f(x) dx
Ogólnie: E(X) =∫
ΩX(ω)dP (ω)
73
Przykład. Niech X = 0, 1, P (X = 0) = q,P (X = 1) = p = 1− q. Wówczas
E(X) = 0 · q + 1 · p = p
¥
Przykład. Niech X ∼ B(n, p). Wówczas
E(X) =n∑
k=0
k
(n
k
)pkqn−k =
=n∑
k=1
kn!
k!(n− k)!pk−1qn−k =
= npn∑
k=1
(n− 1)!(k − 1)!(n− k)!
pk−1qn−k =
= np (p+ q)n−1 = np
¥
Przykład. Niech X ∼ Po(λ). Wówczas
E(X) =∞∑
k=0
k · λk
k!e−λ = λe−λ ·
∞∑
k=1
λk−1
(k − 1)!=
= λe−λ∞∑r=0
λr
r!= λe−λeλ = λ
¥
74
Przykład. Niech X ∼ N(µ, σ2). Wówczas
E(X) =1
σ√
2π
∞∫
−∞x exp
[−(x− µ)2
2σ2
]dx
Stosujemy podstawienie z =x− µσ
i otrzymujemy
E(X) =1√2π
∞∫
−∞(µ+ σz)e−
z22 dz =
=µ√2π
∞∫
−∞e−
z22 dz +
σ√2π
∞∫
−∞ze−
z22 dz =
=µ√2π·√
2π +σ√2π· 0 = µ
¥
Przykład. Niech X ∼ C(0, 1). Wówczas
∞∫
−∞
|x|π(1 + x2)
dx = 2 limA→∞
A∫
0
x
π(1 + x2)dx =
= 2 limA→∞
12π
ln(1 +A2) =∞Wniosek: Dla rozkładu Cauchy’ego wartość oczeki-wana nie istnieje. ¥
75
Własności wartości oczekiwanej
Jeżeli E(X) <∞, E(Y ) <∞, to
(i) E(X + Y ) = E(X) + E(Y )
(ii) E(aX + b) = aE(X) + b, dla a, b ∈ R
(iii) Jeżeli X ≥ 0, to E(X) =∞∫0P (X > t) dt
(iv) Jeżeli X oraz Y są niezależne, to
E(XY ) = E(X)E(Y )
Przykład. Niech Xi, i = 1, 2, . . . n, ma rozkład dwu-punktowy:
P (Xi = 0) = q, P (Xi = 1) = p
Jeżeli zdarzenia Ai = Xi = 1 są niezależne, to
X =n∑
k=1
Xi ∼ B(n, p)
Zatem
E(X) =n∑
k=1
E(Xk) =n∑
k=1
p = np
¥
76
Twierdzenie 14. Jeżeli funkcja ϕ jest borelowska, to
(i) Dla X z rozkładu skokowego
E(ϕ(X)) =∑
k
ϕ(xk)P (X = xk)
(ii) Dla X z rozkładu ciągłego o gęstości f(x)
E(ϕ(X)) =∫
R
ϕ(x)f(x) dx
Przykład. Znaleźć wartość oczekiwaną pola prosto-kąta, którego obwód jest równy 10, a jeden bok jestzmienną losową X o rozkładzie U [1, 10].
Pole = X(10−X), fX(x) = 19I[1,10](x)
E(X(10−X)) =
∞∫
−∞x(10− x)fX(x) dx =
=19
10∫
1
x(1− x) dx = 18
¥
77
Problem. Jak możliwie najdokładniej zmierzyć dłu-gości dwóch prętów za pomocą zwykłej miarki, jeśliwolno mierzyć tylko dwa razy?
Propozycje
1. Mierzymy osobno każdy pręt.
2. Mierzymy sumę długości prętów, składając jerazem, a potem – różnicę.
Miernik precyzji pomiaru.
Wynik pomiaru = rzeczywista długość + błąd
X = x+ ε
E(X − x)2 = E(ε)2
ad 1.
Niech Xi oznacza pomiar i – tego pręta, i = 1, 2. Za-tem Xi = xi + εi. Wielkość błędu pomiaru pierwszegopręta wynosi E(ε1)2, a drugiego E(ε2)2. Rozsądnie jestprzyjąć
E(ε1)2 = E(ε2)2 = σ2
78
ad 2.
Niech S oznacza pomiar sumy długości prętów oraz Rróżnicę.
S = x1 + x2 + ε1
R = x1 − x2 + ε2
Jako oszacowanie x1 przyjmujemy
S +R
2= x1 +
ε1 + ε2
2
Jako oszacowanie x2 przyjmujemy
S −R2
= x2 +ε1 − ε2
2
Rozsądnie jest przyjąć, że
E(ε1) = E(ε2) = 0, oraz ε1, ε2 niezależne
Na mocy twierdzenia 19, 20 oraz założeń:
E
(ε1 ± ε2
2
)2
=14E(ε1)2 +
14E(ε2)2 ± 1
2E(ε1)E(ε2)
=14E(ε1)2 +
14E(ε2)2 ± 0 · 0 =
σ2
2
Średni kwadrat błędu jest dwa razy mniejszy niż po-przednio.
79
Zauważmy, że jeżeli E(ε) = 0 to E(X) = x. Zatem
E(X − x)2 = E(X − E(X))2
Definicja. Jeżeli E(X − EX)2 < ∞, to tę liczbę na-zywamy wariancją zmiennej losowej X i oznaczamy:
D2X = E(X − EX)2.
Uwaga.
D2X = E(X − EX)2 = E(X2 − 2X · EX + (EX)2)
= EX2 − (EX)2
Definicja. Pierwiastek z wariancji nazywamy odchy-leniem standardowym i oznaczamy przez DX.
80
Własności wariancji
Jeżeli X jest zmienną losową, dla której EX2 <∞, toistnieje D2X oraz:
(i) D2X ≥ 0
(ii) D2(cX) = c2D2X
(iii) D2(X + a) = D2X
(iv) D2X = 0 wtedy i tylko wtedy, gdy zmiennalosowa X jest z prawdopodobieństwem 1 stała
Zatem funkcja f(t) = E(X − t)2 przyjmuje minimum– równe wariancji – dla t = EX.
81
Przykład. Zagadnienie regresji liniowej. Chcemyzmienną Y w rozsądny sposób przybliżyć przy pomocyfunkcji liniowej zmiennej X. Za kryterium jakości przy-bliżenia przyjmiemy średni kwadrat błędu:
wyznaczyć takie liczby a i b, ażeby E(Y − aX − b))2
Definicja. Współczynnikiem korelacji zmiennychX,Y nazywamy wielkość
%(X,Y ) =E((Y − EY )(X − EX))√
D2X ·D2Y.
Uwaga. Z ostatniej równości w przykładzie wynika:(i) −1 ≤ %(X,Y ) ≤ 1
(ii) |%(X,Y )| = 1 wtedy i tylko wtedy, gdy istniejąliczby a 6= 0 oraz b takie, że P (Y = aX+ b) = 1
83
Wariancja sumy zmiennych losowych
Jeżeli każda ze zmiennych losowych X1, X2, . . . , Xn
ma wariancję, to istnieje wariancja sumy i
D2(X1+. . .+Xn) =n∑
i=1
D2Xi+2∑
1≤i<j≤nCov(Xi, Xj)
Definicja. Zmienne losowe X,Y , dla których
Cov(X,Y ) = 0, czyli %(X,Y ) = 0,
nazywamy nieskorelowanymi.
Wniosek. Jeśli zmienne losowe X1, X2, . . . , Xn mająwariancję i są parami nieskorelowane, to
D2(X1 + . . .+Xn) =n∑
i=1
D2Xi
(?) Uwaga. Jeżeli X,Y są niezależne, to są niesko-relowane.
Odwrotny fakt nie zachodzi (chyba, że mamy do czy-nienia z rozkładem normalnym)
84
Przykład. Niech (X1, X2) ma dwuwymiarowy roz-kład normalny. Policzmy Cov(X1, X2). Zgodnie z prze-kształceniami z przykładu na rozkład brzegowy dwy-wymiarowego rozkładu normalnego mamy:
gdzie fX2(x2) jest gęstością rozkładu N(µ2, σ22) oraz
g(x1, x2) traktowana jako funkcja zmiennej x1 z para-metrem x2, jest funkcją gęstości zmiennej
N
(µ1 + %
σ1
σ2(x2 − µ2), (1− %2)σ2
1
)
Zatem
Cov(X1, X2) = E((X1 − µ1)(X2 − µ2)) =
=
∞∫
−∞
∞∫
−∞(x1 − µ1)(x2 − µ2)fX2(x2)g(x1, x2) dx1dx2 =
85
=
∞∫
−∞(x2 − µ2)fX2(x2)·
·∞∫
−∞(x1 − µ1)g(x1, x2) dx1
dx2
Zatem
=
∞∫
−∞(x2 − µ2)fX2(x2)·
·(µ1 + %
σ1
σ2(x2 − µ2)− µ1
))dx2
A zatem
= %σ1
σ2
∞∫
−∞(x2 − µ2)2fX2(x2)dx2 = %
σ1
σ2σ2
2 = %σ1σ2
Stąd %(X,Y ) = %. Zatem X,Y niezależne⇔ X,Y nie-skorelowane. ¥
86
Rozkłady warunkowe
Przykład. Niech (X,Y ) – dwuwymiarowy wektor lo-sowy typu skokowego
X ∈ x1, x2, . . . , Y ∈ y1, y2, . . . Rozkład
pij := P (X = xi, Y = yj)
Prawdopodobieństwa brzegowe
P (X = xi) =∑
k
pik, P (Y = yk) =∑
i
pik
Zachodzi
P (X = xi|Y = yk) ≥ 0,∑
i
P (X = xi|Y = yk) = 1
P (Y = yk|X = xi) ≥ 0,∑
k
P (Y = yk|X = xi) = 1
¥Zatem dla ustalonego yk
P ( · |Y = yk)
jest rozkładem prawdopodobieństwa.
PodobnieP ( · |X = xi)
87
Przykład. Rzut dwiema kostkami.
X – wynik rzutu pierwszą kostkąY – wynik rzutu drugą kostką
U := minX,Y , V := maxX,Y
u \ v 1 2 3 4 5 6 P (U = u)
1 136
136
236
236
236
236
1136
2 0 136
236
236
236
236
936
3 0 0 136
236
236
236
736
4 0 0 0 136
236
236
536
5 0 0 0 0 136
236
336
6 0 0 0 0 0 136
136
P (V = v) 136
336
536
736
936
1136
v 1 2 3 4 5 6 suma
P (V = v|U = 3) 0 0 17
27
27
27 1
E(V |U = 3) =337
F (4|U = 3) =37
¥
88
Przykład. Jaka jest średnia liczba sukcesów w pierw-szej próbie, jeżeli wiemy, ile zaszło sukcesów w całejserii n doświadczeń według schematu Bernoulliego?
Oznaczenia
Sn – łączna liczba sukcesówY – liczba sukcesów w pierwszej próbie
Ak := Sn = k, Bk := Ak ∩ Y = 1
E(Y |Ak) =∑
ω∈AkY (ω)P (ω|Ak) =
=1
P (Ak)
∑
ω∈AkY (ω)P (ω) =
=1
P (Ak)
∑
ω∈BkP (ω) =
P (Bk)P (Ak)
=
=p(n−1k−1
)pk−1q(n−1)−(k−1)
(nk
)pkqn−k
=k
n
Zatem E(Y |Sn) = Snn oraz
E(E(Y |Sn)) = E(Sn/n) =E(Sn)n
=np
n= p = E(Y )
¥
89
Przykład. Niech f(x, y) – gęstość wektora (X,Y ).
Rozkłady brzegowe
dla zmiennej X : f1(x) :=
∞∫
−∞f(x, y) dy
dla zmiennej Y : f2(y) :=
∞∫
−∞f(x, y) dx
Niech P (x < X ≤ x+ h) > 0.
Wtedy
P (Y ≤ y|x < X ≤ x+ h) =
x+h∫x
(y∫−∞
f(x, y) dy
)dx
x+h∫x
f1(x) dx
90
(?) Przy założeniu, że f(x, y) . . . oraz f1(x) . . .
P (Y ≤ y|X = x) : = limh→0+
P (Y ≤ y|x < X ≤ x+ h)
= limh→0+
1h
x+h∫x
(y∫−∞
f(x, y) dy
)dx
1h
x+h∫x
f1(x) dx
=
y∫−∞
f(x, y) dy
f1(x)=
y∫
−∞
f(x, y)f1(x)
dy
Oznaczając
F (y|x) = P (Y ≤ y|X = x), f(y|x) = f(x, y)/f1(x)
mamy
F (y|x) =
y∫
−∞f(y|x) dy
91
Zauważamy, że
f1(x)F (y|x) =
y∫
−∞f(x, y) dy
Po scałkowaniu obu stron
∞∫
−∞f1(x)F (y|x) dx = FY (y)
Przyjmując
E(Y |x) :=
∞∫
−∞yf(y|x) dy
mamy
∞∫
−∞E(Y |x)f1(x) dx =
∫ (∫yf(y|x) dy
)f1(x) dx
=∫ (∫
yf(x, y)f1(x)
dy
)f1(x) dx
92
∫ (∫yf(x, y) dy
)dx =
∫y
(∫f(x, y) dx
)dy =
=
∞∫
−∞yf2(y) dy = E(Y )
Otrzymaliśmy E(E(Y |X)) = E(Y ) ¥
Definicja. Jeżeli (X,Y ) jest wektorem losowym o gę-stości f(x, y) to funkcję
f(y|x) =
f(x,y)f1(x) gdy f1(x) > 0
0 w przeciwnym przypadku
nazywamy gęstością warunkową zmiennej Y dla da-nego X = x.
(?)∞∫−∞
f(y|x) dy = 1
93
Nadal zachodzi E(E(Y |X)) = E(Y )
Ponadto rozumiemy, że
P (Y ∈ B|x) =∫
B
f(y|x) dy– rozkład warunkowy
Przyjmując Z(ω) = IB(Y (ω)) mamy
E(Z) =
∞∫
−∞IB(y)f2(y) dy =
∫
B
f2(y) dy
= P (Y ∈ B)
E(Z|x) =
∞∫
−∞IB(y)f(y|x) dy =
∫
B
f(y|x) dy
= P (Y ∈ B|x)
ZatemE(P (Y ∈ B|X)) = P (Y ∈ B)
94
Dla B = (−∞, y] mamy
dystrybuantę zmiennej Y
FY (y) = P (Y ∈ B)
dystrybuantę zmiennej Y pod warunkiem X = x
F (y|x) = P (Y ∈ B|x)
oraz wzórE(F (y|X)) = FY (y)
Przykład. Z odcinka [0,1] wybrano losowo (zgodnie zrozkładem równomiernym) punk X, a następnie z od-cinka [0, X], również losowo, punkt Y . Jaka jest średniadługość odcinka [0, Y ]?
E(Y |X) =12X
E(Y ) = E(E(Y |X)) = E(12X) =
14
¥
95
Przykład. Owad składa X jajeczek zgodnie z roz-kładem Poissona z parametrem λ, a owad z jajeczkawylęga się z prawdopodobieństwem p, niezależnie odinnych. Znaleźć średnią liczbę potomków.
Niech Y oznacza liczbę potomków owada. Zatem
E(Y |X) = Xp
StądEY = E(E(Y |X)) = E(Xp) = λp
Ten przykład pokazuje, jak można obliczać wartośćoczekiwaną, korzystając z warunkowej wartości ocze-kiwanej. Właściwy wybór zmiennej losowej X częstobardzo upraszcza rachunki. ¥
96
Uwaga. Skorzystaliśmy ze wzoru EY = E(E(Y |X)),gdy X typu skokowego.
Ja w takim przypadku rozumieć „gęstość łączną”?
Umowa:b∫a
f(x, y) dy = P (X = x, a ≤ Y ≤ b)
Przy takiej umowie możemy zachować bez zmian okre-ślenia „gęstości warunkowych”
f(x|y) =f(x, y)f2(y)
, f(y|x) =f(x, y)f1(x)
gdzie
f1(x) =∫f(x, y) dy, f2(y) =
∑x
f(x, y)
97
Rodzaje zbieżności
Przykład. Niech P -rozkład jednostajny na [0, 1] oraz
Xkn(ω) =
1 dla ω ∈[k
n;k + 1n
);
0 dla ω ∈ Ω \[k
n;k + 1n
)
dla 0 ≤ k ≤ n− 1, n = 1, 2, . . .
P (Xnk = 0) = 1− 1n, P (Xnk = 1) =
1n
P (|Xnk| > ε) =1n−−−→n→∞
0, dla 0 < ε < 1
O ciągu X01, X02,X12, X03, X13, X23, . . . powiemy,że jest zbieżny do zera według prawdopodobieństwa.
Ciąg ten jest rozbieżny w każdym punkcie przedziału.
Na przykład dla ω = 1/2 mamy ciąg: 0, 0, 1, 0, . . . ,który na dowolnie dalekich miejscach ma zera i je-dynki. ¥
98
Definicja. Ciąg zmiennych losowych (Xn)∞n=1 jestzbieżny do zmiennej losowej X:
według prawdopodobieństwa, jeśli
dla każdego ε > 0 limnP (|Xn −X| > ε) = 0,
co oznaczamy XnP−→ X,
prawie na pewno, jeśli
P(ω : lim
nXn(ω) = X(ω)
)= 1
co oznaczamy Xnp.n.−→ X
Xnp.n.−→ X ⇔ P
( ∞⋃
N=1
∞⋂
n=N
|Xn −X| ≤ ε)
= 1⇔
⇔ limN→∞
P
( ∞⋂
n=N
|Xn −X| ≤ ε)
= 1⇔
⇔ limN→∞
P
( ∞⋃
n=N
|Xn −X| > ε)
= 0⇒
⇒ limN→∞
P (|XN −X| > ε) = 0⇔
⇔ XnP−→ X
99
Wniosek. Zbieżność prawie na pewno pociąga zbież-ność według prawdopodobieństwa.
Przykład. Niech Xn ma rozkład P (Xn = an) = 1.Zatem FXn(t) = I[an,∞)(t)
Gdy an ↓ a okazuje się, że FXn(a) ≡ 0 6= 1 = FX(a) ¥
100
Przykład. Niech F będzie dowolną dystrybuantą.Zdefiniujmy dystrybuantę Fn(t)=F (t− 1
n ), n=1, 2, . . .Wtedy
Fn(t)→ F (t−).
Zauważmy, że F (t−) = F (t) tylko wtedy, gdy t jestpunktem ciągłości t. ¥
Definicja. Ciąg zmiennych losowych (Xn)∞n=1 jestzbieżny do zmiennej losowej X według dystrybuant,jeśli ciąg dystrybuant (FXn)∞n=1 jest zbieżny do dys-trybuanty FX w każdym punkcie jej ciągłości, co ozna-czamy:
XnD−→ X
Można pokazać
(Xnp.n.→ X)⇒ (Xn
P→ X)⇒ (XnD→ X)
101
Prawa wielkich liczbOznaczmy
Sn = X1+X2+· · ·+Xn, Xn =X1 +X2 + . . .+, Xn
n
Niech X1, X2, . . . będzie ciągiem niezależnych zmien-nych losowych o tym samym rozkładzie, o wartościśredniej µ i wariancji 0 < σ2 < ∞. Wtedy dla każ-dego ε > 0 mamy
Słabe prawo wielkich liczb
limn→∞
P
(∣∣∣∣X1 +X2 + · · ·+Xn
n− µ
∣∣∣∣ < ε
)= 1
XnP−→ µ
Mocne prawo wielkich liczb
P
(limn→∞
X1 +X2 + · · ·+Xn
n= µ
)= 1
Xnp.n.−→ µ
102
Wniosek. Prawdopodobieństwo jest odpowiednikiemteoretycznym częstości.
Faktycznie, jeżeli w wyniku powtórzenia niezależnie nrazy doświadczenia otrzymaliśmy ω1, ω2, . . . , ωn, to
IA(ω1) + IA(ω2) + · · ·+ IA(ωn)n
p.n.−→ EIA = P (A)
Metoda Monte Carlo obliczania całek.
Niech Xi będą niezależnymi zmiennymi losowymi owartościach w (0,1) i o gęstości g. Wtedy z MPWL
Sn =1n
n∑
i=1
f(Xi)g(Xi)
−−−→n→∞
E
[f(X1)g(X1)
]=
=
1∫
0
f(x)g(x)
· g(x) dx =
1∫
0
f(x) dx
W szczególności, gdy Xi ∼ U(0, 1), to
1n
n∑
i=1
f(Xi) −−−→n→∞
1∫
0
f(x) dx
103
Przykład. Obliczanie liczby π przy pomocy kompu-tera: generujemy 50 wartości z rozkładu U(0, 1) (ko-lumna x). Następnie wyliczamy y =
√1− x2. Z ko-
lumny y wyliczamy średnią i mnożymy ją przez cztery.Otrzymujemy wartość 3.155. Jeśli przybliżenia to nienie jest zadowalające, można wygenerować na przy-kład 1000 wartości.
Powtarzamy pewne doświadczenie niezależnie n razy.W wyniku tego otrzymujemy ciąg
X1, X2, . . . , Xn
niezależnych zmiennych losowych o nieznanej dystry-buancie F .
Chcemy odtworzyć F . W tym celu dla każdego x ∈ Rdefiniujemy
Fn(x)(ω) =1n
n∑
i=1
IXi≤x(ω)
Ponieważ
E[IX1≤x] = P (X1 ≤ x) = F (x),
to z MPWL
Fn(x) =1n
n∑
i=1
IXi≤x −−−→n→∞
F (x)
105
Centralne twierdzenie graniczne
Centralne Twierdzenie GraniczneNiech X1, X2, . . . będą niezależnymi zmiennymi loso-wymi o tym samym rozkładzie, o wartości średniej µ iwariancji 0 < σ2 <∞. Wtedy
supx∈R
∣∣∣∣P(Sn − nµσ√n≤ x
)− Φ(x)
∣∣∣∣ −−−−→n−→∞0
Xn − µσ
√n
D−→ N(0, 1)
Twierdzenie de Moivre – Laplace’aNiech Yn ∼ B(n, p). Wtedy
supx∈R
∣∣∣∣P(Yn − np√
npq≤ x
)− Φ(x)
∣∣∣∣ −−−−→n−→∞0
106
Przykład. Wykonano n = 100 niezależnych rzutówmonetą. Oznaczmy przez Yn liczbę orłów w n rzutach.
Obliczymy P (Yn ≥ 61)
P (Yn ≥ 61) = 1− P (Yn ≤ 60) =
= 1− P(Yn − 100 · 0.5
10 · 0.5 ≤ 60− 100 · 0.510 · 0.5
)=
= 1− P(Yn − 100 · 0.5
10 · 0.5 ≤ 2)≈
≈ 1− Φ(2) ≈ 0.0228
¥
Uwaga. Dość dobre przybliżenie uzyskujemyze wzoru:
P
(a ≤ Yn − np√
npq≤ b)∼ Φ(b+
12h)− Φ(a− 1
2h),
gdzie h =1√npq
107
Szybkość zbieżności w centralnym twierdzeniugranicznym
Twierdzenie Berry–Esseen’aJeżeli X1, X2, . . . są niezależnymi zmiennymi loso-wymi o tym samym rozkładzie oraz E|X1|3 <∞, to
supx∈R
∣∣∣∣P(Sn − nµσ√n≤ x
)− Φ(x)
∣∣∣∣ ≤ CE|X1 − EX1|3
σ3√n
,
gdzie 1/√
2π ≤ C < 0.8.
Dla rozkładu dwumianowego:
supx∈R
∣∣∣∣P(Yn − np√
npq≤ x
)− Φ(x)
∣∣∣∣ ≤ Cp2 + q2
√npq
108
0.0 0.5 1.0p
p2 + q2
√pq
•
• • • • • • • • • • • • • • • • • •
•
Dla p ≈ 1 lub p ≈ 0 przybliżenie rozkładem normal-nym nie musi być zadowalające. Alternatywą jest przy-bliżenie rozkładem Poissona:
Twierdzenie 15. Niech Yn ∼ B(n, p) oraz λ = np.Wtedy dla każdego zbioru M ⊆ N mamy
∣∣∣∣∣P (Yn ∈M)−∑
k∈M
λk
k!e−λ
∣∣∣∣∣ ≤λ2
n
109
Przykład. Prawdopodobieństwo trafienia „szóstki” wToto-Lotku jest równe
1/(
496
)= 1/13983816 ≈ 7.151 · 10−8.
Ilu „szóstek” można się spodziewać w każdym tygo-dniu, jeżeli grający wypełniają kupony całkowicie lo-sowo i niezależnie od siebie, a kuponów jest n = 107.
Liczba „szóstek” ma rozkład dwumianowy, w przy-bliżeniu rozkład Poissona z parametrem λ = np ≈0.7151.
Oznaczmy przez X1, X2, . . . niezależne zmienne losoweo wspólnym rozkładzie wykładniczym oraz przyjmijmy
S0 = 0, Sn = X1 +X2 + . . .+Xn
Niech N(t) oznacza liczbę wskaźników k ≥ 1 takich, żeSk ≤ t. Zdarzenie N(t) = n następuje wtedy i tylkowtedy, gdy
Sn ≤ t, Sn+1 > t.
Ponieważ Sn ma rozkład Gn−1, to
P (N(t) = n) = Gn−1(t)−Gn(t) = e−λt(λt)n
n!.
Interpretacja
X1X2Xn−1Xn
· · ·
Xi – czas oczekiwania na klienta „i + 1” od chwiliprzybycia klienta „i”
N(t) – liczba przybyłych klientów do chwili t
118
Problem. Czy w praktyce Xi może mieć rozkład wy-kładniczy?
Niech T oznacza czas oczekiwania na klienta.
Zakładamy, że prawdopodobieństwo tego, że klient, naktórego czekamy już t jednostek czasu, przybędzie wciągu czasu ∆t jest równe λ∆t+ o(∆t), gdzie
o(∆t) : lim∆t→0
o(∆t)∆t
= 0
(niezależnie od tego, jak długo czekamy).
Zatem
P (T > t+ ∆t) = P (T > t+ ∆t, T > t) =
= P (T > t+ ∆t|T > t)P (T > t) =
= (1− λ∆t− o(∆t))P (T > t)
119
Zatem
P (T > t+ ∆t)− P (T > t)∆t
=
= −λP (T > t)− o(∆t)∆t
P (T > t)
Oznaczając P (t) := P (T > t), dla ∆t→ 0 mamy:
P ′(t) = −λP (t)
Stąd P (t) = ce−λt.
Zatem
FT (t) =
1− P (t) = 1− ce−λt dla t ≥ 0,
0 dla t < 0
Ponieważ musi zachodzić FT (0) = 0, więc c = 1. ZatemT ma rozkład wykładniczy. ¥
120
Przykład. Rozkład wykładniczy a własnośćbraku pamięci. Niech T ma rozkład wykładniczy zparametrem λ. Zauważmy, że
P (T > t+ s|T > t) =P (T > t+ s, T > t)
P (T > t)=
=P (T > t+ s)P (T > t)
=e−λ(t+s)
e−λt=
= e−λs = P (T > s)
Zatem P (T > t+s|T > t) = P (T > s), z czego wynikanastępująca równość
P (T > s+ t) = P (T > s)P (T > t)
Załóżmy teraz, że nie wiemy jaki rozkład ma zmiennaT , ale niech to będzie zmienna losowa ciągła, któraspełnia powyższa równość.Jeżeli u(t) = P (T > t) nie jest tożsamościowo równezeru, to istnieje punkt x taki, że u(x) > 0.Niech α = − lnu(x) i niech v(t) = eαtu(xt). Wówczas
v(t+ s) = v(t)v(s), v(1) = 1
Pokażemy, że v(t) = 1 dla wszystkich t > 0.
121
Zauważmy
v2(12
) = v(1) = 1;
vn(1/n) = v(1) = 1 dla n ∈ N;
v(m/n) = vm(1/n) = 1 dla m,n ∈ N
Zatem v(w) = 1 dla wszystkich w wymiernych dodat-nich. Z ciągłości v wynika, że jest to prawda dla każdejrzeczywistej dodatniej. Zatem
v(t) = eαtu(xt) = 1
Przyjmując y = xt ∈ (0,∞) oraz λ = α/x mamy
P (T > y) = u(y) = e−λy
Zatem zmienna T ma rozkład wykładniczy. Powyższeprzekształcenia pokazały, że rozkład wykładniczy jestjedynym rozkładem ciągłym (nieujemnym) o własno-ści braku pamięci. ¥
122
Przykład. Własność braku pamięci dla rozkła-du dyskretnego.
Skorzystamy z poprzedniego wyniku:
P (T > y) = (eλ)y
Niech k ∈ N oraz 1− p = eλ. Wówczas
P (T = k) = P (T > k − 1)− P (T > k) = (p− 1)k−1p
Otrzymaliśmy rozkład geometryczny, który inter-pretujemy jako liczbę doświadczeń, które należy wyko-nać, by doczekać się sukcesu. Przy czym doświadczeniawykonujemy według schematu Bernoulliego z prawdo-podobieństwem sukcesu p. ¥
123
Parametry wektorów losowych
Wielowymiarowy rozkład normalny
Rozkłady form kwadratowych
Oznaczenia
X = (X1, X2, . . . , Xn)′
x = (x1, x2, . . . , xn)′
µ = (µ1, µ2, . . . , µn)′
Wartość oczekiwana wektora losowego
E(X) = (EX1, EX2, . . . , EXn)′.
Macierz kowariancji wektora losowego
D2(X) = E[(X − EX)(X − EX)′]
= [Cov(Xi, Xj)]i,j=1,... ,n,
o ile D2Xi <∞ dla każdego i = 1, · · · , n
124
Zauważmy
0 ≤ D2
(n∑
i=1
tiXi
)= E
(n∑
i=1
ti(Xi − EXi)
)2
=∑
i,j
titjCov(Xi, Xj)
Zatem macierz kowariancji jest symetryczna i nieujem-nie określona, co na przykład daje
∣∣∣∣D2(Xi) Cov(XiXj)
Cov(XiXj) D2Xj
∣∣∣∣ ≥ 0
a po przekształceniu
|Cov(Xi, Xj)| ≤√D2Xi ·D2Xj
i w konsekwencji |%(Xi, Xj)| ≤ 1
Podstawowe własności
Jeżeli Ajest macierzą p× n, B−macierzą n× n to
E(AX) = AE(X), E(AXB) = AE(X)BD2(AX) = AD2(X)A′
125
Wielowymiarowy rozkład normalny N(µ,Σ)
f(x) =1√
(2π)n|Σ| exp[−1
2(x− µ)′Σ−1(x− µ)
]
Niech X ∼ N(µ,Σ), A – macierz (n× n) nieosobliwaoraz Y = AX.
P (Y ∈ B) = P (X ∈ A−1B) =∫
A−1B
f(x) dx
=∫
B
f(A−1y)∣∣∣ |A−1|
∣∣∣ dy
Łatwo sprawdzić, że g(y) := f(A−1y)∣∣∣ |A−1|
∣∣∣ jest gę-
stością rozkładu N(Aµ, AΣA′)
Niech teraz A1 – macierz (k×n), r(A1) = k. Bierzemymacierz A2 taką, że
A =(A1
A2
)
jest macierzą (n× n) nieosobliwą.
126
Mamy Y = AX =(A1XA2X
)∼ N(Aµ, AΣA′), gdzie
Aµ =(A1µA2µ
)Aµ =
(A1ΣA′1 A1ΣA′2A2ΣA′1 A2ΣA′2
)
Zatem A1X ∼ N(A1µ, A1ΣA′1) o ile zachodzi taki
Fakt. Jeżeli Y ∼ N(µ,Σ), gdzie
Y =[
Y1
Y2
], µ =
[µ1
µ2
], Σ =
(Σ11 Σ12
Σ21 Σ22
)
to Y1 ∼ N(µ1,Σ11) oraz Y2 ∼ N(µ2,Σ22)
Niech f(y1,y2) oznacza gęstość rozkładu N(µ,Σ).Przedstawimy tę funkcję w postaci
Przykład. Niech X ∼ N(µ, σ2I) oraz niech A będziemacierzą ortogonalną. Wtedy
Y = AX ∼ N(Aµ, Aσ2IA′ = σ2I).
Zatem jeżeli X1, X2, . . . , Xn niezależne o rozkładzieN( · , σ2), to Y1, Y2, . . . , Yn też są niezależne. ¥
Twierdzenie Fishera – Cochrana.
Niech X ∼ N(0, I) oraz Q1, . . . , Qk będą formamikwadratowymi rzędu n1, · · · , nk takimi, że
X ′X = Q1 + . . . , Qk
Wówczas warunkiem koniecznym i dostatecznym nato, by zmienne losowe Qi miały rozkłady χ2(ni) i byłyniezależne, jest
∑ni = n
Dowód. Istnieje Bi =
wi1· · ·wini
(n× ni) taka, że
Qi = ±(wi1X)2 ± · · · ± (winiX)2
134
Ponieważ n =∑ni, to przyjmującB =
B1
· · ·Bnk
mamy
X ′X =∑
Qi = X ′B′∆BX
gdzie
∆ =
±1. . .
±1. . .
Ponieważ X ′X = X ′B′∆BX jest spełniona dla do-wolnych X, mamy
I = B′∆B
Ponieważ n = r(I) = r(B′∆B) ≤ r(B) ≤ n, to Bjest macierzą nieosobliwą. Zatem ∆ = (B−1)′B−1 jestmacierzą dodatnio określoną. W konsekwencji ∆ = Ioraz macierz B jest ortogonalna. Zatem dla Y = BX
Q1 = y21 + . . .+ y2
n1
Q2 = y2n1+1 + . . .+ y2
n1+n2
· · · · · ·są niezależne i mają rozkłady χ2(n1), χ2(n2), . . . .W ten sposób została udowodniona dostateczność wa-runku. Konieczność jest oczywista. ¥
135
Twierdzenie 16. Warunkiem koniecznym i dostatecz-nym na to, aby zmienna losowa X ′AX miała rozkładχ2(ν) jest, by macierz A była idempotenta. Wtedyν = r(A) = tr(A).
Dowód.dostateczność
X ′X = X ′AX + X ′(I −A)X
A2 = A⇔ r(A) + r(I −A) = n
Teza wynika z tw. F–C.
koniecznośćIstnieje macierz ortogonalna C, że przy przekształce-niu X = CY
X ′AX = Y ′C ′ACY = λ1y21 + . . .+ λmy
2m
gdzie λi są niezerowymi wartościami własnymi macie-rzy A.
Ponieważ Yi ∼ χ2(1), więc m = k, λi = 1. ZatemC ′AC jest macierzą diagonalną o elementach 0 lub 1.Zatem A jest idempotentna, bo
C ′AC = C ′ACC ′AC = C ′A2C ⇒ A = A2
¥
136
Twierdzenie 17. Jeżeli X ′X = Q1 +Q2
oraz Q1 ∼ χ2(k), to Q2 ∼ χ2(n− k)
Dowód. Niech Q1 = X ′AX. Wtedy
Q2 = X ′(I −A)X
oraz (I −A)2 = I2 +A2 − IA−AI = I −A. ¥
Twierdzenie 18. Jeżeli Q = Q1 + Q2, Q ∼ χ2(m),Q1 ∼ χ2(k) oraz Q2 ≥ 0, to Q2 ∼ χ2(m− k).
Dowód. Niech Q = X ′AX, Q1 = X ′BX
Q = X ′AX = X ′BX + X ′(A−B)X
Istnieje macierz ortogonalna C, że przy przekształce-niu X = CY
X ′AX = Y ′C ′ACY = Y 21 + . . .+ Y 2
m
X ′BX = Y ′C ′BCY
X ′(I −B)X = Y ′C ′(A−B)CY
Oznaczmy B1 := C ′AC, B2 := C ′(A−B)C. Zatem
Y 21 + Y 2
2 + . . .+ Y 2m = Y ′B1Y + Y ′B2Y
137
Ponieważ Y ′B1Y , Y ′B2Y są nieujemne, każda z formzawiera wyłącznie elementy Y1, . . . , Ym. Z poprzed-niego twierdzenia Q2 ∼ χ2(m− k) ¥
Twierdzenie 19. Niech
X ′A1X ∼ χ2(k), X ′A2X ∼ χ2(m).
Warunkiem koniecznym i dostatecznym na to, aby obiezmienne losowe były niezależne, jest, by
A1A2 = 0
Dowód. Ponieważ
A1(I −A1 −A2) = A2(I −A1 −A2) = 0,
tor(A1) + r(A2) + r(I −A1 −A2) = n
Ale
X ′X = X ′A1X + X ′A2X + X ′(I −A1 −A2)X
Zatem z tw. F – C są niezależne.
138
Jeżeli są niezależne, to X ′(A1 +A2)X ∼ χ2(k +m)
Zatem A1A2 = 0, ponieważ
A1 +A2 = (A1 +A2)2 = A1 +A2 +A1A2 +A2A1
0 = A1A2 +A2A1
A10 = A1A2 +A1A2A1
0A1 = A1A2A1 +A2A1
dodaję stronami
0 = 2A1A2A1
podstawiam A2A1 = −A1A2
0 = −2A1A2
.
¥
139
Twierdzenie 20. Niech
X ′X = X ′A1X + . . .+ X ′AkX.
Każdy z następujących warunków jest warunkiem ko-niecznym i dostatecznym na to, aby zmienne losowe
X ′A1X, . . . ,X ′AkX
były niezależne i aby X ′AiX ∼ χ2(ni), gdzie ni jestrzędem macierzy Ai:
(a) Macierze A1, . . . , Ak są idempotentne,
(b) AiAj = 0 dla wszystkich i 6= j.
Dowód. Ponieważ A2i = Ai, więc tr(Ai) = r(Ai). Ale
I = A1 + . . . Ak,
więctr(I) = n =
∑tr(Ai) =
∑ni
i z tw. F – C wynika konieczność i dostateczność wa-runku (a). Ponieważ
I = I = A1 + . . . Ak oraz AiAj = 0,
więc Ai(I − Ai) = 0, zatem macierze Ai są indempo-tentne. Wynika stąd, że (a)⇔ (b) ¥
140
Twierdzenie 21. Niech X ∼ N(µ,Σ). Warunkiemkoniecznym i dostatecznym na to, aby zmienna losowa