6. Graniˇ cne teoreme i njihove primene Profesor Milan Merkle [email protected] milanmerkle.etf.rs Verovatno´ ca i Statistika-prole´ ce 2019 Milan Merkle Graniˇ cne teoreme ETF Beograd 1 / 22
Jan 26, 2021
6. Granične teoreme i njihove primene
Profesor Milan [email protected] milanmerkle.etf.rs
Verovatnoća i Statistika-proleće 2019
Milan Merkle Granične teoreme ETF Beograd 1 / 22
Konvergencija slučajnih promenljivih
U primenama matematike konvergencija se koristi za aproksimaciju. Naprimer, iz
limn→+∞
(1 +
x
n
)n= ex
sledi da je
(1 + 3/100)100 ≈ e3 ili e3 ≈ (1 + 3/100)100
Kod slučajnih promenljivih imamo komplikovaniju situaciju zbog toga štobliskost slučajnih promenljivih može da se posmatra u smislu bliskostinjihovih vrednosti ili u smislu bliskosti njihovih raspodela.
Milan Merkle Granične teoreme ETF Beograd 2 / 22
Konvergencija slučajnih promenljivih
U primenama matematike konvergencija se koristi za aproksimaciju. Naprimer, iz
limn→+∞
(1 +
x
n
)n= ex
sledi da je
(1 + 3/100)100 ≈ e3 ili e3 ≈ (1 + 3/100)100
Kod slučajnih promenljivih imamo komplikovaniju situaciju zbog toga štobliskost slučajnih promenljivih može da se posmatra u smislu bliskostinjihovih vrednosti ili u smislu bliskosti njihovih raspodela.
Milan Merkle Granične teoreme ETF Beograd 2 / 22
Konvergencija u strogom smislu
Konvergencija skoro svuda:
P( limn→+∞
Xn = X ) = 1,
gde je limes definisan kao u matematici.
U primenama se češće koriste alternativni koncepti bliskosti slučajnihpromenljivih.
Milan Merkle Granične teoreme ETF Beograd 3 / 22
Konvergencija u strogom smislu
Konvergencija skoro svuda:
P( limn→+∞
Xn = X ) = 1,
gde je limes definisan kao u matematici.
U primenama se češće koriste alternativni koncepti bliskosti slučajnihpromenljivih.
Milan Merkle Granične teoreme ETF Beograd 3 / 22
Konvergencija u raspodeli
Xn ∼ Fn, n = 1, 2, . . .; X ∼ F .Definicija 6.1. Kažemo da niz slučajnih promenljivih Xn konvergira uraspodeli ka X ako važi:
limn→+∞
Fn(x) = F (x)(Fn = P(Xn ≤ x),F (x) = P(X ≤ x)
)u svakoj tački x ∈ R u kojoj je funkcija F neprekidna.
Teorema 6.2 (teorema o neprekidnosti, Lévy continuity theorem). Nizslučajnih promenljivih Xn konvergira u raspodeli ka X ako i samo ako je
limn→+∞
ϕn(t) = ϕ(t) za svako t ∈ R.√
Milan Merkle Granične teoreme ETF Beograd 4 / 22
Konvergencija u raspodeli
Xn ∼ Fn, n = 1, 2, . . .; X ∼ F .Definicija 6.1. Kažemo da niz slučajnih promenljivih Xn konvergira uraspodeli ka X ako važi:
limn→+∞
Fn(x) = F (x)(Fn = P(Xn ≤ x),F (x) = P(X ≤ x)
)u svakoj tački x ∈ R u kojoj je funkcija F neprekidna.
Teorema 6.2 (teorema o neprekidnosti, Lévy continuity theorem). Nizslučajnih promenljivih Xn konvergira u raspodeli ka X ako i samo ako je
limn→+∞
ϕn(t) = ϕ(t) za svako t ∈ R.√
Milan Merkle Granične teoreme ETF Beograd 4 / 22
Aproksimacija binomne raspodele Puasonovom√
Primer 121. Za Xn ∼ Bin (n, pn),
ϕn(t) =n∑
k=0
(n
k
)e itkpkn (1− pn)n−k =
(1 + pn
(e it − 1
))nAko n→∞ i npn → λ > 0:
limn→+∞
ϕn(t) = exp(λ(e it − 1
))= ϕX , X ∼ Poiss (λ)
Teorema o neprekidnosti: limn→+∞
P(Xn = k) = e−λλ
k
k!
Empirijsko pravilo: Za veliko n i np ≤ 5, X ∼ Bin (n, p):
P(X = k) ≈ e−np (np)k
k!
√
Milan Merkle Granične teoreme ETF Beograd 5 / 22
Aproksimacija binomne raspodele Puasonovom√
Primer 121. Za Xn ∼ Bin (n, pn),
ϕn(t) =n∑
k=0
(n
k
)e itkpkn (1− pn)n−k =
(1 + pn
(e it − 1
))nAko n→∞ i npn → λ > 0:
limn→+∞
ϕn(t) = exp(λ(e it − 1
))= ϕX , X ∼ Poiss (λ)
Teorema o neprekidnosti: limn→+∞
P(Xn = k) = e−λλ
k
k!
Empirijsko pravilo: Za veliko n i np ≤ 5, X ∼ Bin (n, p):
P(X = k) ≈ e−np (np)k
k!
√
Milan Merkle Granične teoreme ETF Beograd 5 / 22
Primer
0.4
0.3
0.2
0.1
o l 2 3
Slika 28. Binomna raspodela (n = 5, p = 3/5) i njena Poissonovaaproksimacija (osenčeno).
Milan Merkle Granične teoreme ETF Beograd 6 / 22
Primer
Slika 117. Histogrami binomne raspodele (plavo) i Puasonoveaproksimacije za n = 100 i np = 2
Milan Merkle Granične teoreme ETF Beograd 7 / 22
Limes u verovatnoći i u srednjem kvadratnom smisluNiz slučajnih promenljivih Xn
Konvergencija u verovatnoći:-bliskost vrednosti Xn i X za veliko n.
limn→+∞
P(|Xn − X | ≥ ε) = 0 za svako ε > 0.
Srednja kvadratna konvergencija:-bliskost vrednosti Xn i X za veliko n.
limn→+∞
E (Xn − X )2 = 0
Primer: E (µ̂n − µ)2 = Var (µ̂n)→ 0 (model merenja).
Srednja kvadratna =⇒ u verovatnoći =⇒ u raspodeli
Konvergencija se koristi za aproksimacije raspodela i njihovih momenata.Teoreme koje se odnose na konvergenciju (granične teoreme)utvrd̄ujuuslove pod kojima se aproksimacija može primeniti.
Milan Merkle Granične teoreme ETF Beograd 8 / 22
Limes u verovatnoći i u srednjem kvadratnom smisluNiz slučajnih promenljivih Xn
Konvergencija u verovatnoći:-bliskost vrednosti Xn i X za veliko n.
limn→+∞
P(|Xn − X | ≥ ε) = 0 za svako ε > 0.
Srednja kvadratna konvergencija:-bliskost vrednosti Xn i X za veliko n.
limn→+∞
E (Xn − X )2 = 0
Primer: E (µ̂n − µ)2 = Var (µ̂n)→ 0 (model merenja).
Srednja kvadratna =⇒ u verovatnoći =⇒ u raspodeli
Konvergencija se koristi za aproksimacije raspodela i njihovih momenata.Teoreme koje se odnose na konvergenciju (granične teoreme)utvrd̄ujuuslove pod kojima se aproksimacija može primeniti.
Milan Merkle Granične teoreme ETF Beograd 8 / 22
Limes u verovatnoći i u srednjem kvadratnom smisluNiz slučajnih promenljivih Xn
Konvergencija u verovatnoći:-bliskost vrednosti Xn i X za veliko n.
limn→+∞
P(|Xn − X | ≥ ε) = 0 za svako ε > 0.
Srednja kvadratna konvergencija:-bliskost vrednosti Xn i X za veliko n.
limn→+∞
E (Xn − X )2 = 0
Primer: E (µ̂n − µ)2 = Var (µ̂n)→ 0 (model merenja).
Srednja kvadratna =⇒ u verovatnoći =⇒ u raspodeli
Konvergencija se koristi za aproksimacije raspodela i njihovih momenata.Teoreme koje se odnose na konvergenciju (granične teoreme)utvrd̄ujuuslove pod kojima se aproksimacija može primeniti.
Milan Merkle Granične teoreme ETF Beograd 8 / 22
Limes u verovatnoći i u srednjem kvadratnom smisluNiz slučajnih promenljivih Xn
Konvergencija u verovatnoći:-bliskost vrednosti Xn i X za veliko n.
limn→+∞
P(|Xn − X | ≥ ε) = 0 za svako ε > 0.
Srednja kvadratna konvergencija:-bliskost vrednosti Xn i X za veliko n.
limn→+∞
E (Xn − X )2 = 0
Primer: E (µ̂n − µ)2 = Var (µ̂n)→ 0 (model merenja).
Srednja kvadratna =⇒ u verovatnoći =⇒ u raspodeli
Konvergencija se koristi za aproksimacije raspodela i njihovih momenata.Teoreme koje se odnose na konvergenciju (granične teoreme)utvrd̄ujuuslove pod kojima se aproksimacija može primeniti.
Milan Merkle Granične teoreme ETF Beograd 8 / 22
Nejednakosti Markova i Čebǐseva
Teorema 6.3 (Markov) Ako je X ≥ 0 i postoji EX :
P(X ≥ ε) ≤ E (X )ε
za svako ε > 0.
Teorema 6.4 (Čebǐsev) Za svaku slučajnu promenljivu X koja imavarijansu,
P(|X − EX | ≥ ε) ≤ VarXε2
za svako ε > 0.
Univerzalno pravilo tri sigme
Za ε = 3√VarX = 3σ:
P(|X − EX | ≤ 3σ) ≥ 89
= 0.89
Važi za svaku raspodelu koja ima varijansu.Milan Merkle Granične teoreme ETF Beograd 9 / 22
Nejednakosti Markova i Čebǐseva
Teorema 6.3 (Markov) Ako je X ≥ 0 i postoji EX :
P(X ≥ ε) ≤ E (X )ε
za svako ε > 0.
Teorema 6.4 (Čebǐsev) Za svaku slučajnu promenljivu X koja imavarijansu,
P(|X − EX | ≥ ε) ≤ VarXε2
za svako ε > 0.
Univerzalno pravilo tri sigme
Za ε = 3√VarX = 3σ:
P(|X − EX | ≤ 3σ) ≥ 89
= 0.89
Važi za svaku raspodelu koja ima varijansu.Milan Merkle Granične teoreme ETF Beograd 9 / 22
Nejednakosti Markova i Čebǐseva
Teorema 6.3 (Markov) Ako je X ≥ 0 i postoji EX :
P(X ≥ ε) ≤ E (X )ε
za svako ε > 0.
Teorema 6.4 (Čebǐsev) Za svaku slučajnu promenljivu X koja imavarijansu,
P(|X − EX | ≥ ε) ≤ VarXε2
za svako ε > 0.
Univerzalno pravilo tri sigme
Za ε = 3√VarX = 3σ:
P(|X − EX | ≤ 3σ) ≥ 89
= 0.89
Važi za svaku raspodelu koja ima varijansu.Milan Merkle Granične teoreme ETF Beograd 9 / 22
Zakon velikih brojeva
Teorema 6.5 (Slabi zakon velikih brojeva) Neka su X1,X2, . . .nezavisne slučajne promenljive sa EXk = µ i neka postoji konstanta Vtakva da je VarXk ≤ V za svako k . Tada niz aritmetičkih sredinaµ̂n = (X1 + · · ·+ Xn)/n konvergira u verovatnoći ka µ, tj.
limn→+∞
P(| µ̂n − µ| ≥ ε) = 0 za svako ε > 0.√
Dokaz preko nejednakosti Čebǐseva.
µ̂n je ocena matematičkog očekivanja µ
Obratite pažnju da Xi mogu imati različite raspodele.
Milan Merkle Granične teoreme ETF Beograd 10 / 22
Zakon velikih brojeva
Teorema 6.5 (Slabi zakon velikih brojeva) Neka su X1,X2, . . .nezavisne slučajne promenljive sa EXk = µ i neka postoji konstanta Vtakva da je VarXk ≤ V za svako k . Tada niz aritmetičkih sredinaµ̂n = (X1 + · · ·+ Xn)/n konvergira u verovatnoći ka µ, tj.
limn→+∞
P(| µ̂n − µ| ≥ ε) = 0 za svako ε > 0.√
Dokaz preko nejednakosti Čebǐseva.
µ̂n je ocena matematičkog očekivanja µ
Obratite pažnju da Xi mogu imati različite raspodele.
Milan Merkle Granične teoreme ETF Beograd 10 / 22
Zakon velikih brojeva
Teorema 6.5 (Slabi zakon velikih brojeva) Neka su X1,X2, . . .nezavisne slučajne promenljive sa EXk = µ i neka postoji konstanta Vtakva da je VarXk ≤ V za svako k . Tada niz aritmetičkih sredinaµ̂n = (X1 + · · ·+ Xn)/n konvergira u verovatnoći ka µ, tj.
limn→+∞
P(| µ̂n − µ| ≥ ε) = 0 za svako ε > 0.√
Dokaz preko nejednakosti Čebǐseva.
µ̂n je ocena matematičkog očekivanja µ
Obratite pažnju da Xi mogu imati različite raspodele.
Milan Merkle Granične teoreme ETF Beograd 10 / 22
Zakon velikih brojeva
Teorema 6.5 (Slabi zakon velikih brojeva) Neka su X1,X2, . . .nezavisne slučajne promenljive sa EXk = µ i neka postoji konstanta Vtakva da je VarXk ≤ V za svako k . Tada niz aritmetičkih sredinaµ̂n = (X1 + · · ·+ Xn)/n konvergira u verovatnoći ka µ, tj.
limn→+∞
P(| µ̂n − µ| ≥ ε) = 0 za svako ε > 0.√
Dokaz preko nejednakosti Čebǐseva.
µ̂n je ocena matematičkog očekivanja µ
Obratite pažnju da Xi mogu imati različite raspodele.
Milan Merkle Granične teoreme ETF Beograd 10 / 22
Konvergencija skoro svuda?
Teorema 6.8-Strogi zakon velikih brojeva Kolmogorova.
Neka je X1,X2, . . .Xn nezavisni uzorak iz raspodele slučajne promenljive Xi µ̂n = (X1 + · · ·+ Xn)/n, n = 1, 2, . . . .
1 a) EX = µ ako i samo ako
limn→+∞
µ̂n = µ skoro svuda.
2 b) EX ne postoji ako i samo ako µ̂n divergira skoro svuda.
U primenama:
1 Posmatramo niz µ̂n za rastuće vrednosti n
2 Ako iz niza µ̂n može zaključiti da postoji lim µ̂n, onda µ ≈ µ̂n zadovoljno veliko n
3 Ako postoje indikacije da niz ne konvergira, onda zaključujemo daraspodela nema matematičko očekivanje.
Milan Merkle Granične teoreme ETF Beograd 11 / 22
Konvergencija skoro svuda?
Teorema 6.8-Strogi zakon velikih brojeva Kolmogorova.
Neka je X1,X2, . . .Xn nezavisni uzorak iz raspodele slučajne promenljive Xi µ̂n = (X1 + · · ·+ Xn)/n, n = 1, 2, . . . .
1 a) EX = µ ako i samo ako
limn→+∞
µ̂n = µ skoro svuda.
2 b) EX ne postoji ako i samo ako µ̂n divergira skoro svuda.
U primenama:
1 Posmatramo niz µ̂n za rastuće vrednosti n
2 Ako iz niza µ̂n može zaključiti da postoji lim µ̂n, onda µ ≈ µ̂n zadovoljno veliko n
3 Ako postoje indikacije da niz ne konvergira, onda zaključujemo daraspodela nema matematičko očekivanje.
Milan Merkle Granične teoreme ETF Beograd 11 / 22
Konvergencija skoro svuda?
Teorema 6.8-Strogi zakon velikih brojeva Kolmogorova.
Neka je X1,X2, . . .Xn nezavisni uzorak iz raspodele slučajne promenljive Xi µ̂n = (X1 + · · ·+ Xn)/n, n = 1, 2, . . . .
1 a) EX = µ ako i samo ako
limn→+∞
µ̂n = µ skoro svuda.
2 b) EX ne postoji ako i samo ako µ̂n divergira skoro svuda.
U primenama:
1 Posmatramo niz µ̂n za rastuće vrednosti n
2 Ako iz niza µ̂n može zaključiti da postoji lim µ̂n, onda µ ≈ µ̂n zadovoljno veliko n
3 Ako postoje indikacije da niz ne konvergira, onda zaključujemo daraspodela nema matematičko očekivanje.
Milan Merkle Granične teoreme ETF Beograd 11 / 22
Konvergencija skoro svuda?
Teorema 6.8-Strogi zakon velikih brojeva Kolmogorova.
Neka je X1,X2, . . .Xn nezavisni uzorak iz raspodele slučajne promenljive Xi µ̂n = (X1 + · · ·+ Xn)/n, n = 1, 2, . . . .
1 a) EX = µ ako i samo ako
limn→+∞
µ̂n = µ skoro svuda.
2 b) EX ne postoji ako i samo ako µ̂n divergira skoro svuda.
U primenama:
1 Posmatramo niz µ̂n za rastuće vrednosti n
2 Ako iz niza µ̂n može zaključiti da postoji lim µ̂n, onda µ ≈ µ̂n zadovoljno veliko n
3 Ako postoje indikacije da niz ne konvergira, onda zaključujemo daraspodela nema matematičko očekivanje.
Milan Merkle Granične teoreme ETF Beograd 11 / 22
Konvergencija skoro svuda?
Teorema 6.8-Strogi zakon velikih brojeva Kolmogorova.
Neka je X1,X2, . . .Xn nezavisni uzorak iz raspodele slučajne promenljive Xi µ̂n = (X1 + · · ·+ Xn)/n, n = 1, 2, . . . .
1 a) EX = µ ako i samo ako
limn→+∞
µ̂n = µ skoro svuda.
2 b) EX ne postoji ako i samo ako µ̂n divergira skoro svuda.
U primenama:
1 Posmatramo niz µ̂n za rastuće vrednosti n
2 Ako iz niza µ̂n može zaključiti da postoji lim µ̂n, onda µ ≈ µ̂n zadovoljno veliko n
3 Ako postoje indikacije da niz ne konvergira, onda zaključujemo daraspodela nema matematičko očekivanje.
Milan Merkle Granične teoreme ETF Beograd 11 / 22
Konvergencija skoro svuda?
Teorema 6.8-Strogi zakon velikih brojeva Kolmogorova.
Neka je X1,X2, . . .Xn nezavisni uzorak iz raspodele slučajne promenljive Xi µ̂n = (X1 + · · ·+ Xn)/n, n = 1, 2, . . . .
1 a) EX = µ ako i samo ako
limn→+∞
µ̂n = µ skoro svuda.
2 b) EX ne postoji ako i samo ako µ̂n divergira skoro svuda.
U primenama:
1 Posmatramo niz µ̂n za rastuće vrednosti n
2 Ako iz niza µ̂n može zaključiti da postoji lim µ̂n, onda µ ≈ µ̂n zadovoljno veliko n
3 Ako postoje indikacije da niz ne konvergira, onda zaključujemo daraspodela nema matematičko očekivanje.
Milan Merkle Granične teoreme ETF Beograd 11 / 22
Konvergencija skoro svuda?
Teorema 6.8-Strogi zakon velikih brojeva Kolmogorova.
Neka je X1,X2, . . .Xn nezavisni uzorak iz raspodele slučajne promenljive Xi µ̂n = (X1 + · · ·+ Xn)/n, n = 1, 2, . . . .
1 a) EX = µ ako i samo ako
limn→+∞
µ̂n = µ skoro svuda.
2 b) EX ne postoji ako i samo ako µ̂n divergira skoro svuda.
U primenama:
1 Posmatramo niz µ̂n za rastuće vrednosti n
2 Ako iz niza µ̂n može zaključiti da postoji lim µ̂n, onda µ ≈ µ̂n zadovoljno veliko n
3 Ako postoje indikacije da niz ne konvergira, onda zaključujemo daraspodela nema matematičko očekivanje.
Milan Merkle Granične teoreme ETF Beograd 11 / 22
1.25
1.00
0.75
0.50
0.25
~ n ® 100
Sll
,.,.,...".. ...,.,.....~ . ~ " ..:
' ~
80
60
40
20
O 20 40 60 80 100 n O 20 40 60 80 100 n
Slika 29. Ponašanje µ̂n i Sn za eksponencijalnu raspodelu sa parametrom 1(računarska simulacija).
Milan Merkle Granične teoreme ETF Beograd 12 / 22
5000
•••• I ...... ...... ........ ........ ......~----...................... --""---.. --
3000
1000 -,-,~--
._1/
o 5000 10000
Slika 30. Ponašanje ocene drugog momenta Cauchyjeve raspodele(računarska simulacija).
Milan Merkle Granične teoreme ETF Beograd 13 / 22
Statistička definicija verovatnoće preko ZVB
Radi ocene verovatnoće dogad̄aja A sa nepoznatom verovatnoćomp = P(A), eksperiment se ponavlja n puta.
Neka je Xi = IA indikator dogad̄aja A u i-tom ponavljanju.
Definǐsemo mn = X1 + · · ·+ Xn (broj realizacija dogad̄aja A u nponavljanja.
p̂n =mnn
=X1 + ·+ Xn
nje ocena nepoznate verovatnoće p
ZVB =⇒ p̂n → p u verovatnoći
Milan Merkle Granične teoreme ETF Beograd 14 / 22
Statistička definicija verovatnoće preko ZVB
Radi ocene verovatnoće dogad̄aja A sa nepoznatom verovatnoćomp = P(A), eksperiment se ponavlja n puta.
Neka je Xi = IA indikator dogad̄aja A u i-tom ponavljanju.
Definǐsemo mn = X1 + · · ·+ Xn (broj realizacija dogad̄aja A u nponavljanja.
p̂n =mnn
=X1 + ·+ Xn
nje ocena nepoznate verovatnoće p
ZVB =⇒ p̂n → p u verovatnoći
Milan Merkle Granične teoreme ETF Beograd 14 / 22
Statistička definicija verovatnoće preko ZVB
Radi ocene verovatnoće dogad̄aja A sa nepoznatom verovatnoćomp = P(A), eksperiment se ponavlja n puta.
Neka je Xi = IA indikator dogad̄aja A u i-tom ponavljanju.
Definǐsemo mn = X1 + · · ·+ Xn (broj realizacija dogad̄aja A u nponavljanja.
p̂n =mnn
=X1 + ·+ Xn
nje ocena nepoznate verovatnoće p
ZVB =⇒ p̂n → p u verovatnoći
Milan Merkle Granične teoreme ETF Beograd 14 / 22
Statistička definicija verovatnoće preko ZVB
Radi ocene verovatnoće dogad̄aja A sa nepoznatom verovatnoćomp = P(A), eksperiment se ponavlja n puta.
Neka je Xi = IA indikator dogad̄aja A u i-tom ponavljanju.
Definǐsemo mn = X1 + · · ·+ Xn (broj realizacija dogad̄aja A u nponavljanja.
p̂n =mnn
=X1 + ·+ Xn
nje ocena nepoznate verovatnoće p
ZVB =⇒ p̂n → p u verovatnoći
Milan Merkle Granične teoreme ETF Beograd 14 / 22
Statistička definicija verovatnoće preko ZVB
Radi ocene verovatnoće dogad̄aja A sa nepoznatom verovatnoćomp = P(A), eksperiment se ponavlja n puta.
Neka je Xi = IA indikator dogad̄aja A u i-tom ponavljanju.
Definǐsemo mn = X1 + · · ·+ Xn (broj realizacija dogad̄aja A u nponavljanja.
p̂n =mnn
=X1 + ·+ Xn
nje ocena nepoznate verovatnoće p
ZVB =⇒ p̂n → p u verovatnoći
Milan Merkle Granične teoreme ETF Beograd 14 / 22
Statistička definicija verovatnoće preko ZVB
Radi ocene verovatnoće dogad̄aja A sa nepoznatom verovatnoćomp = P(A), eksperiment se ponavlja n puta.
Neka je Xi = IA indikator dogad̄aja A u i-tom ponavljanju.
Definǐsemo mn = X1 + · · ·+ Xn (broj realizacija dogad̄aja A u nponavljanja.
p̂n =mnn
=X1 + ·+ Xn
nje ocena nepoznate verovatnoće p
ZVB =⇒ p̂n → p u verovatnoći
Milan Merkle Granične teoreme ETF Beograd 14 / 22
Koliko veliko n treba da bude?
Iz ZVB sledi da je, za dato ε > 0 i za svako α ∈ (0, 1) postoji n takvo daje P(|µ̂n − µ| ≥ ε) ≤ α.
Čebǐsev: P(|µ̂n − µ| ≥ ε) ≤V
nε2
n ≥ Vε2·α
U slučaju ocene verovatnoće, V = p(1− p) zavisi od p. Tadauzimamo najveću vrednost V = 1/4, ili aproksimaciju V ≈ p̂n(1− p̂n.Slično se postupa i kod ocene očekivanja ako varijansa zavisi od µ.
Milan Merkle Granične teoreme ETF Beograd 15 / 22
Koliko veliko n treba da bude?
Iz ZVB sledi da je, za dato ε > 0 i za svako α ∈ (0, 1) postoji n takvo daje P(|µ̂n − µ| ≥ ε) ≤ α.
Čebǐsev: P(|µ̂n − µ| ≥ ε) ≤V
nε2
n ≥ Vε2·α
U slučaju ocene verovatnoće, V = p(1− p) zavisi od p. Tadauzimamo najveću vrednost V = 1/4, ili aproksimaciju V ≈ p̂n(1− p̂n.Slično se postupa i kod ocene očekivanja ako varijansa zavisi od µ.
Milan Merkle Granične teoreme ETF Beograd 15 / 22
Koliko veliko n treba da bude?
Iz ZVB sledi da je, za dato ε > 0 i za svako α ∈ (0, 1) postoji n takvo daje P(|µ̂n − µ| ≥ ε) ≤ α.
Čebǐsev: P(|µ̂n − µ| ≥ ε) ≤V
nε2
n ≥ Vε2·α
U slučaju ocene verovatnoće, V = p(1− p) zavisi od p. Tadauzimamo najveću vrednost V = 1/4, ili aproksimaciju V ≈ p̂n(1− p̂n.Slično se postupa i kod ocene očekivanja ako varijansa zavisi od µ.
Milan Merkle Granične teoreme ETF Beograd 15 / 22
Koliko veliko n treba da bude?
Iz ZVB sledi da je, za dato ε > 0 i za svako α ∈ (0, 1) postoji n takvo daje P(|µ̂n − µ| ≥ ε) ≤ α.
Čebǐsev: P(|µ̂n − µ| ≥ ε) ≤V
nε2
n ≥ Vε2·α
U slučaju ocene verovatnoće, V = p(1− p) zavisi od p. Tadauzimamo najveću vrednost V = 1/4, ili aproksimaciju V ≈ p̂n(1− p̂n.Slično se postupa i kod ocene očekivanja ako varijansa zavisi od µ.
Milan Merkle Granične teoreme ETF Beograd 15 / 22
Koliko veliko n treba da bude?
Iz ZVB sledi da je, za dato ε > 0 i za svako α ∈ (0, 1) postoji n takvo daje P(|µ̂n − µ| ≥ ε) ≤ α.
Čebǐsev: P(|µ̂n − µ| ≥ ε) ≤V
nε2
n ≥ Vε2·α
U slučaju ocene verovatnoće, V = p(1− p) zavisi od p. Tadauzimamo najveću vrednost V = 1/4, ili aproksimaciju V ≈ p̂n(1− p̂n.Slično se postupa i kod ocene očekivanja ako varijansa zavisi od µ.
Milan Merkle Granične teoreme ETF Beograd 15 / 22
Koliko veliko n treba da bude?
Iz ZVB sledi da je, za dato ε > 0 i za svako α ∈ (0, 1) postoji n takvo daje P(|µ̂n − µ| ≥ ε) ≤ α.
Čebǐsev: P(|µ̂n − µ| ≥ ε) ≤V
nε2
n ≥ Vε2·α
U slučaju ocene verovatnoće, V = p(1− p) zavisi od p. Tadauzimamo najveću vrednost V = 1/4, ili aproksimaciju V ≈ p̂n(1− p̂n.Slično se postupa i kod ocene očekivanja ako varijansa zavisi od µ.
Milan Merkle Granične teoreme ETF Beograd 15 / 22
Koliko veliko n treba da bude?
Iz ZVB sledi da je, za dato ε > 0 i za svako α ∈ (0, 1) postoji n takvo daje P(|µ̂n − µ| ≥ ε) ≤ α.
Čebǐsev: P(|µ̂n − µ| ≥ ε) ≤V
nε2
n ≥ Vε2·α
U slučaju ocene verovatnoće, V = p(1− p) zavisi od p. Tadauzimamo najveću vrednost V = 1/4, ili aproksimaciju V ≈ p̂n(1− p̂n.Slično se postupa i kod ocene očekivanja ako varijansa zavisi od µ.
Milan Merkle Granične teoreme ETF Beograd 15 / 22
Centralna granična teorema
Neka je Xi , i = 1, 2, . . . niz nezavisnih slučajnih promenljivih sa istomraspodelom, EX = µ, VarX = σ2. Normirani zbir
Zn =X1 + · · ·+ Xn − nµ
σ√n
ima EZn = 0, VarZn=1.
Teorema 6.9 Niz Zn konvergira u raspodeli ka Z ∼ N (0, 1), tj.
limn→+∞
P(Zn ≤ x) =1√2π
∫ x−∞
e−t2/2 dt
za svako x ∈ R.
Milan Merkle Granične teoreme ETF Beograd 16 / 22
Centralna granična teorema
Neka je Xi , i = 1, 2, . . . niz nezavisnih slučajnih promenljivih sa istomraspodelom, EX = µ, VarX = σ2. Normirani zbir
Zn =X1 + · · ·+ Xn − nµ
σ√n
ima EZn = 0, VarZn=1.
Teorema 6.9 Niz Zn konvergira u raspodeli ka Z ∼ N (0, 1), tj.
limn→+∞
P(Zn ≤ x) =1√2π
∫ x−∞
e−t2/2 dt
za svako x ∈ R.
Milan Merkle Granične teoreme ETF Beograd 16 / 22
Aproksimacije preko CGT
Za bilo koju početnu raspodelu i za n ≥ 20 (empirijsko pravilo):
Normirani zbir Zn
Zn =X1 + · · ·+ Xn − nµ
σ√n
∼ N (0, 1)
Zbir
X1 + · · ·+ Xn ∼ N (nµ, nσ2).
Aritmetička sredina
µ̂n =X1 + · · ·+ Xn
n∼ N
(µ,σ2
n
),
µ̂n − µσ
√n ∼ N (0, 1)
Milan Merkle Granične teoreme ETF Beograd 17 / 22
Aproksimacije preko CGT
Za bilo koju početnu raspodelu i za n ≥ 20 (empirijsko pravilo):
Normirani zbir Zn
Zn =X1 + · · ·+ Xn − nµ
σ√n
∼ N (0, 1)
Zbir
X1 + · · ·+ Xn ∼ N (nµ, nσ2).
Aritmetička sredina
µ̂n =X1 + · · ·+ Xn
n∼ N
(µ,σ2
n
),
µ̂n − µσ
√n ∼ N (0, 1)
Milan Merkle Granične teoreme ETF Beograd 17 / 22
Aproksimacije preko CGT
Za bilo koju početnu raspodelu i za n ≥ 20 (empirijsko pravilo):
Normirani zbir Zn
Zn =X1 + · · ·+ Xn − nµ
σ√n
∼ N (0, 1)
Zbir
X1 + · · ·+ Xn ∼ N (nµ, nσ2).
Aritmetička sredina
µ̂n =X1 + · · ·+ Xn
n∼ N
(µ,σ2
n
),
µ̂n − µσ
√n ∼ N (0, 1)
Milan Merkle Granične teoreme ETF Beograd 17 / 22
Koliko n treba da bude?
Primer 126. Uzimamo uzorak X1, . . . ,Xn iz raspodele sa (nepoznatim)matematičkim očekivanjem µ i (poznatom) varijansom σ2 i računamoocenu µ̂. Koliko n treba da bude da bi bio zadovoljen uslov
P(|µ̂n − µ| ≥ ε) ≤ α
za date parametre ε > 0 i α ∈ [0, 1]? Naći brojnu vrednost za n sa σ2 = 4,ε = 0.1 i α = 0.1
R: Preko CGT: n ≥σ2K 21−α/2
ε2= 1100. Preko Čebǐseva: n ≥ σ
2
αε2= 4000
Kvantil reda p: F (p) = P(X ≤ Kp) = p, tj. Kp = F−1(p). Ako ne postojiF−1(p), Kp je svako x sa F (x−) ≤ p i F (x) ≥ p.
Milan Merkle Granične teoreme ETF Beograd 18 / 22
Koliko n treba da bude?
Primer 126. Uzimamo uzorak X1, . . . ,Xn iz raspodele sa (nepoznatim)matematičkim očekivanjem µ i (poznatom) varijansom σ2 i računamoocenu µ̂. Koliko n treba da bude da bi bio zadovoljen uslov
P(|µ̂n − µ| ≥ ε) ≤ α
za date parametre ε > 0 i α ∈ [0, 1]? Naći brojnu vrednost za n sa σ2 = 4,ε = 0.1 i α = 0.1
R: Preko CGT: n ≥σ2K 21−α/2
ε2= 1100. Preko Čebǐseva: n ≥ σ
2
αε2= 4000
Kvantil reda p: F (p) = P(X ≤ Kp) = p, tj. Kp = F−1(p). Ako ne postojiF−1(p), Kp je svako x sa F (x−) ≤ p i F (x) ≥ p.
Milan Merkle Granične teoreme ETF Beograd 18 / 22
Slika 27. Odred̄ivanje kvantila: a) fukcija F je neprekidna i monotonorastuća; b) funkcija F ima prekid; c) funkcija F je konstantna na intervalu.
U slučajevima a) i b), kvantil je jedinstven.
Milan Merkle Granične teoreme ETF Beograd 19 / 22
Aproksimacije raspodela preko CGT
Binomna raspodelaAko je početna raspodela Bernulijeva sa verovatnoćom uspeha p, onda jeraspodela zbira Bin (n, p).
Bin (n, p) ∼ N (np, np(1− p))
za n ≥ 20. Ova aproksimacija primenjuje se za np > 5 (za np < 5 -Puasonova aproksimacija).
Primer 128 Ako je X ∼ Bin (100, 1/2), naći približnu vrednostverovatnoća: a) P(X > 60), b) P(40 < X < 60), c) P(X = 50).
Milan Merkle Granične teoreme ETF Beograd 20 / 22
Aproksimacije raspodela preko CGT
Binomna raspodelaAko je početna raspodela Bernulijeva sa verovatnoćom uspeha p, onda jeraspodela zbira Bin (n, p).
Bin (n, p) ∼ N (np, np(1− p))
za n ≥ 20. Ova aproksimacija primenjuje se za np > 5 (za np < 5 -Puasonova aproksimacija).
Primer 128 Ako je X ∼ Bin (100, 1/2), naći približnu vrednostverovatnoća: a) P(X > 60), b) P(40 < X < 60), c) P(X = 50).
Milan Merkle Granične teoreme ETF Beograd 20 / 22
Aproksimacije raspodela preko CGT-nastavak
Puasonova raspodelaAko je početna raspodela Poiss (λn ), onda je raspodela zbira Poiss (λ).
Poiss (λ) ∼ N (λ, λ)
Ova aproksimacija koristi se za λ ≥ 10 i veliko n (za male vrednosti nnema ni potrebe za aproksimacijom).
Milan Merkle Granične teoreme ETF Beograd 21 / 22
Za vežbu: Primeri 126,128,129. Zadaci: 125-139, 307-311.
Milan Merkle Granične teoreme ETF Beograd 22 / 22