Course Book

1

אותות אקראיים ורעש יעקב גולדברגר' דר: מרצה

אריה יריחובר: סיכום

2

3...........................................................................................אותות אקראיים ורעש

3..............................................................................................................הסתברות מרחב 4..............................................................................................................מותנה הסתברות

5................................................................................................השלמה ההסתברות נוסחת 6..................................................................................(RANDOM VARIABLE) מקרי משתנה 6...................................................................(DISTRIBUTION FUNCTION) התפלגות פונקציית 10.........................................................................................................בדיד מקרי משתנה 12.......................................................................................(MEAN,EXPECTATION) תוחלת

12...............................................................................................מקרי משתנה של פונקציות 14...............................................................................................מקרי משתנה של מומנטים CHEBYSHEV....................................................16 בישב'צ שוויון-אי פי על פיזור של כמדד שונות

X.................................................................................17 מקרי משתנה של אופיינית פונקציה X.....................................................................18 מקרי משתנה של המומנטים יוצרת פונקציה

20...............................................................................משתנים מקריים דו מימדיים

21...............................................................................................................הבדיד במקרה 22.......................................................................................מקריים םמשתני שני בין תלות אי

Z=G(X,Y).......................................................................23 מקריים משתנים שני של פונקציה 24..........................................................................................................................הוכחה

25...............................................................................................משותפת אופיינית נקציהפו 26............................................................................ממדי דו מקרי משתנה של טרנספורמציה

27............................................................................................ממדית דו נורמלית התפלגות 27......................................................................................מותנית ותוחלת מותנית התפלגות X,Y....................................................................................................28 מותנית התפלגות 29...............................................................................................................מותנית תוחלת

32............................................................................משתנים אקראיים רב מימדיים

32........................................................................................................................תלות אי) של הקווריאנס מטריצת )1

TnX X X= ….........................................................................32

X.................................................................................33 אקראי וקטור של קורלציה מטריצת 34...............................................................................................הקווריאנס מטריצת תכונות 35.....................................................................................אקראי וקטור של אופיינית פונקציה 37................................................................................................גאוסיים אקראיים וקטורים

39...........................................................................ממדי רב אקראי וקטור של טרנספורמציות

40..........................................................שערוך אופטימלי במובן של שגיאה ריבועית

TIMATIONMEAN SQUARE ERROR ES............................................................40

42.................................................................................................אופטימלי ליניארי שיערוך 1L..............................................................................................43 במובן אופטימלי שיערוך 44.............................................................................................גאוסי אקראי לוקטור הרחבה

44...................................................................................משתנים מקריים מרוכבים

3

45...................................................................התכנסות של סדרת משתנים מקריים

47...........................................................(WLLN) הגדולים המספרים של החלש החוק :משפט 49.............................................................(SLLN) הגדולים המספרים של החזק החוק :משפט

52.............................................................................................תהליכים אקראיים

52................................................................................................................אקראי תהליך 52....................................................................................................ראשון מסדר התפלגות N..........................................................................................................52 מסדר התפלגות 53.........................................................................................................................תוחלת

53...................................................................................................האוטוקורלציה פונקציית 53..................................................................................................האוטוקווריאנס פונקציית 54.................................................................................................(CONSISTENCY) עקביות 54........................................................................................קולמוגורוב של ההרחבה משפט

54...........................................................................................סטציונריים אקראיים תהליכים WSS..........................................................................56 אקראי תהליך של ההספק ספקטרום

LTI................................................59מעבר של תהליך אקראי דרך מערגת לינארית

62.............................................................................סיבתי לא WIENER מסנן -אופטימלי סינון 63.......................................................................................................האורתוגונליות עקרון

MARKOV(................................................................................64(תהליכי מרקוב

64..........................................................................................................................דוגמא CHAPMAN-KOLMOGOROV...................................................................................65 משפט

אותות אקראיים ורעש מרחב הסתברות

)מרחב הסתברות ), , PβΩמוגדר על ידי :

Ω :מרחב התוצאות.

: בהטלת מטבע 0,1Ω =

: הטלת קוביהב 1, 2,3, 4,5,6Ω =

β :תת קבוצה של . מרחב המאורעותΩ כך ש:BΩ∈

: וכן

1 2 1 2

1

,

\

i ii

A A B A A B

A B A B

A B A BA A

∞

=

∈ ⇒ ∪ ∈

∈ ⇒∪ ∈

∈ ⇒ ∈

= Ω

עבור 0,1Ω = 2 , 0 , 1 , 0,1B φΩ⊂ =

P :פונקצית ההסתברות.[ ]: 0,1P B →

Aלכל B∈ ( )0 1P A≤ ≤

: תהיה פונקצית הסתברותPדרישות לכך ש

4

( ) 1P Ω =

1אם 2,A A זרים אז ( ) ( ) ( )1 2 1 2P A A P A P A∪ = +

) זרים אז iAאם : ובהכללה )1 1

i ii iP A P A

∞∞

==

⎛ ⎞∪ =⎜ ⎟⎝ ⎠

∑

דוגמא

: זריקת קוביה

( )

( )

1, 2,3, 4,5,6

21 1, 2,3, 4,5,66

11,3, 42

B

P i i

P

Ω

Ω =

=

= =

=

דוגמא

: באופן כללי

( )

1

2n

i i

BP P

ω ω

ω

Ω

Ω =

=

=

…

הסתברות מותנה)נתון מרחב ההסתברות ), , PβΩ ונתונה הקבוצה ( )0 P M< , ההסתברות המותנה של מאורע

A בהינתן Mהיא :( ) ( )( )

|P A M

P A MP M∩

=

וכמובן ש ( )

( )| 1

0 | 1

P M

P A M

Ω =

≤ ≤.

טענה): סדרת מאורעות זריםiAעבור ) ( )| |i iP A M P A M∪ =∑

)ולכן )( ), , |P MβΩ . מרחב הסתברות מותנה•

הוכחה

( ) ( )( )( )

( )( )( )

( )( ) ( )| |i i i

i i

P A M P A M P A MP A M P A M

P M P M P M∪ ∩ ∪ ∩ ∩

∪ = = = =∑ ∑

נוסחת החיתוך1עבור nA A… , כאשר( )10 nP A A< ∩ ∩…:

( ) ( ) ( ) ( ) ( )1 1 2 1 3 1 2 1 1| | |n n nP A A P A P A A P A A A P A A A −∩ ∩ = ⋅ ⋅ ∩ ⋅ ⋅ ∩ ∩… … …

:הוכחה בשלב ראשון

( ) ( )( ) ( ) ( ) ( )1 2

2 1 1 2 2 1 11

| |P A A

P A A P A A P A A P AP A

∩= ⇒ ∩ = ⋅

5

נוסחת ההסתברות השלמה

חלוקה

1 nH H…מאורעות זרים כך ש 1

n

iiH

=∪ = Ω.

טענה1נתונה חלוקה nH H… שלΩכך ש ( )0 iP H< , אזי לכל מאורעAמתקיים :

( ) ( ) ( ) ( )1 1

|n n

i i ii i

P A P A H P H P A H= =

= = ∩∑ ∑

הוכחה iA A H= . באיחוד זר∪∩

( ) ( ) ( ) ( ) ( )|i i i iP A P A H P A H P A H P H= ∩ = ∩ =∑ ∑∪

Bayesנוסחת בייס 1: נתונה חלוקה של כל המרחב nH H…כך ש ( )0 iP H< , אזי לכל מאורעAמתקיים :

( ) ( ) ( )( ) ( )

|: |

|i i

ij j

j

P A H P Hi P H A

P A H P H∀ =

∑

הוכחה

( ) ( )( )

( ) ( )( ) ( )

||

|i i i

ij j

j

P H A P A H P HP H A

P A P A H P H∩

= =∑

): וכתוצאה מכך ) ( ) ( )( )

2 1 11 2

2

|P A A P A

P A AP A∩

=

דוגמא .טן יש סר2,000 אנשים ל100,000מתוך . 95%בדיקת סרטן נותנת תשובה מדוייקת ב

?מה ההסתברות שהוא חולה בסרטן, אדם עשה את הבדיקה וקיבל תוצאה חיובית C –סרטן H –בריא

Test=0,1 P(T=1|C)=0.95 P(T=0|C)=0.05 P(T=1|H)=0.05 P(T=0|H)=0.95

P(H)=0.98 P(C)=0.02

( ) ( ) ( )( )

( ) ( )( ) ( ) ( ) ( )

1| 1|| 1

1 1| 1|0.95 0.02 0.278

0.95 0.02 0.05 0.98

P T C P C P T C P CP C T

P T P T C P C P T H P H= =

= = = == = + =

⋅= =

⋅ + ⋅

6

(Random Variable)משתנה מקרי X:: יהמשתנה מקרי הוא פונקצ Ω→

( ) ( ) ( ) ( )( , ] |P a P X a P X aω ω−∞ = ≤ = ∈Ω ≤

[ ]( ) ( ) ( ), |P a b P a X bω ω= ∈Ω ≤ ≤

דוגמא

1 52 23 04 05 16 2

X

⎧⎪ → −⎪⎪ → −⎪= →⎨⎪ →⎪

→⎪⎪ →⎩

: ולכן( )

( )

516103

P X

P X

≤ =

= =

(Distribution Function)פונקציית התפלגות ( ) ( )XF a P X a= ≤

:ולכן מקיימת את התנאים

( ) ( )( )( )

0lim

lim 1a

a

F a F b a b

F a

F a→−∞

→∞

≤ ⇐ ≤

=

=

7

דוגמא

( )

( )

( )

0,1

0 11 1

3 0112

7 1

X

P X

P X

P X

Ω =

→ −⎧= ⎨ →⎩

< − =

≤ − =

≤ =

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

דוגמא[ ]( )

[ ]( )( )

0,1

,

1 0

1 13 3

P a b b a

P X

P X

Ω =

= −

≤ − =

⎛ ⎞≤ =⎜ ⎟⎝ ⎠

): [0,1]מדובר בהתפלגות אחידה על )X ω ω=

8

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

דוגמא( )( ) ( )( ) ( ) ( )

2

2

X

P X a P X a P a P a a

ω ω

ω ω ω

=

≤ = ≤ = ≤ = ≤ =

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

משתנה מקרי רציף : כך שf(x) יקרא רציף אם קיימת פונקציה Xמשתנה מקרי

( ) ( )x

F x f t dt−∞

= ∫

f(x) נקראת פונקצית הצפיפות של משתנה מקרי X (density function). :ומתקיימים התנאים הבאים

( ) ( )

( ) ( )

1f t dt F

dF xf x

dx

∞

−∞

= ∞ =

=

∫

9

דוגמא[ ],X U a b∼התפלגות אוניפורמית .

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

( )

0

1

x ax aF x a x bb a

x b

<⎧⎪ −⎪= ≤ ≤⎨ −⎪

>⎪⎩

) ולכן )

01

0

x a

f x a x bb a

x b

<⎧⎪⎪= ≤ ≤⎨ −⎪

>⎪⎩

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

התפלגות נורמלית: דוגמא

( )2,X N ρ σ∼

( )21

22

12

x

f x eμ

σ

πσ

−⎛ ⎞− ⎜ ⎟⎝ ⎠=

10

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

-2 -1.5 -1 -0.5 0 0.5 1 1.5 2

מעריכיתהתפלגות ( )expX λ∼

( )0 0

1 0x

xF x

e xλ−

<⎧= ⎨ − ≥⎩

): ולכן )0 0

0x

xf x

e xλλ −

<⎧= ⎨ ≥⎩

טענה :התפלגות מעריכית היא חסרת זכרון

( ) ( )|t s P x t x s P x t s> > > = > −

הוכחה( ) ( )1 xP x t P x t e λ−> = − < =

( ) ( )( )

( ) ( )|t

t ss

P x t eP x t x s e P x t sP x s e

λλ

λ

−− −

−

>> > = = = = > −

>

משתנה מקרי בדיד

א בדיד אם קיימת קבוצת מספרים הוXמשתנה מקרי 1

ni i

x=

) כך ש )1

1n

ii

P X x=

= =∑ )לפונקציה )iP X x= נקרא פונקצית ההסתברות של X.

( ) ( ) ( ) | i

ii x a

F a P X a P X x≤

= ≤ = =∑

דוגמא0 11 7

X ⎧= ⎨⎩

( )

0 11 1 72

1 7

x

F x x

x

<⎧⎪⎪= ≤ ≤⎨⎪

<⎪⎩

11

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-2 -1 0 1 2 3 4 5 6 7 8

( )1 121 72

xP x

x

⎧ =⎪⎪= ⎨⎪ =⎪⎩

-2000000000

0

2000000000

4000000000

6000000000

8000000000

10000000000

12000000000

-2 -1 0 1 2 3 4 5 6 7 8

משתנה בינומי :ים1 הוא מספר הX פעמים באופן בלתי תלוי כאשר nמטילים מטבע הוגנת

( ) 1 02

nnP X k k n

k⎛ ⎞⎛ ⎞= = =⎜ ⎟⎜ ⎟

⎝ ⎠⎝ ⎠…

התפלגות פואסון( ) 0,1, 2,X ω ω= Ω = …

( )!

keP X kk

λλ−

= =

12

(Mean,Expectation) תוחלת

): רציףXעבור ) ( )E X x f x dx∞

−∞

= ⋅∫

דוגמא[ ],X U a b∼

( ) 12

b

a

a bE X xdxb a

+= =

−∫

דוגמא( ),X N μ σ∼

( )( )

( )2 2

21 1

2 22

1 1 02 2

x y

xydy dx

E X x e dx y e dyμ

σμ

σσ

μ σ μ μπσ π

∞ ∞− − −

−=−∞ −∞=

= ⋅ = + ⋅ = − =∫ ∫

: בדידXעבור

( )( ) ( )

i i

i ii

P X x P

E X x P X x

= =

= =∑

דוגמא

):עבור זריקת קוביה ) ( )1 1 2 6 3.56

E X = + + + =…

פונקציות של משתנה מקריX:: נתון משתנה מקרי ) ונתונה הפונקציה → ) :Y g X= →

( ) ( )( ):Y Y g Xω ωΩ→ =

( ) ( )( ) ( ) ( )|YF t P g X t P Y tω ω= ∈Ω ≤ = ≤

דוגמהXמשתנה מקרי ,Y=aX+b

a>0עבור t bx y t

a−

≤ ⇔ :ן ולכ≥

( ) ( )Y Xt b t bF t P Y t P X F

a a− −⎛ ⎞ ⎛ ⎞= ≤ = ≤ =⎜ ⎟ ⎜ ⎟

⎝ ⎠ ⎝ ⎠

a<0עבור t bx y t

a−

≥ ⇔ : ולכן≥

( ) ( ) 1Y Xt b t bF t P Y t P X F

a a− −⎛ ⎞ ⎛ ⎞= ≤ = ≥ = −⎜ ⎟ ⎜ ⎟

⎝ ⎠ ⎝ ⎠

דוגמאX משתנה מקרי Y=g(X) G ע"ולכן חח( עולה ממש(

13

( ) ( )( ) ( )( ) ( )( )1 1Y XF t P g X t P X g t F g t− −= ≤ = ≤ =

:י גזירה"וע

( ) ( ) ( )( ) ( )( ) ( )( ) ( )( )1 1 1 1' 'YY X X

dF tf t F g t g t f g t g t

dt− − − −′= = ⋅ = ⋅

דוגמהX 2Yמשתנה מקרי X= ( ) ?YF t =

( ) 0 0YF t t= ⇐ <

: אזt>0אם

( ) ( ) ( ) ( )X XP Y t P t x t F t F t≥ = − ≤ ≤ = − −

( ) ( ) ( )0 0

0YX X

tF t

F t F t t

<⎧⎪= ⎨ − − ≥⎪⎩

) היא Yהצפיפות של )Yf tהיא :

( ) ( ) ( )0 0

02 2

Y X X

t

f t f t f tt

t t

<⎧⎪

= −⎨+ ≥⎪

⎩

)אם נניח בנוסף כי )Xf t זוגית :( ) ( )X Xf t f t= −

)נקבל ) ( )0 0

0Y X

t

f t f tt

t

<⎧⎪

= ⎨≥⎪

⎩

דוגמא( )2 0,1Y X X N= ∼

Y 2 נקראת התפלגותχ chi squaredעם דרגת חופש אחת ומסמנים :( )2 1Y χ∼.

( ) ( ) 12

0 00 0

0 02

tY X

tt

f t f t et tt tπ

−

<⎧<⎧⎪⎪

= =⎨ ⎨≥ ≥⎪ ⎪

⎩ ⎩

בעיה)נתון ), YX F t , צריך למצואg(x)כך ש ( ) Yg XF F=

פתרון]נתון ]0,1X U∼ ונתונה הפונקציה ( )YF t נחפש g(x)כך ש ( ) Yg XF F=

:טענה( ) ( )1

YY g X F X−= =

14

הוכחה( )YF t) ולכן גם( )1

YF t− (מונוטונית עולה.

( ) ( )( ) ( )( ) ( )1Y Y YP Y t P F X t P X F t F t−≤ = ≤ = ≤ =

מומנטים של משתנה מקרי Y=g(X)נתון משתנה מקרי כפונקציה של משתנה מקרי

( ) ( )YE Y tf t dt∞

−∞

= ∫

טענה

( ) ( )( ) ( ) ( )

[ ] ( ) ( )1

X

n

i ii

E Y E g X t t f t dt

E n g x P x

∞

−∞

=

= =

=

∫

∑

הוכחה מונוטונית עולהg, רציףXנניח

( ) ( )( ) ( )( )1 1 'Y Xf y f g y g y− −=

( ) ( )( ) ( )

( )( )( )( ) ( )( ) ( ) ( )

1

1

1 1

'

'X X Yy g x x g tdx g y dy

g t f t dt yf g y g y dy yf y dy E Y−

−

− −

= ==

= = =∫ ∫ ∫

הערות) .א ) ( )E aX b aE X b+ = +

) .ב ) 0 0E X X≥ ⇐ ≥

הגדרהa, משתנה מקרי Xיהי r∈ המומנט מסדרr סביב aהוא :

( )( ) ( ) ( )r rE x a x a f x dx− = −∫

.כזימומנט מר אז המומנט נקרא a=E(X)אם

מומנט מוחלט

( )rE x a−

סימון

( )( )

n n

nn

EX E X

E X EX

⇒

⇒

הגדרה :2 היא המומנט המרכזי מסדר X של משתנה מקרי (variance)השונות

( ) ( ) ( )( )2 2V X E X EX E X EX= − = −

15

) היא X של משתנה מקרי standard deviationסטיית התקן )V X.

טענה( ) 2 2V X EX E X= −

הוכחה

( ) ( ) ( )( ) ( )2 2 2 2 2 2 22 2V X E X EX X EX E X X EX E X EX E X E X EX E X= − ⋅ − = − ⋅ − = − + = −

טענה( ) ( ) ( )2 2min

aV X E X EX E X a= − = −

הוכחה

( ) ( )( ) ( )( ) ( )( )( ) ( ) ( )

2 2

2 2

2

2

0a

EX

E X a E x a

E x x a a

V X a V Xμ

μ

μ μ

μ μ μ μ

μ≠

− = − + − =

− + − − + −

= + + − >

דוגמא[ ],X U a b∼

( )

01

0

x a

f x a x bb a

x b

<⎧⎪⎪= ≤ ≤⎨ −⎪

>⎪⎩

( ) 12

b

a

a bE X xdxb a

+= =

−∫

( )3 3 3

2 2 2 21 1 1 1|3 3 3

b b

aa

x b aEX x dx b ab ab a b a b a

−= = = = + +

− − −∫

( ) ( )2

2 2 2 213 2

b aV X EX E X b ab a +⎛ ⎞= − = + + − ⎜ ⎟⎝ ⎠

:ובמקרה פרטי

[ ]

( )

0,112

112

X U

EX

V X

=

=

∼

דוגמא

( )2,X N μ σ∼

EXראינו ש μ= נראה כי ( ) 2V X σ=

16

( ) ( )2 22 2

1 12 211 2

2

x xe e

μ μσ σπσ

πσ

∞ ∞− − − −

−∞ −∞

= ⇒ =∫ ∫

:σנגזור את שני האגפים לפי

( ) ( ) ( )( )

( )2 2

2 2

2

21 1222 2

3 2

2

122

x xxe dx x e dx V X

μ μσ σ

σπ

μπ σ μ

σ πσ

∞ ∞− − − −

⋅−∞ −∞

−= ⇒ = − =∫ ∫

הערות( ) ( )( ) ( )2

V X a V X

V aX a V X

+ =

=

Chebyshevבישב 'שוויון צ-שונות כמדד של פיזור על פי אי

בישב'פאפנוטי צ

0ε אזי לכל 2σ ושונות μ משתנה מקרי עם תוחלת Xיהי >:

( )2

2P X σμ εε

− > ≤

הוכחה

( ) ( ) ( )X

P X P X or X f x dxμ ε

μ ε μ ε μ ε− >

− > = < − > + = ∫

( ) ( ) ( ) ( ) ( ) ( )2 22 2 2

positive function x x

x f x dx x f x dx f x dx P xμ ε μ ε

σ μ μ ε ε μ ε∞

−∞ − ≥ − ≥

= − ≥ − ≥ = − >∫ ∫ ∫

טענהאזי , X>0זוגית ולא יורדת עבור , לא שליליתg(X), משתנה מקריXנניח

( ) ( )( )( )

0E g X

a P X ag a

∀ ≥ > ≤

)אם ניקח ) 2g x x= על X-EXבישב'שוויון צ- נקבל את אי

): כיוון ש )( )( ) ( )

2

2 2

E X V XP X a

a a

μμ

−− > ≤ =

17

שוויון מרקוב- אי-ה פרטי מקר

)ניקח ) ng x x=ונקבל :

( ) ( )n

n

E XP X a

a> ≤

)ועבור )g x x= :( ) ( )E XP X a

a> ≤

בישב'שוויון צ- אי–דוגמא : פעם1000הטלת מטבע הוגנת

1 100012

X X B ⎛ ⎞⎜ ⎟⎝ ⎠

… ∼ ,

102112

iX

⎧⎪⎪= ⎨⎪⎪⎩

,1000

1i

iY X

=

= ∑

( )

( ) ( ) ( )

11000 5002i

i i

E Y EX

V Y V X V X

= = ⋅ =

= =

∑∑ ∑

2

102112

iX

⎧⎪⎪= ⎨⎪⎪⎩

( ) ( )21 12 2i iE X E X= =

( ) ( ) ( )2 2 1 1 12 4 4i i iV X E X E X= − = − =

( ) 11000 2504

V Y = ⋅ =

:בישב'שוויון צ-ולכן על פי אי

( ) ( )2

250500 100 0.025100 10000V Y

P Y − > ≤ = =

Xתנה מקרי פונקציה אופיינית של מש

( ) ( ) ( )

::

XZZ X iYω ω ω

Ω→Ω→

= +

: מוגדר על ידיXפונקציה אופיינית של משתנה מקרי

( ) ( ) ( )i X i xX E e e f x dxω ωϕ ω

∞

−∞

= = ∫

:ובאופן מקביל

( ) ( )12

i xXf X e dω ϕ ω ω

π

∞−

−∞

= ∫

:עבור משתנה מרי בדיד

18

( ) ( )1

ii xi XX i

iE e Pe ωωϕ ω

∞

=

= =∑

דוגמאות לפונקציות אופייניות

1. ( ) ( ) ( ) ( )0 1

10 1

1 1i x i i iX

pX

p

E e p e pe p peω ω ω ωϕ ω

⎧= ⎨ −⎩

= = − + = − +

2.

( )

( )

( ) ( ) ( )1

0 0

0,1, 2!

! !

ii

k

kikei k e

Xk k

X Poisson

eP X k kk

eee e e e ek k

ωω

λ

ωλλω λ λ λ

λ

λ

λλϕ ω

−

−∞ ∞−− −

= =

= = =

= = = =∑ ∑

∼

…

הערה :Y=aX+bעבור

( ) ( ) ( )( ) ( ) ( )i aX b i b i aX i bY aX b X XE e e E e e aω ω ω ωϕ ω ϕ ω ϕ ω+

+= = = =

:וקיבלנו

( ) ( )i bY Xe aωϕ ω ϕ ω=

הערה : בלתי תלויים אזיX,Yאם

( ) ( )X Y X Yϕ ϕ ω ϕ ω+ =

הוכחה

( ) ( )( ) ( ) ( ) ( ) ( ) ( )i X Y i X i Y i X i YX Y X YE e E e e E e E eω ω ω ω ωϕ ω ϕ ω ϕ ω++ = = = =

Xפונקציה יוצרת המומנטים של משתנה מקרי

( ) ( ) ( )sX sxXs s E e e f x dxφ

∞

−∞

∈ = = ∫

טענה

( ) ( ) ( ) ( )n

n X n sXX n

d ss E X e

dsφ

φ = =

:s=0ובפרט עבור ( ) ( ) ( )0n nX E Xφ =

הוכחה( ) ( ) ( ) ( ) ( )

n n nX sx sx n sx n sX

n n n

d s d de f x dx f x e dx x f x e dx E X eds ds dsφ ∞ ∞ ∞

−∞ −∞ −∞

= = = =∫ ∫ ∫

19

דוגמא10 1

pX

p⎧

= ⎨ −⎩

( )( )2

E X p

E X p

=

=

( ) ( )

( )

( )

1

0

s

s

s p ped s peds

p

φ

φ

φ

= − +

=

′ =

הערותφ -ונקציה יוצרת מומנטים פ ϕ -פונקציה אופיינית

( ) ( ) ( )i XE e iωϕ ω φ ω= =

( ) ( )sXss E ei

φ ϕ ⎛ ⎞= =⎜ ⎟⎝ ⎠

( ) ( ) ( ) 1 nn n ss

i iφ ϕ ⎛ ⎞⎛ ⎞= ⎜ ⎟⎜ ⎟

⎝ ⎠⎝ ⎠

( ) ( ) ( )( ) ( )0

0n

nnnE X

iϕ

φ= =

דוגמא( )0,1X N∼ נחשב את ( )sφ:

( ) ( )( )

( )2 2

22

222

1 12 2 2 2

1 12 2 2

1integral on density of normal distribution

1 12 2

s sx x ssX sx

ssx x x s

s E e e e dx e e dx eφπ π

∞ ∞− − −

− = − +−∞ −∞

=

= = = =∫ ∫

( ) ( )12

X X i eω

ϕ ω φ ω−

= =

דוגמא

( )2,X N μ σ∼ נחשב את ( )Xϕ ω:

( )0,1

XY

Y NX Y

μσ

σ μ

−=

= +

∼

( ) ( ) ( )2 2 2 21 1

2 2ii i

X Y Ye e e eσ ω ωμ σ ωωμ ωμ

σ μϕ ω ϕ ω ϕ σω− −

+= = = =

( ) ( ) ( ) ( )2 21

22

0

01 1 10i

XX

dE X e i

i i d i

ωμ σ ω

ω

ϕϕ μ σ ω μ

ω

⎛ ⎞−⎜ ⎟⎝ ⎠

=

⎛ ⎞′= = = − =⎜ ⎟⎜ ⎟

⎝ ⎠

20

משתנים מקריים דו מימדיים( ) ( )( ),X Yω ω ω→

( ) ( ), ,XYF x y P X x Y y= ≤ ≤

( )2

, XYXY

Ff x yx y

∂=∂ ∂

( ),X Y

XY XYF f x y dxdy−∞ −∞

= ∫ ∫

147

10131619

S1S9

S170

0.2

0.4

0.6

0.8

1

1.2

2Dעבור : מתקיים⊇

( )( ) ( ), ,XYD

P x y D f x y dxdy∈ = ∫∫

:וכן

( ) ( )

( ) ( )

,

,

X XY

X XY

F x F x

f x f x y dy∞

−∞

= ∞

= ∫

דוגמא

( )2 0 1

,0

y xf x y

otherwise< < <⎧

= ⎨⎩

( )1

0 0

, 1x

f x y dydx =∫ ∫

( ) ( )0 0

, 2 2 0 1x x

Xf x f x y dy dy X X= = = ≤ ≤∫ ∫

21

f(x,y)

0

0.2

0.4

0.6

0.8

1

1.2

0 0.2 0.4 0.6 0.8 1 1.2

x

y

0

0.5

1

1.5

2

2.5

0 0.2 0.4 0.6 0.8 1 1.2

x

f ( x )

במקרה הבדידmY. . . 1Y

1X . ijP . . mX

( ),ijP P x i y j= = =

( ) ( )1

,m

i i jj

P X X P X X Y Y=

= = = =∑

דוגמא 1 0 X\Y 0.3 0.2 0.1 0 0.7 0.4 0.3 1

22

0.6 0.4

אי תלות בין שני משתנים מקריים

הגדרהx, אם לכל בלתי תלויים יקראו X,Yשני משתנים מקריים y∈:

( ) ( ) ( ),P X x Y y P X x P Y y≤ ≤ = ≤ ⋅ ∈

:או

( ) ( ) ( ),XY X YF x y F x F y= ⋅

הערה : רציפיםX,Yעבור X,Yבלתי תלויים אם ורק אם :

( ) ( ) ( ), : ,X Y XYx y f x f y f x y∀ ∈ ⋅ =

: בדידיםX,Yעבור X,Yבלתי תלויים אם ורק אם :

( ) ( ) ( ),i i i iP X x Y y P X x P Y y= = = = ⋅ =

משפט1תלויים אם ורק אם לכל שתי פונקציות בלתי X,Yמשתנים מקריים 2,g gמתקיים :

( ) ( )( ) ( )( ) ( )( )1 2 1 2E g x g y E g x E g y⋅ = ⋅

הוכחה :אזי, בלתי תלוייםX,Yנניח

( ) ( ) ( ),XY X Yf x y f x f y= ⋅

( ) ( )( ) ( ) ( ) ( ) ( )( ) ( ) ( )( ) ( )( )1 2 1 2 1 2

1 2 1 2

XY X Y

X Y

E g x g y g x g y f dxdy g x g y f f dxdy

g x f dx g y f dy E g x E g y

⋅ = ⋅ ⋅ = ⋅ ⋅ ⋅ =

⋅ ⋅ ⋅ = ⋅

∫∫ ∫∫∫ ∫

:ובכיוון ההפוך

( ) [ ]

( ) [ ]

1

2

11 ,

22 ,

11

0

11

0

t

t

x tg x

otherwise

y tg y

otherwise

−∞

−∞

≤⎧= = ⎨

⎩≤⎧

= = ⎨⎩

( )( ) ( ) ( ) ( )

( )( ) ( )

1

1 1 1

2 2

1t

X X

Y

E g x f x dx P X t F t

E g y F t−∞

= ⋅ = ≤ =

=

∫

( ) ( ) ( ) ( ) ( )

( ) ( )( ) ( )( ) ( )( ) ( ) ( )

1 2

1 2 1 2

1 2 1 2

, , ,t t

XY

X Y

F t t f x y dxdy g x g y f x y dxdy

E g x g y E g x E g y F x F y

∞ ∞

−∞ −∞ −∞ −∞

= = =

= =

∫ ∫ ∫ ∫

.תלות-וזוהי הגדרת האי :ובפרט

: בלתי תלויים אזיX,Yאם

23

EXY=EX*EY

!)הכיוון ההפוך אינו נכון(דוגמא

2

12 41 1 14

4 21 111 4 2

2 14

X Y X

⎧⎪⎪

⎧⎪⎪⎪ ⎪= = =⎨ ⎨

⎪ ⎪− ⎪⎪ ⎩

⎪−⎪⎩

12 0 02

EY EX EXY= = =

2 1 -1 -2 Y\X 0 1/4 1/4 0 1 1/4 0 0 1/4 4

Z=g(X,Y)פונקציה של שני משתנים מקריים

טענה : אזיZ=X+Y בלתי תלויים X,Yאם

( ) ( ) ( ) *Z X Y X Yf z f z y f y dy f f∞

−∞

= − =∫

:Z=g(X,Y) כללי Zעבור

( ) ( )( ) ( ) ( ), , ,E Z E g X Y g x y f x y dxdy= = ∫∫

דוגמא

( ) ( )

( ) ( )X Y

XY XY XY

XY XY

f x f y

E X Y x y f dxdy xf dxdy yf dxdy

x f dy dx y f dx dy EX EY∞ ∞ ∞ ∞

−∞ −∞ −∞ −∞

+ = + = + =

+ = +

∫∫ ∫∫ ∫∫

∫ ∫ ∫ ∫

הגדרה : הואY לX בין covarianceה

( ) ( )( )( ),XYC Cov X Y E X EX Y EY= = − −

טענה( ),Cov X Y EXY EX EY= − ⋅

הוכחה

( ) ( )( )( ),Cov X Y E X EX Y EY EXY EX EY EX EY EX EY

EXY EX EY

= − − = − ⋅ − ⋅ + ⋅ =

− ⋅

24

הגדרה–מקדם מתאם : הואX,Yמקדם המתאם של

( )( ) ( )

,Cov X Y

V X V Yρ =

טענהX,Y 1XYρלכל ≤

) :כלומר ) ( ) ( )2 ,Cov X Y V X V Y≤

1הוכחה): צריך להוכיח ) ( ) ( ),Cov X Y V X V Y≤

: ממשיtעבור כל

( ) ( )( )

( ) ( )( ) ( )( )( ) ( ) ( )

2

0 0

2 22

2

0

2

2 ,

X EXE t X EX Y EY

E t X EX t X EX Y EY Y EY

t V X t Cov X Y V Y

≥ ⇒ ≥

≤ − + − =

= − + − − + − =

+ ⋅ +

ולכן על מנת שאי השוויון יתקיים מוכרחים שהדיסקרימיננטה תהיה , tוזוהי משוואה ריבועית על :קטנה מאפס

( ) ( ) ( )( ) ( ) ( )

2

2

0 4 4 , 4

,

b ac Cov X Y V X V Y

Cov X Y V X V Y

≥ − = −

≥

טענה Cov(X,Y)=0: בלתי תלויים אזיX,Yאם

הוכחה( ) ( )( )( ) ( ) ( ), 0Cov X Y E X EX Y EY E X EX E Y EY= − − = − − =

הערה( )

( ), 0

,

EXY EX EY Cov X Y

Cov X Y EXY EX EY

= ⋅ ⇔ =

= − ⋅

הגדרהX,Y אם ואמיםבלתי מת Cov(X,Y)=0.

הערה .V(X+Y)=V(X)+V(Y) בלתי מתואמים אזי X,Yאם

הוכחה

( ) ( ) ( )( )( )( ) ( )2 2

,V X Y Cov X Y X Y E X Y EX EY X Y EX EY

E X EX E Y EY

+ = + + = + − − + − − =

− + −

. אך הבאתי אותה כאן למען שמירת הסדר4' בפועל הוכחה זו ניתנה בשיעור מס 1

25

הערה( ) ( ) ( )( ) ( )

, , ,

, ,

Cov X Y Z Cov X Z Cov Y Z

Cov aX Z aCov X Z

+ = +

=

פונקציה אופיינית משותפת,,: נתון , X YX Y f

( ) ( ) ( ) ( )

( ) ( ) ( )

1 2 1 2

1 2

1 2

1 2 1 2

, ,

, ,

i X Y i x yXY XY

i x yXY XY

E e f x y e

f x y e d d

ω ω ω ω

ω ω

ϕ ω ω

ϕ ω ω ω ω

+ +

− +

= =

=

∫∫∫∫

טענה): בלתי תלויים אזיX,Yאם ) ( ) ( )1 2 1 2,XY X Yϕ ω ω ϕ ω ϕ ω=

הוכחה

( ) ( ) ( ) ( ) ( ) ( )1 2 2 21 2 1 2, i X i Y i Y i Y

XY X YE e e E e E eω ω ω ωϕ ω ω ϕ ω ϕ ω= = =

טענה): אזיZ=X+Y בלתי תלויים ו X,Yאם ) ( ) ( )Z X Yϕ ω ϕ ω ϕ ω=

הוכחה

( ) ( ) ( ) ( ) ( ) ( ) ( )i Z i X i Y i X i YZ X YE e E e e E e E eω ω ω ω ωϕ ω ϕ ω ϕ ω= = = =

טענה : אזיZ=X+Y בלתי תלויים ו X,Yאם

( ) ( ) ( ) *Z Y X X Yy

f z f y f z y dy f f∞

=−∞

= − =∫

הוכחה

( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( )

ת"ב,

*

z y z y

Z XY X Yy x y x

z y

Y X Y Xy x y

Z Y X X Yy

F z P X Y Z f x y dxdy f x f y dxdy

f y f x dx dy f y F z y dy

f z f y f z y dy f f

− −∞ ∞

=−∞ =−∞ =−∞ =−∞

−∞ ∞

=−∞ =−∞ =−∞

∞

=−∞

= + ≤ = = =

⎛ ⎞= −⎜ ⎟⎜ ⎟

⎝ ⎠

= − =

∫ ∫ ∫ ∫

∫ ∫ ∫

∫

וגמאדX,Y~N(0,1) בלתי תלויים Z=X+Y:

26

( ) ( ) ( ) ( )

( )

22

22 2

2 222

1 12 2

11 122 22 2 2 2

222 1~ ,

2 2

1 12 2

1 12 4

y z y

Z Y X

zz zy

z zy y z yzN

f z f y f z y dy e e dy

e e dy e

π π

π π

∞ ∞− − −

−∞ −∞

⎛ ⎞∞ − −− −⎜ ⎟⎝ ⎠

−∞⎛ ⎞+ − = − +⎜ ⎟⎝ ⎠ ⎛ ⎞

⎜ ⎟⎝ ⎠

= − = =

= =

∫ ∫

∫

טרנספורמציה של משתנה מקרי דו ממדי)יהי )1 2,X Xמשתנה מקרי דו ממדי :

( )

( )( )( )

2 2

1 2

1 1 1 2

2 2 1 2

:,

,,

Y g X

gY Y Y

Y g X XY g X X

=

→

=

=⎧⎪⎨ =⎪⎩

יעקביאן

( )1 1

1 21 2

2 2

1 2

,

g gx x

J X Xg gx x

∂ ∂∂ ∂

=∂ ∂∂ ∂

2Y: נתון ) נחפש ∋ )Yf y:

2Xאם לא קיים ): אזיg(X)=Y כך ש ∋ ) 0Yf y הוא הפתרון היחיד של Xנניח כי , =

g(X)=Y:

( ) ( ) ( )1Y Xf y f x

J x=

דוגמא[ ]1 2, ~ 0,1X X Uמשתנים מקריים בלתי תלויים :

( ) [ ] [ ]1 2, 1 2

1 0,1 0,1,

0X Xf x xotherwise

⎧ ×= ⎨⎩

1 1 2

2 1 2

1 21

1 22

2

2

Y X XY X X

Y YX

Y YX

= += −

+=

−=

27

1 2 1

1 2 1

1 2 1

1 2 1

01 200 2

X Y YX Y YX Y YX Y Y

= ⇒ = −= ⇒ = − += ⇒ == ⇒ = −

:היעקביאן הוא

1 12

1 1YX∂

= = −−∂

:ומתקיים

( ) 1 2

1 2 1 21 1, 12 2 2

0

X XY

y y y yf y BJf y

y B

⎧ + −⎛ ⎞ = ⋅ ∈⎪ ⎜ ⎟= ⎝ ⎠⎨⎪ ∉⎩

התפלגות נורמלית דו ממדית : נקראים נורמליים במשותף אם פונקצית הצפיפות שלהם היא מהצורהX,Yמשתנים מקריים

( ) ( )( ) ( )( ) ( )2 2

1 1 2 22 22

1 21 2

1 22 1

21 2

1,2 1

x x y y

XYf x y eμ μ μ μ

ρσ σσ σρ

πσ σ ρ

⎛ ⎞− − − −⎜ ⎟− − +⎜ ⎟+ ⎝ ⎠=

−

): ונסמן )1 2 1 2, ~ , , , ,X Y N μ μ σ σ ρ

:וכן

( )( )

( )

21 1

22 2

~ ,

~ ,

,

X N

Y N

X Y

μ σ

μ σ

ρ ρ=

הערה . נורמליים במשותף(X,Y) נורמליים לא בהכרח שX,Yאם

התפלגות מותנית ותוחלת מותנית

( ) ( )( )

|P A B

P A BP B∩

=

במקרה הבדידX,Y מתפלגים P(X=i,Y=j):

( ) ( )( )|

,| XY

Y XX

P x i y jP y j x i

P x i= =

= = ==

P(Y,X=I) זוהי פונקצית הסתברות לפי Y:

( )( )

( ) ( ) ( )|

,1| 1

XYj

Y X Xj X X

P x i y jP y j x i P x i

P x i P x i

= == = = = = =

= =

∑∑

דוגמא 2 1 X\Y 0.3 0.2 0.1 1

2Y

2 1Y Y= −

2 1Y Y=

1Y

2 1 2Y Y= − +

2 1 2Y Y= −

28

0.7 0.4 0.3 2 0.6 0.4

| 1

113223

Y XP =

⎧⎪⎪= ⎨⎪⎪⎩

במקרה הרציף

( ) ( )( )

,|Y

P Y y MF y M

P M≤

=

( ) ( )( )

( )( )

, ,| XY

YX

P Y y X x F x yF y X x

P X x F x≤ ≤

≤ = =≤

( ) ( ) ( ) ( ) ( )1 1| , ,X Y X

Y XYX X

f y X x f z t dzdt f z y dzF x y F x−∞ −∞ −∞

∂≤ = =

∂ ∫ ∫ ∫

:פן יותר כלליובאו

( ) ( ) ( )( ) ( )1 2

1 22 1

, ,| XY XY

YX X

F x y F x yF y x X x

F x F x−

≤ ≤ =−

( )( )

( ) ( )

2

11 2

1 2

,|

x

xY

X X

f z y dzf y x X x

F x F x≤ ≤ =

−

∫

:X=tעבור

( ) ( )( )

( ) ( )

( )

( ) ( )( )( )| 0 0 0

,,

,| lim | lim lim

t h

t h XYtXY

XYtY X t Yh h h

X XX X X

f z y dzf z y dz

f t yhf y x f y t x t hF t h F tF t h F t f t

h

+

+

= → → →= ≤ ≤ + = = =

+ −+ −

∫∫

הגדרה : היאX=t בהינתן Y של הצפיפות המותנית

( ) ( )( )|

,XYY X t

X

f t yf y

f t= =

X,Yהתפלגות מותנית

( ) ( ) ( )| | 0| | lim |

Y

Y X x Y X hF y x f t x dt P Y y x X x h= →

−∞

= = ≤ ≤ ≤ +∫

דוגמא

( )2 0 1

,0

x yf x y

otherwise< < <⎧

= ⎨⎩

( ), 1f x y dydx∞ ∞

−∞ −∞

=∫ ∫

29

( ) ( )1

2 2 1 0 1Xx

f x dy x x= = − ≤ ≤∫

( )0

2 2 0 1y

Yf y dx y y= = ≤ ≤∫

( ) ( )( ) ( )|

, 2 1| 0 12 1 1

XYY X

X

f x yf y x x y

f x x x= = = ≤ ≤ ≤

− −

:x=1/3עבור

|

3 1 11| 2 33 0

Y X

yf y x

otherwise

⎧ ≤ ≤⎪⎛ ⎞= = ⎨⎜ ⎟⎝ ⎠ ⎪⎩

( )|2 1|

2X Yf x yy y

= =

:y=1/2עבור

|

12 01| 22 0

X Y

xf x y

otherwise

⎧ ≤ ≤⎪⎛ ⎞= = ⎨⎜ ⎟⎝ ⎠ ⎪⎩

Bayesנוסחת

( ) ( ) ( )( )

||

f y x f xf x y

f y=

( ) ( ) ( )|f y f y x f x dx∞

−∞

= ∫

תוחלת מותנית E(Y|X=x): ונגדירX,Yנתונים משתנים מקריים

במקרה הבדיד( ) ( )|| |Y X

yE y X x yP y X x= = =∑

במקרה הרציף

( ) ( )|| |Y XE Y X x yf y x dy∞

−∞

= = ∫

)המשך מדוגמא קודמת(דוגמא

( )|1| 0 1

1Y Xf y x x yx

= ≤ ≤ ≤−

( )1 1 1|

1 2x

xE Y X x y dyx

+= = =

−∫

:X=1/2 עבורE(Y|X=x)=3/4

30

( )1 1|

2x

yE X Y y x dxy

= = =∫

הערה ולכן מהווה משתנה X היא פונקציה של המשתנה המקרי g(x)=E(Y|X=x)התוחלת המותנית

.מקרי חדש

טענה

( ) ( )function of X

|E E Y X x E Y⎛ ⎞⎜ ⎟= =⎜ ⎟⎝ ⎠

הוכחה

( )( ) ( ) ( )

( ) ( ) ( )

| || | |

,

Y X Y X X

XY Y

E E Y X x E yf y x dy yf y x dyf dx

y f x y dx dy yf y dy E Y

∞ ∞ ∞

−∞ −∞ −∞

∞ ∞ ∞

−∞ −∞ −∞

⎛ ⎞= = =⎜ ⎟

⎝ ⎠⎛ ⎞

= = =⎜ ⎟⎝ ⎠

∫ ∫ ∫

∫ ∫ ∫

דוגמא

( )1 1 1|

1 2x

xE Y X x y dyx

+= = =

−∫

): על פי הטענה )12XE E Y+⎛ ⎞ =⎜ ⎟

⎝ ⎠

0

0.2

0.4

0.6

0.8

1

1.2

0 0.2 0.4 0.6 0.8 1 1.2

x

E ( Y|X

31

דוגמא

( )

( )

( )

( )( )

1 2

1

1 2

112,112

122| 1102

| 1 1

102| 1122

| 1 1

|

X X

X XY X X

P Y X

E Y X

P Y X

E Y X

E Y X x X

⎧⎪⎪= ⎨⎪−⎪⎩

== +

⎧⎪⎪= = ⎨⎪⎪⎩

= =

⎧⎪⎪= − = ⎨⎪−⎪⎩

= = −

= =

הערה1: בהנתן 2 3, , ...X X X

): היא כזו ש Martingaleסדרת מרטינגייל )1 |n n nE X X X+ =.

המשך דוגמא1אם 2Y X X= : אזי⋅

( )

( )

( )

112| 1112 | 0112| 1112

P Y X

E Y X x

P Y X

⎫⎧⎪⎪⎪= = ⎪⎨⎪⎪− ⎪⎪⎩ ⎪⇒ = =⎬

⎧ ⎪⎪ ⎪⎪= − = ⎨ ⎪⎪ ⎪−⎪ ⎪⎩ ⎭

דוגמא רציפה

( )2 21 2 1 2, ~ , , , ,X Y N μ μ σ σ ρ

( ) ( )2 22| 2 1 2

1

, 1XYY X

X

ff N xf

σμ ρ μ ρ σσ

⎛ ⎞= = + − −⎜ ⎟

⎝ ⎠

( ) ( ) 22 1

1

|E Y X x x σμ ρ μσ

= = + −

32

2μ: והתוחלת שלו הוא

דוגמא פרטית

( )

1 22 21 2

0

1|E Y X x x

μ μ

σ σρ

= =

= =

= =

משתנים אקראיים רב מימדיים): וקטור אקראי )1

TnX X X= …

X:2: פונקציה ממרחב תוצאות הניסוי Ω→

( ) ( ) ( )1 1 1 1 2 2,

nX X X n n nF x F x x P X x X x X x= = ≤ ≤ ≤… … …

( ) ( )1 2

nX

Xn

F xf x

x x x∂

=∂ ∂ ∂

אי תלות1 nX X…יקראו בלתי תלויים :

:אם ורק אם

( ) ( ) ( )1 1n nf x x f x f x= ⋅ ⋅… …

:אם ורק אם

( ) ( ) ( )1 1n nF x x F x F x= ⋅ ⋅… …

:רק אםאם ו

1לכל nX X… המאורעות i iX x≤בלתי תלויים .

הערה .אי תלות בזוגות אינה גוררת אי תלות

דוגמא

1 2

3 1 2

1, ~2

X X B

X X X

⎛ ⎞⎜ ⎟⎝ ⎠

= ⊕

.כל זוג בלתי תלוי אך הקבוצה תלויה

)מטריצת הקווריאנס של )1T

nX X X= …

( ) ( ),i jijCov X Cov X X=

( )1

n

EXE X

EX

⎛ ⎞⎜ ⎟= ⎜ ⎟⎜ ⎟⎝ ⎠

( ) ( )( )( )TCov X E X EX X EX= − −

33

Xמטריצת קורלציה של וקטור אקראי ( )

( ),

TXX

XX i j

R E X X

R i j EX EX

= ⋅

= ⋅

טענה

( ) ( )T TCov X E X X EX EX= ⋅ − ⋅

הוכחה

( ) ( ), : ,i j i j i ji j Cov X X E X X EX EX∀ = ⋅ ⋅

תכונות( )1 n

n n

X X XAY A X

×

=

= ⋅

…

( ) ( )

( ) ( )( ) ( )( )( )( )

( ) ( )( ) ( )

T T T

T

A B B A

T T T

E A X A E X

Var A X E A X E A X A X E A X

E A X EX X EX A A V X A

⋅ = ⋅

⋅ = ⋅

⋅ = ⋅ − ⋅ ⋅ ⋅ − ⋅ =

= ⋅ − ⋅ − ⋅ = ⋅

1 nX X…כלומר, אם הם בלתי מתואמים בזוגות, בלתי מתואמים:( ), 0i ji j Cov X X≠ ⇒ =

. אלכסוניתCov(X)אזי

דוגמא

ממוצע ושונות של מדגם מקרי1נתונים nX X…בלתי מתואמים :

( ) 2i

i

EX

V X

μ

σ

=

=

: נסמן1

1 n

ii

X Xn =

= ).ממוצע מדגם (∑

)נמצא ),EX V X:

( ) ( )

( ) ( ) ( )

1 1

2

2 21 1 1

1 1

1 1 1

n n

i ii i

n n n

i i ii i i

E X E X E Xn n

V X V X V X V Xn n n n

μ

σ= =

= = =

⎛ ⎞= = =⎜ ⎟⎝ ⎠⎛ ⎞ ⎛ ⎞

= = = =⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

∑ ∑

∑ ∑ ∑

:שונות המדגם

34

( )

( ) ( )

( ) ( ) ( ) ( ) ( )( )

( )( ) ( )( )

2

1

2

1

2 2

2

1

11

11

2

1 1

n

ii

n

ii

i i i i

n

i i jj

V X Xn

E V E X Xn

E X X E X X V X V X E X X

E X X E X XN n

μ μ μ μ

μ μ μ μ σ

=

=

=

= −−

= −−

− = − + − = + − − −

− − = − − =

∑

∑

∑

תכונות מטריצת הקווריאנס

הגדרהTA אם סימטרית היא Aמטריצה A=

טענהTA: וגונלי כלומרמטריצה סימטרית ניתנת ללכסון אורת U D U= ⋅ ⋅

1:כך ש 0

0

T

n

U U I

Dλ

λ

⋅ =

⎛ ⎞⎜ ⎟= ⎜ ⎟⎜ ⎟⎝ ⎠

)אם )1 nU U U= TA אזי … U D U= ⋅ i: פירושו כי⋅ i iA U Uλ⋅ = ⋅

הגדרות:אם מוגדרת אי שלילית נקראתA, סימטריתAתהי .א 0n TX X A X∀ ∈ ⋅ ⋅ ≥

: אם מוגדרת חיוביתנקראת A .ב 0n TX X A X∀ ∈ ⋅ ⋅ >. מתקיים אם ורק אם כל הערכים העצמיים אי שליליים' א מתקיים אם ורק אם כל הערכים העצמיים חיוביים' ב

טענה

)נתון וקטור אקראי )1T

nX X X= : עם מטריצת הקווריאנס…

( ) ( ),i jC V X Cov X X⎛ ⎞⎜ ⎟

= = ⎜ ⎟⎜ ⎟⎝ ⎠

.

.מטריצת הקווריאנס היא מטריצה מוגדרת אי שלילית

הוכחהCיהי , סימטריתnw∈0: וצריך להוכיח כיTW C W⋅ ⋅ ≥

T:נגדירi i

iZ W X W X= ⋅ =∑

( ) ( ) ( )0 T T TVar Z V W X W V X W W C W≤ = ⋅ = ⋅ ⋅ = ⋅ ⋅

תרגיל : אי שליליתXXRנוכיח כי

35

nVיהי 0T: צריך להוכיח∋XXV R V ≥

T :נסמןi i

iZ V X V X= = ⋅∑

( ),

2

1 1

, ,

0

i j

n n

i i j ji j

Ti j i j XX i j

i j i j

EZ E X V X V

E X X V V R V V V R V

= =

⎛ ⎞⎛ ⎞≤ = ⋅ ⋅ =⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠

⋅ ⋅ ⋅ = ⋅ ⋅ = ⋅ ⋅

∑ ∑

∑ ∑

תרגיל

)נתון וקטור אקראי )1T

nX X X EX VX Cμ= = =…

TCנניח U D U= ⋅ 1: כאשר⋅ 0

0

T

n

U U I

Dλ

λ

⋅ =

⎛ ⎞⎜ ⎟= ⎜ ⎟⎜ ⎟⎝ ⎠

): ירנגד )TY U X μ= ⋅ −

1נראה כי nY Y…משתנים מקריים בלתי מתואמים ובעלי תוחלת אפס .

הוכחה

( ) ( ) ( )( ) ( ) ( ) ( )( )

( ) ( )( )

2

2

0T T

T T

T T

E Y U EX U

V Y E Y Y E U X X U

U E X X U U C U D

μ μ μ

μ μ

μ μ

= ⋅ − = ⋅ − =

= ⋅ = ⋅ − ⋅ − ⋅ =

= ⋅ − ⋅ − ⋅ = ⋅ ⋅ =

פונקציה אופיינית של וקטור אקראי)יהי )1 nX X X= : וקטור אקראי…

( ) ( ) i iTi

i Xi X

X E e E eω

ωϕ ω⋅∑⎛ ⎞

= = ⎜ ⎟⎝ ⎠

טענה : וקטור אקראי של משתנים מקריים בלתי תלויים אזיXאם

( ) ( )1

i

n

X X ii

ϕ ω ϕ ω=

=∏

הוכחה

( ) ( ) ( )1 1 1

i ii i i i i

i

n n ni Xi X i X

X X ii i i

E e E e E eω

ω ωϕ ω ϕ ω⋅

⋅ ⋅

= = =

∑⎛ ⎞ ⎛ ⎞= = = =⎜ ⎟ ⎜ ⎟

⎝ ⎠⎝ ⎠∏ ∏ ∏

מסקנה

1יהיו nX X…משתנים מקריים בלתי תלויים ו 1

n

ii

Z X=

= : אזי∑

36

( ) ( )1

:i

n

Z Xi

ω ϕ ω ϕ ω=

∀ ∈ =∏

הוכחה): וכן∋ωיהי ), ,V ω ω= …:

): לפי המשפט הקודם ) ( )1

i

n

X X ii

ϕ ω ϕ ω=

=∏

( ) ( ) ( ) ( )1 1

1

n n

i ii i

i

ni X i Xi Z

Z X Xi

E e E e E e Vω ω

ωϕ ω ϕ ϕ ω= =

=

⎛ ⎞ ⎛ ⎞∑ ∑⎜ ⎟ ⎜ ⎟= = = = =⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

∏

מסקנה

1יהיו nX X… משתנים מקריים בלתי תלויים עם צפיפות iXfו

1

n

ii

Z X=

= ∑:

1 2* * *

nZ X X Xf f f f= …

דוגמא

( )10 1i

PX B P

P⎧

= = ⎨ −⎩

1 nX X…משתנים מקריים בלתי תלויים ו 1

n

ii

Z X=

= ∑

( ) ( ) ( )

( ) ( )( ) ( )

( ) ( )

0

1

1

0

i

i

i X iX

nk n ki k ikZ

k

n k k

E e P Pe

nP Pe n P P e

k

nP Z k n P P k

k

ω ω

ω ω

ϕ ω

ϕ ω −

=

−

= = − +

⎛ ⎞= − + = ⋅ −⎜ ⎟

⎝ ⎠⎛ ⎞

= = ⋅ − ∈ ∪⎜ ⎟⎝ ⎠

∑

דוגמא( )~X Poisson λ

( )

( ) ( ) ( )1

0

0,1, 2,3!

!

i

k

kei X i k

Xk

eP X k kk

eE e e ek

ω

λ

λλω ω

λ

λϕ ω

−

−∞−

=

⋅= = =

⋅= = =∑

…

מה התוחלת של 1

n

ii

Z X=

= ∑.

1אם nX X…מתפלגים פואסון ובלתי תלויים :

37

( ) ( ) ( ) ( )11

1 1

~

ii i

i i

i

n n X eX eZ X

i i

ii

e e

Z poisson X

ωω

ϕ ω ϕ ω−

−

= =

∑= = =

⇓

⎛ ⎞⎜ ⎟⎝ ⎠

∏ ∏

∑

וקטורים אקראיים גאוסיים : יקרא גאוסי אםXמשתנה מקרי

( )

( ) ( )

22

12

2

12

x

Xf e

E X V X

μσ

πσμ σ

− −=

= =

): ונסמן )2~ ,X N μ σ

): ומתקיים )2 21

2i

X eωμ ω σ

ϕ ω−

=

הגדרה

)וקטור אקראי )1T

nX X X= אם כל צירוף ליניארי של איברי ) ממדיn (וקטור נורמלי יקרא …

)כלומר אם לכל , הוא משתנה מקרי נורמליXהקבוצה )1, , nna a a∀ = ∈… ,

Ti i

ia X a X⋅ = .נורמלי) ממדי-חד( הוא משתנה מקרי ∑⋅

הערה . מתפלג נורמלית אזי כל אחד מרכיביו מתפלג נורמליתXאם

הערות : וקטור אקראי גאוסיXנניח

. וקטור אקראי גאוסיnb∈ X+bלכל .א

nלכל מטריצה .ב nA × ,AXוקטור אקראי גאוסי .

'ב-הוכחה ל . וקטור אקראי נורמליY וצריך להוכיח כי Y=AXנסמן

Ta צריך להוכיח כי ∋naיהי Y⋅משתנה מקרי נורמלי .

( ) ( )T T Ta Y a A X a A X⋅ = ⋅ ⋅ = ⋅ ⋅

( )Ta A X⋅ . וקטור אקראי גאוסיY וקטור אקראי גאוסי ולכן ⋅

:אם

( )( )( )

1T

n

T

X X X

E X

V X C

C U D U

μ

=

=

=

= ⋅ ⋅

…

)אזי עבור )TY U X μ= ⋅ −:

38

( )( )

0E Y

V Y D

=

=

. וקטור אקראי גאוסי המורכבת ממשתנים מקריים בלתי מתואמיםYו

הערה

יהי

( )( )( )

1T

nX X X

E X

V X C

μ

=

=

=

…

ויהי , וקטור אקראי גאוסיn

T

aZ a X∈

= ⋅

( ) ( )T TE Z a E X a μ= ⋅ = ⋅

( ) ( ) ( )( )( ) ( )( )

TT T T T

TT T

V Z E a X a a X a

E a X X a a C a

μ μ

μ μ

= − ⋅ − =

= ⋅ − ⋅ − ⋅ = ⋅ ⋅

): ולכן )~ ,T TZ N a a C aμ⋅ ⋅ ⋅

טענה

וקטור אקראי גאוסי Xיהי ( )( )

E X

V X C

μ=

= : היאXהפונקציה האופיינית של ,

( )12:

T Ti ii

i X i CnX E e e

ω ω μ ω ωω ϕ ω

⋅ − ⋅ ⋅∑⎛ ⎞∈ = =⎜ ⎟

⎝ ⎠

הוכחהnω∈ ,TZלכל Xω= : הוא משתנה מקרי חד ממדי גאוסי⋅

( )~ ,T T TX N Cω ω μ ω ω⋅ ⋅ ⋅ : ומתקיים⋅

( ) ( ) ( ) ( )21 11 11 2 21T Ti E Z V Z i Ci

ZZE e e e

ω μ ω ωϕ

⋅ ⋅ − ⋅ ⋅ − ⋅ ⋅⋅ ⋅= = =

( ) ( )i i

i

i Xi Z

XE e E eω

ϕ ω⋅

⋅∑⎛ ⎞

= =⎜ ⎟⎝ ⎠

): ולכן )12

T Ti C

X eω μ ω ω

ϕ ω− ⋅ ⋅

=.

:ועל ידי התמרת פורייה הפוכה

( )( )

( ) ( )121

2

Tx C x

X nf x e

C

μ μ

π

− − ⋅ ⋅ −=

⋅

מסקנה1אם nX X…גאוסיים במשותף :

1אם nX X…אזי הם גם בלתי תלויים בלתי מתואמים .

הוכחה

)יהי )1T

nX X X= :אזי, בלתי מתואמיםiX, וקטור אקראי…

39

)אם )

21

2

0

0 n

V X Cσ

σ

⎛ ⎞⎜ ⎟

= = ⎜ ⎟⎜ ⎟⎝ ⎠

:אזי

21

1

2

0

0 n

Cσ

σ

−

−

−

⎛ ⎞⎜ ⎟

= ⎜ ⎟⎜ ⎟⎝ ⎠

2: וגם

1

n

ii

C σ=

=∏.

( ) ( ) ( )2

21

nT i i

i i

xx C x

μμ μ

σ=

−− ⋅ ⋅ − =∑

:ולכן

( )( )

( ) ( )( )

( )

( )

2

1 21

2

2

1122

0

12

0 0

1 122

12

ni iT

ii

i i

i

i

xnx C x

X ni i

xn n

X ii ii

f x e eC

e f x

μμ μ σ

μ

σ

πσπ

πσ

−

=

−−− − ⋅ ⋅ −

=

−−

= =

∑= = =

= =

∏

∏ ∏

טרנספורמציות של וקטור אקראי רב ממדי)יהי )1

TnX X X= וקטור אקראי…

( ) ( )( )

1

:, ,

ni

i i i n

gY g X g X X

Y g X

→

= =

=

…

nYנתון ) ונרצה לחשב את ∋ )Yf y . אם איןnX )כך ש∋ )Y g X= אז ( ) 0Yf y =.

nXנניח שקיים ) יחיד כך ש∋ )Y g X=:

( )

1 1

1

1

n

n n

n

y yx x

J Xy yx x

∂ ∂∂ ∂

=∂ ∂∂ ∂

:ומתקיים

( ) ( ) ( )1Y Xf y f x

J X=

דוגמא( )~ ,

n n

X NY A X

μ ε

×= ⋅ ,Aהפיכה ולכן :( )~ , TY N A A Aμ ε ונחשב את ( )Yf y:

): חישוב היעקוביאן )Y A J X AX∂

= ⇒ =∂

1X: וכן נתון כי A Y−= ⋅. :לכן

( ) ( )( )

( ) ( )1 1 111 21 1 1

2

TA y A y

Y X nf y f A y e

J A C

μ ε μ

π

− − −− ⋅ − ⋅ ⋅ ⋅ −−= ⋅ =⋅

:על מנת להביא לצורה סטנדרטית נחשב

40

( ) ( )( )

( ) ( )( )

( )

( ) ( ) ( )

1

1 1 1

1 1 1 1

1

TT

T

T T T

A A y Ay A

T T

A y A y

A y A A A A A y

y A A A y A

ε μμ

μ ε μ

μ ε μ

μ ε μ

−

− − −

− − − − −

⋅ ⋅ − ⋅− ⋅

−

⋅ − ⋅ ⋅ ⋅ − =

= ⋅ − ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ − =

= − ⋅ ⋅ ⋅ ⋅ ⋅ − ⋅

: וכן2TA A Aε ε⋅ ⋅ = ⋅

): ולכן ) ( ) ( ) ( ) ( )11

21 ,2

T Ty A A A y A TY T

f y e N A A AA A

μ ε μμ ε

π ε

−− − ⋅ ⋅ ⋅ ⋅ ⋅ − ⋅

= =⋅ ⋅ ⋅

שערוך אופטימלי במובן של שגיאה ריבועית

Mean Square Error Estimation כך שהשגיאה הריבועית Cנחפש קבוע , ננסה לקרב אותו על ידי קבועYנתון משתנה מקרי

)הממוצעת )[ ]2CyE . תהא מינימלית−

טענה .C=EYר מתקבל מינימום עבו

הוכחה( ) ( )( ) ( ) ( ) ( )( ) ( )2

22

22

2

CEYYV

CEYCEYEEYyEEYyE

CEYEYyECyE

−+=

=−+−−+−=

=−+−=−

ולכן

( ) ( )EYyECyE −≥− 2•

) Y: ידוע ונחפש משערך לXנניח . (X,Y)נתונה התפלגות משותפת של )XY . נחפש פונקציה של

X :C(X)כך ששגיאת השערוך הממוצעת היא מינימלית .( )( )2xCyEe −=

טענה :ימלי הואהמשערך האופט

( ) ( ) ( )∫∞

∞−

== dyxyyfXYExY XY ||ˆ|

הוכחה

( )( ) ( ) ( )( ) ( )∫ ∫∞

∞−

∞

∞−⎥⎦

⎤⎢⎣

⎡−=−= dxdyyfXCyExfXCyEe XYX |

22

) המתפלג על פי Y על פי המשפט הקודם עבור המשתנה המקרי X=tלכל )yf tXY המינימום |=

) ולכן E(Y|X=t)הוא )XYEYMSE |ˆ =.

הערהYXXY: גאוסיים בלתי תלויים אזי הם גאוסיים במשותףX,Yאם fff =.

41

דוגמאX,Yנחשב את , גאוסיים במשותףE(Y|X)

( )( )

( )( )

( ) ( ) ( ) ( ) ( ) ( ) ( ) 00

0,

00000000

000

0000

0

0

=⋅⇒=−=⋅

=⇒=−=

−=−=

XZEXXEYXEYXEXVXZEXV

EZXXXEYXE

XXVar

YXCovYZ

EYYYEXXX

0,Z Xגאוסיים במשותף ובלתי מתואמים ולכן בלתי תלויים :

( ) ( ) ( )( )

( )( ) ( )0 0 0

, ,0 | | |

Cov X Y Cov X YE Z E Z X E Y X X E Y EY X EX X

Var X Var X⎛ ⎞ ⎛ ⎞

= = = − = − − −⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

:ולכן השערוך האופטימלי הוא

( ) ( )( ) ( ),

|Cov X Y

E Y X EY X EXVar X

= + −

:כלומר

MSEY aX b= +

דוגמאY,nנורמליים בלתי תלויים

( ) ( )( )( ) 2

0

1

E Y E n

V Y

V n σ

= =

=

=

X=Y+n: נסמן

( )( )( )

2

ˆ |

1

0

MSEY E Y X

V X

E X

σ

=

= +

=

( ) ( )( ) ( )

( ) ( )

,ˆ |

, , 1

Cov X YY E Y X EY X EX

V X

Cov X Y Cov Y n Y

= = + −

= + =

:ולכן

2

1ˆ1

Y Xσ

=+

Yנבדוק גם את X=: :נחשב את שגיאת השערוך

2עבור

1ˆ1

Y Xσ

=+

:

( ) ( )( )

2 22

22 2 22

1 2 1 1ˆ 1 11 1 11

E Y Y E Y X E YX σσ σ σσ

+⎛ ⎞− = − = − + = −⎜ ⎟+ + +⎝ ⎠ +

Yעבור X=:

( ) ( )2 2 21 2 1E Y X E YX σ σ− = − + + =

42

:ולמציאת המשערך הטוב ביותר

22

22

2

111

1

σσ

σ σσ

− ≤+

≤+

שיערוך ליניארי אופטימלי . נתוןX, (X,Y)התפלגות משותפת של

Yנחפש משערך לינארי aX b= :MSE אופטימלי במובן +

( )( )2

,min

a bE Y ax b− +

טענה( )( )

( ) ( )

,Cov X Ya

Var X

b E Y aE X

=

= −

:כלומר

( ) ( )( ) ( )( ),

LMSE

Cov X YY E Y X E X

V X= + −

הוכחה): האופטימלי נתון על ידיbה, נתוןaעבור כל ) ( ) ( )b E Y aX E Y aE X= − = −

:b על ידי הצבת aנמצא את

( )( ) ( ) ( )( )( )( )( ) ( )( ) ( )( ) ( )( )

22

2 22 2

E Y aX b E Y E Y a X E X

a E X E X a E X E X Y E Y E Y E Y

− + = − − − =

= ⋅ − − ⋅ ⋅ − − + −

.aשמהווה משואה ריבועית על

2: אם נתון משוואה ריבועית 0a x b x c⋅ + ⋅ + : אזי=2bxa

= −⋅

: ולכן כאן

( )( )

, X Y Y

X X X

Cov X Ya

V Xρσ σ ρσσ σ σ

= = =

הגדרהX: ונסמן) אורתוגונליים( ניצבים X,Y נאמר כי E(XY)=0אם Y⊥.

Yאם aX b= : שגיאת השערוך היא+

( )Y aX bε = − +

:ממוצע שגיאת השערוך הוא

( )2e E ε=

טענהXε:עבור המשערך הליניארי האופטימלי מתקיים ⊥

): כלומר ) 0E Y a X b X− ⋅ − ⋅ =

43

הוכחה

( )2e E Y aX ba a∂ ∂

= − −∂ ∂

0e אופטימלי aעבור a∂

=∂

: ולכן

( ) ( ) ( ) ( ) ( )0 2 0 0e E Y aX b X E Y aX b X E X Xa

ε ε∂= = ⋅ − − ⋅ − ⇒ − − ⋅ = ⇒ ⋅ = ⇒ ⊥∂

טענה)אם ) ( )ˆ |MSEY C X E Y X= : ושגיאת השערוך היאX על ידי Y המשערך האופטימלי של =

( )Y C Xε = ), X פונקציה של לכל אזי − )W Xמתקיים :( )W Xε ⊥.

תכונות התוחלת המותנית1. ( ) ( ) , | , |XY YE g X Y X t E g t Y X t= = =

2. ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

| |

| |

E g X h Y X t g t E h Y X t

E g X h Y X g t E h Y X

⋅ = = ⋅ =

⋅ = ⋅

2-הוכחה ל( ) ( ) ( ) ( ) ( ) ( ) | | |Y YE g X h Y X t E g t h Y X t g t E h Y X t⋅ = = ⋅ = = ⋅ =

הוכחת הטענה

( ) ( )( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( )

|

| | |

0

|

| |

| |

| | 0

X Y Y

X

XY

XY E E Y X E Y

X Y

X Y E E Y X X E Y X

X Y

E W X

E Y E Y X W X

E E Y E Y X W X X

E W X E Y E Y X X

E W X E E Y X E Y X

ε

=

=

=

⋅ =

− ⋅ =

− ⋅ =

⋅ − =

⎧ ⎫⎪ ⎪⋅ − =⎨ ⎬⎪ ⎪⎩ ⎭

1Lשיערוך אופטימלי במובן

Eˆ: כלומר Y Y− מינימליRobust Estimate.

E כך שC נחפש סקלאר קבוע Yנתון משתנה מקרי Y C−מינימלי .

הגדרה

): כך שM הוא קבוע Y של משתנה מקרי (Median)החציון ) ( )12

M

Y YF M f y dy−∞

= = ∫

44

טענה: כלומר, הוא החציון1L האופטימלי במובן Yהמשערך הקבוע למשתנה מקרי

arg minC

m E Y C⎡ ⎤= −⎣ ⎦.

הוכחה

( ) ( ) ( ) ( ) ( )C

Y Y YC

E Y C Y C f y dy C Y f y dy Y C f y dy∞ ∞

−∞ −∞

− = − = − + −∫ ∫ ∫

:Cנגזור לפי

( ) ( )

( ) ( )

( ) ( )

( )

0

112

C

Y YC

C

Y YC

Y Y

Y

f y dy f y dy

f y dy f y dy

F C F C

F C

∞

−∞

∞

−∞

− =

=

= −

=

∫ ∫

∫ ∫

הרחבה לוקטור אקראי גאוסי( )( ) ( ),ˆ Cov X Y

Y EY X EXV X

= + −

:נרחיב זאת לוקטור אקראי גאוסי

( ) ( )( ) ( )1ˆ ,Y EY Cov X Y V X X EX−

= + ⋅ ⋅ −

דוגמא

( ) ( )( ) ( )1

5 1 5 1 5 3 3 13 3

ˆ ,Y EY Cov X Y V X X EX−

× × × ××

= + ⋅ ⋅ −

:ובכתיבה שונה

~אם ,TX a A C

NY b C B

⎛ ⎞⎛ ⎞⎛ ⎞ ⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠

: אזי

( )MSEY b C A X a= + ⋅ ⋅ −

משתנים מקריים מרוכבים

( ) ( ) ( )

*

2

, ::

X YZ X iYE Z E X iE Y

V Z E Z E Z Z E Z

E Z E Z

Ω→= + Ω→

= +

= − − =

−

:ובמקרה הרב ממדי

45

( ) ( ) ( )*transposedconjugate

V Z E Z E Z Z E Z+

⎧ ⎫⎪ ⎪⎪ ⎪= − −⎨ ⎬⎪ ⎪⎪ ⎪⎩ ⎭

מטריצה מוגדרת אי שלילית :במקרה הממשי

0Tx Ax .ם הערכים העצמיים הם ממשיים וחיוביים" אמ≤ :במקרה המרוכב

:שלילית כך ש-מטריצת הקווריאנס של וקטור אקראי מרוכב מוגדרת אי* 0

transposedconjugate

x A x+

⋅ ⋅ .ם הערכים העצמיים הם ממשיים וחיוביים" אמ≤

התכנסות של סדרת משתנים מקריים תזכורת

עבור סדרת מספרים ממשיים 1n na ∞

=) נאמר ש )limn nn

a L a L→∞

→ : אם=

0 : nN n N a Lε ε∀ > ∃ ∀ > − ≤

הגדרה

נתונה סדרת משתנים מקריים 1n nX ∞

= .X ונתון משתנה מקרי

נאמר שהסדרה 1n nX ∞

= : אםX למתכנסת בהסתברות

( )0 0n nP X Xε ε

→∞∀ > − > →

: ונסמןP

nX X→.

דוגמא[ ]

( ) ( )10,

0,1

11 01

0n

n

U

X nelse

ωω ω⎡ ⎤

⎢ ⎥⎣ ⎦

Ω =

⎧ ≤ ≤⎪= = ⎨⎪⎩

46

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

-0.2

0

0.2

0.4

0.6

0.8

1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

טענה0nX X→ ≡

הוכחה

( ) ( )( ) ( ) ( )( ) ( )

| |

1| 1 0

n n

n n

P X X P X

P Xn

ω ω ω ε ω ω ε

ω ω→∞

− > = > =

= = →

0: ולכןP

nX →.

הגדרה

ים מקריים נאמר כי סדרת משתנ 1n nX ∞

= תוחלת ריבועית במובן של X למשתנה מקרי מתכנסת

(Mean-Square)אם :

( ) 2 0n nE X X

→∞− →.

47

טענה

)אם ) 2 0n nE X X

→∞− אזי →

P

nX X→.

הוכחה :אי שוויון מרקוב

( ) E XP X ε

ε≥ ≥

ת אי שוויון מרקוב על המשתנה המקרי נפעיל א2

nX X−:

( ) ( ) 2

2 220

n

n n

E X XP X X P X Xε ε

ε

−≤ − ≥ = − ≥ ≤

0εולכל > 2

2 0n

n

E X X

ε →∞

−→

): ולכן ) 0n nP X X ε

→∞− > →

: כלומרP

nX X→.

(WLLN)החוק החלש של המספרים הגדולים : משפטמספיק להניח שהם בלתי מתואמים (נתונה סדרת משתנים מקריים בלתי תלויים ושווי התפלגות

).ובעלי תוחלת ושונות זהים

: נסמן ( ) 2n nE X V Xμ σ= =

: אזי1

1 n P

n ii

S Xn

μ=

= →∑

( )0 0P

n nnP S Sε μ ε μ

→∞∀ > − > → ⇔ →

הוכחה

( ) ( )

1 1

2

2 21 1 1

1 1

1 1 1

n n

n i ii i

n n n

n i i ii i i

E S E X E Xn n

V S V X V X V Xn n n n

μ

σ= =

= = =

⎧ ⎫= = =⎨ ⎬⎩ ⎭⎛ ⎞ ⎛ ⎞

= = = =⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

∑ ∑

∑ ∑ ∑

: בישב'שוויון צ-אי( ( ) ( )2

V XP X E X ε

ε− > ≤(

)ובמקרה שלנו )2

2nP Snσμ εε

− > ≤

0εיהי נתון ): צריך להראות כי, < ) 0nP S μ ε− > →

( )2

20 0n nP S

nσμ εε →∞

≤ − > ≤ →

ולכן P

nS μ→

48

הגדרה

סדרת משתנים מקריים 1n nX ∞

= Almost) כמעט תמיד X למשתנה מקרי מתכנסת

Everywhere)אם :

( ) ( ) ( )| 1nP X Xω ω ω→ =

: ונסמן.a e

nX X→

דוגמא[ ][ ]1 0,1

2 31 10, ,12 2

4 5 61 1 2 20, , ,13 3 3 3

7 10,4

0,11

1 1

1 1 1

1

UX

X X

X X X

X

⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦

⎡ ⎤⎢ ⎥⎣ ⎦

Ω =

=

= =

= = =

=

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

0εלכל >:

( ) ( )0 1 0n n nP X P Xε

→∞− > = = →

אבל .a e

nX → 0

דוגמא.

10,1 0

1 1,1,1, ,1,0,0,0, 010

a e

nn

n n

X

X

⎡ ⎤⎢ ⎥⎣ ⎦

→∞

= →

⎛ ⎞ = →⎜ ⎟⎝ ⎠

… …

49

הערה

( ) .

0 Pn

na e

n

E X XX X

X X

⎫− → ⎪ →⎬⎪→ ⎭

(SLLN)החוק החזק של המספרים הגדולים : משפטנתונה סדרת משתנים מקריים 1n n

X ∞

= . בלתי תלויים ושווי התפלגות

: אזי.

1

1 n a e

n i niS X

nμ

→∞=

= →∑

ערהה

( )

1

1

2

. .

1

0

n n

n

n ii

n

X i i d

S Xn

E S μ

∞

=

=

=

− →

∑

הוכחה

( ) ( )2

2 0n n nE S V S

nσμ

→∞− = = →

הגדרה

נתונה סדרת משתנים מקריים 1n nX ∞

= . בהתאמהF וnF בעלי התפלגויות X ומשתנה מקרי

)אם ) ( )n nF x F x

→∞: נסמןx לכל נקודת רציפות של →

F

nX X→

דוגמא[ ]

10,

0,11n

n

UX ⎡ ⎤

⎢ ⎥⎣ ⎦

=

50

Fn(1/7)

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-0.5 -0.3 -0.1 0.1 0.3 0.5 0.7 0.9 1.1 1.3 1.5

F

-0.2

0

0.2

0.4

0.6

0.8

1

1.2

-0.5 -0.3 -0.1 0.1 0.3 0.5 0.7 0.9 1.1 1.3 1.5

1 1171 171 17 7

n

n n

Fn

F

F F→∞

⎛ ⎞ = −⎜ ⎟⎝ ⎠⎛ ⎞ =⎜ ⎟⎝ ⎠⎛ ⎞ ⎛ ⎞→⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

CLTמשפט הגבול המרכזי

יהי 1n nX ∞

= : סדרת משתנים אקראיים בלתי תלויים ושווי התפלגות

( ) 2n nE X V Xμ σ= =

1

1 n

n ii

S Xn =

= ∑

)ויהי )~ 0,1X Nאזי :

FnSn Xμσ−

→

51

הוכחה

1 1 1 1

2

1 1

1 1

11

n n n n

i i i ii i i i n n

n n

i ii i

X E X X E Xn n S Sn

nV X v X nn

μ μσσ

= = = =

= =

⎛ ⎞ ⎧ ⎫− − ⎨ ⎬⎜ ⎟ − −⎝ ⎠ ⎩ ⎭= = =⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

∑ ∑ ∑ ∑

∑ ∑

דוגמא

1 10001~ . .2

X X B i i d⎛ ⎞⎜ ⎟⎝ ⎠

…

: נחשב את1000

1

600ii

P X=

⎛ ⎞>⎜ ⎟⎝ ⎠∑

( )

( ) ( )

( )

( ) ( )

1000

1

2

2 22

5001212

1 1 12 2 411000 1000 2504

500 ~ 0,1250

500 600 500 500600 6.5 6.515 15 15

ii

i

i

i i i

i

Y X

E Y

E X

E X

V X E X E X

V Y V X

Y N

Y YP Y P P erf

=

=

=

=

=

= − = − =

= ⋅ = ⋅ =

−

− − −⎛ ⎞ ⎛ ⎞> = > = > =⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

∑

2דוגמא

6

6

10

1

10

1

502,000 ?

n n

ii

X

P X

=

=

⎛ ⎞> =⎜ ⎟

⎝ ⎠∑

( )

( )

( ) ( )

610

15

5

5

5 10

2.5 10500,000 ~ 0,1500

5 10502,000 4 4500

ii

Y X

E Y

V YY N

YP Y P erf

=

=

= ⋅

= ⋅

−

⎛ ⎞− ⋅> = < =⎜ ⎟

⎝ ⎠

∑

52

תהליכים אקראיים תזכורת

X: :משתנה מקרי Ω→

,2: משתנה מקרי דו ממדי :X Y Ω→

:: וקטור אקראי nX Ω→

תהליך אקראי

בזמן בדיד :פונקציה

1 0 1

0 1

: , 1,0,1, , , , ,

: 0,1, , ,

X X X X

X X X−Ω→ = −

Ω→ =

… … … …

… …

בזמן רציף : |tX X X tΩ→ = ∈

דוגמא. .nX i i d

דוגמא :הילוך שיכור

1

1. .

1 1

1 2 1

n

n

n ii

P

n

pX i i d

p

Y X

Y pn

=

⎧= ⎨− −⎩

=

→ −

∑

דוגמא( ) ( ) ( )( )cos

, :tX A t

A

ω ω ϕ ω

ϕ

= +

Ω→

. משתנה מקריt ,tXלכל

הערה .ממשיים או מרוכבים, ידים או רציפיםתהליך אקראי בזמן בדיד או רציף מקבל ערכים בד

התפלגות מסדר ראשון( ) ( ) ( ), t tF x t F x P X x= = ≤

nהתפלגות מסדר ( ) ( )1 11 1n nt t n t t nF x x P X x X x= ≤ ≤… … …

53

( ) ( )tt

dF xf x

dx=

תוחלת

( ) ( ) ( )tt Xt E X xf x dxμ

∞

−∞

= = ∫

פונקציית האוטוקורלציה( ) ( ) ( )

1 2 1 21 2 1 2 , 2 1 2, 1,t tt t X XR t t E X X x x f x x dx dx= ⋅ = ∫∫

): בפרט ) 2, tR t t E X= שזהו ההספק הממוצע (Power) בזמן t.

פונקציית האוטוקווריאנס( ) ( )( ) ( )( )( ) ( ) ( ) ( )

1 21 2 1 2 1 2 1 2, ,t tC t t E X t X t R t t t tμ μ μ μ= − ⋅ − = −

דוגמא( )

[ ]0cos

~ 0,2tX a t

U

ω ϕ

ϕ π

= + .קבועים a0ω, כאשר

( ) ( )

( ) ( ) ( ) ( )

0

0 0

0 0

cos cos cos sin sin

cos cos sin sin 0

tt E X aE t aE

a t E t E

μ ω ϕ

ω ϕ ω ϕ= =

= = + = ⋅ − ⋅ =

⎛ ⎞⎜ ⎟= − =⎜ ⎟⎝ ⎠

( ) ( ) ( ) ( ) ( )

( )( ) ( )( )

( )( ) ( )

( )

21 2 1 2 0 1 0 2

20 1 2 0 1 2

0

20 1 2 1 2

2

, cos cos

1 cos cos 22

1 cos ,2

1,2

R t t E X t X t a E t t

a E t t t t

a t t C t t

R t t a

ω ϕ ω ϕ

ω ω ϕ

ω

=

= ⋅ = + ⋅ + =

⎧ ⎫⎪ ⎪= − + − + =⎨ ⎬⎪ ⎪⎩ ⎭

= − =

=

הגדרה1 אם עבור כל מספר סופי של אינדקסים לויבלתי תתהליך נקרא nt t…הוקטור האקראי :

1

n

t

t

X

YX

⎛ ⎞⎜ ⎟

= ⎜ ⎟⎜ ⎟⎝ ⎠

. הוא בלתי תלוי

54

הגדרה

1 ולכל n אם לכל גאוסי נקרא tXתהליך אקראי nt t… הוקטור האקראי

1

n

t

t

X

YX

⎛ ⎞⎜ ⎟

= ⎜ ⎟⎜ ⎟⎝ ⎠

הוא גאוסי

)ולכן . במשותף )1 nt tf x x… הוא פונקציה של ( ) ( ), ,i jt C t tμבלבד .( ) ( ), ,i jt C t tμ מתארים

.באופן מלא את התהליך

( ) ( )( )

( )( ) ( )

( ) ( )

1

1 1 1

1

, ,

, ,

n

n

n n n

E Y t t

C t t C t tV Y

C t t C t t

μ μ=

⎛ ⎞⎜ ⎟= ⎜ ⎟⎜ ⎟⎝ ⎠

…

(consistency)עקביות

הגדרה

)משפחת התפלגויות )1

1|n

nt t

t tF x x

n⎧ ⎫⎨ ⎬⎩ ⎭

… : אםעקבית נקראת …

( ) ( )1 1 1,

n n nt t t t tF x x F x x x+

= < ∞… …

דוגמא( ) ( )1 1 1 1 3,F X x F X x X≤ = ≤ < ∞

משפט ההרחבה של קולמוגורוב

קולמוגורובאנדריי

שאלו ההתפלגויות המשותפות tXבהנתן משפחה עקבית של התפלגויות קיים תהליך אקראי

.שלו

תהליכים אקראיים סטציונריים

הגדרה : אם התכונות הסטטיסטיות שלו לא משתנות בזמן(SSS)סטציונרי במובן הצר תהליך נקרא

1 11: :n nn t t t t t tn t t F F + +∀ ∀ =… ……

55

הערה ולכן 0X יש אותה התפלגות כמו לtX אז לSSS הוא Xאם tE X μ= . הפילוג המשותף של

1 2,t tX X זהה לפילוג של

2 10 , t tX X ) ולכן − )1 2,C t t2י רק ב תלו 1t t−.

דוגמא .i.i.dתהליך

דוגמא נגדית

הילוך שיכור עבור 12

p : אינו סטציונרי≠ ( )2 1nE Y n p= −.

הגדרה אם התוחלת שלו קבועה (WSS)סטציונרי במובן הרחב תהליך נקרא tE X μ= ופונקציית

)האוטקורלציה שלו תלויה רק בהפרש ) ( )1 2 1 2, ,R t t R t t t t= + +

X SSS X WSS⇒

:WSSעבור תהליך

( ) ( ) ( ) ( )( ) ( ) ( )

0

2

,0

,0

0 0,0 ,

t

t

R t R t E X X

C t C t

R R R t t E X

= = ⋅

=

= = =

הגדרה1 אם לכל (White noise)רעש לבן תהליך נקרא 2t t≠

1 2,t tX Xבלתי מתואמים .

( ) ( )1 1 21 2

1 2

,0

. .

tV X t tC t t

t ti i d White Noise

⎧ =⎪= ⎨≠⎪⎩

⇒

הערה)תהליך גאוסי נקבע לחלוטין על ידי ) ( ), ,i jt C t tμ ולכן WSS SSS⇒.

)בתהליך גאוסי סטציונרי )1 nX X…המטריצה תהיה כזו שבאלכסונים יהיו אותם המספרים .

דוגמא( )1 2 3, ,

1 114 100

1 114 41 1 1

100 4

X X X

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠

56

טענה : ממשי אזיWSS תהליך אקראי tX אם

( ) ( ) ( )( )20 2 0t s tE X X R R s+≤ − = −

הוכחה

( ) ( ) ( ) ( ) ( ) ( ) ( )( )( ) ( )

2 2 20 2 0 0 2 2 0

0 : 0t s t t s t t t sE X X E X X X X R R R s R R s

s R R s+ + +≤ − = + − ⋅ = + − = −

∀ ≠ ≥ הגדרה

:X(t),Y(t)נתונים שני תהליכים אקראיים בעלי התפלגות משותפת : ביניהם מוגדר על ידי)קורולציה מצטלבת (cross-correlationה

( ) ( ) ( )( )1 2 1 2,XYR t t E X t Y t=

)בניגוד ל ) ( ) ( )( )1 2 1 2,XXR t t E X t X t=

: מוגדר על ידיcross-covarianceה

( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )1 2 1 1 2 2 1 2,XY X Y XY X YC t t E X t t Y t t R t tμ μ μ μ= − ⋅ − = −

סיכום :X,Yעבור SSS התפלגות משותפתTI

WSS ( ) ( )1 2 1 2, ,XY XYR t t R t t t t= + +

והתוחלות קבועות

הגדרה

1 ולכל n אם לכל מוגדרת חיובית C(t,s)פונקציה nt t…המטריצה :

( ) ( )

( ) ( )

1 1 1

1

, ,

, ,

n

n n n

C t t C t t

C t t C t t

⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠

.מוגדרת חיובית

הערה . היא פונקציה מוגדרת חיוביתC(t,s)קווריאנס -פונקציית האוטו

WSSספקטרום ההספק של תהליך אקראי

הגדרה) תהליך אקראי סטציונרי עם פונקציית אוטוקורלציה tXנתון ) 0XX tR t E X X= ⋅ ,

) היא התמרת פוריה של tXשל ) צפיפות ההספק הספקטרלי (ספקטרום ההספק )XXR t.

( ) ( )

( ) ( )

i tX X

i tX X

S R t e dt

R S t e dt

ω

ω

ω

ω

∞−

−∞

∞

−∞

=

=

∫

∫

57

תכונות1. ( )XS ωפונקציה ממשית .

)י ממשי אז tXנניח .2 )XR t ולכן ( )XS ωפונקציות ממשיות וזוגיות :

( ) ( )X XS Sω ω= −.

( ) ( ) ( ) ( ) ( )0

1 1cos cos2X X XR t S t d S t dω ω ω ω ω ωπ π

∞ ∞

−∞

= =∫ ∫

3. ( )

( ) ( ) ( )

2

0

0 0

1 10 02 2

t X

iX X X

E X R

R S e d S dωω ω ω ωπ π

∞ ∞

−∞ −∞

= ≥

= = ≥∫ ∫

דוגמא

tX תהליך אקראי ממשי WSS 0tE X =

( )0cost tY X tω ϕ= +

[ ]~ 0, 2Uϕ πבלתי תלוי ב X.

( ) ( ) ( ) ( ) ( )( ) ( )( )

( ) ( )( )

1 2 1 21 2 0 1 0 2

1 2 0 1 2 0 1 2

1 2 0 1 2

, cos cos

1, cos cos 22

1 , cos2

YY t t t t

XX

XX

R t t E Y Y E X t X t

R t t E t t t t

R t t t t

ω ϕ ω ϕ

ω ω ϕ

ω

= ⋅ = + ⋅ + =

= ⋅ ⋅ − + + + =

= ⋅ −

( ) 0cos 0t tE Y E X E tω ϕ= ⋅ + =

.WSS תהליך tYולכן

( ) ( ) ( )01 cos2Y XR t R t tω= ⋅

( ) ( ) ( )( )0 014YY X XS S Sω ω ω ω ω= − + +

הגדרהt,בהנתן שני תהליכים tX Yבעלי התפלגות משותפת ,WSSבמשותף , XY t tR E X Y= ⋅.

: מוגדר על ידי (cross-spectrum)הספקטרום המצטלב

( ) ( )

( ) ( )12

i tXY XY

i tXY XY

S R t e dt

R t S e d

ω

ω

ω

ω ωπ

∞−

−∞

∞

−∞

=

=

∫

∫

.ויתכן שהוא מרוכב

טענה( ) ( )XY YXS Sω ω=

58

הוכחה

( ) ( ) ( ) ( ) ( ) ( )0 0XY XYR t E X t Y E Y X t R t− = − ⋅ = ⋅ − =

משפט

)תהי )S ω פונקציה חיובית ( )( )0S ω ) וכן ≤ )S dω ω∞

−∞

< כך X(t)אזי יש תהליך אקראי , ∫∞

)ש ) ( )XS Sω ω=.

הוכחה . מספר ממשיaיהי

ω משתנה אקראי עם צפיפות fω

[ ]~ 0, 2Uϕ πבלתי תלוי ב ω.

( )

( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )

( ) ( )

( ) ( )

1 2 1 2 1 2

0

2 21 2

t

2

2

0

,

WSS תהליך X

also:

12

therefore:2

i tt

i t it

i t i t i t t i t tX

i tX

i tX X

X

X a e

E X a E e E e

R t t E a e a e a E e a f e d

R t a f e d

R t S e d

S a f

ω ϕ

ω ϕ

ω ϕ ω ϕ ω ωω

ωω

ω

ω

ω ω

ω ω

ω ωπ

ω π ω

−

−

=

∞− − − −

−∞

∞

−∞

∞

−∞

= ⋅

= ⋅ ⋅ =

= ⋅ ⋅ ⋅ = ⋅ = ⋅

= ⋅

= ⋅

=

∫

∫

∫

:גם כן על פי הגדרה

( ) ( ) ( )2 2102X XR S d a f d aωω ω ω ωπ

∞ ∞

−∞ −∞

= ⋅ = ⋅ =∫ ∫

): כלומר ) 20XR a=

): נבחר ) ( )22

Sf

aω

ωω

π) : כך ש= ) 21

2S d aω ω

π

∞

−∞

⋅ =∫.

)ולכן ) ( )XS Sω ω=

תרגיל)נניח )S ωאזי קיים , חיובית זוגיתX(t) WSSממשי כך ש ( ) ( )XS Sω ω= .

( ) ( )cosX t a tω ϕ= ⋅ −.

הגדרה : נגדירX(t) WSSנתון תהליך אקראי

59

( ) ( )0T

X t t TX t

else⎧ <

= ⎨⎩

( ) ( ) ( )ˆT

i t i tT T

T

X X t e dt X t e dtω ωω∞

− −

−∞ −

= =∫ ∫

)המשתנה המקרי ) ( )21 ˆ

2T TS XT

ω ω= הפריודוגרם נקראPeriodogram של התהליך tX.

משפט

): כך שWSS X(t)נתון תהליך אקראי )Xt R t dt∞

−∞

⋅ < ∞∫,

( ) ( ) ( )21 ˆ

2T T XXTE S E X S

Tω ω ω

→∞

⎧ ⎫= →⎨ ⎬⎩ ⎭

): ולכן בפרט ): 0XXSω ω∀ ≥.

הוכחה

( ) ( ) ( ) ( )

( ) ( ) ( )

( ) ( )

( ) ( )

2 *

0 2

, 2 0

2

1 1ˆ2 2

1 12 2

1 12 2

1 22

T Ti t i s

T TT T

T T T Ti s t i s t

t s XT T T T

T z T Ti z i z

X Xz t s dz ds T T T z

i zX

E S E X E X t e dt X s e dsT T

E X X e dtds R t s e dtdsT T

R z e dtdz R z e dtdzT T

R z e T z dzT

ω ω

ω ω

ω ω

ω

ω ω −

− −

− −

− − − −

+− −

= − =− − − − +

−

−

⎧ ⎫⎧ ⎫= = =⎨ ⎬ ⎨ ⎬⎩ ⎭ ⎩ ⎭

= ⋅ = − =

= = =

= −

∫ ∫

∫ ∫ ∫ ∫

∫ ∫ ∫ ∫

( )

( )

( ) ( )2 2 2

2 2

0we demanded a finite integral

12

X

T T Ti z i z

X X XTT T T

T TS

R z e dz z R z e dz ST

ω ω

ω

ω− −

→∞− −

↓ →∞ ↓ →∞

= − →∫ ∫ ∫

): לסיכום ) ( )21 ˆ0

2 T XXTE X S

Tω ω

→∞

⎧ ⎫≤ →⎨ ⎬⎩ ⎭

LTIמעבר של תהליך אקראי דרך מערגת לינארית

( ) ( ) ( )*t tY X h t X s h t s ds∞

−∞

= = −∫

טענהY(t) WSS

LTI h(t)

X(t) Y(t)

60

הוכחה

( ) ( ) ( ) ( ) ( ) ( )Y s Xt E Y t E X s h t s ds E X h t s ds h s dsμ μ∞ ∞ ∞

−∞ −∞ −∞

⎧ ⎫= = − = − =⎨ ⎬

⎩ ⎭∫ ∫ ∫

טענה

( ) ( ) ( )*1 2 1 2, ,XY XYR t t R t t h s ds

∞

−∞

= ∫

הוכחה

( ) ( ) ( ) ( ) ( ) ( )

( ) ( )

1 2 1

*1 2 2 1 2

*1 2

, , ,

,

XY t t t

XY

R t t E X Y E X X t s h s ds E X t X t s h s ds

R t t s h s ds

∞ ∞

−∞ −∞

∞

−∞

⎧ ⎫= = − = ⋅ − ⋅ =⎨ ⎬

⎩ ⎭

= −

∫ ∫

∫ :X(t) WSSנניח

( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( ) ( )

*1 2 1 2

*

,

*

XY XY

XY XY XY X

R t t R t t s h s ds

R t R t s h s ds R t s h s ds R t h t

∞

−∞

∞ ∞

−∞ −∞

= − +

= + = − − = −

∫

∫ ∫

:עבור

( ) ( )h t H ω⇒

:מתקיים

( ) ( ) ( ) ( ) ( )i t i t i th t h t e dt h t e dt h t e dt Hω ω ω ω∞ ∞ ∞

− −

−∞ −∞ −∞

− ⇒ − ⋅ = − ⋅ = ⋅ =∫ ∫ ∫

): ולכן מתקיים ) ( ) ( )XY XXS S Hω ω ω=

טענה

( ) ( ) ( )1 2 1 2, ,YY XYR t t R t s t h s ds∞

−∞

= −∫

הוכחה

( ) ( ) ( )

( ) ( ) ( ) ( )

1 2 2

2

1 2

1 1 2

,

,

YY t t t

t XY

R t t E Y Y E h s X t s ds Y

E X t s Y h s ds R t s t h s ds

∞

−∞

∞ ∞

−∞ −∞

⎧ ⎫= ⋅ = − ⋅ =⎨ ⎬

⎩ ⎭

= − ⋅ = −

∫

∫ ∫

:X(t) WSSנניח

( ) ( ) ( )1 2 1 2,YY XYR t t R t t s h s ds∞

−∞

= − −∫

:Y(t) WSSולכן גם

( ) ( ) ( ) ( ) ( ) ( ),0 *YY YY XY XYR t R t R t s h s ds R t h t∞

−∞

= = − =∫

61

): ולכן ) ( ) ( )YY XYS S Hω ω ω= ⋅

מסקנה .WSS הוא גם כן Y הוא הפלט אזי Y(t) וLTI תגובת הלם של מערכת h(t) וX(t) WSSאם

:ומתקיים

( )

( ) ( ) ( )( ) ( ) 2

* *

*

Y X

YY XX

YY XX

h t dt

R R t h t h t

S S H

μ μ

ω ω

∞

−∞

=

= −

=

∫

דוגמאX(t)רעש לבן גאוסי :

( )

( )

( )

( )( )

( ) ( ) ( ) ( ) ( ) ( )( ) ( )

2

2

2

2

2

22

0

~ 0,

00

:

* * *

t

t

t

XX

XX

YY XX

YY

E X

V X

X N

tR t

else

S

LTI h t

R t R t h t h t h t h t

S t H

σ

σ

σ

ω σ

σ

σ ω

=

=

⎧ == ⎨⎩=

= = ⋅

=

:ואם ניקח למשל

( ) ( ) ( ) ( )

( ) ( )( ) ( ) ( )( )

( )

( ) ( )

2

2 22 2

2

2 2

22

3 2

1 1 1 1 11 2 3 1 41 4

1 13 1 4

3

YY

t tYY

h t y t y t y t

H Hj j

S

R t e e

ω ωω ω ω ωω ω

σωω ω

σ − −

′′ ′= + +

⎛ ⎞= ⇒ = = −⎜ ⎟+ + + ++ + ⎝ ⎠

⎛ ⎞= −⎜ ⎟+ +⎝ ⎠

= −

דוגמא

( )

( ) ( ) ( ) ( )

( ) ( ) ( )2

1

1 2

2 1 2

10

0

1 10 02 2

t

XXYY XX

YY YY XX

Helse

X WSS

SS S H

else

R S d S dω

ω

ω ω ωω

ω ω ω ωω ω ω

ω ω ω ωπ π

∞

−∞

≤ ≤⎧= ⎨⎩

⎧ ≤ ≤= ⋅ = ⎨

⎩

≤ = =∫ ∫

1ω 2ω

( )H ω

62

1וכיוון שלא הגבלנו את עצמנו בבחירת 2,ω ω יוצא כי ( ) 0XXS ω >.

דוגמא

( )12

t T

tt T

Y X s dsT

+

−

= ∫

( ) ( ) 1 2 2* 20

tT t Th t h t T

else

⎧− − ≤ ≤⎪− = ⎨

⎪⎩

( ) ( )

( ) ( ) ( )( )

( ) ( )

2

2

sin12

sin

12

Ti t

T

YY XX

YY XX

TH e dt

T T

TS S

T

sR t R t s ds

T

ω ωω

ω

ωω ω

ω

−

−

∞

−∞

= =

= ⋅

⎛ ⎞= − −⎜ ⎟

⎝ ⎠

∫

∫

לא סיבתיWiener מסנן -סינון אופטימלי

.tY יהיה שערוך של tY כך שהמוצא LTI נחפש מערכת tYבהנתן

LTI h(t)=?

X(t) ˆtY

T−

T

( )h t

2T− 2T

( ) ( )*h t h t−

63

t,: נתונים tX Y WSS נחפש מערכת LTI עם תגובת הלם h(t)כך ש :

( ) ( )( ) 2*t te h E Y X h t= .MMSE תהיה מינימלית במובן −

דוגמא S WSS X=S+Nנתון תהליך אקראי

) :נוכיח הדרישה מתקיימת על ידי ) ( )( )

YX

XX

SH

Sω

ωω

=

הוכחה

( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

2

2 2

0 2

t

t

YY YX XX

e h E Y h X t d

E Y E h Y t X t d E h h X t X t d d

R R h d h h R d d

α α α

α α α α β α β α β

α α α α β α β α β

∞

−∞

∞ ∞ ∞

−∞ −∞ −∞

∞ ∞ ∞

−∞ −∞ −∞

⎧ ⎫⎛ ⎞⎪ ⎪= − − =⎨ ⎬⎜ ⎟⎝ ⎠⎪ ⎪⎩ ⎭

⎧ ⎫ ⎧ ⎫= − − + − − =⎨ ⎬ ⎨ ⎬

⎩ ⎭ ⎩ ⎭

= − + −

∫

∫ ∫ ∫

∫ ∫ ∫): מתקייםg(t)+h(t) מסנן אופטימלי אזי לכל מסנן אחר hנניח כי ) ( )e h e g h≤ +.

( ) ( )

( ) ( ) ( ) ( ) ( ) ( ) ( )2

0

2 XX YX

e g h e h

h g R d d g R d E g X t dα β α β α β α α α α α α∞ ∞ ∞ ∞

−∞ −∞ −∞ −∞

≤ + − =

⎧ ⎫⎛ ⎞ ⎛ ⎞⎪ ⎪= − − + −⎨ ⎬⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎪ ⎪⎩ ⎭∫ ∫ ∫ ∫

:g(t) כך שלכל hנחפש

( ) ( ) ( ) ( ) 0YX XXg R h R d dα α β α β β α∞ ∞

−∞ −∞

⎛ ⎞− − =⎜ ⎟

⎝ ⎠∫ ∫

: כך שhכלומר

( ) ( ) ( )YX XXR h R dα β α β β∞

−∞

= −∫

:ודרישה זו שקולה לדרישה ש

( ) ( ) ( )YX XXS H Sω ω ω= ⋅

): לא סיבתיWienerוזוהי הגדרת מסנן ) ( )( )

YX

XX

SH

Sω

ωω

=

עקרון האורתוגונליות

( ) ( ) ( )YX XXR h s R s dsα α∞

−∞

= −∫

t,לכל , כלומר β ∈:

LTI h(t)=?

X(t) S

64

( ) ( ) ( )

( ) ( ) ( )

( ) ( )

( )

0

ˆ 0

YX XX

t

t

t t

R t h s R t s ds

E Y X E h s X t s X ds

E X Y h s X t s ds

E X Y Y

β

β

β

β β

β

∞

−∞

∞

−∞

∞

−∞

− = − −

⎧ ⎫⋅ = −⎨ ⎬

⎩ ⎭⎧ ⎫⎛ ⎞⎪ ⎪− − =⎨ ⎬⎜ ⎟⎪ ⎪⎝ ⎠⎩ ⎭

− =

∫

∫

∫

βולכן לכל ∈ :( )ˆt tX Y Yβ ⊥ −.

דוגמא

t t tX S N= +

tNרעש לבן בלתי תלוי ב X.

( ) ( )( )

( )( ) ( )

SX SS

XX SS NN

S SH

S S Sω ω

ωω ω ω

= =+

: אזיN(t) לא חופף לזה של S(t)נניח שהספקטרום של

( )1 within spectrum of S0 else

H ω⎧

= ⎨⎩

(Markov)תהליכי מרקוב

אנדריי מרקוב

דוגמא :הילוך שיכור

( ) ( )

1

1 1 1

1. .

1 1

1| |

1 1

n

n

n ii

nn n n n

n

pX i i d

p

Y X

Y pP Y Y Y P Y Y

Y p

=

+ +

⎧= ⎨− −⎩

=

+⎧= = ⎨ − −⎩

∑

…

LTI X(t) S

65

הגדרהנתון תהליך אקארי בזמן בדיד nYאת הערכים לקב המ 1 k… תהליך מרקוב התהליך יקרא

: מתקייםnאם לכל

( ) ( )1 1 1| |n n n nP Y Y Y P Y Y+ +=…

הערה :עבור תהליך מרקוב מתקיים

( ) ( ) ( ) ( ) ( ) ( ) ( )1 1 2 1 3 1 2 1 1 1 12

| | , | |n

n n n i ii

P Y Y P Y P Y Y P Y Y Y p Y Y Y P Y P Y Y− −=

= ⋅ ⋅ ⋅ ⋅ = ⋅∏… … …

:SSS הוא סטציונרי Yנניח שתהליך מרקוב :מטריצת מעברנגדיר

( ) ( )1 2 1| | , 1n n ijP Y j Y i P Y j Y i A i j k+ = = = = = = …

:הסתברויות התחלהוקטור ן וכ

( )1 iP Y i V= =

:ולכן

( ) ( ) ( )1 1 11

,n

n i ii

P Y Y V Y A Y Y+=

= ⋅∏…

דוגמא

( ) ( ) ( ) ( ) ( )1 2 1 3 2 4 3

1 12 21 11

0.5 0.8 0.20.5 0.2 0.8

1,2,1,1 1 2 | 1 1| 2 1| 10.5 0.2 0.2 0.8

V A

P P Y P Y Y P Y Y P Y YV A A A

⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

= = ⋅ = = ⋅ = = ⋅ = = =

= ⋅ ⋅ ⋅ = ⋅ ⋅ ⋅

Chapman-kolmogorovמשפט

פמן'סידני צ

( ) ( )1 1 ,| n

n i jP Y j Y i A+ = = =

1 2 0.2

0.20.8

0.8

66

דוגמא

( ) ( )( ) ( ) ( ) ( )

2 2

2

23 1 11

3 1 3 2 1 2 1 3 2

0.68 0.320.32 0.68

1| 1 0.68

1| 1 1, | 1 | 1 1| 0.8 0.8 0.2 0.2 0.68Y Y

A

P Y Y A

P Y Y P Y Y Y P Y Y P Y Y

⎛ ⎞= ⎜ ⎟⎝ ⎠

= = = =

= = = = = = = ⋅ = = ⋅ + ⋅ =∑ ∑ הוכחה

.A הטענה נכונה לפי הגדרת n=1עבור :n+1 ונוכיח לnנניח נכונות ל

( ) ( )

( ) ( ) ( ) ( )

2 1 2 1 11

11 1 2 1 1

1 1

| , |

| | ,

k

n n ns

k kn n

n n n sjis ijs s

P Y j Y i P Y j Y s Y i

P Y s Y i P Y j Y s Y i A A A

+ + +=

++ + +

= =

= = = = = = =

= = = = = = = =

∑

∑ ∑

טענה

( ) 1T nn j

P Y j V A −⎡ ⎤= = ⎣ ⎦

הוכחה) n=1עבור )1 jP Y j V= =

:n>1עבור

( ) ( ) ( ) ( ) 1 11 1 1

1 1 1, |

k k kn T n

n n n i ij ji i i

P Y j P Y i Y j P Y i P Y j Y i V A V A− −

= = =

⎡ ⎤= = = = = = = = = ⋅ = ⎣ ⎦∑ ∑ ∑

:i.i.dכיוון שמדובר בתהליך

( ) ( )1 2T Tj j

T T T

V P Y j P Y j V A

V V A A V V

⎡ ⎤= = = = = ⋅⎣ ⎦

= ⋅ ⇔ ⋅ =

.1המתאים לערך עצמי TA הוא וקטור עצמי של V, כלומר

אדוגמ

( )2

0.8 0.2 0.30.2 0.8 0.7

1 0.3 0.8 0.7 0.2 0.38

A V

P Y

⎛ ⎞ ⎛ ⎞= =⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠= = ⋅ + ⋅ =

.

) היא וקטור הסתברות Aמתוך כך שכל שורה ב )2 1|ijA P Y j Y j= = נוכיח שיש וקטור עצמי =

:1עבור ערך עצמי

11 1

1

1 1

1 1

1 11

1 1

k

k kk

P PA

P P

A

⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟ ⎜ ⎟= ⋅ =⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟⋅ = ⋅⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

67

דוגמא0.5 0.50.3 0.7

A ⎛ ⎞= ⎜ ⎟⎝ ⎠

( ) ( )1 2 1 2

1 2 1

1 2 2

0.5 0.50.3 0.7

0.5 0.30.5 0.7

3858

T TV A V

V V V V

V V VV V V

V

⋅ =

⎛ ⎞=⎜ ⎟

⎝ ⎠⋅ + ⋅ =⋅ + ⋅ =

⎛ ⎞⎜ ⎟

= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠

טענה :W A>0לכל וקטור הסתברות

( )1 1| T n Tn j n

P Y Y W W A V+ →∞= = ⋅ →

הוכחה

( ) ( ) ( )1 1 1|nn n jij n

A P Y j Y i P Y j V+ +→∞= = = → = =

:כלומר

1

1

kn

n

k

V VA

V V→∞

⎛ ⎞⎜ ⎟→ ⎜ ⎟⎜ ⎟⎝ ⎠

דוגמא

2

10

0.4 0.60.36 0.64

3 58 83 55 8

A

A

⎛ ⎞= ⎜ ⎟⎝ ⎠⎛ ⎞⎜ ⎟

= ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠

1 2 0.5

0.30.7

0.5