LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌCmeteo.edu.vn/~tanpv/Lectures/Chg 8 - Xac suat.pdf · Và khoảng tin cậy của ζ với độ tin cậy 1-α là: ... – Để

LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC

Phan Văn Tân Bộ mô Khí tượng

CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI

8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên

•  Xét hai đại lượng ngẫu nhiên X, Y •  Giả sử f(x,y) là phân bố đồng thời của hệ (X,Y) •  Khi đó có thể biểu diễn: f(x,y)=f(y/x).f1(x)=f(x/y).f2(y) •  Trong đó f(y/x), f(x/y) là các phân bố có điều kiện còn f1(x), f2(y)

là các phân bố riêng

),(),(,),(),(2

yYxXPyxFyxyxFyxf <<=

∂∂∂

=

∫∫+∞

∞−

+∞

∞−

== dxyxfyfdyyxfxf ),()(,),()( 21

∫∫∞+

∞−

∞+

∞−

==

dxyxf

yxfyxfdyyxf

yxfxyf),(

),()/(,),(

),()/(



•  Nếu X và Y độc lập với nhau: •  f(y/x)=f2(y), f(x/y)=f1(x) è f(x,y)=f1(x).f2(y) •  Tức là sự biến thiên của đại lượng này không ảnh hưởng đến sự

biến thiên của đại lượng kia và ngược lại •  Nói chính xác hơn, xác suất để Y nhận giá trị nào đó không bị ảnh

hưởng bởi việc cho trước giá trị x của X, và ngược lại •  Nếu X và Y không độc lập với nhau, khi đó ta nói X và Y phụ

thuộc lẫn nhau •  Có hai khái niệm phụ thuộc giữa X và Y:

–  Phụ thuộc hàm –  Phụ thuộc tương quan


8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên •  Nếu X và Y phụ thuộc hàm với nhau, khi đó có thể biểu diễn:

Y = f(X) hoặc X = g(Y) •  Điều đó có nghĩa là nếu X nhận giá trị x nào đó thì tương ứng Y

nhận giá trị y=f(x), hoặc khi Y nhận giá trị y nào đó thì X nhận giá trị tương ứng x=g(y)

•  Tuy nhiên, trong thực tế các đại lượng ngẫu nhiên thường phụ thuộc lẫn nhau phức tạp hơn nhiều

•  Ví dụ: –  Quan hệ giữa nhiệt độ và độ ẩm tương đối không khí trong

ngày: Qui luật chung là nhiệt độ tăng thì độ ẩm giảm, nhưng đó là mối quan hệ không đơn trị và không phải là quan hệ hàm

–  Quan hệ giữa chiều cao và cân nặng của cơ thể người –  …



Minh họa sự phụ thuộc giữa Y và X: Ứng với một giá trị x∈X có thể có nhiều giá trị của Y, và ngược lại – Không phải là quan hệ hàm

X

Y

Tập giá trị Y/X=x (hoặc X/Y=y) sẽ tuân theo luật phân bố nào đó mà ta gọi là phân bố có điều kiện: f(y/x) (hoặc f(x/y)

Sự phụ thuộc giữa Y và X trong trường hợp này được gọi là phụ thuộc ngẫu nhiên. Quan hệ giữa Y và X được gọi là quan hệ tương quan


8.2 Hệ số tương quan •  Một trong những đặc trưng quan trọng để nghiên cứu mối quan hệ

tương quan giữa hai biến ngẫu nhiên là hệ số tương quan •  Theo định nghĩa, hệ số tương quan giữa hai đại lượng ngẫu nhiên

X, Y là số vô thứ nguyên được xác định bởi:

yxyx

xy

yx

yx

xy

DDYX

DDmYMmXM

mYmXMYMYMXMXM

YMYXMXM

),cov(])[(].)[(

)])([(]])[[(].])[[(

])][])([[(

22

22

≡=−−

−−=

=−−

−−=≡

µ

ρρ

•  Một số ký hiệu thường gặp ),(),( XYYXxy ρρρρ =≡≡

),cov(),cov( XYYXxy =≡µ )var(22 XD xx ≡≡≡ σσ


8.2 Hệ số tương quan Một số tính chất của hệ số tương quan

1)  Nếu Z1=aX+b, Z2=cY+d (a,b,c,d là các hằng số, a>0, c>0) thì ρ(Z1,Z2) = ρ(X,Y)

2)  Trị số của hệ số tương quan nằm trong khoảng [–1,1]: |ρ| ≤ 1

3)  Điều kiện cần và đủ để |ρxy| = 1 là Y và X thực sự có quan hệ hàm tuyến tính, tức Y=aX+b, hoặc X=cY+d. ρxy = 1 khi và chỉ khi a>0, hoặc c>0, ρxy=–1 khi a<0 (c<0)

4)  Nếu X và Y độc lập với nhau thì ρxy=0. Điều ngược lại không đúng


8.2 Hệ số tương quan Ý nghĩa của hệ số tương quan •  Từ các tính chất của hệ số tương quan suy ra rằng

–  Hệ số tương quan là đại lượng đặc trưng cho mối quan hệ tuyến tính giữa hai biến ngẫu nhiên X và Y

–  Hệ số tương quan bằng 0 thì hai biến không có quan hệ tương quan tuyến tính nhưng chưa chắc chúng độc lập với nhau (trừ chúng có phân bố chuẩn)

–  Hệ số tương quan dương thì hai biến quan hệ đồng biến với nhau, hệ số tương quan âm hai biến quan hệ nghịch biến với nhau


8.3 Hệ số tương quan mẫu •  Hệ số tương quan ρ đã xét trên đây là hệ số tương quan lý thuyết

giữa hai biến ngẫu nhiên. Nó là một hằng số chưa biết •  Xét hai biến ngẫu nhiên (X,Y) và mẫu (X1,Y1),…,(Xn,Yn) •  Hệ số tương quan mẫu giữa hai đại lượng ngẫu nhiên X, Y là đại

lượng được xác định bởi:

yx

xy

yx

xy

n

ii

n

ii

n

iii

xy ssR

DDYYn

XXn

YYXXnrr ≡=

−−

−−=≡

∑∑

∑

==

=~~

~

)(1)(1

))((1

1

2

1

2

1 µ

•  Khác với hệ số tương quan lý thuyết ρ, hệ số tương quan mẫu r là một đại lượng thống kê nên nó là một biến ngẫu nhiên

CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI Ví dụ: Tính hệ số tương quan

TT x y x-xtb y-ytb (x-xtb)^2 (y-ytb)^2 (x-xtb)(y-ytb) 1 26 0 1.4 -4.6 1.96 21.16 -6.44 2 25 3 0.4 -1.6 0.16 2.56 -0.64 3 19 9 -5.6 4.4 31.36 19.36 -24.64 4 24 10 -0.6 5.4 0.36 29.16 -3.24 5 24 4 -0.6 -0.6 0.36 0.36 0.36 6 28 2 3.4 -2.6 11.56 6.76 -8.84 7 20 9 -4.6 4.4 21.16 19.36 -20.24 8 29 0 4.4 -4.6 19.36 21.16 -20.24 9 22 4 -2.6 -0.6 6.76 0.36 1.56

10 29 5 4.4 0.4 19.36 0.16 1.76 24.6 4.6 112.4 120.4 -80.6

S2x=11.24; S2

y=12.04; Rxy=-8.06; rxy=Rxy/(S2x*S2

y)1/2 =-0.6929


8.3 Hệ số tương quan mẫu •  Mật độ phân bố của r có dạng:

•  Phân bố của r chỉ phụ thuộc vào dung lượng mẫu n và hệ số tương quan tổng thể ρ

•  Khi n = 2 thì fn(r) = 0, phù hợp với sự kiện hệ số tương quan được tính từ tập mẫu chỉ có 2 quan trắc phải bằng ±1

•  Kỳ vọng của hệ số tương quan mẫu r: M[r]=ρ •  Phương sai của hệ số tương quan mẫu r:

∑∞

=

−−− −+−−

−=

0

224

221

23

!)2())

21(()1()1(

)2(2)(

i

innn

n irinr

nrf ρ

ΓρΓπ

∫−−

−−−

= −

−−− 1

021

224

221

2

1)1()1()1(2)(

xdx

rxxrnrf n

nnn

n ρρ

π

hoặc dạng khác

)4442(4

][0211

13

2011

31211

22

2020

22202

04220

402

µµµ

µµµ

µµ

µµµ

µµ

µµρ

−−+++=n

rD


8.3 Hệ số tương quan mẫu •  Ước lượng khoảng của hệ số tương quan:

Khi đó biến z có phân bố xấp xỉ chuẩn với trung bình và phương sai:

Sử dụng phép biến đổi của Fisher: rrz

−+

=11log

21

ρρ

ζ−+

=11log

21

)1(2][

−+=

nzM ρ

ζ31][−

=n

zD

Và khoảng tin cậy của ζ với độ tin cậy 1-α là:

⎟⎟⎠

⎞⎜⎜⎝

⎛

−+

−−

−−

−−=

31

)1(2,3

1)1(2

)ˆ,ˆ( 21 nu

nrz

nu

nrz ααζζ

trong đó uα nhận được từ phân bố chuẩn N(0,1): αα =≥ )( uuP

•  Cách xác định: –  Cho α tính được uα; từ r tính được z; –  Từ uα, r, z tính được )ˆ,ˆ( 21 ζζ )ˆˆ()ˆ,ˆ( 2121 ρρρρρ <<⇒⇒


8.3 Hệ số tương quan mẫu •  Kiểm nghiệm độ rõ rệt của hệ số tương quan:

– Trong thực tế, do độ lớn của mẫu (dung lượng mẫu) bị hạn chế nên có thể xảy ra tình huống mặc dù ρ=0 nhưng r≠0, và ngược lại

– Nói cách khác, trong tính toán thực hành nếu nhận được r = 0 thì điều đó không có nghĩa là ρ bằng 0.

– Ngược lại, nếu r≠0 thì cũng không hẳn là ρ khác 0 – Khi dung lượng mẫu nhỏ thì mặc dù ρ=0 nhưng giá trị của r lại

có thể có ý nghĩa (lớn đáng kể) – Để xác minh xem ρ=0 hay ρ≠0 cần phải kiệm nghiệm độ rõ rệt

của r (là ước lượng của ρ)



– Để kiểm nghiệm, ta đặt giả thiết H0: ρ = 0 – Thay ρ ≈ r, với giới hạn tin cậy ban đầu d thì khi H0 đúng, xác

suất phạm sai lầm loại 1 là α=≥ )( drP

2/1 2 −−=

nrrt

2/1 2 −−=

nrdtαĐặt

Khi H0 đúng, t có phân bố Student với n–2 bậc tự do: t∈St(n–2)

αα =≥=≥⇒ )()( ttPdrPTừ đó, với α được chọn ta tính được tα từ St(n–2) Và kết luận: •  Nếu |t| ≥ tα thì bác bỏ H0 và đưa ra kết luật r lớn rõ rệt •  Nếu |t| < tα thì chấp nhận H0 và kết luận r không lớn rõ rệt



– Ví dụ: Từ tập mẫu {(xt, yt), t=1..11} ta tính được hệ số tương quan rxy=0.76. Hãy cho biết với giá trị nhận được như vậy thì hệ số tương quan có lớn rõ rệt không nếu chọn xác suất phạm sai lầm loại 1 là α=0.01?

•  Với α=0.01, từ St(11-2) xác định được tα=3.25 < t nên bác bỏ giả thiết Ho và kết luận rxy lớn rõ rệt

=−−

=2/1 2 nr

rt xy 51.3

211/76.0176.02

=−−

Giải: Ta có


8.4 Khái niệm về hồi qui • Xét hai biến ngẫu nhiên (X,Y) • Quan hệ giữa X và Y có thể là:

– Quan hệ hàm – Quan hệ tương quan

•  Khi X và Y có quan hệ tương quan: –  Mỗi giá trị x ∈ X tương ứng với một hàm phân bố (hoặc hàm

mật độ) có điều kiện F(y/x) (hoặc f(y/x)) của Y, và ngược lại –  Nghiên cứu mối phụ thuộc tương quan cần xác định được các

phân bố có điều kiện

)(),()/(

1 xfyxfxyf =

)(),()/(

2 yfyxfyxf =

Rất khó, phức tạp, và hầu như không thể thực hiện được


8.4 Khái niệm về hồi qui • Một cách làm khác: Chỉ giới hạn xét mối quan hệ phụ thuộc giữa

X với một số đặc trưng có điều kiện của Y, như kỳ vọng, trung vị, mốt,..

• Phổ biến hơn cả là xét mối quan hệ giữa X và kỳ vọng có điều kiện của Y: my(x) = M[Y/X=x]

•  Người ta gọi đây là sự phụ thuộc hồi qui: Hồi qui của Y lên X Y=my(X) hay y = my(x)

•  Hồi qui này được gọi là hồi qui I: y = my(x) có thể là hàm tuyến tính hoặc phi tuyến

•  Nói chung, y = my(x) là một hàm bất kỳ, phức tạp, và hầu như không biết được dạng giải tích

∫+∞

∞−

=== dyxyyfxXYMxmy )/(]/[)(


8.4 Khái niệm về hồi qui

y=my(x)

(xt,yt)


8.5 Hồi qui bình phương trung bình tuyến tính một biến • Trong thực tế, để nghiên cứu mối quan hệ tương quan giữa Y và X,

người ta thường xấp xỉ my(x) bởi một lớp hàm f(x) nào đó đã biết trước dạng giải tích (Chú ý: f(x) là một hàm nào đó, không phải là hàm mật độ của X)

• Trong trường hợp này hàm hồi qui được gọi là hồi qui II • Nguyên tắc xác định hàm f(x) là cực tiểu hóa hệ thức: • Điều đó có nghĩa là tìm trong các hàm φ(X) thuộc lớp hàm Φ một

hàm f(X) nào đó thỏa mãn

)(~)()( xfyyxfxmy =≈⇒≈)(~ XfYYHay =≈

]))([( 2XfYM −

]))([(]))([( 22 XYMXfYM ϕφϕ

−=−∈(X)

min

•  Hàm hồi qui II được xác định bằng phương pháp này gọi là hồi qui bình phương trung bình


8.5 Hồi qui bình phương trung bình tuyến tính một biến

y=my(x)

(xt,yt)

=f(x) y~



y=my(x)

(xt,yt)

=f(x)=α+βx y~


8.5 Hồi qui bình phương trung bình tuyến tính một biến •  Trường hợp đơn giản nhất của hồi qui bình phương trung bình là hồi

qui bình phương trung bình tuyến tính - f(x) là hàm bậc nhất: Y = f(X) = α + βX

Hay y = f(x) = α + βx α, β là các hằng số. (Để đơn giản ta bỏ ký hiệu dấu “ngã” phía trên Y và y)

•  Các hằng số α, β được gọi là các hệ số hồi qui •  Từ phương pháp bình phương tối thiểu ta có:

]])[][][][[(])[(]))([(

2

222

XMXMXYMYMYMXYMXfYMR

βββα

βα

−+−−+−=

=−−=−=

( )[ ]2])[][(])[(])[( XMYMXMXYMYM βαβ −−+−−−=

[

]])[][])([(2])[][])([(2])[])([(2

])[][(])[(])[( 2222

XMYMXMXXMYMYMYXMXYMY

XMYMXMXYMYM

βαβ

βαβ

βαβ

−−−−

−−−−+−−−

−−−+−+−=


8.5 Hồi qui bình phương trung bình tuyến tính một biến [

]])[][])([(2])[][])([(2])[])([(2

])[][(])[(])[( 22222

XMYMXMXXMYMYMYXMXYMY

XMYMXMXYMYMR

βαβ

βαβ

βαβ

−−−−

−−−−+−−−

−−−+−+−=

[

]][][][][][][.][.][][

][][][][.][.[2),cov(2])[][(][][

2

2

222

XMXMXMYMXMXMXXYMXYMXM

YMYMYMXMYYYMYMYXXMYMXDYDR

ββαβ

ββαββ

αβα

ββαβ

−−+

+++−+

++−−−+

+−−−++=

2222

22

222

(2

),cov(2)(

xxyxxxyx

yxyyyxyy

xyxy

mmmmmmmm

mmmmmmmm

YXmmDDR

βαβββαββ

βαβα

ββαβ

−−+++−

−++−−−+

+−−−++=

xyxyxy mmDDR βµβαβ 2)( 222 −−−++=


8.5 Hồi qui bình phương trung bình tuyến tính một biến xyxyxy mmDDR βµβαβ 2)( 222 −−−++=

022)(2

0)(2

2

2

=−+−−−=∂∂

=−−−=∂∂

xyxxxy

xy

DmmmR

mmR

µββαβ

βαα

0)(2 =−−− xy mm βα

xy mm βα −=⇒

0))((022)(2

=−+−−−⇒

=−+−−−

xyxxxxyy

xyxxxy

DmmmmmDmmm

µβββ

µββα

x

xyxyx D

Dµ

βµβ =⇒=− 0

xyx

xy mmD

βαµ

β −== , ][][,)var(),cov( XMYM

XYX

βαβ −==

XDD

mmXfYx

xy

x

xyxy

µµ+−== )()( x

DDmmy

x

xy

x

xyxy

µµ+−= )(hay



xyx

xy mmD

βαµ

β −== ,

xDD

mmyXDD

mmXfYx

xy

x

xyxy

x

xy

x

xyxy

µµµµ+−=+−== )(,)()(

x

y

x

yxy

x

y

yx

xy

y

y

x

xy

x

xy

x

xy

D σ

σρ

σ

σρ

σ

σ

σσ

µ

σ

σ

σ

µ

σ

µµβ ≡===== 22

• Hệ số góc của đường thẳng hồi qui cùng dấu với hệ số tương quan –  Hệ số tương quan dương: Đường thẳng hồi qui có hướng “đi

lên” từ trái sang phải –  Hệ số tương quan âm: Đường thẳng hồi qui có hướng “đi

xuống” từ trái sang phải

Đây là phương trình đường thẳng hồi qui với hệ số góc β



x

y

x

y



xyxyxy mmDDXYMXfYMRβµβαβ

βα

2)(]))([(]))([(

22

222

−−−++=

+−=−=xy

x

xy mmD

βαµ

β −== ,

•  Sai số của phương pháp

)1(12

2)(

2222

22

2

22

2

2

2

22

222

4

222

ρσσσ

µσ

σ

µσ

σ

µ

σ

µσ

µσ

µββσ

σ

µσ

−=⎟⎟⎠

⎞⎜⎜⎝

⎛−=−=−+=

−−+−++=

yyx

xyy

x

xyy

x

xy

x

xyy

xyx

xyxxyyx

x

xyy mmmmR

•  Vì |ρ|≤1 nên sai số R2 càng nhỏ khi |ρ| càng gần 1 •  Nói cách khác, nếu Y và X quan hệ tuyến tính với nhau càng chặt

chẽ thì sai số của phép xấp xỉ my(x) ≈ f(x) càng chính xác •  Khi hệ số tương quan |ρ|=1, ứng với trường hợp Y và X có quan hệ

hàm tuyến tính, thì R2=0


8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) •  Xét mối quan hệ tương quan giữa biến ngẫu nhiên Y với m biến

ngẫu nhiên (X1,...,Xm) •  Quan hệ giữa Y và (X1,...,Xm) có thể được mô tả bởi các phân bố đồng thời f(y, x1,...,xm) hoặc phân bố có điều kiện f(y/x1,...,xm)

•  Tuy nhiên, điều đó thường không thực hiện được, và thay cho điều đó người ta xét quan hệ giữa Y với (X1,...,Xm) thông qua các đặc trưng có điều kiện

•  Ở đây ta xét kỳ vọng có điều kiện: my(x1,...,xm)=M[Y/X1=x1,...,Xm=xm]

∫+∞

∞−

== dyxxyyfxxmy mmy ),...,/(),...,( 11 ),...,( 1 my XXmY =

•  Đây được gọi là mặt hồi qui I giữa Y và (X1,...,Xm) •  Tương tự như trường hợp một biến, mặt hồi qui I my(x1,...,xm) là một

hàm phức tạp và nói chung không thể xác định được


8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) •  Do đó, thay cho hàm hồi qui I người ta xét hồi qui II là một hàm m

biến nào đó f(x1,...,xm) được chọn làm xấp xỉ cho kỳ vọng có điều kiện my(x1,...,xm)=M[Y/X1=x1,...,Xm=xm]

),...,(),...,(),...,( 111 mmmy XXfYxxfxxmy ≈≈= hay•  Trong trường hợp f(x1,...,xm) thuộc lớp hàm tuyến tính ta có:

•  Trong đó các βj, j=0..m là các hệ số hằng số, được xác định sao cho

∑=

+=≈m

1jj jm xxxfy ββ01 ),...,(

∑=

+=≈m

1jjhay jm XXXfY ββ01 ),...,(

min])),...,([(2

02

1 →⎥⎥

⎦

⎤

⎢⎢

⎣

⎡

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛+−=−= ∑

=

m

1jj

2 MR jm XYMXXfY ββ


8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội) •  Phương trình hồi qui tìm được trong trường hợp này gọi là hồi qui

bình phương trung bình tuyến tính nhiều biến •  Xác định các hệ số hồi qui: •  Từ hệ thức:

⎥⎥

⎦

⎤

⎢⎢

⎣

⎡

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛+−= ∑

=

2

0

m

1jj

2R jXYM ββ

•  Lần lượt lấy đạo hàm theo βk và cho bằng 0, ta được hệ:

mkXXYM

XYM

kjk

j

,..,1,02

020

==⎥⎥⎦

⎤

⎢⎢⎣

⎡⎟⎟⎠

⎞⎜⎜⎝

⎛−−−=

∂∂

=⎥⎦

⎤⎢⎣

⎡−−−=

∂∂

∑

∑

=

=

m

1jj0

2

m

1jj0

2

R

R

βββ

βββ


8.6 Hồi qui bình phương trung bình tuyến tính nhiều biến (hồi qui bội)

mkXXYM

XYM

kjk

j

,..,1,02

020

==⎥⎥⎦

⎤

⎢⎢⎣

⎡⎟⎟⎠

⎞⎜⎜⎝

⎛−−−=

∂∂

=⎥⎦

⎤⎢⎣

⎡−−−=

∂∂

∑

∑

=

=

m

1jj0

2

m

1jj0

2

R

R

βββ

βββ

),..,1(

0][][][0

0][][0

mk

XXMXMYXMXXYM

XMYMXYM

kjkkkj

jj

=

=−−⇒=⎥⎥⎦

⎤

⎢⎢⎣

⎡⎟⎟⎠

⎞⎜⎜⎝

⎛−−

=−−⇒=⎥⎦

⎤⎢⎣

⎡−−

∑∑

∑∑

==

==

m

1jj0

m

1jj0

m

1jj0

m

1jj0

ββββ

ββββ

⇒=−− ∑=

0][][m

1jj0 jXMYM ββ ∑

=

−=m

1jj0 ][][ jXMYM ββ



),..,1(,0][][][ mkXXMXMYXM kjkk ==−− ∑=

m

1jj0 ββ ∑

=

−=m

1jj0 ][][ jXMYM ββ

),..,1(

0][][][][][][

mk

XXMXMXMXMYMYXM kjkjkk

=

=−+− ∑∑==

m

1jj

m

1jj ββ

),..,1(

0])[][][(][][][

mk

XMXMXXMXMYMYXM kjkjkk

=

=−−− ∑=

m

1jjβ

),..,1(,0 mkkjk xxyx ==−∑

=

m

1jjµβµ Ký hiệu:

jkxx

ykyx

kj

k

µµ

µµ

≡

≡

),..,1(, mkykjk ==∑=

µµβm

1jj

•  Đây là một hệ phương trình đại số tuyến tính m phương trình, m ẩn số è Có nhiều cách giải: Khử Gauss, Crame, nghịch đảo MT,...



∑=

−=m

1jj0 ][][ jXMYM ββ),..,1(, mkykjk ==∑

=

µµβm

1jj

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

−−−=

=+++

=+++

=+++

mmy

ymmmmm

ym

ym

mmm βββ

µβµβµβµ

µβµβµβµ

µβµβµβµ

......

.........

110

21

222221

111211

m21

m21

m21

jj

y

mXMmYM≡

≡

][][

Ký hiệu: Có thể kết hợp lại thành hệ đầy đủ



⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜⎜

⎝

⎛

ym

y

y

y

mm

m

m

m

mm

mmmm

µ

µµ

β

ββ

β

µ

µµ

µµ

µµµµ

............0...............0......

01

2

1

0

2

1

21

2221

12

2

11

1

m

2

1

µβ =Σ

µβ 1−Σ=

•  Dưới dạng ma trận



⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

ym

y

y

mmmm

m

m

µ

µ

µ

β

β

β

µµµ

µµµ

µµµ

.........

..................

2

1

21

22221

11211

m

2

1

yxxx B ∑=∑

yxxxB ∑∑= −1x

Ty mBm −=0β

•  Cách biểu diễn khác



mmmm

m

m

xx

µµµ

µµµ

µµµ

...............

...

...

det

21

22221

11211

=∑=Δ

mm

m

m

mj

j

j

ym

y

y

mj

j

j

m

j

µ

µ

µ

µ

µ

µ

µ

µ

µ

µ

µ

µ

µ

µ

µ

...............

.....................

...2

1

1

12

11

2

1

1

12

11

1

21

11

+

+

+

−

−

−

=Δ

mjjj ,...,2,1, =

Δ

Δ=β

∑=

−=m

jjjy mm

10 ββ

•  Tìm nghiệm theo phương pháp Crame



yxxxB ∑∑= −1j

m

jjy mm ∑

=

−=1

0 ββ⎥⎥

⎦

⎤

⎢⎢

⎣

⎡

⎟⎟⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛+−= ∑

=

2

0

m

1jj

2R jXYM ββ

⎥⎦

⎤⎢⎣

⎡+++−−=

⎥⎥

⎦

⎤

⎢⎢

⎣

⎡

⎟⎟⎠

⎞⎜⎜⎝

⎛++⎟⎟

⎠

⎞⎜⎜⎝

⎛+−=

∑∑∑∑

∑∑

= ===

==

m

1jkj

m

1jj

m

1jj

m

1jj

m

1jj

2R

m

kkjjj

jj

XXXYXYYM

XXYYM

10

200

2

2

002

222

2

βββββββ

ββββ

⎥⎦

⎤+−++

⎢⎣

⎡−+−−−=

∑∑∑ ∑∑∑

∑∑∑

= == == =

===

m

1jkj

m

1jjk

m

1jkj

m

1jj

m

1jj

m

1jj

2R

m

kkjj

m

kky

m

kkj

yjyjjy

XXXmmmm

mmmYXYmmYM

111

22

)(2

22)(2

ββββββ

βββ

•  Sai số của phương pháp



⎥⎦

⎤+−++

⎢⎣

⎡−+−−−=

∑∑∑ ∑∑∑

∑∑∑

= == == =

===

m

1jkj

m

1jjk

m

1jkj

m

1jj

m

1jj

m

1jj

2R

m

kkjj

m

kky

m

kkj

yjyjjy

XXXmmmm

mmmYXYmmYM

111

22

)(2

22)(2

ββββββ

βββ

∑∑∑∑∑∑∑

∑∑∑

= == === =

===

+−++

−+−+−=

m

1jkjjk

m

1jj

m

1jkj

m

1jj

m

1jj

m

1jj

2R

m

kkj

m

jjk

m

kjy

m

kkj

yjyjjy

XXMXMmXMmmm

mmmYXMYMmYMmYM

11 11

22

][][2][2

2][2][2][2][

βββββββ

βββ

∑∑∑∑

∑∑

= == =

==

+−

+−−=

m

1jkj

m

1jkj

m

1jj

m

1jj

2R

m

kkj

m

kkj

jyjy

XXMmm

mmYXMmYM

11

22

][

2][2][

ββββ

ββ



∑∑∑∑

∑∑

= == =

==

+−

+−−=

m

1jkj

m

1jkj

m

1jj

m

1jj

2R

m

kkj

m

kkj

jyjy

XXMmm

mmYXMmYM

11

22

][

2][2][

ββββ

ββ

∑∑∑= ==

+−=m

1jkj

m

1jj

2Rm

kjkyjyD

1

2 µββµβ

yxxxB ∑∑= −1

( ) ( ) ( )yxxxxxT

yxxxyxT

yxxxyD ∑∑∑∑∑+∑∑∑−= −−− 11122R

( ) ( ) yxxxxxT

yxxxyxT

yxxxyD ∑∑∑∑∑+∑∑∑−= −−− 11122R

( ) ( ) yxT

yxxxyxT

yxxxyD ∑∑∑+∑∑∑−= −− 1122R

( ) yxT

yxxxyD ∑∑∑−= −12R



∑ ∑∑= ==

+−=m

1jkj

m

1jj

2Rm

kjkyjyD

1

2 µββµβ∑=

−=m

1jj

2R yjyD µβ

)1()1( 2 ∑∑==

−=−=m

1jj

m

1jj

2Ry

j

yj

yjy

y

yjy DD

σ

σ

σσ

µβσ

µβ

)1(2 yjy

jy ρ

σ

σβσ ∑

=

−=m

1jj

2R

•  Cách biểu diễn khác

mjjj ,...,2,1, =

Δ

Δ=β

yjj

y

jyj

y

jmy ρ

σ

σρ

σ

σβρ ∑∑

==• Δ

Δ==

m

1j

m

1jj...12•  Đại lượng

được gọi là hệ số tương quan bội giữa Y và (X1,...,Xm)

),..,1(, mkykjk ==∑=

µµβm

1jj

•  Xét hai biến ngẫu nhiên (X,Y) và mẫu tương ứng (X1,Y1),...,(Xn,Yn) •  Ta cần tìm phương trình hồi qui tuyến tính giữa Y và X trên cơ sở tập

mẫu đã có •  Từ lý thuyết: Y=α + βX, hay y=α + βx với •  Trên thực tế cả α và β đều chưa biết và ta cần ước lượng chúng từ tập

mẫu •  Ký hiệu ước lượng của α và β tương ứng là a và b ta có:


8.7 Hồi qui tuyến tính mẫu

xyx

xy mmD

βαµ

β −== ,

• Trường hợp một biến

bxayhaybXaY +=+= ˆˆ•  Các hệ số a và b cần thỏa mãn điều kiện:

min)()ˆ(1

2

1

22 →−−=−= ∑∑==

n

iii

n

iii bXaYYYR


8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến •  Xem R2 như là

hàm của a và b: ∑∑==

−−=−=n

iii

n

iii bXaYYYbaR

1

2

1

22 )()ˆ(),(

•  Để R2 →min điều kiện cần và đủ là: 0),(),( 22

=∂

∂=

∂∂

bbaR

abaR

•  Từ đó ta có: 0)(2),(

1

2

=−−−=∂

∂∑=

n

iii bXaY

abaR

0)(2),(1

2

=−−−=∂

∂∑=

n

iiii XbXaY

bbaR

0)(11

=−−∑=

n

iii bXaY

n

0)(11

=−−∑=

n

iiiiii XbXaXXY

n

0=−− XbaY XbYa −=

xxy

n

iiiiiii DbRXXbYXXYXbXXXbXYXY

n~)()()(1 22

1

−=−−−=−+−∑=

x

xy

DR

b ~=x

yxy

x

y

yx

xy

x

xy

ss

rss

ssR

sR

b === 2x

yxy ss

rb =

( )∑=

+−−++=n

iiiiiii abXXbYaYXbaYR

1

22222 222


8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến •  Sai số: ∑∑

==

−−=−=n

iii

n

iii bXaYYYR

1

2

1

22 )()ˆ(

XbYa −=

2222222222 222222 XbYXbXYbYXbYXbXbXYbYYS −+−+−++−+=

( )∑=

−+−−−+−+=n

iiiiiii bXXbYXbYYXbYXbXbYYR

1

22222 )(22)(2)(

•  Đặt S2 = R2/n

XYbYXbXbXbYYS 222222222 −+−+−=

xyxy bRDbDS 2~~ 22 −+=

x

yxy ss

rb =2222

2

2222 2 yxyyyxxy

x

yxyx

x

yxyy srsssr

ss

rsss

rsS −=−+=


8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến

22222

2222 2 yxyyyxxy

x

yxyx

x

yxyy srsssr

ss

rsss

rsS −=−+=

)1( 222xyy rsS −=

XYbYXbXbXbYYS 222222222 −+−+−=

xyxy bRDbDS 2~~ 22 −+=


8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến

•  là tổng bình phương các độ lệch giữa quan trắc (giá trị mẫu) và ước lượng (tính được từ phương trình hồi qui) của Y

∑∑==

−−=−=n

iii

n

iii bXaYYYR

1

2

1

22 )()ˆ(

•  là trung bình bình phương các độ lệch giữa quan trắc (giá trị mẫu) và ước lượng (tính được từ phương trình hồi qui) của Y

•  Nó có thể được dùng làm thước đo độ chính xác của phép hồi qui •  Rõ ràng: Khi trị tuyệt đối của hệ số tương quan càng lớn (càng gần

1) thì sai số càng nhỏ

)1( 222xyy rsS −=


8.7 Hồi qui tuyến tính mẫu • Trường hợp một biến •  Hãy so sánh

•  Các hệ số của phương trình hồi qui mẫu, ước lượng của các hệ số hồi qui lý thuyết, được tính qua các đặc trưng mẫu tương ứng là ước lượng của các đặc trưng lý thuyết

XbYa −=x

xy

DR

b ~=x

yxy ss

rb =

x

xy

Dµ

β =x

y

σ

σρβ =

xy mm βα −=

)1( 222xyy rsS −=

)1( 222 ρσ −= yR


TT x y (x-xtb) (y-ytb) (x-xtb)^2 (y-ytb)^2 (x-xtb)(y-ytb) 1 22 20 1.3 -2.3 1.69 5.29 -2.99 2 23 28 2.3 5.7 5.29 32.49 13.11 3 30 25 9.3 2.7 86.49 7.29 25.11 4 29 28 8.3 5.7 68.89 32.49 47.31 5 27 25 6.3 2.7 39.69 7.29 17.01 6 14 21 -6.7 -1.3 44.89 1.69 8.71 7 17 22 -3.7 -0.3 13.69 0.09 1.11 8 15 18 -5.7 -4.3 32.49 18.49 24.51 9 19 15 -1.7 -7.3 2.89 53.29 12.41 10 11 21 -9.7 -1.3 94.09 1.69 12.61

20.7 22.3 390.1 160.1 158.9

Dx= 39.01 Dy= 16.01 Rxy= 15.89 rxy= 0.6358 b = Rxy/Dx = 0.41 a = ytb - b*xtb = 13.87

y = 13.87 + 0.41*x

•  Xét hồi qui giữa biến ngẫu nhiên Y và m biến ngẫu nhiên (X1,...,Xm) với mẫu tương ứng (Y1,X11,..., X1m),...,(Yn,Xn1,..., Xnm)

•  Ta cần tìm hàm hồi qui tuyến tính giữa Y và (X1,...,Xm) dưới dạng Y=β0+ β1X1 + β2X2+…+ βmXm hay y=β0+ β1x1 + β2x2+…+ βmxm

•  Vì các βj, j=0,1,…,m đều chưa biết nên ta cần ước lượng chúng từ tập mẫu

•  Ký hiệu các ước lượng βj, j=0,1,…,m tương ứng là a0, a1,…,am ta có:


8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội)

∑∑==

+=+=m

jjj

m

jjj xaayhayXaaY

10

10 ˆˆ

•  Các hệ số aj, j=0,1,…,m, cần thỏa mãn điều kiện:

min)()ˆ(1

2

10

1

22 →−−=−= ∑ ∑∑= ==

n

i

m

jijji

n

iii XaaYYYR

•  Tương tự như trường hợp một biến, ta xem R2 như là hàm của các hệ số hồi qui aj, j=0,1,…,m:



∑ ∑= =

−−==n

i

m

jijjim XaaYaaaRR

1

2

1010

22 )(),...,,(

•  Điều kiện cần và đủ để R2 →min là:

),...,2,1(,0)(2

0)(2

1 10

2

1 10

0

2

mkXXaaYaR

XaaYaR

n

iik

m

jijji

k

n

i

m

jijji

==−−−=∂∂

=−−−=∂∂

∑ ∑

∑ ∑

= =

= =

),...,2,1(,0)(

0)(

1 10

1 10

mkXXaaY

XaaY

n

iik

m

jijji

n

i

m

jijji

==−−

=−−

∑ ∑

∑ ∑

= =

= =



),...,2,1(,0)(

0)(

1 10

1 10

mkXXaaY

XaaY

n

iik

m

jijji

n

i

m

jijji

==−−

=−−

∑ ∑

∑ ∑

= =

= =

0111 1

01

=−− ∑∑∑= ==

n

i

m

jijj

n

ii Xa

naY

n

∑∑∑= ==

−=n

i

m

jijj

n

ii Xan

Yn

a1 11

011

∑=

−=m

jjj XaYa

10),...,2,1(,0)(

1 11

mkXXaXaYYn

iik

m

jijj

m

jjji ==−+−∑ ∑∑

= ==

),...,2,1(,0)(11 11

mkXXaXXaXYXYn

n

i

m

jikijjik

m

jjjikiki ==−+−∑ ∑∑

= ==

),...,2,1(,0)()(1

mkXXXXaXYYXm

jkjkjjkk ==−−− ∑

=

),...,2,1(,01

mkRaRm

jjkjyk ==−∑

=

),...,2,1(,1

mkRRa yk

m

jjkj ==∑

=



),...,2,1(,0)(

0)(

1 10

1 10

mkXXaaY

XaaY

n

iik

m

jijji

n

i

m

jijji

==−−

=−−

∑ ∑

∑ ∑

= =

= =

0111 1

01

=−− ∑∑∑= ==

n

i

m

jijj

n

ii Xa

naY

n

∑∑∑= ==

−=n

i

m

jijj

n

ii Xan

Yn

a1 11

011

∑=

−=m

jjj XaYa

10),...,2,1(,0)(

1 11

mkXXaXaYYn

iik

m

jijj

m

jjji ==−+−∑ ∑∑

= ==

),...,2,1(,0)(11 11

mkXXaXXaXYXYn

n

i

m

jikijjik

m

jjjikiki ==−+−∑ ∑∑

= ==

),...,2,1(,0)()(1

mkXXXXaXYYXm

jkjkjjkk ==−−− ∑

=

),...,2,1(,01

mkRaRm

jjkjyk ==−∑

=

),...,2,1(,1

mkRRa yk

m

jjkj ==∑

=



∑=

−=m

jjj XaYa

10 ),...,2,1(,

1

mkRRa yk

m

jjkj ==∑

=

•  Các hệ thức:

•  Lập thành hệ phương trình đại số tuyến tính:

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

−−−=

=+++

=+++

=+++

mm

ymmmmm

ym

ym

aXaXYa

RaRaRaR

RaRaRaRRaRaRaR

...

......

......

110

21

222221

111211

m21

m21

m21 •  Giải hệ này ta xác định được các hệ số a0,a1,...,am

•  Có nhiều cách để giải hệ này: Khử Gauss, Crame, nghịch đảo ma trận, gần đúng (lặp),...


⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

=

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

ym

y

y

mmmm

m

m

R

RR

a

aa

RRR

RRRRRR

.........

..................

2

1

21

22221

11211

m

2

1

yxxx RAR =yxxx RRA 1−=

∑=

−=m

jjj XaYa

10

•  Phương pháp nghịch đảo ma trận



mmmm

m

m

xx

RRR

RRRRRR

RD

...............

...

...

det

21

22221

11211

==

mm

m

m

mj

j

j

ym

y

y

mj

j

j

m

j

R

RR

R

RR

R

RR

R

RR

R

RR

D...

...

...

...

...

.....................

...2

1

1

12

11

2

1

1

12

11

1

21

11

+

+

+

−

−

−

=

mjDD

a jj ,...,2,1, ==

∑=

−=m

jjj XaYa

10

8.7 Hồi qui tuyến tính mẫu • Trường hợp nhiều biến (hồi qui bội) •  Phương pháp Crame

•  Sai số của ước lượng hồi qui



∑ ∑= =

−−=n

i

m

jijji XaaYR

1

2

10

2 )(

•  Tương tự như trường hợp một biến, ta sẽ sử dụng trung bình của tổng bình phương các độ lệch giữa quan trắc (mẫu) và ước lượng (tính được qua phương trình hồi qui) của Y làm thước đo độ chính xác của phương pháp

là tổng bình phương các độ lệch

∑ ∑∑∑∑= === =

⎟⎟⎠

⎞⎜⎜⎝

⎛+−−++=

n

i

m

jijj

m

jijiji

m

j

m

kikijkji XaaXYaYaXXaaaYR

1 10

10

1 1

20

22 222

nRS2

2 = là trung bình của tổng bình phương các độ lệch




∑ ∑∑∑∑= === =

⎟⎟⎠

⎞⎜⎜⎝

⎛+−−++=

n

i

m

jijj

m

jijiji

m

j

m

kikijkji XaaXYaYaXXaaaY

nS

1 10

10

1 1

20

22 2221

∑∑∑∑=== =

+−−++=m

jjj

m

jjj

m

j

m

kkjkj XaaYXaYaXXaaaYS

10

10

1 1

20

22 222

∑=

−=m

jjj XaYa

10

∑∑∑∑∑

∑∑∑∑∑

= ====

= == ==

−+−+−

++−+=

m

j

m

kkjkj

m

jjj

m

jjj

m

jjj

m

j

m

kkjkj

m

j

m

kkjkj

m

jjj

XXaaXYaYXaXYaY

XXaaXXaaXYaYYS

1 1111

2

1 11 11

222

22222

2

∑∑∑= ==

+−=m

j

m

kjkkj

m

jyjjy RaaRaDS

1 11

2 2~




∑∑∑= ==

+−=m

j

m

kjkkj

m

jyjjy RaaRaDS

1 11

2 2~ ),...,2,1(,1

mkRRa yk

m

jjkj ==∑

=

∑ ∑∑= ==

+−=m

j

m

kjkkj

m

jyjjy RaaRaDS

1 11

2 2~∑=

−=⇒m

jyjjy RaDS

1

2 ~

⎟⎟⎠

⎞⎜⎜⎝

⎛−=−=−= ∑∑∑

===

m

jyj

y

xjy

m

jxyyj

jy

m

jxyyjjy r

ss

DD

sssrDD

sssrasS1

2

1

2

1

22 1

⎟⎟⎠

⎞⎜⎜⎝

⎛−= ∑

=

m

jyj

y

xjy r

ss

DD

sS1

22 1 ∑=

• =m

jyj

y

xjmy r

ss

DD

r1

...12



∑=

−=m

jjj XaYa

10),...,2,1(,

1

mkRRa yk

m

jjkj ==∑

=

∑=

−=m

1jj0 ][][ jXMYM ββ),..,1(, mkykjk ==∑

=

µµβm

1jj

•  Hãy so sánh •  Các hệ số của

phương trình hồi qui mẫu, ước lượng của các hệ số hồi qui lý thuyết, được tính qua các đặc trưng mẫu tương ứng là ước lượng của các đặc trưng lý thuyết

)1(2 yjy

jy ρ

σ

σβσ ∑

=

−=m

1jj

2R

yjj

y

jmy ρ

σ

σρ ∑

=• Δ

Δ=

m

1j...12

⎟⎟⎠

⎞⎜⎜⎝

⎛−= ∑

=

m

jyj

y

xjy r

ss

DD

sS1

22 1

∑=

• =m

jyj

y

xjmy r

ss

DD

r1

...12


TT y x1 x2 1 26 17 23 2 16 23 10 3 15 10 20 4 19 29 10 5 27 16 14 6 13 14 18 7 18 19 14 8 12 12 16 9 30 18 22 10 27 27 27 TB 20.3 18.5 17.4

y x1 x2

y 39.2 12.5 16.1

x1 12.5 34.7 -4.9

x2 16.1 -4.9 28.6 D =

34.7 -4.9 = 968.37

-4.9 28.6

Dx1 = 12.5 -4.9

= 435.36 16.1 28.6

Dx2= 34.7 12.5

=618.18 -4.9 16.1

a1 = Dx1/D = 0.4496 a2 = Dx2/D = 0.6384 a0 = ytb-a1*x1tb-a2*x2tb = 0.8751

y = a0 + a1*x1 + a2*x2 y = 0.8751 + 0.4496*x1 + 0.6384*x2

Ma trận tương quan


TT y x1 x2 1 26 17 23 2 16 23 10 3 15 10 20 4 19 29 10 5 27 16 14 6 13 14 18 7 18 19 14 8 12 12 16 9 30 18 22 10 27 27 27 TB 20.3 18.5 17.4

y x1 x2

y 39.2 12.5 16.1

x1 12.5 34.7 -4.9

x2 16.1 -4.9 28.6

Dy Dx1 Dx2 39.2 34.7 28.6

Sy Sx1 Sx2 6.261 5.891 5.348

y x1 x2

y 1 0.3389 0.4808

x1 0.3389 1 -0.1555

x2 0.4808 -0.1555 1

KẾT THÚC CHƯƠNG TRÌNH

LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌCmeteo.edu.vn/~tanpv/Lectures/Chg 8 - Xac suat.pdf · Và khoảng tin cậy của ζ với độ tin cậy 1-α là: ... – Để

Documents