8/17/2019 Pertemuan 08.1 Extra Sum of Squares
1/23
REGRESI BERGANDA II
Extra Sum of Squares
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
2/23
Uji F Parsial dan SekuensialPada analisis regresi linier berganda, terhadap
semua peubah penjelas yang tersedia : Diuji peubah penjelas apa yang berpengaruhnyata terhadap respon.
Dari yang ada dalam model, usahakan yang dipakai hanya peubah penjelas yang
keberadaannya dalam model menyum ‐bangkan keragaman kepada garis regresicukup besar.
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
3/23
Uji F Parsial dan SekuensialTerhadap semua peubah penjelas yang tersedia(lanjutan) :
Jika suatu peubah penjelas keberadaannya
dalam model sudah dapat diwakili oleh yang lainnya, maka peubah penjelas tersebut tidakperlu lagi digunakan dalam model.
Lebih disenangi model yang memilikibanyaknya peubah penjelas yang lebih sedikit.
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
4/23
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
5/23
Uji F Parsial dan Sekuensial• Uji F parsial:
Model dibangun dengan mengeluarkan satupeubah penjelas yang akan diuji pengaruhnya
dari model lengkap.• Uji F sekuensial:
Model dibangun dengan menambahkan satupersatu peubah penjelas baru ke dalammodel.
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
6/23
Uji F Parsial dan Sekuensial• Jika R(β ) = SS Regresi model penuh• Uji F parsial
• Uji F sekuensial
0 1 0 2 0 1 3 0 1 2
0 1 1
| | , | , ,
... | , ,...,k k
R R R R R
R
0 1 2 1 0 2 3
2 0 1 3 0 1 2 1
| , ,..., | , , ,...,
| , , ,..., ... | , , ,...,
k k
k k k
R R R
R R
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
7/23
Extra Sum of Squares• Data body fat
i 1 2 3 4 5 6 7 8 9 10
X1 19.5 24.7 30.7 29.8 19.1 25.6 31.4 27.9 22.1 25.5
X2 43.1 49.8 51.9 54.3 42.2 53.9 58.5 52.1 49.9 53.5
X3 29.1 28.2 37 31.1 30.9 23.7 27.6 30.6 23.2 24.8
Y 11.9 22.8 18.7 20.1 12.9 21.7 27.1 25.4 21.3 19.3
i 11 12 13 14 15 16 17 18 19 20
X1 31.1 30.4 18.7 19.7 14.6 29.5 27.7 30.2 22.7 25.2
X2 56.6 56.7 46.5 44.2 42.7 54.4 55.3 58.6 48.2 51
X3 30 28.3 23 28.6 21.3 30.1 25.7 24.6 27.1 27.5
Y 25.4 27.2 11.7 17.8 12.8 23.9 22.6 25.4 14.8 21.1
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
8/23
Contoh• Matriks korelasi antar variabel X (cek
multikolinieritas)
• Anova antara Y dan X1
X1 X2 X3X1 1X2 0.9238 1X3 0.4578 0.0847 1
df SS MS F P‐value
Regression 1 352.27 352.27 44.30 0.00
Residual 18 143.12 7.95
Total 19 495.39
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
9/23
Contoh• Anova antara Y dan X2
• Anova antara Y dan X1, X2
df SS MS F P‐value
Regression 1 381.97 381.97 60.62 0.00
Residual 18 113.42 6.30
Total 19 495.39
df SS MS F P‐value
Regression 2 385.44 192.72 29.80 0.00
Residual 17 109.95 6.47
Total 19 495.39
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
10/23
Contoh• SSR(X1) = 352.27 ; SSE(X1) = 143.12• SSR(X1,X2) = 385.44 ; SSE(X1,X2) = 109.95• SSE(X1,X2) < SSE(X1)• Selisih diantara keduanya dinamakan extra
sum of squares • SSR(X2|X1) = SSE(X1) – SSE(X1,X2)
=143.12 – 109.95 = 33.17
[email protected] ‐ 10
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
11/23
Contoh• Berkurangnya nilai SSE adalah karena
masuknya X2 kedalam model ketika X1 sudahada dalam model.
• Jadi, extra sum of squared mengukur efekmarjinal penambahan X2 ke dalam model regresi ketika X1 sudah ada dalam model.
• Extra sum of squares berarti juga mengukurpenambahan marjinal pada SSR.
[email protected] ‐ 11
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
12/23
Contoh• SSR(X2|X1) = SSR(X1,X2) – SSR(X1)
= 385.44 – 352.77 = 33.17• Extra sum of squares masuknya X3 ke model
ketika X1 dan X2 sudah ada dalam model
SSR(X3|X1,X2) = SSE(X1,X2) – SSE(X1,X2,X3)= 109.95 – 98.41 = 11.54
• Ekivalen dengan:SSR(X3|X1,X2) = SSR(X1,X2,X3) – SSR(X1,X2)
= 396.98 – 385.44 = 11.54
[email protected] ‐ 12
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
13/23
Contoh• Skema extra sum of squares – contoh body fat
[email protected] ‐ 13
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
14/23
Tabel Anova• Tabel anova dekomposisi SSR dengan tiga
variabel independen
[email protected] ‐ 14
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
15/23
Uji βk Parsial• Misal menguji apakah β3 = 0• Hipotesis:• SSE model penuh = SSE(X1,X2,X3) = SSE(F)
dengan df = n – 4.• Jika H0 benar, maka SSE nya adalah SSE(X1,X2)
= SSE(R) dengan df = n – 3.• F‐hitung:
0 3 1 3: 0 : 0 H vs H
* R F F
SSE R SSE F SSE F F
df df df
[email protected] ‐ 15
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
16/23
Uji βk Parsial• F‐hitung menjadi:
• SSE(X1,X2) – SSE(X1,X2,X3) = SSR(X3|X1,X2)• F‐hitung menjadi:
1 2 1 2 3 1 2 3* , , , , ,3 4 4
SSE X X SSE X X X SSE X X X F
n n n
3 1 2 1 2 3*
3 1 2
1 2 3
| , , ,1 4
| ,
, ,
SSR X X X SSE X X X F n
MSR X X X
MSE X X X
[email protected] ‐ 16
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
17/23
Uji βk Parsial• Apakah β3 bisa didrop dari model?
• Jika α = 0.01, maka F(0.99; 1, 16) = 8.53• F* = 1.88 ≤ F‐tabel = 8.53 gagal tolak H0• X3 bisa didrop dari model yang sudah memuat X1
dan X2
3 1 2 1 2 3* | , , ,1 4
11.54 98.41 1.881 16
SSR X X X SSE X X X F n
[email protected] ‐ 17
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
18/23
Uji βk Parsial• Hasil ini ekivalen dengan uji parsial dengan uji t
• Nilai t‐hitung:
• t^2 = (‐1.37 )^2 = 1.88 = F*
Coefficients Standard Error t Stat P ‐value
Intercept 117.08 99.78 1.17 0.26
X1 4.33 3.02 1.44 0.17
X2 ‐2.86 2.58 ‐1.11 0.28
X3 ‐2.19 1.60 ‐1.37 0.19
* 3
3
2.86 1.371.60
bt
s b
[email protected] ‐ 18
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
19/23
Uji βk Parsial• Statistik uji
merupakan statistik uji untuk uji F parsial• Statistik uji ini berbeda uji F pada uji overall.
3 1 2 1 2 3* | , , ,1 4
SSR X X X SSE X X X F
n
[email protected] ‐ 19
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
20/23
Uji Beberapa βk = 0• Hipotesis
• SSE(R) = SSE(X1) dengan df = n‐2.•
Statistik uji
0 2 3 1 2 3: 0 : 0 H vs H dan
*
1 1 2 3 1 2 3, , , , 2 4 4
R F F
SSE R SSE F SSE F F
df df df
SSE X SSE X X X SSE X X X
n n n
[email protected] ‐ 20
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
21/23
Uji Beberapa βk = 0• SSE(X1) – SSE(X1,X2,X3) = SSR(X2,X3|X1)
dengan df = 2.• Statistik uji menjadi:
2 3 1 1 2 3*
2 3 1
1 2 3
, | , ,2 4
, |
, ,
SSR X X X SSE X X X F n
MSR X X X
MSE X X X
[email protected] ‐ 21
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
22/23
Uji Beberapa βk = 0• Contoh data body fat• SSR(X2,X3|X1) = SSR(X2|X1) + SSR(X3|X1,X2)
= 33.17 + 11.54 = 44.71•
Statistik uji: 2 3 1* 1 2 3
, |, ,
244.71 6.15 3.63
2
SSR X X X F MSE X X X
[email protected] ‐ 22
8/17/2019 Pertemuan 08.1 Extra Sum of Squares
23/23
Uji Beberapa βk = 0• Untuk α = 0.01, maka F(0.99; 2, 16) = 6.23.• Karena F* = 3.63 ≤ 6.23 maka gagal tolak H0.• X2 dan X3 dapat didrop dari model regresi
yang sudah memuat X1.
[email protected] ‐ 23