STK511 Analisis Statistika · Regresi Linier Berganda Regresi Linier Berganda anang kurnia ([email protected]) ... • Sekelompok peubah bebas saling terkait linear • Multikolinearitas

STK511 Analisis Statistika

Pertemuan – 11

Regresi Berganda

Review: Regresi Linier Sederhana

11. Analisis Regresi (2)

Regression Analysis: Saldo versus Jumlah Nasabah

The regression equation is

Saldo = 350 + 0.0929 Jumlah Nasabah

Predictor Coef SE Coef T P

Constant 349.79 61.81 5.66 0.000

Jumlah Nasabah 0.09286 0.01705 5.44 0.000

S = 162.079 R-Sq = 67.9% R-Sq(adj) = 65.6%

Analysis of Variance

Source DF SS MS F P

Regression 1 778763 778763 29.65 0.000

Residual Error 14 367774 26270

Total 15 1146537

200

400

600

800

1,000

1,200

0 2,000 4,000 6,000 8,000 10,000

JMLNASABAH

SA

LD

O

anang kurnia ([email protected])

Pencilan dan Pengamatan Berpengaruh


Ilustrasi: Pengamatan ini meliputi X yang berupa umur anak pada saat mengucapakan kata kata pertama kalinya (dalam bulan) dan Y berupa skor daya nalar dari masing-masing anak.




Ilustrasi: Pengamatan ini meliputi X yang berupa umur anak pada saat mengucapakan kata kata pertama kalinya (dalam bulan) dan Y berupa skor daya nalar dari masing-masing anak.

• Pencilan dapat dilihat sebagai pengamatan dengan sisaan yang cukup besar ((|ri|>2 atau |ri| >3)

• Pengamatan berpengaruh lebih berkaitan dengan besarnya perubahan yang terjadi pada koefisien regresi jika pengamatan tersebut disisihkan anang kurnia ([email protected])

Plot Sisaan



Persamaan Regresi:

Ŷi = 110 - 1.13 Xi

S = 11.0155

R-Sq = 41.1%

t = -3.64


Penyisihan pengamatan ke-2, ke-18 dan ke-19

Ŷi = 102.12 – 0.55 Xi

R² = 0.06 ; s = 8.55 dan t = -1.05

Penyisihan pengamatan ke-18 dan ke-19

Ŷi = 108.92 – 1.02 Xi

R² = 0.35 ; s = 11.06 dan t = -3.10

Penyisihan pengamatan ke-2

Ŷi = 108.92 – 1.02 Xi

R² = 0.35 ; s = 11.06 dan t = -3.10


Ŷi = 105.63 – 0.78 Xi

R² = 0.11 ; s = 11.11 dan t = -1.51


Ŷi = 109.30 – 1.19 Xi

R² = 0.57 ; s = 8.63 dan t = 4.90



Persamaan Regresi

(full data):

Ŷi = 110 - 1.13 Xi

S = 11.0155

R-Sq = 41.1%

t = -3.64


•

• Hoaglin dan Welsch( 1978): hii > 2p/n

• Huber (1981) : hii > 0.5 besar; hii > 0.2 peringatan

• Pada dasarnya nilai hii semakin besar menunjukkan semakin besar potensi sebagai pengamatan berpengaruh



2

- -1;

-

i i

ii ii

k

x x x xh h p

n x x


• Melibatkan lebih dari satu peubah penjelas

• Memodelkan hubungan antara jumlah nasabah dan lama operasi kantor cabang terhadap nilai total saldo pada suatu waktu tertentu

• Memodelkan hubungan antara luas bangunan, umur bangunan, kedekatan dengan jalan tol, dan banyaknya kamar mandi terhadap harga jual rumah

• Memodelkan hubungan intensitas cahaya dan suhu terhadap waktu kunang-kunang mulai bercahaya

11. Regresi Linier Berganda

Regresi Linier Berganda


• Peubah Respon

– Harga (harga rumah dalam juta rupiah)

• Peubah Penjelas

– Luas bangunan (luas bangunan, dalam m2)

– Dekat tol (jarak dengan jalan tol, dalam km)

– Umur (umur bangunan, dalam tahun)


Ilustrasi


Regression Analysis: harga versus luasbangunan, dekattol, umur


harga = 264 + 1.18 luasbangunan - 2.59 dekattol - 3.72 umur


Constant 264.03 19.46 13.56 0.000

luasbangunan 1.17593 0.07120 16.52 0.000

dekattol -2.5869 0.9645 -2.68 0.010

umur -3.7206 0.5296 -7.03 0.000

S = 39.7003 R-Sq = 84.1% R-Sq(adj) = 83.3%


Source DF SS MS F P

Regression 3 483410 161137 102.24 0.000


Total 61 574825


Ilustrasi



Sedikit Teori ….



Sedikit Teori ….



Sedikit Teori ….


Uji Simultan

• ANOVA digunakan untuk menguji secara simultan pengaruh seluruh X terhadap Y

H0: semua bi = 0 (tidak ada X yang berpengaruh terhadap Y)

H1: ada bi 0 (ada X yang berpengaruh terhadap Y)

Uji Parsial

• Menguji pengaruh setiap peubah bebas satu persatu.

• Dilakukan jika uji simultan menyatakan tolak H0 (signifikan)


Pengujian Pengaruh Peubah Bebas


Regression Analysis: harga versus luasbangunan, dekattol, umur


harga = 264 + 1.18 luasbangunan - 2.59 dekattol - 3.72 umur


Constant 264.03 19.46 13.56 0.000

luasbangunan 1.17593 0.07120 16.52 0.000

dekattol -2.5869 0.9645 -2.68 0.010

umur -3.7206 0.5296 -7.03 0.000

S = 39.7003 R-Sq = 84.1% R-Sq(adj) = 83.3%


Source DF SS MS F P

Regression 3 483410 161137 102.24 0.000


Total 61 574825


Ilustrasi


• Sekelompok peubah bebas saling terkait linear

• Multikolinearitas sempurna menyebabkan pendugaan model tidak dapat dilakukan

Matriks X’X bersifat singular

• Penduga koefisien bersifat tidak stabil (standard error-nya besar).


Multikolinearitas


• Sering dicirikan dengan kondisi model memiliki R2 yang besar, tapi peubah bebasnya tidak signifikan

• Diindikasikan menggunakan nilai VIF (variance inflation factor). Nilai VIF ideal adalah 1. Jika ditemui nilai VIF yang besar, perlu diwaspadai keberadaan masalah multikolinearitas.

Ri2 = koefisien determinasi model antara Xi dengan X yang lain


Pemeriksaan Multikolinearitas


• Jika kita ingin memilih peubah X dimana hanya X yang signifikan akan memasuki model – Gunakan prosedur penyeleksian peubah, seperti forward,

backward, stepwise

• Jika kita ingin mempertahankan konfigurasi peubah X yang akan memasuki model – Gunakan metoda estimasi diluar metoda kuadrat terkecil,

seperti Ridge Regression, Principal Component Regression, Partial Least Square


Teknik Mengatasi Multikolinearitas


Pengantar Pemodelan Regresi dengan Peubah Penjelas Bersifat Kategorik

Regression with Dummy Variables

• Peubah penjelas di regresi bersifat numerik.

• Di beberapa kasus, perlu melibatkan peubah kategorik dalam model.

• Misal, dalam memprediksi harga rumah perlu memasukkan informasi mengenai lokasi (tepi jalan raya, kompleks perumahan, perkampungan)

• Peubah penjelas kategorik harus diubah menjadi peubah numerik.

• Peubah dummy, memerankan fungsi yang dimaksud di atas


Peubah Dummy (Boneka)


• Andaikan ingin dimodelkan variabel harga rumah dengan variabel penjelas adalah luas bangunan dan lokasi.

• Terdapat tiga jenis lokasi yaitu: tepi jalan raya, kompleks perumahan, dan perkampungan

• Dibutuhkan dua peubah dummy

• Selanjutnya, D1 dan D2 dimasukkan dalam model regresi menggantikan peran peubah lokasi.

Kategori D1 D2

Tepi jalan raya 1 0

Perumahan 0 1

Perkampungan 0 0

11. Regresi Dummy

Ilustrasi


• Harga = b0 + b1 Luas + b2 D1 + b3 D2

• Model di atas dapat dipecah menjadi tiga model, yang menggambarkan hubungan luas terhadap harga di tiga lokasi berbeda

• Tepi jalan raya: D1 = 1, D2 = 0 Harga = b0 + b1 Luas + b2 (1) + b3 (0) = (b0 + b2) + b1 Luas • Perumahan: D1 = 0, D2 = 1 Harga = b0 + b1 Luas + b2 (0) + b3 (1) = (b0 + b3) + b1 Luas • Perkampungan D1 = 0, D2 = 0 Harga = b0 + b1 Luas + b2 (0) + b3 (0) = (b0) + b1 Luas

• Slope sama, intersep berbeda

11. Regresi Dummy

Ilustrasi: Model 1


Tepi jalan raya

Perumahan

Perkampungan

Luas Bangunan

Harga

11. Regresi Dummy

Ilustrasi: Model 1



harga = 192 + 0.475 luasbangunan + 69.3 D1 + 144 D2


Constant 192.46 15.71 12.25 0.000

luasbangunan 0.4754 0.1177 4.04 0.000

D1 69.30 13.24 5.23 0.000

D2 144.16 20.53 7.02 0.000

S = 41.1486 R-Sq = 82.9% R-Sq(adj) = 82.0%


Source DF SS MS F P

Regression 3 476619 158873 93.83 0.000


Total 61 574825

11. Regresi Dummy

Ilustrasi: Model 1


• Harga = b0 + b1 Luas + b2 D1 + b3 D2 + b4 D1 Luas + b5 D2 Luas

• Model di atas dapat dipecah menjadi tiga model yang menggambarkan hubungan luas terhadap harga di tiga lokasi berbeda

• Tepi jalan raya: D1 = 1, D2 = 0

Harga = (b0 + b2)+ (b1 + b4) Luas

• Perumahan: D1 = 0, D2 = 1

Harga = (b0 + b3)+ (b1 + b5) Luas

• Perkampungan D1 = 0, D2 = 0

Harga = (b0) + b1 Luas

• Slope dan intersep berbeda

11. Regresi Dummy

Ilustrasi: Model 2


Tepi jalan raya

Perumahan

Perkampungan

Luas Bangunan

Harga

11. Regresi Dummy

Ilustrasi: Model 2



harga = 196 + 0.448 L + 99.2 D1 + 74.8 D2 - 0.191 D1L + 0.294 D2L


Constant 195.56 31.32 6.24 0.000

luasbangunan 0.4479 0.2678 1.67 0.100

D1 99.21 42.07 2.36 0.022

D2 74.77 57.38 1.30 0.198

D1L -0.1914 0.3206 -0.60 0.553

D2L 0.2938 0.3279 0.90 0.374

S = 40.6149 R-Sq = 83.9% R-Sq(adj) = 82.5%


Source DF SS MS F P

Regression 5 482449 96490 58.49 0.000


Total 61 574825

11. Regresi Dummy

Ilustrasi: Model 2


Bersambung …….


STK511 Analisis Statistika · Regresi Linier Berganda Regresi Linier Berganda anang kurnia ([email protected]) ... • Sekelompok peubah bebas saling terkait linear • Multikolinearitas

Documents