Regresi Multipel - Statistik Multivariat

Regresi Multipel

Dr. Kusnendi, MS

SEKOLAH PASCASARJANA

UNIVERSITAS PENDIDIKAN INDONESIA

2014

Regresi Multipel (RM)

• Metode statistika multivariat dependensi yang digunakan untuk: menjelaskan hubungan antara beberapa variabel independen (IV) dengan satu variabel dependen (DV), memprediksi nilai DV atas dasar nilai IV yang diketahui, serta mengukur besarnya pengaruh masing-masing IV terhadap DV.

Ukuran sampel:

• N ≥ 50 + 8m atau N ≥ 104 + m m = number of IVs

(Tabachnick & Fidell, 2013: 123)

X1

Xk

...

X2

DV

e

• Unstandardized: Y = b0 + b1X1 + b2X2 + . . . + bkXk + e

Unit pengukuran berbeda, bk memprediksi nilai DV jika

nilai IV diketahui.

• Standardized: Y = β1X1 + β2X2 + . . . + βkXk + e

Unit pengukuran distandarkan, βk (beta) mengukur

besarnya pengaruh masing-masing IV terhadap DV.

Manual RM

• Y = b0 + b1X1 + b2X2 + . . . +bkXk + e

• Y = Xb + e → memprediksi b sedemikian rupa sehingga ∑ei

2 minimum.

• (X‘X)b = X’Y (persamaan normal).

• (X‘X)b = X’Y dikalikan dengan (X’X)-1 (matrik inverse (X‘X)) diperoleh:

• (X’X)-1(X‘X)b = (X’X)-1X’Y, oleh karena:

• (X’X)-1(X‘X) = I = identity matriks order k, maka:

• Ib = (X’X)-1X’Y atau b = (X’X)-1X’Y

• R2 = JKReg/JKTot

• Adjusted R2 = 1 – [(JKRes/DBRes)/(JKTot/DBTot)]

R2 dan Adjusted R2

• Mengevaluasi model terbaik digunakanadjusted R2 dan bukan R2.

• R2 bias terhadap jumlah IV yang dimasukkankedalam model. Setiap IV ditambahkankedalam model, R2 akan meningkat meskipunIV tersebut secara statistik tidak signifikanmempengaruhi DV.

• Adjusted R2 nilainya bisa naik atau turunapabila satu IV ditambahkan ke dalam model.

Pengujian Koefisien

• Uji overall:

Ho: b1 = b2 = ... = bk = 0

H1: minimal ada sebuah b ≠ 0

• Uji invidual:

s

g

RJK

RJKF

Re

Re

1;)( Re

kndbCRJK

bt

iis

kbk

ContohObs. X1 X2 X3 Y X1^2 X2^2 X3^2 Y^2 X1X2 X1X3 X2X3 X1Y X2Y X3Y

1 2 5 1 2 4 25 1 4 10 2 5 4 10 2

2 2 4 2 1 4 16 4 1 8 4 8 2 4 2

3 1 5 4 1 1 25 16 1 5 4 20 1 5 4

4 1 3 4 1 1 9 16 1 3 4 12 1 3 4

5 3 6 5 5 9 36 25 25 18 15 30 15 30 25

6 4 4 6 4 16 16 36 16 16 24 24 16 16 24

7 5 6 3 7 25 36 9 49 30 15 18 35 42 21

8 5 4 3 6 25 16 9 36 20 15 12 30 24 18

9 7 3 7 7 49 9 49 49 21 49 21 49 21 49

10 6 3 7 8 36 9 49 64 18 42 21 48 24 56

11 4 3 8 3 16 9 64 9 12 32 24 12 9 24

12 3 6 9 3 9 36 81 9 18 27 54 9 18 27

13 6 9 5 6 36 81 25 36 54 30 45 36 54 30

14 6 8 4 6 36 64 16 36 48 24 32 36 48 24

15 8 9 5 10 64 81 25 100 72 40 45 80 90 50

16 9 6 5 9 81 36 25 81 54 45 30 81 54 45

17 10 4 7 6 100 16 49 36 40 70 28 60 24 42

18 9 5 8 6 81 25 64 36 45 72 40 54 30 48

19 4 8 8 9 16 64 64 81 32 32 64 36 72 72

20 4 9 7 10 16 81 49 100 36 28 63 40 90 70

∑ 99 110 108 110 625 690 676 770 560 574 596 645 668 637

Persamaan Normal:(X‘X)b = X’Y

=

637668645110

3b2b1b0b

676596574108596690560110574560625991081109920

Matriks Invers (X’X) = (X’X)-1

1. Klik Insert, klik Function;

2. Dalam Or select a category

pilih Math & Trig;

3. Dalam Select a function

pilih MINVERSE, klik OK.

4. Tekan F2, tekan Shift +

CTRL + ENTER.

b = (X’X)-1X’Y

YX

YX

YXY

CCCC

CCCC

CCCC

CCCC

b

b

b

3

2

1

33323130

23222120

13121110

03020100

3

2

1b0

bo = C00 ∑Y + C01 ∑X1Y + C02 ∑X2Y + C03 ∑X3Y

b1 = C10 ∑Y + C11 ∑X1Y + C12 ∑X2Y + C13 ∑X3Y

b2 = C20 ∑Y + C21 ∑X1Y + C22 ∑X2Y + C23 ∑X3Y

b3 = C30 ∑Y + C31 ∑X1Y + C32 ∑X2Y + C33 ∑X3Y

b = (X’X)-1X’Y

18739,062401,061833,000473,2-

3b2b

1b0b

Uji overall:

• Derajat Bebas Regresi (DBReg) = banyaknya IV → k

= 3

• Jumlah Kuadrat, JKReg = b’(X’X) – n(Ȳ)2 = b0∑Y +

b1∑X1Y + b2∑X2Y + b3∑X3Y – n(Ȳ)2 = 109,47970

• Derajat Bebas Total (DBTot)= n – 1 = 20 – 1 = 19

• JKTot = Y’Y – n(Y)2 = ∑Y2 – n(Ȳ)2 = 770 – 20(5,5)2 =

165

• Derajat Bebas Residual (DBRes) = n – k – 1 = 20 – 3 –

1 = 16

s

g

RJK

RJKF

Re

Re

• JKRes = JKTot – JKReg = 165 – 109,47970 =

55,52034

• RJKReg = JKReg/DBReg = 109,47970/3 = 36,49323

• RJKRes = JKSis/DBRes = 55,52034/16 = 3,47002

• R2 = JKReg/JKTot = 109,47970/165 = 0,66362

• F = RJKReg/RJKRes = 36,49323/3,47002 =

10,51674 → p-value = 0,000459193 < 0,05 → H0

ditolak. Minimal ada satu IV yang

mempengaruhi DV.

Analisis Varians

ANOVA

Sumber Variasi

(Souces of

Variation)

Jumlah

Kuadrat, JK

(Sum of

Squares)

Derajat

Bebas, DB

(Degree of

Freedom)

Rata-rata

Jumlah

Kuadrat, RJK

(Mean

Square)

F Sig.

Regression 109,4790 3 36,4932 10,5167 0,00046

Residual 55,5203 16 3,4700

Total 165 19

Uji Invidual

• Ho : b1 = 0 → H1 : b1 ≠ 0

• tb1 = 3,571066 → p-value = 0,00255 → H0 ditolak. Jika kesimpulan tersebut salah, kesalahannya sebesar 0,00255 < 0,05. Hasil uji signifikan. X1 secara signifikan berpengaruh positif terhadap Y. Berapa besar pengaruh X1 terhadap Y? → koefisien regresi standardized (βk).

571066,300864,0)47002,3(

61833,0

)( 11Re

1

1

CRJK

bt

s

b

Koefisein Regresi Standardized (β)

• Bk = koefisein regresi unstandardized IVk

• SXk = simpangan baku IVk

• SY = simpangan baku DV

SY

SXbβ k

kk

559197,02,94690

2,6650861833,0

SY

SXb 1

11

OUTPUT SPSS

Persamaan Regresi

• Unstandardized:

Y = -2,005 + 0,618X1 + 0,624X2 + 0,187X3

• Standardized:

Y = 0,559X1 + 0,448X2 + 0,141X3 ; R2 = 0,664

• Multikolinieritas: tidak terdapat korelasi yang tinggi antara IV (0,80 – 0,90).

Nilai R2 yang sangat tinggi, tetapi secara individual banyak IV yang tidak

siginifikan.

• Autokolerasi: tidak terdapat korelasi antara kesalahan penganggu (residual)

pada periode t dengan kesalahan penganggu pada periode sebelumnya (t-1).

Statistik uji: Durbin Watson Test atau Runs test.

• Heteroskedastisitas: tidak terdapat ketidaksamaan variance residual dari satu

pengamatan ke pengamatan yang lainnya. MRM yang baik terdapat

homoskedastisitas, yaitu variance residual dari satu pengamatan ke

pengamatan yang lainnya adalah sama. Pengujian: (1) grafik plot antara

prediksi DV yaitu ZPRED (sumbu X) dengan residualnya SRESID (sumbu

Y). Jika ada pola tertentu diindikasikan terjadi heteroskedastisitas. Dan jika

tidak ada pola yang jelas, diindikasikan tidak terjadi heteroskedastisitas; (2)

Uji Glejser, Uji Park, Uji White.

• Normalitas: residual berdistribusi normal. Pengujian: (1) normal probability

plot; (2) Uji Kolmogorov-Smirnov: (3) Z skewnes atau Z kurtosis.

Asumsi

Multikolinieritas

• Statistik uji: tolerence (TOL) dan variance inflation factor (VIF).

Ke duanya mengukur variabilitas IV yang terjelaskan oleh IV

lainnya.

• Tolerance ≤ 0,10 atau VIF ≥ 10. Tolerance = 0,055 → sebesar 1 –

0,055 = 0,945 atau sebesar 94,5% variabilitas IV bisa dijelaskan

oleh IV lainnya yang ada dalam model.

• Condition index (CI) yaitu akar dari ratio maksimum eigenvalue

dengan minimum eigenvalue, CI > 30.

ToleranceTolerance

1VIF;R1 2

kX

Tolerance dan VIF

166425,1857321,0

1

Tolerance

1

857321,0142679,011Tolerance

1

2

1

1

1

X

X

XX

VIF

R

X1 = f(X2, X3)

Autokolerasi

• Run test: apakah antara residual terdapat korelasi yang tinggi? Jika tidak ada korelasi, diindikasikan residual acak (random). Artinya, antara residual tidak terjadi autokorelasi.

• H0 : residual = random

H1 : residual tidak random.

• Kriteria uji: H0 diterima jika: Zhitung < Z0,05 = 1,96 atau nilai Zhitung memberikan probabilitas hitung (p-value) > 0,05.

Runs Test

• Y = f(X1, X2, X3) → regresikan, klik

save. Dalam Residuals, pilih

unstandardized. Klik continue, klik OK.

• Klik Analyze, pilih Nonparametric Tests,

pilih Runs, pindahkan Unstandardized

Residual ke Test Variable List, klik OK.

Runs Test

Unstandardized Residual

Test Value -.16209

Cases < Test Value 10

Cases >= Test Value 10

Total Cases 20

Number of Runs 6

Z -2.068

Asymp. Sig. (2-tailed) .039

• Zhitung > 1,96 → p-value (0,039 < 0,05). Hasil ujisignifikan. Ho ditolak. Residual tidak random. Antara residual terjadi autokorelasi.

Heteroskedastisitas

• Dalam model RM diharapkan tidak terdapatheteroskedastisitas, yaitu varians residual antarapengamatan tidak sama.

• Pengujian: grafik plot antara prediksi DV yaitu ZPRED (sumbu X) dengan residualnya SRESID (sumbu Y). Jika ada pola tertentu diindikasikan terjadi heteroskedastisitas. Dan jika tidak ada pola yang jelas, diindikasikan tidak terjadi heteroskedastisitas.

• Uji Glejser, Uji Park, Uji White.

Uji Glejser

• Meregres nilai absolute residual terhadap IV: |ei| = a + BXk+ vi.

• Regresikan Y = f(X1, X2, X3).

• Klik save. Dalam Residuals, pilih unstandardized. Klikcontinue, klik OK.

• Klik Transform, pilih Compute Variable.

• Dalam Target Variable, ketik Abs_res. Dalam NumericsExpression ketik ABS_RES(RES_1), klik OK.

• Regresikan Abs_res = f(X1, X2, X3).

• Jika hasil uji koefisein regresi X1, X2, dan X3 signifikan, diindikasikan dalam model regresi terdapatheteroskedastisitas, dan sebaliknya.

Coefficientsa

Model

UnstandardizedCoefficients

Standardized Coefficients t Sig.

B Std. Error Beta

1

(Constant) .102 .696 .146 .886

X1 .034 .076 .106 .446 .661

X2 .063 .089 .157 .710 .488

X3 .153 .090 .398 1.696 .109

a. Dependent Variable: Abs_res

• Hasil uji menunjukkan tidak satupun IV yang signifikanmempengaruhi Abs_res (Sig. > 0,05). Hal tersebutmengindikasikan, dalam model regresi tidak terdapatheteroskedastisitas.

Normalitas

• Residual berdistribusi normal. Pengujian: (1) normal

probability plot; (2) Uji Kolmogorov-Smirnov: (3) Z

skewnes atau Z kurtosis.

Residual berdistribusi normal jika:

1. Data menyebar disekitar garis

diagonalnya, atau

2. Hasil uji Kolmogorov-Smirnov,

atau Z skewness atau Z kurtosis

memberikan nilai Z hitung lebih

kecil dari nilai Z tabel (0,05) =

1,96. N

24

KurtosisZ

N

6

SkewnessZ

kurtosis

skewness

Strategi Estimasi RM

• Standard Multiple Regression (enter): persamaan regresi diestimasi secara simultan, semua IV dimasukkan ke dalam persamaan.

• Statistical Regression: persamaan regresi diestimasi dengan menggunakan salah satu dari metode backward, forward atau stepwise regression.

• Sequential Multiple Regression: persamaan regresidiestimasi secara berjenjang, sebagaimana keinginanpeneliti sesuai dengan landasan teori yang digunakan.

1. Y = f(X1) → step 1

2. Y = f(X1, X2) → step 2

3. Y = f(X1, X2, X3) → step 3

Statistical Regression SPSS

• Statistical Regression: metode backward, forward dan stepwise.

Y = b0 + b1X1 + b2X2 + b3X3 + e

X1

X2

X3

Y

e

Standard Multiple Regression (Enter)

• Klik Analyzed, → Regression → Linear.

• Klik Statistics

• Klik Continue, klik Plot.

• Klik Continue, klik Save

• Klik Continue

• Klik OK

Uji Asumsi Statistik

• Multikolinieritas: dalam model regresi tidak terdapat multikolinieritas (nilai toleranace semuanya di atas 0,10 dan nilai VIF di bawah 10).

• Heteroskedastisitas: berdasarkan Scatterplot antara prediksi DV (ZPRED) dengan residualnya SRESID mengindikasikan dalam model regresi tidak terdapat ketidaksamaan variance residual dari satu pengamatan ke pengamatan yang lainnya.

• Normalitas: berdasarkan normal probability plot memberikan indikasikasi residual berdistribusi normal.

Uji Overall

• Ho: b1 = b2 = ... = bk = 0

H1: minimal ada sebuah b ≠ 0

• Hasil uji: Ho di tolak

p-value < 0.05).

• Variabilitas yang

terjadi dalam Y

sebesar 66,4% mampu

dijelaskan secara

bersama oleh X1, X2,

dan X3. Sisanya

sebesar 33,6%

dijelaskan variabel

lain yang tidak diteliti.

Uji Individual

• Hasil uji individual terhadap masing koefisien bk

mengindikasikan, X1 dan X2 berpengaruh signifikan terhadap

Y (p < 0,05). Sedang X3 tidak signifikan mempengaruhi Y (p

> 0,05).

• Besarnya pengaruh X1 dan X2 terhadap Y masing-masing

sebesar 0,559 dan 0,448.

Ringkasan Hasil Analisis Data

Tabel 1. Korelasi dan Statistik Deskriptif (N = 20)

Variabel Y X1 X2 X3

Y 1

X1 .674** 1

X2 .532** .145 1

X3 .347 .352 .023 1

Rata-rata 5.50 4.95 5.50 5.40

Simpangan Baku 2.95 2.67 2.12 2.21

Varians 8.68 7.10 4.47 4.88

Keterangan: *p < .05; **p < .01; ***p < .001

Standard Multiple Regression

(Enter)

Tabel 2. Standard Multiple Regression Model Y

Model R

R2

(Adjusted

R2)

R2

ChangeB SE β t

Model 1 .815.664***

(.601)

X1 .618** .173 .559** 3.571

X2 .624** .204 .448** 3.055

X3 .187 .207 .141 .907

Keterangan: *p < .05; **p < .01; ***p < .001

Backward Deletion

Backward Deletion

Model R

R2

(Adjusted

R2)

R2

ChangeB SE β t

Model 1 .815.664***

(.601)

X1 .618** .173 .559 3.571

X2 .624** .204 .448 3.055

X3 .187 .207 .141 .907

Model 2 .804.646***

(.605)

-.017

X1 .674*** .161 .609 4.180

X2 .618** .203 .444 3.045

Keterangan: *p < .05; **p < .01; ***p < .001

Forward Selection

Forward Selection

Model R

R2

(Adjusted

R2)

R2

ChangeB SE β t

Model 1 .674 .454**

(.423)

X1 .745 .193 .674** 3.866

Model 2 .804 .646***

(.605)

.193**

X1 .674 .161 .609** 4.180

X2 .618 .203 .444** 3.045

Keterangan: *p < .05; **p < .01; ***p < .001

Stepwise Regression

Prosedur Stepwise

• IV dengan korelasi paling tinggi dengan DV

dimasukkan terlebih dahulu ke dalam persamaan.

• Kemudian hitung korelasi parsial antara IV

lainnya dengan DV di mana IV pertama dikontrol.

Masukkan IV dengan korelasi parsial paling

tinggi.

• Hitung kembali korelasi parsial antara IV lainnya

dengan DV dimana IV yang telah masuk ke dalam

model sebagai variabel kontrol, dan seterusnya.

Korelasi X1, X2, X3 dan Y

• rYX1 = 0,674 signifikan dan paling tinggi. X1 masuk sebagai IV pertama ke dalam model.

Hasil Stepwise Regression Langkah 1

Model R

R2

(Adjusted

R2)

R2

ChangeB SE β t

Model 1 .674 .454**

(.423)

X1 .745 .193 .674** 3.866

Keterangan: *p < .05; **p < .01; ***p < .001

• X1 masuk sebagai IV pertama ke dalam model.

Diperoleh Model 1. X1 signifikan mempengaruhi Y.

Besarnya pengaruh X1 terhadap variabilitas Y adalah

0.674 atau sebesar 45,4% atau sebesar 42,3%.

• Langkah kedua: menghitung korelasi antara X2, X3

dengan Y di mana X1 dikontrol. Klik Analyzed, Correlate, Partial.

• Setelah X1 dikontrol, korelasi X2 dengan Y (0,594) signifikan

(p = 0,007). Sedang korelasi antara X3 dengan Y (0.160) tidak

signifikan (p = 0,514 ). Karena ituy, X2 masuk ke dalam

model.

Stepwise Regression Langkah 2

Model R

R2

(Adjusted

R2)

R2

ChangeB SE β t

Model 2 .804 .604**

(.605)

..193**

X1 .674 .161 .609** 4.180

X2 .618 .203 .444** 3.045

Keterangan: *p < .05; **p < .01; ***p < .001

• Setelah X2 masuk ke dalam model, diperoleh Model 2. Dengan masuknya X2, nilai R2 secara signifikan meningkat sebesar 0,193. Sehingga pengaruh total X1 dan X2 terhadap Y menjadi sebesar 0,604.

• Secara individual, X1 dan X2 signifikan mempengaruhi Y. Besarnya pengaruh X1 terhadap Y adalah 0,609. Sedang besarnya pengaruh X2 terhadap Y sebesar 0,444.

• Setelah X1 dan X2 dikontrol, korelasi antara X3

dengan Y (0,221) tidak signifikan (p = 0,378 > 0,05). X3 tidak masuk ke dalam model.

• Y = -1,236 + 0,674X1 + 0,618X2; R2 = 0,454

Y = 0,609X1 + 0,444X2; R2 = 0,454.

• Dalam Model 1, variabel yang tidak masuk adalah X2

dan X3.

• Dalam Model 2, variabel yang tidak masuk adalah

X3.

Stepwise Regression Langkah 2

Model R

R2

(Adjusted

R2)

R2

ChangeB SE β t

Model 1 .674 .454**

(.423)

X1 .745 .193 .674** 3.866

Model 2 .804 .604**

(.605)

..193**

X1 .674 .161 .609** 4.180

X2 .618 .203 .444** 3.045

Keterangan: *p < .05; **p < .01; ***p < .001

Sequential

(Hierarchical) Regression

• Step 1: Y = f(X1), klik Next.

• Step 2: Y = f(X1, X2), klik Next.

• Step 3: Y = f(X1, X2, X3), klik Next, klik OK

Sequential

(Hierarchical) Regression

Model R

R2

(Adjusted

R2)

R2

ChangeB SE β t

Step 1 .674 .454**

(.423)

X1 .745 .193 .674** 3.866

Step 2.804 .646***

(.605)

X1 .674 .161 .606** 4.180

X2 .618 .203 .444** 3.045

Step 3.815 .664***

(.601)

X1 .618 .173 .559** 3.571

X2 .624 .204 .448** 3.055

X3 .187 .207 .141 .907

Keterangan: *p < .05; **p < .01; ***p < .001

Rujukan

• Ho, Robert. (2014). Handbook of Univariate and Multivariate Data Analysis with IBM SPSS. NW: Chapman & Hall/CRC.

• Imam Ghozali. (2011). Aplikasi AnalisisMultivariate dengan Program IBM SPSS 19. Edisi 5. Semarang: BP Undip.

• Tabachnick, B.G., & Fidell, L.S. (2013). Using Multivariate Statistics, Sixth Edition. Boston: Pearson Education, Inc.