Agung Priyo Utomo (STIS Jakarta) 1
ANALISIS REGRESI
(REGRESSION ANALYSIS)
Oleh:
Agung Priyo Utomo, S.Si., MT.([email protected])
Sekolah Tinggi Ilmu Statistik (STIS)
Agung Priyo Utomo (STIS Jakarta) 2
Inferensi dalam Analisis Regresi
Model Regresi Linear Sederhana
Yi = 0 + 1Xi + i
Dimana i merupakan random variabel yang
terdistribusi NID(0,2)
Contoh:
Sebuah Perusahaan, Westwood Company, sedang
meneliti tentang hubungan antara jumlah sparepart
yang diproduksi (X) dengan jumlah jam kerja yang
diperlukan (Y) dari 10 proses produksi terakhir.
(Data ada di buku Neter and Wasserman, halaman 40)
Agung Priyo Utomo (STIS Jakarta) 3
INFERENSI TENTANG MODEL Confidence Interval dan Uji Hipotesis
Confidence Interval (1-)100% untuk 1
Pada contoh Westwood Company, diperoleh
n = 10
SSE = 60 MSE = 7.5
Sehingga CI 95 % untuk 1 adalah
P(1.89 ≤ 1 ≤ 2.11) = 95 %
%100)1())ˆ(ˆ)ˆ(ˆ( )2,1(111)2,1(1122
nn tstsP
0.2ˆ1 0.10ˆ
0
0.2X284002 iX 3400)( 2 XX i
13660)( 2 YYi Dengan tingkat kepercayaan
95%, jika jumlah sparepart yg
diproduksi bertambah 1 unit,
maka akan meningkatkan rata-
rata jam kerja antara 1,89
sampai 2,11 jam
Agung Priyo Utomo (STIS Jakarta) 4
Uji Hipotesis Tentang 1
a. H0: 1 = 0 b. H0: 1 ≤ 0 c. H0: 1 ≥ 0
H1: 1 ≠ 0 H1: 1 > 0 H1: 1 < 0
Statistik Uji:
Keputusan pada tingkat sign. : Tolak H0 jika
a. b. c.
Kesimpulan :
Jika H0 ditolak, maka dengan tingkat kepercayaan (1- ) 100 %, terdapat hubungan yang linier antara variabel X dan variabel Y (terdapat pengaruh yg signifikan dari variabel X thd variabel Y)
)ˆ(
ˆ
1
1*
st
|||*|)2,1( 2
n
tt )2,1(* ntt )2,1(* ntt
INFERENSI TENTANG MODEL Confidence Interval dan Uji Hipotesis
Agung Priyo Utomo (STIS Jakarta) 5
Pada contoh Westwood Co., diperoleh t* = 42.58
t(0.975,8) = 2.306 dan t(0.95,8) = 1.860
Keputusan?
Kesimpulan?
INFERENSI TENTANG MODEL Confidence Interval dan Uji Hipotesis
Statistik Uji-t setara dengan Statistik Uji-F
Agung Priyo Utomo (STIS Jakarta) 6
PENDEKATAN ANOVA DALAM
ANALISIS REGRESI
YYYYYY iiii ˆˆ
Dasar: Partisi dari Sum Squares Total (SST) dan
derajat bebas
SST SSE SSR
Total Sum of Squares Error SS Regression SS
df n – 1 n – 2 1
Rumus untuk penghitungan
222)ˆ()ˆ()( YYYYYY iiii
n
YYSST
ii
22 )(
n
XiXSSR i
222
1
)(ˆ
Agung Priyo Utomo (STIS Jakarta) 7
ILUSTRASI GEOMETRIS
PARTISI JUMLAH KUADRAT
Y
iY
Yi
ii YY ˆ
YYi ˆ
Agung Priyo Utomo (STIS Jakarta) 8
PENDEKATAN ANOVA DALAM
ANALISIS REGRESI
Mean Squares (MS): SS dibagi dengan derajat bebasnya
Tabel ANOVA untuk Regresi Linear Sederhana
21
n
SSEMSEdanSSR
SSRMSR
Source of
Variation SS df MS E{MS} F*
Regression 1 MSR
Error n–2 MSE
Total n–1
2)ˆ( YYi
2)ˆ( ii YY
2)( YYi
221
2 )( XX i
2MSE
MSR
Agung Priyo Utomo (STIS Jakarta) 9
PENDEKATAN ANOVA DALAM
ANALISIS REGRESI
5.78
6013600
1
13600 MSEdanMSR
Anova tersebut dapat digunakan untuk menguji
H0: 1 = 0 vs H1: 1 ≠ 0
Tabel ANOVA untuk Kasus Westwood Company
Pada Westwood Co., diperoleh SSR = 13600 dan SSE =
60, sehingga
Agung Priyo Utomo (STIS Jakarta) 10
Tabel ANOVA untuk Kasus Westwood Company
Keputusan: Tolak H0 jika F* > F(1-;1, n-2)
Dari tabel F, diperoleh F(0.95;1, 8) = 5,32
Kesimpulan?
Source of
Variation SS df MS F*
Regression 13600 1 13600 1813
Error 60 8 7.5
Total 13660 9
PENDEKATAN ANOVA DALAM
ANALISIS REGRESI
Agung Priyo Utomo (STIS Jakarta) 11
Koefisien Determinasi (R2)
Mengukur proporsi keragaman total dari nilai
observasi Y di sekitar rataannya yang dapat
diterangkan oleh garis regresinya atau variabel bebas
yg digunakan.
Nilainya: 0 ≤ R2 ≤ 1, makin mendekati 1 berarti model
regresi yg digunakan makin tepat/baik
SST
SSE
SST
SSRR 12
PENILAIAN KETEPATAN MODEL
(GOODNESS OF FIT)
Agung Priyo Utomo (STIS Jakarta) 12
KOEFISIEN KORELASI Linear Correlation Coefficient
suatu ukuran yang menyatakan erat tidaknya hubungan
linier yang ada antara variable X dan Y,
nilai korelasi dirumuskan sebagai
Nilai koefisien korelasi berkisar -1 sampai 1 (-1 ≤ r ≤ 1)
tanda positif atau negatif dari R sesuai dengan tanda
positif atau negatif pada parameter 1
22
2
)()(
))((
yyxx
yyxxRr
ii
ii
Agung Priyo Utomo (STIS Jakarta) 13
Various degrees of linear correlation
Agung Priyo Utomo (STIS Jakarta) 14
Various degrees of linear correlation
Agung Priyo Utomo (STIS Jakarta) 15
CONTOH: REED AUTO SALES
KOEFISIEN DETERMINASI
R2 = SSR/SST = 100/114 = 0,8772
Artinya:
Hubungan regresi sangat kuat karena 88% variasi mobil yang terjual dapat dijelaskan oleh banyaknya iklan TV.
KOEFISIEN KORELASI
9366,08772,0rxy
Agung Priyo Utomo (STIS Jakarta) 16
KESETARAAN UJI KOEFISIEN REGRESI
DAN KOEFISIEN KORELASI
rXY = rYX
Hipotesis
H0: β1 = 0 setara dengan H0: ρ = 0
H1: β1 0 H1: ρ 0
Tolak H0 berarti ada hubungan linier antara variabel X dan Y
i
2
i
i
2
i
x
y
1
i
2
i
i
2
i
x
y
1
)xx(
)yy(
S
S;
)xx(
)yy(
rS
Srˆ
Agung Priyo Utomo (STIS Jakarta) 17
KESETARAAN UJI KOEFISIEN REGRESI
DAN KOEFISIEN KORELASI (L)
Statistik Uji:
Tolak H0 jika
2n22
hitung t~r1
2nr
2n
r1
0rt
2n;2
hitung tt
Agung Priyo Utomo (STIS Jakarta) 18
Example: linear correlation coefficient for Car Age and
Price Data
Agung Priyo Utomo (STIS Jakarta) 19
Model Summary
.924a .853 .837 12.577
Model
1
R R Square
Adjusted
R Square
Std. Error of
the Estimate
Predictors: (Constant), Car Age (years)a.
SPSS Printout for one Predictor
Variables Entered/Removedb
Car Age
(y ears)a . Enter
Model
1
Variables
Entered
Variables
Removed Method
All requested v ariables entered.a.
Dependent Variable: Price ($)b.
R2, Percentage of Variance
Agung Priyo Utomo (STIS Jakarta) 20
Coefficientsa
195.468 15.240 12.826 .000
-20.261 2.800 -.924 -7.237 .000
(Constant)
Car Age (years)
Model
1
B Std. Error
Unstandardized
Coeff icients
Beta
Standardized
Coeff icients
t Sig.
Dependent Variable: Price ($)a.
ANOVAb
8285.014 1 8285.014 52.380 .000a
1423.532 9 158.170
9708.545 10
Regression
Residual
Total
Model
1
Sum of
Squares df Mean Square F Sig.
Predictors: (Constant), Car Age (years)a.
Dependent Variable: Price ($)b.
Intercept Slope
Is regression Significant?
Error of
prediction