Regresi Kuadrat Terkecil

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

1

Bab 11

Regresi Kuadrat Terkecil

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

2

Pendahuluan

Tujuh titik data dengan variabilitas yang signifikan

Kurva interpolasi polinomial orde-6 menunjukkan adanya osilasi hebat

Garis pencocokan(fitting) kuadrat terkecil yang menunjukkan perbaikan trend

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

3

Regresi Linear

n

iii xaay

110

n

iii xaay

110

Diketahui: n titik(x1, y1), (x2, y2), …, (xn, yn)

Ditanya : Garis y = a0 + a1x yang paling sesuai dengan n titik diatas.

minimize

xaayi 10 maxminimize

minimize

minimize 2

110

n

iiir xaayS

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

4

Pencocokan Kuadrat Terkecil sebuah Garis

02 100

iir xaay

a

S

0][2 101

iiir xxaay

a

S

ii yaxna 10

Untuk meminimize Sr:

dengan dan

221ii

iiii

xxn

yxyxna

iiii yxaxax 12

0

xaya 10

n

yy i

n

xx i

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

5

Contoh Pencocokan Kuadrat Terkecil sebuah Garis

7n

5119. ii yx 1402 ix

28ix 47

28x

24 iy 42857137

24.y

83928570281407

24285119721 .

.

a 07142857048392857042857130 ... a

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

6

Error Kuantifikasi Pada Regresi Linear

2 yyS it

1

n

Ss t

y

210 iir xaayS

t

rt

S

SSr

2

2

n

Ss r

xy /

2222

iiii

iiii

yynxxn

yxyxnr

S kecilr

S besarr

Keduanya dapat di-dekati dengan baik

(coefficient of determination)

(Koefisien korelasi)

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

7

Contoh Aplikasi Regresi Linear

tmcec

gmtv / 1

t

t

c

gmtv

753.

(a)

(b) Seberapa baik perkiraannya

Eq. (a)

Eq. (b)

Measured v

Calculated v

by Eq. (a)

Calculated v

by Eq. (b)

Pencocokkan yang baik akan punya lereng 1,intercept 0 dan r2 = 1.

vmodel = -0.859 + 1.032vmeasure

vmodel = 5.776 + 0.752vmeasure

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

8

Linearisasi Persamaan Nonlinear

Regresi Nonlinear

Transformasi Linear (jika mungkin)

Data yang tidak cocok dengan bentuk linear

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

9

Contoh Linearisasi

Regresi linear pada (log x, log y)

b2 = 1.75

x y log xlog y

1 0.5 0 -0.301

2 1.7 0.301 0.226

3 3.4 0.4770.534

4 5.7 0.6020.753

5 8.4 0.6990.922log y = 1.75 log x – 0.300

log a2 = – 0.300

a2 = 10-0.3 = 0.5y = 0.5x1.75

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

10

Regresi Polinomial

)1(

mn

Ss r

xy /

21

2210

n

i

mimiiir xaxaxaayS ...

21

2210

n

iiiir xaxaayS

Diketahui: n titik (x1, y1), (x2, y2), …, (xn, yn)

Ditanya : Suatu polinomial y = a0 + a1x + a2x2 + … amxm yang meminimizes

Contoh: polynomial 2nd-order y = a0 + a1x + a2x2

02 2210

0iii

r xaxaaya

S

0][2 2210

1iiii

r xxaxaaya

S

0][2 22210

2iiii

r xxaxaaya

S

iii yaxaxna 22

10

iiiii yxaxaxax 23

12

0

iiiii yxaxaxax 22

41

30

2

Standard error:

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

11

m = 2 ∑xi = 15 ∑xi4 = 979

n = 2 ∑yi = 152.6 ∑xiyi = 585.6

∑xi2= 55 ∑xi

2yi = 2488.9

∑xi3= 225

Contoh regresi Polinomial 2nd-order

82488

6585

6152

97922555

2255515

55156

2

1

0

.

.

.

a

a

a

52.x

y = 2.47857 + 2.35929x + 1.86071x2

12136

746573.

./

xys 998510

392513

7465733925132 ..

..

t

rt

S

SSr

43325.y

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

12

Regresi Linear Jamak

0][2 2221102

iiiir xxaxaay

a

S

2

122110

n

iiiir xaxaayS

Diketahui: n titik 3D (y1, x11, x12) (y2, x12, x22), …, (yn, x1n, x2n)

Ditanya : suatu bidang y = a0 + a1x1 + a2x2 yg meminimizes

02 221100

iiir xaxaay

a

S

0][2 1221101

iiiir xxaxaay

a

S

iii yaxaxna 22110

iiiiii yxaxxaxax 122112

101

iiiiii yxaxaxxax 222

212102

Pembuatan sampai ke dimensi ke-m :

hyper plane y = a0 + a1x1 + a2x2 + … + amxm

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

13

Kuadrat Terkecil Linear secara Umum

nmmnnn

m

m

n e

e

e

a

a

a

zzz

zzz

zzz

y

y

y

2

1

1

0

10

21202

11101

2

1

Kuadrat Terkecil Linear: y = a0 + a1x1

Kuadrat Terkecil Multi linear: y = a0 + a1x1 + a2x2 + … + amxm

Kuadrat Terkecil polinomial: y = a0 + a1x + a2x2 + … amxm

2

1 01

2

n

i

m

jjiji

n

iir zayeS

YZAZZ TT

y = a0z0 + a1z1 + a2z2 + … + amzm

{Y} = [Z] {A} + {E} [C] {A} = {D}([C] simetris, misal. linear dan polynomial)

Komputasi Numeris Jurusan Teknik Elektro UGM @2004 Ahmad Dedi Affandi

14

Regresi Non Linear

11

00

1 aa

xfa

a

xfxfxf

jiji

jiji

i

jiji

jii eaa

xfa

a

xfxfy

1

10

0

iiiii exfeaaxfy 10 ,;

DZAZZ Tjj

Tj

Misal Kita tahu bahwa data {(x1, y1), (x2,y2), …, (xn, yn)} mirip dengan fungsi f(x) = a0(1 – e-a

1x); bagaimana cara mencari a0 dan a1yang paling tepat ?

Ekspansi deret Taylor + regresi linear+ iterasi

{D} = [Zj] {∆A} + {E}

a0,j+1 = a0,j + ∆a0 and a1,j+1 = a1,j + ∆a1

Ekspansi taylor pada titik data xi and state sakarang j

nnnnn e

e

e

a

a

axfaxf

axfaxf

axfaxf

xfy

xfy

xfy

2

1

1

0

10

1202

1101

22

11

//

//

//

Least squares