Top Banner
KELOMPOK 2 : ANISA ZURAIDA(11.6544) AYU KOMALA DEWI (11.6572) HASRAT IFOLALA ZEBUA (11.6690) I KOMANG DEDDY SURYA PUTRA (11.6702) NITA APRILIA (11.6819) SILVIA HANIVAH PARINDURI (11.6904) YAMANORA SYLVIA ROSALIN (11.6956) ESTIMATION IN THE LESS THAN FULL RANK MODEL
60

ESTIMATION IN THE LESS THAN FULL RANK MODEL

Feb 16, 2016

Download

Documents

conway

ESTIMATION IN THE LESS THAN FULL RANK MODEL. KELOMPOK 2 : ANISA ZURAIDA(11.6544) AYU KOMALA DEWI (11.6572) HASRAT IFOLALA ZEBUA (11.6690) I KOMANG DEDDY SURYA PUTRA (11.6702) NITA APRILIA (11.6819) SILVIA HANIVAH PARINDURI (11.6904) YAMANORA SYLVIA ROSALIN (11.6956). - PowerPoint PPT Presentation
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: ESTIMATION IN THE LESS THAN FULL RANK MODEL

KELOMPOK 2 :

ANISA ZURAIDA(11.6544)AYU KOMALA DEWI (11.6572)

HASRAT IFOLALA ZEBUA (11.6690)I KOMANG DEDDY SURYA PUTRA (11.6702)

NITA APRILIA (11.6819)SILVIA HANIVAH PARINDURI (11.6904)YAMANORA SYLVIA ROSALIN (11.6956)

ESTIMATION IN THE LESS THAN FULL RANK MODEL

Page 2: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Pada chapter ini kita menganggap bahwa model todaklah memiliki rank penuh. Model tersebut dapat

dituliskan dengan

di mana X adalah matriks berordo nxp dengan ordo r dan r < p. Implikasi dari hal ini tentunya adalah X’X tidak memiliki rank penuh dan singular. Karena matriks tersebut tidak memiliki invers, teknik pengembangan untuk full rank model tidak lagi dapat diterapkan.

Page 3: ESTIMATION IN THE LESS THAN FULL RANK MODEL

5.1 LESS THAN FULL RANK MODEL

Dalam statistika terapan, analisis of varians (anova) sering diperkenalkan dengan terlebih dahulu menganggap model klasifikasi satu arah (one-way model) dengan efek tetap (fixed effects). Model ini muncul dalam percobaan pada pusat perhatian pada k populasi. Populasi bisa muncul dari pengelompokan alami atau bisa juga merupakan hasil dari penerapan k perlakuan pada sebuah kelompok dengan objek yang serupa pada permulaan dari percobaan tersebut.

Page 4: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Sebagai contoh, seorang peneliti medis terrtarik untuk membandingkan tiga penghilang rasa sakit untuk keefektifan dalam penyembuhan penyakit arthritis; seorang ahli biologi mempelajari efek dari empat perlakuan percobaan yang digunakan untuk mempengaruhi pertumbuhan tanaman tomat; dan lain sevagainya. Dalam setiap kasus, satu factor dipelajari pada k preselected levels. Setiap level diperkirakan sebagai sebuah “treatment.” Model umumnya adalah

di mana k merupakan banyaknya treatment atau level yang dilibatkan dalam percobaan dan ni merupakan banyaknya respon yang tersedia pada level ke-i. dalam notasi matriks, model ditunjukkan dalam bentuk

Page 5: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Ada beberapa perbedaan yang kentara dan beberapa yang tidak terlalu kentara di antara model full rank yang dipelajari sebelumnya:1. Dalam full rank model diasumsikan bahwa parameter

dispesifikasikan dalam model yang unik. Dalam model dengan rank kurang dari penuh umumnya terdapat banyak set bilangan real yang tak terbatas yang menggambarkan system.

2. Dalam full rank model, X’X adalah matriks nonsingular. System dari persamaan normal

hanya memiliki satu solusi, yaitu

Dalam model rank kurang dari penuh yang umum terdapat banyak solusi yang tak terbatas untuk system persamaan normal.

Page 6: ESTIMATION IN THE LESS THAN FULL RANK MODEL

3. Dalam model full rank, semua fungsi linier dari β0, β1, β2, …, βk dapat diestimasi secara tak bias; dalam model rank kurrang dari penuh,hal ini tak dapat dibenarkan.

Contoh 5.1.1

Model tersebut menunjukkan bahwa sumber variasi pada respon adalah acak di sekitar µ+τi.Untuk melihat bahwa parameter tidak teidentifikasi, dimisalkan,

Page 7: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Jika µ = 2, maka τ1 = 8, τ2 = 10, dan τ3 = 6. Jika µ = 3, maka τ1 = 7, τ2 = 9, dan τ3 = 5.Karena kolom pertama dari matriks X dapat ditunjukkan sebagai jumlah dari kolom 2, 3, dan 4, dan tiga kolom terakhir adalah independen secara linier, rank X adalah 3 dan X’X adalah matriks 4x4 dengan rank 3. Maka kasus tersebut adalah kasus kurang dari rank penuh, di mana X’X adalah matriks singular dan persaman normal,

memiliki solusi yang tak terbatas.

Page 8: ESTIMATION IN THE LESS THAN FULL RANK MODEL

5.2 A POSSIBLE SOLUTION – REPARAMETERIZATIONI

Sebuah metode yang sering digunakan dari pendekatan model dengan rank kurang dari penuh adalah reparameterization. Dalam moetode ini, parameter model ditentukan kembali dengan mengkombinasikan beberapa parameter menjadi satu pada sebuah cara di mana matriks baru yang dibentuk memiliki rank penuh.

Page 9: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Contoh 5.2.1

Anggaplah model klasifikasi satu arah dengan k=3.

Bentuk matriks dan vector dari parameter untuk model ini adalah

Page 10: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Xold memiliki rank tidak penuh. Pada model tersebut dilakukan parameterisasi kembali dengan menentukan ttiga parameter baru yaitu µ1, µ2, µ3, denganDengan model baru berupa

Bentuk matriks dan vector dari parameter untuk model baru adalah

Page 11: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Ingatlah bahwa X berordo Nx3 dengan rank = 3 di mana yang sekarang memiliki rank penuh. Teori yang dikembangkan pada chapter 3 dapat diterapkan untuk menyimpulkan bahwaDi mana,

Page 12: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Fungsi linier dari µ1, µ2,dan µ3, fungsi dari t’β, diestimasi dengan t’b, fungsi linier corresponding dari rata-rata masing-masing sampel. Sebagai contoh, fungsi linier 2µ1 - µ2 - µ3 diestimasi dengan . jika pengasumsian model biasanya dilakukan di sini, maka diasumsikan bahwa ε berdistribusi normal dengan rata-rata 0 dan varians . Hal ini ekuivalen dengan pengasumsian bahwa sampling berasal dari tiga populasi yang berdistribusi normal dengan rata-rata masing-masing µ1, µ2, dan µ3 dan varians umum . Varians umum tersebut dapat diestimasi dengan s2. Ingat kembali bahwa

Page 13: ESTIMATION IN THE LESS THAN FULL RANK MODEL
Page 14: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Seperti dalam pembelajaran, s2 biasanya dituliskan dengan “pooled” variance. Hal ini ditunjukkan sebagai rata-rata tertimbang dari varians sampel yang tersedia. Dalam hal ini dapat ditunjukkan bahwa,

Seperti yang kita lihat, memungkinkan bagi kita untuk bekerja pada model dengan rank kurang dari penuh dengan memparameterkan kembali ke dalam model rank penuh dan kemudian menerapkan teori yang telah tersedia.

Page 15: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Pengantar invers bersyarat

untuk menemukan metode umum untuk menangani kurang dari full rank Model beberapa teorema dan definisi dari bidang aljabar linear harus ditinjau. ingat bahwa bentuk sistem

Ax = g

Page 16: ESTIMATION IN THE LESS THAN FULL RANK MODEL

dimana A adalah matriks n x p bilangan real, x adalah vektor p x 1 yang tidak diketahui, dan g adalah vektor p x 1 bilangan real yang merupakan sistem persamaan yang linier diketahui. jika sistem tidak memiliki solusi dikatakan tidak konsisten, jika tidak konsisten. Maka setiap sistem tersebut, harus memegang tepat satu dari tiga hal :1. sistem konsisten2. sistem ini konsisten dan memiliki tepat satu

solusi3. sistem ini konsisten dan memiliki banyak solusi

Page 17: ESTIMATION IN THE LESS THAN FULL RANK MODEL

buktiasumsi bahwa sistem konsisten. Maka setidaknya ada satu vektor x0 sehingga Ax0 = g. Jelas bahwa r(A) ≤r( [A ¦ g] ). Ingat bahwar([A ¦ g)] = r ([A ¦ Ax0])= r (A[I ¦ x0])r (A[I ¦ x0]) ≤ r(A)r(A) ≤ r([A ¦ g]) ≤ r(A)

Teorema 5.3.1 berguna dalam memeriksa sistem untuk konsistensi

sistem Ax = g konsisten jika dan hanya jika rank [A ¦g] adalah sama dengan rank A

Page 18: ESTIMATION IN THE LESS THAN FULL RANK MODEL

 

Page 19: ESTIMATION IN THE LESS THAN FULL RANK MODEL

ide ini memainkan peran penting dalam teori model linier. khususnya, persamaan normal

(X’X)b = X’ymerupakan sistem persamaan linear yang mudah untuk menunjukkan bahwa sistem ini konsisten, sehingga menunjukkan bahwa persamaan normal yang terkait dengan model linier selalu memiliki setidaknya satu solusi.

Teorema 5.3.2 Xβ + ε menjadi model linier . maka sistem merupakan persamaan yang normal

(X’X)b = X’y adalah konsiten

Page 20: ESTIMATION IN THE LESS THAN FULL RANK MODEL

PembuktianUntuk melihat bahwa sistem adalah konsisten, itu cukup untuk melihat dari teorema 5.3.1

Jelas bahwa r(X’X)≤r([X’X ¦ X’y]).r([X’X ¦ X’y])=r(X’[X ¦ y])

≤r(X’) ≤r(X’X)

Sehingga menunjukkan bahwar(X’X)≤r([X’X ¦ X’y])≤r(X’X)ini hanya bisa berlaku jikar([X’X ¦ X’y])=r(X’X)

Page 21: ESTIMATION IN THE LESS THAN FULL RANK MODEL

dari teorema 5.3.1 sistem persamaan normal adalah konsistenseperti yang telah ditunjukkan sebelumnya, dalam model rank full sistem persamaan normal memiliki tepat satu solusi; jika kurang dari model rank full, banyak solusi untuk sistem yang ada. masalah mendesak adalah untuk menemukan metode umum untuk memecahkan persamaan normal kurang dari model yang rank full. untuk melakukannya, invers bersyarat diperlukan

definisi 5.3.1misalkan A matriks n x p. matriks Ac adalah A Matrik p x n sehingga

AAcA=Adisebut invers bersyarat untuk A

Page 22: ESTIMATION IN THE LESS THAN FULL RANK MODEL

 

Page 23: ESTIMATION IN THE LESS THAN FULL RANK MODEL

 

Page 24: ESTIMATION IN THE LESS THAN FULL RANK MODEL

 

Page 25: ESTIMATION IN THE LESS THAN FULL RANK MODEL

 

Page 26: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Invers bersyarat sangat penting karena mereka dapat digunakan untuk memecahkan sistem konsisten bentuk.

Ax = gKarena persamaan normal untuk setiap model linier konsisten dan menganggap formulir ini, invers bersyarat menyediakan metode untuk memecahkan persamaan normal dalam waktu kurang dari model yang full rank. untuk melihat bagaimana invers bersyarat hal ini mempertimbangkan Teorema 5.3.4.Teorema 5.3.4.Biarkan Ax= g konsisten. maka x = Acg adalah solusi untuk sistem di mana Ac dalah setiap invers bersyarat untuk A.

CONDITIONAL INVERSES AND THE NORMAL EQUATIONS

Page 27: ESTIMATION IN THE LESS THAN FULL RANK MODEL

BuktiBiarkan Ax = g konsisten dan Ac menunjukkansetiap terbalik bersyarat untuk A. menurut definisi,

AAcAx = AxDengan asumsi, Ax = g. Substitusi,

AAcg = gBiarkan xo = Acg. Maka Axo = g, menunjukkan bahwa xo

adalah solusi system.Aplikasikan teorema ini pada konteks Model Linear , akan sangat mudah melihat bahwab = (X’X) cX’yadalah solusi untuk system berdistribusi normal (X’X)b = X’y. Setiap terbalik bersyarat akan menghasilkan solusi. Namun, dalam waktu kurang dari Model peringkat penuh solusi aktual yang diperoleh tergantung pada pilihan (X'X) c; berbeda bersyarat invers menghasilkan solusi yang berbeda.

Page 28: ESTIMATION IN THE LESS THAN FULL RANK MODEL

 

Page 29: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Teorema 5.3.5 memungkinkan kita untuk menyimpulkan bahwa setiap invers bersyarat benar-benar menghasilkan jumlah tak terhitung solusi, dalam kurang dari full rank Model, selain itu menghasilkan kuadrat terkecil estimator

Teorema 5.3.5Ax=g konsisten dan Acmenunjukkan invers bersyarat A .makaX0=Acg+(I-AcA)zadalah solusi untuk sistem dimana z adalah vektor p x 1buktiberasumsi bahwa Ax = g konsisten dan A ' menunjukkan invers bersyarat A.

X0 =Acg+(I-AcA)zAX0 =A[Acg+(I-AcA)z]

=AAcg+A(I-AcA)zDiketahui bahwa Acg merupakan solusi sistem, maka AcAg = g. kita memperoleh

Ax0 =g+(A-AAcA)zDari definisi, AAcA=A maka

Ax0 =g+(A-A)z=gdari ini, dapat disimpulkan bahwa x0 adalah solusi untuk sistemdalam konteks model linier, teorema 5.3.5 menyiratkan bahwa setiap vektor dalam bentuk

b0=(X’X) cX’y+[I-(X’X) c(X’X)]z

dimana (X'X) c merupakan invers bersyarat X'X dan z adalah adalah solusi untuk persamaan normal. jika z = 0, maka kita mendapatkan solusi yang diperoleh melalui theore 5.3.4, jika X'X adalah full rank, maka kita memperoleh penduga kuadrat terkecil dikembangkan dalam bab 3.

Page 30: ESTIMATION IN THE LESS THAN FULL RANK MODEL

 

Page 31: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Teorema 5.3.6 memungkinkan kita untuk menyimpulkan bahwa setiap solusi untuk sistem yang konsisten dapat dinyatakan dalam setiap invers bersyarat. maka, dalam prakteknya, hanya satu invers bersyarat perlu ditemukan

Teorema 5.3.6Ax = g konsisten dan Ac invers bersyarat A. X0 akan ada solusi ke sistem. KemudianX0=Acg+(I-AcA)zDimana z=(I-AcA)X0

BuktiAx=g konsisten dan X0 merupakan solusi dari systemz=(I-AcA)X0

subtitusikanA’g+(I-A’A)z = Acg+(I-AcA) (I-AcA)X0

= Acg+(I-AcA)2 X0 (I-AcA) idempoten, sehingga = Acg+(I-AcA) X0

= Acg+X0-AcAX0 AX0=gAcg+(I-A’A)z = Acg+X0-Acg=X0

X0 solusi telah dinyatakan dalam bentuk yang diinginkanimplikasinya terhadap model linier adalah bahwa setiap solusi untuk persamaan normal dapat dinyatakan dalam setiap invers bersyarat (X'X) c. ide ini diilustrasikan dalam contoh numerik 5.3.4

Page 32: ESTIMATION IN THE LESS THAN FULL RANK MODEL

 

Page 33: ESTIMATION IN THE LESS THAN FULL RANK MODEL

 

Page 34: ESTIMATION IN THE LESS THAN FULL RANK MODEL

5.4. Pengantar Estimability

Dalam less than full rank model vektor β tidak dapat diestimasi secara unik. Ada banyak pilihan untuk (X’X)c

, yang menghasilkan sejumlah solusi dalam persamaan normal. Dengan alasan ini, less than full rank statistical model bukan tertuju pada β tapi pada fungsi linier dari β. Dengan ini fungsi dari bentuk t’β dimana t’ adalah sebuah vektor dari bilangan riil. Estimator dari t’ β adalah t’b dimana b adalah banyak solusi pada persamaan normal. Permasalahannya b akan menghasilkan estimasi yang berbeda dari t’β.

Page 35: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Misal y = xβ + ε dimana X adalah n x p dari rank r ≤ p. E[ε] = 0, dan varians ε = σ 2 i . Fungsi t ’β dapat dikatakan estimable j ika terdiri dari vektor c pada E[c’y] = t ’β

DEFINISI 5.4.1

TEOREMA 5.4.1

Misal y = xβ + ε dimana X adalah n x p dari rank r ≤ p. E[ε] = 0, dan varians ε = σ2i. Untuk menjadi estimable, harus terdiri dari kombinasi respon y1, y2, ...yn. Harus mempunyai nilai harapan t’β. Nilai tersebut harus menjadi linier unbiased estimator. Syarat dan kondisi sesuai untuk t’β agar menjadi estimable adalah dimana terdiri dari sebuah solusi untuk sistem (X’X)z = t.

Page 36: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Asumsikan sebuah penyelesaian zo dimasukan ke dalam sistem

(X’X)z = t sehingga (X’X)zo = t dan z’oX’X = t’. Misal c’ = z’oX’. Maka

E[c’y] = E[z’oX’y]= z’oX’ E[y]

Berdasarkan bentuk asumsi, E[y] = X β. Substitusikan sehingga,

E[c’y] = z’oX’Xβ = t’βBerdasarkan definisi t’ β adalah estimable. Untuk membuktikan asumsikan t’ β adalah estimable. Berdasarkan definisi vektor co berada dalam E[c’oy] = t’ β tanpa memperhatikan pilihan dari β. Ini menyatakan bahwa c’oE[y] = c’oXβ = t’β untuk setiap pilihan dari β. Ini dapat terjadi hanya jika c’o = t’ atau X’co = t. Dengan Demikian co adalah sebuah penyelesaian dari sistem X’c = t. Berdasarkan teorema 5.3.1.

r(X’) = r ([X’ ¦ t])

Bukti :

Page 37: ESTIMATION IN THE LESS THAN FULL RANK MODEL

[X’X ¦ t] = [X’ ¦ t]

 Pada saat rank dari produk kurang dari atau sama dengan rank dari tiap faktor, sehingga dapat dihitung :

r ([X’X ¦ t]) ≤ r ([X’ ¦ t])= r(X’)= r(X’X)

 Penambahan kolom ke matriks tidak dapat menurunkan ranknya, r ([X’X ¦ t]) ≥ r (X’X). Ini dapat terjadi hanya jika,

r ([X’X ¦ t]) = r(X’X)Berdasarkan teorema 5.3.1, sistem (X’X)z = t mempunyai solusi.

Page 38: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Teorema 5. 4. 2Misal y = Xβ + ε dimana X adalah n x p dari r ≤ p, E[ε] = 0, dan var ε = σ2I. Fungsi t’β adalah estimable jika dan hanya jika t’ (X’X)c

(X’X) = t’ dimana (X’X)c adalah sembarang conditional inverse untuk X’X.

Page 39: ESTIMATION IN THE LESS THAN FULL RANK MODEL

BuktiAsumsikan bahwa t’(x’x)c (X’X) = t’ dan oleh karena itu

(X’X)[(X’X)c]’t = t. Berdasarkan property 3 dari conditional inverses,

(X’X)( X’X)c t = tIni menyatakan bahwa (x’x)c t adalah sebuah solusi untuk sistem (X’X) z = t. Berdasarkan teorema 5.4.1 t’β adalah estimable. Untuk membuktikannya, asumsikan bahwa t’β adalah estimable. Lalu dengan teorema 5.4.1 dimana solusi untuk sistem (X’X)z = t. Dengan teorema 5.3.4 (X’X)c t adalah solusi untuk sistem. Substitusikan, sehingga kita memperoleh :(X’X) (X’X)c t = tAmbil transpose dan catat bahwa [(X’X)c]’ =(X’X)c, sehingga dapat disimpulkan bahwa :t’(X’X)c (X’X) = t’

Page 40: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Contoh 5.4.1Berdasarkan sistem linear pada contoh 5.3.4.

maka

(X’X) = dan (X’X)c =

Kita kalikan, diperoleh

(X’X)c (X’X) =

Untuk melihat β0 adalah estimable, kita bisa menulis parameter β0 = t’ β dimana t’ =

.Makat’(X’X)c (X’X) = = ≠ t’

Page 41: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Parameter tersebut t idak est imable . Sebuah penghi tungan cepat akan menunjukkan bahwa β 2 j uga adalah non es t imable . Sekarang anggap fungs i β 1 – β 2 . Fungs inya dapat d i tu l i s :

β 1 – β 2 = t ’ βDimana t ’ = . k i ta ka l ikan , d ipero leh

t ’ (x ’x ) c (X ’X) = = = t ’

Teorema 5 .4 .2 menunjukkan bahwa β 1 – β 2 ada lah es t imable .Sebagai awal menandai , da lam bagian fungs i l inear dar i perhat ian para s tat i s t i s i in i ada lah invar iant untuk memi l ih so lus i untuk persamaan normal . D ikatakan bahwa property in i mengikat dugaan dar i es t imabi l i ty. Lemma 5 .4 .2 menunjukkan k i ta tentang es tab l i sh has i lnya.

Dari hasil tersebut dapat diambil kesimpulan bahwa β0

tidak estimable dan karenanya β tidak estimable. Untuk melihat jika β1 estimable, tulis β1 sebagai β1 = t’ β dimana t’ = .

t’(X’X)c (X’X) = = = t’

Page 42: ESTIMATION IN THE LESS THAN FULL RANK MODEL

LEMMA

5.4.1

Misal y = Xβ + εdimana X adalah n x p dari rank r ≤ p, E[ε] = 0, dan varians ε = σ2I. Linear unbiased estimator yang paling baik dar semua estimable function t’β adalah z’ X’ y dimana z adalah sebuah solusi dari (X’X)z = t.

Page 43: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Bukti :Asumsikan linear unbiased estimator yang terbaik dari t’ β

adalah k’ y.

Misal z0 menunjukkan solusi (X’X)z = t. Tulis k’ dalam bentuk

k’ = z’0 X’ + c’harus ditunjukkan bahwa c = 0. Karena k’ y adalah unbiased estimator dari t’ β.

E[k’ y] = k’ E[y] = k’ Xβ = t’β.Substitusikan bentuk k’, sehingga dapat diperoleh

(z’0 X’ + c’) Xβ = (z’0 X’ X + c’ X)β = t’βKarena z0 solusi dari sistem (X”X)z = t, (X’X) z0 = t dan z’0 X’X = t’. Karenanya

(t’ + c’ X) β = t’βDari bentuk tersebut dapat disimpulkan bahwa c’X= 0’. Agar k’ y menjadi the best linear unbiased estimator untuk t’β, variansnya tidak boleh lebih besar dari banya linear unbiased estimator lainnya dari t’β.

Page 44: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Sekarangvar (k’y) = E[(k’y – t’β)2]

= E[(k’y – t’β)(k’y – t’β)’]Karena y = Xβ + ε,

var (k’y) = E{[k’(Xβ + ε) – t’β][k’(Xβ + ε) – t’β]’}Misalkan k’ = z’0 X’ + c’ dimana c’X = 0’. Sehingga variansnya menjadivar (k’y) = E{[ z’0X’Xβ + c’Xβ + z’0X’ε + c’ε – t’β]

. [z’0X’Xβ + c’Xβ + z’0X’ε + c’ε – t’β]’} = E{[ z’0X’Xβ + z’0 X’ ε + c’ε – t’β][ z’0X’Xβ + z’0X’ε +

c’ε – t’β]’} = E{[ z’0X’Xβ + k’ε – t’β][ z’0X’Xβ + k’ε – t’β]’}

Gunakan z’0X’X = t’, makavar (k’y) = E{[t’β + k’ε –t’β][t’ β + k’ε –

t’β]’}= E[(k’ε)(k’ε)’]= E[k’ε ε’k]= k’E[ε ε’]k

Page 45: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Berdasarkan definisi, E[ε ε’] = var ε = σ2I. Karenanya

var (k’y) = σ2k’kDimana k’ = z’0X’ + c’. Substitusikan, sehingga kesimpulan yang diperoleh

var (k’y) = σ2( z’0X’ + c’)(Xz0 + c)= σ2( z’0X’Xz0 + z’0X’c + c’Xz0

+c’c)Karena c’X = 0’,

var (k’y) = σ2(z’0X’Xz0 + c’c)

karena z’0X’Xz0 ditetapkan dalam nilai, var (k’y) minimum ketika c’c minimum. Karena c’c = , minimum terjadi ketika ci = 0, i = 1, 2, ... , n.Maka var (k’y) minimum pada saat c = 0 terbukti.

Page 46: ESTIMATION IN THE LESS THAN FULL RANK MODEL

TEOREMA GAUSS-MARKOFF

Lemma 5.4.1 digunakan terutama untuk establish teorema 5.4.3. Teorema ini adalah teorema Gauss-Markoff yang dapat diterapkan untuk less than full rank model, dengan full rank model menjadi spesial casenya (lihat teorema 3.2.3). hal ini memberikan kita kesimpulan 2 hal. Pertama, menunjukkan bahwa jika t’β adalah estimable maka the best linear unbiased estimate t’β = z’X’y adalah invariant untuk memilih z dimana z adalah solusi dari system (X’X)z = t. Maka, the best linear unbiased estimate dari t’β adalah unique. Kedua, bagian dari pembuktian tersebut menunjukkan bahwa t’β = t’b dimana b adalah banyak solusi untuk persamaan normal. Jadi, the best linear unbiased estimate dari t’β sebenarnya adalah t’b dan invariant untuk memilih b sebagai claim pertama.

Page 47: ESTIMATION IN THE LESS THAN FULL RANK MODEL

BuktiAsumsikan bahwa z 0 dan z 1 ada lah t iap so lus i untuk s is tem (x ’x )z = t jad i ( x ’x )z = t , ( x ’x )z 1 = t , dan z ’ 0 x ’x = z ’ 1 x ’x = t ’ . Misa l b merupakan banyak so lus i untuk persamaan normal dan catatan bahwa (x ’x )b = x ’y. Anggap est imas i z ’ 0 x ’y dan z ’ 1 x ’y. Maka

Z’ 0 x’y = z ’ 0 (x ’x)b = t ’bDan

Z’ 1 x’y = z ’ 1 (x ’x)b = t ’bDari s in i dapat d iambil kesimpulan bahwa

Z’ 0 x’y = z ’ 1 x’yThe best l inear unbiased est imate dari t ’β adalah unique. Selanjutnya the unique est imate dari t ’β adalah t ’b d imana b adalah banyak solusi untuk persamaan normal .

Teorema 5.4.3(Teorema Gauss-Markoff) misal y = Xβ + ε dimana X adalah n x p dari rank r ≤ E[ε] = 0, dan varians ε = σ2I. Misal t’β estimable. Maka banyak solusi untuk system (X’X)z = t menghasilkan estimasi yang sama dari t’β. Selanjutnya, this best linear unbiased estimate dari t’β dimana b adalah banyak solusi untuk persamaan normal.

Page 48: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Contoh 5.4.2

Anggap sistem pada contoh 5.4.1 ditunjukkan dalam fungsi linear

t’β = β = β1 – β2

adalah estimable. Dalam contoh 5.3.3 ditunjukkan bahwa

b = dan b0 =

adalah tiap solusi untuk persamaan normal. Teorema 5.4.3 menjamin bahwa the best linear estimate dari t’β adalah unique. Selanjutnya, b atau b0 atau banyak solusi lainnya untuk persamaan normal dapat digunakan untuk menjamin estimasi ini. Disini, catat bahwa

t’β = = -2 dan t’b0 = = -2

hasilnya seperti yang diharapkan, yaitu sama.

Page 49: ESTIMATION IN THE LESS THAN FULL RANK MODEL

1) Dalam less than full rank model interest centers di fungsi estimable dari bentuk t’β.

2) Fungsi estimable dapat diestimasi dengan unik.

3) Estimasi unique dari fungsi-fungsi yang sedemikian rupa adalah t’b dimana b adalah banyak solusi untuk persamaan normal.

4) t’b adalah the best linear unbiased estimator dari t’β.

Dalam sesi pendugaan estimability yang sudah dikembangkan dan udi dari estimability diperoleh. Terdapat point penting untuk mengingat dalam aplikasi selanjutnya sebagai berikut :

Page 50: ESTIMATION IN THE LESS THAN FULL RANK MODEL

5.5 Teorema Estimabilita

Theorem 5.5.1jika y = Xβ + ε , dimana X adalah matriks nxp, dengan rank r ≤ p, E[ε] = 0, dan var ε = σ2I. Element dari Xβ adalah estimable. penjelasan 5.5.docx

Page 51: ESTIMATION IN THE LESS THAN FULL RANK MODEL

5.5 Teorema Estimabilita

Theorem 5.5.2jika t’1β, t’2β, ..., t’kβ menjadi sebuah kumpulan fungsi yang estimable, jika z = a1t’1β + a2t’2β + ... + akt’kβ menjadi sebuah kombinasi linear dari fungsi tadi, maka z adalah estimable. Selanjutnya BLUE untuk z adalah z = a1t’1b + a2t’2b + ... + akt’kb dimana b adalah setiap solusi untuk sistem persamaan yang normalpenjelasan 5.5.docx

Page 52: ESTIMATION IN THE LESS THAN FULL RANK MODEL

5.6 Estimasi varians untuk rank tidak penuh.

Untuk rank penuh, estimasi varians yaitu :

n=banyaknya sampelp=banyaknya rank atau parameter.

Dengan :

Page 53: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Untuk rank tak penuh maka :Theorema 5.6.1Jumlah kuadrat residualnya berbeda. Yaitu :Dimana adalah conditional invers

dari .Dari definisi :

Jika maka menjadi :

Page 54: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Dengan sifat maka diketahui bahwa :

Sehingga :

Untuk rank tak penuh didapat :

n=banyaknya sampelr=banyaknya rank dari X, tidak sama dengan

banyaknya parameter.

Page 55: ESTIMATION IN THE LESS THAN FULL RANK MODEL

Ekspektasi nya

Page 56: ESTIMATION IN THE LESS THAN FULL RANK MODEL
Page 57: ESTIMATION IN THE LESS THAN FULL RANK MODEL

5.7 estimasi interval untuk rank tidak penuh.

Page 58: ESTIMATION IN THE LESS THAN FULL RANK MODEL

distribusi t bisa digunakan untuk selang kepercayaan secara umum di fungsi estimasi

Page 59: ESTIMATION IN THE LESS THAN FULL RANK MODEL
Page 60: ESTIMATION IN THE LESS THAN FULL RANK MODEL