A workshop conducted at Universitas Brawijaya, Malang ... mathematics of REML 201503.pdf · himpunan n-1 peubah acak yang bebas terhadap rata-rata contoh, dan membentuk ragam contoh

Matematika REML

A workshop conducted at

Universitas Brawijaya, Malang, Indonesia

December 2013

Mick O'Neill

Statistical Advisory & Training Service Pty Ltd

[email protected]

www.stats.net.au

mailto:[email protected]

http://www.stats.net.au/

Daftar Isi

Pengantar REML ..................................................................................................................... 1

Pengembangan REML ............................................................................................................ 4

Solusi REML untuk sebaran normal ..................................................................................... 5

Matriks umum dalam pengembangan REML ....................................................................... 7

Properti statistika dari peubah transformasi ........................................................................... 9

Fungsi kepekatan normal multivariat ..................................................................................... 9

Transformasi ortogonal ........................................................................................................ 10

Transformasi melibatkan matriks setangkup idempoten ..................................................... 13

Model Linier Umum (GLM) dengan hanya pengaruh tetap ............................................ 14

Example 1 – Contoh acak sederhana dari sebaran normal .................................................. 10

Example 2 Regresi Linier Sederhana ................................................................................ 17

Example 3 Regresi Linier Berganda .................................................................................. 24

Example 4 Rancangan perlakuan Satu-arah ....................................................................... 27

Example 5 - Uji t tidak berpasangan– ragam sama ............................................................. 35

Example 6 – Uji t tidak berpasangan – ragam berbeda ....................................................... 36

Model Campuran Linier (LMM) ......................................................................................... 40

1. LMM umum ................................................................................................................... 40

2. Transformasi untuk memisahkan pengaruh tetap .......................................................... 42

3. Dua fungsi logLikelihood .............................................................................................. 45

4. Solusi REML untuk pengaruh acak ............................................................................. 47

5. Solusi REML untuk pengaruh tetap ............................................................................. 50

6. Menguji pengaruh tetap: uji Wald ................................................................................ 52

7. Uji Wald untuk pengaruh tetap menggunakan REML ................................................ 54

8. Menguji pengaruh acak ................................................................................................ 55

Teladan struktur sisa berkorelasi ........................................................................................ 57

Teladan 1 – struktur uniform: model-model blok acak ....................................................... 58

Teladan 2 matriks diagonal:

Rancangan perlakuan Satu-Arah dengan perubahan ragam perlakuan ........... 64

Teladan 3 Contoh acak sederhana dengan sisa berkorelasi AR(1) .................................. 70

Teladan 4 Data pengukuran berulang, tak berstruktur/antedependence .......................... 77

Teladan 5 Model-model Spasial, struktur AR1 × AR1 ................................................... 85

The Mathematics of REML

1

Perkenalan tentang REML

REML adalah kepanjangan dari

REsidual Maximum Likelihood

atau kadang

REstricted Maximum Likelihood

Atau bahkan

REduced Maximum Likelihood (Patterson and Thompson, 1971)

Apa itu Maximum Likelihood?

Likelihood suatu contoh adalah peluang prior untuk memperoleh data dalam contoh.

Ini memerlukan asumsi tentang sebaran data, seperti

Binomial atau Poisson untuk d count (hasil menghitung)

Normal atau LogNormal untuk data kontinu

Setiap sebaran melibatkan paling tidak satu parameter yang tidak diketahui yang harus

diduga dari data.

Pendugaan dilakukan dengan mendapatkan suatu nilai parameter yang memaksimumkan

likelihood.

Nilai ini disebut penduga maximum likelihood untuk parameter.

Catatan.

Sesungguhnya memaksimumkan log-likelihood ekivalen dengan memaksimumkan likelihood

dan lebih mudah ditangani (untuk akurasi numerik).


2

Teladan 1 percobaan perkecambahan benih

Ambil 100 benih dan inspeksi apakah setiap benih berkecambah (G) atau tidak (NG).

Apa penduga ML bagi p, peluang bahwa satu benih berkecambah?

Jika 100 benih berkecambah (atau tidak) mengikuti pola berikut:

G NG G G … NG G

Maka

Likelihood = p (1 - p) p p … (1 - p) p

Jika dari n benih, g adalah banyaknya benih yang berkecambah (dan banyaknya benih yang

tidak berkecambah n-g). Maka likelihood adalah

Likelihood = pg (1 - p)n-g

Tidak mudah untuk dimaksimumkan (menurunkan secara matematis) sebagaimana

logaritmanya:

logLikelihood = g ln(p) + (n-g) ln(1 - p)

Maka solusi ML yang didapat dari memaksimumkan Likelihood sama dengan yang dihasilkan

dari memaksimumkan logLikelihood.

Solusi matematis:

Turunan log likelihood: 𝑑

𝑑𝑝(𝑔 log(𝒑) + (𝑛 − 𝑔) log(1 − 𝒑))

Samakan dengan 0 𝑔

�̂�−

𝑛 − 𝑔

1 − �̂�= 0

𝑔

�̂�=

𝑛 − 𝑔

1 − �̂�

𝑔(1 − �̂�) = �̂�(𝑛 − 𝑔) 𝑔 − �̂�𝑔 = �̂�𝑛 − �̂�𝑔

−�̂�𝑔 terdapat di dua ruas, sehingga dapat dibuang

𝑔 = �̂�𝑛

�̂� =𝑔

𝑛


3

Teladan 2 Flesh hue of freshly cut mangoes

Asumsikan bahwa flesh hue menyebar normal.

Apa penduga ML bagi 𝜇, rata-rata flesh hue, dan 𝜎2, ragam dalam flesh hue?

Ambil n mangga secara acak dan ukur their flesh hues yang dilambangkan dengan y1, y2, …, yn.

Untuk peubah kontinu, likelihood didefinisikan sebagai perkalian fungsi kepekatan pada setiap

titik contoh:

𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =1

√2𝜋𝜎2𝑒

−(𝑦1−𝜇)2

2𝜎2 ×1

√2𝜋𝜎2𝑒

−(𝑦2−𝜇)2

2𝜎2 × ⋯×1

√2𝜋𝜎2𝑒

−(𝑦𝑛−𝜇)2

2𝜎2

Seperti yang akan kita lihat, diperlukan transformasi, karena Jacobian dari transformasi

mungkin dilibatkan.

Juga, ini merupakan ekspresi matematis yang sulit diturunkan, maka maximumkan

logLikelihood yang akan memberikan hasil sama.

= −1

2log(2𝜋𝜎2) −

(𝑦1 − 𝜇)2

2𝜎2−

1


(𝑦2 − 𝜇)2

2𝜎2…−

1


(𝑦𝑛 − 𝜇)2

2𝜎2

Gabungkan suku sejenis menjadi:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = −𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) − ∑

(𝑦𝑖 − 𝜇)2

2𝜎2

𝑛

𝑖=1

(1)

Solusi matematis:

Maksimumkan log likelihood dengan cara menurunkannya terhadap 𝜇:

∂

∂µ(−

𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) − ∑

(𝑦𝑖 − 𝜇)2

2𝜎2

𝑛

𝑖=1

)

∂

∂µ(−

𝑛

2log(2𝜋)) −

∂

∂µ(𝑛

2log(𝜎2) − ∂

∂µ(∑

(𝑦𝑖 − 𝜇)2

2𝜎2

𝑛

𝑖=1

)

0 − −0 − 2(−1)∑(𝑦𝑖 − 𝜇)

𝜎2

𝑛

𝑖=1


4

Samakan dengan nol

∑(𝑦𝑖 − �̂�)

�̂�2= 0

𝑛

𝑖=1

∑ (𝑦𝑖 − �̂�) = 0𝑛𝑖=1 ; ∑ 𝑦𝑖 − ∑ �̂� = 0𝑛

𝑖=1 𝑛𝑖=1 ; ∑ 𝑦𝑖 − 𝑛�̂� = 0 𝑛

𝑖=1 �̂� = �̅�

Menurunkan terhadap 𝜎2

∂

∂𝜎2 (−𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) − ∑

(𝑦𝑖 − 𝜇)2

2𝜎2

𝑛

𝑖=1

)

∂

∂𝜎2 (−𝑛

2log(2𝜋)) −

∂

∂𝜎2(𝑛

2log(𝜎2) −

∂

∂𝜎2(∑(𝑦𝑖 − 𝜇)2

2𝜎2

𝑛

𝑖=1

)

0 − 0 −𝑛

2𝜎2+ ∑

(𝑦𝑖 − 𝜇)2

2𝜎4

𝑛

𝑖=1

Karena samakan dengan nol, maka akan 2�̂�2 hilang, ganti 𝜇 dengan penduganya �̅�

−𝑛

2�̂�2+ ∑

(𝑦𝑖 − �̂�)2

2�̂�4

𝑛

𝑖=1

= 0

∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1

�̂�2= 𝑛

�̂�2 =∑ (𝑦𝑖 − �̅�)2𝑛

𝑖=1

𝑛

Catatan penting tentang penduga ML sebaran normal:

• Penduga ML bagi rata-rata populasi 𝜇 bersifat tak bias

• Penduga ML bagi ragam populasi 𝜎2 berbias (karena menggunakan pembagi 𝑛 bukan

𝑛 − 1.

• Karena bukan REML, Log likelihood tidak perlu diuraikan menjadi dua bagian.


5

Pengembangan REML

Dimungkinkan untuk menguraikan likelihood ke dalam dua bagian:

likelihood yang mengandung parameter rata-rata 𝜇 (juga parameter ragam 𝜎2), dan

residual likelihood yang hanya mengandung parameter ragam 𝜎2

sedemikian sehingga

likelihood pertama dapat dimaksimumkan untuk menduga parameter rata-rata 𝜇 (dan

solusinya tidak tergantung pada penduga 𝜎2); dan

residual likelihood dapat dimaksimumkan untuk menduga parameter ragam 𝜎2. Solusi

ini dikenal sebagai penduga REML bagi 𝜎2 (berbeda dari solusi penduga ML).

Untuk sebaran normal dan teladan 2, cara cepat untuk mengembangkan ide ini tergantung pada

fakta:

∑(𝑦𝑖 − 𝜇)2

𝑛

𝑖=1

= ∑[(𝑦𝑖 − �̅�) + (�̅� − 𝜇)]2𝑛

𝑖=1

= ∑(𝑦𝑖 − �̅�)2

𝑛

𝑖=1

+ 𝑛(�̅� − 𝜇)2

Langkah pertama dalam memisahkan dua likelihood adalah menulis kembali logLikelihood

untuk sebaran normal:


2log(2𝜋) −

𝑛

2log(𝜎2) − ∑

(𝑦𝑖 − 𝜇)2

2𝜎2

𝑛

𝑖=1

sebagai


2log(2𝜋) −

𝑛

2log(𝜎2) − ∑

(𝑦𝑖 − �̅�)2

2𝜎2

𝑛

𝑖=1

−𝑛(�̅� − 𝜇)2

2𝜎2

Lihat hasil berikut. Jika contoh acak berukuran n ditarik dari sebaran normal N(𝜇, 𝜎2), maka

rata-rata contoh �̅� juga menyebar normal dengan rata-rata 𝜇 dan ragam 𝜎2/𝑛. Dengan

demikian likelihood untuk rata-rata �̅� adalah:

𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 𝑓 − 𝑜𝑟 �̅� =1

√2𝜋 𝜎2 𝑛⁄𝑒

−(�̅�−𝜇)2

2𝜎2 𝑛⁄ = √𝑛

2𝜋𝜎2𝑒

−𝑛(�̅�−𝜇)2

2𝜎2


6

Sehingga logLikelihood untuk rata-rata contoh �̅� adalah

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 for �̅� =1

2log(𝑛) −

1

2log(2𝜋) −

1

2log(𝜎2) −

𝑛(�̅� − 𝜇)2

2𝜎2

Kembali ke log-Likelihood untuk contoh acak dari sebaran normal, yakni


2log(2𝜋) −

𝑛

2log(𝜎2) − ∑

(𝑦𝑖 − �̅�)2

2𝜎2

𝑛

𝑖=1

−𝑛(�̅� − 𝜇)2

2𝜎2 (2)

Dan pisahkan logLikelihood dari rata-rata contoh �̅�: (gunakan 𝑛 = 𝑛 − 1 + 1 = 1 + (𝑛 − 1)

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 contoh acak berukuran 𝑛 dari sebaran normal =

−1

2log(2𝜋) −

1

2log(𝜎2) −

𝑛(�̅� − 𝜇)2

2𝜎2

−𝑛−1

2log(2𝜋) − 𝑛−1

2log(𝜎2) − ∑

(𝑦𝑖−�̅�)2

2𝜎2𝑛𝑖=1

Catat bahwa 𝑛 = 𝑛 + 1 − 1 = 1 + (𝑛 − 1) untuk penguraian

Tampak bahwa

baris pertama (hampir) loglikelihood dari rata-rata contoh �̅�, berbeda hanya dalam

konstanta ½ ln(n). Hal ini tidak berpengaruh terhadap pemaksimuman fungsi terhadap

dan sesungguhnya hilang di bawah transformasi. Kita akan kembali ke sini.

Baris kedua hanya mengandung parameter ragam 𝜎2. Ini adalah loglikelihood dari

himpunan n-1 peubah acak yang bebas terhadap rata-rata contoh, dan membentuk ragam

contoh 𝒔𝟐 sebagai penduga bagi 𝜎2 (kita akan kembali ke sini).

Baris kedua disebut REsidual (atau Restricted atau Reduced) Likelihood. Likelihood ini

dimaksimumkan secara terpisah dari likelihood pertama, untuk rata-rata contoh. Hasil

memaksimumkan likelihood ini dikenal sebagai penduga REML bagi ragam 𝜎2.

Fungsi pada baris pertama dimaksimumkan secara terpisah untuk mendapatkan penduga bagi 𝜇.


7

Solusi REML untuk sebaran normal:

1. Maksimumkan

−1

2log(𝑛) −

𝑛−1

2log(2𝜋) −

𝑛−1

2log(𝜎2) − ∑

(𝑦𝑖 − �̅�)2

2𝜎2

𝑛

𝑖=1

terhadap 𝜎2:

∂

∂𝜎2(−1

2log(𝑛)) −

∂

∂𝜎2 (𝑛−1

2log(2𝜋)) −

∂

∂𝜎2 (𝑛−1

2log(𝜎2)) −

∂

∂𝜎2 (∑(𝑦𝑖 − �̅�)2

2𝜎2

𝑛

𝑖=1

)

0 − 0 −(𝑛 − 1)

2𝜎2+ ∑

(𝑦𝑖 − �̅�)2

2𝜎4

𝑛

𝑖=1

Samakan dengan nol

−(𝑛 − 1)

2�̂�2+ ∑

(𝑦𝑖 − �̅�)2

2�̂�4

𝑛

𝑖=1

= 0

∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1

�̂�2= (𝑛 − 1)

�̂�2 =∑ (𝑦𝑖 − �̅�)2𝑛

𝑖=1

(𝑛 − 1)

2. Maksimumkan

+1

2log(𝑛) −

1

2log(2𝜋) −

1

2log(𝜎2) −

𝑛(�̅� − 𝜇)2

2𝜎2

terhadap 𝜇:

∂

∂𝜇(

1

2log(𝑛)) −

∂

∂𝜇(1

2log(2𝜋) −

∂

∂𝜇(1

2log(𝜎2) −

∂

∂𝜇(𝑛(�̅� − 𝜇)2

2𝜎2)

0 − −0 − 0 −2𝑛(�̅� − 𝜇)

2𝜎2

Samakan dengan nol


8

2𝑛(�̅� − �̂�)

2𝜎2= 0

(�̅� − �̂�) = 0

�̂� = �̅�

Tampak bahwa untuk sebaran normal,

Solusi untuk 𝜇 (dalam hal ini) tidak tergantung pada parameter 𝜎2,

Solusi untuk 𝜎2 adalah ragam contoh sebagai penduga takbias bagi ragam.


9

Matriks dalam pengembangan REML

Matriks memegang peranan penting dalam statistika matematika, maka perlu mengingat

kembali beberapa matriks, sifat-sifat dan penggunaannya.

Matriks Khusus

1. Matriks identitas I adalah matriks di mana diagonal utama bernilai 1 dan 0 di luar

diagonal. Kadang subskrip digunakan untuk menjelaskan dimensi .

I3 = (1 0 00 1 00 0 1

)

2. Matriks nol terdiri dari 0

𝑶3 = (0 0 00 0 00 0 0

)

3. Suatu matriks yang semua unsurnya bernilai 1 kadang dilambangkan dengan J , dengan

dimensi banyaknya baris kali banyaknya kolom. Untuk matriks segi, jika diperlukan hanya

ditulis subskrip tunggal.

J34 = (1 1 1 11 1 1 11 1 1 1

) (3 baris dan 4 kolom)

Matriks ini dihasilkan dari perkalian vector kolom 1 sebagai vektor pengganda awal dengan

vector baris 1 (pengganda akhir). Vektor kolom 1 sebanyak 4 baris ditulis demikian 14:

13 ⊗ 14 = 1314𝑇 = (

111) (1 1 1 1) = (

1 1 1 11 1 1 11 1 1 1

) = J34

4. Matriks 𝑴 bersifat idempotent jika 𝑴2 = 𝑴. Pandang M = 1

𝑛J𝑛, mudah ditunjukkan bahwa

(1

𝑛J𝑛) (

1

𝑛J𝑛) = (

1

𝑛J𝑛) maka (

1

𝑛J𝑛) idempoten.

5. Matriks 𝑷 dikatakan ortogonal sedemikian sehingga 𝑷𝑷𝑇 = 𝑷𝑇𝑷 = 𝑰. Matriks Helmert 𝑯

adalah ortogonal. Pandang pola matriks di ruas kiri:


10

(1 11 −1

), (1/√2 1/√2

1/√2 −1/√2)

(1 1 11 −1 01 1 −2

), (

1/√3 1/√3 1/√3

1/√2 −1/√2 0

1/√6 1/√6 −2/√6

)

(

1 1 1 11 −1 0 01 1 −2 01 1 1 −3

),

(

1/√4 1/√4 1/√4 1/√4

1/√2 −1/√2 0 0

1/√6 1/√6 −2/√6 0

1/√12 1/√12 1/√12 −3/√12)

(

1 1 1 1 11 −1 0 0 01 1 −2 0 01 1 1 −3 01 1 1 1 −4)

,

(

1/√5 1/√5 1/√5 1/√5 1/√5

1/√2 −1/√2 0 0 0

1/√6 1/√6 −2/√6 0 0

1/√12 1/√12 1/√12 −3/√12 0

1/√20 1/√20 1/√20 1/√20 −4/√20)

dan seterusnya

Baris pertama setiap matriks di kiri adalah 1. Kemudian {1, -1}, {1, 1, -2}, {1, 1, 1, -3} {1,

1, 1, -4} sehingga baris terakhir matriks berukuran 5×5 adalah {1, 1, 1, 1, -5} dst.

Jika matriks-matriks di ruas kiri dikalikan dengan vektor pengganda awal yakni vektor data

𝒚, maka baris pertama vektor baru (vector kolom) ini adalah jumlah data (𝑦1 + 𝑦2 + ⋯+

𝑦𝑛). Elemen kedua adalah (𝑦1 − 𝑦2), elemen ketiga (𝑦1 + 𝑦2 − 2𝑦3), kemudian (𝑦1 + 𝑦2 +

𝑦3 − 3𝑦4), dan seterusnya.

Apabila setiap elemen dalam baris dibagi dengan akar pangkat dua dari jumlah kuadrat

bilangan dalam baris tersebut, akan menghasilkan matriks ortogonal Helmert yang tertulis di

bagian kanan.

Catat bahwa kebalikan dari matriks ortogonal 𝑷 adalah putarannya, 𝑷𝑇 (𝑷−1 = 𝑷𝑇)

Properti Statistika dari peubah transformasi


11

1. Fungsi kepekatan peluang normal multivariat

Peubah acak {𝑦1, … , 𝑦𝑛} ditata dalam vektor kolom 𝒚 = (

𝑦1

⋮𝑦𝑛

). Peubah acak ini mungkin saja

tidak memiliki rata-rata sama dan saling berkorelasi. Nyatakan vektor rata-rata sebagai 𝝁 dan

matriks ragam-peragam 𝚺. Maka fungsi kepekatan peluang normal multivariat adalah:

𝑓(𝑦1, 𝑦2, … , 𝑦𝑛) =1

(2𝜋)𝑛 2⁄ |𝚺|1 2⁄𝑒−

12(𝒚−𝝁)𝑇𝚺−1(𝒚−𝝁)

2. Kasus khusus contoh acak dari sebaran normal univariat

Pandang {𝑦1, … , 𝑦𝑛} sebagai contoh acak yang berasal dari sebaran normal tunggal N(𝜇, 𝜎2).

Rata-rata di bagian sebelumnya sama, ragam juga sama dan semua peragam/korelasi bernilai

nol. Ekspresi matriks mereduksi menjadi likelihood data yang telah dipertimbangkan:


√2𝜋𝜎2𝑒

−(𝑦1−𝜇)2

2𝜎2 ×1

√2𝜋𝜎2𝑒

−(𝑦2−𝜇)2

2𝜎2 × ⋯×1

√2𝜋𝜎2𝑒

−(𝑦𝑛−𝜇)2

2𝜎2

diekspresikan dalam matriks sebagai:


(2𝜋)𝑛 2⁄ (𝜎2)𝑛 2⁄𝑒

−1

2𝜎2(𝒚−𝝁)𝑇(𝒚−𝝁)

di mana vektor rata-rata dapat ditulis sebagai 𝝁 = 𝜇1.


12

Transformasi Ortogonal

Pandang matriks ortogonal 𝑷 dan transformasi 𝒚 (tanpa asumsi data menyebar identik dan tak

berkorelasi) menjadi

𝒖 = 𝑷𝒚

maka

𝐸(𝒖) = 𝑷𝝁

dan

𝑣𝑎𝑟(𝒖) = 𝑷𝚺𝑷𝑇

Untuk transformasi dari 𝒚 ke 𝒖 diperlukan Jacobian yaitu nilai positif dari determinan matriks

yang terlibat dalam hal ini 𝑷. Dari definisi dasar tentang 𝑷, 𝑑𝑒𝑡(𝑷𝑇𝑷) = 𝑑𝑒𝑡(𝑷𝑷𝑇) = 𝑑𝑒𝑡(𝑰),

maka [𝑑𝑒𝑡(𝑷)]2 = 𝑑𝑒𝑡(𝑰) = 1 sehingga 𝑑𝑒𝑡(𝑷) = ±1 dengan demikian Jacobian adalah +1.

Elemen 𝒚 menyebar secara identic dan tak berkorelasi sehingga 𝝁 = 𝜇𝟏 dan 𝚺 = 𝜎2𝑰 di mana 𝑰

adalah matriks identitas berukuran n×n. Maka

Elemen-elemen {𝑢1, … , 𝑢𝑛} dari 𝒖 = 𝑷𝒚 tidak berkorelasi dan menyebar normal.

Kemudian, jika 𝑷 dipilih sebagai matriks Helmert, atau matriks ortogonal apa pun yang

memiliki baris pertama {1, 1, …, 1}/n, maka

𝑢1 = √𝑛�̅� menyebar normal dengan rata-rata √𝑛𝜇 dan ragam 𝜎2, bebas terhadap

𝑢2, 𝑢3, … , 𝑢𝑛 yang semuanya bebas, menyebar normal dengan rata-rata 0 (karena baris 2

hingga n dari 𝑷 ortogonal terhadap baris 1) dan ragam 𝜎2.

Dengan pilihan 𝑷 seperti ini, dapat dipertahankan (1) kenormalan, (2) kebebasan dan (3)

jumlah kuadrat total. Properti terakhir terjadi jika definisi keortogonalan digunakan (yakni

𝑷𝑷𝑇 = 𝑷𝑇𝑷 = 𝑰) dalam:

∑ 𝑢𝑖2 =𝑛

𝑖=1 𝒖𝑇𝒖 = (𝑷𝒚)𝑇(𝑷𝒚) = 𝒚𝑇𝑷𝑇𝑷𝒚 = 𝒚𝑇𝑰𝑛𝒚 = 𝒚𝑇𝒚 = ∑ 𝑦𝑖2𝑛

𝑖=1


13

Tampak bahwa 𝑢1 = √𝑛�̅� sehingga 𝑢12 = 𝑛�̅�2. Apa yang telah dicapai melalui prosedur ini

adalah bahwa transformasi ortogonal mengisolasi rata-rata contoh dari n-1 peubah yang

membentuk ragam contoh. Jumlah kuadrat preserved, maka

∑ 𝑦𝑖2𝑛

𝑖=1 = ∑ 𝑢𝑖2𝑛

𝑖=1 = 𝑢12 + ∑ 𝑢𝑖

2𝑛𝑖=2 = 𝑛�̅�2 + ∑ 𝑢𝑖

2𝑛𝑖=2 .

Pindahkan 𝑛�̅�2 ke ruas kiri persamaan, menghasilkan

∑𝑦𝑖2 − 𝑛�̅�2

𝑛

𝑖=1

= ∑𝑢𝑖2

𝑛

𝑖=2

.

Namun, ∑ 𝑦𝑖2 − 𝑛�̅�2𝑛

𝑖=1 adalah ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 , dan walaupun ekspresi ini melibatkan n suku,

telah diperlihatkan bahwa jumlah kuadrat n-1 peubah normal bebas {𝑢2, 𝑢3, … , 𝑢𝑛} yang semua

rata-rata bernilai 0 dan juga semua ragam 𝜎2.

Kemudian n-1 peubah normal bebas juga bebas terhadap 𝑢1 = √𝑛�̅�.

Berdasarkan definisi, peubah 2 dengan derajat bebas adalah jumlah dari kuadrat peubah

normal baku N(0,1) yang saling bebas. Ingat juga bahwa penduga takbias bagi 𝜎2 adalah ragam

contoh yang didefinisikan sebagai:

𝑠2 =∑ (𝑦𝑖 − �̅�)2𝑛

𝑖=1

𝑛 − 1,

Dari padanya didapatkan ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 = (n-1) 𝑠2. Karena ini merupakan jumlah dari kuadrat

n-1 peubah normal {𝑢2, 𝑢3, … , 𝑢𝑛} yang saling bebas dengan rata-rata 0 dan ragam 𝜎2, telah

ditunjukkan bahwa, untuk contoh acak berukuran n dari populasi normal,

�̅� ∼ 𝑁 (𝜇,𝜎2

𝑛) , 𝑏𝑒𝑏𝑎𝑠 𝑡𝑒𝑟ℎ𝑎𝑑𝑎𝑝

(𝑛 − 1)𝑠2

𝜎2∼ 𝜒𝑛−1

2


14

Kembali ke logLikelihood untuk contoh acak normal {𝑦1, … , 𝑦𝑛}. Bentuk terakhir pada halaman

4 adalah:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk {𝑦1, … , 𝑦𝑛} = −𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) − ∑

(𝑦𝑖 − �̅�)2

2𝜎2

𝑛

𝑖=1

−𝑛(�̅� − 𝜇)2

2𝜎2

Pandang suku terakhir:

𝑛(�̅� − 𝜇)2

2𝜎2=

𝑛 (𝑢1

√𝑛− 𝜇)

2

2𝜎2=

(𝑢1

√𝑛√𝑛 − √𝑛𝜇)

2

2𝜎2=

(𝑢1 − √𝑛𝜇)2

2𝜎2

Daripada memandang logLikelihood untuk himpunan peubah ini, pandang logLikelihood

sebagai himpunan peubah transformasi {𝑢1, 𝑢2, … , 𝑢𝑛} di mana Jacobian adalah 1 (dan ingat

bahwa 𝑢1 = √𝑛�̅� dan ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 = ∑ 𝑢𝑖

2𝑛𝑖=2 ): pada halaman 13

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk {𝑢1, … , 𝑢𝑛} = −𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) − ∑

𝑢𝑖2

2𝜎2

𝑛

𝑖=2

−(𝑢1 − √𝑛𝜇)

2

2𝜎2

Ingat bahwa 𝑢1 menyebar normal dengan rata-rata √𝑛𝜇 dan ragam 𝜎2, fungsi dipisahkan

menjadi dua, maka logLikelihood untuk himpunan peubah transformasi {𝑢1, 𝑢2, … , 𝑢𝑛} adalah

[−1

2(2𝜋) −

1

2log(𝜎2) −

(𝑢1 − √𝑛𝜇)2

2𝜎2] + [−

𝑛 − 1

2log(2𝜋) −

𝑛 − 1

2log(𝜎2) − ∑

𝑢𝑖2

2𝜎2

𝑛

𝑖=2

]

Memaksimumkan likelihood pertama untuk 𝑢1 akan menghasilkan penduga ML/REML bagi 𝜇.

Bagian kedua adalah likelihood untuk himpunan peubah {𝑢2, 𝑢3, … , 𝑢𝑛} yang bebas terhadap

𝑢1, dan menyediakan penduga REML bagi 𝜎2.

Ini merupakan pendekatan untuk menggeneralisir pendugaan parameter ragam dengan metode

REML untuk model campuran linier umum mana pun general linear mixed model (bagian

“campuran” menjelaskan berapa pun pengaruh acak dan tetap dalam model). Ide REML akan

dibangun dengan lambat.


15

3. Transformasi menyangkut matriks idempoten setangkup

Hasil dasar untuk GLM.

Pandang vektor 𝒛 berukuran n peubah normal baku, saling bebas N(0,1). Berdasarkan definisi

𝒛𝑇𝒛~𝜒𝑛2.

Nyatakan 𝑨 sebagai matriks idempotent setangkup, maka

𝒛𝑇𝑨𝒛~𝜒2 dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑨).

Nyatakan pula 𝑩 sebagai matriks idempotent setangkup, maka

𝒛𝑇𝑩𝒛~𝜒2 dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑩), dan bebas terhadap 𝒛𝑇𝑨𝒛 jika dan hanya jika

𝑨𝑩 = 𝑶.


16

Model Linier Umum dengan hanya pengaruh tetap

Teladan 1 – contoh acak sederhana dari sebaran normal

Model paling sederhana adalah untuk contoh acak berukuran n dari populasi tunggal normal

(untuk selanjutnya diasumsikan normal), semua bebas dengan rata-rata 𝜇 dan ragam 𝜎2. Nilai

pengamatan contoh ditulis secara sederhana sebagai:

𝑦𝑖 = 𝜇 + 휀𝑖

Dalam bentuk matriks,

𝒚 = 𝑿𝜷 + 𝛜

di mana {𝑦1, … , 𝑦𝑛} adalah elemen dari 𝒚, 𝑿 = 1𝑛, vector kolom berisi n buah 1, 𝜷 adalah

kolom vektor parameter, dalam hal ini berupa skalar sama dengan rata-rata 𝜇, dan vektor kolom

sisaan acak 𝛜 .

Model kompleks lain memiliki struktur sama, kita teliti kasus umum di mana 𝜷 mengandung p

parameter.

Pendugaan melalui kuadrat terkecil

Metode ini menyajikan penduga kuadrat terkecil untuk parameter 𝜷 dengan meminimumkan

jumlah kuadrat sisa 𝛜𝑇𝛜, yakni (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷). Solusi adalah latihan sederhana dalam

turunan matriks. Nyatakan 𝒃 sebagai penduga bagi 𝜷,

𝒃 = (𝑿𝑇𝑿)−1𝑿𝑇𝒚. (3)

Gunakan solusi ini dalam (𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) untuk menghitung Residual Sum of Squares

(Res SS):

Res SS = (𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃) = (𝒚 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚)𝑇(𝒚 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚)

Keluarkan vector 𝒚 ( 𝒚 𝑇 dari kurung kiri dan 𝒚 dari kanan) dari dalam kedua kurung

menghasilkan:


17

Res SS = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚

Matriks (𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇) setangkup dan idempoten (check this!), maka

Res SS = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚

Dengan sifat 4 pada halaman 14 dapat disimpulkan bahwa

𝑅𝑒𝑠 𝑆𝑆~𝜒2 dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇).

Secara umum 𝑡𝑒𝑟𝑎𝑠(𝑨𝑩𝑪) = 𝑡𝑒𝑟𝑎𝑠(𝑪𝑨𝑩) = 𝑡𝑒𝑟𝑎𝑠(𝑩𝑪𝑨). Dengan demikian

= 𝑡𝑒𝑟𝑎𝑠(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇) = 𝑡𝑒𝑟𝑎𝑠(𝑰) − 𝑡𝑒𝑟𝑎𝑠(𝑿(𝑿𝑇𝑿)−1𝑿𝑇)

= 𝑛 − 𝑡𝑒𝑟𝑎𝑠(𝑿𝑇𝑿(𝑿𝑇𝑿)−1)

Matriks berdimensi p×p , secara umum (di mana p = 1 pada teladan sebelumnya) maka

𝑿𝑇𝑿(𝑿𝑇𝑿)−1 adalah matriks identitas berdimensi p×p, 𝑰𝑝 yang memiliki teras p.

Matriks (𝑰 − 𝑿(𝑿𝑇X)−1𝑿𝑇) setangkup, idempoten dengan teras (n-p), gunakan hasil ini, untuk

menunjukkan bahwa:

Res SS = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚~ 𝜎2𝜒2 dengan derajat bebas (n-p).

Untuk contoh sederhana p = 1, 𝜷 adalah skalar 𝜎2, 𝑿𝑇𝑿 = 1T1 = 𝑛, XT𝒚 = 1T𝒚 = 𝑦1 + ⋯+

𝑦𝑛 maka:

Penduga bagi 𝜇 = (𝑿𝑇𝑿)−1𝑿𝑇𝒚 = (𝑛)−1(𝑦1 + ⋯+ 𝑦𝑛) = �̅�.

Kemudian struktur Res SS untuk contoh sederhana ini, yakni:

𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇 = 𝑰 − 1(1T1)−11T = 𝑰 −1

𝑛11𝑇 = 𝑰𝑛 −

1

𝑛𝑱𝑛


18

dengan demikian

𝑅𝑒𝑠 𝑆𝑆 = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 = 𝒚𝑇 (𝑰 −1

𝑛11𝑇)𝒚 = 𝒚𝑇𝒚 −

1

𝑛𝒚𝑇11𝑇𝒚

Karena 𝒚𝑇𝒚 = ∑ 𝑦𝑖2𝑛

𝑖=1 dan 𝒚𝑇1 adalah ∑ 𝑦𝑖𝑛𝑖=1 = 𝑛�̅�, sehingga, untuk contoh acak sederhana

dari sebaran normal:

𝑅𝑒𝑠 𝑆𝑆 = ∑ 𝑦𝑖2𝑛

𝑖=1 − 𝑛�̅�2 = ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 = (𝑛 − 1)𝑠2~ 𝜎2𝜒2 dengan derajat bebas n-1.

Catat bahwa jika 𝒚~N(µ1, 𝜎2I) penduga kuadrat terkecil bagi vektor parameter identik

dengan penduga ML karena persamaan yang sama diselesaikan dalam kedua kasus.


19

Teladan 2 Regresi Linier Sederhana

Model regresi linier sederhana

𝑦𝑖 = 𝛼 + 𝛽𝑥𝑖 + 휀𝑖

Memiliki 2 parameter yang tidak diketahui, dan {𝑥1, … , 𝑥𝑛} diasumsikan tetap.

Dalam bentuk matriks, perbedaan utama antar model ini dan model sebelumnya adalah matriks

rancangan 𝑿:

𝑿 = [

1 𝑥1

1 𝑥2

⋮ ⋮1 𝑥𝑛

]

dengan 𝜷 vektor kolom mengandung dua parameter dan .

Penduga Kuadrat Terkecil / ML untuk intersep dan slope

Pandang, 𝑿𝑇𝑿 = [1 ⋯ 1𝑥1 ⋯ 𝑥𝑛

] [1 𝑥1

⋯ ⋯1 𝑥𝑛

] = [𝑛 𝑛�̅�𝑛�̅� ∑ 𝑥𝑖

2] dan juga 𝑿𝑇𝒚 = [𝑛�̅�

∑ 𝑥𝑖𝑦𝑖].

Determinan 𝑿𝑇𝑿 adalah 𝑛(∑𝑥𝑖2 − 𝑛�̅�2) = 𝑛 ∑(𝑥𝑖 − �̅�)2. Dengan demikian

(XTX)−1𝑿𝑇𝒚 =1

𝑛 ∑(𝑥𝑖 − �̅�)2[∑𝑥𝑖

2 −𝑛�̅�

−𝑛�̅� 𝑛] [

𝑛�̅�

∑𝑥𝑖𝑦𝑖]

=1

𝑛 ∑(𝑥𝑖 − �̅�)2[𝑛�̅� ∑𝑥𝑖

2 − 𝑛�̅� ∑𝑥𝑖𝑦𝑖

−𝑛2�̅��̅� + 𝑛 ∑𝑥𝑖𝑦𝑖

]

Pandang −𝑛2�̅��̅� + 𝑛 ∑𝑥𝑖𝑦𝑖 = 𝑛(∑𝑥𝑖𝑦𝑖 − 𝑛�̅��̅�) = 𝑛 ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�), maka solusi kuadrat

terkecil/ML untuk slope adalah:


20

𝑏 =∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�)

∑(𝑥𝑖 − �̅�)2

Juga, 𝑛�̅� ∑𝑥𝑖2 − 𝑛�̅� ∑ 𝑥𝑖𝑦𝑖 dapat ditulis sebagai 𝑛�̅� ∑(𝑥𝑖 − �̅�)2 − 𝑛�̅� ∑ (𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) maka

solusi kuadrat terkecil/ML untuk intersep adalah:

𝑎 =𝑛�̅� ∑(𝑥𝑖 − �̅�)2 − 𝑛�̅� ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�)

𝑛 ∑(𝑥𝑖 − �̅�)2= �̅� − b�̅�.

Dua pendekatan untuk memperlihatkan bahwa (*) = (**)

(*) 𝑛�̅� ∑ 𝑥𝑖2 − 𝑛�̅� ∑𝑥𝑖𝑦𝑖

(**) 𝑛�̅� ∑(𝑥𝑖 − �̅�)2 − 𝑛�̅� ∑ (𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�)

Gunakan fakta bahwa

a. Jumlah Kuadrat dapat ditulis dalam bentuk:

• ∑(𝑥𝑖 − �̅�)2 = ∑𝑥𝑖2 − 𝑛�̅�2 sehingga (1) ∑𝑥𝑖

2 = ∑(𝑥𝑖 − �̅�)2 + 𝑛�̅�2 atau

• ∑𝑥𝑖2 = ∑(𝑥𝑖 − �̅� + �̅�)2 = ∑(𝑥𝑖 − �̅�)2 + ∑ �̅�2 =∑(𝑥𝑖 − �̅�)2 + 𝑛�̅�2

b. Jumlah hasil kali deviasi ditulis dalam bentuk

• ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) = ∑𝑥𝑖𝑦𝑖 − 𝑛�̅��̅� sehingga (2) ∑𝑥𝑖𝑦𝑖 = ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + 𝑛�̅��̅�

• ∑𝑥𝑖𝑦𝑖 = ∑(𝑥𝑖 − �̅� + �̅�)(𝑦𝑖 − �̅� + �̅�) = ∑((𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + �̅��̅�) =

= ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + ∑ �̅�𝑦 ̅ = ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + 𝑛�̅��̅�

Substitusi (1) dan (2) ke dalam persamaan (*)

𝑛�̅�(∑(𝑥𝑖 − �̅�)2 + 𝑛�̅�2) − 𝑛�̅� (∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + 𝑛�̅��̅�)

𝑛�̅� ∑(𝑥𝑖 − �̅�)2 + 𝑛�̅�2�̅� − 𝑛�̅� ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) − 𝑛�̅�2�̅� sama dengan (**)

Penduga ML bagi parameter ragam

Likelikood untuk {𝑒1, … , 𝑒𝑛} adalah contoh acak dari secaran normal N(0, 𝜎2) di mana

𝑒𝑖 = 𝑦𝑖 − 𝛼 − 𝛽𝑥𝑖


21


√2𝜋𝜎2𝑒

−𝑒1

2

2𝜎2 ×1

√2𝜋𝜎2𝑒

−𝑒2

2

2𝜎2 × ⋯×1

√2𝜋𝜎2𝑒

−𝑒𝑛

2

2𝜎2

𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = (2𝜋)−𝑛2 × (𝜎2)−

𝑛2 × 𝑒

−∑𝑒𝑖

2

2𝜎2

𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = (2𝜋)−𝑛2 (𝜎2)−

𝑛2 𝑒

−∑(𝑦𝑖−𝛼−𝛽𝑥𝑖 )

2

2𝜎2𝑛𝑖=1

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑒1, … , 𝑒𝑛} = −𝑛

2log(2𝜋) − 𝑛

2log(𝜎2) − ∑

(𝑦𝑖−𝛼−𝛽𝑥𝑖 )2

2𝜎2𝑛𝑖=1

Turunan langsung logLikelihood model ini terhadap 𝜎2, menghasilkan penduga bagi 𝜎2:

∂

∂𝜎2 (− 𝑛

2 log(2𝜋)) −

∂

∂𝜎2 (𝑛

2log(𝜎2)) − ∂

∂𝜎2(∑(𝑦𝑖−𝛼−𝛽𝑥𝑖 )

2

2𝜎2𝑛𝑖=1 )

0 −𝑛

2𝜎2+ ∑

(𝑦𝑖 − 𝛼 − 𝛽𝑥𝑖)2

2𝜎4

𝑛

𝑖=1

Samakan dengan nol, dan selesaikan, menghasilkan penduga ML:

−𝑛

2�̂�2+ ∑

(𝑦𝑖 − �̂� − �̂�𝑥𝑖)2

2�̂�4

𝑛

𝑖=1

= 0

∑ (𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖)2𝑛

𝑖=1

�̂�2= 𝑛

�̂�2 =∑ (𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖)

2𝑛𝑖=1

𝑛

Substitusi 𝑎 = �̅� − b�̅�

𝜎2 = ∑(𝑦𝑖 − 𝑎 − b𝑥𝑖)

2

𝑛=

∑(𝑦𝑖 − �̅� − b�̅� − b𝑥𝑖)2

𝑛=

∑(𝑦𝑖 − �̅� − b(𝑥𝑖 − �̅�))2

𝑛

Pembilang dapat diuraikan menjadi:

Penduga ML bagi 𝜎2 = ∑(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖)

2

𝑛=

∑(𝑦𝑖 − �̅�)2 − 𝑏2 ∑(𝑥𝑖 − �̅�)2

𝑛,

Walaupun terdapat banyak cara menuliskan rumus ini. Anda mungkin ingat akan pembilang

sebagai selisih JK Total dan JKRegresi dalam ANOVA-regresi linier sederhana.


22

Untuk mengembangkan penduga REML, lihat kembali pendekatan matriks dalam pendugaan

ML. Ekspresi matriks untuk logLikelihood adalah sebagai berikut.

Vektor peubah acak 𝒚 memiliki rata-rata 𝑿𝜷 dan ragam 𝜎2𝑰 (dan catat bahwa 𝑑𝑒𝑡𝑒𝑟𝑚(𝜎2𝑰) =

𝜎2𝑛. Maka

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑦1, … , 𝑦𝑛} = −𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) −

1

2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷).

Turunkan terhadap 𝜎2 dan substitusi penduga ML untuk 𝜷 menghasilkan:

−∂

∂𝜎2 (

𝑛

2log(2𝜋)) −

∂

∂𝜎2 (

𝑛

2log(𝜎2)) −

∂

∂𝜎2 (

1

2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷))

0 −𝑛

2�̂�2+

1

2�̂�4(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) = 0

(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷)

�̂�2= 𝑛

Penduga ML bagi 𝜎2 = (𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷)

𝑛

Sama dengan solusi sebelumnya.

Pandang transformasi ortogonal 𝒖 = 𝑷𝒚 di mana 𝑷 adalah matriks ortogonal berdimensi n×n

berbentuk:

𝑷 = [

1 √𝑛⁄ ⋯ 1 √𝑛⁄

(𝑥1 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄ ⋯ (𝑥𝑛 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄

⋮ ⋮ ⋮

]

Jumlah kuadrat elemen-elemen baris pertama dan kedua adalah 1.

Baris 1: (1 √𝑛⁄ )2+ (1 √𝑛⁄ )

2+ ⋯+ (1 √𝑛⁄ )

2= ∑1

𝑛⁄ = 𝑛(1 𝑛⁄ ) = 1

Baris 2:

((𝑥1 − �̅�)

√∑(𝑥𝑖 − �̅�)2)

2

+ ((𝑥2 − �̅�)

√∑(𝑥𝑖 − �̅�)2)

2

+ ⋯+ ((𝑥𝑛 − �̅�)

√∑(𝑥𝑖 − �̅�)2)

2

=


23

(𝑥1 − �̅�)2

∑(𝑥𝑖 − �̅�)2 +

(𝑥2 − �̅�)2

∑(𝑥𝑖 − �̅�)2 + ⋯+

(𝑥𝑛 − �̅�)2

∑(𝑥𝑖 − �̅�)2=

∑(𝑥𝑖 − �̅�)2

∑(𝑥𝑖 − �̅�)2= 1

Jumlah hasil kali elemen baris pertama dan kedua adalah 0, syarat keortogonalan.

Mathematicians telah membuktikan bahwa matriks demikian ada.

Misal baris 3 dapat berupa:

(𝑥2 − 𝑥3 𝑥3 − 𝑥1 𝑥1 − 𝑥2 0 0⋯0)

di mana setiap elemen dibagi √(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2.

Jumlah kuadrat baris 3 juga 1.

(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)

2 + (𝑥1 − 𝑥2)2 + 0 + ⋯+ 0

(√(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2)2

(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)

2 + (𝑥1 − 𝑥2)2

(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)

2 + (𝑥1 − 𝑥2)2

= 1

Jelas bahwa jumlah hasil kali baris 1 dan 2, demikian pula baris 1 dan 3, juga baris 2 dan 3

adalah 0.

Baris 1 dan 2:

1

√𝑛((𝑥1 − �̅�) + (𝑥2 − �̅�) + ⋯+ (𝑥𝑛 − �̅�)

√∑(𝑥𝑖 − �̅�)2) =

∑(𝑥𝑖 − �̅�)

√𝑛 ∑(𝑥𝑖 − �̅�)2=

0

√𝑛 ∑(𝑥𝑖 − �̅�)2= 0

Baris 1 dan 3:

1

√𝑛(

𝑥2 − 𝑥3 + 𝑥3 − 𝑥1 + 𝑥1 − 𝑥2

√(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2)

0

√𝑛((𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2)= 0

Baris 2 dan 3:

(𝑥1 − �̅�)(𝑥2 − 𝑥3) + (𝑥2 − �̅�)(𝑥3 − 𝑥1) + (𝑥3 − �̅�)(𝑥1 − 𝑥2)

√∑(𝑥𝑖 − �̅�)2(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2= 0

Pembilang sama dengan 0, (𝑥1 − �̅�)(𝑥2 − 𝑥3) + (𝑥2 − �̅�)(𝑥3 − 𝑥1) + (𝑥3 − �̅�)(𝑥1 − 𝑥2) = 0

Dua manfaat dari pendekatan ini: pertama adalah pembuktian secara mudah property sebaran

apa pun menyangkut regresi linier sederhana. Kedua mengarah pada solusi REML untuk

pendugaan parameter ragam.


24

Gunakan sifat matriks diagonal:

∑ 𝑦𝑖2𝑛

𝑖=1 = ∑ 𝑢𝑖2𝑛

𝑖=1

Peubah acak {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛} saling bebas, menyebar normal dengan ragam 𝜎2. Terutama

mengevaluasi dua peubah vektor transformasi 𝑢1 dan 𝑢2

𝑢1 = √𝑛�̅�

𝑢2 = ∑(𝑥𝑖 − �̅�)𝑦𝑖 √∑(𝑥𝑖 − �̅�)2⁄ = ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄ = 𝑏√∑(𝑥𝑖 − �̅�)2

Kemudian, 𝐸(𝒖) = 𝐸(𝑷𝒚) = 𝑷𝑿𝜷, maka

[ E(𝑢1)E(𝑢2)E(𝑢3)

⋮E(𝑢𝑛)]

= [

1 √𝑛⁄ ⋯ 1 √𝑛⁄

(𝑥1 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄ ⋯ (𝑥𝑛 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄

⋮ ⋮ ⋮

] [1 𝑥1

⋯ ⋯1 𝑥𝑛

] [𝛼𝛽]

Ingat bahwa baris 3 hingga n dari matriks 𝑷 ortogonal terhadap baris 1 dan 2, dan catat bahwa 2

kolom pada matriks rancangan 𝑿 proporsional terhadap baris 1 and 2 matriks 𝑷. Dengan

demikian berdasarkan keortogonalan, semua rata-rata {𝑢3, … , 𝑢𝑛} harus 0.

Kemudian, perhatikan hanya 2 baris pertama matriks ini dan gunakan fakta

∑(𝑥𝑖 − �̅�)𝑥𝑖 √∑(𝑥𝑖 − �̅�)2⁄ = ∑(𝑥𝑖 − �̅�)2 √∑(𝑥𝑖 − �̅�)2⁄ = √∑(𝑥𝑖 − �̅�)2,

Pandang pembilang:

∑(𝑥𝑖 − �̅�)𝑥𝑖 = ∑(𝑥𝑖2 − �̅�𝑥𝑖) =∑𝑥𝑖

2 − ∑ �̅�𝑥𝑖 = ∑𝑥𝑖2 − �̅� ∑ 𝑥𝑖 = ∑𝑥𝑖

2 − 𝑛�̅�2=∑(𝑥𝑖 − �̅�)2

Perkalian matriks 𝑷𝑿

Unsur 11

1√𝑛

⁄ (1) + 1√𝑛

⁄ (1) + ⋯+ 1√𝑛

⁄ (1) = 1√𝑛

⁄ (∑1) =𝑛

√𝑛= √𝑛

Unsur 12


25

1√𝑛

⁄ (𝑥1) + 1√𝑛

⁄ (𝑥2) + ⋯+ 1√𝑛

⁄ (𝑥𝑛) =∑𝑥𝑖

√𝑛=

𝑛�̅�

√𝑛= √𝑛�̅�

Unsur 21

(𝑥1 − �̅�) + (𝑥2 − �̅�) + ⋯+ (𝑥𝑛 − �̅�)

√∑(𝑥𝑖 − �̅�)2=

∑(𝑥𝑖 − �̅�)

√∑(𝑥𝑖 − �̅�)2=

0

√∑(𝑥𝑖 − �̅�)2= 0

Unsur 22

(𝑥1 − �̅�)𝑥1 + (𝑥2 − �̅�)𝑥2 + ⋯+ (𝑥𝑛 − �̅�)𝑥𝑛

√∑(𝑥𝑖 − �̅�)2=

∑(𝑥𝑖 − �̅�)𝑥𝑖

√∑(𝑥𝑖 − �̅�)2=

∑(𝑥𝑖 − �̅�)2

√∑(𝑥𝑖 − �̅�)2

Kalikan √∑(𝑥𝑖−�̅�)2

√∑(𝑥𝑖−�̅�)2, menjadi

∑(𝑥𝑖−�̅�)2

√∑(𝑥𝑖−�̅�)2 𝑥

√∑(𝑥𝑖−�̅�)2

√∑(𝑥𝑖−�̅�)2=

∑(𝑥𝑖−�̅�)2

∑(𝑥𝑖−�̅�)2𝑥√∑(𝑥𝑖 − �̅�)2 = √∑(𝑥𝑖 − �̅�)2

Sesudah perkalian matriks, diperoleh:

E(𝑢1)= √𝑛 𝛼 + √𝑛�̅�𝛽 = √𝑛 (𝛼 + 𝛽�̅�)

E(𝑢2)=0+√∑(𝑥𝑖 − �̅�)2 𝛽

[E(𝑢1)E(𝑢2)

] = [√𝑛 √𝑛�̅�

0 √∑(𝑥𝑖 − �̅�)2] [

𝛼𝛽] = [

√𝑛(𝛼 + 𝛽�̅�)

√∑(𝑥𝑖 − �̅�)2 𝛽]

Sekarang

𝐿𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑦1, … , 𝑦𝑛} = −𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) −

1

2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) (4)

Dengan menggunakan transformasi = 𝑷𝒚 , substitusi 𝒚 = 𝑷−1𝒖 = 𝑷𝑇𝒖 (karena 𝑷 ortogonal) ke

dalam persamaan di atas. Juga, Jacobian dari transformation adalah 1 (juga karena 𝑷 ortogonal

dan 𝑑𝑒𝑡𝑒𝑟𝑚(𝑷) = 1), menghasilkan:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of of {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛}

= −𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) −

1

2𝜎2(𝑷𝑇𝒖 − 𝑿𝜷)𝑇(𝑷𝑇𝒖 − 𝑿𝜷)

Kemudian 𝑷𝑇𝑷 = 𝑰 ditambahkan ke dalam kedua kurung tanpa mengubah hasil.


26

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛}

= −𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) −

1

2𝜎2(𝑷𝑇𝒖 − 𝑷𝑇𝑷𝑿𝜷)𝑇(𝑷𝑇𝒖 − 𝑷𝑇𝑷𝑿𝜷)

(5)

Keluarkan 𝑷𝑇 dari kedua kurung, ingat sifat perkalian matriks (dimensi) dan catat bahwa

(𝑷𝑇)𝑇 = 𝑷 menghasilkan:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛}

= −𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) −

1

2𝜎2(𝒖 − 𝑷X𝜷)𝑇𝑷𝑷𝑇(𝒖 − 𝑷X𝜷)

Namun, 𝑷𝑇𝑷 = 𝑰 sehingga suku di tengah dapat diabaikan. Kemudian, 𝑷X𝜷 telah dijelaskan

sebelumnya berupa kolom di mana elemen pertama adalah √𝑛(𝛼 + 𝛽�̅�), elemen kedua

√∑(𝑥𝑖 − �̅�)2 𝛽 dan elemen lain 0. Hal ini memungkinkan logLikelihood dipisahkan ke dalam

tiga komponen: (ingat bahwa 𝑛 = 𝑛 + 1 + 1 − 2 = 1 + 1 + (𝑛 − 2)

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛} = −1

2log(2𝜋) −

1

2log(𝜎2) −

1

2𝜎2(𝑢1 − √𝑛(𝛼 + 𝛽�̅�))

2

−1

2log(2𝜋) −

1

2log(𝜎2) −

1

2𝜎2(𝑢2 − √∑(𝑥𝑖 − �̅�)2 𝛽)

2

−𝑛−2

2log(2𝜋) −

𝑛−2

2log(𝜎2) −

1

2𝜎2∑𝑢𝑖

2

𝑛

𝑖=3

Ringkasan,

𝑢1 = √𝑛�̅� menyebar normal dengan rata-rata √𝑛(𝛼 + 𝛽�̅�) dan ragam 𝜎2, bebas terhadap

𝑢2 = 𝑏√∑(𝑥𝑖 − �̅�)2, menyebar normal dengan rata-rata 𝛽√∑(𝑥𝑖 − �̅�)2 dan ragam 𝜎2.

Kedua 𝑢1 dan 𝑢2 bebas terhadap {𝑢3, … , 𝑢𝑛} yang semuanya bebas, dan menyebar normal

dengan rata-rata 0 dan ragam 𝜎2.

Juga,

𝑢22 = 𝑏2 ∑(𝑥𝑖 − �̅�)2 berupa Regression SS dalam ANOVA regresi linier sederhana, dan di

bawah hipotesis bahwa = 0, besaran ini harus menyebar secara 𝜎22 dengan derajat bebas


27

1, dan bebas terhadap

{𝑢3, ⋯ , 𝑢𝑛}, di mana ∑ 𝑢𝑖2𝑛

𝑖=3 = Residual SS dalam ANOVA regresi linier sederhana karena

alasan berikut ini:

∑𝑦𝑖2

𝑛

𝑖=1

= ∑𝑢𝑖2

𝑛

𝑖=1

= 𝑢12 + 𝑢2

2 + ∑𝑢𝑖2

𝑛

𝑖=3

= 𝑛�̅�2 + 𝑏2 ∑(𝑥𝑖 − �̅�)2 + ∑𝑢𝑖2

𝑛

𝑖=3

Sususn kembali persamaan ini dan ingat bahwa ∑ 𝑦𝑖2𝑛

𝑖=1 - 𝑛�̅�2 = ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 :

maka ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 − 𝑏2 ∑(𝑥𝑖 − �̅�)2 = ∑ 𝑢𝑖

2𝑛𝑖=3

Suku pertama adalah Total SS dalam ANOVA regresi linier sederhana dan suku kedua adalah

Regression SS, sehingga ∑ 𝑢𝑖2𝑛

𝑖=3 adalah Residual SS dalam ANOVA regresi linier sederhana.

Karena n-2 peubah {𝑢3, ⋯ , 𝑢𝑛} saling bebas, menyebar normal dengan rata-rata 0 dan ragam

𝜎2, telah diperlihatkan bahwa

Residual SS dalam ANOVA regresi linier sederhana menyebar secara 𝜎22 dengan derajat

bebas n-2 (tak perlu kebenaran hipotesis bahwa slope sama dengan nol), bebas terhadap

Regression SS dalam ANOVA regresi linier sederhana menyebar secara 𝜎22 dengan derajat

bebas 1 (hanya jika hipotesis tentang slope nol benar).

Penduga REML untuk parameter ragam

Fungsi logLikelihood untuk 𝒖 telah memisahkan residual likelihood yang hanya mengandung

parameter ragam 𝜎2. Bagian ketiga bersifat acak dan 2 bagian pertama fixed (tetap), karena

mengandung α dan β.

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒖 = −1

2log(2𝜋) − 1

2log(𝜎2) −

1

2𝜎2(𝑢1 − √𝑛(𝛼 + 𝛽�̅�))

2

fixed term

−1

2log(2𝜋) − 1

2log(𝜎2) −

1

2𝜎2 (𝑢2 − √∑(𝑥𝑖 − �̅�)2 𝛽)2fixed term


28

−𝑛−2

2log(2𝜋) − 𝑛−2

2log(𝜎2) −

1

2𝜎2∑ 𝑢𝑖

2𝑛𝑖=3 random

Diferensiasi langsung bagian ketiga (residual likelihood) terhadap 𝜎2 menghasilkan solusi

REML:

−∂

∂𝜎2 (

𝑛−2

2log(2𝜋)) −

∂

∂𝜎2 (

𝑛−2

2log(𝜎2)) −

∂

∂𝜎2 (

1

2𝜎2∑𝑢𝑖

2

𝑛

𝑖=3

)

0 −𝑛 − 2

2�̂�2+

1

2�̂�4∑𝑢𝑖

2

𝑛

𝑖=3

= 0

−(𝑛 − 2) +1

�̂�2∑𝑢𝑖

2

𝑛

𝑖=3

= 0 1

�̂�2∑𝑢𝑖

2

𝑛

𝑖=3

= (𝑛 − 2)

Penduga REML bagi 𝜎2 =∑ 𝑢𝑖

2𝑛𝑖=3

𝑛 − 2=

𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑆𝑆

𝑛 − 2= 𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆

Penduga REML untuk ragam dalam model regresi linier sederhana bersifat takbias, karena nilai

harapan peubah 2 dengan derajat bebas n-2 adalah n-2 , 𝐸 (𝜒𝑛−22 ) = 𝑛 − 2


29

Teladan 3 Regresi Linier Berganda

Regresi linier berganda mengandung p peubah penjelas

𝑦𝑖 = 𝛼 + 𝛽1𝑥1𝑖 + 𝛽2𝑥2𝑖 + ⋯𝛽𝑝𝑥𝑝𝑖 + 휀𝑖

memiliki p+1 parameter yang tidak diketahui, di mana {𝑥1𝑖, … , 𝑥𝑝𝑖 , 𝑖 = 1,⋯ , 𝑛} diasumsikan

tetap dan {i} diasumsikan bebas, menyebar normal dengan rata-rata 0 dan ragam 𝜎2.

Bentuk matriks model, 𝒚 = 𝑿𝜷 + 𝛜 melibatkan:

𝑿 = [1 𝑥11 ⋯ 𝑥𝑝1

⋯ ⋯ ⋯ ⋯

1 𝑥1𝑛 ⋯ 𝑥𝑝𝑛

], 𝜷 = [

𝛼𝛽1

⋮𝛽p

]

Penduga ML untuk parameter

Solusi ML untuk 𝜷, vector kolom parameter untuk model umum telah diperlihatkan sebagai

𝒃 = (𝑿T𝑿)−1𝑿T𝒚.

Menurunkan terhadap 𝜎2 dalam

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −log(2𝜋) −𝑛

2log(𝜎2) −

1

2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) (6)

dan menggunakan penduga ML untuk pengaruh tetap parameter menghasilkan penduga bagi

𝜎2:

Penduga ML bagi 𝜎2 =(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃)

𝑛

yakni Residual SS dalam ANOVA regresi linier berganda dibagi n, bukan (n-1-p) sebagaimana

dalam kasus Residual MS dalam ANOVA.


30

Sama dengan contoh acak yang berasal dari populasi normal, penduga ML untuk ragam bersifat

bias.


31

Penduga REML untuk parameter ragam 𝝈𝟐

Matematika model ini menjadi lebih kompleks, sehingga pendekatan secara pasti tidak

dilakukan ketika mempertimbangkan General Linear Mixed Model. Dalam hal ini, secara

sederhana akan ditunjukkan cara menguraikan menjadi dua ekspresi, satu mengandung

informasi parameter tetap 𝜷, dan yang lain hanya mengandung parameter ragam 𝜎2.

Pandang contoh acak dari populasi normal yang dinyatakan sebagai:

𝑦 − 𝜇 = (𝑦 − �̅�) + (�̅� − 𝜇)

Parameter 𝝁 adalah kasus khusus 𝑿𝜷 dan �̅� = 𝑿𝒃

𝒚 − 𝑿𝜷 = (𝒚 − 𝑿𝒃) + (𝑿𝒃 − 𝑿𝜷) = (𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)

Dan uraikan dua besaran dalam kurung pada suku ketiga 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −𝑛

2log(2𝜋) −

𝑛

2log(𝜎2) −

1

2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷)

Maka

(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) = [(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]𝑇[(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]

= [(𝒚 − 𝑿𝒃)𝑇 + (𝒃 − 𝜷)𝑇𝑿𝑇] [(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]

(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃) + (𝒃 − 𝜷)𝑇𝑿𝑻(𝒚 − 𝑿𝒃) + (𝒚 − 𝑿𝒃)𝑇𝑿(𝒃 − 𝜷) + (𝒃 − 𝜷)𝑇𝑿𝑇𝑿(𝒃 − 𝜷)

Karena berupa skalar, maka (𝒃 − 𝜷)𝑇𝑿𝑻(𝒚 − 𝑿𝒃) = (𝒚 − 𝑿𝒃)𝑇𝑿(𝒃 − 𝜷), sehingga

= (𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃) + 2(𝒚 − 𝑿𝒃)𝑇𝑿(𝒃 − 𝜷) + (𝒃 − 𝜷)𝑇𝑿𝑇𝑿(𝒃 − 𝜷)

Pandang suku kedua dan masukkan X ke dalam kurung di kiri:

2(𝒚 − 𝑿𝒃)𝑇𝑿(𝒃 − 𝜷) = 2(𝑿𝑇𝒚 − 𝑿𝑇𝑿𝒃)𝑇(𝒃 − 𝜷)


32

Tetapi 𝑿𝑇𝒚 − 𝑿𝑇𝑿𝒃 = 0 karena persamaan ini digunakan untuk meminimumkan (p+1)

parameter tetap (ingat solusi untuk 𝒃 adalah 𝒃 = (𝑿𝑇𝑿)−1𝑿𝑇𝒚). Dengan demikian suku di

tengah dapat dibuang dan menghasilkan:

(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) = (𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃) + (𝒃 − 𝜷)𝑇𝑿𝑇𝑿(𝒃 − 𝜷)

Catatan tentang suku kedua, mengapa nol:

𝑿𝑇𝒚 − 𝑿𝑇𝑿𝒃 = 𝑿𝑇𝒚 − 𝑿𝑇𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚 = 𝑿𝑇𝒚 − 𝑰 𝑿𝑇𝒚 = 𝑿𝑇𝒚 − 𝑿𝑇𝒚 = 0

Suku kedua adalah fungsi dari (p+1) parameter dalam 𝜷. Suku pertama tidak mengandung

(bebas dari) vektor parameter, dan biasa ditulis sebagai

(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃)=

(𝒚 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚)𝑇(𝒚 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚) = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚

Sesungguhnya matriks 𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇 simetrik dan idempoten, maka pengaruh acak:

(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃) = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚

Ditulis dalam bentuk pengaruh acak ditambah dengan pengaruh tetap:

(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 + (𝒃 − 𝜷)𝑇𝑿𝑇𝑿(𝒃 − 𝜷)

Fungsi logLikelihood regresi linier berganda adalah:

Pandang 𝑛 = 𝑛 − 1 + 1 − 𝑝 + 𝑝 = (𝑝 + 1) + (𝑛 − 1 − 𝑝) untuk penguraian

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −𝑝+1

2log(2𝜋) − 𝑝+1

2log(𝜎2) −

1

2𝜎2(𝒃 − 𝜷)𝑇 𝑿𝑇𝑿(𝒃 − 𝜷) tetap

−𝑛−1−𝑝

2log(2𝜋) − 𝑛−1−𝑝

2log(𝜎2) −

1

2𝜎2𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 acak

Turunan bagian kedua terhadap 𝜎2 menghasilkan solusi REML untuk 𝜎2:

−∂

∂𝜎2 (𝑛−1−𝑝

2log(2𝜋)) −

∂

∂𝜎2 (𝑛−1−𝑝

2log(𝜎2)) −

∂

∂𝜎2 (

1

2𝜎2𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚)

0 −𝑛 − 1 − 𝑝

2�̂�2+

1

2�̂�4𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 = 0


33

𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚

�̂�2= 𝑛 − 1 − 𝑝

Penduga REML untuk 𝜎2 = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚

𝑛 − 1 − 𝑝=

(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃)

𝑛 − 1 − 𝑝

yaitu Residual MS ANOVA regresi linier berganda dan penduga takbias bagi parameter.


34

Teladan 4 Rancangan Perlakuan Satu Arah

Ambil n ulangan untuk data dari t populasi normal yang semuanya memiliki ragam sama. Ini

merupakan kasus khusus dari regresi linier berganda, tetapi kita akan mengembangkan

matematika terpisah untuk model ini dan melibatkan pembuktian transformasi matriks ortogonal

untuk sebaran-sebaran komponen ANOVA. Kita mempertimbangkan kasus ulangan sama untuk

membuat ekspresi menjadi sederdana, prosedur yang sama diterapkan pada rancangan dengan

ulangan tidak sama.

Model adalah:

𝑦𝑖𝑗 = 𝜇 + 𝜏𝑖 + 휀𝑖𝑗, 𝑖 = 1,⋯ , 𝑡; 𝑗 = 1,⋯ , 𝑛

Dalam bentuk GLM, 𝒚 = 𝑿𝜷 + 𝛜, terdapat banyak parameter dalam model di atas (dengan

perlakuan t , terdapat t rata-rata dan satu ragam, model di atas memilik t+1 parameter

{𝜇, 𝜏1, ⋯ , 𝜏𝑡} dan parameter ragam 𝜎2). Cara termudah adalah memilih satu restriksi (batasan)

di antara parameter {𝜇, 𝜏1, ⋯ , 𝜏𝑡}. Agar sederhana, pilih batasan 𝜏1 + ⋯+ 𝜏𝑡 = 0, dan ganti

(katakan) 𝜏𝑡 dengan (−𝜏1 − ⋯− 𝜏𝑡−1). Restriksi mana pun yang dipilih akan menghasilkan

solusi sama untuk komponen-komponen ANOVA.

Vektor data 𝒚 memiliki n pengamatan dalam t perlakuan, menghasilkan vektor sepanjang nt.

Secara umum, 𝜷 = (𝜇, 𝜏1, 𝜏2, ⋯ , 𝜏𝑡), terdapat t+1 parameter

Kasus 1: Jika 𝜇 = 0, vektor 𝜷 = (𝜏1, 𝜏2, ⋯ , 𝜏𝑡) akan mengandung t parameter

Ilustrasi t = 3 (i=1,2,3) dan n = 4 (j=1, 2, 3, 4), 𝜷 = (𝜏1, 𝜏2 , 𝜏3) terdiri dari 3 parameter

Terdapat nt = 4(3) = 12 persamaan linier

𝑦11 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11

𝑦12 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12

𝑦13 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13

𝑦14 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14

𝑦21 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21

𝑦22 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22

𝑦23 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23


35

𝑦24 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24

𝑦31 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31

𝑦32 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32

𝑦33 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33

𝑦34 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34

Karena, suku pertama dalam model bernilai nol, tidak perlu ditulis, apalagi hanya terdapat 3

parameter, sehingga matriks rancangan berdimensi 𝑛𝑡 × 𝑡 = 12 × 3

Matriks rancangan adalah: 𝜏1 𝜏2 𝜏3

𝑿 =

(

1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)

=(14 04 04

04 14 04

04 04 14

)

𝑿𝑇𝑿 = (1 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1

)

(

1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)

𝑿𝑇𝑿 = (4 0 00 4 00 0 4

) = 4 (1 0 00 1 00 0 1

) = 4 𝑰3 secara umum 𝑿𝑇𝑿 = 𝑛𝑰𝑡


36

𝑿𝑇𝒚 = (1 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1

)

(

𝑦11

𝑦12

𝑦13

𝑦14

𝑦21

𝑦22

𝑦23

𝑦24

𝑦31

𝑦32

𝑦33

𝑦34)

=

(

∑𝑦1𝑗

4

𝑗=1

∑𝑦2𝑗

4

𝑗=1

∑𝑦3𝑗

4

𝑗=1 )

= (

4�̅�1

4�̅�2

4�̅�3

)

𝑿𝑇𝒚 = 4(�̅�1

�̅�2

�̅�3

) secara umum 𝑿𝑇𝒚 = 𝑛�̅�𝑖

Kasus 2: Jika 𝜏1, = 0, vektor 𝜷 = (𝜇, 𝜏2, ⋯ , 𝜏𝑡) atau 𝜷 = (𝜇, 𝜏2 , 𝜏3)

𝑦11 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11

𝑦12 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12

𝑦13 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13

𝑦14 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14

𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21

𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22

𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23

𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24

𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31

𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32

𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33

𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34


37

𝜇 𝜏2 𝜏3

𝑿 =

(

1 0 01 0 01 0 01 0 01 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1)

=(14 04 04

14 14 04

14 04 14

)

𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 10 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1

)

(

1 0 01 0 01 0 01 0 01 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1)

𝑿𝑇𝑿 = (12 4 44 4 04 0 4

) = 4 (3 1 11 1 01 0 1

) = 4 (3 1 11 1 01 0 1

) = 4 (3 13−1

𝑇

13−1 𝑰3−1)

secara umum 𝑿𝑇𝑿 = 𝑛 (𝑡 1𝑡−1

𝑇

1𝑡−1 𝑰𝑡−1)

𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 10 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1

)

(

𝑦11

𝑦12

𝑦13

𝑦14

𝑦21

𝑦22

𝑦23

𝑦24

𝑦31

𝑦32

𝑦33

𝑦34)

=

(

∑∑𝑦𝑖𝑗

∑𝑦2𝑗

4

𝑗=1

∑𝑦3𝑗

4

𝑗=1 )

= (

(4 × 3)�̅�4�̅�2

4�̅�3

)


38

𝑿𝑇𝒚 = 4(3�̅��̅�2

�̅�3

)

Kasus 3: Jika 𝜏2, = 0, vektor 𝜷 = (𝜇, 𝜏1, 𝜏3, ⋯ , 𝜏𝑡) atau 𝜷 = (𝜇, 𝜏1 , 𝜏3)

𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11

𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12

𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13

𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14

𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀21

𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀22

𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀23

𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀24

𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31

𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32

𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33

𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34

𝜇 𝜏1 𝜏3

𝑿 =

(

1 1 01 1 01 1 01 1 01 0 01 0 01 0 01 0 01 0 11 0 11 0 11 0 1)

=(14 14 04

14 04 04

14 04 14

)


39

𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1

)

(

1 1 01 1 01 1 01 1 01 0 01 0 01 0 01 0 01 0 11 0 11 0 11 0 1)

𝑿𝑇𝑿 = (12 4 44 4 04 0 4

) = 4 (3 1 11 1 01 0 1

) = 4 (3 1 11 1 01 0 1

) = 4 (3 13−1

𝑇

13−1 𝑰3−1)


𝑇

1𝑡−1 𝑰𝑡−1)

𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1

)

(

𝑦11

𝑦12

𝑦13

𝑦14

𝑦21

𝑦22

𝑦23

𝑦24

𝑦31

𝑦32

𝑦33

𝑦34)

=

(

∑∑𝑦𝑖𝑗

∑𝑦1𝑗

4

𝑗=1

∑𝑦3𝑗

4

𝑗=1 )

= (

(4 × 3)�̅�4�̅�1

4�̅�3

)

𝑿𝑇𝒚 = 4(3�̅��̅�1

�̅�3

)

Kasus 4: Jika 𝜏3, = 0, vektor 𝜷 = (𝜇, 𝜏1, 𝜏2, 𝜏4,,⋯ , 𝜏𝑡) atau 𝜷 = (𝜇, 𝜏1 , 𝜏2)

𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11

𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12

𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13

𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14

𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21


40

𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22

𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23

𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24

𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀31

𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀32

𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀33

𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀34

𝜇 𝜏1 𝜏2

𝑿 =

(

1 1 01 1 01 1 01 1 01 0 01 0 11 0 11 0 11 0 01 0 01 0 01 0 0)

=(14 14 04

14 04 14

14 04 04

)

𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 0

)

(

1 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 11 0 01 0 01 0 01 0 0)

𝑿𝑇𝑿 = (

14𝑇 14

𝑇 14𝑇

14𝑇 04

𝑇 04𝑇

04𝑇 14

𝑇 04𝑇

)(14 14 04

14 04 14

14 04 04

) = (

4(3) 4(1) 4(1)4(1) 4(1) 4(0)4(1) 4(0) 4(1)

)

𝑿𝑇𝑿 = (12 4 44 4 04 0 4

) = 4 (3 1 11 1 01 0 1

) = 4 (3 1 11 1 01 0 1

) = 4 (3 13−1

𝑇

13−1 𝑰3−1)


41


𝑇

1𝑡−1 𝑰𝑡−1)

𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 0

)

(

𝑦11

𝑦12

𝑦13

𝑦14

𝑦21

𝑦22

𝑦23

𝑦24

𝑦31

𝑦32

𝑦33

𝑦34)

=

(

∑∑𝑦𝑖𝑗

∑𝑦1𝑗

4

𝑗=1

∑𝑦2𝑗

4

𝑗=1 )

= (

(4 × 3)�̅�4�̅�1

4�̅�2

)

𝑿𝑇𝒚 = 4(3�̅��̅�1

�̅�2

)

Apa pun batasan yang dibuat tentang, selalu memberikan hasil sama 𝑿𝑇𝑿 = 𝑛 (𝑡 1𝑡−1

𝑇

1𝑡−1 𝑰𝑡−1)

𝑿 =

[ 1𝑛 1𝑛 0𝑛 ⋯ 0𝑛

1𝑛 0𝑛 1𝑛 ⋯ 0𝑛

1𝑛 0𝑛 0𝑛 ⋯ 0𝑛

⋮ ⋮ ⋮ ⋮ ⋮1𝑛 0𝑛 0𝑛 ⋯ 1𝑛

1𝑛 −1𝑛 −1𝑛 ⋯ −1𝑛]

, 𝜷 = [

𝜇𝜏1

⋮𝜏𝑡−1

]

Memperlihatkan matriks di atas

Kasus 1: 𝜏3 = − 𝜏1 − 𝜏2 ; 𝜷 = (𝜇, 𝜏1, 𝜏2, , ⋯ , 𝜏𝑡−1) atau 𝜷 = (𝜇, 𝜏1 , 𝜏2), 𝜏3 = 0

𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11

𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12

𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13

𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14

𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21

𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22

𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23

𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24

𝑦31 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 휀31

𝑦32 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 휀32

𝑦33 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 휀33


42

𝑦34 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 휀34

𝜇 𝜏1 𝜏2

𝑿 =

(

1 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1)

=(14 14 04

14 04 14

14 −14 −14

)

𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 −1 −1 −1 −10 0 0 0 1 1 1 1 −1 −1 −1 −1

)

(

1 1 01 1 01 1 01 1 01 0 01 0 11 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1)

𝑿𝑇𝑿 = (12 0 00 8 40 4 8

) = 4 (3 0 00 2 10 1 2

)

𝑿𝑇𝑿 = (

14𝑇 14

𝑇 14𝑇

14𝑇 04

𝑇 −14𝑇

04𝑇 14

𝑇 −14𝑇

)(14 14 04

14 04 14

14 −14 −14

)=(12 0 00 8 40 4 8

) = 4 (3 0 00 2 10 1 2

)

Anak matriks bagian (21), berukuran (3-1)×(3-1) memiliki struktur (𝑰𝑡−1 + 1𝑡−11𝑡−1𝑇 ) =

(𝑰3−1 + 13−113−1𝑇 )

(2 11 2

) = (1 00 1

) + (11) (1 1) = (

1 00 1

) + (1 11 1

)


43

𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 −1 −1 −1 −10 0 0 0 1 1 1 1 −1 −1 −1 −1

)

(

𝑦11

𝑦12

𝑦13

𝑦14

𝑦21

𝑦22

𝑦23

𝑦24

𝑦31

𝑦32

𝑦33

𝑦34)

=

(

∑∑𝑦𝑖𝑗

4

𝑗=4

3

𝑖=1

∑𝑦1𝑗 − ∑𝑦3𝑗

4

𝑗=1

4

𝑗=1

∑𝑦2𝑗

4

𝑗=1

− ∑𝑦3𝑗

4

𝑗=1 )

(

(4 × 3)�̅�..

4�̅�1. − 4�̅�3.

4�̅�2. − 4�̅�3.

) = (

(4 × 3)�̅�..

4(�̅�1. − �̅�3.)

4(�̅�2. − �̅�3.)) = (

𝑛𝑡�̅�..

𝑛(�̅�1. − �̅�3.)

𝑛(�̅�2. − �̅�3.))


𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11

𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12

𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13

𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14

𝑦21 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 휀21

𝑦22 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 휀22

𝑦23 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 휀23

𝑦24 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 휀24

𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31

𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32

𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33

𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34


44

𝜇 𝜏1 𝜏3

𝑿 =

(

1 1 01 1 01 1 01 1 01 −1 −11 −1 −11 −1 −11 −1 −11 0 11 0 11 0 11 0 1 )

=(14 14 04

14 −14 −14

14 04 14

)

𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 −1 −1 −1 −1 0 0 0 00 0 0 0 −1 −1 −1 −1 1 1 1 1

)

(

1 1 01 1 01 1 01 1 01 −1 −11 −1 −11 −1 −11 −1 −11 0 11 0 11 0 11 0 1 )

𝑿𝑇𝑿 = (12 0 00 8 40 4 8

) = 4 (3 0 00 2 10 1 2

)

𝑿𝑇𝑿 = (

14𝑇 14

𝑇 14𝑇

14𝑇 −14

𝑇 04𝑇

04𝑇 −14

𝑇 14𝑇

)(14 14 04

14 −14 −14

14 04 14

)=(12 0 00 8 40 4 8

) = 4 (3 0 00 2 10 1 2

)

𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 −1 −1 −1 −1 0 0 0 00 0 0 0 −1 −1 −1 −1 1 1 1 1

)

(

𝑦11

𝑦12

𝑦13

𝑦14

𝑦21

𝑦22

𝑦23

𝑦24

𝑦31

𝑦32

𝑦33

𝑦34)

=

(

∑∑𝑦𝑖𝑗

4

𝑗=1

3

𝑖=1

∑𝑦1𝑗 − ∑𝑦2𝑗

4

𝑗=1

4

𝑗=1

∑𝑦3𝑗

4

𝑗=1

− ∑𝑦2𝑗

4

𝑗=1 )


45

(

(4 × 3)�̅�..

4�̅�1. − 4�̅�2.

4�̅�3. − 4�̅�2.

) = (

(4 × 3)�̅�..

4(�̅�1. − �̅�2.)

4(�̅�3. − �̅�2.)) = (

𝑛𝑡�̅�..

𝑛(�̅�1. − �̅�2.)

𝑛(�̅�3. − �̅�2.))


𝑦11 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 휀11

𝑦12 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 휀12

𝑦13 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 휀13

𝑦14 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 휀14

𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21

𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22

𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23

𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24

𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31

𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32

𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33

𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34

𝜇 𝜏2 𝜏3


46

𝑿 =

(

1 −1 −11 −1 −11 −1 −11 −1 −11 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1 )

=(14 −14 −14

14 14 04

14 04 14

)

𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 1

−1 −1 −1 −1 1 1 1 1 0 0 0 0−1 −1 −1 −1 0 0 0 0 1 1 1 1

)

(

1 −1 −11 −1 −11 −1 −11 −1 −11 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1 )

𝑿𝑇𝑿 = (12 0 00 8 40 4 8

) = 4 (3 0 00 2 10 1 2

)

𝑿𝑇𝑿 = (

14𝑇 14

𝑇 14𝑇

−14𝑇 14

𝑇 04𝑇

−14𝑇 04

𝑇 14𝑇

)(14 −14 −14

14 14 04

14 04 14

)=(12 0 00 8 40 4 8

) = 4 (3 0 00 2 10 1 2

)

𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 1

−1 −1 −1 −1 1 1 1 1 0 0 0 0−1 −1 −1 −1 0 0 0 0 1 1 1 1

)

(

𝑦11

𝑦12

𝑦13

𝑦14

𝑦21

𝑦22

𝑦23

𝑦24

𝑦31

𝑦32

𝑦33

𝑦34)

=

(

∑∑𝑦𝑖𝑗

4

𝑗=1

3

𝑖=1

∑𝑦2𝑗 − ∑𝑦1𝑗

4

𝑗=1

4

𝑗=1

∑𝑦3𝑗

4

𝑗=1

− ∑𝑦1𝑗

4

𝑗=1 )


47

(

(4 × 3)�̅�..

4�̅�2. − 4�̅�1.

4�̅�3. − 4�̅�1.

) = (

(4 × 3)�̅�..

4(�̅�2. − �̅�1.)

4(�̅�3. − �̅�1.)) = (

𝑛𝑡�̅�..

𝑛(�̅�2. − �̅�1.)

𝑛(�̅�3. − �̅�1.))

Catatan penting:

Batasan mana pun yang digunakan (t=3, n=4), selalu menghasilkan :

• 𝑿𝑇𝑿 sama

• Bentuk umum 𝑿𝑇𝒚

𝜏1 = 0 𝜏2 = 0 𝜏3 = 0

𝑿

(14 −14 −14

14 14 04

14 04 14

) (14 14 04

14 −14 −14

14 04 14

) (14 14 04

14 04 14

14 −14 −14

)

𝑿𝑇𝑿 = 𝑛 (𝑡 0𝑡−1

𝑇

0𝑡−1 𝑰𝑡−1 + 1𝑡−11𝑡−1𝑇 )

𝑿𝑇𝑿 = 𝑛 (𝑡 0 00 2 10 1 2

) = 4(3 0 00 2 10 1 2

)

𝑿𝑇𝒚 = (

𝑛𝑡�̅�..

𝑛(�̅�1. − �̅�𝑡.)⋮

𝑛(�̅�𝑡−1. − �̅�𝑡.)

)

𝑡 = 1 𝑡 = 2 𝑡 = 3

(

(4 × 3)�̅�..

4(�̅�2. − �̅�1.)

4(�̅�3. − �̅�1.)) (

(4 × 3)�̅�..

4(�̅�1. − �̅�2.)

4(�̅�3. − �̅�2.)) (

(4 × 3)�̅�..

4(�̅�1. − �̅�3.)

4(�̅�2. − �̅�3.))

Dengan definisi 𝑿 ini:

𝑿𝑇𝑿 = 𝑛

[ 𝑡 0 0 ⋯ 00 2 1 ⋯ 10 1 2 ⋯ 1⋮ ⋮ ⋮ ⋱ ⋮0 1 1 ⋯ 2]

Anak matriks bagian bawah berukuran (t-1)×(t-1) memiliki struktur (𝑰𝑡−1 + 1𝑡−11𝑡−1𝑇 ).

Kemudian, kebalikan matriks jenis ini adalah

(𝑫 + 𝒖𝒗𝑇)−1 = 𝑫−1 −𝑫−1𝒖𝒗𝑇𝑫−1

1 + 𝒗𝑇𝑫−1𝒖


48

Di sini 𝑫 = 𝑰𝑡−1 dan 𝒖 = 𝒗 = 1𝑡−1 sehingga

(𝑰𝑡−1 + 1𝑡−11𝑡−1𝑇 )−1 = 𝑰𝑡−1 −

1

𝑡𝑱𝑡−1

Di mana 𝑱𝑡−1 adalah matriks berelemen 1. Jadi,

(𝑿𝑇𝑿)−1 =1

𝑛[

1

𝑡0𝑡−1

𝑇

0𝑡−1 𝑰𝑡−1 −1

𝑡𝑱𝑡−1

]

Struktur terakhir yang harus dilihat adalah 𝑿𝑇𝒚 di mana, berdasarkan perkalian, menjadi

sederhana

𝑿𝑇𝒚 = [

𝑛𝑡�̅�

𝑛(�̅�1. − �̅�𝑡.)⋮

𝑛(�̅�𝑡−1. − �̅�𝑡.)

]

Akhirnya,

𝒃 = (𝑿𝑇𝑿)−1𝑿𝑇𝒚 =1

𝑛[

1

𝑡0𝑡−1

𝑇

0𝑡−1 𝑰𝑡−1 −1

𝑡𝑱𝑡−1

] [

𝑛𝑡�̅�..

𝑛(�̅�1. − �̅�𝑡.)⋮

𝑛(�̅�𝑡−1. − �̅�𝑡.)

]

Elemen pertama dalam vektor kolom hasil adalah �̅�, yakni penduga bagi 𝜇.

Elemen berikut adalah ciri solusi tersisa. Berdasarkan perkalian matriks, diperoleh penduga

bagi 𝜏1 yakni

𝑃𝑒𝑛𝑑𝑢𝑔𝑎 𝑏𝑎𝑔𝑖 𝜏1 = (�̅�1. − �̅�𝑡.) −1

𝑡∑(�̅�𝑖. − �̅�𝑡.)

𝑡−1

𝑖=1

= (�̅�1. − �̅�𝑡.) −1

𝑡∑(�̅�𝑖. − �̅�𝑡.)

𝑡

𝑖=1


49

= (�̅�1. − �̅�𝑡.) −1

𝑡∑[(�̅�𝑖. − �̅�) − (�̅�𝑡. − �̅�)]

𝑡

𝑖=1

= (�̅�1. − �̅�𝑡.) + (�̅�𝑡. − �̅�) = (�̅�1. − �̅�)

Untuk rancangan satu-arah dengan ulangan sama, ketika memilih {𝜇, 𝜏1, ⋯ , 𝜏𝑡} sedemikian

sehingga ∑ 𝜏𝑖 = 0𝑡𝑖=1 , penduga bagi parameter 𝜇 adalah �̅�, rata-rata umum dari data, dan

penduga bagi pengaruh perlakuan ke i adalah (�̅�𝑖. − �̅�).

Berikut,

𝒃𝑇𝑿𝑇𝒚 = [�̅� (�̅�1. − �̅�) ⋯ (�̅�𝑡−1. − �̅�)] [

𝑛𝑡�̅�..

𝑛(�̅�1. − �̅�𝑡.)⋮

𝑛(�̅�𝑡−1. − �̅�𝑡.)

]

= 𝑛𝑡�̅�2 + 𝑛 ∑ (�̅�𝑖. − �̅�)(�̅�𝑖. − �̅�𝑡.)𝑡−1𝑖=1

= 𝑛𝑡�̅�2 + 𝑛 ∑ (�̅�𝑖. − �̅�)[(�̅�𝑖. − �̅�) − (�̅�𝑡. − �̅�)]𝑡−1𝑖=1

= 𝑛𝑡�̅�2 + 𝑛 ∑ (�̅�𝑖. − �̅�)2𝑡−1𝑖=1 − 𝑛(�̅�𝑡. − �̅�) ∑ (�̅�𝑖. − �̅�)𝑡−1

𝑖=1

Karena ∑ (�̅�𝑖. − �̅�)𝑡𝑖=1 = 0 diperoleh ∑ (�̅�𝑖. − �̅�)𝑡−1

𝑖=1 = −(�̅�𝑡. − �̅�)

Dan juga:

𝒃𝑇𝑿𝑇𝒚 = 𝑛𝑡�̅�2 + 𝑛 ∑(�̅�𝑖. − �̅�)2

𝑡

𝑖=1

Jika hipotesis nol (𝜏𝑖=0 untuk semua i) benar, hanya satu parameter tersisa yakni 𝜇 dengan

penduga �̅�, dan kemudian 𝒃𝑇𝑿𝑇𝒚 = 𝑛𝑡�̅�2. Untuk menguji hipotesis ini, gunakan n∑ (�̅�𝑖. −𝑡𝑖=1

�̅�)2. Ini adalah Treatment SS dalam ANOVA satu-arah.

Residual SS berdasarkan model asli adalah

∑∑𝑦𝑖𝑗2

𝑛

𝑗=1

𝑡

𝑖=1

− 𝑛𝑡�̅�2 − 𝑛 ∑(�̅�𝑖. − �̅�)2

𝑡

𝑖=1

= ∑∑(𝑦𝑖𝑗 − �̅�𝑖.)2

𝑛

𝑗=1

𝑡

𝑖=1


50

yakni Residual SS dalam ANOVA satu-arah. Cara lain menulis ekspresi ini adalah:

𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑆𝑆 = (𝑛 − 1)∑𝑠𝑖2

𝑡

𝑖=1

di mana 𝑠𝑖2 adalah ragam contoh (takbias) untuk perlakuan ke-i. Derajat bebas Residual SS

adalah (nt-1)-(t-1) = nt-t = t(n-1), mengilustrasikan kenyataan bahwa untuk rancangan satu-arah,

Residual MS dalam Anova satu-arah ulangan sama, merupakan rata-rata t ragam contoh

perlakuan. Pada rancangan yang diulang tidak sama, maka Residual MS adalah rata-rata

terbobot dari t ragam contoh di mana bobot adalah derajat bebas setiap perlakuan, namakan

(𝑛𝑖 − 1).

Residual MS dalam ANOVA satu-arah bersifat takbias bagi parameter ragam 𝜎2. Kita akan

melihat bahwa penduga ML memiliki penyebut N=nt, dengan demikian penduga ini bias.

Namun, dalam proses pendugaan, kita akan menggunakan transformasi ortogonal terhadap

data.


51

Penduga ML bagi parameter ragam 𝝈𝟐 untuk rancangan satu-arah

Pilih matriks orthogonal 𝑷 sedemikian sehingga

Baris pertama proporsional terhadap vector satu, yakni, 1nt, di mana setiap elemen dibagi

dengan √𝑛𝑡;

Sisa baris (t-1) berupa kontras antara rata-rata t perlakuan. Ini termasuk ortogonal

polinomial (apabila perlakuan berupa pemupukan), atau matriks kontras sederhana Helmert

seperti Perlakuan 1 versus 2, Perlakuan 1 & 2 versus 3, Perlakuan 1 sampai 3 versus 4 dan

seterusnya. Treatment 1 versus 2, Treatments 1 & 2 versus 3, Treatments 1 to 3 versus 4

dan seterusnya, menghasilkan baris {1, -1, 0, …, 0}, {1, 1, -2, …, 0}, {1, 1, 1, -3, …, 0} dst.

Gunakan aturan matriks ortogonal untuk melengkapi baris-baris lain yang merupakan

kontras antara pengamatan dalam setiap perlakuan.

Jika t=3, matriks dasar untuk pembandingan antar perlakuan adalah (di kolom kanan jumlah

kuadrat):

(1 1 11 −1 01 1 −2

)326

menjadi matriks ortogonal (

1/√3 1/√3 1/√3

1/√2 −1/√2 0

1/√6 1/√6 −2/√6

)111

Jika n = 4, maka nt = 12, ruas kiri menjadi

(

1 1 1 1 11 1 1 1 −11 1 1 1 11 −1 0 0 01 1 −2 0 01 1 1 −3 00 0 0 0 10 0 0 0 10 0 0 0 10 0 0 0 00 0 0 0 00 0 0 0 0

1 1 1 1 1 1 1−1 −1 −1 0 0 0 01 1 1 −2 −2 −2 −2 0 0 0 0 0 0 00 0 0 0 0 0 00 0 0 0 0 0 0

−1 0 0 0 0 0 01 −2 0 0 0 0 01 1 −3 0 0 0 00 0 0 1 −1 0 00 0 0 1 1 −2 00 0 0 1 1 1 −3)

12824261226122612

Membagi dengan akar jumlah kuadrat (kolom terluar) menghasilkan matriks ortogonal 𝑷:


52

(

1

√12

1

√12

1

√12

1

√12

1

√12

1

√12

1

√12

1

√12

1

√12

1

√12

1

√12

1

√121

√8

1

√8

1

√8

1

√8

−1

√8

−1

√8

−1

√8

−1

√80 0 0 0

1

√24

1

√24

1

√24

1

√24

1

√24

1

√24

1

√24

1

√24

−2

√24

−2

√24

−2

√24

−2

√241

√2

−1

√20 0 0 0 0 0 0 0 0 0

1

√6

1

√6

−2

√60 0 0 0 0 0 0 0 0

1

√12

1

√12

1

√12

−3

√120 0 0 0 0 0 0 0

0 0 0 01

√2

−1

√20 0 0 0 0 0

0 0 0 01

√6

1

√6

−2

√60 0 0 0 0

0 0 0 01

√12

1

√12

1

√12

−3

√120 0 0 0

0 0 0 0 0 0 0 01

√2

−1

√20 0

0 0 0 0 0 0 0 01

√6

1

√6

−2

√60

0 0 0 0 0 0 0 01

√12

1

√12

1

√12

−3

√12

)

• Baris pertama bukan kontras, untuk menghitung rata-rata umum

• Dua baris kedua (t-1)=3-1=2 adalah kontras untuk membandingkan

perlakuan=comparing treatment means.

• Baris 4-6, 7-9 dan 10-12 berukuran (𝑛 − 1) × 4 untuk membandingkan pengamatan

dalam setiap perlakuan (comparisons of data within treatment) – berisi kontras

(jumlah setiap baris 0, jumlah kuadrat setiap baris 1 dan jumlah hasil kali antar baris

0), matriks sama yakni:

𝑲 = (

1/√2 −1/√2 0 0

1/√6 1/√6 −2/√6 0

1/√12 1/√12 1/√12 −3/√12

)

Ini bukan matriks ortogonal, tetapi bagian dari matriks ortogonal.


53

Matriks 𝑷 berukuran 𝑛𝑡 × 𝑛𝑡 = 4(3) × 4(3) = 12 × 12 dapat diringkas menjadi:

(

√1

1214

𝑇 √1

1214

𝑇 √1

1214

𝑇

√1

814

𝑇 −√1

814

𝑇 04𝑇

√1

2414

𝑇 √1

2414

𝑇 −2√1

2414

𝑇

𝑲3𝑥4 𝑶3𝑥4 𝑶3𝑥4

𝑶3𝑥4 𝑲3𝑥4 𝑶3𝑥4

𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4 )

=

(

√1

3𝑥414

𝑇 √1

3𝑥414

𝑇 √1

3𝑥414

𝑇

√1

2𝑥414

𝑇 −√1

2𝑥414

𝑇 04𝑇

√1

6𝑥414

𝑇 √1

6𝑥414

𝑇 −2√1

6𝑥414

𝑇



𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4 )

Definisikan 𝒖 = 𝑷𝒚 (dengan Jacobian = 1) dengan berharap agar elemen pertama akan

menduga rata-rata umum dan t-1 elemen berikut akan menduga kontras antar rata-rata secara

konsisten dengan bagaimana kontras dinyatakan dalam 𝑷.

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 bagi 𝒖 = −𝑛𝑡

2𝑙𝑛(2𝜋) −

𝑛𝑡

2𝑙𝑛(𝜎2) −

1

2𝜎2(𝑷𝑇𝒖 − 𝑿𝜷)𝑇(𝑷𝑇𝒖 − 𝑿𝜷)

Ini telah dimanipulasi untuk regresi linier sederhana, di mana kita memperoleh (ganti n, ukuran

contoh untuk model itu, dengan nt):

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk 𝒖 = −𝑛𝑡

2𝑙𝑛(2𝜋) −

𝑛𝑡

2𝑙𝑛(𝜎2) −

1

2𝜎2(𝒖 − 𝑷𝑿𝜷)𝑇(𝒖 − 𝑷𝑿𝜷)

Maka 𝑷𝑿 tetap dihitung. Pertama, perhatikan tiga baris pertama matriks 𝑷:

𝑷=

[ √

1

𝑛𝑡1𝑛

𝑇 √1

𝑛𝑡1𝑛

𝑇 √1

𝑛𝑡1𝑛

𝑇 ⋯ √1

𝑛𝑡1𝑛

𝑇

√1

2𝑛1𝑛

𝑇 −√1

2𝑛1𝑛

𝑇 0𝑛 ⋯ 0𝑛

√1

6𝑛1𝑛

𝑇 √1

6𝑛1𝑛

𝑇 −2√1

6𝑛1𝑛

𝑇 ⋯ 0𝑛

⋮ ⋮ ⋮ ⋱ ⋮⋯ ]

Sesudah penyederhanaan:

𝑢1 = √𝑛𝑡�̅�,

𝑢2 = √𝑛 2⁄ [(�̅�1. − �̅�2.)],


54

𝑢3 = √𝑛 6⁄ [(�̅�1. − �̅�3.) + (�̅�2. − �̅�3.)]

dan seterusnya, hingga 𝑢𝑡−1.

Catatan: jika t=3, maka hanya terdapat 3 kolom pada matriks 𝑷 dan matriks 𝑷𝑿

Juga:

𝑷𝑿𝜷=

[ √

1

𝑛𝑡1𝑛

𝑇 √1

𝑛𝑡1𝑛

𝑇 √1

𝑛𝑡1𝑛

𝑇 ⋯ √1

𝑛𝑡1𝑛

𝑇

√1

2𝑛1𝑛

𝑇 −√1

2𝑛1𝑛

𝑇 0𝑛 ⋯ 0𝑛

√1

6𝑛1𝑛

𝑇 √1

6𝑛1𝑛

𝑇 −2√1

6𝑛1𝑛

𝑇 ⋯ 0𝑛

⋮ ⋮ ⋮ ⋱ ⋮⋯ ]

[ 1𝑛 1𝑛 0𝑛 ⋯ 0𝑛

1𝑛 0𝑛 1𝑛 ⋯ 0𝑛

1𝑛 0𝑛 0𝑛 ⋯ 0𝑛

⋮ ⋮ ⋮ ⋮ ⋮1𝑛 0𝑛 0𝑛 ⋯ 1𝑛

1𝑛 −1𝑛 −1𝑛 ⋯ −1𝑛]

[

𝜇𝜏1

𝜏2

⋮𝜏𝑡−2

𝜏𝑡−1]

=

[ √

𝑛𝑡 0 0 0 ⋯ 0

0 √𝑛

2−√

𝑛

20 ⋯ 0

0 √𝑛

6√

𝑛

6−2√

𝑛

6⋯ 0

⋮ ⋮ ⋮ ⋮ ⋮0 ⋯0 0 0 ⋯ 0⋮ ⋮ ⋮ ⋮ ⋱0 0 0 0 ⋯ 0 ]

[

µ𝜏1

𝜏2

⋮𝜏𝑡−1]

=

[ √𝑛𝑡𝜇

√𝑛

2(𝜏1 − 𝜏2)

√𝑛

6(𝜏1 + 𝜏2 − 2𝜏3)

⋮𝑒𝑡𝑐0⋮0 ]

=

[ √𝑛𝑡𝜇

𝑐1𝛿1

𝑐2𝛿2

⋮𝑐𝑡−1𝛿𝑡−1

0⋮0 ]

√1

2𝑛1𝑛

𝑇 × √1

2𝑛1𝑛

𝑇 = 𝑛√1

2𝑛= √

𝑛2

2𝑛= √

𝑛

2

Yang mengalihkan perhatian kita dari rata-rata perlakuan 𝜇 + 𝜏1, 𝜇 + 𝜏2, …, 𝜇 + 𝜏𝑡−1 hingga

selisih antar rata-rata 𝛿1 = 𝜏1 − 𝜏2, 𝛿2 = 𝜏1 + 𝜏2 − 2𝜏3 = (𝜏1 − 𝜏3) + (𝜏2 − 𝜏3), dst. Catat

bahwa 𝑐𝑖 adalah kontras sederhana.

Perkalian 𝑷𝑿𝜷=


55

(

√

1

1214

𝑇 √1

1214

𝑇 √1

1214

𝑇

√1

814

𝑇 −√1

814

𝑇 04𝑇

√1

2414

𝑇 √1

2414

𝑇 −2√1

2414

𝑇



𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4 )

(

1 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1)

(

𝜇𝜏1

𝜏2

)

atau

(

√

1

1214

𝑇 √1

1214

𝑇 √1

1214

𝑇

√1

814

𝑇 −√1

814

𝑇 04𝑇

√1

2414

𝑇 √1

2414

𝑇 −2√1

2414

𝑇



𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4 )

(14 14 04

14 04 14

14 −14 −14

)(

𝜇𝜏1

𝜏2

)

(

√12 0 0

0 √2 −√2

0 √6 √60 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 0 )

(

𝜇𝜏1

𝜏2

) =

(

√12𝜇

√2(𝜏1 − 𝜏2)

√6(𝜏1 + 𝜏2)000000000 )

Catatan penting:

Karena batasan 𝜏3=0, maka √𝑛

6(𝜏1 + 𝜏2 − 2𝜏3) = √

𝑛

6(𝜏1 + 𝜏2)

Transformasi ortogonal telah menghasilkan himpuran peubah dengan properti berikut:


56

𝑢1 = √𝑛𝑡(�̅� − 𝜇) menyebar normal dengan rata-rata 0 dan ragam 𝜎2, dan bebas terhadap

setiap peubah (𝑢𝑖 − 𝑐𝑖𝛿𝑖), 𝑖 = 2,⋯ , 𝑡, yang semuanya bebas dengan rata-rata 0 dan ragam

𝜎2, dan

t peubah pertama {𝑢𝑖 , 𝑖 = 1,⋯ , 𝑡 } semua bebas terhadap nt - t = t(n - 1) peubah

{𝑢𝑖, 𝑖 = 𝑡 + 1,⋯ , 𝑛𝑡 } yang semuanya juga bebas dengan rata-rata 0 dan ragam 𝜎2.

Fungsi logLikelihood untuk {𝑢𝑖} dapat dipisahkan menjadi tiga bagian:

𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk 𝒖 = [−1

2𝑙𝑛(2𝜋) −

1

2𝑙𝑛(𝜎2) −

1

2𝜎2(𝑢1 − √𝑛𝑡𝜇)

2]

+ ⌈∑{−1

2𝑙𝑛(2𝜋) −

1

2𝑙𝑛(𝜎2) −

1

2𝜎2(𝑢𝑖 − 𝑐𝑖𝛿𝑖)

2}

𝑡

𝑖=2

⌉

+ [−𝑡(𝑛−1)

2𝑙𝑛(2𝜋) −

𝑡(𝑛−1)

2𝑙𝑛(𝜎2) −

1

2𝜎2∑ 𝑢𝑖

2

𝑛𝑡

𝑖=𝑡+1

]

Di bawah hipotesis bahwa rata-rata semua perlakuan sama, (yakni semua 𝜏𝑖 = 0, atau

ekivalen dengan semua 𝛿𝑖 = 0), ∑ 𝑢𝑖2𝑡

𝑖=2 dalam bagian kedua adalah Treatment SS dalam

ANOVA, dan karenanya menyebar secara peubah 𝜎2𝜒2 dengan derajat bebas t-1. Pun pula,

setiap komponen dalam Treatment SS menguji kontras sehimpunan rata-rata terhadap

himpunan rata-rata lain, dan menyebar secara 𝜎2𝜒2 dengan derajat bebas 1.

Ekspresi akhir dalam logLikelihood dari {𝑢𝑖} melibatkan ∑ 𝑢𝑖2𝑛𝑡

𝑖=𝑡+1 , yang merupakan

Residual SS dalam ANOVA satu-arah dan dengan demikian menyebar secara peubah 𝜎2𝜒2

dengan derajat bebas nt-t = t(n-1), irrespective of whether the treatment means are all equal

or not. Juga bebas terhadap Treatment SS. Jadi

Nisbah Treatment MS terhadap Residual MS dalam ANOVA satu-arah, di bawah hipotesis

bahwa semua rata-rata perlakuan sama, menyebar secara sebaran F dengan derajat bebas

pembilang t-1 dan penyebut t(n-1).


57

Nilai F setiap komponen kontras menyebar secara peubah dengan derajat bebas pembilang 1

dan derajat bebas penyebut t(n-1) di bawah asumsi bahwa kontras salah satu rata-rata

tertentu adalah 0.

Ingat bahwa Residual MS dapat ditulis sebagai

𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆 =∑ ∑ (𝑦𝑖𝑗 − �̅�𝑖.)

2𝑛𝑗=1

𝑡𝑖=1

𝑡(𝑛 − 1)=

∑ (𝑛 − 1)𝑠𝑖2𝑡

𝑖=1

𝑡(𝑛 − 1)=

∑ 𝑠𝑖2𝑡

𝑖=1

𝑡

yang merupakan rata-rata dari ragam contoh. Untuk ANOVA satu-arah ulangan tak sama, ini

berupa rata-rata terboboti, dengan bobot (𝑛𝑖 − 1).

Penduga ML untuk 𝝈𝟐 sama dengan di atas, kecuali bahwa penyebut adalah tn. Penduga ini

bias.

Penduga REML untuk 𝝈𝟐 sama dengan Residual MS dan takbias.

Teladan yang digunakan sejauh ini melibatkan penarikan contoh dari satu atau lebih sebaran

normal yang saling bebas dan memiliki ragam sama. Kita beralih pada matriks umum dari

model campuran linier, tetapi menggunakan model sederhana.


58

Teladan 5 – uji t tidak berpasangan – ragam sama

Ini merupakan kasus khusus rancangan yang telah dibahas sebelumnya, yakni, rancangan

perlakuan satu-arah tanpa pemblokan. Namun, kita akan mendekatinya sebagai kasus khusus

untuk menjelaskan mengapa pendekatan umum diperlukan.

Untuk dua contoh bebas yang diambil dari sebaran normal dengan rata-rata berbeda dan ragam

sama, kita dapat menggunakan property contoh acak sederhana dari sebarab normal:

Untuk contoh acak berukuran 𝑛1, �̅�1 menyebar normal dengan rata-rata 𝜇1 dan ragam 𝜎2

𝑛1,

bebas terhadap

�̅�2, yakni, untuk contoh acak 𝑛2, menyebar normal dengan rata-rata 𝜇2 dan ragam 𝜎2

𝑛2.

Maka �̅�1 − �̅�2 menyebar normal dengan rata-rata (𝜇1 − 𝜇2) dan ragam (𝜎2

𝑛1+

𝜎2

𝑛2).

Akhir Selasa, 10 Maret 2015

Kemudian, karena dua ragam contoh bebas terhadap dua rata-rata contoh, dan setiap rata-rata

benas terhadap ragam contoh:

(�̅�1 − �̅�2) bebas terhadap dua sebaran: (𝑛1−1)𝑠1

2

𝜎2 ~χ2 dengan derajat bebas (𝑛1 − 1), dan

(𝑛2−1)𝑠22

𝜎2 ~χ2 dengan derajat bebas (𝑛2 − 1).

Dengan demikian, kita mempunyai dua penduga (bersaing), yang sama-sama menduga ragam

yang sama 𝜎2. Kita tahu bahwa jumlah dari dua peubah χ2 yang saling bebas adalah juga

peubah χ2 dengan derajat bebas gabungan (jumlah dua derajat bebas). Maka, untuk kasus

ulangan tidak sama, (𝑛1−1)𝑠1

2+(𝑛2−1)𝑠22

𝜎2 menyebar secara χ2 dengan derajat bebas ((𝑛1 − 1) +

(𝑛2 − 1)).

Akhirnya, berdasarkan definisi, peubah t, adalah nisbah peubah normal baku terhadap akar

pangkat dua dari peubah χ2 bebas yang diskalakan dengan membaginya dengan derajat (yang

juga menjadi derajat bebas peubah t ). Dengan demikian, jika (𝜇1 − 𝜇2) = 0,


59

(�̅�1 − �̅�2)

√(𝜎2

𝑛1+

𝜎2

𝑛2)

⁄

√(𝑛1 − 1)𝑠1

2 + (𝑛2 − 1)𝑠22

𝜎2

((𝑛1 − 1) + (𝑛2 − 1))⁄

=(�̅�1 − �̅�2)

√(𝑛1 − 1)𝑠1

2 + (𝑛2 − 1)𝑠22

(𝑛1 − 1) + (𝑛2 − 1)(

1𝑛1

+1𝑛2

)

Akan menyebar secara peubah 𝑡 dengan derajat bebas ((𝑛1 − 1) + (𝑛2 − 1)).

Teladan 6 – uji t tidak berpasangan – ragam berbeda

Penyesuaian terhadap argumen sebelumnya bersifat minor (sederhana) sampai pada titik

menggabungkan ragam contoh.

Untuk dua contoh bebas yang ditarik dari sebaran-sebaran normal, dengan rata-rata berbeda dan

ragam berbeda, kita dapat menggunakaan properti contoh acak sederhana dari sebaran normal:

Untuk contoh acak berukuran 𝑛1, �̅�1 menyebar normal dengan rata-rata 𝜇1 dan ragam 𝜎1

2

𝑛1,

bebas terhadap

Statistik �̅�2, dari contoh acak berukuran 𝑛2, menyebar normal dengan rata-rata 𝜇2 dan ragam

𝜎22

𝑛2.

Maka (�̅�1 − �̅�2) akan menyebar normal dengan rata-rata (𝜇1 − 𝜇2) dan ragam (𝜎1

2

𝑛1+

𝜎22

𝑛2).

Kemudian, karena kedua ragam contoh bebas terhadap dua rata-rata contoh, dan setiap rata-rata

contoh bebas terhadap ragam contoh:

(�̅�1 − �̅�2) bebas terhadap dua peubah, baik (𝑛1−1)𝑠1

2

𝜎12 ~χ2 dengan derajat bebas (𝑛1 − 1), mau

pun (𝑛2−1)𝑠2

2

𝜎22 ~χ2 dengan derajat bebas (𝑛2 − 1).


60

Apabila 𝜎12 dan 𝜎2

2 diketahui, maka kita menggunakan (�̅�1 − �̅�2) sebagai peubah normal

dengan ragam (𝜎1

2

𝑛1+

𝜎22

𝑛2) untuk menguji (𝜇1 − 𝜇2) = 0. Masalahnya adalah bahwa kita tidak

pernah tahu nilai ragam populasi sesungguhnya (contoh binomial dengan ulangan banyak

menggunakan kenormalan asimtotik merupakan pengecualian). How to proceed?

Jika kita menggabungkan dua peubah 2 yakni (𝑛1−1)𝑠1

2

𝜎12 dan

(𝑛2−1)𝑠22

𝜎22 tidaklah mungkin

menghilangkan peubah ragam populasi yang tidak diketahui itu dari rumus modifikasi untuk

menghitung uji t tak-berpasangan (kecuali anda asumsikan bahwa satu ragam populasi diketahui

sebagai kelipatan dari yang lain) :

𝑡𝑜𝑏𝑠 =

(�̅�1 − �̅�2)

√(𝜎1

2

𝑛1+

𝜎22

𝑛2)

⁄

√((𝑛1 − 1)𝑠1

2

𝜎12 +

(𝑛2 − 1)𝑠22

𝜎22 )

((𝑛1 − 1) + (𝑛2 − 1))⁄

Catat bahwa dalam kasus ulangan tak sama, kita menggunakan peubah normal baku

(�̅�1 − �̅�2)

√(𝜎2

𝑛1+

𝜎2

𝑛2)

=(�̅�1 − �̅�2)

√𝜎2 (1𝑛1

+1𝑛2

)

~𝑁(0,1)

Dan menggantikan 𝜎2 dengan penduga terbaiknya yang berhubungan dengan sebaran 2,

menghasilkan uji t-tidak berpasangan. Hal ini menyebabkan dua ahli statistika bekerja secara

terpisah (Satterthwaite, mempublikasi 1946, dan Welch, pada 1947) mempelajari pengaruh

penggantian dua ragam populasi berbeda dengan ragam contoh dalam kasus ragam berbeda:

(�̅�1 − �̅�2)

√(𝜎1

2

𝑛1+

𝜎22

𝑛2)

→(�̅�1 − �̅�2)

√(𝑠12

𝑛1+

𝑠22

𝑛2)


61

Statistik di sebelah kanan tidak secara pasti menyebar secara statistik t karena suku dalam tanda

akar dari penyebut bukanlah peubah 2. Tetapi dengan mencocokkan dua momen pertama,

Satterthwaite memutuskan untuk mendalami pengaruh penggantian suatu fungsi linier dari

peubah 2 dengan peubah tunggal 2. Dia menemukan bagaimana menduga derajat bebas

sebuah peubah tunggal 2 . Untuk contoh berukuran cukup besar, dia menunjukkan bahwa

sebaran t kira-kira untuk

𝑡𝑜𝑏𝑠∗ =

(�̅�1 − �̅�2)

√(𝑠12

𝑛1+

𝑠22

𝑛2)

dengan derajat bebas diduga oleh:

𝑑𝑓 =(𝑠12

𝑛1+

𝑠22

𝑛2)

2

√

(

(𝑠12

𝑛1⁄ )

2

𝑛1 − 1+

(𝑠22

𝑛2⁄ )

2

𝑛2 − 1

)

Derivasi cukup mudah. Kita ingin menggantikan 𝑠12

𝑛1+

𝑠22

𝑛2 dengan 𝑠𝐵

2 katakan, dan, sebagai

(𝑛1−1)𝑠12

𝜎12 ~χ2 dengan derajat bebas (𝑛1 − 1), kita menghendaki 𝑟

𝑠𝐵2

𝜎𝐵2 ~χ2 dengan derajat bebas r

untuk beberapa nilai r.

Karena 𝐸(χ𝜈2) = 𝜈, maka 𝐸 (

(𝑛1−1)𝑠12

𝜎12 ) = (𝑛1 − 1) dan menyebabkan 𝐸 (

𝑠12

𝑛1) =

𝜎12

𝑛1. Sama

halnya, 𝐸 (𝑠22

𝑛2) =

𝜎22

𝑛2 dan 𝐸 (𝑟

𝑠𝐵2

𝜎𝐵2) = 𝑟 sehingga 𝐸(𝑠𝐵

2) = 𝜎𝐵2.

Diketahui bahwa 𝑣𝑎𝑟(χ𝜈2) = 2𝜈, maka 𝑣𝑎𝑟 (

(𝑛1−1)𝑠12

𝜎12 ) = 2(𝑛1 − 1) dan juga 𝑣𝑎𝑟 (

𝑠12

𝑛1) =

2

𝑛12(𝑛1−1)

𝜎14 (1). Sama halnya, 𝑣𝑎𝑟 (

𝑠22

𝑛2) =

2

𝑛22(𝑛2−1)

𝜎24 dan 𝑣𝑎𝑟 (𝑟

𝑠𝐵2

𝜎𝐵2) = 2𝑟 maka 𝑣𝑎𝑟(𝑠𝐵

2) =

2𝜎𝐵4

𝑟 (2).

Penjelasan 1: Jika 𝑈~χ𝑟2 maka 𝐸(𝑈)~𝑟 dan 𝑉𝑎𝑟(𝑈) = 2𝑟

• 𝑉𝑎𝑟 (𝑠2

𝑛) =

1

𝑛2 𝑉𝑎𝑟(𝑠2) # tetapi 𝑉𝑎𝑟 ((𝑛−1)𝑠2

𝜎2 ) = 𝑉𝑎𝑟 ( χ(𝑛−1)2 ) = 2(𝑛 − 1) )


62

• 𝑉𝑎𝑟 ((𝑛−1)𝑠2

𝜎2 ) =(𝑛−1)2

𝜎4 𝑉𝑎𝑟(𝑠2)

• (𝑛−1)2

𝜎4 𝑉𝑎𝑟(𝑠2) = 2(𝑛 − 1) 𝑉𝑎𝑟(𝑠2) =2(𝑛−1)𝜎4

(𝑛−1)2 =

2𝜎4

𝑛−1

• Substitusi ke dalam #, menghasilkan 𝑉𝑎𝑟 (𝑠2

𝑛) =

1

𝑛2 𝑉𝑎𝑟(𝑠2) = 1

𝑛2 × 2𝜎4

𝑛−1=

2𝜎4

𝑛2(𝑛−1)

Penjelasan 2:

• 𝑉𝑎𝑟 (𝑟𝑠𝐵2

𝜎𝐵2) = 2𝑟 karena 𝑟

𝑠𝐵2

𝜎𝐵2 ~χ𝑟

2

• 𝑉𝑎𝑟 (𝑟𝑠𝐵2

𝜎𝐵2) =

𝑟2

𝜎𝐵4 𝑉𝑎𝑟(𝑠𝐵

2) = 2𝑟

• 𝑉𝑎𝑟(𝑠𝐵2) = 2𝑟

(𝑟2

𝜎𝐵4)

⁄ =2𝑟𝜎𝐵

4

𝑟2 =2𝜎𝐵

4

𝑟

Dengan demikian, jika

𝑠𝐵2 =

𝑠12

𝑛1+

𝑠22

𝑛2

Maka dengan menyamakan rata-rata dan ragam teoritis menghasilkan:

𝜎𝐵2 =

𝜎12

𝑛1+

𝜎22

𝑛2

dan

2𝜎𝐵4

𝑟=

2

𝑛12(𝑛1 − 1)

𝜎14 +

2

𝑛22(𝑛2 − 1)

𝜎24

Ingat 𝑉𝑎𝑟(𝑠𝐵2)=

2𝜎𝐵4

𝑟

𝑉𝑎𝑟(𝑠𝐵2) = 𝑉𝑎𝑟 (

𝑠12

𝑛1+

𝑠22

𝑛2) = 𝑉𝑎𝑟 (

𝑠12

𝑛1) + 𝑉𝑎𝑟 (

𝑠22

𝑛2) − 0 =

1

𝑛12 𝑉𝑎𝑟(𝑠1

2) + 1

𝑛22 𝑉𝑎𝑟(𝑠2

2)

1

𝑛12 (

2𝜎14

(𝑛1−1)) +

1

𝑛22 (

2𝜎24

(𝑛2−1)) =

2

𝑛12(𝑛1−1)

𝜎14 +

2

𝑛22(𝑛2−1)

𝜎24

Maka, derajat bebas yang sesuai untuk suku perkiraan 2 tunggal adalah

𝑟 =𝜎𝐵

4

1𝑛1

2(𝑛1 − 1)𝜎1

4 +1

𝑛22(𝑛2 − 1)

𝜎24

≈(𝑠1

2

𝑛1+

𝑠22

𝑛2)2

1𝑛1

2(𝑛1 − 1)𝑠1

4 +1

𝑛22(𝑛2 − 1)

𝑠24


63

=(𝑠1

2

𝑛1+

𝑠22

𝑛2)2

1(𝑛1 − 1)

(𝑠1

2

𝑛1)2

+1

(𝑛2 − 1)(𝑠2

2

𝑛2)2

Di mana ragam sesungguhnya di ruas kiri telah diganti oleh ragam contoh di ruas kanan.

Prosedur (default) dalam GenStat adalah untuk menguji kesamaan ragam sebelum menguji

kesamaan rata-rata. Uji tidak berpasangan digunakan ketika hasil pengujian kesamaan ragam

tidak nyata, jika tidak gunakan pendekatan Satterthwaite.

Metode REML modern menghasilkan kembali statistik ini dan derajat bebas jika ragam

dispesifikkan berbeda. Untuk melihat tindakan ini kita harus membangun Linear Mixed Model

secara umum.

Selesai Selasa 17 Maret sebelum lunch


64

Model Campuran Linier (LMM)

Model linier umum dikembangkan untuk melibatkan pengaruh tetap, pengaruh acak dan

matriks ragam-peragam umum. Notasi yang digunakan didasarkan pada monograf Brian Cullis

dan Alison Smith (saat di Wagga Agricultural Institute, NSW Agriculture; Ari Verbyla,

BiometricsSA; Robin Thompson dan Sue Welham, IACR-Rothamsted) dan diadopsi dalam

GenStat.

1. Model Campuran Linier Umum

Saat ini, setiap model dapat dinyatakan sebagai model campuran linier (LMM) dalam bentuk:

𝒚 = 𝑿𝝉 + 𝒁𝒖 + 𝒆 (7)

di mana

𝒚 adalah vector hasil pengamatan berukuran n1,

𝝉 adalah vector pengaruh tetap, berdimensi p1, dengan matriks rancangan 𝑿 berukuran np

hasil penempatan n pengamatan (kombinasi) pada p pengaruh tetap yang sesuai,

𝒖 adalah vector pengaruh acak berukuran b1, dengan matriks rancangan 𝒁 berukuran nb

hasil penempatan pengamatan pada b pengaruh acak (kombinasi) yang sesuai

𝒆 adalah vector residual errors berukuran n1.

Kita asumsikan bahwa pengaruh acak menyebar normal, 𝒖~N(0, 𝜎𝐻2𝑮), dan bebas terhadap

residual errors yang juga menyebar normal, 𝒆~N(0, 𝜎𝐻2𝑹).

Unsur-unsur matriks ragam-peragam 𝑮 adalah fungsi dari beberapa parameter yang membentuk

elemen vektor, katakan 𝜸, sehingga kadang-kadang untuk penekanan ditulis sebagai matriks

ragam-peragam 𝑮(𝜸).

Matriks ragam-peragam 𝑹 akan ditulis sebagai 𝑹 = 𝜎2𝜮, di mana 𝜮 memiliki elemen sebagai

fungsi dari sejumlah parameter yang membentuk vektor 𝝓, sehingga ditulis sebagai matriks

ragam-peragam 𝜮(𝝓).

• Mengeluarkan parameter 𝜎2 sebagai pengali menyebabkan 𝜮 menjadi matriks identitas

𝑰 jika kita mempunyai error yang menyebar bebas dan identik;


65

• Matriks diagonal, jika kita memiliki error bebas tetapi dengan ragam berubah

• Matriks korelasi, jika kita memiliki error berkorelasi tetapi ragam konstan (data deret

waktu).

Penjelasan: lihat file excel RCB example for REML

CRD:

1. 3 perlakuan tetap, 𝝉 = (𝜏1, 𝜏2, 𝜏3) atau 𝝉 = (𝜇, 𝜏1, 𝜏2) tergantung batasan seperti 𝜏3 =

0 atau 𝜏3 = −𝜏1 − 𝜏2 dengan demikian 𝝁 = 0

2. 𝝁 fixed, 3 perlakuan acak, 𝝉 = 𝝁 dan 𝝁 = (𝜏1, 𝜏2, 𝜏3)

𝑉𝑎𝑟(𝝁) = 𝑮 = (

𝜎𝑇2 0 0

0 𝜎𝑇2 0

0 0 𝜎𝑇2

) = 𝜎𝑇2 𝑰𝑡

RCBD:

1. 𝜇, perlakuan tetap, blok tetap (not to gereralized)

(𝜇, 𝜏1, 𝜏2, ⋯ , 𝜏𝑡−1, 𝛽1, 𝛽2,⋯ , 𝛽𝑟−1 )

2. 𝜇, perlakuan tetap 𝝉 = (𝜇, 𝜏1, 𝜏2) 𝝁 = (𝛽1, 𝛽2, 𝛽3, 𝛽4)

𝑮 = 𝜎𝐵2 𝑰𝑟

𝜎𝐻2𝑹 = 1 × (

𝜎2 0 00 𝜎2 00 0 𝜎2

) = 𝜎2𝑰𝑟

Dengan perubahan ragam:

𝜎𝐻2𝑹 =

(

𝜎12 0 0 0 0 0 0 0 0 0 0 0

0 𝜎12 0 0 0 0 0 0 0 0 0 0

0 0 𝜎12 0 0 0 0 0 0 0 0 0

0 0 0 𝜎12 0 0 0 0 0 0 0 0

0 0 0 0 𝜎22 0 0 0 0 0 0 0

0 0 0 0 0 𝜎22 0 0 0 0 0 0

0 0 0 0 0 0 𝜎22 0 0 0 0 0

0 0 0 0 0 0 0 𝜎22 0 0 0 0

0 0 0 0 0 0 0 0 𝜎32 0 0 0

0 0 0 0 0 0 0 0 0 𝜎32 0 0

0 0 0 0 0 0 0 0 0 0 𝜎32 0

0 0 0 0 0 0 0 0 0 0 0 𝜎32)


66

𝜎𝐻2𝑹 =

(

𝜎1

2 (

1 0 0 00 1 0 00 0 1 00 0 0 1

) 𝑶4×4 𝑶4×4

𝑶4×4 𝜎22 (

1 0 0 00 1 0 00 0 1 00 0 0 1

) 𝑶4×4

𝑶4×4 𝑶4×4 𝜎32 (

1 0 0 00 1 0 00 0 1 00 0 0 1

)

)

𝜎𝐻2𝑹 = 𝐷𝑖𝑎𝑔(𝜎1

2𝑰𝑟|𝜎22𝑰𝑟|𝜎3

2𝑰𝑟)

3. Deret waktu atau korelasi spasial, perubahan ragam dengan autokorelasi lag-1 (AR1)

𝜎𝐻2𝑹 =

(

𝜎12

(

1 𝜙 𝜙2 𝜙3

𝜙 1 𝜙 𝜙2

𝜙2 𝜙 1 𝜙

𝜙3 𝜙2 𝜙 1 )

𝑶4×4 𝑶4×4

𝑶4×4 𝜎22

(

1 𝜙 𝜙2 𝜙3

𝜙 1 𝜙 𝜙2

𝜙2 𝜙 1 𝜙

𝜙3 𝜙2 𝜙 1 )

𝑶4×4

𝑶4×4 𝑶4×4 𝜎32

(

1 𝜙 𝜙2 𝜙3

𝜙 1 𝜙 𝜙2

𝜙2 𝜙 1 𝜙

𝜙3 𝜙2 𝜙 1 )

)

𝜎𝐻2𝑹 = 𝐷𝑖𝑎𝑔(𝜎1

2𝐴𝑅1|𝜎22𝐴𝑅2|𝜎3

2𝐴𝑅3)

Kita telah melihat kasus khusus LMM dalam teladan-teladan terdahulu:

Untuk penarikan contoh acak sederhana dari populasi normal, kita mempunyai hanya satu

parameter tetap, dan 𝝉 = () adalah scalar yang digunakan dalam setiap hasil pengamatan;

sehingga 𝑿 adalah vektor satu 1n. Karena tak terdapat pengaruh acak, maka 𝒖 = 0.

Untuk regresi linier sederhana, ada dua pengaruh tetap (intersep dan slope) sehingga

𝝉T = (𝛼, 𝛽) dan 𝑿 = (1𝑛, 𝒙) di mana 𝒙 adalah vektor peubah penjelas. Tidak ada pengaruh


67

acak lain, sehingga 𝒖 = 0.

Untuk rancangan perlakuan tetap satu-arah tanpa blok dan t perlakuan, terdapat t pengaruh

tetap: t rata-rata, maka 𝝉T = (𝜏1, ..., 𝜏t); atau rata-rata umum tambah t-1 pengaruh perlakuan,

sehingga 𝝉T = (, 1, ..., t-1); atau parameterisasi lain dari t perlakuan. Kemudian 𝑿 adalah

matriks rancangan yang menjelaskan perlakuan mana miliki suatu pengamatan. Taka ada

pengaruh acak lain, sehingga 𝒖 = 0.

Catat bahwa daripada ketertarikan pada sehimpunan perlakuan tetap, kita dapat memilih

secara acak t perlakuan dari populasi perlakuan berukuran besar, yang akan menyebabkan

pengaruh acak dan akan muncul sebagai 𝒖 dan dalam hal ini matriks 𝒁 merupakan matriks

rancangan yang menjelaskan asal suatu pengamatan. Kita akan mempertimbangkan tipe

percobaan ini kemudian.

Karena 𝒖 dan 𝒆 memiliki vector rata-rata nol dan rata-rata vektor data adalah 𝐸(𝒚) = 𝑿𝝉 dan

matriks ragam-peragam

𝑣𝑎𝑟(𝒚) = 𝐸(𝒚 − 𝑿𝝉)(𝒚 − 𝑿𝝉)T = 𝐸(𝒁𝒖 + 𝒆)(𝒁𝒖 + 𝒆)T

= 𝐸(𝒁𝒖 + 𝒆)(𝒖T𝒁T + 𝒆T) = 𝐸(𝒁𝒖𝒖T𝒁T) + 𝐸(𝒁𝒖𝒆T) + 𝐸(𝒆𝒖T𝒁T) + 𝐸(𝒆𝒆T)

= 𝒁𝐸(𝒖𝒖T)𝒁T + 𝒁𝐸(𝒖𝒆T) + 𝐸(𝒆𝒖T)𝒁T + 𝐸(𝒆𝒆T)

= 𝒁𝑮𝒁T + 𝒁(0) + (0)𝒁T + 𝑹

= 𝜎𝐻2𝒁𝑮𝒁T + σ𝐻

2 𝑹

= 𝜎𝐻2(𝒁𝑮𝒁T + 𝑹)

= 𝜎𝐻2𝑯

di mana

𝑯 = 𝑹 + 𝒁𝑮𝒁T (8)

dan 𝜎𝐻2 adalah faktor skala yang membolehkan struktur 𝑹 dan 𝑮 dinyatakan sebagai ragam atau

model korelasi dalam beberapa keadaan.

Dengan demikian, vektor data 𝒚 menyebar normal dengan rata-rata 𝑿𝝉 dan matriks ragam-

peragam 𝜎𝐻2𝑯.

2. Transformasi untuk memisahkan pengaruh tetap


68

Langkah dalam pendugaan REML ini sama dengan yang telah kita lakukan dengan transformasi

ortogonal, tetapi kita tidak memerlukan semua matriks harus ortogonal.

Kita akan mentransformasi vektor 𝒚 dengan panjang n menjadi peubah baru (katakan) 𝒚∗,

terdiri dari 𝒚1 berukuran p dan 𝒚2 berukuran (n-p). Elemen-elemen 𝒚1 mengandung informasi

tentang pengaruh tetap sedangkan elemen 𝒚2 akan hanya melibatkan parameter yang terdapat

dalam matriks peragam 𝜎𝐻2𝑯. Namun, 𝒚1 dan 𝒚2 tidak akan tidak berkorelasi (saling

bergantung), sehingga pendekatan akan menggunakan sebaran bersyarat 𝒚1|𝒚2.

Maka, kita menggunakan vector data y dan menemukan transformasi terhadap y menjadi

[𝒚1

𝒚2] = 𝑳𝑇𝒚 di mana matriks 𝑳 = [𝑳1 𝑳2] terdiri dari dua anak- matriks yang dipilih secara

khusus, sebagaimana kita memilih matriks ortogonal khusus untuk beberapa teladan terdahulu:

sebuah matriks 𝑳1 berukuran n×p dan sebuah matriks lain 𝑳2 berukuran n×(n-p). Dua properti

yang kita perlukan untuk anak-matriks ini, yakni (dan ingat bahwa terdapat p pengaruh tetap

dalam LMM):

Kondisi 1: 𝑳1𝑇𝑿 = 𝑰𝑝

Kondisi 2: 𝑳2𝑇𝑿 = 𝑶(𝑛−𝑝) × 𝑝

Contoh perhitungan anak-anak matriks 𝑳1 𝑳2 untuk RAK (p = 3, r = 4, n = pr = 12)

• Siapkan 𝑳1 berdimensi 12 × 3 (kolom 1 (𝜇)=112, kolom 2 (𝜏1): p1 vs semua, kolom 3

(𝜏2): 2 vs semua)= (𝜇, 𝜏1, 𝜏2). Bisa juga (𝜇, 𝜏1, 𝜏3): 1 vs semua dan 3 vs semua atau

(𝜇, 𝜏2, 𝜏3): 2 vs semua dan 3 vs semua

𝜇 𝜏1 𝜏2 𝜇 𝜏1 𝜏3 𝜇 𝜏2 𝜏3


69

• 1

12

(

1 2 −11 2 −11 2 −11 2 −11 −1 21 −1 21 −1 21 −1 21 −1 −11 −1 −11 −1 −11 −1 −1)

1

12

(

1 2 −11 2 −11 2 −11 2 −11 −1 −11 −1 −11 −1 −11 −1 −11 −1 21 −1 21 −1 21 −1 2 )

1

12

(

1 −1 −11 −1 −11 −1 −11 −1 −11 2 −11 2 −11 2 −11 2 −11 −1 21 −1 21 −1 21 −1 2 )

• Siapkan 𝑳2 berdimensi 12 × 9 : antar blok dalam setiap perlakuan, karena ada 4 blok,

maka untuk setiap perlakuan ada 3 kolom/pembandingan: b1 vs b2, b 12 vs b3 dab b123

vs b4), dengan demikian terdapat 3 x 3 kolom = 9 kolom.

• 𝑳2 =

(

1 1 1 0 0 0 0 0 0−1 1 1 0 0 0 0 0 00 −2 1 0 0 0 0 0 00 0 −3 0 0 0 0 0 00 0 0 1 1 1 0 0 00 0 0 −1 1 1 0 0 00 0 0 0 −2 1 0 0 00 0 0 0 0 −3 0 0 00 0 0 0 0 0 1 1 10 0 0 0 0 0 −1 1 10 0 0 0 0 0 0 −2 10 0 0 0 0 0 0 0 −3)

• Matriks 𝑿 berukuran 12 × 3, kolom 2 dan 3 untuk pembandingan antar perlakuan;

hampir sama dengan matriks 𝑳1.

• Kasus 1: anggap 𝜏3 = 0, (𝜇, 𝜏1, 𝜏2) = (112, 1 𝑣𝑠 3 𝑑𝑎𝑛 2 𝑣𝑠 3)

• Kasus 2: anggap 𝜏2 = 0, (𝜇, 𝜏1, 𝜏3) = (112, 1 𝑣𝑠 2 𝑑𝑎𝑛 3 𝑣𝑠 2)

• Kasus3: anggap 𝜏1 = 0, (𝜇, 𝜏2, 𝜏3) = (112, 2 𝑣𝑠 1 𝑑𝑎𝑛 3 𝑣𝑠 1)

𝜇 𝜏1 𝜏2 𝜇 𝜏1 𝜏3 𝜇 𝜏2 𝜏3


70

•

(

1 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1)

(

1 1 01 1 01 1 01 1 01 −1 −11 −1 −11 −1 −11 −1 −11 0 11 0 11 0 11 0 1 )

(

1 −1 −11 −1 −11 −1 −11 −1 −11 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1 )

• Karena dasar pembentukan sama, maka matriks 𝑳11 digunakan dengan 𝑿1, 𝑳12 dengan

𝑿2 dan 𝑳13 dengan 𝑿3

Di bawah kondisi ini:

𝒚1~𝑁(𝝉, 𝜎𝐻2𝑳1

𝑇𝑯𝑳1) karena

𝐸(𝒚1) = 𝐸(𝑳1𝑇𝒚) = 𝑳1

𝑇𝐸(𝒚) = 𝑳1𝑇𝑿𝝉 = 𝑰𝑝𝝉 = 𝝉 dengan pilihan 𝑳1, dan

𝑣𝑎𝑟(𝒚1) = 𝑣𝑎𝑟(𝑳1𝑇𝒚) = 𝑳1

𝑇𝑣𝑎𝑟(𝒚)𝑳1 = 𝜎𝐻2𝑳1

𝑇𝑯𝑳1

𝒚2~𝑁(0, 𝜎𝐻2𝑳2

𝑇𝑯𝑳2) karena

𝐸(𝒚2) = 𝐸(𝑳2𝑇𝒚) = 𝑳2

𝑇𝑬(𝒚) = 𝑳2𝑇𝑿𝝉 = 0 𝝉 = 0 dengan pilihan 𝑳2, dan

𝑣𝑎𝑟(𝒚2) = 𝑣𝑎𝑟(𝑳2𝑇𝒚) = 𝑳2

𝑇𝑣𝑎𝑟(𝒚)𝑳2 = 𝜎𝐻2𝑳2

𝑇𝑯𝑳2

𝑐𝑜𝑣𝑎𝑟(𝒚1, 𝒚2) = 𝑳1𝑇𝑣𝑎𝑟(𝒚)𝑳2 = 𝜎𝐻

2𝑳1𝑇𝑯𝑳2

Fungsi kepekatan peluang peubah acak normal bivariat 𝑓(𝑦1, 𝑦2):

1

2𝜋𝜎1𝜎2√1 − 𝜌2𝑒𝑥𝑝 {−

1

2(1 − 𝜌2)[(𝑦1 − 𝜇1)

2

𝜎12 − 2𝜌

(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)

𝜎1𝜎2+

(𝑦2 − 𝜇2)2

𝜎22 ]}

Jika kedua peubah saling bebas, 𝜌 = 0,

1

2𝜋𝜎1𝜎2𝑒𝑥𝑝 {−

1

2[(𝑦1−𝜇1)2

𝜎12 +

(𝑦2−𝜇2)2

𝜎22 ]} =

1

2𝜋𝜎1𝜎2𝑒𝑥𝑝 {−

1

2∑ (

𝑦𝑖−𝜇𝑖

𝜎𝑖)2

2𝑖=1 }

Fungsi kepekatan peluang marjinal 𝑓1(𝑦1):


71

𝑓1(𝑦1) = 1

𝜎1√2𝜋𝑒𝑥𝑝 {−

1

2[(𝑦1 − 𝜇1)

2

𝜎12 ]}

Fungsi kepekatan peluang bersyarat 𝑓1(𝑦2|𝑦1) =𝑓(𝑦1,𝑦2)

𝑓1(𝑦1)

1

2𝜋𝜎1𝜎2√1−𝜌2𝑒𝑥𝑝 {

1

2(1−𝜌2)[(𝑦1−𝜇1)2

𝜎12 − 2𝜌

(𝑦1−𝜇1)(𝑦1−𝜇1)

𝜎1𝜎2+

(𝑦2−𝜇2)2

𝜎22 ]}

1

𝜎1√2𝜋𝑒𝑥𝑝 {−

1

2[(𝑦1 − 𝜇1)

2

𝜎12 ]}

Catatan tentang koefisien di luar exp

1

2𝜋𝜎1𝜎2√1−𝜌2

1

𝜎1√2𝜋

⁄ =𝜎1√2𝜋

2𝜋𝜎1𝜎2√1−𝜌2=

1

𝜎2√2𝜋 √1−𝜌2

Di dalam eksponensiasi:

{−1

2(1 − 𝜌2)[(𝑦1 − 𝜇1)

2

𝜎12 − 2𝜌

(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)

𝜎1𝜎2+

(𝑦2 − 𝜇2)2

𝜎22 ]} + {

1

2[(𝑦1 − 𝜇1)

2

𝜎12 ]}

Gabungkan, gunakan koefisien −1

2(1−𝜌2):

−1

2(1 − 𝜌2)[(𝑦1 − 𝜇1)

2

𝜎12 − 2𝜌

(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)

𝜎1𝜎2+

(𝑦2 − 𝜇2)2

𝜎22 − (1 − 𝜌2)

(𝑦1 − 𝜇1)2

𝜎12 ]

Gabungkan suku 1 dan 4:

(𝑦1 − 𝜇1)2

𝜎12 − (1 − 𝜌2)

(𝑦1 − 𝜇1)2

𝜎12 =

(𝑦1 − 𝜇1)2

𝜎12 −

(𝑦1 − 𝜇1)2

𝜎12 + 𝜌2

(𝑦1 − 𝜇1)2

𝜎12 = 𝜌2

(𝑦1 − 𝜇1)2

𝜎12

Jadikan unsur 𝑦2 suku pertama:

−1

2(1 − 𝜌2)[(𝑦2 − 𝜇2)

2

𝜎22 − 2𝜌

(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)

𝜎1𝜎2+ 𝜌2

(𝑦1 − 𝜇1)2

𝜎12 ]

Tampak bentuk (𝑎 − 𝑏)2, tetapi dengan memfaktorkan ke luar (1𝜎2

2⁄ ) sehingga:

𝑎 = (𝑦2 − 𝜇2) dan 𝑏 =𝜎2𝜌

𝜎1(𝑦1 − 𝜇1)


72

−1

2(1 − 𝜌2)𝜎22 [ (𝑦2 − 𝜇2) −

𝜎2𝜌

𝜎1

(𝑦1 − 𝜇1)]2

Dengan demikian fungsi peluang bersyarat

1

𝜎2√2𝜋 √1 − 𝜌2𝑒𝑥𝑝 {−

1

2(1 − 𝜌2)𝜎22 [ (𝑦2 − 𝜇2) −

𝜎2𝜌

𝜎1

(𝑦1 − 𝜇1)]2

}

1

√2𝜋 √(1 − 𝜌2)𝜎22𝑒𝑥𝑝 {−

1

2(1 − 𝜌2)𝜎22 [ 𝑦2 − 𝜇2 − 𝜌

𝜎2

𝜎1

(𝑦1 − 𝜇1)]2

}

1

√2𝜋 √(1 − 𝜌2)𝜎22𝑒𝑥𝑝 {−

1

2(1 − 𝜌2)𝜎22 [ 𝑦2 − (𝜇2 + 𝜌

𝜎2

𝜎1

(𝑦1 − 𝜇1))]

2

}

Berdasarkan fungsi kepekatan peluang ini,

(𝑦2|𝑦1)~𝑁𝑜𝑟𝑚𝑎𝑙 (𝜇2 + 𝜌𝜎2

𝜎1

(𝑦1 − 𝜇1), (1 − 𝜌2)𝜎22)

𝐸(𝑦2|𝑦1) = 𝜇2 + 𝜌𝜎2

𝜎1(𝑦1 − 𝜇1) berbentuk persamaan regresi linier sederhana,

= 𝜇2 + 𝜌𝜎2

𝜎1𝑦1 − 𝜌

𝜎2

𝜎1𝜇1 = (𝜇2 − 𝜌

𝜎2

𝜎1𝜇1) + (𝜌

𝜎2

𝜎1) 𝑦1

di mana 𝛽 = 𝜌𝜎2

𝜎1 dan 𝛼 = 𝜇2 − 𝛽𝜇1

Hubungan antar koefisien regresi dan koefisien korelasi :

𝑏 = ∑(𝑋 − �̅�) (𝑌 − �̅�)

∑(𝑋 − �̅�)2 ×

√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2

√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2

∑(𝑋 − �̅�) (𝑌 − �̅�)

√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2 ×

√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2

∑(𝑋 − �̅�)2

∑(𝑋 − �̅�) (𝑌 − �̅�)

√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2 ×

√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2

∑(𝑋 − �̅�)2= 𝑟 × √

∑(𝑌 − �̅�)2

∑(𝑋 − �̅�)2


73

𝑏 = 𝑟 × √∑(𝑌 − �̅�)2

∑(𝑋 − �̅�)2

𝑟 = ∑(𝑋 − �̅�) (𝑌 − �̅�)

√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2

∑(𝑋 − �̅�) (𝑌 − �̅�)

√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2×

∑(𝑋 − �̅�)2

∑(𝑋 − �̅�)2=

∑(𝑋 − �̅�) (𝑌 − �̅�)

∑(𝑋 − �̅�)2 ×

∑(𝑋 − �̅�)2

√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2

𝑏 = 𝑟 × √∑(𝑌 − �̅�)2

∑(𝑋 − �̅�)2 and 𝑟 = 𝑏 × √

∑(𝑋 − �̅�)2

∑(𝑌 − �̅�)2

Dalam kasus multivariat, fkp untuk peubah acak 𝑦𝑖 = (𝑦1, 𝑦2, ⋯ , 𝑦𝑛)

1

2𝜋𝜎1𝜎2√1 − 𝜌2𝑒𝑥𝑝 {−

1

2(1 − 𝜌2)[(𝑦1 − 𝜇1)

2

𝜎12 − 2𝜌

(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)

𝜎1𝜎2+

(𝑦2 − 𝜇2)2

𝜎22 ]}

1

(2𝜋)𝑛/2 |Σ|1/2𝑒𝑥𝑝 {−

1

2[(𝒚 − 𝝁)𝑇 𝚺−1(𝒚 − 𝝁) ]}

𝚺 = (𝜎1

2 𝜎12

𝜎21 𝜎22 ) |𝚺| = 𝜎1

2𝜎22 − 𝜎12𝜎21 𝚺−1 =

1

𝜎12𝜎2

2−𝜎12𝜎21 (

𝜎22 −𝜎12

−𝜎21 𝜎12 )

Cara lain, jika 𝜌 =𝜎12

𝜎1𝜎2 sehingga 𝜎12 = 𝜌𝜎1𝜎2

𝚺 = (𝜎1

2 𝜌𝜎1𝜎2

𝜌𝜎1𝜎2 𝜎22 ) |𝚺| = 𝜎1

2𝜎22 − 𝜌2𝜎1

2𝜎22 = (1 − 𝜌2) 𝜎1

2𝜎22

𝚺−1 =1

(1−𝜌2) 𝜎12𝜎2

2 (𝜎2

2 −𝜌𝜎1𝜎2

−𝜌𝜎1𝜎2 𝜎12 )=

1

(1−𝜌2) (

1

𝜎12 −

𝜌

𝜎1𝜎2

−𝜌

𝜎1𝜎2

1

𝜎22

)

(𝒚 − 𝝁)𝑇 𝚺−1(𝒚 − 𝝁), jika menganggap 𝝁 = 0 dan 𝒚 = (𝑦1, 𝑦2) maka 𝒚𝑇𝚺−1𝒚 adalah

(𝑦1 𝑦2)1

(1 − 𝜌2)

(

1

𝜎12 −

𝜌

𝜎1𝜎2

−𝜌

𝜎1𝜎2

1

𝜎22

)

(𝑦1

𝑦2)


74

1

(1 − 𝜌2) (

𝑦1

𝜎12 −

𝜌𝑦2

𝜎1𝜎2 −

𝜌𝑦1

𝜎1𝜎2+

𝑦2

𝜎22) (

𝑦1

𝑦2)

1

(1 − 𝜌2) (𝑦1 (

𝑦1

𝜎12 −

𝜌𝑦2

𝜎1𝜎2) − 𝑦2 (

𝜌𝑦1

𝜎1𝜎2−

𝑦2

𝜎22))

1

(1 − 𝜌2) (

𝑦12

𝜎12 −

𝜌𝑦1𝑦2

𝜎1𝜎2−

𝜌𝑦1𝑦2

𝜎1𝜎2+

𝑦22

𝜎22 )

𝒚𝑇𝚺−1𝒚 =1

(1 − 𝜌2) (

𝑦12

𝜎12 −

2𝜌𝑦1𝑦2

𝜎1𝜎2+

𝑦22

𝜎22 )

Ringkasan: Gunakan transformasi ini,

[𝒚1

𝒚2] ~𝑁 ([

𝝉0] , 𝜎𝐻

2 [𝑳1

𝑇𝑯𝑳1 𝑳1𝑇𝑯𝑳2

𝑳2𝑇𝑯𝑳1 𝑳2

𝑇𝑯𝑳2

])

Langkah berikut memerlukan properti sebaran bersyarat dari peubah normal multivariat. Secara

khusus, pandang:

[𝒛1

𝒛2] ~𝑁 ([

𝝁1

𝝁2] , [

𝚺11 𝚺12

𝚺21 𝚺22]), di mana 𝒛1 berukuran p×1 dan 𝒛2 berukuran (n-p)×1.

𝒛1~𝑁(𝝁1, 𝚺11) dan 𝒛2~𝑁(𝝁2, 𝚺22) atau 𝒛~𝑁(𝝁, 𝚺)

Fungsi kepekatan peluang gabungan

𝑓(𝒛1, 𝒛2) = (2𝜋)−𝑛/2 |𝚺|−1/2𝑒𝑥𝑝 {−1

2[(𝒛 − 𝝁)𝑇 𝚺−1(𝒛 − 𝝁) ]}

Fungsi kepekatan peluang marjinal 𝑓2(𝒛2):

𝑓2(𝒛2) = (2𝜋)−(𝑛−𝑝)/2 |𝚺22|−1/2𝑒𝑥𝑝 {−

1

2[(𝒛2 − 𝝁2)

𝑇 𝚺22−1(𝒛2 − 𝝁2) ]}

Fungsi peluang bersyarat 𝑓(𝒛1|𝒛2):

𝑒𝑥𝑝 {−12

[(𝒛1 − 𝝁1)𝑇 𝚺−1(𝒛1 − 𝝁1) − (𝒛2 − 𝝁2)

𝑇 𝚺22−1(𝒛2 − 𝝁2)]}

(2𝜋)𝑝/2|𝚺|1/2|𝚺22|−1/2

|𝚺22|1/2𝑒𝑥𝑝 {−

12

[(𝒛1 − 𝝁1)𝑇 𝚺−1(𝒛1 − 𝝁1) − (𝒛2 − 𝝁2)

𝑇 𝚺22−1(𝒛2 − 𝝁2)]}

(2𝜋)𝑝/2|𝚺|1/2

Gunakan Rao, hal 28 untuk saling meniadakan |𝚺22|1/2 dan |𝚺22|

1/2


75

Lihat Rao, hal 29, tukar diagonal utama (karena perlu dan diagonal utama segi)

|𝑨 𝑪𝑩 𝑫

| = |𝑨| |𝑫 − 𝑩𝑨𝑪|

|𝚺| = |𝚺22 𝚺21

𝚺12 𝚺11| = |𝚺22| |𝚺11 − 𝚺12𝚺22

−1𝚺21|

|𝚺|1/2 = |𝚺22|1/2 |𝚺11 − 𝚺12𝚺22

−1𝚺21|1/2

|𝚺22|1/2𝑒𝑥𝑝 {−

12

[(𝒛1 − 𝝁1)𝑇 𝚺−1(𝒛1 − 𝝁1) − (𝒛2 − 𝝁2)

𝑇 𝚺22−1(𝒛2 − 𝝁2)]}

(2𝜋)𝑝/2|𝚺|1/2

Keluarkan 𝜇 dari dalam eksponen

−1

2 (𝒛1 − 𝝁1 𝒛2 − 𝝁2)𝑇 (

𝚺11 𝚺12

𝚺21 𝚺22)−1

(𝒛1 − 𝝁1

𝒛2 − 𝝁2) +

1

2 (𝒛2 − 𝝁2)

𝑇𝚺22−1(𝒛2 − 𝝁2)

−1

2 (𝒛1 𝒛2)𝑇 (

𝚺11 𝚺12

𝚺21 𝚺22)

−1

(𝒛1

𝒛2) +

1

2 (𝒛2)

𝑇𝚺22−1(𝒛2)


(𝚺22 𝚺12

𝚺21 𝚺11)−1

(𝑨 𝑩𝑩𝑇 𝑫

)−1

= (𝑨−1 + 𝑭𝑬−1𝑭𝑇 −𝑭𝑬−1

−𝑬−1𝑭𝑇 𝑬−1 ) rumus umum (jangan lupa tukar diagonal)

𝑬 = 𝑫 − 𝑩𝑇𝑨−1𝑩 = 𝚺11 − 𝚺12𝚺22−1𝚺21 dan dan 𝑭 = 𝑨−1𝑩 = 𝚺22

−1𝚺21

((𝚺11 − 𝚺12𝚺22

−1𝚺21)−1

−(𝚺11 − 𝚺12𝚺22−1𝚺21)

−1𝚺12𝚺22

−1

𝑠𝑎𝑚𝑎 𝚺22−1 + 𝚺22

−1𝚺21(𝚺11 − 𝚺12𝚺22−1𝚺21)

−1𝚺12𝚺22

−1)

Kalikan dengan vektor baris (𝒛1𝑇 𝒛2

𝑇) di kiri dan vektor kolom di kanan,

(𝒛1𝑇 𝒛2

𝑇)((𝚺11 − 𝚺12𝚺22

−1𝚺21)−1

−(𝚺11 − 𝚺12𝚺22−1𝚺21)

−1𝚺12𝚺22

−1

𝑠𝑎𝑚𝑎 𝚺22−1 + 𝚺22

−1𝚺21(𝚺11 − 𝚺12𝚺22−1𝚺21)

−1𝚺12𝚺22

−1)(

𝒛1𝒛2

)

𝒛1𝑇(𝚺11 − 𝚺12𝚺22

−1𝚺21)−1

𝒛1

−𝒛2𝑇(𝚺11 − 𝚺12𝚺22

−1𝚺21)−1

𝚺12𝚺22−1𝒛1 − 𝒛1

𝑇(𝚺11 − 𝚺12𝚺22−1𝚺21)

−1𝚺12𝚺22

−1𝒛2


76

+𝒛2𝑇 (𝚺22

−1 + 𝚺22−1𝚺21(𝚺11 − 𝚺12𝚺22

−1𝚺21)−1

𝚺12𝚺22−1) 𝒛2

Suku 2 dan 3 sama karena 𝒖𝑇𝒗𝒘 = 𝒘𝑇𝒗𝒖 sehingga:

𝒛1𝑇(𝚺11 − 𝚺12𝚺22

−1𝚺21)−1

𝒛1 − 2𝒛1𝑇(𝚺11 − 𝚺12𝚺22

−1𝚺21)−1

𝚺12𝚺22−1𝒛2

+𝒛2𝑇 (𝚺22

−1 + 𝚺22−1𝚺21(𝚺11 − 𝚺12𝚺22

−1𝚺21)−1

𝚺12𝚺22−1) 𝒛2

Ini berbentuk (𝑢 − 𝑣)2 = 𝑢2 − 2𝑢𝑣 + 𝑣2

dalam matriks (𝒖 − 𝒗)𝑇𝑴(𝒖 − 𝒗) = 𝒖𝑇𝑴𝒖 − 𝟐𝒖𝑇𝑴𝒗 + 𝒗𝑇𝑴𝒗

𝒖 = 𝒛1 𝑴 = (𝚺11 − 𝚺12𝚺22−1𝚺21)

−1 𝒗 = 𝚺12𝚺22

−1𝒛2

(𝒛1 − 𝚺12𝚺22−1𝒛2)

𝑇(𝚺11 − 𝚺12𝚺22

−1𝚺21)−1

(𝒛1 − 𝚺12𝚺22−1𝒛2)

Catat bahwa, sebagai matriks peragam, (1) 𝚺11 dan 𝚺22 harus setangkup, dan (2) 𝚺21 = 𝚺12𝑇 .

Gunakan Rao, hal 28 untuk saling meniadakan |𝚺22|1/2 dan |𝚺22|

1/2


|𝑨 𝑪𝑩 𝑫

| = |𝑨| |𝑫 − 𝑩𝑨𝑪|

|𝚺| = |𝚺22 𝚺21

𝚺12 𝚺11| = |𝚺22| |𝚺11 − 𝚺12𝚺22

−1𝚺21|

|𝚺|1/2 = |𝚺22|1/2 |𝚺11 − 𝚺12𝚺22

−1𝚺21|1/2

Maka fungsi peluang bersyarat 𝑓(𝒛1|𝒛2):

|𝚺22|1/2𝑒𝑥𝑝 {−

12

[(𝒛1 − 𝝁1)𝑇 𝚺−1(𝒛1 − 𝝁1) − (𝒛2 − 𝝁2)

𝑇 𝚺22−1(𝒛2 − 𝝁2)]}

(2𝜋)𝑝/2|𝚺|1/2

(|𝚺22|

1/2

|𝚺22|1/2

)1

(2𝜋)𝑝/2|𝚺11 − 𝚺12𝚺22−1𝚺21|

1/2exp −

1

2(𝒛1 − 𝚺12𝚺22

−1𝒛2)

𝑇

(𝚺11 − 𝚺12𝚺22−1𝚺21)

−1

(𝒛1

− 𝚺12𝚺22−1𝒛2)

(|𝚺22|

1/2

|𝚺22|1/2

)1

(2𝜋)𝑝/2|𝚺11 − 𝚺12𝚺22−1𝚺21|

1/2𝑒𝑥𝑝 {−

1

2(𝒛1 − 𝚺12𝚺22

−1𝒛2)𝑇

(𝚺11 − 𝚺12𝚺22−1𝚺21)

−1

(𝒛1 − 𝚺12𝚺22−1𝒛2)}

Suku pertama hilang, sehingga dihasilkan

1

(2𝜋)𝑝/2|𝚺11 − 𝚺12𝚺22−1𝚺21|

1/2𝑒𝑥𝑝 {−

1

2(𝒛1 − 𝚺12𝚺22

−1𝒛2)𝑇

(𝚺11 − 𝚺12𝚺22−1𝚺21)

−1

(𝒛1 − 𝚺12𝚺22−1𝒛2)}


77

Mengapa ada tanda +, masukkan lagi 𝝁

𝐸(𝒛1 − 𝝁1) = 𝚺12𝚺22

−1(𝒛2 − 𝝁2), 𝐸(𝒛1) = 𝝁1 + 𝚺12𝚺22−1(𝒛2 − 𝝁2)

Dengan demikian sebaran multivariat normal untuk p peubah acak adalah:

𝒛1|𝒛2 ~𝑵(𝝁1 + 𝚺12𝚺22−1(𝒛2 − 𝝁2), (𝚺11 − 𝚺12𝚺22

−1𝚺21) )

Maka sebaran bersyarat untuk 𝒛1 dengan syarat 𝒛2 adalah:

𝒛1|𝒛2~𝑁(𝝁1 + 𝚺12𝚺22−1(𝒛2 − 𝝁2), 𝚺11 − 𝚺12𝚺22

−1𝚺21)

(𝒚1

𝒚2) = 𝑳𝑇𝒚 = (𝑳1 𝑳2)

𝑇𝒚

𝒚∗ = (𝒚1

∗

𝒚2∗) = (

𝑳1𝑇𝒚

𝑳2𝑇𝒚

)

𝑉𝑎𝑟(𝒚∗) = (𝑉𝑎𝑟(𝑳1

𝑇𝒚) 𝐶𝑜𝑣(𝑳1𝑇𝒚, 𝑳2

𝑇𝒚)

𝑉𝑎𝑟(𝑳2𝑇𝒚)

)

= 𝜎𝐻2 (


𝑇𝑯𝑳2


𝑇𝑯𝑳2

)

= 𝜎𝐻2 (

𝚺11 𝚺12

𝚺21 𝚺22)

Ingat model 𝒚 = 𝑮𝝁 + 𝑿𝝉 + 𝜺 di mana 𝐸(𝝁) = 𝐸(𝜺) = 0

𝐸(𝒚∗) = 𝐸 (𝑳1

𝑇𝒚

𝑳2𝑇𝒚

)=(𝑳1

𝑇𝑿

𝑳2𝑇𝑿

)𝝉 = (𝑰0)𝝉 = (

𝝉0)

𝐸(𝒚1∗) = 𝝉 dan 𝐸(𝒚2

∗) = 0

𝐸(𝒚1∗|𝒚2

∗) = 𝝉 + 𝑳1𝑇𝑯𝑳2(𝑳2

𝑇𝑯𝑳2)𝒚2∗

𝑉𝑎𝑟(𝒚1∗|𝒚2

∗) = 𝜎𝐻2 [𝑳1

𝑇𝑯𝑳1 − 𝑳1𝑇𝑯𝑳2(𝑳2

𝑇𝑯𝑳2)−1𝑳2

𝑇𝑯𝑳1]

Sekarang kita terapkan hasil umum ini terhadap peubah 𝒚1 dan 𝒚2 yang rata-rata dan ragamnya

telah disajikan pada halaman sebelumnya. Tampak bahwa hasil bersifat kompleks, namun akan

disederhanakan kemudian.


78

𝒚1|𝒚2~𝑁(𝝉 + 𝑳1𝑇𝑯𝑳2(𝑳2

𝑇𝑯𝑳2)−1𝒚2, 𝜎𝐻

2[𝑳1𝑇𝑯𝑳1 − 𝑳1

𝑇𝑯𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇𝑯𝑳1]) (9)

Bagaimana sesungguhnya penyederhanaan ini? Matematika yang digunakan tidaklah mudah,

dan ada beberapa cara untuk mendapatkan hasil. Kita mulai dengan mempertimbangkan suatu

matriks yang kebalikannya dapat diperlihatkan ada.

Maka, pandang matriks n×n berikut ini, [𝑯−1𝑿 𝑳2] di mana 𝑯−1𝑿 adalah matriks berukuran

n×p dan 𝑳2 berukuran n×(n-p), kedua matriks ini sebagaimana telah dijelaskan sebelumnya

adalah 𝑳1𝑇𝑿 = 𝑰𝑝 dan 𝑳2

𝑇𝑿 = 𝑶(𝑛−𝑝)×𝑝. Kemudian, pandang penggandaan matriks ini:

[𝑯−1𝑿 𝑳2]−1𝑯−1([𝑯−1𝑿 𝑳2]

𝑇)−1 = ([𝑯−1𝑿 𝑳2]𝑇𝑯[𝑯−1𝑿 𝑳2])

−1

= ([𝑿𝑇𝑯−1

𝑳2𝑇 ]𝑯[𝑯−1𝑿 𝑳2])

−1

Penjelasan: ingat (𝑨𝑩𝑪)−1 = 𝑪−1𝑩−1𝑨−1

Ruas kiri adalah 𝑪−1𝑩−1𝑨−1, di mana 𝑨 = [𝑯−1𝑿 𝑳2]𝑇 , 𝑩 = 𝑯 𝑪 = [𝑯−1𝑿 𝑳2]

(dan masukkan matriks 𝑯 ke dalam matriks di ruas kiri)

= ([𝑿𝑇

𝑳2𝑇𝑯

] [𝑯−1𝑿 𝑳2])−1

= [𝑿𝑇𝑯−1𝑿 𝑿𝑇𝑳2

𝑳2𝑇𝑿 𝑳2

𝑇𝑯𝑳2

]

−1

= [𝑿𝑇𝑯−1𝑿 O

O 𝑳2𝑇𝑯𝑳2

]−1

= [(𝑿𝑇𝑯−1𝑿)−1 O

O (𝑳2𝑇𝑯𝑳2)

−1]

Sekarang kita mengatur kembali persamaan ini dengan pengganda awal-dan-pengganda akhir

dan membiarkan 𝑯−1 di ruas kiri persamaan:

𝑯−1 = 𝑯−1𝑿 𝑳2 [(𝑿𝑇𝑯−1𝑿)−1 O

O (𝑳2𝑇𝑯𝑳2)

−1] [𝑯−1𝑿 𝑳2]𝑇

So

𝑯−1 = [𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1 𝑳2(𝑳2𝑇𝑯𝑳2)

−1][𝑯−1𝑿 𝑳2]𝑇 (10)


79

AKHIRNYA, setiap suku dikalikan dengan pengganda awal 𝑳1𝑇𝑯 dan pengganda akhir 𝑯𝑳1

untuk mendapatkan

𝑳1𝑇𝑯𝑯−1𝑯𝑳1 = 𝑳1

𝑇𝑯𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑯𝑳1 + 𝑳1𝑇𝑯𝑳2(𝑳2


𝑇𝑯𝑳1

Ruas kiri adalah 𝑳1𝑇𝑯𝑳1 dan sesudah penyederhanaan ruas kanan (suku kedua tetap),

𝑳1𝑇𝑯𝑳1 = 𝑳1

𝑇𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑳1 + (𝑳1𝑇𝑯𝑳2)(𝑳2

𝑇𝑯𝑳2)−1(𝑳2

𝑇𝑯𝑳1)

Namun, kita mulai dengan 𝑳1𝑇𝑿 = 𝑰𝑝 , maka

𝑳1𝑇𝑯𝑳1 = (𝑿𝑇𝑯−1𝑿)−1 + (𝑳1

𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)

−1(𝑳2𝑇𝑯𝑳1)

yang mengarah pada apa yang akan kita buktikan, bahwa, untuk pilihan 𝑳1 dan 𝑳2,

𝑳1𝑇𝑯𝑳1 − (𝑳1


−1(𝑳2𝑇𝑯𝑳1) = (𝑿𝑇𝑯−1𝑿)−1

Dan karena kita menjadikan 𝒚2 sebagai syarat, jika kita mendefinisikan 𝑳1𝑇𝑯𝑳2(𝑳2

𝑇𝑯𝑳2)−1𝒚2

tetap, sebagaimana 𝒚2∗ , kita memiliki pernyataan yang lebih sederhana:

𝒚1|𝒚2~𝑁(𝝉 + 𝒚2∗ , 𝜎𝐻

2(𝑿𝑇𝑯−1𝑿)−1) (11)


80

3. Dua fungsi logLikelihood

Apa yang ingin kita capai adalah dua logLikelihood yang merupakan fungsi dari vektor data y,

matriks rancangan 𝑿 dan 𝑮 dan parameter dalam matriks ragam yakni 𝜎𝐻2 dan 𝑯 (atau beberapa

fungsi sederhana dari 𝑯).

Sekarang, fungsi kepekatan peluang gabungan normal multivariat untuk 𝒚1 dan 𝒚2 sama

dengan perkalian antara fungsi kepekatan peluang bersyarat 𝒚1|𝒚2 dan fungsi kepekatan

peluang marjinal untuk 𝒚2.

1. The Residual logLikelihood

Sekarang pandang 𝒚2~𝑁(0, 𝜎𝐻2𝑳2

𝑇𝑯𝑳2) dan Residual logLikelihood, katakan ℓ𝑅, adalah:

Fungsi likelihood vektor peubah 𝒚2

𝑓(𝒚2) =1

2𝜋1/2|𝜎𝐻2𝑳2

𝑇𝑯𝑳2|1/2𝑒𝑥𝑝 −

1

2𝜎𝐻2[𝒚2

𝑇(𝑳2𝑇𝑯𝑳2)

−1𝒚2]

ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡. −1

2((𝑛 − 𝑝)log(𝜎𝐻

2) + log|𝑳2𝑇𝑯𝑳2| + 𝒚2

𝑇(𝑳2𝑇𝑯𝑳2)

−1𝒚2 𝜎𝐻2⁄ )

Keterangan

𝑐𝑜𝑛𝑠𝑡. = −1

2(𝑛 − 𝑝)log(2𝜋)

𝑙𝑜𝑔𝑒(𝜎𝐻2𝑳2

𝑇𝑯𝑳2)−(𝑛−𝑝)/2 = −

1

2(𝑛 − 𝑝)[log(𝜎𝐻

2) + log|𝑳2𝑇𝑯𝑳2|]

Mengapa hanya (𝜎𝐻2) berpangkat 𝑛 − 𝑝 dan |𝑳2

𝑇𝑯𝑳2| tidak?

Ingat|𝑐𝑴| = 𝑐𝑜𝑟𝑑𝑜 𝑴|𝑴| konstanta 𝑐 = 𝜎𝐻2 dan matriks 𝑴 = 𝑳2

𝑇𝑯𝑳2 berordo n-p

|𝜎𝐻2𝑳2

𝑇𝑯𝑳2| = (𝜎𝐻2)𝑛−𝑝 |𝑳2

𝑇𝑯𝑳2|

Karena di bawah tanda akar

|𝜎𝐻2𝑳2

𝑇𝑯𝑳2|1/2 = (𝜎𝐻

2)(𝑛−𝑝)/2 =(𝜎𝐻2)(𝑛−𝑝)/2|𝑳2

𝑇𝑯𝑳2|1/2

Jika dijadikan penyebut (dibawa ke atas) dan diberi tanda loge menjadi

𝑙𝑜𝑔[(𝜎𝐻2)−(𝑛−𝑝)/2|𝑳2

𝑇𝑯𝑳2|−1/2] = −

1


2) + log|𝑳2𝑇𝑯𝑳2|)

dan, dalam bentuk vektor data asli, adalah (karena

ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡𝑎𝑛𝑡 −1


2) + log|𝑳2𝑇𝑯𝑳2| + 𝒚𝑇𝑳2(𝑳2


𝑇𝒚 𝜎𝐻2⁄ ) (12)


81

Pernyataan ini dapat ditulis dalam bentuk matriks rancangan asli 𝑿 dan matrik ragam 𝑯 dalam

2 langkah.

Langkah 1

Susun ulang 𝑯−1pada halaman 78 (1) untuk mendapatkan 𝑷 = 𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇

𝑯−1 = 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1 + 𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇

𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1 (13)

Langkah 2

Gunakan sifat penting determinan matriks sekatan 𝑨,𝑫 dan 𝑿

|𝑨 𝑿𝑿𝑇 𝑫

| = |𝑫||𝑨 − 𝑿𝑇𝑫−1𝑿|

pada 𝑳𝑇𝑯𝑳:

|𝑳𝑇𝑯𝑳| = |𝑳1

𝑇𝑯𝑳1 𝑳1𝑇𝑯𝑳2


𝑇𝑯𝑳2

| = |𝑳2𝑇𝑯𝑳2||𝑳1

𝑇𝑯𝑳1 − (𝑳1𝑇𝑯𝑳2)(𝑳2

𝑇𝑯𝑳2)−1(𝑳2

𝑇𝑯𝑳1)|

Namun demikian, matriks dalam suku determinan kedua telah diperlihatkan pada halaman 79

(2) sama dengan (𝑿𝑇𝑯−1𝑿)−1, dan sesudah logaritma,

log|𝑳𝑇𝑯𝑳| = log|𝑳2𝑇𝑯𝑳2| + log|(𝑿𝑇𝑯−1𝑿)−1| = log|𝑳2

𝑇𝑯𝑳2| − log|𝑿𝑇𝑯−1𝑿|

Dengan memindahkan suku kedua ke ruas kiri menghasilkan

log|𝑳2𝑇𝑯𝑳2| = log|𝑳𝑇𝑯𝑳| + log|𝑿𝑇𝑯−1𝑿|

Pada determinan pada suku pertama ruas kanan persamaan di atas, terapkan persamaan kedua

dari sifat |𝑨𝑩𝑪| = |𝑪𝑨𝑩| = |𝑩𝑪𝑨|

log|𝑳𝑇𝑯𝑳| = log|𝑳𝑳𝑇𝑯| = log|𝑳𝑳𝑇| + log|𝑯|


82

Bentuk log|𝑳𝑳𝑇| tidak tergantung pada satu pun parameter dalam model sehingga dapat

dibagungkan dengan konstanta dalam Residual logLikelihood, menghasilkan pernyataan

terakhir 𝑐𝑜𝑛𝑠𝑡.∗ = −1

2(𝑛 − 𝑝)log(2𝜋) + log|𝑳𝑳𝑇|

ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡.∗−1


2) + log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚 𝜎𝐻2⁄ ) (14)

where 𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1.


83

2. Fungsi logLikelihood untuk pengaruh tetap

Fungsi logLikelihood untuk pengaruh tetap, katakan ℓ1, dilandasi pada sebaran bersyarat 𝒚1|𝒚2

sehingga

ℓ1 = 𝑐𝑜𝑛𝑠𝑡. −1

2(𝑝 log(𝜎𝐻

2) + log|(𝑿𝑇𝑯−1𝑿)−1|

+ (𝒚1 − 𝝉 − 𝒚2∗)𝑇(𝑿𝑇𝑯−1𝑿)(𝒚1 − 𝝉 − 𝒚2

∗) 𝜎𝐻2⁄ )

(15)

Panggil kembali 𝒚1|𝒚2~𝑁(𝝉 + 𝒚2∗ , 𝜎𝐻

2(𝑿𝑇𝑯−1𝑿)−1)

Peubah adalah 𝒚 − 𝝁 = 𝒚1 − (𝝉 + 𝒚2∗) = 𝒚𝟏 − 𝝉 − 𝒚2

∗

4. Solusi REML untuk pengaruh acak

Parameter yang harus diduga adalah parameter dalam matriks ragam 𝜎𝐻2𝑯 = 𝜎𝐻

2(𝒁𝑮𝒁T + 𝑹).

Mereka adalah:

Parameter (skala) ragam skala 𝜎𝐻2,

Paramater yang terlibat dalam 𝑮, matriks ragam untuk pengaruh acak, yang ditempatkan

dalam vektor yang ditempatkan dalam vektor 𝜸 di mana i adalah elemen ke ith

Parameter yang terdapat dalam 𝑹 = 𝜎2𝚺, matriks ragam untuk peubah error, yang

ditempatkan dalam vektor 𝝓 di mana i adalah elemen ke ith.

Kita tempatkan nk buah parameter dalam dua butir pertama ke dalam vektor 𝜿 = [

𝜸

𝜎2

𝝓].

Sekarang kita perlu menurunkan logLikelihood terhadap σH2 juga terhadap setiap parameter 𝜅𝑖

dalam vektor parameter 𝜿. Hasil ini berupa sekumpulan persamaan yang harus diselesaikan

serentak: kadang disebut persamaan skor dan dinotasikan UR(…).

Langkah 1. Menurunkan terhadap 𝝈𝑯𝟐

Penurunan terhadap 𝜎𝐻2 menghasilkan skor,


84

UR(𝜎𝐻2) =

𝜕ℓ𝑅

𝜕𝜎𝐻2 = −

1

2(𝑛 − 𝑝

𝜎𝐻2 −

𝒚𝑇𝑷𝒚

(𝜎𝐻2)2

)

Penjelasan:

𝜕ℓ𝑅

𝜕𝜎𝐻2 [ 𝑐𝑜𝑛𝑠𝑡.∗−

1


2) + log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚 𝜎𝐻2⁄ )]

Karena suku 1, 3 dan 4 tidak mengandung 𝜎𝐻2 , maka turunan adalah 0.

𝜕ℓ𝑅

𝜕𝜎𝐻2 ((𝜎𝐻

2)−1𝒚𝑇𝑷𝒚) = −1(𝜎𝐻2)−2𝒚𝑇𝑷𝒚 = −

1

(𝜎𝐻2 )

2 𝒚𝑇𝑷𝒚

Dengan penduga REML bagir 𝜿 (yang terdapat dalam matriks 𝑷), secara sederhana solusi

untuk UR(𝜎𝐻2) = 0 adalah:

�̂�𝐻2 =

𝒚𝑇𝑷𝒚

𝑛 − 𝑝 (16)

Penjelasan:

Samakan turunan dengan 0, UR(𝜎𝐻2) =

𝜕ℓ𝑅

𝜕𝜎𝐻2 = 0

−1

2(𝑛 − 𝑝

�̂�𝐻2 −

𝒚𝑇𝑷𝒚

(�̂�𝐻2)2

) = 0, 𝑛 − 𝑝 =𝒚𝑇𝑷𝒚

�̂�𝐻2

Langkah 2. Menurunkan terhadap 𝜿

Penurunan terhadap parameter ke ith dalam 𝜿, yakni parameter 𝜅𝑖, vektor ragam dan peragam

menghasilkan skor:

UR(𝜅𝑖) =∂ℓR

∂𝜅𝑖= −

1

2(∂log|𝑯|

∂𝜅𝑖+

∂log|𝑿𝑇𝑯−1𝑿|

∂𝜅𝑖+

∂𝒚𝑇𝑷𝒚

∂𝜅𝑖𝜎𝐻

2⁄ )

Dua turunan pertama dievaluasi menggunakan rumus Jacobi untuk turunan determinan, di mana

apabila diterapkan pada matriks yang dapat dibalik, adalah sebagai berikut. Untuk matriks 𝑨,

jika 𝑨−1ada,

∂|𝑨|

∂𝑡= |𝑨|𝑡𝑒𝑟𝑎𝑠 (𝑨−1

∂𝑨

∂𝑡)

Cara lain menuliskan hasil ini adalah:


85

∗) ∂log|𝑨|

∂𝑡= 𝑡𝑒𝑟𝑎𝑠 (𝑨−1

∂𝑨

∂𝑡)

Juga untuk membuktikan secara langsung (dengan menurunkan 𝑨−1𝑨 = 𝑰) hasil kedua yang

kita perlukan, yakni:

∂𝑨−1

∂𝑡= −𝑨−1

∂𝑨

∂𝑡𝑨−1

Penjelasan:


∂𝜅𝑖[ 𝑐𝑜𝑛𝑠𝑡.∗−

1


2) + log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚 𝜎𝐻2⁄ )]

Karena suku 1, 2 tidak mengandung 𝜅𝑖 , maka turunan adalah 0.

Turunan suku 3 dan 4, menggunakan sifat-sifat turunan di bawah ini dan turunan matriks di

atas:

𝜕𝑙𝑛 (𝑥)

∂𝑥=

1

𝑥

𝜕𝑙𝑛 (𝑥)

∂𝑡=

𝜕𝑙𝑛 (𝑥)

∂𝑥×

∂𝑥

∂𝑡=

1

𝑥

∂𝑥

∂𝑡

Suku 1

∂log|𝑯|

∂𝜅𝑖=

1

|𝑯|

∂|𝑯|

∂𝜅𝑖 𝑔𝑢𝑛𝑎𝑘𝑎𝑛 𝑠𝑖𝑓𝑎𝑡 ∗ 𝑝𝑎𝑑𝑎 𝑠𝑢𝑘𝑢 𝑘𝑒𝑑𝑢𝑎

∂|𝑯|

∂𝜅𝑖= |𝑯| 𝑡𝑒𝑟𝑎𝑠 (𝑯−1

∂𝑯

∂𝜅𝑖)

∂log|𝑯|

∂𝜅𝑖=

1

|𝑯||𝑯| 𝑡𝑒𝑟𝑎𝑠 (𝑯−1

∂𝑯

∂𝜅𝑖) = 𝑡𝑒𝑟𝑎𝑠 (𝑯−1

∂𝑯

∂𝜅𝑖)

Suku 2


∂𝜅𝑖=

1

|𝑿𝑇𝑯−1𝑿|

∂|𝑿𝑇𝑯−1𝑿|

∂𝜅𝑖 𝑔𝑢𝑛𝑎𝑘𝑎𝑛 𝑠𝑖𝑓𝑎𝑡 ∗ 𝑝𝑎𝑑𝑎 𝑠𝑢𝑘𝑢 𝑘𝑒𝑑𝑢𝑎

∂|𝑿𝑇𝑯−1𝑿|

∂𝜅𝑖= |𝑿𝑇𝑯−1𝑿| 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1

∂(𝑿𝑇𝑯−1𝑿)

∂𝜅𝑖)

∂(𝑿𝑇𝑯−1𝑿)

∂𝜅𝑖= 𝑿𝑇

∂𝑯−1

∂𝜅𝑖 𝑿 = −𝑿𝑇𝑯−1

∂𝑯

∂𝜅𝑖𝑯−1 𝑿


86


∂𝜅𝑖=

1

|𝑿𝑇𝑯−1𝑿||𝑿𝑇𝑯−1𝑿| 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1 (−𝑿𝑇𝑯−1

∂𝑯

∂𝜅𝑖 𝑯−1𝑿))

= −𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1∂𝑯

∂𝜅𝑖 𝑯−1𝑿)

Gabungkan dua suku, faktorkan ke luar teras

𝑡𝑒𝑟𝑎𝑠 (𝑯−1∂𝑯

∂𝜅𝑖) − 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1

∂𝑯



∂𝜅𝑖− (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1

∂𝑯


Dua hasil ini memperkenankan kita untuk menulis dua turunan pertama dalam UR(𝜅𝑖) sebagai:


∂𝜅𝑖i

) + 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1 ∂𝑿𝑇𝑯−1𝑿

∂𝜅𝑖)

= 𝑡𝑒𝑟𝑎𝑠 (𝑯−1∂𝑯

∂𝜅𝑖− (𝑿𝑇𝑯−1𝑿)

−1𝑿𝑇𝑯−1

∂𝑯

∂𝜅𝑖𝑯−1𝑿)

Teras perkalian matriks sama dengan perubahan siklis mana pun sesuai ukuran matriks:

𝑡𝑒𝑟𝑎𝑠(𝑨𝑩𝑪) = 𝑡𝑒𝑟𝑎𝑠(𝑪𝑨𝑩) = 𝑡𝑒𝑟𝑎𝑠(𝑩𝑪𝑨); dengan demikian kita dapat memindahkan dua

matriks terakhir dalam persamaan ini untuk memperoleh


∂𝜅𝑖− (𝑿𝑇𝑯−1𝑿)

−1 ∂𝑿𝑇𝑯−1𝑿

∂𝜅𝑖)

= 𝑡𝑒𝑟𝑎𝑠 (𝑯−1∂𝑯

∂𝜅𝑖− 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)


∂𝑯

∂𝜅𝑖)

= 𝑡𝑒𝑟𝑎𝑠 ((𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1

𝑿𝑇𝑯−1)∂𝑯

∂𝜅𝑖)

= 𝑡𝑒𝑟𝑎𝑠 (𝑷∂𝑯

∂𝜅𝑖) ∗ 𝑙𝑖ℎ𝑎𝑡 ℎ𝑎𝑙𝑎𝑚𝑎𝑛 82

Penjelasan: 𝑪 = 𝑿 kemudian 𝑪 = 𝑯−1

𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1

𝑿𝑇𝑯−1∂𝑯

∂𝜅𝑖𝑯−1𝑿) = 𝑡𝑒𝑟𝑎𝑠 (𝑿(𝑿𝑇𝑯−1𝑿)


∂𝑯

∂𝜅𝑖𝑯−1)

= 𝑡𝑒𝑟𝑎𝑠 (𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1

𝑿𝑇𝑯−1∂𝑯

∂𝜅𝑖)

Suku 4 (h82) – 3 (h84) dan 5 (h85):

Untuk menurunkan 𝒚𝑇𝑷𝒚 (turunan ketiga dalam UR(𝜅𝑖)) – langkah 1-halaman 85 kita juga

menggunakan hasil untuk turunan dari kebalikan suatu matriks. Sekarang, 𝑷 didefinisikan

sebagai


87

𝑷 = 𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1

Maka jelas ekspresi pertama untuk 𝑷 paling mudah digunakan karena hanya melibatkan satu

matriks (𝑯) yang mengandung parameter-parameter. Gunakan penjelasan:

∂𝒚𝑇𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇𝒚

∂𝜅𝑖= 𝒚2

𝑇𝑳2

∂(𝑳2𝑇𝑯𝑳2)

−1

∂𝜅𝑖𝑳2

𝑇𝒚

= −𝒚2𝑇𝑳2(𝑳2

𝑇𝑯𝑳2)−1


∂𝜅𝑖

(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇𝒚

= −𝒚2𝑇[𝑳2(𝑳2


𝑇]∂(𝑯)

∂𝜅𝑖

[𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇]𝒚

Dalam kurung besar adalah P

∂𝒚𝑇𝑷𝒚

∂𝜅𝑖=

∂𝒚𝑇𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇𝒚

∂𝜅𝑖= −𝒚𝑇𝑳2(𝑳2

𝑇𝑯𝑳2)−1


∂𝜅𝑖

(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇𝒚

= −𝒚𝑇𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇∂𝑯

∂𝜅𝑖𝑳2(𝑳2


𝑇𝒚

= −𝒚𝑇𝑷∂𝑯

∂𝜅𝑖𝑷𝒚 ∗∗

Maka (kembali ke halaman 84, gabung dua suku pertama-* dan suku ketiga-**:


∂𝜅𝑖= −

1

2({

∂log|𝑯|

∂𝜅𝑖+


∂𝜅𝑖} + {

∂𝒚𝑇𝑷𝒚

∂𝜅𝑖} σ𝐻

2⁄ )

UR(𝜅𝑖) = −1

2(𝑡𝑒𝑟𝑎𝑠 (𝑷

∂𝑯

∂𝜅𝑖)−𝒚𝑇𝑷

∂𝑯

∂𝜅𝑖𝑷𝒚 𝜎𝐻

2⁄ )

Jelas bahwa setiap asumsi tentang ragam yang dibuat akan mengarah pada matriks 𝑯 berbeda

sehingga 𝑷, dan persamaan normal yang harus diselesaikan,

UR(𝜅𝑖) = 0, i = 1,⋯ , 𝑛k

Kemungkinan tidak akan menghasilkan solusi. Oleh karena itu, paket-paket statistika

menggunakan teknik iterasi untuk menyelesaikan persamaan-persamaan ini. GenStat, misalnya,

menawarkan metode Fisher scoring yang terkenal, tetapi menggunakan metode algoritma baru

yang dikembangkan oleh tim statistikawan di Australia (Arthur Gilmour dan Brian Cullis) dan

Britania Raya (Simon Harding dan Robin Thompson) dan dikenal sebagai algoritma Average

Information (AI) dan menggunakan metode matriks untuk fitting the linear mixed model.

Secara umum menemukan solusi untuk penduga parameter (pe-)ragam secara cepat, tetapi

sering solusi tidak didapat (pada umumnya hanya untuk rancangan yang agak kompleks), sering

karena langkah iterasi terlalu banyak atau karena solusi is on or near the boundary values untuk


88

(beberapa) parameter. Selalu ada cara untuk mengatasi masalah ini, misal (dengan

meningkatkan banyaknya iterasi hingga maksimum atau mengubah nilai langkah). Kita akan

melihat beberapa rancangan yang ada solusinya.

5. Solusi REML untuk pengaruh tetap

Informasi tentang 𝝉 hanya berasal dari sebaran bersyarat dari 𝒚1|𝒚2 yang dapat diturunkan

secara mudah. Kita akan menggunakan bentuk logLikelihood yang mengandung

𝑳1𝑇𝑯𝑳2(𝑳2

𝑇𝑯𝑳2)−1𝒚2 dibandingkan dengan 𝒚2

∗ . Persamaan yang akan diselesaikan adalah

turunan persamaan pada halaman 83 yakni ℓ1 terhadap 𝝉

𝜕ℓ1

𝜕𝝉=

𝜕ℓ1

𝜕𝝉(𝑐𝑜𝑛𝑠𝑡. −

1

2(𝑝 log(𝜎𝐻

2) + log|(𝑿𝑇𝑯−1𝑿)−1|

+ (𝒚1 − 𝝉 − 𝒚2∗)𝑇(𝑿𝑇𝑯−1𝑿)(𝒚1 − 𝝉 − 𝒚2

∗) 𝜎𝐻2⁄ ))

Turunan suku 1, 2 dan 3 adalah 0 karena tidak mengandung 𝝉

Dari hal 77: 𝐸(𝒚1|𝒚2) = 𝝉 + 𝑳1𝑇𝑯𝑳2(𝑳2


Hal 79: 𝐸(𝒚1|𝒚2) = 𝝉 + 𝒚2∗ dan 𝒚2

∗ = 𝑳1𝑇𝑯𝑳2(𝑳2

𝑇𝑯𝑳2)−1

Turunan suku ketiga:

𝜕ℓ1

𝜕𝝉(−

1

2(𝒚1 − 𝝉 − 𝒚2

∗)𝑇(𝑿𝑇𝑯−1𝑿)(𝒚1 − 𝝉 − 𝒚2∗) 𝜎𝐻

2⁄ )

Karena ada 2 suku (𝒚1 − 𝝉 − 𝒚2∗) sehingga berpangkat 2 dan

𝜕(−𝝉)

𝜕𝝉= −1, maka

𝜕ℓ1

𝜕𝝉((𝒚1 − 𝝉 − 𝒚2

∗)𝑇(𝒚1 − 𝝉 − 𝒚2∗)) = −2(𝒚1 − 𝝉 − 𝒚2

∗)

Substitusi hasil ini,

−1

2(−2)(𝑿𝑇𝑯−1𝑿)(𝒚1 − 𝝉 − 𝒚2

∗) 𝜎𝐻2⁄

Kemudian substitusi 𝒚2∗ menghasilkan

𝜕ℓ1

𝜕𝝉= −

1

2(−2) (𝑿𝑇𝑯−1𝑿)(𝒚1 − �̂� − 𝑳1


−1𝒚2) 𝜎𝐻2 = 0⁄

Maka:


89

𝒚1 − �̂� − 𝑳1𝑇𝑯𝑳2(𝑳2

𝑇𝑯𝑳2)−1𝒚2 = 0,

�̂� = 𝒚1 − 𝑳1𝑇𝑯𝑳2(𝑳2


Namun 𝒚1 = 𝑳1𝑇𝒚 dan 𝒚2 = 𝑳2

𝑇𝒚 sehingga:

�̂� = 𝑳1𝑇𝒚 − 𝑳1


−1𝑳2𝑇𝒚 keluarkan 𝒚 menghasilkan

�̂� = (𝑳1𝑇 − 𝑳1


−1𝑳2𝑇)𝒚

Sekarang, gunakan sebagai pengganda awal 𝑯 terhadap vektor y dan sesuaikan dengan 𝑯−1

karena 𝑯𝑯−1 = 𝑰

�̂� = (𝑳1𝑇 − 𝑳1


−1𝑳2𝑇)𝑯𝑯−1𝒚 kalikan setiap suku dengan 𝑯

= (𝑳1𝑇𝑯 − (𝑳1


−1𝑳2𝑇𝑯)𝑯−1𝒚

Dua cara menunjukkan bahwa 𝑳1𝑇𝑯 − (𝑳1


−1𝑳2𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇.

Cara 1.

Kita menginginkan solusi berbentuk: �̂� = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚

Dengan demikian, kita dapat menunjukkan bahwa

𝑳1𝑇𝑯 − (𝑳1


−1𝑳2𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇. Berdasarkan definisi 𝑿𝑇𝑳1 = 𝑰 dan dari

hasil untuk (𝑿𝑇𝑯−1𝑿)−1 pada halaman 79 (2) kita peroleh (kalikan dengan 𝑳1), di tengah

kalikan 𝑿𝑇𝑳1 = 𝑰



−1𝑳2𝑇𝑯𝑳1 = (𝑿𝑇𝑯−1𝑿)−1𝑰 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑳1

Sehingga



−1𝑳2𝑇𝑯𝑳1 − (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑳1 = 0 keluarkan 𝑳1

[𝑳1𝑇𝑯 − (𝑳1


−1𝑳2𝑇𝑯 − (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇]𝑳1 = 0

Namun 𝑳1 ≠ 0 dan matriks di luar tanda kurung harus 0, yang membuktikan hasil.


90

Agar hasil dalam kurung 0,



−1𝑳2𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇

Cara 2.

Panggil persamaan pada halaman 78 (1)

𝑯−1 = 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1 + 𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇

Kalikan setiap suku persamaan dengan pengganda awal dan pengganda akhir 𝑯

𝑯𝑯−1𝑯 = 𝑯𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑯 + 𝑯𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇𝑯

𝑯𝑯−1 = 𝑯−1𝑯 = 𝑰

𝑯 = 𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 + 𝑯𝑳2(𝑳2𝑇𝑯𝑳2)

−1𝑳2𝑇𝑯

Ingat 𝑳1𝑇𝑿 = 𝑰, upayakan suku pertama berbentuk 𝑳1

𝑇𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 sehingga setiap suku

dikalikan dengan pengganda awal 𝑳1𝑇 menjadi:

𝑳1𝑇𝑯 = 𝑳1

𝑇𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 + 𝑳1𝑇𝑯𝑳2(𝑳2


𝑇𝑯

𝑳1𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 + (𝑳1


−1𝑳2𝑇𝑯



−1𝑳2𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇

Substitusi (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 ke dalam tanda kurung

�̂� = (𝑳1𝑇𝑯 − (𝑳1


−1𝑳2𝑇𝑯)𝑯−1𝒚

menghasilkan:

�̂� = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 (17)

Catat bahwa logLikelihood adalah fungsi dari 𝜎𝐻2 dan vektor parameter 𝜿, baik 𝒚1 dan 𝝉

memiliki panjang p dan juga logLikelihood dapat mengandung tak satu pun informasi tentang

parameter-parameter ini. Solusi REML bagi penduga pengaruh acak ini digunakan untuk

pendugaan REML bagi pengaruh tetap, maka kita dapat menuliskan penduga sebagai:


91

�̂� = (𝑿𝑇�̂�−1𝑿)−1

𝑿𝑇�̂�−1𝒚

Catat kesamaan antar kuadrat terkecil dan solusi REML untuk 𝝉 dalam rancangan di mana

hanya ada satu suku acak yang diasumsikan N(0, 𝜎2𝑰), dalam hal ini 𝑯 = 𝑰 dan

�̂� = (𝑿𝑇𝑿)−1𝑿𝑇𝒚.


92

6. Menguji pengaruh tetap: uji Wald

Pertama-tama, ketika anda memiliki rancangan ortogonal (tidak terdapat data hilang, semua

taraf faktor sama atau diulang secara proporsional) maka uji F dari ANOVA akan identik

dengan hasil dari analisis REML. Namun, analisis REML di bagian ini telah dikembangkan

sejauh untuk model-model yang sangat umum, yang mengandung baik pengaruh tetap mau pun

acak dan sisa acak. Tidak diperlukan ulangan sama, dan tanpa batasan terhadap tipe model

ragam untuk pengaruh acak atau pun unsur acak.

Uji umum yang ditawarkan untuk model campuran linier adalah uji Wald (nama statistikawan

Abraham Wald). Untuk parameter tunggal 𝜃, kita gunakan penduga kemungkinan maksimum 𝜃

yang ragamnya dapat dihitung, maka uji Wald adalah

(𝜃 − 𝜃)2

𝑣𝑎𝑟(𝜃)~𝜒1

2

Ini dikembangkan untuk beberapa parameter. Kita mengganti 𝜃 dengan vektor 𝜽 sepanjang k,

maka statistik Wald adalah

(�̂� − 𝜽)𝑇(𝑣𝑎𝑟(�̂�))

−1

(�̂� − 𝜽)~𝜒𝑘2

Ini merupakan sebaran asimtotik dan tidaklah cukup (sesuai) untuk contoh berukuran kecil.

Misal, jika kita memiliki rencangan ortogonal, ketika statistik F diketahui bersifat tetap, kita

dapat membandingkan nilai P untuk berbagai derajat bebas penyebut. Sebaran F adalah nisbah

dua sebaran 2 yang saling bebas, setiap sebaran dibagi derajat bebasnya, maka sebaran

terbatas bagi sebaran Fk, akan menyebar secara 𝜒𝑘2 𝑘⁄ .

Tabel berikut membandingkan nilai P dari sebaran 𝜒12 dan 𝜒3

2 3⁄ dengan nilai P dari F1, dan

F3, untuk kisaran nilai pengamatan statistik Wald (1, …, 5, 10, 15) dan peningkatan derajat

bebas penyebut ( = 1, …, 5, 10, 15, 20, 25, 50, 100). Dapat dilihat bahwa nilai P sebaran 2

selalu lebih kecil dari nilai P sebaran F, dan dapat salah diartikan apabila sebaran F digunakan.

Nilai P untuk sebaran 𝝌𝟐 dan F untuk nilai uji Wald yang mungkin; k=1


93

Statistik Wald Possible test value of the Wald statistic

1.0 2.0 3.0 4.0 5.0 10.0 15.0

Nilai P untuk 𝜒12 1⁄ 0.317 0.157 0.083 0.046 0.025 0.002 <0.001

Db penyebut ( Nilai P untuk F1,

1 0.500 0.392 0.333 0.295 0.268 0.195 0.161

2 0.423 0.293 0.225 0.184 0.155 0.087 0.061

3 0.391 0.252 0.182 0.139 0.111 0.051 0.030

4 0.374 0.230 0.158 0.116 0.089 0.034 0.018

5 0.363 0.216 0.144 0.102 0.076 0.025 0.012

10 0.341 0.188 0.114 0.073 0.049 0.010 0.003

15 0.333 0.178 0.104 0.064 0.041 0.006 0.002

20 0.329 0.173 0.099 0.059 0.037 0.005 <0.001

25 0.327 0.170 0.096 0.056 0.035 0.004 <0.001

50 0.322 0.163 0.089 0.051 0.030 0.003 <0.001

100 0.320 0.160 0.086 0.048 0.028 0.002 <0.001

Nilai P untuk sebaran 𝝌𝟐 dan F untuk nilai uji Wald yang mungkin; k=3

Possible test value of the Wald statistic

1.0 2.0 3.0 4.0 5.0 10.0 15.0

Nilai P untuk 𝜒32 3⁄ 0.392 0.112 0.029 0.007 0.002 <0.001 <0.001

Nilai P untuk F1,

1 0.609 0.470 0.396 0.349 0.315 0.227 0.187

2 0.535 0.350 0.260 0.206 0.171 0.092 0.063

3 0.500 0.292 0.196 0.142 0.110 0.045 0.026

4 0.479 0.256 0.158 0.107 0.077 0.025 0.012

5 0.465 0.233 0.134 0.085 0.058 0.015 0.006

10 0.432 0.178 0.082 0.041 0.023 0.002 <0.001

15 0.420 0.157 0.064 0.028 0.013 <0.001 <0.001

20 0.413 0.146 0.055 0.022 0.010 <0.001 <0.001

25 0.409 0.140 0.050 0.019 0.007 <0.001 <0.001

50 0.401 0.126 0.039 0.013 0.004 <0.001 <0.001

100 0.396 0.119 0.034 0.010 0.003 <0.001 <0.001

𝐹3,𝑛 =𝜒3

2/3

𝜒𝑛2/𝑛

, 𝜒𝑛2/𝑛 = 1, jika 𝑛 → ∞,𝑚𝑎𝑘𝑎 𝐹3,𝑛 = 𝜒3

2/3

𝑃(𝐹3,𝑛 > 𝑎) = 𝑃(𝜒32/3 > 𝑎) = 𝑃(𝜒3

2 > 3𝑎)

7. Uji Wald untuk pengaruh tetap menggunakan REML


94

Jadi, kita ingin menguji bahwa fungsi linier dari pengaruh tetap adalah beberapa nilai tetap.

Secara khusus, k ita menguji 𝐻0: 𝑳𝝉 = 𝓵 untuk matriks 𝑳 berukuran r×p dan 𝓵 suatu vektor

sepanjang r. Maka mengikuti hasil dari sebaran secara langsung untuk �̂�, kita dapat mengatakan

bahwa:

𝑾 = (𝑳�̂� − 𝓵)𝑇 (𝑳(𝑿𝑇�̂�−1𝑿)−1

𝑳𝑇)−1

(𝑳�̂� − 𝓵) �̂�𝐻2⁄

= (�̂� − 𝝉)𝑇𝑳𝑇 (𝑳(𝑿𝑇�̂�−1𝑿)−1

𝑳𝑇)−1

𝑳(�̂� − 𝝉) �̂�𝐻2⁄

adalah statistik Wald. Catat bahwa penduga REML untuk parameter ragam digunakan dalam

pernyataan ini.

Statistik Wald memiliki sebaran asimtotik 2 dengan derajat bebas r. Namun, untuk alasan

yang baru disebutkan, nilai P akan lebih besar (over-estimate) dari nilai P sesungguhnya, maka

jika nilai P statistik Wald yang diskalakan dihitung menggunakan sebaran asimtotik maka harus

hati-hati dalam menginterpretasi.

Pada tahun 1997 Kenward dan Roger (in Small Sample Inference for Fixed Effects from

Restricted Maximum Likelihood, Biometrics, 53, 983–997) mengembangkan suatu metode

untuk meningkatkan nilai P melalui penskalaan factor: F = W/r. Mereka mengembangkan

persamaan yang cukup untuk menghitung dan juga derajat bebas df (derajat bebas pembilang

df = r). Melalui simulasi, mereka menunjukkan bahwa nilai P baru jauh lebih sesuai (reliable).

Sesungguhnya, dua sifat penting pendekatan ini dapat dinyatakan:

Untuk rancangan ortogonal seperti dalam ANOVA tanpa data hilang, nilai P statistik Wald

yang diskalakan bersifat exact, yaitu, mereka menghasilkan F ANOVA dan nilai P.

Jika r = 1 (yaitu, menguji kesamaan dua rata-rata perlakuan) nilai P statistik Wald yang

diskalakan sama dengan nilai P Satterthwaite uji t tidak berpasangan dengan ragam

perlakuan berbeda.


95

Implementasi ini menjadi default dalam GenStat. Persamaan dapat menjadi sangat kompleks,

kadang gagal diselesaikan, dalam hal ini GenStat merubah nilai P yang dihasilkan dari sebaran

2.

8. Menguji pengaruh acak

Pengaruh acak diasumsikan menyebar normal, dan bagian ini menjelaskan cara

membandingkan LMM di bawah sehimpunan asumsi mengenai parameter dalam model ragam

dengan LMM menghasilkan penerapan nilai-nilai yang diasumsikan di bawah hipotesis nol.

Catat bahwa metode ini hanya dapat diterapkan

ketika model tersarang, dan

parameter tetap yang sama terdapat dalam kedua model.

Sebagai ilustrasi model tersarang adalah sekuens AR2 dibandingkan AR1 dan kemudian

dengan pengaruh acak yang tidak berkolrelasi. Pada waktu t:

yt = rata-rata + a1 yt-1 + a2 yt-2 + error (AR2)

yt = rata-rata + a1 yt-1 + error (AR1, didapat melalui pengujian a2 = 0)

yt = rata-rata + error (tidak berkorelasi, didapat melalui pengujian a1 = 0)

Teladan untuk model tidak tersarang adalah perbedaan antara peubah acak yang diasumsikan

memiliki struktur equi-correlated lawan suatu model berstruktur AR1. Kedua model memiliki

satu parameter korelasi dan derajat bebas devians yang sama.

Devians didefinisikan sebagai -2×logLikelihood di mana logLikelihood dihitung berdasarkan

penduga parameter REML. Umumnya, konstanta dalam logLikelihood dibuang karena devians

hanya digunakan ketika membedakan.

Dengan demikian, untuk menguji sebagian dari parameter ragam (himpunan bagian, mulai dari

model penuh dan dapatkan model reduksi dengan menghitung model penuh menggunakan nilai

hipotesis dari parameter ragam.

Maka

Perubahan dalam Devians = Devians untuk model reduksi – Devians untuk model penuh


96

yang 𝜒2 asimtotik dengan derajat bebas df = perubahan devians dalam db.

Misal, untuk model dengan ragam blok acak tunggal, dan ragam galat berdasarkan 12 data

yang berasal dari 4 blok dan 3 perlakuan per blok:

Devians dengan pengaruh blok acak = 34.49 dengan derajat bebas 7 (model PENUH)

Devians mengeluarkan pengaruh blok acak = 51.38 dengan derajat bebas 8 (model REDUKSI)

Perubahan dalam devians= 51.38 – 34.49 = 16.89 dengan derajat bebas 8 – 7 = 1 sangat nyata

(P<0.001), model penuh lebih baik, dengan kata lain pengaruh blok bersifat acak.

Untuk model tak tersarang, GenStat menawarkan dua statistik, Akaike Information Coefficient

(AIC) dan Schwarz Information Coefficient (SIC).

Pandang k sebagai banyaknya parameter ragam dalam model, maka

AIC = Deviance + 2 k

Tak ada nilai uji untuk membandingkan nilai ini. Satu saran adalah menghitung exp[(AIC1-

AIC2)/2], di mana AIC1 lebih kecil dan AIC2 lebih besar dari dua model. Nisbah ini dapat

dipandang sebagai peluang bahwa model kedua meminimkan kehilangan informasi apa pun.

Schwarz Information Coefficient hampir sama,

AIC = Deviance + ln(n) k

Misal, untuk model dengan ragam blok acak tunggal dan ragam galat untuk 12 data (dan catat

bahwa ln(12) = 2.49, jika devians 34.49, maka GenStat akan memberikan:

Akaike information coefficient 38.49 Schwarz Bayes information coefficient 38.88

Note: omits constants, (n-p)log(2) - log(det(X'X)), that depend only on the fixed model.


97

Contoh struktur galat berkorelasi

GenStat membolehkan mendefinisikan Random Model dengan pilihan struktur korelasi.

Tanda * menjelaskan model yang sering digunakan StATS.

Model Biasa digunakan untuk:

Identity* bebas, sisa menyebar normal dalam regresi atau ANOVA dengan

ragam konstan

uniform* khusus untuk struktur sisa berkorelasi untuk rancangan multi-strata

(RCB, split-plot etc)

diagonal* untuk rancangan apa pun dengan perubahan ragam

AR*

autoregressive (AR1 or AR2) sisa berkorelasi secara serial dalam

deret waktu/pengukuran berulang; model spasial spat dalam

penelitian lapang

power*

sama dengan AR1 tetapi dapat digunakan untuk titik waktu dengan

jaeak berbeda; model spasial dalam penelitian di lapangan dengan

koordinat berjarak sama

unstructured*

deret waktu/data hasil pengamatan berulang di mana tidak ada

asumsi yang dibuat mengenai korelasi berdasarkan waktu; data

MANOVA

antedependence*

deret waktu/data hasil pengamatan memperbolehkan perubahan

ragam, tambah:

order = 1 menghasilkan korelasi contoh untuk titik waktu

bertetangga; order = 2 memberikan korelasi contoh untuk titik waktu

bertetangga 1 dan 2; melibatkan lebih sedikit parameter

dibandingkan tak terstruktur

ARMA campuran autoregressive and moving average, korelasi serial sisaa

dalam deret waktu/pengamatan berulang

boundedlinear korelasi menurun secara linier dalam proporsi terhadap terhadap

nisbah jarak

spherical korelasi menurun secara spherically terhadap jarak, biasa terjadi

dalam ilmu tanah

banded correlation titik berdekatan memiliki korelasi, order menjelaskan berapa bukan

nol

FA & FAequal

struktur korelasi dalam bentuk model analisis faktor menggunakan

sedikit parameter dibandingkan tak terstruktur; biasa dalam

pemuliaan tanaman

Fixed matriks korelasi dijelaskan oleh pengguna

MA rata-rata bergerak (moving average)sisa berkorelasi secara serial

dalam deret waktu/pengamatan berulang

circular

sisa berkorelasi serial dalam deret waktu/pengamatan berulang di

mana korelasi berubah sesuai jarak sedemikian sehingga bergantung

pada sin-1;

linearvariance korelasi menurun menurut jarak, biasa terjadi di bidang ilmu tanah

Berikut akan disajikan teladan yang menggunakan beberapa model korelasi di atas. Setengah

manual ini menjelaskan struktur Identity.


98

Teladan dijelaskan pada manual versi awal, tersedia pada sumber www.stats.net.au.

Teladan 1 – struktur uniform: model blok acak

Pandang rancangan blok lengkap acak (RCB) dengan perlakuan tetap t ditempatkan secara acak

dalam setiap dari b blok. Blok diasumsikan berbeda satu dari yang lain, an secara umum adalah

pengaruh acak: anda menghendaki kesimpulan apa pun tentang perlakuan dalam suatu

penelitian dalam blok pada suatu lokasi tertentu, diterapkan secara umum pada lokasi lain. Uji F

ANOVA sesungguhnya hanya tersedia untuk pengaruh tetap. Untuk alasan ini GenStat

menghitung nisbah ragam untuk blok dalam ANOVA tetapi tidak memberikan nilai P.

Dengan demikian, pengujian terhadap kesamaan rata-rata perlakuan tidak bergantung pada

apakah blok diasumsikan tetap ataukah acak. Namun, asumsi tentang blok tetap atau acak tidak

mempengaruhi beberapa salah baku.

Ketika blok diasumsikan acak, ada implikasi yang menyebabkan model dapat dijelaskan dalam

berbagai cara. Ini juga berlaku bagi rancangan yang lebih kompleks seperti split-plots. Berikut

adalah matematika tentang hal ini.

Pendekatan 1. Model acak adalah Blok + Sisa dengan Blok sebagai pengaruh acak

Model RCB adalah

yij = + j + i + ij i = 1, …, t (perlakuan) dan j = 1, …, b (blok)

Atur pengaruh blok acak b ke dalam vector acak 𝒖~𝑁(0, 𝜎𝐵2𝑰𝑏). Peubah sisaan adalah

𝒆~N(0, 𝜎2𝑰𝑏𝑡).

Asumsikan bahwa data disusun dalamsebuah vector mulai blok 1, di atas, diikuti blok 2 dan

seterusnya. Setiap pengamatan dalam blok 1 memiliki pengaruh blok 1 sama, dengan

demikian melibatkan sebuah pengaruh acak (1); tetapi setiap pengamatan ini bebas terhadap

pengamatan di blok lain. Ini mengakibatkan matriks rancangan untuk pengaruh blok acak

adalah

http://www.stats.net.au/


99

𝒁 = [

1𝑡 0𝑡 ⋯ 0𝑡

0𝑡 1𝑡 0𝑡 0𝑡

⋮ 0𝑡 ⋱ 0𝑡

0𝑡 0𝑡 ⋯ 1𝑡

]

𝒁𝑮𝒁T = 𝜎𝐵2 [

𝑱𝑡 0𝑡 ⋯ 0𝑡

0𝑡 𝑱𝑡 0𝑡 0𝑡

⋮ 0𝑡 ⋱ 0𝑡

0𝑡 0𝑡 ⋯ 𝑱𝑡

]=𝜎𝐵2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡, ⋯ , 𝑱𝑡]

di mana 𝐷𝑖𝑎𝑔𝑏[⋯ ] menjelaskan matriks diagonal dengan elemen b (yang juga matriks) pada

diagonal utama yang sama dengan 𝑱𝑡, matriks satuan berdimensi t×t (yang juga dapat ditulis

sebagai 1𝑡1𝑡𝑇).

Penjelasan untuk t=3, b=4, matriks rancangan untuk pengaruh blok acak 𝒁 berukuran 12 x 12

𝒁12×4 =

(

1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 10 0 0 1)

= (

13 03 03 03

03 13 03 03

03 03 13 03

03 03 03 13

)

𝑮 =

(

𝜎𝐵2 0 0 0

0 𝜎𝐵2 0 0

0 0 𝜎𝐵2 0

0 0 0 𝜎𝐵2)

= 𝜎𝐵2 (

1 0 0 00 1 0 00 0 1 00 0 0 1

) = 𝜎𝐵2𝑰4


100

𝒁𝑮 = 𝜎𝐵2

(

1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 10 0 0 1)

(

1 0 0 00 1 0 00 0 1 00 0 0 1

) = 𝜎𝐵2

(

1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 10 0 0 1)

𝒁𝑮𝒁𝑇 = 𝜎𝐵2

(

1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 10 0 0 1)

(

1 1 1 0 0 0 0 0 0 0 0 00 0 0 1 1 1 0 0 0 0 0 00 0 0 0 0 0 1 1 1 0 0 00 0 0 0 0 0 0 0 0 1 1 1

)

𝒁𝑮𝒁𝑇 = 𝜎𝐵2

(

1 1 1 0 0 0 0 0 0 0 0 01 1 1 0 0 0 0 0 0 0 0 01 1 1 0 0 0 0 0 0 0 0 00 0 0 1 1 1 0 0 0 0 0 00 0 0 1 1 1 0 0 0 0 0 00 0 0 1 1 1 0 0 0 0 0 00 0 0 0 0 0 1 1 1 0 0 00 0 0 0 0 0 1 1 1 0 0 00 0 0 0 0 0 1 1 1 0 0 00 0 0 0 0 0 0 0 0 1 1 10 0 0 0 0 0 0 0 0 1 1 10 0 0 0 0 0 0 0 0 1 1 1)

= 𝜎𝐵2 (

𝑱3 𝑶3 𝑶3 𝑶3

𝑶3 𝑱3 𝑶3 𝑶3

𝑶3 𝑶3 𝑱3 𝑶3

𝑶3 𝑶3 𝑶3 𝑱3

) = 𝜎𝐵2𝐷𝑖𝑎𝑔4[𝑱3, ⋯ , 𝑱3]

Untuk melihat apakah asumsi mengenai pengaruh blok acak mempengaruhi pendugaan terhadap

pengaruh - panggil �̂� = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 , kita perlu melihat matriks 𝑯 untuk rancangan

RCB:


101

𝑯 = 𝑹 + 𝒁𝑮𝒁T = 𝜎2𝑰𝑏𝑡+𝜎𝐵2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡,⋯ , 𝑱𝑡] = 𝜎2𝐷𝑖𝑎𝑔𝑏[𝑰𝑡, ⋯ , 𝑰𝑡]+𝜎𝐵

2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡, ⋯ , 𝑱𝑡]

Kebalikan matriks 𝑯 ada dan jelas merupakan matriks diagonal blok, di mana diagonal ini

merupakan kebalikan matriks 𝜎2𝑰𝑡 + 𝜎𝐵2𝑱𝑡 = 𝜎2𝑰𝑡+𝜎𝐵

21𝑡1𝑡𝑇. Terdapat rumus standar untuk

matriks seperti ini. Pandang 𝑨 sebagai matriks non singular dan pandang 𝒖 dan 𝒗 sebagai vektor

kolom.

𝑹 =

(

𝜎2 0 0 0 0 0 0 0 0 0 0 00 𝜎2 0 0 0 0 0 0 0 0 0 00 0 𝜎2 0 0 0 0 0 0 0 0 00 0 0 𝜎2 0 0 0 0 0 0 0 00 0 0 0 𝜎2 0 0 0 0 0 0 00 0 0 0 0 𝜎2 0 0 0 0 0 00 0 0 0 0 0 𝜎2 0 0 0 0 00 0 0 0 0 0 0 𝜎2 0 0 0 00 0 0 0 0 0 0 0 𝜎2 0 0 00 0 0 0 0 0 0 0 0 𝜎2 0 00 0 0 0 0 0 0 0 0 0 𝜎2 00 0 0 0 0 0 0 0 0 0 0 𝜎2)

= 𝜎2𝑰12

𝑹 = 𝜎2𝐷𝑖𝑎𝑔4[𝑰3, ⋯ , 𝑰3]

(𝑨 + 𝒖𝒗𝑻)−𝟏 = 𝑨−1 −𝑨−1𝒖𝒗𝑻𝑨−1

1 + 𝒗𝑻𝑨−1𝒖

Jadi, 𝑨 = 𝜎2𝑰𝑡, 𝒖 = 𝜎𝐵21𝑡, 𝒗 = 1𝑡.

(𝜎2𝑰𝑡 + 𝜎𝐵21𝑡1𝑡

𝑇)−𝟏 =1

𝜎2𝑰𝑡 −

1𝜎2 𝑰𝑡𝜎𝐵

21𝑡1𝑡𝑇 1𝜎2 𝑰𝑡

1 + 1𝑡𝑇 1𝜎2 𝑰𝑡𝜎𝐵

21𝑡

=1

𝜎2(𝑰𝑡 −

𝜎𝐵2

(𝜎2 + 𝑡𝜎𝐵2)

𝑱𝑡)

Suku kedua

1𝜎2 𝑰𝑡𝜎𝐵

2𝑱𝑡𝑰𝑡

𝜎2

𝜎2 + 1𝑡𝑇 1𝜎2 𝑰𝑡𝜎𝐵

21𝑡

=

1𝜎2

1𝜎2 𝜎𝐵

2𝑰𝑡𝑱𝑡𝑰𝑡

1𝜎2 (𝜎2 + 1𝑡

𝑇𝑰𝑡𝜎𝐵21𝑡)

=

1𝜎2

1𝜎2 𝜎𝐵

2𝑱𝑡

1𝜎2 (𝜎2 + 1𝑡

𝑇1𝑡𝜎𝐵2)

=

1𝜎2

1𝜎2 𝜎𝐵

2𝑱𝑡

1𝜎2 (𝜎2 + 𝑡𝜎𝐵

2)

Gabung

1

𝜎2𝑰𝑡 −

1𝜎2 𝜎𝐵

2𝑱𝑡

(𝜎2 + 𝑡𝜎𝐵2)

=1

𝜎2(𝑰𝑡 −

𝜎𝐵2𝑱𝑡

(𝜎2 + 𝑡𝜎𝐵2)

)


102

𝑯−1 adalah matriks diagonal terdiri dari b matriks seperti ini.

Sekarang kita lihat matriks-matriks (𝑿𝑇𝑯−1𝑿)−1 dan 𝑿𝑇𝑯−1𝒚 untuk blok acak.

(𝑿𝑇𝑯−1𝑿)−1 = (𝑿𝑇1

𝜎2𝐷𝑖𝑎𝑔𝑏 [𝑰𝑡 −

𝜎𝐵2

(𝜎2 + 𝑡𝜎𝐵2)

𝑱𝑡] 𝑿)

−1

= 𝜎2 (𝑿𝑇𝑿 − 𝑿𝑇𝐷𝑖𝑎𝑔𝑏 [𝜎𝐵

2

(𝜎2 + 𝑡𝜎𝐵2)

𝑱𝑡] 𝑿)

−1

Sekarang dengan parameterisasi, matriks rancangan 𝑿 memiliki kolom yang terdiri dari b sel

bernilai 1 dan sisa sel lain mengandung 0. Juga, keberadaan 1 unik dalam setiap baris, sehingga

𝑿𝑇𝑿 harus sama dengan 𝑏𝑰𝑡.

𝑿12×3 =

(

1 0 00 1 00 0 11 0 00 1 00 0 11 0 00 1 00 0 11 0 00 1 00 0 1)

= (

𝑰3

𝑰3

𝑰3

𝑰3

)

𝑿𝑇𝑿 = (1 0 0 1 0 0 1 0 0 1 0 00 1 0 0 1 0 0 1 0 0 1 00 0 1 0 0 1 0 0 1 0 0 1

)

(

1 0 00 1 00 0 11 0 00 1 00 0 11 0 00 1 00 0 11 0 00 1 00 0 1)


103

𝑿𝑇𝑿 = (4 0 00 4 00 0 4

) = 4(1 0 00 1 00 0 1

) = 4𝑰3 = 𝑏𝑰𝑡

Kemudian, untuk setiap blok dalam matriks diagonal di atas, 𝑱𝑡𝑿 menambah angka dalam

kolom matriks rancangan 𝑿 dalam blok yang dipertimbangkan. Namun, di dalamnya (dan

setiap) blok, setiap elemen adalah 0 kecuali 1. Karena bentuk matriks rancangan 𝑿, 𝐷𝑖𝑎𝑔𝑏[𝑱𝑡𝑿]

harus sama dengan 𝑱𝑏𝑡×𝑡. Karena setiap baris t dalam 𝑿𝑇 mengandung b sel bernilai 1 dan

lainnya 0, kita harus memperoleh

𝑿𝑇𝐷𝑖𝑎𝑔𝑏[𝑱𝑡]𝑿 = 𝑿𝑇𝑱𝑏𝑡×𝑡 = 𝑏𝑱𝑡

sehingga (karena resiprok dan substitusi 𝑏𝑰𝑡 dan 𝑏𝑱𝑡) dan faktorkan ke luar b

𝑿𝑇𝑯−1𝑿 =1

𝜎2(𝑿𝑇𝑿 − 𝑿𝑇𝐷𝑖𝑎𝑔𝑏 [

𝜎𝐵2

(𝜎2 + 𝑡𝜎𝐵2)

𝑱𝑡] 𝑿) =1

𝜎2(𝑏𝑰𝑡 −

𝑏𝜎𝐵2

(𝜎2 + 𝑡𝜎𝐵2)

𝑱𝑡)

=𝑏

𝜎2(𝑰𝑡 −

𝜎𝐵2

(𝜎2 + 𝑡𝜎𝐵2)

𝑱𝑡)

Gunakan lagi (𝑨 + 𝒖𝒗𝑇)−1 = 𝑨−1 −𝑨−1𝒖𝒗𝑇𝑨−1

1+𝒗𝑇𝑨−1𝒖 kita peroleh

(𝑿𝑇𝑯−1𝑿)−1 = (𝑏

𝜎2 (𝑰𝑡 −𝜎𝐵

2

(𝜎2+𝑡𝜎𝐵2)

𝑱𝑡))

−1

=𝜎2

𝑏

(

𝑰𝑡 +

𝜎𝐵2

(𝜎2 + 𝑡𝜎𝐵2)

1 − 𝑡𝜎𝐵

2

(𝜎2 + 𝑡𝜎𝐵2)

𝑱𝑡

)

=𝜎2

𝑏(𝑰𝑡 +

𝜎𝐵2

𝜎2𝑱𝑡)

Ini adalah matriks diagonal dengan elemen 𝜎𝐵2 𝑏⁄ + 𝜎2 𝑏⁄ dan elemen di luar diagonal 𝜎𝐵

2 𝑏⁄ .

Sebagian dari suku terakhir telah diselesaikan karena kita tahu bahwa 𝑿𝑇𝑯−1: terdiri dari t

baris, setiap baris mengandung b sel yang sama dengan 𝑏(1 − 𝜎𝐵2 (𝜎2 + 𝑡𝜎𝐵

2)⁄ ) 𝜎2⁄ dan t(b-1)

sel bernilai −𝑏 𝜎𝐵2 (𝜎2 + 𝑡𝜎𝐵

2)⁄ 𝜎2⁄ . Posisi sel-sel ini diatur oleh matriks rancangan 𝑿, namun

jika 𝑿𝑇𝑯−1 dikalikan dengan pengganda akhir y, baris ke ith menghasilkan baris ke ith rata-rata


104

perlakuan �̅�𝑖 juga rata-rata umum �̅�. Kita perlu memperkenalkan vektor rata-rata yang kita

notasikan sebagai �̅�𝑖𝑇 = (�̅�1, ⋯ , �̅�𝑡). Jadi

𝑿𝑇𝑯−1𝒚 =𝑏

𝜎2�̅�𝑖 −

𝑏𝑡𝜎𝐵2

𝜎2(𝜎2 + 𝑡𝜎𝐵2)

�̅�1𝑡

Gabungkan kedua suku dan ganti unsur 𝑱𝑡�̅�𝑖 dengan 𝑡�̅�1𝑡 menghasilkan

�̂� = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 =𝜎2

𝑏(𝑰𝑡 +

𝜎𝐵2

𝜎2𝑱𝑡)(

𝑏

𝜎2�̅�𝑖 −

𝑏𝑡𝜎𝐵2

𝜎2(𝜎2 + 𝑡𝜎𝐵2)

�̅�1𝑡)

= �̅�𝑖 +𝑡𝜎𝐵

2

𝜎2(1 −

𝜎2

(𝜎2 + 𝑡𝜎𝐵2)

−𝑡𝜎𝐵

2

(𝜎2 + 𝑡𝜎𝐵2)

) �̅�1𝑡

= �̅�𝑖 +𝑡𝜎𝐵

2

𝜎2((𝜎2 + 𝑡𝜎𝐵

2) − 𝜎2 − 𝑡𝜎𝐵2

(𝜎2 + 𝑡𝜎𝐵2)

) �̅�1𝑡

= �̅�𝑖

Jadi, di bawah asumsi bahwa blok bersifat acak, penduga REML untuk rata-rata perlakuan

adalah rata-rata contoh, sebagaimana di bawah asumsi bahwa blok bersifat tetap.

Namun demikian, salah baku rata-rata lebih besar di bawah model blok acak dibandingkan jika

model blok tetap. Hal ini tidak mengherankan, karena agar besaran ini dapat digunakan untuk

blok lain, kita harus lebih hati-hati dalam menduga rata-rata perlakuan secara terpisah. Namun,

salah baku selisih rata-rata sama di bawah kedua asumsi.

Salah baku selisih rata-rata

Dalam bentuk model, rata-rata contoh ke ith yakni �̅�𝑖 adalah �̅�𝑖 = 𝜇 + �̅� + 𝜏𝑖 + 𝜖�̅� dan juga

salah baku rata-rata contoh harus bernilai 𝜎𝐵2 𝑏⁄ + 𝜎2 𝑏⁄ karena setiap rata-rata dalam ekspresi

untuk �̅�𝑖 adalah rata-rata dari b unit. Berikut adalah pembuktian secara matematis:

𝑣𝑎𝑟(�̂�) = 𝑣𝑎𝑟((𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚)


105

= (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑣𝑎𝑟(𝒚)𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1

= (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑯𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1

= (𝑿𝑇𝑯−1𝑿)−1(𝑿𝑇𝑯−1𝑿)(𝑿𝑇𝑯−1𝑿)−1

= (𝑿𝑇𝑯−1𝑿)−1

Kita melihat sebelumnya bahwa diagonal utama matriks ini adalah 𝜎𝐵2 𝑏⁄ + 𝜎2 𝑏⁄ dan di luar

diagonal utama 𝜎𝐵2 𝑏⁄ . Nilai nol di luar diagonal utama adalah hasil dari suku acak yang sama

yakni �̅� dalam setiap rata-rata contoh, menyebabkan korelasi dalam rata-rata contoh.

Salah baku selisih rata-rata

Dalam bentuk model, selisih antara rata-rata contoh ke ith yakni �̅�𝑖 dan �̅�𝑘 rata-rata contoh ke kth

adalah �̅�𝑖 − �̅�𝑘 = 𝜏𝑖 − 𝜏𝑘 + 𝜖�̅� − 𝜖�̅�. Jelas suku acak yang sama yakni �̅� telah hilang dari selisih

ini dan anda tidak mengharapkan bahwa 𝜎𝐵2 akan menjelaskan nilai salah baru selisih. Berikut

penjelasan matematis.

Nyatakan kontras antara rata-rata contoh ke ith yakni �̅�𝑖 dan �̅�𝑘 rata-rata contoh ke kth sebagai

vektor 𝑪 yang bernilai +1 sesuai posisi rata-rata ke ith dan -1 pada posisi rata-rata ke kth. Catat

bahwa 𝑱𝑡𝑪 = 0𝑡 dan 𝑪𝑇𝑪 = 2.

Maka

𝑣𝑎𝑟(𝑪𝑇�̂�) = 𝑣𝑎𝑟(𝑪𝑇(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚)

= 𝑪𝑇(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑣𝑎𝑟(𝒚)𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑪

= 𝑪𝑇(𝑿𝑇𝑯−1𝑿)−1𝑪 = 𝑪𝑇𝜎2

𝑏(𝑰𝑡 +

𝜎𝐵2

𝜎2𝑱𝑡) 𝑪


106

=𝜎2

𝑏𝑪𝑇𝑪 +

𝜎𝐵2

𝑏𝑪𝑇𝑱𝑡𝑪 =

2𝜎2

𝑏

sama dengan salah baku selisih rata-rata di bawah asumsi blok tetap.

Pendekatan 2. Secara Sederhana Model Acak adalah Error dengan var(Error) suatu

matriks korelasi uniform.

Asumsi untuk pengaruh blok acak adalah bahwa untuk setiap j, 𝛽𝑗~N(𝜇, 𝜎𝐵2), dan bebas

terhadap peubah sisaan yang semuanya bebas, ε𝑖𝑗~N(𝜇, 𝜎2). Dengan demikian, untuk setiap

pengamatan dalam setiap blok,

𝑣𝑎𝑟(𝑦𝑖𝑗)=𝑣𝑎𝑟(𝛽𝑗) + 𝑣𝑎𝑟(ε𝑖𝑗) = 𝜎𝐵2 + 𝜎2.

Jika kita mengambil dua pengamatan dari blok yang sama (katakana blok j), kita mendapatkan

pengaruh acak 𝛽𝑗 sama. Maka untuk pengamatan ke ith dan kth dalam blok j kita dapatkan

𝑐𝑜𝑣𝑎𝑟(𝑦𝑖𝑗 , 𝑦𝑘𝑗)=co𝑣𝑎𝑟(𝛽𝑗 + ε𝑖𝑗 , 𝛽𝑗 + ε𝑘𝑗) = 𝑣𝑎𝑟(𝛽𝑗) = 𝜎𝐵2

semua suku lain tak berkorelasi.

Jadi, dua pengamatan dalam blok yang sama memiliki ragam sama (𝜎𝐵2 + 𝜎2) tetapi

berkorelasi, dan setiap korelasi dalam suatu blok-sama, yakni nisbah antar ragam blok terhadap

ragam gabungan (blok + sisaan):

𝑐𝑜𝑟𝑟(𝑦𝑖𝑗, 𝑦𝑘𝑗) =𝜎𝐵

2

𝜎𝐵2 + 𝜎2

= 𝜃 katakan.

Model demikian dikenal sebagai matriks korelasi uniform dan untuk setiap blok memiliki

struktur


107

𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚 = (𝜎𝐵2 + 𝜎2) [

1 θ ⋯ θθ 1 θ θ⋮ θ ⋱ θθ θ ⋯ 1

]

Pengamatan-pengamatan dalam blok berbeda tidak berkorelasi, dan dengan demikian matriks

rancangan lengkap merupakan matriks blok diagonal dengan b matriks pada diagonal, semua

sama dengan 𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚:

𝑯 = 𝑣𝑎𝑟(𝒚)=Diag[𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚,⋯ , 𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚] = 𝑫𝚺 katakan.

Dengan Pendekatan 1, di mana kita memiliki pengaruh blok acak maka matriks ragam menjadi

𝑯 = 𝑹 + 𝒁𝑮𝒁𝑇 = 𝜎2𝑰𝑏𝑡+𝜎𝐵2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡, ⋯ , 𝑱𝑡] = 𝜎2𝐷𝑖𝑎𝑔𝑏[𝑰𝑡,⋯ , 𝑰𝑡]+𝜎𝐵

2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡,⋯ , 𝑱𝑡]

Dalam struktur ini, elemen diagonal adalah (𝜎2 + 𝜎𝐵2) dan di luar diagonal hanya 𝜎𝐵

2.

Kedua struktur ragam identik.

Hal ini mengakibatkan kita punya beberapa pilihan untuk menjelaskan pengaruh blok acak

dalam perancangan percobaan. Metode kedua penting ketika kita menggunakan REML untuk

mendapatkan model spasial seperti baris × kolom berstruktur AR1 × AR2. Mencoba

mendapatkan pengaruh Blok dalam Model Acak juga sebagai struktur korelasi AR1 × AR2

mengarah pada redundancy.


108

Teladan 2 Matriks diagonal:

Rancangan perlakuan satu-arah dengan perubahan ragam perlakuan

Matriks Diagonal untuk ragam sisaan yang paling banyak digunakan adalah ketika beberapa

atau semua ragam perlakuan dalam percobaan yang dirancang, berubah. Teladan sederhana

adalah uji t tidak berpasangan di mana ragam dua perlakuan berbeda. Telah disinggung tentang

properti bahwa implementasi statistik Wald yang diskalakan menghasilkan uji dan nilai P sama

that the implementation of an adjusted scaled Wald statistic produces the test and P values

(melalui t2 = F). Ini dikembangkan pada sebuah faktor dengan t taraf dan beberapa atau semua

ragam berbeda.

Pandang panjang dalam satuan ocular (x 0.114 = mm) dari potongan kapri yang ditumbuhkan

pada kultur jaringan dengan auxin (Sokal & Rohlf Ed3. halaman 218). Ini merupakan rancangan

acak lengkap.

Rep Control 2% glucose 2% fructose 1% glucose + 1% fructose 2% sucrose

1 75 57 58 58 62

2 67 58 61 59 66

3 70 60 56 58 65

4 75 59 58 61 63

5 65 62 57 57 64

6 71 60 56 56 62

7 67 60 61 58 65

8 67 57 60 57 65

9 76 59 57 57 62

10 68 61 58 59 67

rata-rata 70.1 59.3 58.2 58.0 64.1

ragam 15.878 2.678 3.511 2.000 3.211

Tidaklah sulit untuk melihat bahwa ragam kontrol berbeda dari ragam perlakuan gula yang

hampir sama. Hal biasa jika grup kontrol memiliki besaran statistik berbeda dari grup

perlakuan. Misal, dalam penelitian medis terhadap pasien sakit punggung, jika perlakuan yang

baik diberikan pada pasien tetapi tetap tidak menyembuhkan, For example, in a medical trial of

patients with back pain, if a treatment that actually works is given to patients, and if left

untreated the back pain persists, maka dapat diduga ragam berubah menurut waktu untuk grup


109

perlakuan so than for the untreated group. Jelas, ragam dapat bernilai nol untuk grup yang tidak

memiliki sakit punggung sesudah pengobatan!

Dalam percobaan di bidang pertanian, sangatlah umum jika ragam perlakuan berubah. Kasus ini

terjadi dalam percobaan kepadatan (perlakuan dengan jarak tanam berbeda) dan dalam

percobaan di mana contoh tanaman diambil pada waktu berbeda dalam siklus pertumbuhan

tanaman itu.

Maka pilihan Diagonal untuk faktor perlakuan dengan perubahan ragam, dibuat matriks ragam

untuk bagian perlakuan dari struktur sisaan:

𝑫 = 𝐷𝑖𝑎𝑔[𝜎12 𝜎2

2 ⋯ 𝜎52] memperkenankan perubahan raham 5 perlakuan

𝑫 = 𝐷𝑖𝑎𝑔[𝜎12 𝜎2

2 ⋯ 𝜎22] hanya ragam Control berbeda

Dalam luaran GenStat’s, penduga dilambangkan dengan d_1, d_2, dan seterusnya.

Sebagaimana dalam program GenStat mana pun, anda perlu menjelaskan struktur sisaan agar

struktur matriks korelasi yang sesuai dengan struktur sisaan dapat ditentukan. Ini dilakukan

melalui perintah Random Model dalam menu Linear Mixed Model. Semua data harus

diindeks, berarti jika terdapat 5 perlakuan yang diulang 10 kali, maka 50 data harus diindeks

menggunakan factor dengan panjang sesuai.

Maka anda dapat membuat faktor sepanjang 50 yang disebut Replicate. Dalam hal ini, GenStat

tidak membolehkan anda mendefinisikan perubahan ragam karena GenStat tidak mengetahui

perlakuan tertentu pada 50 data. Anda dapat append faktor perlakuan (namakan Sugar, dengan 5

taraf) terhadap faktor Replicate, tetapi akan menghasilkan terlalu banyak indeks dan

menghasilkan luaran yang membingungkan. Jadi, lebih baik membuat factor Rep , dengan

indeks hanya dari 1 hingga 10 saja. Maka Random Model akan berupa Rep.Sugar yang

mengindeks 10×5 = 50 titik data. Kemudian pilih Correlated Error Terms… dan anda melihat

bahwa default GenStat adalah

Rep.Sugar: Id × Id


110

Ingat bahwa Id menjelaskan matriks identitas (maka sisaan bebas) dengan order sesuai dengan

panjang faktor. Kita perlu memilih faktor Sugar, kemudian pilih Diagonal dari daftar drop-

down sesuai pilihan, kembali ke menu utama dan jalankan program.

Residual variance model Term Factor Model(order) Parameter Estimate s.e. Rep.Sugar Sigma2 1.000 fixed Rep Identity - - - Sugar Diagonal d_1 15.88 7.48 d_2 3.511 1.655 d_3 2.000 0.943 d_4 2.678 1.262 d_5 3.211 1.514

Estimated covariance models

Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix

Jika anda juga memilih Covariance Model dalam Options anda akan melihat bahwa GenStat

menjelaskan struktur ragam yang digunakan. Juga bahwa penduga-penduga ini merupakan

ragam contoh 5 perlakuan dalam percobaan ini.

GenStat menawarkan menu berbasis-REML, Meta Analysis > REML of Multiple

Experiments…, yang memberikan ragam berbeda untuk setiap taraf faktor. Masukkan model

tetap dan acak (yang terakhir dapat berbeda pada setiap taraf dari faktor yang menjelaskan

bagaimana ragam berubah) dan menjelaskan pula faktor yang menyebabkan perubahan ragam..

Misal, kita langsung mendapatkan ragam perlakuan:

Residual model for each experiment Experiment factor: Sugar Experiment Term Factor Model(order) Parameter Estimate s.e. Control Residual Identity Variance 15.880 7.480 Fructose Residual Identity Variance 3.511 1.655 GlucFruc Residual Identity Variance 2.000 0.943 Glucose Residual Identity Variance 2.678 1.262 Sucrose Residual Identity Variance 3.211 1.514


111

Untuk mendapatkan hanya dua ragam, satu untuk grup control dan lainnya untuk setiap

perlakuan dari empat perlakuan Sugar, dilakukan dengan cara yang sama. Suatu faktor perlu

ditata yang mengindeks data control atau satu dari perlakuan gula, dengan kolom faktor, 0/1.

Kita menamakan Ctrl vs Sugar (dengan 0 = Control dan 1 = Sugar). Gunakan menu Meta

Analysis Analysis > REML of Multiple Experiments… untuk mendapatkan:

Residual model for each experiment Experiment factor: Ctrl_vs_Sugar Experiment Term Factor Model(order) Parameter Estimate s.e. Control Residual Identity Variance 15.880 7.480 Sugar Residual Identity Variance 2.850 0.672

Catat:

Dalam analisis pertama, 5 penduga ragam identik dengan ragam contoh.

Dalam analisis kedua, penduga 2.85 sebenarnya adalah rata-rata terbobot dari empat ragam

perlakuan 2.678, 3.511, 2.000, 3.211, dan identik dengan Residual MS dari ANOVA untuk

empat perlakuan gula:

Analysis of variance

Source of variation d.f. s.s. m.s. v.r. F pr. Sugar 3 245.000 81.667 28.65 <.001 Residual 36 102.600 2.850 Total 39 347.600

Jika menggunakan “nested” fixed model Ctrl vs Sugar/Sugar, anda peroleh (1) uji

perbandungan rata-rata Control dengan rata-rata empat perlakuan Sugar, dan (2) uji

kesamaan rata-rata empat perlakuan gula:

Tests for fixed effects

Sequentially adding terms to fixed model Fixed term Wald statistic n.d.f. F statistic d.d.f. F pr Ctrl_vs_Sugar 62.71 1 62.71 9.8 <0.001 Ctrl_vs_Sugar.Sugar 85.96 3 28.65 36.0 <0.001


112

Catat bahwa statistik F untuk membandingkan empat rata-rata gula (sebenarnya

dilambangkan dengan Ctrl_vs_Sugar.Sugar) adalah 28.65, identik dengan uji F dari ANOVA

untuk empat perlakuan gula.

Statistik F pertama, 62.71, dengan derajat bebas penyebut 9.8, adalah uji t Sattherthwaite

(kuadratkan untuk memperoleh statistik F):

Rata-rata Control = 70.10, ragam = 15.878, reps = 10, df = 9

Rata-rata umum Sugar = 59.90, ragam = 2.850, reps = 40, df = 36

𝑡 =(70.10 − 59.90)

√15.87810 +

2.85040

= 7.92 dan 𝑡2 = 62.71

dengan derajat bebas penyebut:

𝑑𝑓 =((15.878

10⁄ ) + (2.85040⁄ ))

2

(15.87810⁄ )

2

9⁄ +

(2.85040⁄ )

2

36⁄

= 9.825

GenStat membulatkan menjadi 9.8 dalam output.

Tiga model (bebas, ragam berbeda untuk control dan kombinasi gula, ragam berbeda untuk

5 “perlakuan”) dengan mudah dibandingkan dengan perubahan devians:

Model ragam devians d.f. P

1. satu ragam 132.86 44

2. dua ragam, satu untuk kontrol, satu untuk lainnya 119.10 43

Perubahan (2 versus 1) 13.76 1 <0.001

3. Lima ragam berbeda 118.30 40

Perubahan (3 versus 2) 0.80 3 0.849

Tampak bahwa tidak perlu memiliki ragam berbeda untuk 5 grup perlakuan (P=0.849) tetapi

ragam berbeda diperlukan untuk kontrol (P<0.001).


113

Teladan 3 Rancangan acak lengkap dengan perlakuan acak

Pandang t perlakuan dipilih secara acak dari suatu himpunan perlakuan untuk melakukan

percobaan yang dirancang untuk mendapatkan informasi mengenai keluarga perlakuan ini.

Hanya terdapat satu pengaruh tetap, yakni rata-rata umum (hasil=respons). Kita mengasumsikan

bahwa ragam populasi perlakuan bersifat konstan. Maka model CRD adalah

Y𝑖𝑗 = 𝜇 + 𝜏𝑖 + 휀𝑖𝑗

dengan i = 1, …, t (perlakuan), j = 1, …, r (ulangan) dapat ditulis dalam bentuk matriks sebagai

𝒚 = 𝑿𝝉 + 𝒁𝒖 + 𝒆

di mana

𝒚 adalah vektor pengamatan berukuran n1,

𝝉 sekarang adalah scalar berisi hanya pengaruh tetap 𝜇, dengan matriks rancangan 𝑿

mengandung elemen 1𝑛 (setiap titik data memiliki rata-rata ini),

𝒖 adalah vector sepanjang t mengandung pengaruh acak 𝜏1, ⋯ , 𝜏𝑡, dengan matriks

rancangan 𝒁 berdimensi nr (di mana n = rt) yang menempatkan pengamatan pada

perlakuan yang sesuai. Untuk kemudahan, asumsikan bahwa terdapat r pengamatan dari

perlakuan 1 di atas, dan seterusnya.

𝒆 adalah vektor sisaan berukuran n1 dengan matriks ragam 𝑹 = 𝜎2𝑰𝑛.

Dengan alokasi ini pengamatan dari perlakuan, matriks 𝒁 berdimensi rt×t.

𝒁 = [

1𝑟 0𝑟 ⋯ 0𝑟

0𝑟 1𝑟 0𝑟 0𝑟

⋮ 0𝑟 ⋱ 0𝑟

0𝑟 0𝑟 ⋯ 1𝑟

],

𝑮 matriks berdimensi t×t mengandung elemen 𝜎𝑇2𝑰𝑡 maka

𝒁𝑮𝒁T = 𝜎𝑇2 [

𝑱𝑟 O𝑟 ⋯ O𝑟

O𝑟 𝑱𝑟 O𝑟 O𝑟

⋮ O𝑟 ⋱ O𝑟

O𝑟 O𝑟 ⋯ 𝑱𝑟

]=𝜎𝑇2𝐷𝑖𝑎𝑔𝑡[𝑱𝑟 , ⋯ , 𝑱𝑟],

sehingga

𝑯 = 𝑹 + 𝒁𝑮𝒁T = 𝜎2𝑰𝑟𝑡 + 𝜎𝑇2𝐷𝑖𝑎𝑔𝑡[𝑱𝑟 , ⋯ , 𝑱𝑟] = 𝐷𝑖𝑎𝑔𝑡[𝜎

2𝑰𝑟 + 𝜎𝑇2𝑱𝑟 , ⋯ , 𝜎2𝑰𝑟 + 𝜎𝑇

2𝑱𝑟]


114

Penjelasan:

Penjelasan untuk t=3, r=4, matriks rancangan untuk pengaruh blok acak 𝒁 berukuran 12 x 3

𝒁12×3 =

(

1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)

= (14 04 04

04 14 04

04 04 14

)

𝑹12×12 =

(

𝜎2 0 0 0 0 0 0 0 0 0 0 00 𝜎2 0 0 0 0 0 0 0 0 0 00 0 𝜎2 0 0 0 0 0 0 0 0 00 0 0 𝜎2 0 0 0 0 0 0 0 00 0 0 0 𝜎2 0 0 0 0 0 0 00 0 0 0 0 𝜎2 0 0 0 0 0 00 0 0 0 0 0 𝜎2 0 0 0 0 00 0 0 0 0 0 0 𝜎2 0 0 0 00 0 0 0 0 0 0 0 𝜎2 0 0 00 0 0 0 0 0 0 0 0 𝜎2 0 00 0 0 0 0 0 0 0 0 0 𝜎2 00 0 0 0 0 0 0 0 0 0 0 𝜎2)

= 𝜎2𝑰12

= 𝜎2𝐷𝑖𝑎𝑔3[𝑰4, 𝑰4, 𝑰4]

𝒁𝑮 = 𝜎𝑇2

(

1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)

(1 0 00 1 00 0 1

) = 𝜎𝑇2

(

1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)


115

𝒁𝑮𝒁𝑇 = 𝜎𝑇2

(

1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)

(1 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1

)

𝒁𝑮𝒁𝑇 = 𝜎𝑇2

(

1 1 1 1 0 0 0 0 0 0 0 01 1 1 1 0 0 0 0 0 0 0 01 1 1 1 0 0 0 0 0 0 0 01 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 10 0 0 0 0 0 0 0 1 1 1 10 0 0 0 0 0 0 0 1 1 1 10 0 0 0 0 0 0 0 1 1 1 1)

= 𝜎𝑇2 (

𝑱4 𝑶4 𝑶4

𝑶4 𝑱4 𝑶4

𝑶4 𝑶4 𝑱4

) = 𝜎𝑇2𝐷𝑖𝑎𝑔3[𝑱4, 𝑱4, 𝑱4]

𝑯 = 𝑹 + 𝒁𝑮𝒁𝑇 = 𝜎2𝐷𝑖𝑎𝑔3[𝑰4, 𝑰4, 𝑰4] + 𝜎𝑇2𝐷𝑖𝑎𝑔3[𝑱4, 𝑱4, 𝑱4]

= 𝐷𝑖𝑎𝑔3[𝜎2𝑰4+𝜎𝑇

2𝑱4, 𝜎2𝑰4 + 𝜎𝑇

2𝑱4, 𝜎2𝑰4+𝜎𝑇

2𝑱4 ]

Struktur ini relatif sederhana, maka kita akan memeriksa residual logLikelihood, yang

merupakan fungsi dari hanya 𝜎2 dan 𝜎𝑇2, daripada dua persamaan skor. Dalam kasus ini, kita

nyatakan 𝜎𝐻2 = 1:


2(log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚)

di mana 𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1.

Catat bahwa struktur 𝑯 identik dengan teladan sebelumnya (pada halaman 103) dengan

pertukaran lambang r dan t, dan juga 𝜎𝐵2 dan 𝜎𝑇

2 ditukar. Dengan demikian, kita memiliki:


116

𝑯−1 = 𝐷𝑖𝑎𝑔𝑡 [1

𝜎2(𝑰𝑟 −

𝜎𝑇2

(𝜎2 + 𝑟𝜎𝑇2)

𝑱𝑟) ,⋯ ,1

𝜎2(𝑰𝑟 −

𝜎𝑇2

(𝜎2 + 𝑟𝜎𝑇2)

𝑱𝑟)]

Kemudian, ada hasil di matematika yang menghitung |𝑎𝑰 + 𝑏𝑱| di mana kedua matriks

berdimensi n×n:

|𝑎𝑰𝑛 + 𝑏𝑱n| = 𝑎𝑛−1(𝑎 + 𝑛𝑏)

Maka, menarik log dan menggunakan properti bahwa log dari hasil kali adalah penjumlahan

log, yang dalam hal ini adalah sama:

log|𝑯| = 𝑡 × log[𝜎2(𝑟−1)(𝜎2 + 𝑟𝜎𝑇2)] = 𝑡(𝑟 − 1)log(𝜎2) + 𝑡log(𝜎2 + 𝑟𝜎𝑇

2)

Kemudian kita melihat struktur 𝑷 dan menghitung 𝒚𝑇𝑷𝒚.

Pertama, karena 𝑿 = 1𝑛, 𝑿𝑇𝑯−1𝑿 berupa skalar, 1𝑇𝑯−11 merupakan jumlah elemen matriks

𝑯−1 sedemikian, sehingga:

𝑿𝑇𝑯−1𝑿 = 1𝑇𝑯−11 =𝑡

𝜎2(𝑟 −

𝑟2𝜎𝑇2

𝜎2 + 𝑟𝜎𝑇2) =

𝑟𝑡

𝜎2(1 −

𝑟𝜎𝑇2

𝜎2 + 𝑟𝜎𝑇2) =

𝑟𝑡

𝜎2 + 𝑟𝜎𝑇2

Kemudian, vektor 𝑯−1𝒚 mengandung elemen ke-(i,j)th bernilai:

(𝑯−1𝒚) =1

𝜎2(𝑌𝑖𝑗 −

𝑟𝜎𝑇2

(𝜎2 + 𝑟𝜎𝑇2)

�̅�𝑖.) =1

𝜎2(𝑌𝑖𝑗 −

𝜎2 + 𝑟𝜎𝑇2 − 𝜎2

(𝜎2 + 𝑟𝜎𝑇2)

�̅�𝑖.)

= (1

𝜎2𝑌𝑖𝑗 − (

1

𝜎2−

1

(𝜎2 + 𝑟𝜎𝑇2)

) �̅�𝑖.)

Dari komponen pertama 𝒚𝑇𝑯−1𝒚, hasil terakhir menunjukkan bahwa:

𝒚𝑇𝑯−1𝒚 = ∑ ∑ 𝑌𝑖𝑗 (1


1

𝜎2−

1

(𝜎2+𝑟𝜎𝑇2)) �̅�𝑖.)𝑗𝑖

= ∑∑𝑌𝑖𝑗 (1

𝜎2(𝑌𝑖𝑗 − �̅�𝑖.) + (

1

(𝜎2 + 𝑟𝜎𝑇2)

) �̅�𝑖.)

𝑗𝑖

= ∑∑1

𝜎2(𝑌𝑖𝑗 − �̅�𝑖.)

2+

𝑟

(𝜎2 + 𝑟𝜎𝑇2)

𝑗𝑖

∑�̅�𝑖.2

𝑖

Melihat komponen berikut, suku (unsur) 𝑿𝑇𝑯−1𝒚 = 1𝑇𝑯−1𝒚, adalah skalar yang sama dengan

jumlah rt elemen dalam 𝑯−1𝒚:


117

𝑿𝑇𝑯−1𝒚 = ∑∑(1


1

𝜎2−

1

(𝜎2 + 𝑟𝜎𝑇2)

) �̅�𝑖.)

𝑗𝑖

=𝑟𝑡�̅�

𝜎2− (

𝑟𝑡�̅�

𝜎2−

𝑟𝑡�̅�

(𝜎2 + 𝑟𝜎𝑇2)

)

sehingga

𝑿𝑇𝑯−1𝒚 =𝑟𝑡�̅�

(𝜎2 + 𝑟𝜎𝑇2)

Hasil pertama 𝑿𝑇𝑯−1𝑿 =𝑟𝑡

𝜎2+𝑟𝜎𝑇2 dan terakhir 𝑿𝑇𝑯−1𝒚 =

𝑟𝑡�̅�

(𝜎2+𝑟𝜎𝑇2)

digunakan untuk

menghitung komponen dari 𝒚𝑇𝑷𝒚:

𝒚𝑇𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 =

(𝑟𝑡�̅�

(𝜎2 + 𝑟𝜎𝑇2)

)2

𝑟𝑡𝜎2 + 𝑟𝜎𝑇

2

=𝑟𝑡�̅�2


𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1.

Maka, kita mempunyai bentuk eksplisit residual logLikelihood sebagai


2[log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚]

log|𝑯| = 𝑡(𝑟 − 1)log(𝜎2) + 𝑡log(𝜎2 + 𝑟𝜎𝑇2)

log|𝑿𝑇𝑯−1𝑿| = log (𝑟𝑡

𝜎2 + 𝑟𝜎𝑇2)

𝒚𝑇𝑯−1𝒚 = ∑∑1

𝜎2(𝑌𝑖𝑗 − �̅�𝑖.)

2+

𝑟

(𝜎2 + 𝑟𝜎𝑇2)

𝑗𝑖

∑�̅�𝑖.2

𝑖

𝒚𝑇𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 =𝑟𝑡�̅�2


𝒚𝑇𝑷𝒚 = 𝒚𝑇𝑯−1𝒚 − 𝒚𝑇𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚

𝒚𝑇𝑷𝒚 = ∑∑1

𝜎2(𝑌𝑖𝑗 − �̅�𝑖.)

2+

𝑟

(𝜎2 + 𝑟𝜎𝑇2)

𝑗𝑖

∑�̅�𝑖.2

𝑖

−𝑟𝑡�̅�2


= 𝑐𝑜𝑛𝑠𝑡. −1

2[𝑡(𝑟 − 1)log(𝜎2) + 𝑡log(𝜎2 + 𝑟𝜎𝑇

2) + log (𝑟𝑡

𝜎2 + 𝑟𝜎𝑇2) +

∑∑1

𝜎2(𝑌𝑖𝑗 − �̅�𝑖.)

2+

𝑟

(𝜎2 + 𝑟𝜎𝑇2)

𝑗𝑖

∑�̅�𝑖.2

𝑖

−𝑟𝑡�̅�2

𝜎2 + 𝑟𝜎𝑇2]


118

= 𝑐𝑜𝑛𝑠𝑡∗ −1

2[𝑡(𝑟 − 1)log(𝜎2) + (𝑡 − 1)log(𝜎2 + 𝑟𝜎𝑇

2)

+1

𝜎2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

+𝑟

(𝜎2 + 𝑟𝜎𝑇2)

∑(�̅�𝑖. − �̅�)2

𝑖

]

𝜕

𝜕𝜎𝑇2 (𝑡(𝑟 − 1)log(𝜎2)) = 0

𝜕

𝜕𝜎𝑇2(𝑡 − 1)log(𝜎2 + 𝑟𝜎𝑇

2) = 𝑟(𝑡 − 1)


𝜕

𝜕𝜎𝑇2 (

1

𝜎2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

) = 0

𝜕

𝜕𝜎𝑇2 (

𝑟

(𝜎2 + 𝑟𝜎𝑇2)

∑(�̅�𝑖. − �̅�)2

𝑖

) = −𝑟2

(𝜎2 + 𝑟𝜎𝑇2)2

∑(�̅�𝑖. − �̅�)2

𝑖

−1

2(

𝑟(𝑡 − 1)

�̂�2 + 𝑟�̂�𝑇2 −

𝑟2

(�̂�2 + 𝑟�̂�𝑇2)2

∑(�̅�𝑖. − �̅�)2

𝑖

) = 0

𝑟(𝑡 − 1)

�̂�2 + 𝑟�̂�𝑇2 =

𝑟2

(�̂�2 + 𝑟�̂�𝑇2)2

∑(�̅�𝑖. − �̅�)2

𝑖

𝑟(𝑡 − 1) =𝑟2

�̂�2 + 𝑟�̂�𝑇2 ∑(�̅�𝑖. − �̅�)2

𝑖

�̂�2 + 𝑟�̂�𝑇2 =

𝑟2

𝑟(𝑡 − 1)∑(�̅�𝑖. − �̅�)2

𝑖

�̂�2 + 𝑟�̂�𝑇2 =

𝑟

(𝑡 − 1)∑(�̅�𝑖. − �̅�)2

𝑖


119

Menurunkan terhadap 𝜎𝑇2

𝜕ℓ𝑅

𝜕𝜎𝑇2 = −

1

2(

𝑟(𝑡 − 1)

𝜎2 + 𝑟𝜎𝑇2 −

𝑟2

(𝜎2 + 𝑟𝜎𝑇2)2

∑(�̅�𝑖. − �̅�)2

𝑖

)

Maka 𝜕ℓ𝑅

𝜕𝜎𝑇2 = 0 ketika

�̂�2 + 𝑟�̂�𝑇2 =

𝑟2

𝑟(𝑡 − 1)∑(�̅�𝑖. − �̅�)2

𝑖

=𝑟

(𝑡 − 1)∑(�̅�𝑖. − �̅�)2

𝑖

Catat bahwa ruas kanan adalah Treatment Mean Square dari CRD ANOVA dengan ulangan

sama.

Turunkan terhadap 𝜎2

𝜕ℓ𝑅

𝜕𝜎2= −

1

2(𝑡(𝑟 − 1)

𝜎2+

(𝑡 − 1)

𝜎2 + 𝑟𝜎𝑇2 −

1

𝜎4∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

−𝑟

(𝜎2 + 𝑟𝜎𝑇2)2

∑(�̅�𝑖. − �̅�)2

𝑖

)

Maka 𝜕ℓ𝑅

𝜕𝜎2 = 0 ketika

𝑡(𝑟 − 1)

�̂�2+

(𝑡 − 1)

�̂�2 + 𝑟�̂�𝑇2 −

1

�̂�4∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

−𝑟

(�̂�2 + 𝑟�̂�𝑇2)2

∑(�̅�𝑖. − �̅�)2

𝑖

= 0

Dari persamaan skor pertama gabungan suku kedua dan empat bernilai 0:

𝑟(𝑡−1)

�̂�2+𝑟�̂�𝑇2 −

𝑟2

(�̂�2+𝑟�̂�𝑇2)

2 ∑ (�̅�𝑖. − �̅�)2𝑖 = 0

𝑡(𝑟 − 1)

�̂�2−

1

�̂�4∑ ∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

+(𝑡 − 1)

�̂�2 + 𝑟�̂�𝑇2 −

𝑟

(�̂�2 + 𝑟�̂�𝑇2)2

∑(�̅�𝑖. − �̅�)2

𝑖

= 0

𝑡(𝑟 − 1)

�̂�2−

1

�̂�4∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

= 0

𝑡(𝑟 − 1)�̂�2 = ∑∑(𝑌𝑖𝑗 − �̅�𝑖.)2

𝑗𝑖


120

Maka hasil pendugaan secara sederhana adalah:

�̂�2 =1

𝑡(𝑟 − 1)∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

Ingat bahwa ruas kanan adalah Residual Mean Square dari ANOVA CRD dengan ulangan

sama.

Penjelasan: turunan terhadap 𝜎2

𝜕

𝜕𝜎2(𝑡(𝑟 − 1)log(𝜎2)) =

𝑡(𝑟 − 1)

𝜎2

𝜕

𝜕𝜎2(𝑡 − 1)log(𝜎2 + 𝑟𝜎𝑇

2) = (𝑡 − 1)


𝜕

𝜕𝜎2(

1

𝜎2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

) = −1

𝜎4∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

𝜕

𝜕𝜎2(

𝑟

(𝜎2 + 𝑟𝜎𝑇2)

∑(�̅�𝑖. − �̅�)2

𝑖

) = −𝑟

(𝜎2 + 𝑟𝜎𝑇2)2

∑(�̅�𝑖. − �̅�)2

𝑖

Ringkasan. Untuk rancangan acak lengkap dengan perlakuan acak:

1. Penduga REML untuk ragam sisaan adalah

�̂�2 =1

𝑡(𝑟 − 1)∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

Identik dengan Residual MS dari ANOVA untuk data.

2. Dua persamaan harus diselesaikan secara simultan, maka penduga REML ragam perlakuan

didapat dengan menggunakan �̂�2 dalam :

�̂�2 + 𝑟�̂�𝑇2 =

𝑟

(𝑡 − 1)∑(�̅�𝑖. − �̅�)2

𝑡

= 𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 𝑀𝑆 dari ANOVA

�̂�𝑇2 =

(𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 𝑀𝑆 − 𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆) dari ANOVA

𝑟


121

Cara lain untuk menjelaskan solusi ini adalah bahwa �̂�𝑇2 adalah ragam contoh dari rata-rata

perlakuan, dikurangi Res MS/r.

Lihat rancangan percobaan apa saja dalam buku teks. Secara klasik, tabel nilai harapan kuadrat

tengah rata-rata dihitung baik untuk perlakuan tetap (kadang disebut Model I) mau pun

perlakuan acak (kadang disebut Model II). Untuk rancangan ini, anda akan melihat bahwa

E(Treatment MS) 𝜎2 + 𝑟𝜎𝑇2

E(Residual MS) 𝜎2

Maka menyelesaikan dua persamaan ini menghasilkan penduga bagi 𝜎𝑇2; untuk rancangan

sederhana ini, solusi identik dengan solusi REML. Uji F akan dilakukan untuk menguji H0:

𝜎𝑇2 = 0 dengan membangun (hopefully) statistik F statistik menggunakan Treatment MS dibagi

dengan Residual MS. Hasil untuk rancangan lebih kompleks dan rancangan faktorial tidak

seimbang, tidak dapat diperoleh secara langsung. Maka kita harus mempelajari bagaimana

menguji hipotesis ini menggunakan suatu pendekatan REML.

Teladan sederhana, dari 3 ulangan untuk setiap 4 perlakuan yang dipilih secara acak,

menghasilkan:

Perlakuan

1 2 3 4

57 57 56 62

58 61 59 66

60 56 58 65

rata-rata 58.33 58 57.67 64.33

ragam 2.333 7 2.333 4.333

Residual MS dari ANOVA untuk rancangan ini adalah rata-rata ragam individu yakni 4.000. Ini

merupakan penduga REML bagi 𝜎2.

Ragam dari 4 rata-rata adalah 10.102. Karena setiap rata-rata dilandasi pada 3 ulangan,

Treatment MS adalah ragam ini scaled up oleh factor sebesar 3, menghasilkan 30.306.

Penduga REML untuk 𝜎𝑇2 adalah (10.102 – 4.000/3) = 8.769.


122

Ini adalah analisis dalam GenStat, dengan perlakuan dinyatakan acak:

REML variance components analysis

Response variate: yield Fixed model: Constant Random model: treat Number of units: 12 Residual term has been added to model Non-sparse algorithm with Fisher scoring

Estimated variance components

Random term component s.e. treat 8.769 8.275

Residual variance model Term Model(order) Parameter Estimate s.e. Residual Identity Sigma2 4.000 2.000

Table of predicted means for treat treat 1 2 3 4 58.50 58.21 57.92 63.71 Standard error: 1.096 Standard error of differences: 1.521

Lihat bahwa tidak ada nilai P untuk hipotesis H0: 𝜎𝑇2 = 0. Kita perlu menguji nilai parameter

dalam matriks ragam dengan perubahan dalam deviance.

Catat juga bahwa untuk perlakuan acak, kita hanya dapat meminta predicted treatment means,

yang akan kita diskusikan kemudian. Dalam GenStat, salah baku dan salah baku selisih rata-rata

perlakuan predicted hanya diperoleh dengan menggunakan metode Fisher Scoring untuk

algoritma REML, yang merupakan pilihan (dalam option).

Menguji H0: 𝝈𝑻𝟐 = 𝟎


123

Untuk melakukan uji ini, kita perlu menghitung logLikelihood sebagai solusi REML.

Pertama, ketika

�̂�2 =1

𝑡(𝑟 − 1)∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

Sehingga komponen dalam ℓ𝑅 adalah

1

�̂�2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

= 𝑡(𝑟 − 1)

Dengan cara yang sama, dari persamaan kedua kita hasilkan,

�̂�2 + 𝑟�̂�𝑇2 =

𝑟

(𝑡 − 1)∑(�̅�𝑖. − �̅�)2

𝑖

Maka:

𝑟

�̂�2 + 𝑟�̂�𝑇2 ∑(�̅�𝑖. − �̅�)2 = (𝑡 − 1)

𝑖

ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡∗ −1

2[𝑡(𝑟 − 1)log(𝜎2) + (𝑡 − 1)log(𝜎2 + 𝑟𝜎𝑇

2)

+1

𝜎2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)

2

𝑗𝑖

+𝑟

(𝜎2 + 𝑟𝜎𝑇2)

∑(�̅�𝑖. − �̅�)2

𝑖

]

Dua suku terakhir dalam ℓ𝑅 diganti oleh dua konstanta di atas, sehingga


2(𝑡(𝑟 − 1)log(�̂�2) + (𝑡 − 1)log(�̂�2 + 𝑟�̂�𝑇

2) + 𝑡(𝑟 − 1) + (𝑡 − 1))


2(𝑡(𝑟 − 1)log(�̂�2) + (𝑡 − 1)log(�̂�2 + 𝑟�̂�𝑇

2) + (𝑡𝑟 − 1))

Jika H0 benar, model hanya melibatkan rata-rata umum 𝜇 dan satu parameter ragam 𝜎2, Karena

tidak ada perlakuan, maka penduga REML merupakan ragam contoh dari semua data,

mengabaikan struktur perlakuan:

�̂�12 =

1

(𝑟𝑡 − 1)∑∑(𝑌𝑖𝑗 − �̅�)

2

𝑗𝑖

= 𝑇𝑜𝑡𝑎𝑙 𝑀𝑆 dari ANOVA

dan, di bawah model (reduksi) ini


124

ℓ𝑅;1 = 𝑐𝑜𝑛𝑠𝑡∗ −1

2((𝑡𝑟 − 𝑡 + 𝑡 − 1)log(�̂�2) + (𝑡𝑟 − 𝑡 + 𝑡 − 1))

ℓ𝑅;1 = 𝑐𝑜𝑛𝑠𝑡∗ −1

2((𝑟𝑡 − 1)log(�̂�2) + (𝑟𝑡 − 1))

Devians adalah -2 × logLikelihood,

𝐷𝑒𝑣𝑖𝑎𝑛𝑐𝑒 = −2ℓ𝑅;1 = 𝑐𝑜𝑛𝑠𝑡∗∗ + ((𝑟𝑡 − 1)log(�̂�12) + (𝑟𝑡 − 1))

𝐷𝑒𝑣𝑖𝑎𝑛𝑐𝑒 = −2ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡∗∗ + (𝑡(𝑟 − 1)log(�̂�2) + (𝑡 − 1)log(�̂�2 + 𝑟�̂�𝑇2) + (𝑡𝑟 − 1))

sehingga perubahan dalam 2 devians (model reduksi, jika H0 benar dikurangi model penuh di

bawah H1) untuk CRD dengan perlakuan acak adalah

𝑐ℎ𝑎𝑛𝑔𝑒 𝑖𝑛 𝑑𝑒𝑣𝑖𝑎𝑛𝑐𝑒 = (𝑟𝑡 − 1)log(�̂�12) − 𝑡(𝑟 − 1)log(�̂�2) − (𝑡 − 1)log(�̂�2 + 𝑟�̂�𝑇

2)

= (𝑟𝑡 − 1)log(𝑇𝑜𝑡𝑎𝑙 𝑀𝑆) − 𝑡(𝑟 − 1)log(𝑅𝑒𝑠 𝑀𝑆) − (𝑡 − 1)log(𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 𝑀𝑆)

Dengan demikian, jika data dianalisis dengan ANOVA atau regresi (asumsi perlakuan tetap)

akan menghasilkan luaran berikut:

Summary of analysis

Source d.f. s.s. m.s. v.r. F pr. treat 3 90.92 30.306 7.58 0.010 Residual 8 32.00 4.000 Total 11 122.92 11.174

Perubahan dalam deviance adalah

11 × ln(11.174) - 3 × ln(30.306) - 8 × ln(4.000) = 5.225

dilandasi pada 10 – 9 = 1 derajat bebas (jadi satu parameter yang diuji, yakni 𝜎𝑇2 = 0). Angka

10 dan 9 berasal dari devians residual logLikelihood: banyaknya titik data dikurangi

banyaknya parameter yang diuji dalam model.

Derajat bebas 10 berasal dari 12-2 parameter yang diduga yakni 𝜇 dan 𝜎2 sedangkan 9=12-3

(𝜇, 𝜎2 dan 𝜎𝑇2).

Devians dalam GenStat sedikit berbeda dari yang kita hitung, tetapi perubahan dalam devians

sama. Ini disebabkan dalam ekspresi, beberapa konstanta dilibatkan yang tidak terdapat dalam

GenStat. Dari GenStat kita dapatkan


125

Devians db P

Tidak ada perlakuan acak 40.03 10

Ada perlakuan acak 34.81 9

Selisih (perubahan) 5.22 1 0.022

Predicted treatment means

Pertanyaan berikut adalah bagaimana menduga rata-rata perlakuan. GenStat menyediakan rata-

rata Best Linear Unbiased Predictor (BLUP) untuk suku acak menggunakan menu Save.

Ini merupakan target biasa dalam genetika tanaman dan hewan, maka kita akan mengasumsikan

bahwa kita memilih secara acak strains dari beberapa tanaman untuk perlakuan.

Penduga BLUP hanya berlaku bagi pengaruh acak. Secara teknis, pengaruh Strain memiliki rata-

rata nol, dan ragam 𝜎𝑇2 menggunakan notasi yang telah kita gunakan. Namun, sesungguhnya

kita ingin meramal rata-rata genotip untuk setiap Strain. Kita menulis model sebagai

Yield = 𝜇 + strain effect + Error

Pada satu ekstrim, kita dapat menggunakan rata-rata contoh ke ith sebagai penduga (𝜇 + strain

effect) untuk strain ke ith. Ini sesuai ketika Strain bersifat tetap, dan dikenal sebagai Best Linear

Unbiased Estimator (BLUE). Penduga ini takbias tetapi memiliki ragam yang relatif besar.

Di ekstrim lain, tanpa ragam genetis, rata-rata umum cukup sebagai penduga bagi setiap strain.

Untuk data kita, ragam genetis adalah 𝜎𝑇2 yang berbeda nyata dari 0 (P = 0.022 untuk data).

Rata-rata BLUP is a compromise, or trade-off, antara kedua penduga ini dihitung dengan

penyusutan setiap rata-rata contoh strain sedemikian terhadap rata-rata umum. Derajat

penyusutan tergantung pada penduga ragam genetis dan lingkungan. Rasio penyusutan, ℎ2,

diberikan oleh:

ℎ2 =𝑔𝑒𝑛𝑒𝑡𝑖𝑐 𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒

𝑝ℎ𝑒𝑛𝑜𝑡𝑦𝑝𝑖𝑐 𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒=

𝜎𝑇2

𝜎𝑇2 + 𝜎2

𝑟⁄


126

di mana r adalah banyaknya ulangan pada setiap strain dan 𝜎2 ragam sisaan. Untuk data kita,

ℎ2 = 8.769/(8.769+4.000/3) = 0.868. Nisbah ini merupakan deviasi (selisih antara rata-rata

contoh strain dengan rata-rata umum). Ini mengurangi berbagai, menyebabkan pengaruh BLUP

dan juga rata-rata BLUP. Besaran-besaran ini kadang-kadang “menyusut” terhadap rata-rata

umum.

Pengaruh BLUP dan rata-rata BLUP didapat melalui menu Save dalam GenStat. Pilih untuk

menayangkan suku acak yang mungkin. Klik dua kali pada the random term yang BLUPS nya

akan anda simpan (dalam hal ini Strain).

Reduksi (adjustment) dalam tabel adalah ℎ2(deviasi terhadap rata-rata umum): pengurangan

ini ditambahkan pada rata-rata umum untuk menghasilkan rata-rata BLUP.

Jadi, ambil rata-rata dan rata-rata umum dari analisis, hitung (rata-rata – rata-rata umum) yang

kemudian dikalikan dengan ℎ2 = 0.868; hasil ini ditambahkan pada rata-rata umum untuk

mendapatkan best linear unbiased predictors untuk rata-rata strain:

Strain mean mean-grand mean adjustment BLUP

1 58.333 -1.250 -1.085 58.498

2 58.000 -1.583 -1.374 58.209

3 57.667 -1.917 -1.664 57.920

4 64.333 4.750 4.123 63.706

grand mean 59.583 0.000 0.000 59.583


127

Teladan 4 Contoh Acak Sederhana dengan sisaan berkorelasi AR(1)

Pengukuran pada individu sama yang dilakukan menurut waktu akan menyebabkan korelasi

serial. Disiplin Deret Waktu dikembangkan untuk menduga korelasi serial. Pada dasarnya,

suatu model autoregresif (tanpa tren musiman) berordo (lag) p adalah model di mana

pengamatan pada saat t bergantung langsung pada p pengamatan sebelumnya melalui model

𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +∑∅𝑖𝑌𝑡−𝑖

𝑝

𝑖=1

+ 𝜖𝑡

Suku sisaan menyebar normal dan bebas, dengan rata-rata 0 dan ragam 𝜎2.

Maka model AR(1) (atau AR1) hanya memiliki satu lag, 𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +∅1𝑌𝑡−1 + 𝜖𝑡. Untuk

kesederhanaan, tulis ∅1 sebagai 𝜌 (untuk menghindari subskrip). Maka 𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +𝜌𝑌𝑡−1 +

𝜖𝑡 dan

𝑣𝑎𝑟(𝑌𝑡) = 𝑣𝑎𝑟(𝑌𝑡−1) = 𝜎2 yang mengimplikasikan bahwa var(𝜖𝑡) = 𝜎2(1 − 𝜌2),

𝑉𝑎𝑟(𝑌𝑡) = 𝑉𝑎𝑟(𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +𝜌𝑌𝑡−1 + 𝜖𝑡) = 𝑉𝑎𝑟(𝑐𝑜𝑛𝑠𝑡. ) + 𝑉𝑎𝑟(𝜌𝑌𝑡−1) + 𝑉𝑎𝑟(𝜖𝑡)

𝑉𝑎𝑟(𝑌𝑡) = 0 + 𝜌2𝑉𝑎𝑟(𝑌𝑡−1) + 𝑉𝑎𝑟(𝜖𝑡)

𝜎2 = 𝜌2𝜎2 + 𝑉𝑎𝑟(𝜖𝑡) 𝑚𝑎𝑘𝑎 𝑉𝑎𝑟(𝜖𝑡) = 𝜎2 − 𝜌2𝜎2 = 𝜎2(1 − 𝜌2)

𝑐𝑜𝑣𝑎𝑟(𝑌𝑡, 𝑌𝑡−1) = 𝑐𝑜𝑣𝑎𝑟(𝜌𝑌𝑡−1 + 𝜖𝑡, 𝑌𝑡−1)

𝑐𝑜𝑣𝑎𝑟(𝑌𝑡, 𝑌𝑡−1) = 𝑐𝑜𝑣𝑎𝑟(𝜌𝑌𝑡−1, 𝑌𝑡−1) + 𝑐𝑜𝑣𝑎𝑟(𝜖𝑡, 𝑌𝑡−1)

𝜌 𝑐𝑜𝑣𝑎𝑟(𝑌𝑡−1, 𝑌𝑡−1) + 0 = 𝜌 𝑣𝑎𝑟(𝑌𝑡−1) = 𝜌𝜎2

𝑐𝑜𝑣𝑎𝑟(𝑌𝑡, 𝑌𝑡−2) = 𝑐𝑜𝑣𝑎𝑟(𝜌𝑌𝑡−1 + 𝜖𝑡, 𝑌𝑡−2)

= 𝑐𝑜𝑣𝑎𝑟(𝜌(𝜌𝑌𝑡−2, +𝜖𝑡−1) + 𝜖𝑡, 𝑌𝑡−2)

= 𝑐𝑜𝑣𝑎𝑟 (𝜌(𝜌𝑌𝑡−2, 𝑌𝑡−2)) = 𝜌2𝑐𝑜𝑣𝑎𝑟(𝑌𝑡−2, 𝑌𝑡−2) = 𝜌2𝑣𝑎𝑟(𝑌𝑡−2) = 𝜌2𝜎2

dan seterusnya, untuk lag k kita memiliki

𝑐𝑜𝑣𝑎𝑟(𝑌𝑡, 𝑌𝑡−𝑘) = 𝜌𝑘𝜎2


128

Dengan demikian model untuk {𝑌1,⋯ , 𝑌𝑛} dapat ditulis ulang dalam bentuk matriks sebagai

𝒚 = 𝝁1𝑛 + 𝒆∗, di mana

𝑣𝑎𝑟(𝒆∗) = 𝜎2

[

1 𝜌 𝜌2 … 𝜌𝑛−1

𝜌 1 𝜌 ⋯ 𝜌𝑛−2

𝜌2 𝜌 1 ⋯ 𝜌𝑛−3

⋮ ⋮ ⋮ ⋱ ⋮𝜌𝑛−1 𝜌𝑛−2 𝜌𝑛−3 ⋯ 1 ]

Pada dasarnya, metode deret waktu memberikan penduga kemungkinan maksimum bagi 𝜇, 𝜌

dan 𝜎2. Penduga REML tersedia dalam GenStat. Model berikut lebih kompleks, struktur AR2,

juga tersedia. Bentuk 𝑣𝑎𝑟(𝒆∗) untuk struktur AR(2) adalah sebagai berikut.

Pandang 𝑐𝑜𝑟𝑟(𝑌𝑡, 𝑌𝑡−𝑠) = 𝜌(𝑠). Maka pada (eg http://econ.ucsd.edu/muendler/teach/00s/ps1-

prt1.pdf, halaman 3):

𝜌(0) = 1

𝜌(1) =∅1

1 − ∅2

dan korelasi lag-s merupakan persamaan selisih ordo-kedua

𝜌(𝑠) = ∅1𝜌(𝑠 − 1) + ∅2𝜌(𝑠 − 2)

Khususnya,

𝜌(2) = ∅1𝜌(2 − 1) + ∅2𝜌(2 − 2) = ∅1𝜌(1) + ∅2𝜌(0) = ∅1

∅1

1 − ∅2+ ∅2(1)

= ∅1

∅1

1 − ∅2+

∅2(1 − ∅2)

1 − ∅2

𝜌(2) =∅1

2 + ∅2(1 − ∅2)

1 − ∅2,

𝜌(3) = ∅1𝜌(3 − 1) + ∅2𝜌(3 − 2) = ∅1𝜌(2) + ∅2𝜌(1) = ∅1

∅12 + ∅2(1 − ∅2)

1 − ∅2+ ∅2

∅1

1 − ∅2

=∅1

3 + ∅1∅2 − ∅1∅22 + ∅1∅2

1 − ∅2=

∅13 + 2∅1∅2 − ∅1∅2

2

1 − ∅2=

∅13 + ∅1∅2(2 − ∅2)

1 − ∅2

http://econ.ucsd.edu/muendler/teach/00s/ps1-prt1.pdf

http://econ.ucsd.edu/muendler/teach/00s/ps1-prt1.pdf


129

𝜌(3) =∅1

3 + ∅1∅2(2 − ∅2)

1 − ∅2, ⋯

Dalam membandingkan dengan matriks korelasi untuk fungsi AR(1) sulit untuk mengakses

apakah proses AR(2) berlaku hanya dengan melihat matriks korelasi pengamatan (contoh).

Pandang data deret waktu suhu yang dicatat pada satu individu pada 20 titik waktu berjarak

sama:

waktu suhu waktu suhu

1 37.70 11 35.18

2 38.08 12 37.03

3 38.70 13 35.92

4 38.30 14 35.19

5 36.47 15 34.33

6 35.20 16 33.96

7 34.37 17 33.56

8 34.88 18 34.77

9 33.54 19 34.95

10 33.75 20 35.64

Plot deret waktu memperlihatkan kecenderungan halus dalam suhu dibandingkan yang terjadi

karena kebetulan:

Turunan matriks untuk proses AR(1)

33

34

35

36

37

38

39

0 5 10 15 20 25

tem

pe

ratu

re

Time point


130

Model umum 𝒚 = 𝑿𝝉 + 𝒁𝒖 + 𝒆 sederhana untuk teladan ini. Hanya ada satu parameter tetap 𝜇

sehingga matriks 𝑿 = 1𝑛. Tidak terdapat pengaruh acak, dan matriks sisaan berbentuk

𝑣𝑎𝑟(𝒆∗) = 𝜎2

[

1 𝜌 𝜌2 … 𝜌𝑛−1

𝜌 1 𝜌 ⋯ 𝜌𝑛−2

𝜌2 𝜌 1 ⋯ 𝜌𝑛−3

⋮ ⋮ ⋮ ⋱ ⋮𝜌𝑛−1 𝜌𝑛−2 𝜌𝑛−3 ⋯ 1 ]

= 𝜎2𝑯

Kebalikan matriks 𝑯 berbentuk sederhana dalam hal parameter 𝜌. Telah diperlihatkan bahwa

𝑯−1 ada dan terdiri atas hanya 3 elemen berbeda. Setiap elemen dalam matriks adalah 0 kecuali

untuk elemen diagonal dan elemen yang berdekatan dengan diagonal utama:

𝑯11 = 𝑯𝑛𝑛 =1

1 − 𝜌2, 𝑯𝑖,𝑖±1 =

−𝜌

1 − 𝜌2, 𝑯𝑖𝑖 =

1 + 𝜌2

1 − 𝜌2, 𝑖 = 2,⋯ , 𝑛 − 1

jadi khususnya:

𝑯−1 =1

1 − 𝜌2

[

1 −𝜌 0 … 0 0

−𝜌 1 + 𝜌2 −𝜌 ⋯ 0 0

0 −𝜌 1 + 𝜌2 ⋯ 0 0⋮ ⋮ ⋮ ⋱ ⋮ ⋮0 0 0 ⋯ 1 + 𝜌2 −𝜌0 0 0 ⋯ −𝜌 1 ]

Ilustrasi untuk n=3

𝑯 = [

1 𝜌 𝜌2

𝜌 1 𝜌

𝜌2 𝜌 1

]

|𝑯| = 1 + 𝜌4 + 𝜌4 − 𝜌4 − 𝜌2 − 𝜌2 = 1 + 𝜌4 − 2𝜌2 = (1 − 𝜌2)2

𝑯−1 =1

(1 − 𝜌2)2[

1 − 𝜌2 −𝜌(1 − 𝜌2) 0

−𝜌(1 − 𝜌2) 1 − 𝜌4 −𝜌(1 − 𝜌2)

0 −𝜌(1 − 𝜌2) 1

]

1 − 𝜌4 = (1 + 𝜌2)(1 − 𝜌2)

𝑯−1 =1

(1 − 𝜌2)[

1 −𝜌 0

−𝜌 1 + 𝜌2 −𝜌0 −𝜌 1

]


131

Dari struktur ini kita dapatkan 𝑙𝑛|𝑯−1| = (𝑛 − 1)𝑙𝑛(1 − 𝜌2).

Karena 𝑿 = 1𝑛 maka 𝑿𝑇𝑯−1𝑿 secara sederhana adalah jumlah semua elemen dalam 𝑯−1 dan

sesudah perhitungan

𝑿𝑇𝑯−1𝑿 =𝑛 − (𝑛 − 2)𝜌

1 + 𝜌.

Hasil ini diperoleh dari penjumlahan semua elemen dalam matriks 𝑯−1. Pada diagonal utama

terdapat n elemen, n bernilai 1, n-2 buah 𝜌2 dan n-1 buah −𝜌 di atas diagonal utama dan juga

di bawah diagonal utama sehingga menjadi 2(n-1) buah – 𝜌. Dengan demikian persamaan yang

harus diselesaikan adalah:

𝑿𝑇𝑯−1𝑿 =𝑛 + (𝑛 − 2)𝜌2 − 2(𝑛 − 1)𝜌

(1 − 𝜌2)=

𝑛(+(𝑛 − 2)𝜌)(1 − 𝜌)

(1 − 𝜌)(1 + 𝜌)

Matriks 𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1 sedikit lebih kompleks, memiliki hanya 7

elemen berbeda dan mengambil bentuk:

𝑷 =1

(1 − 𝜌2)(𝑛 − (𝑛 − 2)𝜌)

[ 𝑎 𝑏 𝑐 𝑐 ⋯ 𝑐 𝑐 𝑑𝑏 𝑒 𝑓 𝑔 ⋯ 𝑔 𝑔 𝑐𝑐 𝑓 𝑒 𝑓 ⋯ 𝑔 𝑔 𝑐𝑐 𝑔 𝑓 𝑒 ⋯ 𝑔 𝑔 𝑐⋮ ⋮ ⋮ ⋮ ⋱ ⋮ ⋮ ⋮𝑐 𝑔 𝑔 𝑔 ⋯ 𝑔 𝑓 𝑐𝑐 𝑔 𝑔 𝑔 ⋯ 𝑓 𝑒 𝑏𝑑 𝑐 𝑐 𝑐 ⋯ 𝑐 𝑏 𝑎]

di mana

𝑎 = (𝑛 − 1) − (𝑛 − 3)𝜌,

𝑏 = −1 − (𝑛 − 2)𝜌 + (𝑛 − 3)𝜌2

𝑐 = −(1 − 𝜌)2

𝑑 = −(1 − 𝜌)

𝑒 = (𝑛 − 1) − (𝑛 − 5)𝜌 + (𝑛 − 3)(1 − 𝜌)𝜌2

𝑓 = 1 − (𝑛 − 3)𝜌 + (𝑛 − 5)𝜌2 + 𝜌3

𝑔 = −(1 − 𝜌)3


132

Ini mengarah pada struktur lebih sederhana



2) + log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚 𝜎𝐻2⁄ )

Yang tidak tergantung pada ekspresi matriks dalam perangkat komputer.

Penduga ML bagi parameter

Dalam GenStat kita memilih Stats > Time Series > ARIMA Model Fitting. Pilih data, dan

lakukan proses AR1 ganti Number of Autoregressive Parameters menjadi 1.

Time-series analysis

Residual deviance = 18.48 Innovation variance = 0.9753 Number of units present = 20 Residual degrees of freedom = 18

Summary of models

Orders: Delay AR Diff MA Seas Model Type B P D Q S _erp ARIMA - 1 0 0 1

Parameter estimates

Model Seas. Diff. Delay Parameter Lag Ref Estimate s.e. t Period Order Noise 1 0 - Constant - 1 35.892 0.952 37.69 Phi (AR) 1 2 0.802 0.139 5.78

Penduga kemungkinan maksimum bagi rata-rata adalah 35.892, dan untuk autokorrelasi

(korelasi lag-1) adalah 0.802. Dalam bahasa deret waktu, ragam inovasi, 0.9753, adalah ragam

sisaan bebas (t) dalam model Yt = 𝜌 Yt-1 + t. Ragam data berhubungan dengan ini melalui

persamaan var(Y) = 𝜌2var(Y) + var(t), atau var(Y) = var(t)/(1- 𝜌2). Jadi dari luaran kita

menghitung penduga bagi ragam ini sebesar 0.9753/(1-0.8022) = 2.69.

Penduga REML untuk parameter

Untuk menghasilkan luaran bagi struktur sisaan AR1 untuk data, kita memerlukan suatu faktor

yang mengindeks dari 1 hingga (dalam hal ini) 20; kita namakan faktor ini Time dan data Temp.


133

Pilih Stats > Linear Mixed Models, masukkan data dan Time sebagai Random Model: kemudian

pilih struktur AR order 1 dari daftar model dalam drop-down.


Response variate: Temp Fixed model: Constant Random model: Time Number of units: 20 Time used as residual term with covariance structure as below Sparse algorithm with AI optimisation

Covariance structures defined for random model Covariance structures defined within terms: Term Factor Model Order No. rows Time Time Auto-regressive (+ scalar) 1 20

Residual variance model Term Factor Model(order) Parameter Estimate s.e. Time Sigma2 4.600 8.260 Time AR(1) phi_1 0.8938 0.1929

Deviance: -2*Log-Likelihood

Deviance d.f. 18.26 17 Note: deviance omits constants which depend on fixed model fitted.

Table of predicted means for Constant 36.08 Standard error: 1.492

Penduga REML untuk autokorelasi adalah 0.8938, ragam REML untuk data diduga sebesar 4.6

dan penduga rata-rata 36.08. Deviance adalah -2 × Residual LogLikelihood.

Memeriksa parameter ragam dari model

Misal, kita mengasumsikan struktur AR(1) untuk temperatur. Kita dapat memeriksa ini

(menggunakan perubahan devians) apakah model atau struktur AR(2) secara nyata lebih baik.


134

Serangkaian model tersarang (dari lebih kompleks) adalah AR order 2, AR order 1 dan Id.

Hitung selisih devians dan dapatkan nilai P dari sebaran 2.

Sayangnya, rutin GenStat’s gagal konvergen untuk struktur AR2 untuk data ini. Untuk

memeriksa apakah struktur kebebasan tidak berlaku, kita memiliki ini:

Model devians db P

Independence 40.43 18

AR1 18.26 17

AR2 N/A

Difference 22.17 1 <0.001

Jadi struktur AR1 untuk data secara sangat nyata merupakan asumsi yang jauh lebih baik

dibandingkan asumsi kebebasan.

Teladan 5 Data pengamatan berulang, tak berstruktur/antedependence

Kadang peneliti akan mengukur satuan percobaan yang sama pada beberapa waktu berbeda.

Dalam masa pre-computer, split-plot analisis standar digunakan dengan waktu sebagai faktor

split. Kita telah melihat bahwa model seperti itu menganggap data berkorelasi secara uniform

dengan waktu. Hal ini tidaklah mungkin untuk banyak keadaan percobaan: lebih mungkin

bahwa korelasi lebih kuat untuk pengamatan yang dilakukan pada waktu berdekatan

dibandingkan jarak waktu jauh. Model yang biasa digunakan termasuk struktur AR1 dan AR2,

tak berstruktur dan antedependence order 1 dand order 2.

Seseorang harus juga mengantisipasi ragam yang berubah menurut waktu. Misal, jika

pengukuran dilakukan terhadap pertumbuhan seekor binatang terhadap fase pertumbuhan

eksponensial, kemungkinan besar ragam meningkat sesuai waktu. Di sisi lain, pasien yang

menjalani pengobatan sakit punggung kemungkinan kecil mengalami pengurangan rasa sakit,

dan jika pengobatan 100% berhasil, ragam di akhir pengobatan haruslah 0!

GenStat memiliki menu khusus untuk blok satu-arah sederhana atau rancangan tanpa blok, yang

menawarkan model korelasi biasa yang telah dijelaskan sebelumnya, juga perubahan ragam.

Untuk memperlihatkan beragam model, kita pertimbangkan teladan GenStat’s untuk

“mempelajari pengaruh cairan preserving pada kandungan enzim hati anjing”. Peubah yang


135

diukur adalah persentase total enzim dalam hati, pada interval satu dan dua jam (dari jam ke-0

hingga 6, kemudian pada jam 8, 10 dan 12) selama periode 12 jam mengikuti preservasi awal.

Terdapat dua perlakuan yang dilabelkan A dan B masing-masing dengan dua level. Hanya 23

hati digunakan, 6 hati untuk tiga kombinasi perlakuan dan 5 hati untuk lainnya. Dengan

demikian rancangan tak seimbang (unbalanced).

A1, B1 A1, B2 A1, B3 …

Time Heart 1 Heart 2 Heart 3 …

1 85.51 76.54 66.03 …

2 74.56 72.77 66.67 …

3 84.25 86.93 77.57 …

… … … … …

Jarak antar waktu tidak sama, dengan demikian struktur AR1 dan AR2 tidak sesuai. Model

pangkat adalah alternatif yang mungkin bagi model AR1, tetapi ini merupakan struktur yang

sangat rigid dan pada umumnya model antedependence dan model tak berstruktur lebih baik.

Catat bahwa sifat data (persentase total enzim dalam hati) menyarankan perubahan struktur

ragam, karena ragam persentase biasanya merupakan fungsi dari persentase rata-rata. Kedua

model, baik model antedependence mau pun tak berstruktur models melibatkan perubahan

ragam menurut waktu, tetapi kita mungkin perlu juga membiarkan ragam berubah menurut

perlakuan.

Jumat, 10 April malam, sampai di sini.

(a) Model tak berstruktur

Gunakan Stats > Repeated Measurements > Correlation Models dalam REML. Data kita

sebenarnya gabungan (stacked), jadi gunakan Data in One Variate… masukkan data (ATP).

Kotak subjek box meminta suatu faktor yang menjelaskan berbagai satuan percobaan; misal kita

gunakan heart. Ada satu faktor yang telah disiapkan untuk Time Points (time). Dalam kotak

Fixed Model: A*B*time karena rancangan perlakuan faktorial.

Terdapat 10 titik waktu dan 10×23 = 230 nilai data sehingga db untuk Total MS adalah 229.

Suatu model korelasi tak terstruktur untuk 10 titik data memiliki 10×11/2 = 55 parameter

individu dan dengan demikian terdapat cukup derajat bebas untuk menduga model tak

terstruktur.


136

Penduga parameter dicetak dalam output dalam bentuk kolom:

Residual variance model Term Factor Model(order) Parameter Estimate s.e. heart.time Sigma2 1.000 fixed heart Identity - - - time Unstructured v_11 17.41 5.65 v_21 7.140 5.409 v_22 29.01 9.41 v_31 5.549 6.176 v_32 12.26 8.29 v_33 39.86 12.93 v_41 5.790 6.102 etc

Lambang v_11 menjelaskan ragam pada waktu 1, v_22 ragam pada titik waktu 2, dan seterusnya;

v_21 menjelaskan peragam antar titik waktu 1 dan 2, v_31 peragam antar waktu1 dan 3, dan

seterusnya. Ada Option untuk memilih (Covariance Model) untuk disajikan dalam bentuk

matriks:


Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix Residual term: heart.time Sigma2: 1.000 R uses direct product construction Factor: heart Model: Identity ( 23 rows) Factor: time Model: Unstructured Covariance matrix: 1 17.4 2 7.1 29.0 3 5.5 12.3 39.9 4 5.8 10.4 10.3 38.7 5 19.4 21.4 27.7 -1.2 105.1 6 4.3 8.8 7.7 8.0 -2.0 45.3 7 9.2 27.7 30.2 9.8 41.6 39.4 141.4 8 6.0 28.6 45.6 30.1 66.3 37.2 99.5 159.7 9 -2.7 16.1 15.2 -5.5 34.9 13.7 72.2 73.0 126.2


137

10 7.4 8.4 1.4 0.8 -2.3 42.3 105.6 59.2 79.1 158.0 1 2 3 4 5 6 7 8 9 10

Jadi ragam pada 10 titik waktu berkisar antara 17.4 pada waktu 0 (waktu dilambangkan

dengan 1 hingga 10, anda perlu melihat titik waktu sesungguhnya dalam spreadsheet), hingga

158.0 pada jam 12; vaguely meningkat dengan ragam rendah pada jam 6.

Lebih baik menyajikan ini dalam bentuk matriks korelasi:

Korelasi menurut waktu

1 2 3 4 5 6 7 8 9 10

1 *

2 0.32 *

3 0.21 0.36 *

4 0.22 0.31 0.26 *

5 0.45 0.39 0.43 -0.02 *

6 0.15 0.24 0.18 0.19 -0.03 *

7 0.19 0.43 0.40 0.13 0.34 0.49 *

8 0.11 0.42 0.57 0.38 0.51 0.44 0.66 *

9 -0.06 0.27 0.21 -0.08 0.30 0.18 0.54 0.51 *

10 0.14 0.12 0.02 0.01 -0.02 0.50 0.71 0.37 0.56 *

Anda dapat melihat bahwa model pangkat (kuasa=power) mungkin bukan pendekatan yang

baik. Misal, jika 0.3 adalah autokorelasi umum (bukan, karena berkisar antara -0.03 dan +0.66)

anda tentu berharap untuk melihat suatu pola 0.3, 0.09, 0.027, … padahal korelasi antar waktu 1

dan waktu 2, 3, … adalah 0.32, 0.21. 0.22, 0.45 dst.

Devians untuk model ini adalah:

Deviance: -2*Log-Likelihood

Deviance d.f. 960.98 135

(b) Model-model antedependence

Model-model antedependence adalah cara untuk memperbolehkan ragam untuk berubah

menurut waktu dan juga untuk menghasilkan korelasi tetangga terdekat (order 1) atau korelasi

antar tetangga terdekat berjarak dua (order 2) dari model tak terstruktur, tetapi dengan sedikit

parameter. Suatu model berstruktur antedependence order r didefinisikan berdasarkan fakta

bahwa pengamatan ke ith (i > r) berdasarkan r pengamatan sebelumnya bebas terhadap semua


138

pengamatan sesudahnya. GenStat membolehkan r = 1 atau 2. Definisi ini menyebabkan struktur

matriks korelasi berdasarkan dekomposisi Cholesky dari kebalikannya.

Untuk model antededendence order-1, (1) ragam berubah menurut waktu, dan (2) struktur

korelasi mengambil bentuk:

𝑪𝒐𝒓𝒓 =

[

1𝜌1 1

𝜌1𝜌2 𝜌2 1

𝜌1𝜌2𝜌3 𝜌2𝜌3 𝜌3 1⋮ ⋮ ⋮ ⋯ ⋱ ]

Secara matematis, struktur antedependence berbentuk 𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1𝑼𝑇, di mana 𝑫 adalah

matriks diagonal dan 𝑼 sedemikian sehingga

𝑼 =

[ 1 𝑢12 0 0 00 1 𝑢23 0 00 0 1 𝑢34 00 0 0 1 ⋱⋮ ⋮ ⋮ ⋯ ⋱]

untuk order 1, dan 𝑼 =

[ 1 𝑢12 𝑢13 0 00 1 𝑢23 𝑢24 00 0 1 𝑢34 𝑢35

0 0 0 1 ⋱⋮ ⋮ ⋮ ⋯ ⋱ ]

order 2.

Untuk struktur order 1, korelasi antar ketetanggaan-1 titik waktu, bernilai sama sebagaimana

dengan di luar diadonal utama pada matriks korelasi tak berstruktur; untuk order 2, korelasi

antar tetangga-1 dan -1 titik waktu sama dengan letak dua dari diagonal utama matriks korelasi

tak berstruktur. Korelasi tersisa kemudian menurun dalam proporsi terhadap himpunan korelasi

pada waktu sebelumnya.

Sebelum melihat luaran teladan ini, kita harus memeriksa (dengan perubahan devians) apakah

dibutuhkan model order-1 atau order-2, dan apakah korelasi uniform harus ditambahkan pada

faktor heart, di mana, dari diskusi yang telah kita lakukan pada blok acak, ekivalen dengan

menyatakan heart sebagai faktor random. Tujuan manual ini adalah untuk menjelaskan luaran,

sehingga kita hanya akan melihat luaran antependence-2.

Model Devians db

AR2 1064.13 187

AR1 1074.74 188

Perubahan 10.61 1 0.0011


139

Jadi struktur AR1 untuk data secara sangat nyata merupakan asumsi yang jauh lebih baik

dibandingkan AR2.


Response variate: ATP Fixed model: Constant + time + A + B + time.A + time.B + A.B + time.A.B Random model: heart.time Number of units: 230 heart.time used as residual term with covariance structure as below

Covariance structures defined for random model Covariance structures defined within terms: Term Factor Model Order No. rows heart.time heart Identity 0 23 time Antedependence 2 10

Residual variance model Term Factor Model(order) Parameter Estimate s.e. heart.time Sigma2 1.000 fixed heart Identity - - - time Antedependence(2) dinv_1 0.05744 0.01869 dinv_2 0.03835 0.01247 dinv_3 0.02918 0.00955 dinv_4 0.02942 0.00959 dinv_5 0.01191 0.00390 dinv_6 0.02292 0.00753 dinv_7 0.01120 0.00371 dinv_8 0.01149 0.00385 dinv_9 0.01192 0.00390 dinv_10 0.009353 0.003034 u_12 -0.4101 0.2826 u_13 -0.1616 0.3451 u_23 -0.3829 0.2642 u_24 -0.2875 0.2702 u_34 -0.1687 0.2286 u_35 -0.7544 0.3584 u_45 0.2308 0.3565 u_46 -0.2055 0.2511 u_56 0.01616 0.15237 u_57 -0.4122 0.2159 u_67 -0.8861 0.3323 u_68 -0.2745 0.3848 u_78 -0.6275 0.2141 u_79 -0.3365 0.2455 u_89 -0.2474 0.2267 u_810 -0.1149 0.2347 u_910 -0.5601 0.2596

Ini merupakan penduga elemen

diagonal matriks 𝑫 dalam

persamaan

𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1𝑼𝑇

Ini adalah penduga bukan-nol

dari matriks khusus 𝑼 dalam

persamaan

𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1𝑼𝑇


140

Daftar penduga digunakan untuk membangun penduga matriks peragam dalam persamaan

𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1𝑼𝑇. Lagi, memilih option Correlated Model dalam GenStat mencetak 10 baris

pertama matriks ini.


Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix Residual term: heart.time Sigma2: 1.000 R uses direct product construction Factor: heart Model: Identity ( 23 rows) Factor: time Model: Antedependence Covariance matrix: 1 17.4 2 7.1 29.0 3 5.5 12.3 39.9 4 3.0 10.4 10.3 38.7 5 3.5 6.8 27.7 -1.2 105.1 6 0.6 2.0 1.7 8.0 -1.9 45.3 7 1.9 4.6 12.9 6.6 41.6 39.3 141.3 8 1.4 3.5 8.5 6.3 25.6 37.1 99.5 159.7 9 1.0 2.4 6.5 3.8 20.3 22.4 72.2 73.0 126.2 10 0.7 1.7 4.6 2.8 14.3 16.8 51.9 59.2 79.1 158.0 1 2 3 4 5 6 7 8 9 10

Bandingkan matriks peragam ini dengan yang yang berasal dari unstructured. Ragam-ragam

identic, dan karena luaran di atas untuk order-1 model antedependence, 2 baris di bawah

diagonal (cetak tebal) juga identik.

1 17.4 2 7.1 29.0 3 5.5 12.3 39.9 4 5.8 10.4 10.3 38.7 5 19.4 21.4 27.7 -1.2 105.1 6 4.3 8.8 7.7 8.0 -2.0 45.3 7 9.2 27.7 30.2 9.8 41.6 39.4 141.4 8 6.0 28.6 45.6 30.1 66.3 37.2 99.5 159.7 9 -2.7 16.1 15.2 -5.5 34.9 13.7 72.2 73.0 126.2 10 7.4 8.4 1.4 0.8 -2.3 42.3 105.6 59.2 79.1 158.0 1 2 3 4 5 6 7 8 9 10


141

Jika model order-1 dipilih, matriks peragam hanya menunjukkan kesamaan pada diagonal

utama dan satu sesudah diagonal:

1 17.4 2 7.1 29.0 3 3.0 12.3 39.9 4 0.8 3.2 10.3 38.7 5 0.0 -0.1 -0.3 -1.2 105.1 6 0.0 0.0 0.0 0.0 -2.0 45.3 7 0.0 0.0 0.0 0.0 -1.7 39.4 141.4 8 0.0 0.0 0.0 0.0 -1.2 27.7 99.5 159.7 9 0.0 0.0 0.0 0.0 -0.5 12.7 45.5 73.0 126.2 10 0.0 0.0 0.0 0.0 -0.3 7.9 28.5 45.7 79.1 158.0 1 2 3 4 5 6 7 8 9 10

Terdapat t(t+1)/2 parameter yang terlibat dalam model tak berstruktur untuk deret waktu dengan

t titik waktu. Dalam kasus model antedependence, untuk kehilangan ketepatan pada korelasi

order-rendah, kita gunakan struktur korelasi dengan sedikit parameter: untuk order-1 terdapat re

t+(t-1) = 2t-1 (untuk t=10, 19 lawan 55 sekitar satu per tiga); untuk order-2 terdapat t+(t-1)+(t-

2) = 3(t-1) (untuk t=10, 27 lawan 55 sekitar satu setengah).

Model Devians db

Selisih

devians

Selisih

db Nilai P

Unstructured 960.98 135

Antedependence 2 1009.29 163 48.31 28 0.009921

Antedependence 1 1021.84 171 12.55 8 0.128299

Stuktur antedependence 2 lebih sesuai untuk model sisaan dibandingkan unstructured,

sedangkan antedependence 1 tak nyata, sehingga model yang lebih tepat menjelaskan ragam

sisaan adalah antedependence 2.

Antedependence order-2

Dalam model antededendence ordo-2, hipotesis yang diuji adalah 𝐻0: 𝚺 = (𝑼2𝑫2−1𝑼2

𝑇)−1

𝑼2 dan 𝑫2 adalah matriks-matriks dalam antedependence ordo-2

Penjelasan tentang derajat bebas.


142

𝑼2 =

[ 1 𝑢12 𝑢13 0 0 0 0 0 0 00 1 𝑢23 𝑢24 0 0 0 0 0 00 0 1 𝑢34 𝑢35 0 0 0 0 00 0 0 1 𝑢45 𝑢46 0 0 0 00 0 0 0 1 𝑢56 𝑢57 0 0 00 0 0 0 0 1 𝑢67 𝑢68 0 00 0 0 0 0 0 1 𝑢78 𝑢79 00 0 0 0 0 0 0 1 𝑢89 𝑢8′10

0 0 0 0 0 0 0 0 1 𝑢9′10

0 0 0 0 0 0 0 0 0 1 ]

𝑫2 =

[ 𝑑1 0 0 0 0 0 0 0 0 00 𝑑2 0 0 0 0 0 0 0 00 0 𝑑3 0 0 0 0 0 0 00 0 0 𝑑4 0 0 0 0 0 00 0 0 0 𝑑5 0 0 0 0 00 0 0 0 0 𝑑6 0 0 0 00 0 0 0 0 0 𝑑7 0 0 00 0 0 0 0 0 0 𝑑8 0 00 0 0 0 0 0 0 0 𝑑9 00 0 0 0 0 0 0 0 0 𝑑10]

Penjelasan tentang derajat bebas.

𝑫2 = 𝑑𝑖𝑎𝑔[𝑑1, 𝑑2, ⋯ , 𝑑10] memiliki t=10 parameter

𝑼2 memiliki (t-1)+(t-2)=(10-1)+(10-2)=17 parameter

Total parameter kedua matriks 10+17=27 parameter atau 3t-3=3(t-1)=3(10-1)=27

Antedependence order-1

Dalam model antedependence ordo-1, hipotesis yang diuji adalah 𝐻0: 𝚺 = (𝑼1𝑫1−1𝑼1

𝑇)−1

𝑼1 dan 𝑫1 = 𝑫2 adalah:

𝑼1 =

[ 1 𝑢12 0 0 0 0 0 0 0 00 1 𝑢23 0 0 0 0 0 0 00 0 1 𝑢34 0 0 0 0 0 00 0 0 1 𝑢45 0 0 0 0 00 0 0 0 1 𝑢56 0 0 0 00 0 0 0 0 1 𝑢67 0 0 00 0 0 0 0 0 1 𝑢78 0 00 0 0 0 0 0 0 1 𝑢89 00 0 0 0 0 0 0 0 1 𝑢9′10

0 0 0 0 0 0 0 0 0 1 ]

𝑫1 = 𝑫2 = 𝑑𝑖𝑎𝑔[𝑑1, 𝑑2, ⋯ , 𝑑10] matriks diagonal, memiliki t=10 parameter


143

𝑼1 memiliki (t-1)=(10-1)=9 parameter

Total parameter kedua matriks 10+9=19 parameter atau t+(t-1)=2t-1=19

Selisih derajat bebas antara antedependence 2 dan 1: 27-19=8 atau 3(t-1)-(2t-1)=t-2=10-2=8

Model Unstructure:

Dalam model unstructured, tak ada hipotesis Karena kita membuat semua matriks.

Matriks ragam-peragam 𝚺:

𝚺 =

[

σ12 𝜎12 𝜎13 𝜎14 𝜎15 𝜎16 𝜎17 𝜎18 𝜎19 𝜎1,10

𝜎21 𝜎22 𝜎23 𝜎24 𝜎25 𝜎26 𝜎27 𝜎28 𝜎29 𝜎2,10

𝜎31 𝜎32 𝜎32 𝜎34 𝜎35 𝜎36 𝜎37 𝜎38 𝜎39 𝜎3,10

𝜎41 𝜎42 𝜎43 𝜎42 𝜎45 𝜎46 𝜎47 𝜎48 𝜎49 𝜎4,10

𝜎51 𝜎52 𝜎53 𝜎54 𝜎52 𝜎56 𝜎57 𝜎58 𝜎59 𝜎5,10

𝜎61 𝜎62 𝜎63 𝜎64 𝜎65 𝜎62 𝜎67 𝜎68 𝜎69 𝜎6,10

𝜎71 𝜎72 𝜎73 𝜎74 𝜎75 𝜎76 𝜎72 𝜎78 𝜎79 𝜎7,10

𝜎81 𝜎82 𝜎83 𝜎84 𝜎85 𝜎86 𝜎87 𝜎82 𝜎89 𝜎8,10

𝜎91 𝜎92 𝜎93 𝜎94 𝜎95 𝜎96 𝜎97 𝜎98 𝜎92 𝜎9′10

𝜎10,1 𝜎10,2 𝜎10,3 𝜎10,4 𝜎10,5 𝜎10,6 𝜎10,7 𝜎10,8 𝜎10,9 𝜎102 ]

Ingat bahwa 𝜎12 = 𝜎21 karena 𝚺 bersifat setangkup, maka banyaknya parameter adalah

∑ 𝑖10𝑖=1 =

10(10+1)

2= 55 atau t(t+1)2

Perubahan derajat bebas dari model unstructured menjadi antedependence-2 sebesar 28 berasal

dari 55-27=28

Dilihat dari derajat bebas Devians:

db antedependence 2 – db unstructured =163-135=28

db antedependence 1 – db antedependence 2 =171-163=8

Teladan 6 Model-model spasial berstruktur, AR1 × AR1

Kita akan menggunakan teladan dalam pedoman GenStat tentang REML, data Slate Hall.

Denah lapang dan data adalah sebagai berikut. Kita menukar baris dan kolom agar cukup pada

halaman.

Yield


144

Row

Column 1 2 3 4 5 6 7 8 9 10

1 10.03 15.31 11.26 12.61 14.58 16.23 13.31 12.11 13.88 14.43

2 13.56 15.40 14.00 14.23 20.36 18.62 14.17 14.11 14.53 16.67

3 14.12 12.50 13.29 11.10 21.19 16.45 16.11 11.83 13.84 15.49

4 12.39 16.58 12.87 17.35 19.12 18.88 14.54 15.50 16.69 14.59

5 15.08 11.85 15.55 16.17 18.93 15.27 17.90 16.60 17.38 17.22

6 19.67 16.05 13.95 18.20 17.48 16.06 17.67 15.26 18.45 15.83

7 15.72 15.50 16.96 13.51 14.50 18.42 19.17 16.81 17.00 14.90

8 19.69 15.00 15.70 12.97 17.40 11.86 12.64 15.45 15.28 16.07

9 17.47 16.42 14.04 14.12 14.50 14.62 10.60 12.90 13.73 13.15

10 15.98 15.04 12.85 15.06 15.23 12.42 9.51 9.76 12.40 11.74

11 16.30 16.80 14.73 15.12 13.64 10.82 11.30 12.40 12.52 14.43

12 16.33 15.26 17.61 13.55 16.90 13.04 12.66 11.81 15.91 16.49

13 12.55 14.52 16.95 15.24 13.34 12.67 12.89 9.17 14.28 14.07

14 12.77 14.80 13.64 14.78 12.39 12.66 12.60 12.87 15.09 13.15

15 15.72 14.82 17.90 13.71 15.57 12.00 11.74 9.75 12.73 13.18

Allocation of varieties and replicates

Row/Replicate outline marked

Column 1 2 3 4 5 6 7 8 9 10

1 1 6 21 11 16 3 1 5 2 4

2 2 7 22 12 17 18 16 20 17 19

3 4 9 24 14 19 8 6 10 7 9

4 3 8 23 13 18 13 11 15 12 14

5 5 10 25 15 20 23 21 25 22 24

6 19 8 11 22 5 16 12 4 25 8

7 23 12 20 1 9 24 20 7 3 11

8 2 16 24 10 13 10 1 18 14 22

9 6 25 3 14 17 13 9 21 17 5

10 15 4 7 18 21 2 23 15 6 19

11 18 5 6 24 12 10 12 19 21 3

12 25 7 13 1 19 4 6 13 20 22

13 9 16 22 15 3 17 24 1 8 15

14 11 23 4 17 10 11 18 25 2 9

15 2 14 20 8 21 23 5 7 14 16

Rancangan ini sesungguhnya lattice seimbang tetapi tampak lebih berhasil jika dimodelkan

dengan model spasial struktur AR1 untuk baris dan kolom.

Menu Linear Mixed Models dapat, dan tentu, digunakan untuk menganalisis data secara spasial,

tetapi GenStat menawarkan menu khusus dengan informasi yang anda butuhkan. Pilih Stats >

Mixed Models (REML) > Spatial Models>Regular Grid. Kolom 1 sampai 15 membentuk faktor

fieldcolumn, dan baris 1 sampai 10 membentuk faktor fieldrow.


145

Model ini mengabaikan set up Random Model (which would be fieldrow.fieldcolumn) dalam

menu umum, menggunakan AR1 sebagai model korelasi untuk kedua factor.


Response variate: yield Fixed model: Constant + variety Random model: fieldrow.fieldcolumn Number of units: 150 fieldrow.fieldcolumn used as residual term with covariance structure as below Sparse algorithm with AI optimisation

Covariance structures defined for random model Covariance structures defined within terms: Term Factor Model Order No. rows fieldrow.fieldcolumn fieldrow Auto-regressive (+ scalar) 1 10 fieldcolumn Auto-regressive 1 15

Residual variance model Term Factor Model(order) Parameter Estimate s.e. fieldrow.fieldcolumn Sigma2 3.876 0.775 fieldrow AR(1) phi_1 0.4586 0.0826 fieldcolumn AR(1) phi_1 0.6838 0.0633



146

Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix Residual term: fieldrow.fieldcolumn Sigma2: 3.876 R uses direct product construction Factor: fieldrow Model: Auto-regressive Covariance matrix: 1 1.000 2 0.459 1.000 3 0.210 0.459 1.000 4 0.096 0.210 0.459 1.000 5 0.044 0.096 0.210 0.459 1.000 6 0.020 0.044 0.096 0.210 0.459 1.000 7 0.009 0.020 0.044 0.096 0.210 0.459 1.000 8 0.004 0.009 0.020 0.044 0.096 0.210 0.459 1.000 9 0.002 0.004 0.009 0.020 0.044 0.096 0.210 0.459 1.000 10 0.001 0.002 0.004 0.009 0.020 0.044 0.096 0.210 0.459 1.000 1 2 3 4 5 6 7 8 9 10 Factor: fieldcolumn Model: Auto-regressive

Covariance matrix (first 10 rows only): 1 1.000 2 0.684 1.000 3 0.468 0.684 1.000 4 0.320 0.468 0.684 1.000 5 0.219 0.320 0.468 0.684 1.000 6 0.149 0.219 0.320 0.468 0.684 1.000 7 0.102 0.149 0.219 0.320 0.468 0.684 1.000 8 0.070 0.102 0.149 0.219 0.320 0.468 0.684 1.000 9 0.048 0.070 0.102 0.149 0.219 0.320 0.468 0.684 1.000 10 0.033 0.048 0.070 0.102 0.149 0.219 0.320 0.468 0.684 1.000 1 2 3 4 5 6 7 8 9 10

Dengan demikian korelasi antar dua plot bertetangga dalam kolom sama adalah 0.684, lebih

kuat dari dua plot bertetangga dalam baris yang sama. Korelasi antar 2 plot dalam kolom sama

adalah 0.6842=0.468, 0.6843=0.320, 0.6844=0.219, dan seterusnya. Ini diatur dalam model

kedua dari dua model korelasi dalam output.


147

Walaupun terdapat 150 plot dalam deretan, struktur korelasi yang kita tawarkan adalah

multiplicative dalam arti row × column. Ini berarti bahwa korelasi antar plot berdekatan dalam

baris berbeda dan/atau kolom secara sederhana merupakan perkalian antar korelasi dalam arah

baris mempertimbangkan jarak spasial antar mereka, dan korelasi dalam arah kolom. Sebagai

ilustrasi, korelasi antar hasil dalam plot (Baris 1, Kolom 1) dan plot (Baris 3, Kolom 3) adalah

0.210 × 0.468 = 0.098 (baca baris 13 dan kolom 13).

Row/Replicate outline marked

Column 1 2 3 4 5 6

1

11 16 3

2 2 7

12 17 18

3 4 9

14 19 8

4 3 8 23 13 18 13

5 5 10 25 15 20 23

6 19 8 11 22 5 16

Antar (Baris 2, Kolom 6) dan plot (Baris 4, Kolom 9) adalah 0.21 × 0.32 = 0.007. Baca baris 24

(matriks baris) dan kolom 69 (di matriks kolom). Jarak baris antara 13 dan 24 sama yakni 2,

sehingga korelasi sama yakni 0.21 (juga untuk 3-5, 4-6,5-7, 6-8, 7-9, 8-10), demikian juga

dengan kolom, misal: kolom 1-6, 2-7, 3-8, 4-9 atau 5-10.

Interpretasi analisis ini adalah bagian aplikasi dari workshop ini.

A workshop conducted at Universitas Brawijaya, Malang ... mathematics of REML 201503.pdf · himpunan n-1 peubah acak yang bebas terhadap rata-rata contoh, dan membentuk ragam contoh

Documents