Matematika REML
A workshop conducted at
Universitas Brawijaya, Malang, Indonesia
December 2013
Mick O'Neill
Statistical Advisory & Training Service Pty Ltd
www.stats.net.au
Daftar Isi
Pengantar REML ..................................................................................................................... 1
Pengembangan REML ............................................................................................................ 4
Solusi REML untuk sebaran normal ..................................................................................... 5
Matriks umum dalam pengembangan REML ....................................................................... 7
Properti statistika dari peubah transformasi ........................................................................... 9
Fungsi kepekatan normal multivariat ..................................................................................... 9
Transformasi ortogonal ........................................................................................................ 10
Transformasi melibatkan matriks setangkup idempoten ..................................................... 13
Model Linier Umum (GLM) dengan hanya pengaruh tetap ............................................ 14
Example 1 – Contoh acak sederhana dari sebaran normal .................................................. 10
Example 2 Regresi Linier Sederhana ................................................................................ 17
Example 3 Regresi Linier Berganda .................................................................................. 24
Example 4 Rancangan perlakuan Satu-arah ....................................................................... 27
Example 5 - Uji t tidak berpasangan– ragam sama ............................................................. 35
Example 6 – Uji t tidak berpasangan – ragam berbeda ....................................................... 36
Model Campuran Linier (LMM) ......................................................................................... 40
1. LMM umum ................................................................................................................... 40
2. Transformasi untuk memisahkan pengaruh tetap .......................................................... 42
3. Dua fungsi logLikelihood .............................................................................................. 45
4. Solusi REML untuk pengaruh acak ............................................................................. 47
5. Solusi REML untuk pengaruh tetap ............................................................................. 50
6. Menguji pengaruh tetap: uji Wald ................................................................................ 52
7. Uji Wald untuk pengaruh tetap menggunakan REML ................................................ 54
8. Menguji pengaruh acak ................................................................................................ 55
Teladan struktur sisa berkorelasi ........................................................................................ 57
Teladan 1 – struktur uniform: model-model blok acak ....................................................... 58
Teladan 2 matriks diagonal:
Rancangan perlakuan Satu-Arah dengan perubahan ragam perlakuan ........... 64
Teladan 3 Contoh acak sederhana dengan sisa berkorelasi AR(1) .................................. 70
Teladan 4 Data pengukuran berulang, tak berstruktur/antedependence .......................... 77
Teladan 5 Model-model Spasial, struktur AR1 × AR1 ................................................... 85
The Mathematics of REML
1
Perkenalan tentang REML
REML adalah kepanjangan dari
REsidual Maximum Likelihood
atau kadang
REstricted Maximum Likelihood
Atau bahkan
REduced Maximum Likelihood (Patterson and Thompson, 1971)
Apa itu Maximum Likelihood?
Likelihood suatu contoh adalah peluang prior untuk memperoleh data dalam contoh.
Ini memerlukan asumsi tentang sebaran data, seperti
Binomial atau Poisson untuk d count (hasil menghitung)
Normal atau LogNormal untuk data kontinu
Setiap sebaran melibatkan paling tidak satu parameter yang tidak diketahui yang harus
diduga dari data.
Pendugaan dilakukan dengan mendapatkan suatu nilai parameter yang memaksimumkan
likelihood.
Nilai ini disebut penduga maximum likelihood untuk parameter.
Catatan.
Sesungguhnya memaksimumkan log-likelihood ekivalen dengan memaksimumkan likelihood
dan lebih mudah ditangani (untuk akurasi numerik).
The Mathematics of REML
2
Teladan 1 percobaan perkecambahan benih
Ambil 100 benih dan inspeksi apakah setiap benih berkecambah (G) atau tidak (NG).
Apa penduga ML bagi p, peluang bahwa satu benih berkecambah?
Jika 100 benih berkecambah (atau tidak) mengikuti pola berikut:
G NG G G … NG G
Maka
Likelihood = p (1 - p) p p … (1 - p) p
Jika dari n benih, g adalah banyaknya benih yang berkecambah (dan banyaknya benih yang
tidak berkecambah n-g). Maka likelihood adalah
Likelihood = pg (1 - p)n-g
Tidak mudah untuk dimaksimumkan (menurunkan secara matematis) sebagaimana
logaritmanya:
logLikelihood = g ln(p) + (n-g) ln(1 - p)
Maka solusi ML yang didapat dari memaksimumkan Likelihood sama dengan yang dihasilkan
dari memaksimumkan logLikelihood.
Solusi matematis:
Turunan log likelihood: 𝑑
𝑑𝑝(𝑔 log(𝒑) + (𝑛 − 𝑔) log(1 − 𝒑))
Samakan dengan 0 𝑔
�̂�−
𝑛 − 𝑔
1 − �̂�= 0
𝑔
�̂�=
𝑛 − 𝑔
1 − �̂�
𝑔(1 − �̂�) = �̂�(𝑛 − 𝑔) 𝑔 − �̂�𝑔 = �̂�𝑛 − �̂�𝑔
−�̂�𝑔 terdapat di dua ruas, sehingga dapat dibuang
𝑔 = �̂�𝑛
�̂� =𝑔
𝑛
The Mathematics of REML
3
Teladan 2 Flesh hue of freshly cut mangoes
Asumsikan bahwa flesh hue menyebar normal.
Apa penduga ML bagi 𝜇, rata-rata flesh hue, dan 𝜎2, ragam dalam flesh hue?
Ambil n mangga secara acak dan ukur their flesh hues yang dilambangkan dengan y1, y2, …, yn.
Untuk peubah kontinu, likelihood didefinisikan sebagai perkalian fungsi kepekatan pada setiap
titik contoh:
𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =1
√2𝜋𝜎2𝑒
−(𝑦1−𝜇)2
2𝜎2 ×1
√2𝜋𝜎2𝑒
−(𝑦2−𝜇)2
2𝜎2 × ⋯×1
√2𝜋𝜎2𝑒
−(𝑦𝑛−𝜇)2
2𝜎2
Seperti yang akan kita lihat, diperlukan transformasi, karena Jacobian dari transformasi
mungkin dilibatkan.
Juga, ini merupakan ekspresi matematis yang sulit diturunkan, maka maximumkan
logLikelihood yang akan memberikan hasil sama.
= −1
2log(2𝜋𝜎2) −
(𝑦1 − 𝜇)2
2𝜎2−
1
2log(2𝜋𝜎2) −
(𝑦2 − 𝜇)2
2𝜎2…−
1
2log(2𝜋𝜎2) −
(𝑦𝑛 − 𝜇)2
2𝜎2
Gabungkan suku sejenis menjadi:
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) − ∑
(𝑦𝑖 − 𝜇)2
2𝜎2
𝑛
𝑖=1
(1)
Solusi matematis:
Maksimumkan log likelihood dengan cara menurunkannya terhadap 𝜇:
∂
∂µ(−
𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) − ∑
(𝑦𝑖 − 𝜇)2
2𝜎2
𝑛
𝑖=1
)
∂
∂µ(−
𝑛
2log(2𝜋)) −
∂
∂µ(𝑛
2log(𝜎2) − ∂
∂µ(∑
(𝑦𝑖 − 𝜇)2
2𝜎2
𝑛
𝑖=1
)
0 − −0 − 2(−1)∑(𝑦𝑖 − 𝜇)
𝜎2
𝑛
𝑖=1
The Mathematics of REML
4
Samakan dengan nol
∑(𝑦𝑖 − �̂�)
�̂�2= 0
𝑛
𝑖=1
∑ (𝑦𝑖 − �̂�) = 0𝑛𝑖=1 ; ∑ 𝑦𝑖 − ∑ �̂� = 0𝑛
𝑖=1 𝑛𝑖=1 ; ∑ 𝑦𝑖 − 𝑛�̂� = 0 𝑛
𝑖=1 �̂� = �̅�
Menurunkan terhadap 𝜎2
∂
∂𝜎2 (−𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) − ∑
(𝑦𝑖 − 𝜇)2
2𝜎2
𝑛
𝑖=1
)
∂
∂𝜎2 (−𝑛
2log(2𝜋)) −
∂
∂𝜎2(𝑛
2log(𝜎2) −
∂
∂𝜎2(∑(𝑦𝑖 − 𝜇)2
2𝜎2
𝑛
𝑖=1
)
0 − 0 −𝑛
2𝜎2+ ∑
(𝑦𝑖 − 𝜇)2
2𝜎4
𝑛
𝑖=1
Karena samakan dengan nol, maka akan 2�̂�2 hilang, ganti 𝜇 dengan penduganya �̅�
−𝑛
2�̂�2+ ∑
(𝑦𝑖 − �̂�)2
2�̂�4
𝑛
𝑖=1
= 0
∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1
�̂�2= 𝑛
�̂�2 =∑ (𝑦𝑖 − �̅�)2𝑛
𝑖=1
𝑛
Catatan penting tentang penduga ML sebaran normal:
• Penduga ML bagi rata-rata populasi 𝜇 bersifat tak bias
• Penduga ML bagi ragam populasi 𝜎2 berbias (karena menggunakan pembagi 𝑛 bukan
𝑛 − 1.
• Karena bukan REML, Log likelihood tidak perlu diuraikan menjadi dua bagian.
The Mathematics of REML
5
Pengembangan REML
Dimungkinkan untuk menguraikan likelihood ke dalam dua bagian:
likelihood yang mengandung parameter rata-rata 𝜇 (juga parameter ragam 𝜎2), dan
residual likelihood yang hanya mengandung parameter ragam 𝜎2
sedemikian sehingga
likelihood pertama dapat dimaksimumkan untuk menduga parameter rata-rata 𝜇 (dan
solusinya tidak tergantung pada penduga 𝜎2); dan
residual likelihood dapat dimaksimumkan untuk menduga parameter ragam 𝜎2. Solusi
ini dikenal sebagai penduga REML bagi 𝜎2 (berbeda dari solusi penduga ML).
Untuk sebaran normal dan teladan 2, cara cepat untuk mengembangkan ide ini tergantung pada
fakta:
∑(𝑦𝑖 − 𝜇)2
𝑛
𝑖=1
= ∑[(𝑦𝑖 − �̅�) + (�̅� − 𝜇)]2𝑛
𝑖=1
= ∑(𝑦𝑖 − �̅�)2
𝑛
𝑖=1
+ 𝑛(�̅� − 𝜇)2
Langkah pertama dalam memisahkan dua likelihood adalah menulis kembali logLikelihood
untuk sebaran normal:
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) − ∑
(𝑦𝑖 − 𝜇)2
2𝜎2
𝑛
𝑖=1
sebagai
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) − ∑
(𝑦𝑖 − �̅�)2
2𝜎2
𝑛
𝑖=1
−𝑛(�̅� − 𝜇)2
2𝜎2
Lihat hasil berikut. Jika contoh acak berukuran n ditarik dari sebaran normal N(𝜇, 𝜎2), maka
rata-rata contoh �̅� juga menyebar normal dengan rata-rata 𝜇 dan ragam 𝜎2/𝑛. Dengan
demikian likelihood untuk rata-rata �̅� adalah:
𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 𝑓 − 𝑜𝑟 �̅� =1
√2𝜋 𝜎2 𝑛⁄𝑒
−(�̅�−𝜇)2
2𝜎2 𝑛⁄ = √𝑛
2𝜋𝜎2𝑒
−𝑛(�̅�−𝜇)2
2𝜎2
The Mathematics of REML
6
Sehingga logLikelihood untuk rata-rata contoh �̅� adalah
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 for �̅� =1
2log(𝑛) −
1
2log(2𝜋) −
1
2log(𝜎2) −
𝑛(�̅� − 𝜇)2
2𝜎2
Kembali ke log-Likelihood untuk contoh acak dari sebaran normal, yakni
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) − ∑
(𝑦𝑖 − �̅�)2
2𝜎2
𝑛
𝑖=1
−𝑛(�̅� − 𝜇)2
2𝜎2 (2)
Dan pisahkan logLikelihood dari rata-rata contoh �̅�: (gunakan 𝑛 = 𝑛 − 1 + 1 = 1 + (𝑛 − 1)
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 contoh acak berukuran 𝑛 dari sebaran normal =
−1
2log(2𝜋) −
1
2log(𝜎2) −
𝑛(�̅� − 𝜇)2
2𝜎2
−𝑛−1
2log(2𝜋) − 𝑛−1
2log(𝜎2) − ∑
(𝑦𝑖−�̅�)2
2𝜎2𝑛𝑖=1
Catat bahwa 𝑛 = 𝑛 + 1 − 1 = 1 + (𝑛 − 1) untuk penguraian
Tampak bahwa
baris pertama (hampir) loglikelihood dari rata-rata contoh �̅�, berbeda hanya dalam
konstanta ½ ln(n). Hal ini tidak berpengaruh terhadap pemaksimuman fungsi terhadap
dan sesungguhnya hilang di bawah transformasi. Kita akan kembali ke sini.
Baris kedua hanya mengandung parameter ragam 𝜎2. Ini adalah loglikelihood dari
himpunan n-1 peubah acak yang bebas terhadap rata-rata contoh, dan membentuk ragam
contoh 𝒔𝟐 sebagai penduga bagi 𝜎2 (kita akan kembali ke sini).
Baris kedua disebut REsidual (atau Restricted atau Reduced) Likelihood. Likelihood ini
dimaksimumkan secara terpisah dari likelihood pertama, untuk rata-rata contoh. Hasil
memaksimumkan likelihood ini dikenal sebagai penduga REML bagi ragam 𝜎2.
Fungsi pada baris pertama dimaksimumkan secara terpisah untuk mendapatkan penduga bagi 𝜇.
The Mathematics of REML
7
Solusi REML untuk sebaran normal:
1. Maksimumkan
−1
2log(𝑛) −
𝑛−1
2log(2𝜋) −
𝑛−1
2log(𝜎2) − ∑
(𝑦𝑖 − �̅�)2
2𝜎2
𝑛
𝑖=1
terhadap 𝜎2:
∂
∂𝜎2(−1
2log(𝑛)) −
∂
∂𝜎2 (𝑛−1
2log(2𝜋)) −
∂
∂𝜎2 (𝑛−1
2log(𝜎2)) −
∂
∂𝜎2 (∑(𝑦𝑖 − �̅�)2
2𝜎2
𝑛
𝑖=1
)
0 − 0 −(𝑛 − 1)
2𝜎2+ ∑
(𝑦𝑖 − �̅�)2
2𝜎4
𝑛
𝑖=1
Samakan dengan nol
−(𝑛 − 1)
2�̂�2+ ∑
(𝑦𝑖 − �̅�)2
2�̂�4
𝑛
𝑖=1
= 0
∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1
�̂�2= (𝑛 − 1)
�̂�2 =∑ (𝑦𝑖 − �̅�)2𝑛
𝑖=1
(𝑛 − 1)
2. Maksimumkan
+1
2log(𝑛) −
1
2log(2𝜋) −
1
2log(𝜎2) −
𝑛(�̅� − 𝜇)2
2𝜎2
terhadap 𝜇:
∂
∂𝜇(
1
2log(𝑛)) −
∂
∂𝜇(1
2log(2𝜋) −
∂
∂𝜇(1
2log(𝜎2) −
∂
∂𝜇(𝑛(�̅� − 𝜇)2
2𝜎2)
0 − −0 − 0 −2𝑛(�̅� − 𝜇)
2𝜎2
Samakan dengan nol
The Mathematics of REML
8
2𝑛(�̅� − �̂�)
2𝜎2= 0
(�̅� − �̂�) = 0
�̂� = �̅�
Tampak bahwa untuk sebaran normal,
Solusi untuk 𝜇 (dalam hal ini) tidak tergantung pada parameter 𝜎2,
Solusi untuk 𝜎2 adalah ragam contoh sebagai penduga takbias bagi ragam.
The Mathematics of REML
9
Matriks dalam pengembangan REML
Matriks memegang peranan penting dalam statistika matematika, maka perlu mengingat
kembali beberapa matriks, sifat-sifat dan penggunaannya.
Matriks Khusus
1. Matriks identitas I adalah matriks di mana diagonal utama bernilai 1 dan 0 di luar
diagonal. Kadang subskrip digunakan untuk menjelaskan dimensi .
I3 = (1 0 00 1 00 0 1
)
2. Matriks nol terdiri dari 0
𝑶3 = (0 0 00 0 00 0 0
)
3. Suatu matriks yang semua unsurnya bernilai 1 kadang dilambangkan dengan J , dengan
dimensi banyaknya baris kali banyaknya kolom. Untuk matriks segi, jika diperlukan hanya
ditulis subskrip tunggal.
J34 = (1 1 1 11 1 1 11 1 1 1
) (3 baris dan 4 kolom)
Matriks ini dihasilkan dari perkalian vector kolom 1 sebagai vektor pengganda awal dengan
vector baris 1 (pengganda akhir). Vektor kolom 1 sebanyak 4 baris ditulis demikian 14:
13 ⊗ 14 = 1314𝑇 = (
111) (1 1 1 1) = (
1 1 1 11 1 1 11 1 1 1
) = J34
4. Matriks 𝑴 bersifat idempotent jika 𝑴2 = 𝑴. Pandang M = 1
𝑛J𝑛, mudah ditunjukkan bahwa
(1
𝑛J𝑛) (
1
𝑛J𝑛) = (
1
𝑛J𝑛) maka (
1
𝑛J𝑛) idempoten.
5. Matriks 𝑷 dikatakan ortogonal sedemikian sehingga 𝑷𝑷𝑇 = 𝑷𝑇𝑷 = 𝑰. Matriks Helmert 𝑯
adalah ortogonal. Pandang pola matriks di ruas kiri:
The Mathematics of REML
10
(1 11 −1
), (1/√2 1/√2
1/√2 −1/√2)
(1 1 11 −1 01 1 −2
), (
1/√3 1/√3 1/√3
1/√2 −1/√2 0
1/√6 1/√6 −2/√6
)
(
1 1 1 11 −1 0 01 1 −2 01 1 1 −3
),
(
1/√4 1/√4 1/√4 1/√4
1/√2 −1/√2 0 0
1/√6 1/√6 −2/√6 0
1/√12 1/√12 1/√12 −3/√12)
(
1 1 1 1 11 −1 0 0 01 1 −2 0 01 1 1 −3 01 1 1 1 −4)
,
(
1/√5 1/√5 1/√5 1/√5 1/√5
1/√2 −1/√2 0 0 0
1/√6 1/√6 −2/√6 0 0
1/√12 1/√12 1/√12 −3/√12 0
1/√20 1/√20 1/√20 1/√20 −4/√20)
dan seterusnya
Baris pertama setiap matriks di kiri adalah 1. Kemudian {1, -1}, {1, 1, -2}, {1, 1, 1, -3} {1,
1, 1, -4} sehingga baris terakhir matriks berukuran 5×5 adalah {1, 1, 1, 1, -5} dst.
Jika matriks-matriks di ruas kiri dikalikan dengan vektor pengganda awal yakni vektor data
𝒚, maka baris pertama vektor baru (vector kolom) ini adalah jumlah data (𝑦1 + 𝑦2 + ⋯+
𝑦𝑛). Elemen kedua adalah (𝑦1 − 𝑦2), elemen ketiga (𝑦1 + 𝑦2 − 2𝑦3), kemudian (𝑦1 + 𝑦2 +
𝑦3 − 3𝑦4), dan seterusnya.
Apabila setiap elemen dalam baris dibagi dengan akar pangkat dua dari jumlah kuadrat
bilangan dalam baris tersebut, akan menghasilkan matriks ortogonal Helmert yang tertulis di
bagian kanan.
Catat bahwa kebalikan dari matriks ortogonal 𝑷 adalah putarannya, 𝑷𝑇 (𝑷−1 = 𝑷𝑇)
Properti Statistika dari peubah transformasi
The Mathematics of REML
11
1. Fungsi kepekatan peluang normal multivariat
Peubah acak {𝑦1, … , 𝑦𝑛} ditata dalam vektor kolom 𝒚 = (
𝑦1
⋮𝑦𝑛
). Peubah acak ini mungkin saja
tidak memiliki rata-rata sama dan saling berkorelasi. Nyatakan vektor rata-rata sebagai 𝝁 dan
matriks ragam-peragam 𝚺. Maka fungsi kepekatan peluang normal multivariat adalah:
𝑓(𝑦1, 𝑦2, … , 𝑦𝑛) =1
(2𝜋)𝑛 2⁄ |𝚺|1 2⁄𝑒−
12(𝒚−𝝁)𝑇𝚺−1(𝒚−𝝁)
2. Kasus khusus contoh acak dari sebaran normal univariat
Pandang {𝑦1, … , 𝑦𝑛} sebagai contoh acak yang berasal dari sebaran normal tunggal N(𝜇, 𝜎2).
Rata-rata di bagian sebelumnya sama, ragam juga sama dan semua peragam/korelasi bernilai
nol. Ekspresi matriks mereduksi menjadi likelihood data yang telah dipertimbangkan:
𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =1
√2𝜋𝜎2𝑒
−(𝑦1−𝜇)2
2𝜎2 ×1
√2𝜋𝜎2𝑒
−(𝑦2−𝜇)2
2𝜎2 × ⋯×1
√2𝜋𝜎2𝑒
−(𝑦𝑛−𝜇)2
2𝜎2
diekspresikan dalam matriks sebagai:
𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =1
(2𝜋)𝑛 2⁄ (𝜎2)𝑛 2⁄𝑒
−1
2𝜎2(𝒚−𝝁)𝑇(𝒚−𝝁)
di mana vektor rata-rata dapat ditulis sebagai 𝝁 = 𝜇1.
The Mathematics of REML
12
Transformasi Ortogonal
Pandang matriks ortogonal 𝑷 dan transformasi 𝒚 (tanpa asumsi data menyebar identik dan tak
berkorelasi) menjadi
𝒖 = 𝑷𝒚
maka
𝐸(𝒖) = 𝑷𝝁
dan
𝑣𝑎𝑟(𝒖) = 𝑷𝚺𝑷𝑇
Untuk transformasi dari 𝒚 ke 𝒖 diperlukan Jacobian yaitu nilai positif dari determinan matriks
yang terlibat dalam hal ini 𝑷. Dari definisi dasar tentang 𝑷, 𝑑𝑒𝑡(𝑷𝑇𝑷) = 𝑑𝑒𝑡(𝑷𝑷𝑇) = 𝑑𝑒𝑡(𝑰),
maka [𝑑𝑒𝑡(𝑷)]2 = 𝑑𝑒𝑡(𝑰) = 1 sehingga 𝑑𝑒𝑡(𝑷) = ±1 dengan demikian Jacobian adalah +1.
Elemen 𝒚 menyebar secara identic dan tak berkorelasi sehingga 𝝁 = 𝜇𝟏 dan 𝚺 = 𝜎2𝑰 di mana 𝑰
adalah matriks identitas berukuran n×n. Maka
Elemen-elemen {𝑢1, … , 𝑢𝑛} dari 𝒖 = 𝑷𝒚 tidak berkorelasi dan menyebar normal.
Kemudian, jika 𝑷 dipilih sebagai matriks Helmert, atau matriks ortogonal apa pun yang
memiliki baris pertama {1, 1, …, 1}/n, maka
𝑢1 = √𝑛�̅� menyebar normal dengan rata-rata √𝑛𝜇 dan ragam 𝜎2, bebas terhadap
𝑢2, 𝑢3, … , 𝑢𝑛 yang semuanya bebas, menyebar normal dengan rata-rata 0 (karena baris 2
hingga n dari 𝑷 ortogonal terhadap baris 1) dan ragam 𝜎2.
Dengan pilihan 𝑷 seperti ini, dapat dipertahankan (1) kenormalan, (2) kebebasan dan (3)
jumlah kuadrat total. Properti terakhir terjadi jika definisi keortogonalan digunakan (yakni
𝑷𝑷𝑇 = 𝑷𝑇𝑷 = 𝑰) dalam:
∑ 𝑢𝑖2 =𝑛
𝑖=1 𝒖𝑇𝒖 = (𝑷𝒚)𝑇(𝑷𝒚) = 𝒚𝑇𝑷𝑇𝑷𝒚 = 𝒚𝑇𝑰𝑛𝒚 = 𝒚𝑇𝒚 = ∑ 𝑦𝑖2𝑛
𝑖=1
The Mathematics of REML
13
Tampak bahwa 𝑢1 = √𝑛�̅� sehingga 𝑢12 = 𝑛�̅�2. Apa yang telah dicapai melalui prosedur ini
adalah bahwa transformasi ortogonal mengisolasi rata-rata contoh dari n-1 peubah yang
membentuk ragam contoh. Jumlah kuadrat preserved, maka
∑ 𝑦𝑖2𝑛
𝑖=1 = ∑ 𝑢𝑖2𝑛
𝑖=1 = 𝑢12 + ∑ 𝑢𝑖
2𝑛𝑖=2 = 𝑛�̅�2 + ∑ 𝑢𝑖
2𝑛𝑖=2 .
Pindahkan 𝑛�̅�2 ke ruas kiri persamaan, menghasilkan
∑𝑦𝑖2 − 𝑛�̅�2
𝑛
𝑖=1
= ∑𝑢𝑖2
𝑛
𝑖=2
.
Namun, ∑ 𝑦𝑖2 − 𝑛�̅�2𝑛
𝑖=1 adalah ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 , dan walaupun ekspresi ini melibatkan n suku,
telah diperlihatkan bahwa jumlah kuadrat n-1 peubah normal bebas {𝑢2, 𝑢3, … , 𝑢𝑛} yang semua
rata-rata bernilai 0 dan juga semua ragam 𝜎2.
Kemudian n-1 peubah normal bebas juga bebas terhadap 𝑢1 = √𝑛�̅�.
Berdasarkan definisi, peubah 2 dengan derajat bebas adalah jumlah dari kuadrat peubah
normal baku N(0,1) yang saling bebas. Ingat juga bahwa penduga takbias bagi 𝜎2 adalah ragam
contoh yang didefinisikan sebagai:
𝑠2 =∑ (𝑦𝑖 − �̅�)2𝑛
𝑖=1
𝑛 − 1,
Dari padanya didapatkan ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 = (n-1) 𝑠2. Karena ini merupakan jumlah dari kuadrat
n-1 peubah normal {𝑢2, 𝑢3, … , 𝑢𝑛} yang saling bebas dengan rata-rata 0 dan ragam 𝜎2, telah
ditunjukkan bahwa, untuk contoh acak berukuran n dari populasi normal,
�̅� ∼ 𝑁 (𝜇,𝜎2
𝑛) , 𝑏𝑒𝑏𝑎𝑠 𝑡𝑒𝑟ℎ𝑎𝑑𝑎𝑝
(𝑛 − 1)𝑠2
𝜎2∼ 𝜒𝑛−1
2
The Mathematics of REML
14
Kembali ke logLikelihood untuk contoh acak normal {𝑦1, … , 𝑦𝑛}. Bentuk terakhir pada halaman
4 adalah:
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk {𝑦1, … , 𝑦𝑛} = −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) − ∑
(𝑦𝑖 − �̅�)2
2𝜎2
𝑛
𝑖=1
−𝑛(�̅� − 𝜇)2
2𝜎2
Pandang suku terakhir:
𝑛(�̅� − 𝜇)2
2𝜎2=
𝑛 (𝑢1
√𝑛− 𝜇)
2
2𝜎2=
(𝑢1
√𝑛√𝑛 − √𝑛𝜇)
2
2𝜎2=
(𝑢1 − √𝑛𝜇)2
2𝜎2
Daripada memandang logLikelihood untuk himpunan peubah ini, pandang logLikelihood
sebagai himpunan peubah transformasi {𝑢1, 𝑢2, … , 𝑢𝑛} di mana Jacobian adalah 1 (dan ingat
bahwa 𝑢1 = √𝑛�̅� dan ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 = ∑ 𝑢𝑖
2𝑛𝑖=2 ): pada halaman 13
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk {𝑢1, … , 𝑢𝑛} = −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) − ∑
𝑢𝑖2
2𝜎2
𝑛
𝑖=2
−(𝑢1 − √𝑛𝜇)
2
2𝜎2
Ingat bahwa 𝑢1 menyebar normal dengan rata-rata √𝑛𝜇 dan ragam 𝜎2, fungsi dipisahkan
menjadi dua, maka logLikelihood untuk himpunan peubah transformasi {𝑢1, 𝑢2, … , 𝑢𝑛} adalah
[−1
2(2𝜋) −
1
2log(𝜎2) −
(𝑢1 − √𝑛𝜇)2
2𝜎2] + [−
𝑛 − 1
2log(2𝜋) −
𝑛 − 1
2log(𝜎2) − ∑
𝑢𝑖2
2𝜎2
𝑛
𝑖=2
]
Memaksimumkan likelihood pertama untuk 𝑢1 akan menghasilkan penduga ML/REML bagi 𝜇.
Bagian kedua adalah likelihood untuk himpunan peubah {𝑢2, 𝑢3, … , 𝑢𝑛} yang bebas terhadap
𝑢1, dan menyediakan penduga REML bagi 𝜎2.
Ini merupakan pendekatan untuk menggeneralisir pendugaan parameter ragam dengan metode
REML untuk model campuran linier umum mana pun general linear mixed model (bagian
“campuran” menjelaskan berapa pun pengaruh acak dan tetap dalam model). Ide REML akan
dibangun dengan lambat.
The Mathematics of REML
15
3. Transformasi menyangkut matriks idempoten setangkup
Hasil dasar untuk GLM.
Pandang vektor 𝒛 berukuran n peubah normal baku, saling bebas N(0,1). Berdasarkan definisi
𝒛𝑇𝒛~𝜒𝑛2.
Nyatakan 𝑨 sebagai matriks idempotent setangkup, maka
𝒛𝑇𝑨𝒛~𝜒2 dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑨).
Nyatakan pula 𝑩 sebagai matriks idempotent setangkup, maka
𝒛𝑇𝑩𝒛~𝜒2 dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑩), dan bebas terhadap 𝒛𝑇𝑨𝒛 jika dan hanya jika
𝑨𝑩 = 𝑶.
The Mathematics of REML
16
Model Linier Umum dengan hanya pengaruh tetap
Teladan 1 – contoh acak sederhana dari sebaran normal
Model paling sederhana adalah untuk contoh acak berukuran n dari populasi tunggal normal
(untuk selanjutnya diasumsikan normal), semua bebas dengan rata-rata 𝜇 dan ragam 𝜎2. Nilai
pengamatan contoh ditulis secara sederhana sebagai:
𝑦𝑖 = 𝜇 + 휀𝑖
Dalam bentuk matriks,
𝒚 = 𝑿𝜷 + 𝛜
di mana {𝑦1, … , 𝑦𝑛} adalah elemen dari 𝒚, 𝑿 = 1𝑛, vector kolom berisi n buah 1, 𝜷 adalah
kolom vektor parameter, dalam hal ini berupa skalar sama dengan rata-rata 𝜇, dan vektor kolom
sisaan acak 𝛜 .
Model kompleks lain memiliki struktur sama, kita teliti kasus umum di mana 𝜷 mengandung p
parameter.
Pendugaan melalui kuadrat terkecil
Metode ini menyajikan penduga kuadrat terkecil untuk parameter 𝜷 dengan meminimumkan
jumlah kuadrat sisa 𝛜𝑇𝛜, yakni (𝒚 − 𝑿𝜷)𝑇 (𝒚 − 𝑿𝜷). Solusi adalah latihan sederhana dalam
turunan matriks. Nyatakan 𝒃 sebagai penduga bagi 𝜷,
𝒃 = (𝑿𝑇𝑿)−1𝑿𝑇𝒚. (3)
Gunakan solusi ini dalam (𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) untuk menghitung Residual Sum of Squares
(Res SS):
Res SS = (𝒚 − 𝑿𝒃)𝑇 (𝒚 − 𝑿𝒃) = (𝒚 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚)𝑇(𝒚 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚)
Keluarkan vector 𝒚 ( 𝒚 𝑇 dari kurung kiri dan 𝒚 dari kanan) dari dalam kedua kurung
menghasilkan:
The Mathematics of REML
17
Res SS = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚
Matriks (𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇) setangkup dan idempoten (check this!), maka
Res SS = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚
Dengan sifat 4 pada halaman 14 dapat disimpulkan bahwa
𝑅𝑒𝑠 𝑆𝑆~𝜒2 dengan derajat bebas = 𝑡𝑒𝑟𝑎𝑠(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇).
Secara umum 𝑡𝑒𝑟𝑎𝑠(𝑨𝑩𝑪) = 𝑡𝑒𝑟𝑎𝑠(𝑪𝑨𝑩) = 𝑡𝑒𝑟𝑎𝑠(𝑩𝑪𝑨). Dengan demikian
= 𝑡𝑒𝑟𝑎𝑠(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇) = 𝑡𝑒𝑟𝑎𝑠(𝑰) − 𝑡𝑒𝑟𝑎𝑠(𝑿(𝑿𝑇𝑿)−1𝑿𝑇)
= 𝑛 − 𝑡𝑒𝑟𝑎𝑠(𝑿𝑇𝑿(𝑿𝑇𝑿)−1)
Matriks berdimensi p×p , secara umum (di mana p = 1 pada teladan sebelumnya) maka
𝑿𝑇𝑿(𝑿𝑇𝑿)−1 adalah matriks identitas berdimensi p×p, 𝑰𝑝 yang memiliki teras p.
Matriks (𝑰 − 𝑿(𝑿𝑇X)−1𝑿𝑇) setangkup, idempoten dengan teras (n-p), gunakan hasil ini, untuk
menunjukkan bahwa:
Res SS = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚~ 𝜎2𝜒2 dengan derajat bebas (n-p).
Untuk contoh sederhana p = 1, 𝜷 adalah skalar 𝜎2, 𝑿𝑇𝑿 = 1T1 = 𝑛, XT𝒚 = 1T𝒚 = 𝑦1 + ⋯+
𝑦𝑛 maka:
Penduga bagi 𝜇 = (𝑿𝑇𝑿)−1𝑿𝑇𝒚 = (𝑛)−1(𝑦1 + ⋯+ 𝑦𝑛) = �̅�.
Kemudian struktur Res SS untuk contoh sederhana ini, yakni:
𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇 = 𝑰 − 1(1T1)−11T = 𝑰 −1
𝑛11𝑇 = 𝑰𝑛 −
1
𝑛𝑱𝑛
The Mathematics of REML
18
dengan demikian
𝑅𝑒𝑠 𝑆𝑆 = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 = 𝒚𝑇 (𝑰 −1
𝑛11𝑇)𝒚 = 𝒚𝑇𝒚 −
1
𝑛𝒚𝑇11𝑇𝒚
Karena 𝒚𝑇𝒚 = ∑ 𝑦𝑖2𝑛
𝑖=1 dan 𝒚𝑇1 adalah ∑ 𝑦𝑖𝑛𝑖=1 = 𝑛�̅�, sehingga, untuk contoh acak sederhana
dari sebaran normal:
𝑅𝑒𝑠 𝑆𝑆 = ∑ 𝑦𝑖2𝑛
𝑖=1 − 𝑛�̅�2 = ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 = (𝑛 − 1)𝑠2~ 𝜎2𝜒2 dengan derajat bebas n-1.
Catat bahwa jika 𝒚~N(µ1, 𝜎2I) penduga kuadrat terkecil bagi vektor parameter identik
dengan penduga ML karena persamaan yang sama diselesaikan dalam kedua kasus.
The Mathematics of REML
19
Teladan 2 Regresi Linier Sederhana
Model regresi linier sederhana
𝑦𝑖 = 𝛼 + 𝛽𝑥𝑖 + 휀𝑖
Memiliki 2 parameter yang tidak diketahui, dan {𝑥1, … , 𝑥𝑛} diasumsikan tetap.
Dalam bentuk matriks, perbedaan utama antar model ini dan model sebelumnya adalah matriks
rancangan 𝑿:
𝑿 = [
1 𝑥1
1 𝑥2
⋮ ⋮1 𝑥𝑛
]
dengan 𝜷 vektor kolom mengandung dua parameter dan .
Penduga Kuadrat Terkecil / ML untuk intersep dan slope
Pandang, 𝑿𝑇𝑿 = [1 ⋯ 1𝑥1 ⋯ 𝑥𝑛
] [1 𝑥1
⋯ ⋯1 𝑥𝑛
] = [𝑛 𝑛�̅�𝑛�̅� ∑ 𝑥𝑖
2] dan juga 𝑿𝑇𝒚 = [𝑛�̅�
∑ 𝑥𝑖𝑦𝑖].
Determinan 𝑿𝑇𝑿 adalah 𝑛(∑𝑥𝑖2 − 𝑛�̅�2) = 𝑛 ∑(𝑥𝑖 − �̅�)2. Dengan demikian
(XTX)−1𝑿𝑇𝒚 =1
𝑛 ∑(𝑥𝑖 − �̅�)2[∑𝑥𝑖
2 −𝑛�̅�
−𝑛�̅� 𝑛] [
𝑛�̅�
∑𝑥𝑖𝑦𝑖]
=1
𝑛 ∑(𝑥𝑖 − �̅�)2[𝑛�̅� ∑𝑥𝑖
2 − 𝑛�̅� ∑𝑥𝑖𝑦𝑖
−𝑛2�̅��̅� + 𝑛 ∑𝑥𝑖𝑦𝑖
]
Pandang −𝑛2�̅��̅� + 𝑛 ∑𝑥𝑖𝑦𝑖 = 𝑛(∑𝑥𝑖𝑦𝑖 − 𝑛�̅��̅�) = 𝑛 ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�), maka solusi kuadrat
terkecil/ML untuk slope adalah:
The Mathematics of REML
20
𝑏 =∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�)
∑(𝑥𝑖 − �̅�)2
Juga, 𝑛�̅� ∑𝑥𝑖2 − 𝑛�̅� ∑ 𝑥𝑖𝑦𝑖 dapat ditulis sebagai 𝑛�̅� ∑(𝑥𝑖 − �̅�)2 − 𝑛�̅� ∑ (𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) maka
solusi kuadrat terkecil/ML untuk intersep adalah:
𝑎 =𝑛�̅� ∑(𝑥𝑖 − �̅�)2 − 𝑛�̅� ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�)
𝑛 ∑(𝑥𝑖 − �̅�)2= �̅� − b�̅�.
Dua pendekatan untuk memperlihatkan bahwa (*) = (**)
(*) 𝑛�̅� ∑ 𝑥𝑖2 − 𝑛�̅� ∑𝑥𝑖𝑦𝑖
(**) 𝑛�̅� ∑(𝑥𝑖 − �̅�)2 − 𝑛�̅� ∑ (𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�)
Gunakan fakta bahwa
a. Jumlah Kuadrat dapat ditulis dalam bentuk:
• ∑(𝑥𝑖 − �̅�)2 = ∑𝑥𝑖2 − 𝑛�̅�2 sehingga (1) ∑𝑥𝑖
2 = ∑(𝑥𝑖 − �̅�)2 + 𝑛�̅�2 atau
• ∑𝑥𝑖2 = ∑(𝑥𝑖 − �̅� + �̅�)2 = ∑(𝑥𝑖 − �̅�)2 + ∑ �̅�2 =∑(𝑥𝑖 − �̅�)2 + 𝑛�̅�2
b. Jumlah hasil kali deviasi ditulis dalam bentuk
• ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) = ∑𝑥𝑖𝑦𝑖 − 𝑛�̅��̅� sehingga (2) ∑𝑥𝑖𝑦𝑖 = ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + 𝑛�̅��̅�
• ∑𝑥𝑖𝑦𝑖 = ∑(𝑥𝑖 − �̅� + �̅�)(𝑦𝑖 − �̅� + �̅�) = ∑((𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + �̅��̅�) =
= ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + ∑ �̅�𝑦 ̅ = ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + 𝑛�̅��̅�
Substitusi (1) dan (2) ke dalam persamaan (*)
𝑛�̅�(∑(𝑥𝑖 − �̅�)2 + 𝑛�̅�2) − 𝑛�̅� (∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) + 𝑛�̅��̅�)
𝑛�̅� ∑(𝑥𝑖 − �̅�)2 + 𝑛�̅�2�̅� − 𝑛�̅� ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) − 𝑛�̅�2�̅� sama dengan (**)
Penduga ML bagi parameter ragam
Likelikood untuk {𝑒1, … , 𝑒𝑛} adalah contoh acak dari secaran normal N(0, 𝜎2) di mana
𝑒𝑖 = 𝑦𝑖 − 𝛼 − 𝛽𝑥𝑖
The Mathematics of REML
21
𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 =1
√2𝜋𝜎2𝑒
−𝑒1
2
2𝜎2 ×1
√2𝜋𝜎2𝑒
−𝑒2
2
2𝜎2 × ⋯×1
√2𝜋𝜎2𝑒
−𝑒𝑛
2
2𝜎2
𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = (2𝜋)−𝑛2 × (𝜎2)−
𝑛2 × 𝑒
−∑𝑒𝑖
2
2𝜎2
𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = (2𝜋)−𝑛2 (𝜎2)−
𝑛2 𝑒
−∑(𝑦𝑖−𝛼−𝛽𝑥𝑖 )
2
2𝜎2𝑛𝑖=1
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑒1, … , 𝑒𝑛} = −𝑛
2log(2𝜋) − 𝑛
2log(𝜎2) − ∑
(𝑦𝑖−𝛼−𝛽𝑥𝑖 )2
2𝜎2𝑛𝑖=1
Turunan langsung logLikelihood model ini terhadap 𝜎2, menghasilkan penduga bagi 𝜎2:
∂
∂𝜎2 (− 𝑛
2 log(2𝜋)) −
∂
∂𝜎2 (𝑛
2log(𝜎2)) − ∂
∂𝜎2(∑(𝑦𝑖−𝛼−𝛽𝑥𝑖 )
2
2𝜎2𝑛𝑖=1 )
0 −𝑛
2𝜎2+ ∑
(𝑦𝑖 − 𝛼 − 𝛽𝑥𝑖)2
2𝜎4
𝑛
𝑖=1
Samakan dengan nol, dan selesaikan, menghasilkan penduga ML:
−𝑛
2�̂�2+ ∑
(𝑦𝑖 − �̂� − �̂�𝑥𝑖)2
2�̂�4
𝑛
𝑖=1
= 0
∑ (𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖)2𝑛
𝑖=1
�̂�2= 𝑛
�̂�2 =∑ (𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖)
2𝑛𝑖=1
𝑛
Substitusi 𝑎 = �̅� − b�̅�
𝜎2 = ∑(𝑦𝑖 − 𝑎 − b𝑥𝑖)
2
𝑛=
∑(𝑦𝑖 − �̅� − b�̅� − b𝑥𝑖)2
𝑛=
∑(𝑦𝑖 − �̅� − b(𝑥𝑖 − �̅�))2
𝑛
Pembilang dapat diuraikan menjadi:
Penduga ML bagi 𝜎2 = ∑(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖)
2
𝑛=
∑(𝑦𝑖 − �̅�)2 − 𝑏2 ∑(𝑥𝑖 − �̅�)2
𝑛,
Walaupun terdapat banyak cara menuliskan rumus ini. Anda mungkin ingat akan pembilang
sebagai selisih JK Total dan JKRegresi dalam ANOVA-regresi linier sederhana.
The Mathematics of REML
22
Untuk mengembangkan penduga REML, lihat kembali pendekatan matriks dalam pendugaan
ML. Ekspresi matriks untuk logLikelihood adalah sebagai berikut.
Vektor peubah acak 𝒚 memiliki rata-rata 𝑿𝜷 dan ragam 𝜎2𝑰 (dan catat bahwa 𝑑𝑒𝑡𝑒𝑟𝑚(𝜎2𝑰) =
𝜎2𝑛. Maka
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑦1, … , 𝑦𝑛} = −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) −
1
2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷).
Turunkan terhadap 𝜎2 dan substitusi penduga ML untuk 𝜷 menghasilkan:
−∂
∂𝜎2 (
𝑛
2log(2𝜋)) −
∂
∂𝜎2 (
𝑛
2log(𝜎2)) −
∂
∂𝜎2 (
1
2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷))
0 −𝑛
2�̂�2+
1
2�̂�4(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) = 0
(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷)
�̂�2= 𝑛
Penduga ML bagi 𝜎2 = (𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷)
𝑛
Sama dengan solusi sebelumnya.
Pandang transformasi ortogonal 𝒖 = 𝑷𝒚 di mana 𝑷 adalah matriks ortogonal berdimensi n×n
berbentuk:
𝑷 = [
1 √𝑛⁄ ⋯ 1 √𝑛⁄
(𝑥1 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄ ⋯ (𝑥𝑛 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄
⋮ ⋮ ⋮
]
Jumlah kuadrat elemen-elemen baris pertama dan kedua adalah 1.
Baris 1: (1 √𝑛⁄ )2+ (1 √𝑛⁄ )
2+ ⋯+ (1 √𝑛⁄ )
2= ∑1
𝑛⁄ = 𝑛(1 𝑛⁄ ) = 1
Baris 2:
((𝑥1 − �̅�)
√∑(𝑥𝑖 − �̅�)2)
2
+ ((𝑥2 − �̅�)
√∑(𝑥𝑖 − �̅�)2)
2
+ ⋯+ ((𝑥𝑛 − �̅�)
√∑(𝑥𝑖 − �̅�)2)
2
=
The Mathematics of REML
23
(𝑥1 − �̅�)2
∑(𝑥𝑖 − �̅�)2 +
(𝑥2 − �̅�)2
∑(𝑥𝑖 − �̅�)2 + ⋯+
(𝑥𝑛 − �̅�)2
∑(𝑥𝑖 − �̅�)2=
∑(𝑥𝑖 − �̅�)2
∑(𝑥𝑖 − �̅�)2= 1
Jumlah hasil kali elemen baris pertama dan kedua adalah 0, syarat keortogonalan.
Mathematicians telah membuktikan bahwa matriks demikian ada.
Misal baris 3 dapat berupa:
(𝑥2 − 𝑥3 𝑥3 − 𝑥1 𝑥1 − 𝑥2 0 0⋯0)
di mana setiap elemen dibagi √(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2.
Jumlah kuadrat baris 3 juga 1.
(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)
2 + (𝑥1 − 𝑥2)2 + 0 + ⋯+ 0
(√(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2)2
(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)
2 + (𝑥1 − 𝑥2)2
(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)
2 + (𝑥1 − 𝑥2)2
= 1
Jelas bahwa jumlah hasil kali baris 1 dan 2, demikian pula baris 1 dan 3, juga baris 2 dan 3
adalah 0.
Baris 1 dan 2:
1
√𝑛((𝑥1 − �̅�) + (𝑥2 − �̅�) + ⋯+ (𝑥𝑛 − �̅�)
√∑(𝑥𝑖 − �̅�)2) =
∑(𝑥𝑖 − �̅�)
√𝑛 ∑(𝑥𝑖 − �̅�)2=
0
√𝑛 ∑(𝑥𝑖 − �̅�)2= 0
Baris 1 dan 3:
1
√𝑛(
𝑥2 − 𝑥3 + 𝑥3 − 𝑥1 + 𝑥1 − 𝑥2
√(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2)
0
√𝑛((𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2)= 0
Baris 2 dan 3:
(𝑥1 − �̅�)(𝑥2 − 𝑥3) + (𝑥2 − �̅�)(𝑥3 − 𝑥1) + (𝑥3 − �̅�)(𝑥1 − 𝑥2)
√∑(𝑥𝑖 − �̅�)2(𝑥2 − 𝑥3)2 + (𝑥3 − 𝑥1)2 + (𝑥1 − 𝑥2)2= 0
Pembilang sama dengan 0, (𝑥1 − �̅�)(𝑥2 − 𝑥3) + (𝑥2 − �̅�)(𝑥3 − 𝑥1) + (𝑥3 − �̅�)(𝑥1 − 𝑥2) = 0
Dua manfaat dari pendekatan ini: pertama adalah pembuktian secara mudah property sebaran
apa pun menyangkut regresi linier sederhana. Kedua mengarah pada solusi REML untuk
pendugaan parameter ragam.
The Mathematics of REML
24
Gunakan sifat matriks diagonal:
∑ 𝑦𝑖2𝑛
𝑖=1 = ∑ 𝑢𝑖2𝑛
𝑖=1
Peubah acak {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛} saling bebas, menyebar normal dengan ragam 𝜎2. Terutama
mengevaluasi dua peubah vektor transformasi 𝑢1 dan 𝑢2
𝑢1 = √𝑛�̅�
𝑢2 = ∑(𝑥𝑖 − �̅�)𝑦𝑖 √∑(𝑥𝑖 − �̅�)2⁄ = ∑(𝑥𝑖 − �̅�)(𝑦𝑖 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄ = 𝑏√∑(𝑥𝑖 − �̅�)2
Kemudian, 𝐸(𝒖) = 𝐸(𝑷𝒚) = 𝑷𝑿𝜷, maka
[ E(𝑢1)E(𝑢2)E(𝑢3)
⋮E(𝑢𝑛)]
= [
1 √𝑛⁄ ⋯ 1 √𝑛⁄
(𝑥1 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄ ⋯ (𝑥𝑛 − �̅�) √∑(𝑥𝑖 − �̅�)2⁄
⋮ ⋮ ⋮
] [1 𝑥1
⋯ ⋯1 𝑥𝑛
] [𝛼𝛽]
Ingat bahwa baris 3 hingga n dari matriks 𝑷 ortogonal terhadap baris 1 dan 2, dan catat bahwa 2
kolom pada matriks rancangan 𝑿 proporsional terhadap baris 1 and 2 matriks 𝑷. Dengan
demikian berdasarkan keortogonalan, semua rata-rata {𝑢3, … , 𝑢𝑛} harus 0.
Kemudian, perhatikan hanya 2 baris pertama matriks ini dan gunakan fakta
∑(𝑥𝑖 − �̅�)𝑥𝑖 √∑(𝑥𝑖 − �̅�)2⁄ = ∑(𝑥𝑖 − �̅�)2 √∑(𝑥𝑖 − �̅�)2⁄ = √∑(𝑥𝑖 − �̅�)2,
Pandang pembilang:
∑(𝑥𝑖 − �̅�)𝑥𝑖 = ∑(𝑥𝑖2 − �̅�𝑥𝑖) =∑𝑥𝑖
2 − ∑ �̅�𝑥𝑖 = ∑𝑥𝑖2 − �̅� ∑ 𝑥𝑖 = ∑𝑥𝑖
2 − 𝑛�̅�2=∑(𝑥𝑖 − �̅�)2
Perkalian matriks 𝑷𝑿
Unsur 11
1√𝑛
⁄ (1) + 1√𝑛
⁄ (1) + ⋯+ 1√𝑛
⁄ (1) = 1√𝑛
⁄ (∑1) =𝑛
√𝑛= √𝑛
Unsur 12
The Mathematics of REML
25
1√𝑛
⁄ (𝑥1) + 1√𝑛
⁄ (𝑥2) + ⋯+ 1√𝑛
⁄ (𝑥𝑛) =∑𝑥𝑖
√𝑛=
𝑛�̅�
√𝑛= √𝑛�̅�
Unsur 21
(𝑥1 − �̅�) + (𝑥2 − �̅�) + ⋯+ (𝑥𝑛 − �̅�)
√∑(𝑥𝑖 − �̅�)2=
∑(𝑥𝑖 − �̅�)
√∑(𝑥𝑖 − �̅�)2=
0
√∑(𝑥𝑖 − �̅�)2= 0
Unsur 22
(𝑥1 − �̅�)𝑥1 + (𝑥2 − �̅�)𝑥2 + ⋯+ (𝑥𝑛 − �̅�)𝑥𝑛
√∑(𝑥𝑖 − �̅�)2=
∑(𝑥𝑖 − �̅�)𝑥𝑖
√∑(𝑥𝑖 − �̅�)2=
∑(𝑥𝑖 − �̅�)2
√∑(𝑥𝑖 − �̅�)2
Kalikan √∑(𝑥𝑖−�̅�)2
√∑(𝑥𝑖−�̅�)2, menjadi
∑(𝑥𝑖−�̅�)2
√∑(𝑥𝑖−�̅�)2 𝑥
√∑(𝑥𝑖−�̅�)2
√∑(𝑥𝑖−�̅�)2=
∑(𝑥𝑖−�̅�)2
∑(𝑥𝑖−�̅�)2𝑥√∑(𝑥𝑖 − �̅�)2 = √∑(𝑥𝑖 − �̅�)2
Sesudah perkalian matriks, diperoleh:
E(𝑢1)= √𝑛 𝛼 + √𝑛�̅�𝛽 = √𝑛 (𝛼 + 𝛽�̅�)
E(𝑢2)=0+√∑(𝑥𝑖 − �̅�)2 𝛽
[E(𝑢1)E(𝑢2)
] = [√𝑛 √𝑛�̅�
0 √∑(𝑥𝑖 − �̅�)2] [
𝛼𝛽] = [
√𝑛(𝛼 + 𝛽�̅�)
√∑(𝑥𝑖 − �̅�)2 𝛽]
Sekarang
𝐿𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑦1, … , 𝑦𝑛} = −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) −
1
2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) (4)
Dengan menggunakan transformasi = 𝑷𝒚 , substitusi 𝒚 = 𝑷−1𝒖 = 𝑷𝑇𝒖 (karena 𝑷 ortogonal) ke
dalam persamaan di atas. Juga, Jacobian dari transformation adalah 1 (juga karena 𝑷 ortogonal
dan 𝑑𝑒𝑡𝑒𝑟𝑚(𝑷) = 1), menghasilkan:
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of of {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛}
= −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) −
1
2𝜎2(𝑷𝑇𝒖 − 𝑿𝜷)𝑇(𝑷𝑇𝒖 − 𝑿𝜷)
Kemudian 𝑷𝑇𝑷 = 𝑰 ditambahkan ke dalam kedua kurung tanpa mengubah hasil.
The Mathematics of REML
26
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛}
= −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) −
1
2𝜎2(𝑷𝑇𝒖 − 𝑷𝑇𝑷𝑿𝜷)𝑇(𝑷𝑇𝒖 − 𝑷𝑇𝑷𝑿𝜷)
(5)
Keluarkan 𝑷𝑇 dari kedua kurung, ingat sifat perkalian matriks (dimensi) dan catat bahwa
(𝑷𝑇)𝑇 = 𝑷 menghasilkan:
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛}
= −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) −
1
2𝜎2(𝒖 − 𝑷X𝜷)𝑇𝑷𝑷𝑇(𝒖 − 𝑷X𝜷)
Namun, 𝑷𝑇𝑷 = 𝑰 sehingga suku di tengah dapat diabaikan. Kemudian, 𝑷X𝜷 telah dijelaskan
sebelumnya berupa kolom di mana elemen pertama adalah √𝑛(𝛼 + 𝛽�̅�), elemen kedua
√∑(𝑥𝑖 − �̅�)2 𝛽 dan elemen lain 0. Hal ini memungkinkan logLikelihood dipisahkan ke dalam
tiga komponen: (ingat bahwa 𝑛 = 𝑛 + 1 + 1 − 2 = 1 + 1 + (𝑛 − 2)
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of {𝑢1, 𝑢2, 𝑢3, … , 𝑢𝑛} = −1
2log(2𝜋) −
1
2log(𝜎2) −
1
2𝜎2(𝑢1 − √𝑛(𝛼 + 𝛽�̅�))
2
−1
2log(2𝜋) −
1
2log(𝜎2) −
1
2𝜎2(𝑢2 − √∑(𝑥𝑖 − �̅�)2 𝛽)
2
−𝑛−2
2log(2𝜋) −
𝑛−2
2log(𝜎2) −
1
2𝜎2∑𝑢𝑖
2
𝑛
𝑖=3
Ringkasan,
𝑢1 = √𝑛�̅� menyebar normal dengan rata-rata √𝑛(𝛼 + 𝛽�̅�) dan ragam 𝜎2, bebas terhadap
𝑢2 = 𝑏√∑(𝑥𝑖 − �̅�)2, menyebar normal dengan rata-rata 𝛽√∑(𝑥𝑖 − �̅�)2 dan ragam 𝜎2.
Kedua 𝑢1 dan 𝑢2 bebas terhadap {𝑢3, … , 𝑢𝑛} yang semuanya bebas, dan menyebar normal
dengan rata-rata 0 dan ragam 𝜎2.
Juga,
𝑢22 = 𝑏2 ∑(𝑥𝑖 − �̅�)2 berupa Regression SS dalam ANOVA regresi linier sederhana, dan di
bawah hipotesis bahwa = 0, besaran ini harus menyebar secara 𝜎22 dengan derajat bebas
The Mathematics of REML
27
1, dan bebas terhadap
{𝑢3, ⋯ , 𝑢𝑛}, di mana ∑ 𝑢𝑖2𝑛
𝑖=3 = Residual SS dalam ANOVA regresi linier sederhana karena
alasan berikut ini:
∑𝑦𝑖2
𝑛
𝑖=1
= ∑𝑢𝑖2
𝑛
𝑖=1
= 𝑢12 + 𝑢2
2 + ∑𝑢𝑖2
𝑛
𝑖=3
= 𝑛�̅�2 + 𝑏2 ∑(𝑥𝑖 − �̅�)2 + ∑𝑢𝑖2
𝑛
𝑖=3
Sususn kembali persamaan ini dan ingat bahwa ∑ 𝑦𝑖2𝑛
𝑖=1 - 𝑛�̅�2 = ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 :
maka ∑ (𝑦𝑖 − �̅�)2𝑛𝑖=1 − 𝑏2 ∑(𝑥𝑖 − �̅�)2 = ∑ 𝑢𝑖
2𝑛𝑖=3
Suku pertama adalah Total SS dalam ANOVA regresi linier sederhana dan suku kedua adalah
Regression SS, sehingga ∑ 𝑢𝑖2𝑛
𝑖=3 adalah Residual SS dalam ANOVA regresi linier sederhana.
Karena n-2 peubah {𝑢3, ⋯ , 𝑢𝑛} saling bebas, menyebar normal dengan rata-rata 0 dan ragam
𝜎2, telah diperlihatkan bahwa
Residual SS dalam ANOVA regresi linier sederhana menyebar secara 𝜎22 dengan derajat
bebas n-2 (tak perlu kebenaran hipotesis bahwa slope sama dengan nol), bebas terhadap
Regression SS dalam ANOVA regresi linier sederhana menyebar secara 𝜎22 dengan derajat
bebas 1 (hanya jika hipotesis tentang slope nol benar).
Penduga REML untuk parameter ragam
Fungsi logLikelihood untuk 𝒖 telah memisahkan residual likelihood yang hanya mengandung
parameter ragam 𝜎2. Bagian ketiga bersifat acak dan 2 bagian pertama fixed (tetap), karena
mengandung α dan β.
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒖 = −1
2log(2𝜋) − 1
2log(𝜎2) −
1
2𝜎2(𝑢1 − √𝑛(𝛼 + 𝛽�̅�))
2
fixed term
−1
2log(2𝜋) − 1
2log(𝜎2) −
1
2𝜎2 (𝑢2 − √∑(𝑥𝑖 − �̅�)2 𝛽)2fixed term
The Mathematics of REML
28
−𝑛−2
2log(2𝜋) − 𝑛−2
2log(𝜎2) −
1
2𝜎2∑ 𝑢𝑖
2𝑛𝑖=3 random
Diferensiasi langsung bagian ketiga (residual likelihood) terhadap 𝜎2 menghasilkan solusi
REML:
−∂
∂𝜎2 (
𝑛−2
2log(2𝜋)) −
∂
∂𝜎2 (
𝑛−2
2log(𝜎2)) −
∂
∂𝜎2 (
1
2𝜎2∑𝑢𝑖
2
𝑛
𝑖=3
)
0 −𝑛 − 2
2�̂�2+
1
2�̂�4∑𝑢𝑖
2
𝑛
𝑖=3
= 0
−(𝑛 − 2) +1
�̂�2∑𝑢𝑖
2
𝑛
𝑖=3
= 0 1
�̂�2∑𝑢𝑖
2
𝑛
𝑖=3
= (𝑛 − 2)
Penduga REML bagi 𝜎2 =∑ 𝑢𝑖
2𝑛𝑖=3
𝑛 − 2=
𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑆𝑆
𝑛 − 2= 𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆
Penduga REML untuk ragam dalam model regresi linier sederhana bersifat takbias, karena nilai
harapan peubah 2 dengan derajat bebas n-2 adalah n-2 , 𝐸 (𝜒𝑛−22 ) = 𝑛 − 2
The Mathematics of REML
29
Teladan 3 Regresi Linier Berganda
Regresi linier berganda mengandung p peubah penjelas
𝑦𝑖 = 𝛼 + 𝛽1𝑥1𝑖 + 𝛽2𝑥2𝑖 + ⋯𝛽𝑝𝑥𝑝𝑖 + 휀𝑖
memiliki p+1 parameter yang tidak diketahui, di mana {𝑥1𝑖, … , 𝑥𝑝𝑖 , 𝑖 = 1,⋯ , 𝑛} diasumsikan
tetap dan {i} diasumsikan bebas, menyebar normal dengan rata-rata 0 dan ragam 𝜎2.
Bentuk matriks model, 𝒚 = 𝑿𝜷 + 𝛜 melibatkan:
𝑿 = [1 𝑥11 ⋯ 𝑥𝑝1
⋯ ⋯ ⋯ ⋯
1 𝑥1𝑛 ⋯ 𝑥𝑝𝑛
], 𝜷 = [
𝛼𝛽1
⋮𝛽p
]
Penduga ML untuk parameter
Solusi ML untuk 𝜷, vector kolom parameter untuk model umum telah diperlihatkan sebagai
𝒃 = (𝑿T𝑿)−1𝑿T𝒚.
Menurunkan terhadap 𝜎2 dalam
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −log(2𝜋) −𝑛
2log(𝜎2) −
1
2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) (6)
dan menggunakan penduga ML untuk pengaruh tetap parameter menghasilkan penduga bagi
𝜎2:
Penduga ML bagi 𝜎2 =(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃)
𝑛
yakni Residual SS dalam ANOVA regresi linier berganda dibagi n, bukan (n-1-p) sebagaimana
dalam kasus Residual MS dalam ANOVA.
The Mathematics of REML
30
Sama dengan contoh acak yang berasal dari populasi normal, penduga ML untuk ragam bersifat
bias.
The Mathematics of REML
31
Penduga REML untuk parameter ragam 𝝈𝟐
Matematika model ini menjadi lebih kompleks, sehingga pendekatan secara pasti tidak
dilakukan ketika mempertimbangkan General Linear Mixed Model. Dalam hal ini, secara
sederhana akan ditunjukkan cara menguraikan menjadi dua ekspresi, satu mengandung
informasi parameter tetap 𝜷, dan yang lain hanya mengandung parameter ragam 𝜎2.
Pandang contoh acak dari populasi normal yang dinyatakan sebagai:
𝑦 − 𝜇 = (𝑦 − �̅�) + (�̅� − 𝜇)
Parameter 𝝁 adalah kasus khusus 𝑿𝜷 dan �̅� = 𝑿𝒃
𝒚 − 𝑿𝜷 = (𝒚 − 𝑿𝒃) + (𝑿𝒃 − 𝑿𝜷) = (𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)
Dan uraikan dua besaran dalam kurung pada suku ketiga 𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑:
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −𝑛
2log(2𝜋) −
𝑛
2log(𝜎2) −
1
2𝜎2(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷)
Maka
(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) = [(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]𝑇[(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]
= [(𝒚 − 𝑿𝒃)𝑇 + (𝒃 − 𝜷)𝑇𝑿𝑇] [(𝒚 − 𝑿𝒃) + 𝑿(𝒃 − 𝜷)]
(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃) + (𝒃 − 𝜷)𝑇𝑿𝑻(𝒚 − 𝑿𝒃) + (𝒚 − 𝑿𝒃)𝑇𝑿(𝒃 − 𝜷) + (𝒃 − 𝜷)𝑇𝑿𝑇𝑿(𝒃 − 𝜷)
Karena berupa skalar, maka (𝒃 − 𝜷)𝑇𝑿𝑻(𝒚 − 𝑿𝒃) = (𝒚 − 𝑿𝒃)𝑇𝑿(𝒃 − 𝜷), sehingga
= (𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃) + 2(𝒚 − 𝑿𝒃)𝑇𝑿(𝒃 − 𝜷) + (𝒃 − 𝜷)𝑇𝑿𝑇𝑿(𝒃 − 𝜷)
Pandang suku kedua dan masukkan X ke dalam kurung di kiri:
2(𝒚 − 𝑿𝒃)𝑇𝑿(𝒃 − 𝜷) = 2(𝑿𝑇𝒚 − 𝑿𝑇𝑿𝒃)𝑇(𝒃 − 𝜷)
The Mathematics of REML
32
Tetapi 𝑿𝑇𝒚 − 𝑿𝑇𝑿𝒃 = 0 karena persamaan ini digunakan untuk meminimumkan (p+1)
parameter tetap (ingat solusi untuk 𝒃 adalah 𝒃 = (𝑿𝑇𝑿)−1𝑿𝑇𝒚). Dengan demikian suku di
tengah dapat dibuang dan menghasilkan:
(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) = (𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃) + (𝒃 − 𝜷)𝑇𝑿𝑇𝑿(𝒃 − 𝜷)
Catatan tentang suku kedua, mengapa nol:
𝑿𝑇𝒚 − 𝑿𝑇𝑿𝒃 = 𝑿𝑇𝒚 − 𝑿𝑇𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚 = 𝑿𝑇𝒚 − 𝑰 𝑿𝑇𝒚 = 𝑿𝑇𝒚 − 𝑿𝑇𝒚 = 0
Suku kedua adalah fungsi dari (p+1) parameter dalam 𝜷. Suku pertama tidak mengandung
(bebas dari) vektor parameter, dan biasa ditulis sebagai
(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃)=
(𝒚 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚)𝑇(𝒚 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇𝒚) = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚
Sesungguhnya matriks 𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇 simetrik dan idempoten, maka pengaruh acak:
(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃) = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚
Ditulis dalam bentuk pengaruh acak ditambah dengan pengaruh tetap:
(𝒚 − 𝑿𝜷)𝑇(𝒚 − 𝑿𝜷) = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 + (𝒃 − 𝜷)𝑇𝑿𝑇𝑿(𝒃 − 𝜷)
Fungsi logLikelihood regresi linier berganda adalah:
Pandang 𝑛 = 𝑛 − 1 + 1 − 𝑝 + 𝑝 = (𝑝 + 1) + (𝑛 − 1 − 𝑝) untuk penguraian
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 of 𝒚 = −𝑝+1
2log(2𝜋) − 𝑝+1
2log(𝜎2) −
1
2𝜎2(𝒃 − 𝜷)𝑇 𝑿𝑇𝑿(𝒃 − 𝜷) tetap
−𝑛−1−𝑝
2log(2𝜋) − 𝑛−1−𝑝
2log(𝜎2) −
1
2𝜎2𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 acak
Turunan bagian kedua terhadap 𝜎2 menghasilkan solusi REML untuk 𝜎2:
−∂
∂𝜎2 (𝑛−1−𝑝
2log(2𝜋)) −
∂
∂𝜎2 (𝑛−1−𝑝
2log(𝜎2)) −
∂
∂𝜎2 (
1
2𝜎2𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚)
0 −𝑛 − 1 − 𝑝
2�̂�2+
1
2�̂�4𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚 = 0
The Mathematics of REML
33
𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚
�̂�2= 𝑛 − 1 − 𝑝
Penduga REML untuk 𝜎2 = 𝒚𝑇(𝑰 − 𝑿(𝑿𝑇𝑿)−1𝑿𝑇)𝒚
𝑛 − 1 − 𝑝=
(𝒚 − 𝑿𝒃)𝑇(𝒚 − 𝑿𝒃)
𝑛 − 1 − 𝑝
yaitu Residual MS ANOVA regresi linier berganda dan penduga takbias bagi parameter.
The Mathematics of REML
34
Teladan 4 Rancangan Perlakuan Satu Arah
Ambil n ulangan untuk data dari t populasi normal yang semuanya memiliki ragam sama. Ini
merupakan kasus khusus dari regresi linier berganda, tetapi kita akan mengembangkan
matematika terpisah untuk model ini dan melibatkan pembuktian transformasi matriks ortogonal
untuk sebaran-sebaran komponen ANOVA. Kita mempertimbangkan kasus ulangan sama untuk
membuat ekspresi menjadi sederdana, prosedur yang sama diterapkan pada rancangan dengan
ulangan tidak sama.
Model adalah:
𝑦𝑖𝑗 = 𝜇 + 𝜏𝑖 + 휀𝑖𝑗, 𝑖 = 1,⋯ , 𝑡; 𝑗 = 1,⋯ , 𝑛
Dalam bentuk GLM, 𝒚 = 𝑿𝜷 + 𝛜, terdapat banyak parameter dalam model di atas (dengan
perlakuan t , terdapat t rata-rata dan satu ragam, model di atas memilik t+1 parameter
{𝜇, 𝜏1, ⋯ , 𝜏𝑡} dan parameter ragam 𝜎2). Cara termudah adalah memilih satu restriksi (batasan)
di antara parameter {𝜇, 𝜏1, ⋯ , 𝜏𝑡}. Agar sederhana, pilih batasan 𝜏1 + ⋯+ 𝜏𝑡 = 0, dan ganti
(katakan) 𝜏𝑡 dengan (−𝜏1 − ⋯− 𝜏𝑡−1). Restriksi mana pun yang dipilih akan menghasilkan
solusi sama untuk komponen-komponen ANOVA.
Vektor data 𝒚 memiliki n pengamatan dalam t perlakuan, menghasilkan vektor sepanjang nt.
Secara umum, 𝜷 = (𝜇, 𝜏1, 𝜏2, ⋯ , 𝜏𝑡), terdapat t+1 parameter
Kasus 1: Jika 𝜇 = 0, vektor 𝜷 = (𝜏1, 𝜏2, ⋯ , 𝜏𝑡) akan mengandung t parameter
Ilustrasi t = 3 (i=1,2,3) dan n = 4 (j=1, 2, 3, 4), 𝜷 = (𝜏1, 𝜏2 , 𝜏3) terdiri dari 3 parameter
Terdapat nt = 4(3) = 12 persamaan linier
𝑦11 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11
𝑦12 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12
𝑦13 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13
𝑦14 = 0 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14
𝑦21 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21
𝑦22 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22
𝑦23 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23
The Mathematics of REML
35
𝑦24 = 0 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24
𝑦31 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31
𝑦32 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32
𝑦33 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33
𝑦34 = 0 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34
Karena, suku pertama dalam model bernilai nol, tidak perlu ditulis, apalagi hanya terdapat 3
parameter, sehingga matriks rancangan berdimensi 𝑛𝑡 × 𝑡 = 12 × 3
Matriks rancangan adalah: 𝜏1 𝜏2 𝜏3
𝑿 =
(
1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)
=(14 04 04
04 14 04
04 04 14
)
𝑿𝑇𝑿 = (1 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1
)
(
1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)
𝑿𝑇𝑿 = (4 0 00 4 00 0 4
) = 4 (1 0 00 1 00 0 1
) = 4 𝑰3 secara umum 𝑿𝑇𝑿 = 𝑛𝑰𝑡
The Mathematics of REML
36
𝑿𝑇𝒚 = (1 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1
)
(
𝑦11
𝑦12
𝑦13
𝑦14
𝑦21
𝑦22
𝑦23
𝑦24
𝑦31
𝑦32
𝑦33
𝑦34)
=
(
∑𝑦1𝑗
4
𝑗=1
∑𝑦2𝑗
4
𝑗=1
∑𝑦3𝑗
4
𝑗=1 )
= (
4�̅�1
4�̅�2
4�̅�3
)
𝑿𝑇𝒚 = 4(�̅�1
�̅�2
�̅�3
) secara umum 𝑿𝑇𝒚 = 𝑛�̅�𝑖
Kasus 2: Jika 𝜏1, = 0, vektor 𝜷 = (𝜇, 𝜏2, ⋯ , 𝜏𝑡) atau 𝜷 = (𝜇, 𝜏2 , 𝜏3)
𝑦11 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11
𝑦12 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12
𝑦13 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13
𝑦14 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14
𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21
𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22
𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23
𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24
𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31
𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32
𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33
𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34
The Mathematics of REML
37
𝜇 𝜏2 𝜏3
𝑿 =
(
1 0 01 0 01 0 01 0 01 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1)
=(14 04 04
14 14 04
14 04 14
)
𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 10 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1
)
(
1 0 01 0 01 0 01 0 01 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1)
𝑿𝑇𝑿 = (12 4 44 4 04 0 4
) = 4 (3 1 11 1 01 0 1
) = 4 (3 1 11 1 01 0 1
) = 4 (3 13−1
𝑇
13−1 𝑰3−1)
secara umum 𝑿𝑇𝑿 = 𝑛 (𝑡 1𝑡−1
𝑇
1𝑡−1 𝑰𝑡−1)
𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 10 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1
)
(
𝑦11
𝑦12
𝑦13
𝑦14
𝑦21
𝑦22
𝑦23
𝑦24
𝑦31
𝑦32
𝑦33
𝑦34)
=
(
∑∑𝑦𝑖𝑗
∑𝑦2𝑗
4
𝑗=1
∑𝑦3𝑗
4
𝑗=1 )
= (
(4 × 3)�̅�4�̅�2
4�̅�3
)
The Mathematics of REML
38
𝑿𝑇𝒚 = 4(3�̅��̅�2
�̅�3
)
Kasus 3: Jika 𝜏2, = 0, vektor 𝜷 = (𝜇, 𝜏1, 𝜏3, ⋯ , 𝜏𝑡) atau 𝜷 = (𝜇, 𝜏1 , 𝜏3)
𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11
𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12
𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13
𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14
𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀21
𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀22
𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀23
𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀24
𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31
𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32
𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33
𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34
𝜇 𝜏1 𝜏3
𝑿 =
(
1 1 01 1 01 1 01 1 01 0 01 0 01 0 01 0 01 0 11 0 11 0 11 0 1)
=(14 14 04
14 04 04
14 04 14
)
The Mathematics of REML
39
𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1
)
(
1 1 01 1 01 1 01 1 01 0 01 0 01 0 01 0 01 0 11 0 11 0 11 0 1)
𝑿𝑇𝑿 = (12 4 44 4 04 0 4
) = 4 (3 1 11 1 01 0 1
) = 4 (3 1 11 1 01 0 1
) = 4 (3 13−1
𝑇
13−1 𝑰3−1)
secara umum 𝑿𝑇𝑿 = 𝑛 (𝑡 1𝑡−1
𝑇
1𝑡−1 𝑰𝑡−1)
𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1
)
(
𝑦11
𝑦12
𝑦13
𝑦14
𝑦21
𝑦22
𝑦23
𝑦24
𝑦31
𝑦32
𝑦33
𝑦34)
=
(
∑∑𝑦𝑖𝑗
∑𝑦1𝑗
4
𝑗=1
∑𝑦3𝑗
4
𝑗=1 )
= (
(4 × 3)�̅�4�̅�1
4�̅�3
)
𝑿𝑇𝒚 = 4(3�̅��̅�1
�̅�3
)
Kasus 4: Jika 𝜏3, = 0, vektor 𝜷 = (𝜇, 𝜏1, 𝜏2, 𝜏4,,⋯ , 𝜏𝑡) atau 𝜷 = (𝜇, 𝜏1 , 𝜏2)
𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11
𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12
𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13
𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14
𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21
The Mathematics of REML
40
𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22
𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23
𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24
𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀31
𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀32
𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀33
𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀34
𝜇 𝜏1 𝜏2
𝑿 =
(
1 1 01 1 01 1 01 1 01 0 01 0 11 0 11 0 11 0 01 0 01 0 01 0 0)
=(14 14 04
14 04 14
14 04 04
)
𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 0
)
(
1 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 11 0 01 0 01 0 01 0 0)
𝑿𝑇𝑿 = (
14𝑇 14
𝑇 14𝑇
14𝑇 04
𝑇 04𝑇
04𝑇 14
𝑇 04𝑇
)(14 14 04
14 04 14
14 04 04
) = (
4(3) 4(1) 4(1)4(1) 4(1) 4(0)4(1) 4(0) 4(1)
)
𝑿𝑇𝑿 = (12 4 44 4 04 0 4
) = 4 (3 1 11 1 01 0 1
) = 4 (3 1 11 1 01 0 1
) = 4 (3 13−1
𝑇
13−1 𝑰3−1)
The Mathematics of REML
41
secara umum 𝑿𝑇𝑿 = 𝑛 (𝑡 1𝑡−1
𝑇
1𝑡−1 𝑰𝑡−1)
𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 0
)
(
𝑦11
𝑦12
𝑦13
𝑦14
𝑦21
𝑦22
𝑦23
𝑦24
𝑦31
𝑦32
𝑦33
𝑦34)
=
(
∑∑𝑦𝑖𝑗
∑𝑦1𝑗
4
𝑗=1
∑𝑦2𝑗
4
𝑗=1 )
= (
(4 × 3)�̅�4�̅�1
4�̅�2
)
𝑿𝑇𝒚 = 4(3�̅��̅�1
�̅�2
)
Apa pun batasan yang dibuat tentang, selalu memberikan hasil sama 𝑿𝑇𝑿 = 𝑛 (𝑡 1𝑡−1
𝑇
1𝑡−1 𝑰𝑡−1)
𝑿 =
[ 1𝑛 1𝑛 0𝑛 ⋯ 0𝑛
1𝑛 0𝑛 1𝑛 ⋯ 0𝑛
1𝑛 0𝑛 0𝑛 ⋯ 0𝑛
⋮ ⋮ ⋮ ⋮ ⋮1𝑛 0𝑛 0𝑛 ⋯ 1𝑛
1𝑛 −1𝑛 −1𝑛 ⋯ −1𝑛]
, 𝜷 = [
𝜇𝜏1
⋮𝜏𝑡−1
]
Memperlihatkan matriks di atas
Kasus 1: 𝜏3 = − 𝜏1 − 𝜏2 ; 𝜷 = (𝜇, 𝜏1, 𝜏2, , ⋯ , 𝜏𝑡−1) atau 𝜷 = (𝜇, 𝜏1 , 𝜏2), 𝜏3 = 0
𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11
𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12
𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13
𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14
𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21
𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22
𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23
𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24
𝑦31 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 휀31
𝑦32 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 휀32
𝑦33 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 휀33
The Mathematics of REML
42
𝑦34 = 1 × 𝜇 − 1 × 𝜏1 − 1 × 𝜏2 + 0 × 𝜏3 + 휀34
𝜇 𝜏1 𝜏2
𝑿 =
(
1 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1)
=(14 14 04
14 04 14
14 −14 −14
)
𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 −1 −1 −1 −10 0 0 0 1 1 1 1 −1 −1 −1 −1
)
(
1 1 01 1 01 1 01 1 01 0 01 0 11 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1)
𝑿𝑇𝑿 = (12 0 00 8 40 4 8
) = 4 (3 0 00 2 10 1 2
)
𝑿𝑇𝑿 = (
14𝑇 14
𝑇 14𝑇
14𝑇 04
𝑇 −14𝑇
04𝑇 14
𝑇 −14𝑇
)(14 14 04
14 04 14
14 −14 −14
)=(12 0 00 8 40 4 8
) = 4 (3 0 00 2 10 1 2
)
Anak matriks bagian (21), berukuran (3-1)×(3-1) memiliki struktur (𝑰𝑡−1 + 1𝑡−11𝑡−1𝑇 ) =
(𝑰3−1 + 13−113−1𝑇 )
(2 11 2
) = (1 00 1
) + (11) (1 1) = (
1 00 1
) + (1 11 1
)
The Mathematics of REML
43
𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 0 0 0 0 −1 −1 −1 −10 0 0 0 1 1 1 1 −1 −1 −1 −1
)
(
𝑦11
𝑦12
𝑦13
𝑦14
𝑦21
𝑦22
𝑦23
𝑦24
𝑦31
𝑦32
𝑦33
𝑦34)
=
(
∑∑𝑦𝑖𝑗
4
𝑗=4
3
𝑖=1
∑𝑦1𝑗 − ∑𝑦3𝑗
4
𝑗=1
4
𝑗=1
∑𝑦2𝑗
4
𝑗=1
− ∑𝑦3𝑗
4
𝑗=1 )
(
(4 × 3)�̅�..
4�̅�1. − 4�̅�3.
4�̅�2. − 4�̅�3.
) = (
(4 × 3)�̅�..
4(�̅�1. − �̅�3.)
4(�̅�2. − �̅�3.)) = (
𝑛𝑡�̅�..
𝑛(�̅�1. − �̅�3.)
𝑛(�̅�2. − �̅�3.))
Kasus 2: 𝜏2 = − 𝜏1 − 𝜏3 ; 𝜷 = (𝜇, 𝜏1, 𝜏2, , ⋯ , 𝜏𝑡−1) atau 𝜷 = (𝜇, 𝜏1 , 𝜏3), 𝜏2 = 0
𝑦11 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀11
𝑦12 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀12
𝑦13 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀13
𝑦14 = 1 × 𝜇 + 1 × 𝜏1 + 0 × 𝜏2 + 0 × 𝜏3 + 휀14
𝑦21 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 휀21
𝑦22 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 휀22
𝑦23 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 휀23
𝑦24 = 1 × 𝜇 − 1 × 𝜏1 + 0 × 𝜏2 − 1 × 𝜏3 + 휀24
𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31
𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32
𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33
𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34
The Mathematics of REML
44
𝜇 𝜏1 𝜏3
𝑿 =
(
1 1 01 1 01 1 01 1 01 −1 −11 −1 −11 −1 −11 −1 −11 0 11 0 11 0 11 0 1 )
=(14 14 04
14 −14 −14
14 04 14
)
𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 −1 −1 −1 −1 0 0 0 00 0 0 0 −1 −1 −1 −1 1 1 1 1
)
(
1 1 01 1 01 1 01 1 01 −1 −11 −1 −11 −1 −11 −1 −11 0 11 0 11 0 11 0 1 )
𝑿𝑇𝑿 = (12 0 00 8 40 4 8
) = 4 (3 0 00 2 10 1 2
)
𝑿𝑇𝑿 = (
14𝑇 14
𝑇 14𝑇
14𝑇 −14
𝑇 04𝑇
04𝑇 −14
𝑇 14𝑇
)(14 14 04
14 −14 −14
14 04 14
)=(12 0 00 8 40 4 8
) = 4 (3 0 00 2 10 1 2
)
𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 −1 −1 −1 −1 0 0 0 00 0 0 0 −1 −1 −1 −1 1 1 1 1
)
(
𝑦11
𝑦12
𝑦13
𝑦14
𝑦21
𝑦22
𝑦23
𝑦24
𝑦31
𝑦32
𝑦33
𝑦34)
=
(
∑∑𝑦𝑖𝑗
4
𝑗=1
3
𝑖=1
∑𝑦1𝑗 − ∑𝑦2𝑗
4
𝑗=1
4
𝑗=1
∑𝑦3𝑗
4
𝑗=1
− ∑𝑦2𝑗
4
𝑗=1 )
The Mathematics of REML
45
(
(4 × 3)�̅�..
4�̅�1. − 4�̅�2.
4�̅�3. − 4�̅�2.
) = (
(4 × 3)�̅�..
4(�̅�1. − �̅�2.)
4(�̅�3. − �̅�2.)) = (
𝑛𝑡�̅�..
𝑛(�̅�1. − �̅�2.)
𝑛(�̅�3. − �̅�2.))
Kasus 3: 𝜏1 = − 𝜏2 − 𝜏3 ; 𝜷 = (𝜇, 𝜏1, 𝜏2, , ⋯ , 𝜏𝑡−1) atau 𝜷 = (𝜇, 𝜏2 , 𝜏3), 𝜏1 = 0
𝑦11 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 휀11
𝑦12 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 휀12
𝑦13 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 휀13
𝑦14 = 1 × 𝜇 + 0 × 𝜏1 − 1 × 𝜏2 − 1 × 𝜏3 + 휀14
𝑦21 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀21
𝑦22 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀22
𝑦23 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀23
𝑦24 = 1 × 𝜇 + 0 × 𝜏1 + 1 × 𝜏2 + 0 × 𝜏3 + 휀24
𝑦31 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀31
𝑦32 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀32
𝑦33 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀33
𝑦34 = 1 × 𝜇 + 0 × 𝜏1 + 0 × 𝜏2 + 1 × 𝜏3 + 휀34
𝜇 𝜏2 𝜏3
The Mathematics of REML
46
𝑿 =
(
1 −1 −11 −1 −11 −1 −11 −1 −11 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1 )
=(14 −14 −14
14 14 04
14 04 14
)
𝑿𝑇𝑿 = (1 1 1 1 1 1 1 1 1 1 1 1
−1 −1 −1 −1 1 1 1 1 0 0 0 0−1 −1 −1 −1 0 0 0 0 1 1 1 1
)
(
1 −1 −11 −1 −11 −1 −11 −1 −11 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1 )
𝑿𝑇𝑿 = (12 0 00 8 40 4 8
) = 4 (3 0 00 2 10 1 2
)
𝑿𝑇𝑿 = (
14𝑇 14
𝑇 14𝑇
−14𝑇 14
𝑇 04𝑇
−14𝑇 04
𝑇 14𝑇
)(14 −14 −14
14 14 04
14 04 14
)=(12 0 00 8 40 4 8
) = 4 (3 0 00 2 10 1 2
)
𝑿𝑇𝒚 = (1 1 1 1 1 1 1 1 1 1 1 1
−1 −1 −1 −1 1 1 1 1 0 0 0 0−1 −1 −1 −1 0 0 0 0 1 1 1 1
)
(
𝑦11
𝑦12
𝑦13
𝑦14
𝑦21
𝑦22
𝑦23
𝑦24
𝑦31
𝑦32
𝑦33
𝑦34)
=
(
∑∑𝑦𝑖𝑗
4
𝑗=1
3
𝑖=1
∑𝑦2𝑗 − ∑𝑦1𝑗
4
𝑗=1
4
𝑗=1
∑𝑦3𝑗
4
𝑗=1
− ∑𝑦1𝑗
4
𝑗=1 )
The Mathematics of REML
47
(
(4 × 3)�̅�..
4�̅�2. − 4�̅�1.
4�̅�3. − 4�̅�1.
) = (
(4 × 3)�̅�..
4(�̅�2. − �̅�1.)
4(�̅�3. − �̅�1.)) = (
𝑛𝑡�̅�..
𝑛(�̅�2. − �̅�1.)
𝑛(�̅�3. − �̅�1.))
Catatan penting:
Batasan mana pun yang digunakan (t=3, n=4), selalu menghasilkan :
• 𝑿𝑇𝑿 sama
• Bentuk umum 𝑿𝑇𝒚
𝜏1 = 0 𝜏2 = 0 𝜏3 = 0
𝑿
(14 −14 −14
14 14 04
14 04 14
) (14 14 04
14 −14 −14
14 04 14
) (14 14 04
14 04 14
14 −14 −14
)
𝑿𝑇𝑿 = 𝑛 (𝑡 0𝑡−1
𝑇
0𝑡−1 𝑰𝑡−1 + 1𝑡−11𝑡−1𝑇 )
𝑿𝑇𝑿 = 𝑛 (𝑡 0 00 2 10 1 2
) = 4(3 0 00 2 10 1 2
)
𝑿𝑇𝒚 = (
𝑛𝑡�̅�..
𝑛(�̅�1. − �̅�𝑡.)⋮
𝑛(�̅�𝑡−1. − �̅�𝑡.)
)
𝑡 = 1 𝑡 = 2 𝑡 = 3
(
(4 × 3)�̅�..
4(�̅�2. − �̅�1.)
4(�̅�3. − �̅�1.)) (
(4 × 3)�̅�..
4(�̅�1. − �̅�2.)
4(�̅�3. − �̅�2.)) (
(4 × 3)�̅�..
4(�̅�1. − �̅�3.)
4(�̅�2. − �̅�3.))
Dengan definisi 𝑿 ini:
𝑿𝑇𝑿 = 𝑛
[ 𝑡 0 0 ⋯ 00 2 1 ⋯ 10 1 2 ⋯ 1⋮ ⋮ ⋮ ⋱ ⋮0 1 1 ⋯ 2]
Anak matriks bagian bawah berukuran (t-1)×(t-1) memiliki struktur (𝑰𝑡−1 + 1𝑡−11𝑡−1𝑇 ).
Kemudian, kebalikan matriks jenis ini adalah
(𝑫 + 𝒖𝒗𝑇)−1 = 𝑫−1 −𝑫−1𝒖𝒗𝑇𝑫−1
1 + 𝒗𝑇𝑫−1𝒖
The Mathematics of REML
48
Di sini 𝑫 = 𝑰𝑡−1 dan 𝒖 = 𝒗 = 1𝑡−1 sehingga
(𝑰𝑡−1 + 1𝑡−11𝑡−1𝑇 )−1 = 𝑰𝑡−1 −
1
𝑡𝑱𝑡−1
Di mana 𝑱𝑡−1 adalah matriks berelemen 1. Jadi,
(𝑿𝑇𝑿)−1 =1
𝑛[
1
𝑡0𝑡−1
𝑇
0𝑡−1 𝑰𝑡−1 −1
𝑡𝑱𝑡−1
]
Struktur terakhir yang harus dilihat adalah 𝑿𝑇𝒚 di mana, berdasarkan perkalian, menjadi
sederhana
𝑿𝑇𝒚 = [
𝑛𝑡�̅�
𝑛(�̅�1. − �̅�𝑡.)⋮
𝑛(�̅�𝑡−1. − �̅�𝑡.)
]
Akhirnya,
𝒃 = (𝑿𝑇𝑿)−1𝑿𝑇𝒚 =1
𝑛[
1
𝑡0𝑡−1
𝑇
0𝑡−1 𝑰𝑡−1 −1
𝑡𝑱𝑡−1
] [
𝑛𝑡�̅�..
𝑛(�̅�1. − �̅�𝑡.)⋮
𝑛(�̅�𝑡−1. − �̅�𝑡.)
]
Elemen pertama dalam vektor kolom hasil adalah �̅�, yakni penduga bagi 𝜇.
Elemen berikut adalah ciri solusi tersisa. Berdasarkan perkalian matriks, diperoleh penduga
bagi 𝜏1 yakni
𝑃𝑒𝑛𝑑𝑢𝑔𝑎 𝑏𝑎𝑔𝑖 𝜏1 = (�̅�1. − �̅�𝑡.) −1
𝑡∑(�̅�𝑖. − �̅�𝑡.)
𝑡−1
𝑖=1
= (�̅�1. − �̅�𝑡.) −1
𝑡∑(�̅�𝑖. − �̅�𝑡.)
𝑡
𝑖=1
The Mathematics of REML
49
= (�̅�1. − �̅�𝑡.) −1
𝑡∑[(�̅�𝑖. − �̅�) − (�̅�𝑡. − �̅�)]
𝑡
𝑖=1
= (�̅�1. − �̅�𝑡.) + (�̅�𝑡. − �̅�) = (�̅�1. − �̅�)
Untuk rancangan satu-arah dengan ulangan sama, ketika memilih {𝜇, 𝜏1, ⋯ , 𝜏𝑡} sedemikian
sehingga ∑ 𝜏𝑖 = 0𝑡𝑖=1 , penduga bagi parameter 𝜇 adalah �̅�, rata-rata umum dari data, dan
penduga bagi pengaruh perlakuan ke i adalah (�̅�𝑖. − �̅�).
Berikut,
𝒃𝑇𝑿𝑇𝒚 = [�̅� (�̅�1. − �̅�) ⋯ (�̅�𝑡−1. − �̅�)] [
𝑛𝑡�̅�..
𝑛(�̅�1. − �̅�𝑡.)⋮
𝑛(�̅�𝑡−1. − �̅�𝑡.)
]
= 𝑛𝑡�̅�2 + 𝑛 ∑ (�̅�𝑖. − �̅�)(�̅�𝑖. − �̅�𝑡.)𝑡−1𝑖=1
= 𝑛𝑡�̅�2 + 𝑛 ∑ (�̅�𝑖. − �̅�)[(�̅�𝑖. − �̅�) − (�̅�𝑡. − �̅�)]𝑡−1𝑖=1
= 𝑛𝑡�̅�2 + 𝑛 ∑ (�̅�𝑖. − �̅�)2𝑡−1𝑖=1 − 𝑛(�̅�𝑡. − �̅�) ∑ (�̅�𝑖. − �̅�)𝑡−1
𝑖=1
Karena ∑ (�̅�𝑖. − �̅�)𝑡𝑖=1 = 0 diperoleh ∑ (�̅�𝑖. − �̅�)𝑡−1
𝑖=1 = −(�̅�𝑡. − �̅�)
Dan juga:
𝒃𝑇𝑿𝑇𝒚 = 𝑛𝑡�̅�2 + 𝑛 ∑(�̅�𝑖. − �̅�)2
𝑡
𝑖=1
Jika hipotesis nol (𝜏𝑖=0 untuk semua i) benar, hanya satu parameter tersisa yakni 𝜇 dengan
penduga �̅�, dan kemudian 𝒃𝑇𝑿𝑇𝒚 = 𝑛𝑡�̅�2. Untuk menguji hipotesis ini, gunakan n∑ (�̅�𝑖. −𝑡𝑖=1
�̅�)2. Ini adalah Treatment SS dalam ANOVA satu-arah.
Residual SS berdasarkan model asli adalah
∑∑𝑦𝑖𝑗2
𝑛
𝑗=1
𝑡
𝑖=1
− 𝑛𝑡�̅�2 − 𝑛 ∑(�̅�𝑖. − �̅�)2
𝑡
𝑖=1
= ∑∑(𝑦𝑖𝑗 − �̅�𝑖.)2
𝑛
𝑗=1
𝑡
𝑖=1
The Mathematics of REML
50
yakni Residual SS dalam ANOVA satu-arah. Cara lain menulis ekspresi ini adalah:
𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑆𝑆 = (𝑛 − 1)∑𝑠𝑖2
𝑡
𝑖=1
di mana 𝑠𝑖2 adalah ragam contoh (takbias) untuk perlakuan ke-i. Derajat bebas Residual SS
adalah (nt-1)-(t-1) = nt-t = t(n-1), mengilustrasikan kenyataan bahwa untuk rancangan satu-arah,
Residual MS dalam Anova satu-arah ulangan sama, merupakan rata-rata t ragam contoh
perlakuan. Pada rancangan yang diulang tidak sama, maka Residual MS adalah rata-rata
terbobot dari t ragam contoh di mana bobot adalah derajat bebas setiap perlakuan, namakan
(𝑛𝑖 − 1).
Residual MS dalam ANOVA satu-arah bersifat takbias bagi parameter ragam 𝜎2. Kita akan
melihat bahwa penduga ML memiliki penyebut N=nt, dengan demikian penduga ini bias.
Namun, dalam proses pendugaan, kita akan menggunakan transformasi ortogonal terhadap
data.
The Mathematics of REML
51
Penduga ML bagi parameter ragam 𝝈𝟐 untuk rancangan satu-arah
Pilih matriks orthogonal 𝑷 sedemikian sehingga
Baris pertama proporsional terhadap vector satu, yakni, 1nt, di mana setiap elemen dibagi
dengan √𝑛𝑡;
Sisa baris (t-1) berupa kontras antara rata-rata t perlakuan. Ini termasuk ortogonal
polinomial (apabila perlakuan berupa pemupukan), atau matriks kontras sederhana Helmert
seperti Perlakuan 1 versus 2, Perlakuan 1 & 2 versus 3, Perlakuan 1 sampai 3 versus 4 dan
seterusnya. Treatment 1 versus 2, Treatments 1 & 2 versus 3, Treatments 1 to 3 versus 4
dan seterusnya, menghasilkan baris {1, -1, 0, …, 0}, {1, 1, -2, …, 0}, {1, 1, 1, -3, …, 0} dst.
Gunakan aturan matriks ortogonal untuk melengkapi baris-baris lain yang merupakan
kontras antara pengamatan dalam setiap perlakuan.
Jika t=3, matriks dasar untuk pembandingan antar perlakuan adalah (di kolom kanan jumlah
kuadrat):
(1 1 11 −1 01 1 −2
)326
menjadi matriks ortogonal (
1/√3 1/√3 1/√3
1/√2 −1/√2 0
1/√6 1/√6 −2/√6
)111
Jika n = 4, maka nt = 12, ruas kiri menjadi
(
1 1 1 1 11 1 1 1 −11 1 1 1 11 −1 0 0 01 1 −2 0 01 1 1 −3 00 0 0 0 10 0 0 0 10 0 0 0 10 0 0 0 00 0 0 0 00 0 0 0 0
1 1 1 1 1 1 1−1 −1 −1 0 0 0 01 1 1 −2 −2 −2 −2 0 0 0 0 0 0 00 0 0 0 0 0 00 0 0 0 0 0 0
−1 0 0 0 0 0 01 −2 0 0 0 0 01 1 −3 0 0 0 00 0 0 1 −1 0 00 0 0 1 1 −2 00 0 0 1 1 1 −3)
12824261226122612
Membagi dengan akar jumlah kuadrat (kolom terluar) menghasilkan matriks ortogonal 𝑷:
The Mathematics of REML
52
(
1
√12
1
√12
1
√12
1
√12
1
√12
1
√12
1
√12
1
√12
1
√12
1
√12
1
√12
1
√121
√8
1
√8
1
√8
1
√8
−1
√8
−1
√8
−1
√8
−1
√80 0 0 0
1
√24
1
√24
1
√24
1
√24
1
√24
1
√24
1
√24
1
√24
−2
√24
−2
√24
−2
√24
−2
√241
√2
−1
√20 0 0 0 0 0 0 0 0 0
1
√6
1
√6
−2
√60 0 0 0 0 0 0 0 0
1
√12
1
√12
1
√12
−3
√120 0 0 0 0 0 0 0
0 0 0 01
√2
−1
√20 0 0 0 0 0
0 0 0 01
√6
1
√6
−2
√60 0 0 0 0
0 0 0 01
√12
1
√12
1
√12
−3
√120 0 0 0
0 0 0 0 0 0 0 01
√2
−1
√20 0
0 0 0 0 0 0 0 01
√6
1
√6
−2
√60
0 0 0 0 0 0 0 01
√12
1
√12
1
√12
−3
√12
)
• Baris pertama bukan kontras, untuk menghitung rata-rata umum
• Dua baris kedua (t-1)=3-1=2 adalah kontras untuk membandingkan
perlakuan=comparing treatment means.
• Baris 4-6, 7-9 dan 10-12 berukuran (𝑛 − 1) × 4 untuk membandingkan pengamatan
dalam setiap perlakuan (comparisons of data within treatment) – berisi kontras
(jumlah setiap baris 0, jumlah kuadrat setiap baris 1 dan jumlah hasil kali antar baris
0), matriks sama yakni:
𝑲 = (
1/√2 −1/√2 0 0
1/√6 1/√6 −2/√6 0
1/√12 1/√12 1/√12 −3/√12
)
Ini bukan matriks ortogonal, tetapi bagian dari matriks ortogonal.
The Mathematics of REML
53
Matriks 𝑷 berukuran 𝑛𝑡 × 𝑛𝑡 = 4(3) × 4(3) = 12 × 12 dapat diringkas menjadi:
(
√1
1214
𝑇 √1
1214
𝑇 √1
1214
𝑇
√1
814
𝑇 −√1
814
𝑇 04𝑇
√1
2414
𝑇 √1
2414
𝑇 −2√1
2414
𝑇
𝑲3𝑥4 𝑶3𝑥4 𝑶3𝑥4
𝑶3𝑥4 𝑲3𝑥4 𝑶3𝑥4
𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4 )
=
(
√1
3𝑥414
𝑇 √1
3𝑥414
𝑇 √1
3𝑥414
𝑇
√1
2𝑥414
𝑇 −√1
2𝑥414
𝑇 04𝑇
√1
6𝑥414
𝑇 √1
6𝑥414
𝑇 −2√1
6𝑥414
𝑇
𝑲3𝑥4 𝑶3𝑥4 𝑶3𝑥4
𝑶3𝑥4 𝑲3𝑥4 𝑶3𝑥4
𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4 )
Definisikan 𝒖 = 𝑷𝒚 (dengan Jacobian = 1) dengan berharap agar elemen pertama akan
menduga rata-rata umum dan t-1 elemen berikut akan menduga kontras antar rata-rata secara
konsisten dengan bagaimana kontras dinyatakan dalam 𝑷.
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 bagi 𝒖 = −𝑛𝑡
2𝑙𝑛(2𝜋) −
𝑛𝑡
2𝑙𝑛(𝜎2) −
1
2𝜎2(𝑷𝑇𝒖 − 𝑿𝜷)𝑇(𝑷𝑇𝒖 − 𝑿𝜷)
Ini telah dimanipulasi untuk regresi linier sederhana, di mana kita memperoleh (ganti n, ukuran
contoh untuk model itu, dengan nt):
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk 𝒖 = −𝑛𝑡
2𝑙𝑛(2𝜋) −
𝑛𝑡
2𝑙𝑛(𝜎2) −
1
2𝜎2(𝒖 − 𝑷𝑿𝜷)𝑇(𝒖 − 𝑷𝑿𝜷)
Maka 𝑷𝑿 tetap dihitung. Pertama, perhatikan tiga baris pertama matriks 𝑷:
𝑷=
[ √
1
𝑛𝑡1𝑛
𝑇 √1
𝑛𝑡1𝑛
𝑇 √1
𝑛𝑡1𝑛
𝑇 ⋯ √1
𝑛𝑡1𝑛
𝑇
√1
2𝑛1𝑛
𝑇 −√1
2𝑛1𝑛
𝑇 0𝑛 ⋯ 0𝑛
√1
6𝑛1𝑛
𝑇 √1
6𝑛1𝑛
𝑇 −2√1
6𝑛1𝑛
𝑇 ⋯ 0𝑛
⋮ ⋮ ⋮ ⋱ ⋮⋯ ]
Sesudah penyederhanaan:
𝑢1 = √𝑛𝑡�̅�,
𝑢2 = √𝑛 2⁄ [(�̅�1. − �̅�2.)],
The Mathematics of REML
54
𝑢3 = √𝑛 6⁄ [(�̅�1. − �̅�3.) + (�̅�2. − �̅�3.)]
dan seterusnya, hingga 𝑢𝑡−1.
Catatan: jika t=3, maka hanya terdapat 3 kolom pada matriks 𝑷 dan matriks 𝑷𝑿
Juga:
𝑷𝑿𝜷=
[ √
1
𝑛𝑡1𝑛
𝑇 √1
𝑛𝑡1𝑛
𝑇 √1
𝑛𝑡1𝑛
𝑇 ⋯ √1
𝑛𝑡1𝑛
𝑇
√1
2𝑛1𝑛
𝑇 −√1
2𝑛1𝑛
𝑇 0𝑛 ⋯ 0𝑛
√1
6𝑛1𝑛
𝑇 √1
6𝑛1𝑛
𝑇 −2√1
6𝑛1𝑛
𝑇 ⋯ 0𝑛
⋮ ⋮ ⋮ ⋱ ⋮⋯ ]
[ 1𝑛 1𝑛 0𝑛 ⋯ 0𝑛
1𝑛 0𝑛 1𝑛 ⋯ 0𝑛
1𝑛 0𝑛 0𝑛 ⋯ 0𝑛
⋮ ⋮ ⋮ ⋮ ⋮1𝑛 0𝑛 0𝑛 ⋯ 1𝑛
1𝑛 −1𝑛 −1𝑛 ⋯ −1𝑛]
[
𝜇𝜏1
𝜏2
⋮𝜏𝑡−2
𝜏𝑡−1]
=
[ √
𝑛𝑡 0 0 0 ⋯ 0
0 √𝑛
2−√
𝑛
20 ⋯ 0
0 √𝑛
6√
𝑛
6−2√
𝑛
6⋯ 0
⋮ ⋮ ⋮ ⋮ ⋮0 ⋯0 0 0 ⋯ 0⋮ ⋮ ⋮ ⋮ ⋱0 0 0 0 ⋯ 0 ]
[
µ𝜏1
𝜏2
⋮𝜏𝑡−1]
=
[ √𝑛𝑡𝜇
√𝑛
2(𝜏1 − 𝜏2)
√𝑛
6(𝜏1 + 𝜏2 − 2𝜏3)
⋮𝑒𝑡𝑐0⋮0 ]
=
[ √𝑛𝑡𝜇
𝑐1𝛿1
𝑐2𝛿2
⋮𝑐𝑡−1𝛿𝑡−1
0⋮0 ]
√1
2𝑛1𝑛
𝑇 × √1
2𝑛1𝑛
𝑇 = 𝑛√1
2𝑛= √
𝑛2
2𝑛= √
𝑛
2
Yang mengalihkan perhatian kita dari rata-rata perlakuan 𝜇 + 𝜏1, 𝜇 + 𝜏2, …, 𝜇 + 𝜏𝑡−1 hingga
selisih antar rata-rata 𝛿1 = 𝜏1 − 𝜏2, 𝛿2 = 𝜏1 + 𝜏2 − 2𝜏3 = (𝜏1 − 𝜏3) + (𝜏2 − 𝜏3), dst. Catat
bahwa 𝑐𝑖 adalah kontras sederhana.
Perkalian 𝑷𝑿𝜷=
The Mathematics of REML
55
(
√
1
1214
𝑇 √1
1214
𝑇 √1
1214
𝑇
√1
814
𝑇 −√1
814
𝑇 04𝑇
√1
2414
𝑇 √1
2414
𝑇 −2√1
2414
𝑇
𝑲3𝑥4 𝑶3𝑥4 𝑶3𝑥4
𝑶3𝑥4 𝑲3𝑥4 𝑶3𝑥4
𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4 )
(
1 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1)
(
𝜇𝜏1
𝜏2
)
atau
(
√
1
1214
𝑇 √1
1214
𝑇 √1
1214
𝑇
√1
814
𝑇 −√1
814
𝑇 04𝑇
√1
2414
𝑇 √1
2414
𝑇 −2√1
2414
𝑇
𝑲3𝑥4 𝑶3𝑥4 𝑶3𝑥4
𝑶3𝑥4 𝑲3𝑥4 𝑶3𝑥4
𝑶3𝑥4 𝑶3𝑥4 𝑲3𝑥4 )
(14 14 04
14 04 14
14 −14 −14
)(
𝜇𝜏1
𝜏2
)
(
√12 0 0
0 √2 −√2
0 √6 √60 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 00 0 0 )
(
𝜇𝜏1
𝜏2
) =
(
√12𝜇
√2(𝜏1 − 𝜏2)
√6(𝜏1 + 𝜏2)000000000 )
Catatan penting:
Karena batasan 𝜏3=0, maka √𝑛
6(𝜏1 + 𝜏2 − 2𝜏3) = √
𝑛
6(𝜏1 + 𝜏2)
Transformasi ortogonal telah menghasilkan himpuran peubah dengan properti berikut:
The Mathematics of REML
56
𝑢1 = √𝑛𝑡(�̅� − 𝜇) menyebar normal dengan rata-rata 0 dan ragam 𝜎2, dan bebas terhadap
setiap peubah (𝑢𝑖 − 𝑐𝑖𝛿𝑖), 𝑖 = 2,⋯ , 𝑡, yang semuanya bebas dengan rata-rata 0 dan ragam
𝜎2, dan
t peubah pertama {𝑢𝑖 , 𝑖 = 1,⋯ , 𝑡 } semua bebas terhadap nt - t = t(n - 1) peubah
{𝑢𝑖, 𝑖 = 𝑡 + 1,⋯ , 𝑛𝑡 } yang semuanya juga bebas dengan rata-rata 0 dan ragam 𝜎2.
Fungsi logLikelihood untuk {𝑢𝑖} dapat dipisahkan menjadi tiga bagian:
𝑙𝑜𝑔𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 untuk 𝒖 = [−1
2𝑙𝑛(2𝜋) −
1
2𝑙𝑛(𝜎2) −
1
2𝜎2(𝑢1 − √𝑛𝑡𝜇)
2]
+ ⌈∑{−1
2𝑙𝑛(2𝜋) −
1
2𝑙𝑛(𝜎2) −
1
2𝜎2(𝑢𝑖 − 𝑐𝑖𝛿𝑖)
2}
𝑡
𝑖=2
⌉
+ [−𝑡(𝑛−1)
2𝑙𝑛(2𝜋) −
𝑡(𝑛−1)
2𝑙𝑛(𝜎2) −
1
2𝜎2∑ 𝑢𝑖
2
𝑛𝑡
𝑖=𝑡+1
]
Di bawah hipotesis bahwa rata-rata semua perlakuan sama, (yakni semua 𝜏𝑖 = 0, atau
ekivalen dengan semua 𝛿𝑖 = 0), ∑ 𝑢𝑖2𝑡
𝑖=2 dalam bagian kedua adalah Treatment SS dalam
ANOVA, dan karenanya menyebar secara peubah 𝜎2𝜒2 dengan derajat bebas t-1. Pun pula,
setiap komponen dalam Treatment SS menguji kontras sehimpunan rata-rata terhadap
himpunan rata-rata lain, dan menyebar secara 𝜎2𝜒2 dengan derajat bebas 1.
Ekspresi akhir dalam logLikelihood dari {𝑢𝑖} melibatkan ∑ 𝑢𝑖2𝑛𝑡
𝑖=𝑡+1 , yang merupakan
Residual SS dalam ANOVA satu-arah dan dengan demikian menyebar secara peubah 𝜎2𝜒2
dengan derajat bebas nt-t = t(n-1), irrespective of whether the treatment means are all equal
or not. Juga bebas terhadap Treatment SS. Jadi
Nisbah Treatment MS terhadap Residual MS dalam ANOVA satu-arah, di bawah hipotesis
bahwa semua rata-rata perlakuan sama, menyebar secara sebaran F dengan derajat bebas
pembilang t-1 dan penyebut t(n-1).
The Mathematics of REML
57
Nilai F setiap komponen kontras menyebar secara peubah dengan derajat bebas pembilang 1
dan derajat bebas penyebut t(n-1) di bawah asumsi bahwa kontras salah satu rata-rata
tertentu adalah 0.
Ingat bahwa Residual MS dapat ditulis sebagai
𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆 =∑ ∑ (𝑦𝑖𝑗 − �̅�𝑖.)
2𝑛𝑗=1
𝑡𝑖=1
𝑡(𝑛 − 1)=
∑ (𝑛 − 1)𝑠𝑖2𝑡
𝑖=1
𝑡(𝑛 − 1)=
∑ 𝑠𝑖2𝑡
𝑖=1
𝑡
yang merupakan rata-rata dari ragam contoh. Untuk ANOVA satu-arah ulangan tak sama, ini
berupa rata-rata terboboti, dengan bobot (𝑛𝑖 − 1).
Penduga ML untuk 𝝈𝟐 sama dengan di atas, kecuali bahwa penyebut adalah tn. Penduga ini
bias.
Penduga REML untuk 𝝈𝟐 sama dengan Residual MS dan takbias.
Teladan yang digunakan sejauh ini melibatkan penarikan contoh dari satu atau lebih sebaran
normal yang saling bebas dan memiliki ragam sama. Kita beralih pada matriks umum dari
model campuran linier, tetapi menggunakan model sederhana.
The Mathematics of REML
58
Teladan 5 – uji t tidak berpasangan – ragam sama
Ini merupakan kasus khusus rancangan yang telah dibahas sebelumnya, yakni, rancangan
perlakuan satu-arah tanpa pemblokan. Namun, kita akan mendekatinya sebagai kasus khusus
untuk menjelaskan mengapa pendekatan umum diperlukan.
Untuk dua contoh bebas yang diambil dari sebaran normal dengan rata-rata berbeda dan ragam
sama, kita dapat menggunakan property contoh acak sederhana dari sebarab normal:
Untuk contoh acak berukuran 𝑛1, �̅�1 menyebar normal dengan rata-rata 𝜇1 dan ragam 𝜎2
𝑛1,
bebas terhadap
�̅�2, yakni, untuk contoh acak 𝑛2, menyebar normal dengan rata-rata 𝜇2 dan ragam 𝜎2
𝑛2.
Maka �̅�1 − �̅�2 menyebar normal dengan rata-rata (𝜇1 − 𝜇2) dan ragam (𝜎2
𝑛1+
𝜎2
𝑛2).
Akhir Selasa, 10 Maret 2015
Kemudian, karena dua ragam contoh bebas terhadap dua rata-rata contoh, dan setiap rata-rata
benas terhadap ragam contoh:
(�̅�1 − �̅�2) bebas terhadap dua sebaran: (𝑛1−1)𝑠1
2
𝜎2 ~χ2 dengan derajat bebas (𝑛1 − 1), dan
(𝑛2−1)𝑠22
𝜎2 ~χ2 dengan derajat bebas (𝑛2 − 1).
Dengan demikian, kita mempunyai dua penduga (bersaing), yang sama-sama menduga ragam
yang sama 𝜎2. Kita tahu bahwa jumlah dari dua peubah χ2 yang saling bebas adalah juga
peubah χ2 dengan derajat bebas gabungan (jumlah dua derajat bebas). Maka, untuk kasus
ulangan tidak sama, (𝑛1−1)𝑠1
2+(𝑛2−1)𝑠22
𝜎2 menyebar secara χ2 dengan derajat bebas ((𝑛1 − 1) +
(𝑛2 − 1)).
Akhirnya, berdasarkan definisi, peubah t, adalah nisbah peubah normal baku terhadap akar
pangkat dua dari peubah χ2 bebas yang diskalakan dengan membaginya dengan derajat (yang
juga menjadi derajat bebas peubah t ). Dengan demikian, jika (𝜇1 − 𝜇2) = 0,
The Mathematics of REML
59
(�̅�1 − �̅�2)
√(𝜎2
𝑛1+
𝜎2
𝑛2)
⁄
√(𝑛1 − 1)𝑠1
2 + (𝑛2 − 1)𝑠22
𝜎2
((𝑛1 − 1) + (𝑛2 − 1))⁄
=(�̅�1 − �̅�2)
√(𝑛1 − 1)𝑠1
2 + (𝑛2 − 1)𝑠22
(𝑛1 − 1) + (𝑛2 − 1)(
1𝑛1
+1𝑛2
)
Akan menyebar secara peubah 𝑡 dengan derajat bebas ((𝑛1 − 1) + (𝑛2 − 1)).
Teladan 6 – uji t tidak berpasangan – ragam berbeda
Penyesuaian terhadap argumen sebelumnya bersifat minor (sederhana) sampai pada titik
menggabungkan ragam contoh.
Untuk dua contoh bebas yang ditarik dari sebaran-sebaran normal, dengan rata-rata berbeda dan
ragam berbeda, kita dapat menggunakaan properti contoh acak sederhana dari sebaran normal:
Untuk contoh acak berukuran 𝑛1, �̅�1 menyebar normal dengan rata-rata 𝜇1 dan ragam 𝜎1
2
𝑛1,
bebas terhadap
Statistik �̅�2, dari contoh acak berukuran 𝑛2, menyebar normal dengan rata-rata 𝜇2 dan ragam
𝜎22
𝑛2.
Maka (�̅�1 − �̅�2) akan menyebar normal dengan rata-rata (𝜇1 − 𝜇2) dan ragam (𝜎1
2
𝑛1+
𝜎22
𝑛2).
Kemudian, karena kedua ragam contoh bebas terhadap dua rata-rata contoh, dan setiap rata-rata
contoh bebas terhadap ragam contoh:
(�̅�1 − �̅�2) bebas terhadap dua peubah, baik (𝑛1−1)𝑠1
2
𝜎12 ~χ2 dengan derajat bebas (𝑛1 − 1), mau
pun (𝑛2−1)𝑠2
2
𝜎22 ~χ2 dengan derajat bebas (𝑛2 − 1).
The Mathematics of REML
60
Apabila 𝜎12 dan 𝜎2
2 diketahui, maka kita menggunakan (�̅�1 − �̅�2) sebagai peubah normal
dengan ragam (𝜎1
2
𝑛1+
𝜎22
𝑛2) untuk menguji (𝜇1 − 𝜇2) = 0. Masalahnya adalah bahwa kita tidak
pernah tahu nilai ragam populasi sesungguhnya (contoh binomial dengan ulangan banyak
menggunakan kenormalan asimtotik merupakan pengecualian). How to proceed?
Jika kita menggabungkan dua peubah 2 yakni (𝑛1−1)𝑠1
2
𝜎12 dan
(𝑛2−1)𝑠22
𝜎22 tidaklah mungkin
menghilangkan peubah ragam populasi yang tidak diketahui itu dari rumus modifikasi untuk
menghitung uji t tak-berpasangan (kecuali anda asumsikan bahwa satu ragam populasi diketahui
sebagai kelipatan dari yang lain) :
𝑡𝑜𝑏𝑠 =
(�̅�1 − �̅�2)
√(𝜎1
2
𝑛1+
𝜎22
𝑛2)
⁄
√((𝑛1 − 1)𝑠1
2
𝜎12 +
(𝑛2 − 1)𝑠22
𝜎22 )
((𝑛1 − 1) + (𝑛2 − 1))⁄
Catat bahwa dalam kasus ulangan tak sama, kita menggunakan peubah normal baku
(�̅�1 − �̅�2)
√(𝜎2
𝑛1+
𝜎2
𝑛2)
=(�̅�1 − �̅�2)
√𝜎2 (1𝑛1
+1𝑛2
)
~𝑁(0,1)
Dan menggantikan 𝜎2 dengan penduga terbaiknya yang berhubungan dengan sebaran 2,
menghasilkan uji t-tidak berpasangan. Hal ini menyebabkan dua ahli statistika bekerja secara
terpisah (Satterthwaite, mempublikasi 1946, dan Welch, pada 1947) mempelajari pengaruh
penggantian dua ragam populasi berbeda dengan ragam contoh dalam kasus ragam berbeda:
(�̅�1 − �̅�2)
√(𝜎1
2
𝑛1+
𝜎22
𝑛2)
→(�̅�1 − �̅�2)
√(𝑠12
𝑛1+
𝑠22
𝑛2)
The Mathematics of REML
61
Statistik di sebelah kanan tidak secara pasti menyebar secara statistik t karena suku dalam tanda
akar dari penyebut bukanlah peubah 2. Tetapi dengan mencocokkan dua momen pertama,
Satterthwaite memutuskan untuk mendalami pengaruh penggantian suatu fungsi linier dari
peubah 2 dengan peubah tunggal 2. Dia menemukan bagaimana menduga derajat bebas
sebuah peubah tunggal 2 . Untuk contoh berukuran cukup besar, dia menunjukkan bahwa
sebaran t kira-kira untuk
𝑡𝑜𝑏𝑠∗ =
(�̅�1 − �̅�2)
√(𝑠12
𝑛1+
𝑠22
𝑛2)
dengan derajat bebas diduga oleh:
𝑑𝑓 =(𝑠12
𝑛1+
𝑠22
𝑛2)
2
√
(
(𝑠12
𝑛1⁄ )
2
𝑛1 − 1+
(𝑠22
𝑛2⁄ )
2
𝑛2 − 1
)
Derivasi cukup mudah. Kita ingin menggantikan 𝑠12
𝑛1+
𝑠22
𝑛2 dengan 𝑠𝐵
2 katakan, dan, sebagai
(𝑛1−1)𝑠12
𝜎12 ~χ2 dengan derajat bebas (𝑛1 − 1), kita menghendaki 𝑟
𝑠𝐵2
𝜎𝐵2 ~χ2 dengan derajat bebas r
untuk beberapa nilai r.
Karena 𝐸(χ𝜈2) = 𝜈, maka 𝐸 (
(𝑛1−1)𝑠12
𝜎12 ) = (𝑛1 − 1) dan menyebabkan 𝐸 (
𝑠12
𝑛1) =
𝜎12
𝑛1. Sama
halnya, 𝐸 (𝑠22
𝑛2) =
𝜎22
𝑛2 dan 𝐸 (𝑟
𝑠𝐵2
𝜎𝐵2) = 𝑟 sehingga 𝐸(𝑠𝐵
2) = 𝜎𝐵2.
Diketahui bahwa 𝑣𝑎𝑟(χ𝜈2) = 2𝜈, maka 𝑣𝑎𝑟 (
(𝑛1−1)𝑠12
𝜎12 ) = 2(𝑛1 − 1) dan juga 𝑣𝑎𝑟 (
𝑠12
𝑛1) =
2
𝑛12(𝑛1−1)
𝜎14 (1). Sama halnya, 𝑣𝑎𝑟 (
𝑠22
𝑛2) =
2
𝑛22(𝑛2−1)
𝜎24 dan 𝑣𝑎𝑟 (𝑟
𝑠𝐵2
𝜎𝐵2) = 2𝑟 maka 𝑣𝑎𝑟(𝑠𝐵
2) =
2𝜎𝐵4
𝑟 (2).
Penjelasan 1: Jika 𝑈~χ𝑟2 maka 𝐸(𝑈)~𝑟 dan 𝑉𝑎𝑟(𝑈) = 2𝑟
• 𝑉𝑎𝑟 (𝑠2
𝑛) =
1
𝑛2 𝑉𝑎𝑟(𝑠2) # tetapi 𝑉𝑎𝑟 ((𝑛−1)𝑠2
𝜎2 ) = 𝑉𝑎𝑟 ( χ(𝑛−1)2 ) = 2(𝑛 − 1) )
The Mathematics of REML
62
• 𝑉𝑎𝑟 ((𝑛−1)𝑠2
𝜎2 ) =(𝑛−1)2
𝜎4 𝑉𝑎𝑟(𝑠2)
• (𝑛−1)2
𝜎4 𝑉𝑎𝑟(𝑠2) = 2(𝑛 − 1) 𝑉𝑎𝑟(𝑠2) =2(𝑛−1)𝜎4
(𝑛−1)2 =
2𝜎4
𝑛−1
• Substitusi ke dalam #, menghasilkan 𝑉𝑎𝑟 (𝑠2
𝑛) =
1
𝑛2 𝑉𝑎𝑟(𝑠2) = 1
𝑛2 × 2𝜎4
𝑛−1=
2𝜎4
𝑛2(𝑛−1)
Penjelasan 2:
• 𝑉𝑎𝑟 (𝑟𝑠𝐵2
𝜎𝐵2) = 2𝑟 karena 𝑟
𝑠𝐵2
𝜎𝐵2 ~χ𝑟
2
• 𝑉𝑎𝑟 (𝑟𝑠𝐵2
𝜎𝐵2) =
𝑟2
𝜎𝐵4 𝑉𝑎𝑟(𝑠𝐵
2) = 2𝑟
• 𝑉𝑎𝑟(𝑠𝐵2) = 2𝑟
(𝑟2
𝜎𝐵4)
⁄ =2𝑟𝜎𝐵
4
𝑟2 =2𝜎𝐵
4
𝑟
Dengan demikian, jika
𝑠𝐵2 =
𝑠12
𝑛1+
𝑠22
𝑛2
Maka dengan menyamakan rata-rata dan ragam teoritis menghasilkan:
𝜎𝐵2 =
𝜎12
𝑛1+
𝜎22
𝑛2
dan
2𝜎𝐵4
𝑟=
2
𝑛12(𝑛1 − 1)
𝜎14 +
2
𝑛22(𝑛2 − 1)
𝜎24
Ingat 𝑉𝑎𝑟(𝑠𝐵2)=
2𝜎𝐵4
𝑟
𝑉𝑎𝑟(𝑠𝐵2) = 𝑉𝑎𝑟 (
𝑠12
𝑛1+
𝑠22
𝑛2) = 𝑉𝑎𝑟 (
𝑠12
𝑛1) + 𝑉𝑎𝑟 (
𝑠22
𝑛2) − 0 =
1
𝑛12 𝑉𝑎𝑟(𝑠1
2) + 1
𝑛22 𝑉𝑎𝑟(𝑠2
2)
1
𝑛12 (
2𝜎14
(𝑛1−1)) +
1
𝑛22 (
2𝜎24
(𝑛2−1)) =
2
𝑛12(𝑛1−1)
𝜎14 +
2
𝑛22(𝑛2−1)
𝜎24
Maka, derajat bebas yang sesuai untuk suku perkiraan 2 tunggal adalah
𝑟 =𝜎𝐵
4
1𝑛1
2(𝑛1 − 1)𝜎1
4 +1
𝑛22(𝑛2 − 1)
𝜎24
≈(𝑠1
2
𝑛1+
𝑠22
𝑛2)2
1𝑛1
2(𝑛1 − 1)𝑠1
4 +1
𝑛22(𝑛2 − 1)
𝑠24
The Mathematics of REML
63
=(𝑠1
2
𝑛1+
𝑠22
𝑛2)2
1(𝑛1 − 1)
(𝑠1
2
𝑛1)2
+1
(𝑛2 − 1)(𝑠2
2
𝑛2)2
Di mana ragam sesungguhnya di ruas kiri telah diganti oleh ragam contoh di ruas kanan.
Prosedur (default) dalam GenStat adalah untuk menguji kesamaan ragam sebelum menguji
kesamaan rata-rata. Uji tidak berpasangan digunakan ketika hasil pengujian kesamaan ragam
tidak nyata, jika tidak gunakan pendekatan Satterthwaite.
Metode REML modern menghasilkan kembali statistik ini dan derajat bebas jika ragam
dispesifikkan berbeda. Untuk melihat tindakan ini kita harus membangun Linear Mixed Model
secara umum.
Selesai Selasa 17 Maret sebelum lunch
The Mathematics of REML
64
Model Campuran Linier (LMM)
Model linier umum dikembangkan untuk melibatkan pengaruh tetap, pengaruh acak dan
matriks ragam-peragam umum. Notasi yang digunakan didasarkan pada monograf Brian Cullis
dan Alison Smith (saat di Wagga Agricultural Institute, NSW Agriculture; Ari Verbyla,
BiometricsSA; Robin Thompson dan Sue Welham, IACR-Rothamsted) dan diadopsi dalam
GenStat.
1. Model Campuran Linier Umum
Saat ini, setiap model dapat dinyatakan sebagai model campuran linier (LMM) dalam bentuk:
𝒚 = 𝑿𝝉 + 𝒁𝒖 + 𝒆 (7)
di mana
𝒚 adalah vector hasil pengamatan berukuran n1,
𝝉 adalah vector pengaruh tetap, berdimensi p1, dengan matriks rancangan 𝑿 berukuran np
hasil penempatan n pengamatan (kombinasi) pada p pengaruh tetap yang sesuai,
𝒖 adalah vector pengaruh acak berukuran b1, dengan matriks rancangan 𝒁 berukuran nb
hasil penempatan pengamatan pada b pengaruh acak (kombinasi) yang sesuai
𝒆 adalah vector residual errors berukuran n1.
Kita asumsikan bahwa pengaruh acak menyebar normal, 𝒖~N(0, 𝜎𝐻2𝑮), dan bebas terhadap
residual errors yang juga menyebar normal, 𝒆~N(0, 𝜎𝐻2𝑹).
Unsur-unsur matriks ragam-peragam 𝑮 adalah fungsi dari beberapa parameter yang membentuk
elemen vektor, katakan 𝜸, sehingga kadang-kadang untuk penekanan ditulis sebagai matriks
ragam-peragam 𝑮(𝜸).
Matriks ragam-peragam 𝑹 akan ditulis sebagai 𝑹 = 𝜎2𝜮, di mana 𝜮 memiliki elemen sebagai
fungsi dari sejumlah parameter yang membentuk vektor 𝝓, sehingga ditulis sebagai matriks
ragam-peragam 𝜮(𝝓).
• Mengeluarkan parameter 𝜎2 sebagai pengali menyebabkan 𝜮 menjadi matriks identitas
𝑰 jika kita mempunyai error yang menyebar bebas dan identik;
The Mathematics of REML
65
• Matriks diagonal, jika kita memiliki error bebas tetapi dengan ragam berubah
• Matriks korelasi, jika kita memiliki error berkorelasi tetapi ragam konstan (data deret
waktu).
Penjelasan: lihat file excel RCB example for REML
CRD:
1. 3 perlakuan tetap, 𝝉 = (𝜏1, 𝜏2, 𝜏3) atau 𝝉 = (𝜇, 𝜏1, 𝜏2) tergantung batasan seperti 𝜏3 =
0 atau 𝜏3 = −𝜏1 − 𝜏2 dengan demikian 𝝁 = 0
2. 𝝁 fixed, 3 perlakuan acak, 𝝉 = 𝝁 dan 𝝁 = (𝜏1, 𝜏2, 𝜏3)
𝑉𝑎𝑟(𝝁) = 𝑮 = (
𝜎𝑇2 0 0
0 𝜎𝑇2 0
0 0 𝜎𝑇2
) = 𝜎𝑇2 𝑰𝑡
RCBD:
1. 𝜇, perlakuan tetap, blok tetap (not to gereralized)
(𝜇, 𝜏1, 𝜏2, ⋯ , 𝜏𝑡−1, 𝛽1, 𝛽2,⋯ , 𝛽𝑟−1 )
2. 𝜇, perlakuan tetap 𝝉 = (𝜇, 𝜏1, 𝜏2) 𝝁 = (𝛽1, 𝛽2, 𝛽3, 𝛽4)
𝑮 = 𝜎𝐵2 𝑰𝑟
𝜎𝐻2𝑹 = 1 × (
𝜎2 0 00 𝜎2 00 0 𝜎2
) = 𝜎2𝑰𝑟
Dengan perubahan ragam:
𝜎𝐻2𝑹 =
(
𝜎12 0 0 0 0 0 0 0 0 0 0 0
0 𝜎12 0 0 0 0 0 0 0 0 0 0
0 0 𝜎12 0 0 0 0 0 0 0 0 0
0 0 0 𝜎12 0 0 0 0 0 0 0 0
0 0 0 0 𝜎22 0 0 0 0 0 0 0
0 0 0 0 0 𝜎22 0 0 0 0 0 0
0 0 0 0 0 0 𝜎22 0 0 0 0 0
0 0 0 0 0 0 0 𝜎22 0 0 0 0
0 0 0 0 0 0 0 0 𝜎32 0 0 0
0 0 0 0 0 0 0 0 0 𝜎32 0 0
0 0 0 0 0 0 0 0 0 0 𝜎32 0
0 0 0 0 0 0 0 0 0 0 0 𝜎32)
The Mathematics of REML
66
𝜎𝐻2𝑹 =
(
𝜎1
2 (
1 0 0 00 1 0 00 0 1 00 0 0 1
) 𝑶4×4 𝑶4×4
𝑶4×4 𝜎22 (
1 0 0 00 1 0 00 0 1 00 0 0 1
) 𝑶4×4
𝑶4×4 𝑶4×4 𝜎32 (
1 0 0 00 1 0 00 0 1 00 0 0 1
)
)
𝜎𝐻2𝑹 = 𝐷𝑖𝑎𝑔(𝜎1
2𝑰𝑟|𝜎22𝑰𝑟|𝜎3
2𝑰𝑟)
3. Deret waktu atau korelasi spasial, perubahan ragam dengan autokorelasi lag-1 (AR1)
𝜎𝐻2𝑹 =
(
𝜎12
(
1 𝜙 𝜙2 𝜙3
𝜙 1 𝜙 𝜙2
𝜙2 𝜙 1 𝜙
𝜙3 𝜙2 𝜙 1 )
𝑶4×4 𝑶4×4
𝑶4×4 𝜎22
(
1 𝜙 𝜙2 𝜙3
𝜙 1 𝜙 𝜙2
𝜙2 𝜙 1 𝜙
𝜙3 𝜙2 𝜙 1 )
𝑶4×4
𝑶4×4 𝑶4×4 𝜎32
(
1 𝜙 𝜙2 𝜙3
𝜙 1 𝜙 𝜙2
𝜙2 𝜙 1 𝜙
𝜙3 𝜙2 𝜙 1 )
)
𝜎𝐻2𝑹 = 𝐷𝑖𝑎𝑔(𝜎1
2𝐴𝑅1|𝜎22𝐴𝑅2|𝜎3
2𝐴𝑅3)
Kita telah melihat kasus khusus LMM dalam teladan-teladan terdahulu:
Untuk penarikan contoh acak sederhana dari populasi normal, kita mempunyai hanya satu
parameter tetap, dan 𝝉 = () adalah scalar yang digunakan dalam setiap hasil pengamatan;
sehingga 𝑿 adalah vektor satu 1n. Karena tak terdapat pengaruh acak, maka 𝒖 = 0.
Untuk regresi linier sederhana, ada dua pengaruh tetap (intersep dan slope) sehingga
𝝉T = (𝛼, 𝛽) dan 𝑿 = (1𝑛, 𝒙) di mana 𝒙 adalah vektor peubah penjelas. Tidak ada pengaruh
The Mathematics of REML
67
acak lain, sehingga 𝒖 = 0.
Untuk rancangan perlakuan tetap satu-arah tanpa blok dan t perlakuan, terdapat t pengaruh
tetap: t rata-rata, maka 𝝉T = (𝜏1, ..., 𝜏t); atau rata-rata umum tambah t-1 pengaruh perlakuan,
sehingga 𝝉T = (, 1, ..., t-1); atau parameterisasi lain dari t perlakuan. Kemudian 𝑿 adalah
matriks rancangan yang menjelaskan perlakuan mana miliki suatu pengamatan. Taka ada
pengaruh acak lain, sehingga 𝒖 = 0.
Catat bahwa daripada ketertarikan pada sehimpunan perlakuan tetap, kita dapat memilih
secara acak t perlakuan dari populasi perlakuan berukuran besar, yang akan menyebabkan
pengaruh acak dan akan muncul sebagai 𝒖 dan dalam hal ini matriks 𝒁 merupakan matriks
rancangan yang menjelaskan asal suatu pengamatan. Kita akan mempertimbangkan tipe
percobaan ini kemudian.
Karena 𝒖 dan 𝒆 memiliki vector rata-rata nol dan rata-rata vektor data adalah 𝐸(𝒚) = 𝑿𝝉 dan
matriks ragam-peragam
𝑣𝑎𝑟(𝒚) = 𝐸(𝒚 − 𝑿𝝉)(𝒚 − 𝑿𝝉)T = 𝐸(𝒁𝒖 + 𝒆)(𝒁𝒖 + 𝒆)T
= 𝐸(𝒁𝒖 + 𝒆)(𝒖T𝒁T + 𝒆T) = 𝐸(𝒁𝒖𝒖T𝒁T) + 𝐸(𝒁𝒖𝒆T) + 𝐸(𝒆𝒖T𝒁T) + 𝐸(𝒆𝒆T)
= 𝒁𝐸(𝒖𝒖T)𝒁T + 𝒁𝐸(𝒖𝒆T) + 𝐸(𝒆𝒖T)𝒁T + 𝐸(𝒆𝒆T)
= 𝒁𝑮𝒁T + 𝒁(0) + (0)𝒁T + 𝑹
= 𝜎𝐻2𝒁𝑮𝒁T + σ𝐻
2 𝑹
= 𝜎𝐻2(𝒁𝑮𝒁T + 𝑹)
= 𝜎𝐻2𝑯
di mana
𝑯 = 𝑹 + 𝒁𝑮𝒁T (8)
dan 𝜎𝐻2 adalah faktor skala yang membolehkan struktur 𝑹 dan 𝑮 dinyatakan sebagai ragam atau
model korelasi dalam beberapa keadaan.
Dengan demikian, vektor data 𝒚 menyebar normal dengan rata-rata 𝑿𝝉 dan matriks ragam-
peragam 𝜎𝐻2𝑯.
2. Transformasi untuk memisahkan pengaruh tetap
The Mathematics of REML
68
Langkah dalam pendugaan REML ini sama dengan yang telah kita lakukan dengan transformasi
ortogonal, tetapi kita tidak memerlukan semua matriks harus ortogonal.
Kita akan mentransformasi vektor 𝒚 dengan panjang n menjadi peubah baru (katakan) 𝒚∗,
terdiri dari 𝒚1 berukuran p dan 𝒚2 berukuran (n-p). Elemen-elemen 𝒚1 mengandung informasi
tentang pengaruh tetap sedangkan elemen 𝒚2 akan hanya melibatkan parameter yang terdapat
dalam matriks peragam 𝜎𝐻2𝑯. Namun, 𝒚1 dan 𝒚2 tidak akan tidak berkorelasi (saling
bergantung), sehingga pendekatan akan menggunakan sebaran bersyarat 𝒚1|𝒚2.
Maka, kita menggunakan vector data y dan menemukan transformasi terhadap y menjadi
[𝒚1
𝒚2] = 𝑳𝑇𝒚 di mana matriks 𝑳 = [𝑳1 𝑳2] terdiri dari dua anak- matriks yang dipilih secara
khusus, sebagaimana kita memilih matriks ortogonal khusus untuk beberapa teladan terdahulu:
sebuah matriks 𝑳1 berukuran n×p dan sebuah matriks lain 𝑳2 berukuran n×(n-p). Dua properti
yang kita perlukan untuk anak-matriks ini, yakni (dan ingat bahwa terdapat p pengaruh tetap
dalam LMM):
Kondisi 1: 𝑳1𝑇𝑿 = 𝑰𝑝
Kondisi 2: 𝑳2𝑇𝑿 = 𝑶(𝑛−𝑝) × 𝑝
Contoh perhitungan anak-anak matriks 𝑳1 𝑳2 untuk RAK (p = 3, r = 4, n = pr = 12)
• Siapkan 𝑳1 berdimensi 12 × 3 (kolom 1 (𝜇)=112, kolom 2 (𝜏1): p1 vs semua, kolom 3
(𝜏2): 2 vs semua)= (𝜇, 𝜏1, 𝜏2). Bisa juga (𝜇, 𝜏1, 𝜏3): 1 vs semua dan 3 vs semua atau
(𝜇, 𝜏2, 𝜏3): 2 vs semua dan 3 vs semua
𝜇 𝜏1 𝜏2 𝜇 𝜏1 𝜏3 𝜇 𝜏2 𝜏3
The Mathematics of REML
69
• 1
12
(
1 2 −11 2 −11 2 −11 2 −11 −1 21 −1 21 −1 21 −1 21 −1 −11 −1 −11 −1 −11 −1 −1)
1
12
(
1 2 −11 2 −11 2 −11 2 −11 −1 −11 −1 −11 −1 −11 −1 −11 −1 21 −1 21 −1 21 −1 2 )
1
12
(
1 −1 −11 −1 −11 −1 −11 −1 −11 2 −11 2 −11 2 −11 2 −11 −1 21 −1 21 −1 21 −1 2 )
• Siapkan 𝑳2 berdimensi 12 × 9 : antar blok dalam setiap perlakuan, karena ada 4 blok,
maka untuk setiap perlakuan ada 3 kolom/pembandingan: b1 vs b2, b 12 vs b3 dab b123
vs b4), dengan demikian terdapat 3 x 3 kolom = 9 kolom.
• 𝑳2 =
(
1 1 1 0 0 0 0 0 0−1 1 1 0 0 0 0 0 00 −2 1 0 0 0 0 0 00 0 −3 0 0 0 0 0 00 0 0 1 1 1 0 0 00 0 0 −1 1 1 0 0 00 0 0 0 −2 1 0 0 00 0 0 0 0 −3 0 0 00 0 0 0 0 0 1 1 10 0 0 0 0 0 −1 1 10 0 0 0 0 0 0 −2 10 0 0 0 0 0 0 0 −3)
• Matriks 𝑿 berukuran 12 × 3, kolom 2 dan 3 untuk pembandingan antar perlakuan;
hampir sama dengan matriks 𝑳1.
• Kasus 1: anggap 𝜏3 = 0, (𝜇, 𝜏1, 𝜏2) = (112, 1 𝑣𝑠 3 𝑑𝑎𝑛 2 𝑣𝑠 3)
• Kasus 2: anggap 𝜏2 = 0, (𝜇, 𝜏1, 𝜏3) = (112, 1 𝑣𝑠 2 𝑑𝑎𝑛 3 𝑣𝑠 2)
• Kasus3: anggap 𝜏1 = 0, (𝜇, 𝜏2, 𝜏3) = (112, 2 𝑣𝑠 1 𝑑𝑎𝑛 3 𝑣𝑠 1)
𝜇 𝜏1 𝜏2 𝜇 𝜏1 𝜏3 𝜇 𝜏2 𝜏3
The Mathematics of REML
70
•
(
1 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 11 −1 −11 −1 −11 −1 −11 −1 −1)
(
1 1 01 1 01 1 01 1 01 −1 −11 −1 −11 −1 −11 −1 −11 0 11 0 11 0 11 0 1 )
(
1 −1 −11 −1 −11 −1 −11 −1 −11 1 01 1 01 1 01 1 01 0 11 0 11 0 11 0 1 )
• Karena dasar pembentukan sama, maka matriks 𝑳11 digunakan dengan 𝑿1, 𝑳12 dengan
𝑿2 dan 𝑳13 dengan 𝑿3
Di bawah kondisi ini:
𝒚1~𝑁(𝝉, 𝜎𝐻2𝑳1
𝑇𝑯𝑳1) karena
𝐸(𝒚1) = 𝐸(𝑳1𝑇𝒚) = 𝑳1
𝑇𝐸(𝒚) = 𝑳1𝑇𝑿𝝉 = 𝑰𝑝𝝉 = 𝝉 dengan pilihan 𝑳1, dan
𝑣𝑎𝑟(𝒚1) = 𝑣𝑎𝑟(𝑳1𝑇𝒚) = 𝑳1
𝑇𝑣𝑎𝑟(𝒚)𝑳1 = 𝜎𝐻2𝑳1
𝑇𝑯𝑳1
𝒚2~𝑁(0, 𝜎𝐻2𝑳2
𝑇𝑯𝑳2) karena
𝐸(𝒚2) = 𝐸(𝑳2𝑇𝒚) = 𝑳2
𝑇𝑬(𝒚) = 𝑳2𝑇𝑿𝝉 = 0 𝝉 = 0 dengan pilihan 𝑳2, dan
𝑣𝑎𝑟(𝒚2) = 𝑣𝑎𝑟(𝑳2𝑇𝒚) = 𝑳2
𝑇𝑣𝑎𝑟(𝒚)𝑳2 = 𝜎𝐻2𝑳2
𝑇𝑯𝑳2
𝑐𝑜𝑣𝑎𝑟(𝒚1, 𝒚2) = 𝑳1𝑇𝑣𝑎𝑟(𝒚)𝑳2 = 𝜎𝐻
2𝑳1𝑇𝑯𝑳2
Fungsi kepekatan peluang peubah acak normal bivariat 𝑓(𝑦1, 𝑦2):
1
2𝜋𝜎1𝜎2√1 − 𝜌2𝑒𝑥𝑝 {−
1
2(1 − 𝜌2)[(𝑦1 − 𝜇1)
2
𝜎12 − 2𝜌
(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)
𝜎1𝜎2+
(𝑦2 − 𝜇2)2
𝜎22 ]}
Jika kedua peubah saling bebas, 𝜌 = 0,
1
2𝜋𝜎1𝜎2𝑒𝑥𝑝 {−
1
2[(𝑦1−𝜇1)2
𝜎12 +
(𝑦2−𝜇2)2
𝜎22 ]} =
1
2𝜋𝜎1𝜎2𝑒𝑥𝑝 {−
1
2∑ (
𝑦𝑖−𝜇𝑖
𝜎𝑖)2
2𝑖=1 }
Fungsi kepekatan peluang marjinal 𝑓1(𝑦1):
The Mathematics of REML
71
𝑓1(𝑦1) = 1
𝜎1√2𝜋𝑒𝑥𝑝 {−
1
2[(𝑦1 − 𝜇1)
2
𝜎12 ]}
Fungsi kepekatan peluang bersyarat 𝑓1(𝑦2|𝑦1) =𝑓(𝑦1,𝑦2)
𝑓1(𝑦1)
1
2𝜋𝜎1𝜎2√1−𝜌2𝑒𝑥𝑝 {
1
2(1−𝜌2)[(𝑦1−𝜇1)2
𝜎12 − 2𝜌
(𝑦1−𝜇1)(𝑦1−𝜇1)
𝜎1𝜎2+
(𝑦2−𝜇2)2
𝜎22 ]}
1
𝜎1√2𝜋𝑒𝑥𝑝 {−
1
2[(𝑦1 − 𝜇1)
2
𝜎12 ]}
Catatan tentang koefisien di luar exp
1
2𝜋𝜎1𝜎2√1−𝜌2
1
𝜎1√2𝜋
⁄ =𝜎1√2𝜋
2𝜋𝜎1𝜎2√1−𝜌2=
1
𝜎2√2𝜋 √1−𝜌2
Di dalam eksponensiasi:
{−1
2(1 − 𝜌2)[(𝑦1 − 𝜇1)
2
𝜎12 − 2𝜌
(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)
𝜎1𝜎2+
(𝑦2 − 𝜇2)2
𝜎22 ]} + {
1
2[(𝑦1 − 𝜇1)
2
𝜎12 ]}
Gabungkan, gunakan koefisien −1
2(1−𝜌2):
−1
2(1 − 𝜌2)[(𝑦1 − 𝜇1)
2
𝜎12 − 2𝜌
(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)
𝜎1𝜎2+
(𝑦2 − 𝜇2)2
𝜎22 − (1 − 𝜌2)
(𝑦1 − 𝜇1)2
𝜎12 ]
Gabungkan suku 1 dan 4:
(𝑦1 − 𝜇1)2
𝜎12 − (1 − 𝜌2)
(𝑦1 − 𝜇1)2
𝜎12 =
(𝑦1 − 𝜇1)2
𝜎12 −
(𝑦1 − 𝜇1)2
𝜎12 + 𝜌2
(𝑦1 − 𝜇1)2
𝜎12 = 𝜌2
(𝑦1 − 𝜇1)2
𝜎12
Jadikan unsur 𝑦2 suku pertama:
−1
2(1 − 𝜌2)[(𝑦2 − 𝜇2)
2
𝜎22 − 2𝜌
(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)
𝜎1𝜎2+ 𝜌2
(𝑦1 − 𝜇1)2
𝜎12 ]
Tampak bentuk (𝑎 − 𝑏)2, tetapi dengan memfaktorkan ke luar (1𝜎2
2⁄ ) sehingga:
𝑎 = (𝑦2 − 𝜇2) dan 𝑏 =𝜎2𝜌
𝜎1(𝑦1 − 𝜇1)
The Mathematics of REML
72
−1
2(1 − 𝜌2)𝜎22 [ (𝑦2 − 𝜇2) −
𝜎2𝜌
𝜎1
(𝑦1 − 𝜇1)]2
Dengan demikian fungsi peluang bersyarat
1
𝜎2√2𝜋 √1 − 𝜌2𝑒𝑥𝑝 {−
1
2(1 − 𝜌2)𝜎22 [ (𝑦2 − 𝜇2) −
𝜎2𝜌
𝜎1
(𝑦1 − 𝜇1)]2
}
1
√2𝜋 √(1 − 𝜌2)𝜎22𝑒𝑥𝑝 {−
1
2(1 − 𝜌2)𝜎22 [ 𝑦2 − 𝜇2 − 𝜌
𝜎2
𝜎1
(𝑦1 − 𝜇1)]2
}
1
√2𝜋 √(1 − 𝜌2)𝜎22𝑒𝑥𝑝 {−
1
2(1 − 𝜌2)𝜎22 [ 𝑦2 − (𝜇2 + 𝜌
𝜎2
𝜎1
(𝑦1 − 𝜇1))]
2
}
Berdasarkan fungsi kepekatan peluang ini,
(𝑦2|𝑦1)~𝑁𝑜𝑟𝑚𝑎𝑙 (𝜇2 + 𝜌𝜎2
𝜎1
(𝑦1 − 𝜇1), (1 − 𝜌2)𝜎22)
𝐸(𝑦2|𝑦1) = 𝜇2 + 𝜌𝜎2
𝜎1(𝑦1 − 𝜇1) berbentuk persamaan regresi linier sederhana,
= 𝜇2 + 𝜌𝜎2
𝜎1𝑦1 − 𝜌
𝜎2
𝜎1𝜇1 = (𝜇2 − 𝜌
𝜎2
𝜎1𝜇1) + (𝜌
𝜎2
𝜎1) 𝑦1
di mana 𝛽 = 𝜌𝜎2
𝜎1 dan 𝛼 = 𝜇2 − 𝛽𝜇1
Hubungan antar koefisien regresi dan koefisien korelasi :
𝑏 = ∑(𝑋 − �̅�) (𝑌 − �̅�)
∑(𝑋 − �̅�)2 ×
√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2
√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2
∑(𝑋 − �̅�) (𝑌 − �̅�)
√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2 ×
√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2
∑(𝑋 − �̅�)2
∑(𝑋 − �̅�) (𝑌 − �̅�)
√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2 ×
√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2
∑(𝑋 − �̅�)2= 𝑟 × √
∑(𝑌 − �̅�)2
∑(𝑋 − �̅�)2
The Mathematics of REML
73
𝑏 = 𝑟 × √∑(𝑌 − �̅�)2
∑(𝑋 − �̅�)2
𝑟 = ∑(𝑋 − �̅�) (𝑌 − �̅�)
√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2
∑(𝑋 − �̅�) (𝑌 − �̅�)
√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2×
∑(𝑋 − �̅�)2
∑(𝑋 − �̅�)2=
∑(𝑋 − �̅�) (𝑌 − �̅�)
∑(𝑋 − �̅�)2 ×
∑(𝑋 − �̅�)2
√∑(𝑋 − �̅�)2 √∑(𝑌 − �̅�)2
𝑏 = 𝑟 × √∑(𝑌 − �̅�)2
∑(𝑋 − �̅�)2 and 𝑟 = 𝑏 × √
∑(𝑋 − �̅�)2
∑(𝑌 − �̅�)2
Dalam kasus multivariat, fkp untuk peubah acak 𝑦𝑖 = (𝑦1, 𝑦2, ⋯ , 𝑦𝑛)
1
2𝜋𝜎1𝜎2√1 − 𝜌2𝑒𝑥𝑝 {−
1
2(1 − 𝜌2)[(𝑦1 − 𝜇1)
2
𝜎12 − 2𝜌
(𝑦1 − 𝜇1)(𝑦1 − 𝜇1)
𝜎1𝜎2+
(𝑦2 − 𝜇2)2
𝜎22 ]}
1
(2𝜋)𝑛/2 |Σ|1/2𝑒𝑥𝑝 {−
1
2[(𝒚 − 𝝁)𝑇 𝚺−1(𝒚 − 𝝁) ]}
𝚺 = (𝜎1
2 𝜎12
𝜎21 𝜎22 ) |𝚺| = 𝜎1
2𝜎22 − 𝜎12𝜎21 𝚺−1 =
1
𝜎12𝜎2
2−𝜎12𝜎21 (
𝜎22 −𝜎12
−𝜎21 𝜎12 )
Cara lain, jika 𝜌 =𝜎12
𝜎1𝜎2 sehingga 𝜎12 = 𝜌𝜎1𝜎2
𝚺 = (𝜎1
2 𝜌𝜎1𝜎2
𝜌𝜎1𝜎2 𝜎22 ) |𝚺| = 𝜎1
2𝜎22 − 𝜌2𝜎1
2𝜎22 = (1 − 𝜌2) 𝜎1
2𝜎22
𝚺−1 =1
(1−𝜌2) 𝜎12𝜎2
2 (𝜎2
2 −𝜌𝜎1𝜎2
−𝜌𝜎1𝜎2 𝜎12 )=
1
(1−𝜌2) (
1
𝜎12 −
𝜌
𝜎1𝜎2
−𝜌
𝜎1𝜎2
1
𝜎22
)
(𝒚 − 𝝁)𝑇 𝚺−1(𝒚 − 𝝁), jika menganggap 𝝁 = 0 dan 𝒚 = (𝑦1, 𝑦2) maka 𝒚𝑇𝚺−1𝒚 adalah
(𝑦1 𝑦2)1
(1 − 𝜌2)
(
1
𝜎12 −
𝜌
𝜎1𝜎2
−𝜌
𝜎1𝜎2
1
𝜎22
)
(𝑦1
𝑦2)
The Mathematics of REML
74
1
(1 − 𝜌2) (
𝑦1
𝜎12 −
𝜌𝑦2
𝜎1𝜎2 −
𝜌𝑦1
𝜎1𝜎2+
𝑦2
𝜎22) (
𝑦1
𝑦2)
1
(1 − 𝜌2) (𝑦1 (
𝑦1
𝜎12 −
𝜌𝑦2
𝜎1𝜎2) − 𝑦2 (
𝜌𝑦1
𝜎1𝜎2−
𝑦2
𝜎22))
1
(1 − 𝜌2) (
𝑦12
𝜎12 −
𝜌𝑦1𝑦2
𝜎1𝜎2−
𝜌𝑦1𝑦2
𝜎1𝜎2+
𝑦22
𝜎22 )
𝒚𝑇𝚺−1𝒚 =1
(1 − 𝜌2) (
𝑦12
𝜎12 −
2𝜌𝑦1𝑦2
𝜎1𝜎2+
𝑦22
𝜎22 )
Ringkasan: Gunakan transformasi ini,
[𝒚1
𝒚2] ~𝑁 ([
𝝉0] , 𝜎𝐻
2 [𝑳1
𝑇𝑯𝑳1 𝑳1𝑇𝑯𝑳2
𝑳2𝑇𝑯𝑳1 𝑳2
𝑇𝑯𝑳2
])
Langkah berikut memerlukan properti sebaran bersyarat dari peubah normal multivariat. Secara
khusus, pandang:
[𝒛1
𝒛2] ~𝑁 ([
𝝁1
𝝁2] , [
𝚺11 𝚺12
𝚺21 𝚺22]), di mana 𝒛1 berukuran p×1 dan 𝒛2 berukuran (n-p)×1.
𝒛1~𝑁(𝝁1, 𝚺11) dan 𝒛2~𝑁(𝝁2, 𝚺22) atau 𝒛~𝑁(𝝁, 𝚺)
Fungsi kepekatan peluang gabungan
𝑓(𝒛1, 𝒛2) = (2𝜋)−𝑛/2 |𝚺|−1/2𝑒𝑥𝑝 {−1
2[(𝒛 − 𝝁)𝑇 𝚺−1(𝒛 − 𝝁) ]}
Fungsi kepekatan peluang marjinal 𝑓2(𝒛2):
𝑓2(𝒛2) = (2𝜋)−(𝑛−𝑝)/2 |𝚺22|−1/2𝑒𝑥𝑝 {−
1
2[(𝒛2 − 𝝁2)
𝑇 𝚺22−1(𝒛2 − 𝝁2) ]}
Fungsi peluang bersyarat 𝑓(𝒛1|𝒛2):
𝑒𝑥𝑝 {−12
[(𝒛1 − 𝝁1)𝑇 𝚺−1(𝒛1 − 𝝁1) − (𝒛2 − 𝝁2)
𝑇 𝚺22−1(𝒛2 − 𝝁2)]}
(2𝜋)𝑝/2|𝚺|1/2|𝚺22|−1/2
|𝚺22|1/2𝑒𝑥𝑝 {−
12
[(𝒛1 − 𝝁1)𝑇 𝚺−1(𝒛1 − 𝝁1) − (𝒛2 − 𝝁2)
𝑇 𝚺22−1(𝒛2 − 𝝁2)]}
(2𝜋)𝑝/2|𝚺|1/2
Gunakan Rao, hal 28 untuk saling meniadakan |𝚺22|1/2 dan |𝚺22|
1/2
The Mathematics of REML
75
Lihat Rao, hal 29, tukar diagonal utama (karena perlu dan diagonal utama segi)
|𝑨 𝑪𝑩 𝑫
| = |𝑨| |𝑫 − 𝑩𝑨𝑪|
|𝚺| = |𝚺22 𝚺21
𝚺12 𝚺11| = |𝚺22| |𝚺11 − 𝚺12𝚺22
−1𝚺21|
|𝚺|1/2 = |𝚺22|1/2 |𝚺11 − 𝚺12𝚺22
−1𝚺21|1/2
|𝚺22|1/2𝑒𝑥𝑝 {−
12
[(𝒛1 − 𝝁1)𝑇 𝚺−1(𝒛1 − 𝝁1) − (𝒛2 − 𝝁2)
𝑇 𝚺22−1(𝒛2 − 𝝁2)]}
(2𝜋)𝑝/2|𝚺|1/2
Keluarkan 𝜇 dari dalam eksponen
−1
2 (𝒛1 − 𝝁1 𝒛2 − 𝝁2)𝑇 (
𝚺11 𝚺12
𝚺21 𝚺22)−1
(𝒛1 − 𝝁1
𝒛2 − 𝝁2) +
1
2 (𝒛2 − 𝝁2)
𝑇𝚺22−1(𝒛2 − 𝝁2)
−1
2 (𝒛1 𝒛2)𝑇 (
𝚺11 𝚺12
𝚺21 𝚺22)
−1
(𝒛1
𝒛2) +
1
2 (𝒛2)
𝑇𝚺22−1(𝒛2)
Lihat Rao, hal 29, tukar diagonal utama (karena perlu dan diagonal utama segi)
(𝚺22 𝚺12
𝚺21 𝚺11)−1
(𝑨 𝑩𝑩𝑇 𝑫
)−1
= (𝑨−1 + 𝑭𝑬−1𝑭𝑇 −𝑭𝑬−1
−𝑬−1𝑭𝑇 𝑬−1 ) rumus umum (jangan lupa tukar diagonal)
𝑬 = 𝑫 − 𝑩𝑇𝑨−1𝑩 = 𝚺11 − 𝚺12𝚺22−1𝚺21 dan dan 𝑭 = 𝑨−1𝑩 = 𝚺22
−1𝚺21
((𝚺11 − 𝚺12𝚺22
−1𝚺21)−1
−(𝚺11 − 𝚺12𝚺22−1𝚺21)
−1𝚺12𝚺22
−1
𝑠𝑎𝑚𝑎 𝚺22−1 + 𝚺22
−1𝚺21(𝚺11 − 𝚺12𝚺22−1𝚺21)
−1𝚺12𝚺22
−1)
Kalikan dengan vektor baris (𝒛1𝑇 𝒛2
𝑇) di kiri dan vektor kolom di kanan,
(𝒛1𝑇 𝒛2
𝑇)((𝚺11 − 𝚺12𝚺22
−1𝚺21)−1
−(𝚺11 − 𝚺12𝚺22−1𝚺21)
−1𝚺12𝚺22
−1
𝑠𝑎𝑚𝑎 𝚺22−1 + 𝚺22
−1𝚺21(𝚺11 − 𝚺12𝚺22−1𝚺21)
−1𝚺12𝚺22
−1)(
𝒛1𝒛2
)
𝒛1𝑇(𝚺11 − 𝚺12𝚺22
−1𝚺21)−1
𝒛1
−𝒛2𝑇(𝚺11 − 𝚺12𝚺22
−1𝚺21)−1
𝚺12𝚺22−1𝒛1 − 𝒛1
𝑇(𝚺11 − 𝚺12𝚺22−1𝚺21)
−1𝚺12𝚺22
−1𝒛2
The Mathematics of REML
76
+𝒛2𝑇 (𝚺22
−1 + 𝚺22−1𝚺21(𝚺11 − 𝚺12𝚺22
−1𝚺21)−1
𝚺12𝚺22−1) 𝒛2
Suku 2 dan 3 sama karena 𝒖𝑇𝒗𝒘 = 𝒘𝑇𝒗𝒖 sehingga:
𝒛1𝑇(𝚺11 − 𝚺12𝚺22
−1𝚺21)−1
𝒛1 − 2𝒛1𝑇(𝚺11 − 𝚺12𝚺22
−1𝚺21)−1
𝚺12𝚺22−1𝒛2
+𝒛2𝑇 (𝚺22
−1 + 𝚺22−1𝚺21(𝚺11 − 𝚺12𝚺22
−1𝚺21)−1
𝚺12𝚺22−1) 𝒛2
Ini berbentuk (𝑢 − 𝑣)2 = 𝑢2 − 2𝑢𝑣 + 𝑣2
dalam matriks (𝒖 − 𝒗)𝑇𝑴(𝒖 − 𝒗) = 𝒖𝑇𝑴𝒖 − 𝟐𝒖𝑇𝑴𝒗 + 𝒗𝑇𝑴𝒗
𝒖 = 𝒛1 𝑴 = (𝚺11 − 𝚺12𝚺22−1𝚺21)
−1 𝒗 = 𝚺12𝚺22
−1𝒛2
(𝒛1 − 𝚺12𝚺22−1𝒛2)
𝑇(𝚺11 − 𝚺12𝚺22
−1𝚺21)−1
(𝒛1 − 𝚺12𝚺22−1𝒛2)
Catat bahwa, sebagai matriks peragam, (1) 𝚺11 dan 𝚺22 harus setangkup, dan (2) 𝚺21 = 𝚺12𝑇 .
Gunakan Rao, hal 28 untuk saling meniadakan |𝚺22|1/2 dan |𝚺22|
1/2
Lihat Rao, hal 29, tukar diagonal utama (karena perlu dan diagonal utama segi)
|𝑨 𝑪𝑩 𝑫
| = |𝑨| |𝑫 − 𝑩𝑨𝑪|
|𝚺| = |𝚺22 𝚺21
𝚺12 𝚺11| = |𝚺22| |𝚺11 − 𝚺12𝚺22
−1𝚺21|
|𝚺|1/2 = |𝚺22|1/2 |𝚺11 − 𝚺12𝚺22
−1𝚺21|1/2
Maka fungsi peluang bersyarat 𝑓(𝒛1|𝒛2):
|𝚺22|1/2𝑒𝑥𝑝 {−
12
[(𝒛1 − 𝝁1)𝑇 𝚺−1(𝒛1 − 𝝁1) − (𝒛2 − 𝝁2)
𝑇 𝚺22−1(𝒛2 − 𝝁2)]}
(2𝜋)𝑝/2|𝚺|1/2
(|𝚺22|
1/2
|𝚺22|1/2
)1
(2𝜋)𝑝/2|𝚺11 − 𝚺12𝚺22−1𝚺21|
1/2exp −
1
2(𝒛1 − 𝚺12𝚺22
−1𝒛2)
𝑇
(𝚺11 − 𝚺12𝚺22−1𝚺21)
−1
(𝒛1
− 𝚺12𝚺22−1𝒛2)
(|𝚺22|
1/2
|𝚺22|1/2
)1
(2𝜋)𝑝/2|𝚺11 − 𝚺12𝚺22−1𝚺21|
1/2𝑒𝑥𝑝 {−
1
2(𝒛1 − 𝚺12𝚺22
−1𝒛2)𝑇
(𝚺11 − 𝚺12𝚺22−1𝚺21)
−1
(𝒛1 − 𝚺12𝚺22−1𝒛2)}
Suku pertama hilang, sehingga dihasilkan
1
(2𝜋)𝑝/2|𝚺11 − 𝚺12𝚺22−1𝚺21|
1/2𝑒𝑥𝑝 {−
1
2(𝒛1 − 𝚺12𝚺22
−1𝒛2)𝑇
(𝚺11 − 𝚺12𝚺22−1𝚺21)
−1
(𝒛1 − 𝚺12𝚺22−1𝒛2)}
The Mathematics of REML
77
Mengapa ada tanda +, masukkan lagi 𝝁
𝐸(𝒛1 − 𝝁1) = 𝚺12𝚺22
−1(𝒛2 − 𝝁2), 𝐸(𝒛1) = 𝝁1 + 𝚺12𝚺22−1(𝒛2 − 𝝁2)
Dengan demikian sebaran multivariat normal untuk p peubah acak adalah:
𝒛1|𝒛2 ~𝑵(𝝁1 + 𝚺12𝚺22−1(𝒛2 − 𝝁2), (𝚺11 − 𝚺12𝚺22
−1𝚺21) )
Maka sebaran bersyarat untuk 𝒛1 dengan syarat 𝒛2 adalah:
𝒛1|𝒛2~𝑁(𝝁1 + 𝚺12𝚺22−1(𝒛2 − 𝝁2), 𝚺11 − 𝚺12𝚺22
−1𝚺21)
(𝒚1
𝒚2) = 𝑳𝑇𝒚 = (𝑳1 𝑳2)
𝑇𝒚
𝒚∗ = (𝒚1
∗
𝒚2∗) = (
𝑳1𝑇𝒚
𝑳2𝑇𝒚
)
𝑉𝑎𝑟(𝒚∗) = (𝑉𝑎𝑟(𝑳1
𝑇𝒚) 𝐶𝑜𝑣(𝑳1𝑇𝒚, 𝑳2
𝑇𝒚)
𝑉𝑎𝑟(𝑳2𝑇𝒚)
)
= 𝜎𝐻2 (
𝑳1𝑇𝑯𝑳1 𝑳1
𝑇𝑯𝑳2
𝑳2𝑇𝑯𝑳1 𝑳2
𝑇𝑯𝑳2
)
= 𝜎𝐻2 (
𝚺11 𝚺12
𝚺21 𝚺22)
Ingat model 𝒚 = 𝑮𝝁 + 𝑿𝝉 + 𝜺 di mana 𝐸(𝝁) = 𝐸(𝜺) = 0
𝐸(𝒚∗) = 𝐸 (𝑳1
𝑇𝒚
𝑳2𝑇𝒚
)=(𝑳1
𝑇𝑿
𝑳2𝑇𝑿
)𝝉 = (𝑰0)𝝉 = (
𝝉0)
𝐸(𝒚1∗) = 𝝉 dan 𝐸(𝒚2
∗) = 0
𝐸(𝒚1∗|𝒚2
∗) = 𝝉 + 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)𝒚2∗
𝑉𝑎𝑟(𝒚1∗|𝒚2
∗) = 𝜎𝐻2 [𝑳1
𝑇𝑯𝑳1 − 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝑳2
𝑇𝑯𝑳1]
Sekarang kita terapkan hasil umum ini terhadap peubah 𝒚1 dan 𝒚2 yang rata-rata dan ragamnya
telah disajikan pada halaman sebelumnya. Tampak bahwa hasil bersifat kompleks, namun akan
disederhanakan kemudian.
The Mathematics of REML
78
𝒚1|𝒚2~𝑁(𝝉 + 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝒚2, 𝜎𝐻
2[𝑳1𝑇𝑯𝑳1 − 𝑳1
𝑇𝑯𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯𝑳1]) (9)
Bagaimana sesungguhnya penyederhanaan ini? Matematika yang digunakan tidaklah mudah,
dan ada beberapa cara untuk mendapatkan hasil. Kita mulai dengan mempertimbangkan suatu
matriks yang kebalikannya dapat diperlihatkan ada.
Maka, pandang matriks n×n berikut ini, [𝑯−1𝑿 𝑳2] di mana 𝑯−1𝑿 adalah matriks berukuran
n×p dan 𝑳2 berukuran n×(n-p), kedua matriks ini sebagaimana telah dijelaskan sebelumnya
adalah 𝑳1𝑇𝑿 = 𝑰𝑝 dan 𝑳2
𝑇𝑿 = 𝑶(𝑛−𝑝)×𝑝. Kemudian, pandang penggandaan matriks ini:
[𝑯−1𝑿 𝑳2]−1𝑯−1([𝑯−1𝑿 𝑳2]
𝑇)−1 = ([𝑯−1𝑿 𝑳2]𝑇𝑯[𝑯−1𝑿 𝑳2])
−1
= ([𝑿𝑇𝑯−1
𝑳2𝑇 ]𝑯[𝑯−1𝑿 𝑳2])
−1
Penjelasan: ingat (𝑨𝑩𝑪)−1 = 𝑪−1𝑩−1𝑨−1
Ruas kiri adalah 𝑪−1𝑩−1𝑨−1, di mana 𝑨 = [𝑯−1𝑿 𝑳2]𝑇 , 𝑩 = 𝑯 𝑪 = [𝑯−1𝑿 𝑳2]
(dan masukkan matriks 𝑯 ke dalam matriks di ruas kiri)
= ([𝑿𝑇
𝑳2𝑇𝑯
] [𝑯−1𝑿 𝑳2])−1
= [𝑿𝑇𝑯−1𝑿 𝑿𝑇𝑳2
𝑳2𝑇𝑿 𝑳2
𝑇𝑯𝑳2
]
−1
= [𝑿𝑇𝑯−1𝑿 O
O 𝑳2𝑇𝑯𝑳2
]−1
= [(𝑿𝑇𝑯−1𝑿)−1 O
O (𝑳2𝑇𝑯𝑳2)
−1]
Sekarang kita mengatur kembali persamaan ini dengan pengganda awal-dan-pengganda akhir
dan membiarkan 𝑯−1 di ruas kiri persamaan:
𝑯−1 = 𝑯−1𝑿 𝑳2 [(𝑿𝑇𝑯−1𝑿)−1 O
O (𝑳2𝑇𝑯𝑳2)
−1] [𝑯−1𝑿 𝑳2]𝑇
So
𝑯−1 = [𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1 𝑳2(𝑳2𝑇𝑯𝑳2)
−1][𝑯−1𝑿 𝑳2]𝑇 (10)
The Mathematics of REML
79
AKHIRNYA, setiap suku dikalikan dengan pengganda awal 𝑳1𝑇𝑯 dan pengganda akhir 𝑯𝑳1
untuk mendapatkan
𝑳1𝑇𝑯𝑯−1𝑯𝑳1 = 𝑳1
𝑇𝑯𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑯𝑳1 + 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝑳2
𝑇𝑯𝑳1
Ruas kiri adalah 𝑳1𝑇𝑯𝑳1 dan sesudah penyederhanaan ruas kanan (suku kedua tetap),
𝑳1𝑇𝑯𝑳1 = 𝑳1
𝑇𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑳1 + (𝑳1𝑇𝑯𝑳2)(𝑳2
𝑇𝑯𝑳2)−1(𝑳2
𝑇𝑯𝑳1)
Namun, kita mulai dengan 𝑳1𝑇𝑿 = 𝑰𝑝 , maka
𝑳1𝑇𝑯𝑳1 = (𝑿𝑇𝑯−1𝑿)−1 + (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1(𝑳2𝑇𝑯𝑳1)
yang mengarah pada apa yang akan kita buktikan, bahwa, untuk pilihan 𝑳1 dan 𝑳2,
𝑳1𝑇𝑯𝑳1 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1(𝑳2𝑇𝑯𝑳1) = (𝑿𝑇𝑯−1𝑿)−1
Dan karena kita menjadikan 𝒚2 sebagai syarat, jika kita mendefinisikan 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝒚2
tetap, sebagaimana 𝒚2∗ , kita memiliki pernyataan yang lebih sederhana:
𝒚1|𝒚2~𝑁(𝝉 + 𝒚2∗ , 𝜎𝐻
2(𝑿𝑇𝑯−1𝑿)−1) (11)
The Mathematics of REML
80
3. Dua fungsi logLikelihood
Apa yang ingin kita capai adalah dua logLikelihood yang merupakan fungsi dari vektor data y,
matriks rancangan 𝑿 dan 𝑮 dan parameter dalam matriks ragam yakni 𝜎𝐻2 dan 𝑯 (atau beberapa
fungsi sederhana dari 𝑯).
Sekarang, fungsi kepekatan peluang gabungan normal multivariat untuk 𝒚1 dan 𝒚2 sama
dengan perkalian antara fungsi kepekatan peluang bersyarat 𝒚1|𝒚2 dan fungsi kepekatan
peluang marjinal untuk 𝒚2.
1. The Residual logLikelihood
Sekarang pandang 𝒚2~𝑁(0, 𝜎𝐻2𝑳2
𝑇𝑯𝑳2) dan Residual logLikelihood, katakan ℓ𝑅, adalah:
Fungsi likelihood vektor peubah 𝒚2
𝑓(𝒚2) =1
2𝜋1/2|𝜎𝐻2𝑳2
𝑇𝑯𝑳2|1/2𝑒𝑥𝑝 −
1
2𝜎𝐻2[𝒚2
𝑇(𝑳2𝑇𝑯𝑳2)
−1𝒚2]
ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡. −1
2((𝑛 − 𝑝)log(𝜎𝐻
2) + log|𝑳2𝑇𝑯𝑳2| + 𝒚2
𝑇(𝑳2𝑇𝑯𝑳2)
−1𝒚2 𝜎𝐻2⁄ )
Keterangan
𝑐𝑜𝑛𝑠𝑡. = −1
2(𝑛 − 𝑝)log(2𝜋)
𝑙𝑜𝑔𝑒(𝜎𝐻2𝑳2
𝑇𝑯𝑳2)−(𝑛−𝑝)/2 = −
1
2(𝑛 − 𝑝)[log(𝜎𝐻
2) + log|𝑳2𝑇𝑯𝑳2|]
Mengapa hanya (𝜎𝐻2) berpangkat 𝑛 − 𝑝 dan |𝑳2
𝑇𝑯𝑳2| tidak?
Ingat|𝑐𝑴| = 𝑐𝑜𝑟𝑑𝑜 𝑴|𝑴| konstanta 𝑐 = 𝜎𝐻2 dan matriks 𝑴 = 𝑳2
𝑇𝑯𝑳2 berordo n-p
|𝜎𝐻2𝑳2
𝑇𝑯𝑳2| = (𝜎𝐻2)𝑛−𝑝 |𝑳2
𝑇𝑯𝑳2|
Karena di bawah tanda akar
|𝜎𝐻2𝑳2
𝑇𝑯𝑳2|1/2 = (𝜎𝐻
2)(𝑛−𝑝)/2 =(𝜎𝐻2)(𝑛−𝑝)/2|𝑳2
𝑇𝑯𝑳2|1/2
Jika dijadikan penyebut (dibawa ke atas) dan diberi tanda loge menjadi
𝑙𝑜𝑔[(𝜎𝐻2)−(𝑛−𝑝)/2|𝑳2
𝑇𝑯𝑳2|−1/2] = −
1
2((𝑛 − 𝑝)log(𝜎𝐻
2) + log|𝑳2𝑇𝑯𝑳2|)
dan, dalam bentuk vektor data asli, adalah (karena
ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡𝑎𝑛𝑡 −1
2((𝑛 − 𝑝)log(𝜎𝐻
2) + log|𝑳2𝑇𝑯𝑳2| + 𝒚𝑇𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝑳2
𝑇𝒚 𝜎𝐻2⁄ ) (12)
The Mathematics of REML
81
Pernyataan ini dapat ditulis dalam bentuk matriks rancangan asli 𝑿 dan matrik ragam 𝑯 dalam
2 langkah.
Langkah 1
Susun ulang 𝑯−1pada halaman 78 (1) untuk mendapatkan 𝑷 = 𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇
𝑯−1 = 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1 + 𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇
𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1 (13)
Langkah 2
Gunakan sifat penting determinan matriks sekatan 𝑨,𝑫 dan 𝑿
|𝑨 𝑿𝑿𝑇 𝑫
| = |𝑫||𝑨 − 𝑿𝑇𝑫−1𝑿|
pada 𝑳𝑇𝑯𝑳:
|𝑳𝑇𝑯𝑳| = |𝑳1
𝑇𝑯𝑳1 𝑳1𝑇𝑯𝑳2
𝑳1𝑇𝑯𝑳2 𝑳2
𝑇𝑯𝑳2
| = |𝑳2𝑇𝑯𝑳2||𝑳1
𝑇𝑯𝑳1 − (𝑳1𝑇𝑯𝑳2)(𝑳2
𝑇𝑯𝑳2)−1(𝑳2
𝑇𝑯𝑳1)|
Namun demikian, matriks dalam suku determinan kedua telah diperlihatkan pada halaman 79
(2) sama dengan (𝑿𝑇𝑯−1𝑿)−1, dan sesudah logaritma,
log|𝑳𝑇𝑯𝑳| = log|𝑳2𝑇𝑯𝑳2| + log|(𝑿𝑇𝑯−1𝑿)−1| = log|𝑳2
𝑇𝑯𝑳2| − log|𝑿𝑇𝑯−1𝑿|
Dengan memindahkan suku kedua ke ruas kiri menghasilkan
log|𝑳2𝑇𝑯𝑳2| = log|𝑳𝑇𝑯𝑳| + log|𝑿𝑇𝑯−1𝑿|
Pada determinan pada suku pertama ruas kanan persamaan di atas, terapkan persamaan kedua
dari sifat |𝑨𝑩𝑪| = |𝑪𝑨𝑩| = |𝑩𝑪𝑨|
log|𝑳𝑇𝑯𝑳| = log|𝑳𝑳𝑇𝑯| = log|𝑳𝑳𝑇| + log|𝑯|
The Mathematics of REML
82
Bentuk log|𝑳𝑳𝑇| tidak tergantung pada satu pun parameter dalam model sehingga dapat
dibagungkan dengan konstanta dalam Residual logLikelihood, menghasilkan pernyataan
terakhir 𝑐𝑜𝑛𝑠𝑡.∗ = −1
2(𝑛 − 𝑝)log(2𝜋) + log|𝑳𝑳𝑇|
ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡.∗−1
2((𝑛 − 𝑝)log(𝜎𝐻
2) + log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚 𝜎𝐻2⁄ ) (14)
where 𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1.
The Mathematics of REML
83
2. Fungsi logLikelihood untuk pengaruh tetap
Fungsi logLikelihood untuk pengaruh tetap, katakan ℓ1, dilandasi pada sebaran bersyarat 𝒚1|𝒚2
sehingga
ℓ1 = 𝑐𝑜𝑛𝑠𝑡. −1
2(𝑝 log(𝜎𝐻
2) + log|(𝑿𝑇𝑯−1𝑿)−1|
+ (𝒚1 − 𝝉 − 𝒚2∗)𝑇(𝑿𝑇𝑯−1𝑿)(𝒚1 − 𝝉 − 𝒚2
∗) 𝜎𝐻2⁄ )
(15)
Panggil kembali 𝒚1|𝒚2~𝑁(𝝉 + 𝒚2∗ , 𝜎𝐻
2(𝑿𝑇𝑯−1𝑿)−1)
Peubah adalah 𝒚 − 𝝁 = 𝒚1 − (𝝉 + 𝒚2∗) = 𝒚𝟏 − 𝝉 − 𝒚2
∗
4. Solusi REML untuk pengaruh acak
Parameter yang harus diduga adalah parameter dalam matriks ragam 𝜎𝐻2𝑯 = 𝜎𝐻
2(𝒁𝑮𝒁T + 𝑹).
Mereka adalah:
Parameter (skala) ragam skala 𝜎𝐻2,
Paramater yang terlibat dalam 𝑮, matriks ragam untuk pengaruh acak, yang ditempatkan
dalam vektor yang ditempatkan dalam vektor 𝜸 di mana i adalah elemen ke ith
Parameter yang terdapat dalam 𝑹 = 𝜎2𝚺, matriks ragam untuk peubah error, yang
ditempatkan dalam vektor 𝝓 di mana i adalah elemen ke ith.
Kita tempatkan nk buah parameter dalam dua butir pertama ke dalam vektor 𝜿 = [
𝜸
𝜎2
𝝓].
Sekarang kita perlu menurunkan logLikelihood terhadap σH2 juga terhadap setiap parameter 𝜅𝑖
dalam vektor parameter 𝜿. Hasil ini berupa sekumpulan persamaan yang harus diselesaikan
serentak: kadang disebut persamaan skor dan dinotasikan UR(…).
Langkah 1. Menurunkan terhadap 𝝈𝑯𝟐
Penurunan terhadap 𝜎𝐻2 menghasilkan skor,
The Mathematics of REML
84
UR(𝜎𝐻2) =
𝜕ℓ𝑅
𝜕𝜎𝐻2 = −
1
2(𝑛 − 𝑝
𝜎𝐻2 −
𝒚𝑇𝑷𝒚
(𝜎𝐻2)2
)
Penjelasan:
𝜕ℓ𝑅
𝜕𝜎𝐻2 [ 𝑐𝑜𝑛𝑠𝑡.∗−
1
2((𝑛 − 𝑝)log(𝜎𝐻
2) + log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚 𝜎𝐻2⁄ )]
Karena suku 1, 3 dan 4 tidak mengandung 𝜎𝐻2 , maka turunan adalah 0.
𝜕ℓ𝑅
𝜕𝜎𝐻2 ((𝜎𝐻
2)−1𝒚𝑇𝑷𝒚) = −1(𝜎𝐻2)−2𝒚𝑇𝑷𝒚 = −
1
(𝜎𝐻2 )
2 𝒚𝑇𝑷𝒚
Dengan penduga REML bagir 𝜿 (yang terdapat dalam matriks 𝑷), secara sederhana solusi
untuk UR(𝜎𝐻2) = 0 adalah:
�̂�𝐻2 =
𝒚𝑇𝑷𝒚
𝑛 − 𝑝 (16)
Penjelasan:
Samakan turunan dengan 0, UR(𝜎𝐻2) =
𝜕ℓ𝑅
𝜕𝜎𝐻2 = 0
−1
2(𝑛 − 𝑝
�̂�𝐻2 −
𝒚𝑇𝑷𝒚
(�̂�𝐻2)2
) = 0, 𝑛 − 𝑝 =𝒚𝑇𝑷𝒚
�̂�𝐻2
Langkah 2. Menurunkan terhadap 𝜿
Penurunan terhadap parameter ke ith dalam 𝜿, yakni parameter 𝜅𝑖, vektor ragam dan peragam
menghasilkan skor:
UR(𝜅𝑖) =∂ℓR
∂𝜅𝑖= −
1
2(∂log|𝑯|
∂𝜅𝑖+
∂log|𝑿𝑇𝑯−1𝑿|
∂𝜅𝑖+
∂𝒚𝑇𝑷𝒚
∂𝜅𝑖𝜎𝐻
2⁄ )
Dua turunan pertama dievaluasi menggunakan rumus Jacobi untuk turunan determinan, di mana
apabila diterapkan pada matriks yang dapat dibalik, adalah sebagai berikut. Untuk matriks 𝑨,
jika 𝑨−1ada,
∂|𝑨|
∂𝑡= |𝑨|𝑡𝑒𝑟𝑎𝑠 (𝑨−1
∂𝑨
∂𝑡)
Cara lain menuliskan hasil ini adalah:
The Mathematics of REML
85
∗) ∂log|𝑨|
∂𝑡= 𝑡𝑒𝑟𝑎𝑠 (𝑨−1
∂𝑨
∂𝑡)
Juga untuk membuktikan secara langsung (dengan menurunkan 𝑨−1𝑨 = 𝑰) hasil kedua yang
kita perlukan, yakni:
∂𝑨−1
∂𝑡= −𝑨−1
∂𝑨
∂𝑡𝑨−1
Penjelasan:
UR(𝜅𝑖) =∂ℓR
∂𝜅𝑖[ 𝑐𝑜𝑛𝑠𝑡.∗−
1
2((𝑛 − 𝑝)log(𝜎𝐻
2) + log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚 𝜎𝐻2⁄ )]
Karena suku 1, 2 tidak mengandung 𝜅𝑖 , maka turunan adalah 0.
Turunan suku 3 dan 4, menggunakan sifat-sifat turunan di bawah ini dan turunan matriks di
atas:
𝜕𝑙𝑛 (𝑥)
∂𝑥=
1
𝑥
𝜕𝑙𝑛 (𝑥)
∂𝑡=
𝜕𝑙𝑛 (𝑥)
∂𝑥×
∂𝑥
∂𝑡=
1
𝑥
∂𝑥
∂𝑡
Suku 1
∂log|𝑯|
∂𝜅𝑖=
1
|𝑯|
∂|𝑯|
∂𝜅𝑖 𝑔𝑢𝑛𝑎𝑘𝑎𝑛 𝑠𝑖𝑓𝑎𝑡 ∗ 𝑝𝑎𝑑𝑎 𝑠𝑢𝑘𝑢 𝑘𝑒𝑑𝑢𝑎
∂|𝑯|
∂𝜅𝑖= |𝑯| 𝑡𝑒𝑟𝑎𝑠 (𝑯−1
∂𝑯
∂𝜅𝑖)
∂log|𝑯|
∂𝜅𝑖=
1
|𝑯||𝑯| 𝑡𝑒𝑟𝑎𝑠 (𝑯−1
∂𝑯
∂𝜅𝑖) = 𝑡𝑒𝑟𝑎𝑠 (𝑯−1
∂𝑯
∂𝜅𝑖)
Suku 2
∂log|𝑿𝑇𝑯−1𝑿|
∂𝜅𝑖=
1
|𝑿𝑇𝑯−1𝑿|
∂|𝑿𝑇𝑯−1𝑿|
∂𝜅𝑖 𝑔𝑢𝑛𝑎𝑘𝑎𝑛 𝑠𝑖𝑓𝑎𝑡 ∗ 𝑝𝑎𝑑𝑎 𝑠𝑢𝑘𝑢 𝑘𝑒𝑑𝑢𝑎
∂|𝑿𝑇𝑯−1𝑿|
∂𝜅𝑖= |𝑿𝑇𝑯−1𝑿| 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1
∂(𝑿𝑇𝑯−1𝑿)
∂𝜅𝑖)
∂(𝑿𝑇𝑯−1𝑿)
∂𝜅𝑖= 𝑿𝑇
∂𝑯−1
∂𝜅𝑖 𝑿 = −𝑿𝑇𝑯−1
∂𝑯
∂𝜅𝑖𝑯−1 𝑿
The Mathematics of REML
86
∂log|𝑿𝑇𝑯−1𝑿|
∂𝜅𝑖=
1
|𝑿𝑇𝑯−1𝑿||𝑿𝑇𝑯−1𝑿| 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1 (−𝑿𝑇𝑯−1
∂𝑯
∂𝜅𝑖 𝑯−1𝑿))
= −𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1∂𝑯
∂𝜅𝑖 𝑯−1𝑿)
Gabungkan dua suku, faktorkan ke luar teras
𝑡𝑒𝑟𝑎𝑠 (𝑯−1∂𝑯
∂𝜅𝑖) − 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1
∂𝑯
∂𝜅𝑖 𝑯−1𝑿)
𝑡𝑒𝑟𝑎𝑠 (𝑯−1∂𝑯
∂𝜅𝑖− (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1
∂𝑯
∂𝜅𝑖 𝑯−1𝑿)
Dua hasil ini memperkenankan kita untuk menulis dua turunan pertama dalam UR(𝜅𝑖) sebagai:
𝑡𝑒𝑟𝑎𝑠 (𝑯−1∂𝑯
∂𝜅𝑖i
) + 𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1 ∂𝑿𝑇𝑯−1𝑿
∂𝜅𝑖)
= 𝑡𝑒𝑟𝑎𝑠 (𝑯−1∂𝑯
∂𝜅𝑖− (𝑿𝑇𝑯−1𝑿)
−1𝑿𝑇𝑯−1
∂𝑯
∂𝜅𝑖𝑯−1𝑿)
Teras perkalian matriks sama dengan perubahan siklis mana pun sesuai ukuran matriks:
𝑡𝑒𝑟𝑎𝑠(𝑨𝑩𝑪) = 𝑡𝑒𝑟𝑎𝑠(𝑪𝑨𝑩) = 𝑡𝑒𝑟𝑎𝑠(𝑩𝑪𝑨); dengan demikian kita dapat memindahkan dua
matriks terakhir dalam persamaan ini untuk memperoleh
𝑡𝑒𝑟𝑎𝑠 (𝑯−1∂𝑯
∂𝜅𝑖− (𝑿𝑇𝑯−1𝑿)
−1 ∂𝑿𝑇𝑯−1𝑿
∂𝜅𝑖)
= 𝑡𝑒𝑟𝑎𝑠 (𝑯−1∂𝑯
∂𝜅𝑖− 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)
−1𝑿𝑇𝑯−1
∂𝑯
∂𝜅𝑖)
= 𝑡𝑒𝑟𝑎𝑠 ((𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1
𝑿𝑇𝑯−1)∂𝑯
∂𝜅𝑖)
= 𝑡𝑒𝑟𝑎𝑠 (𝑷∂𝑯
∂𝜅𝑖) ∗ 𝑙𝑖ℎ𝑎𝑡 ℎ𝑎𝑙𝑎𝑚𝑎𝑛 82
Penjelasan: 𝑪 = 𝑿 kemudian 𝑪 = 𝑯−1
𝑡𝑒𝑟𝑎𝑠 ((𝑿𝑇𝑯−1𝑿)−1
𝑿𝑇𝑯−1∂𝑯
∂𝜅𝑖𝑯−1𝑿) = 𝑡𝑒𝑟𝑎𝑠 (𝑿(𝑿𝑇𝑯−1𝑿)
−1𝑿𝑇𝑯−1
∂𝑯
∂𝜅𝑖𝑯−1)
= 𝑡𝑒𝑟𝑎𝑠 (𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1
𝑿𝑇𝑯−1∂𝑯
∂𝜅𝑖)
Suku 4 (h82) – 3 (h84) dan 5 (h85):
Untuk menurunkan 𝒚𝑇𝑷𝒚 (turunan ketiga dalam UR(𝜅𝑖)) – langkah 1-halaman 85 kita juga
menggunakan hasil untuk turunan dari kebalikan suatu matriks. Sekarang, 𝑷 didefinisikan
sebagai
The Mathematics of REML
87
𝑷 = 𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1
Maka jelas ekspresi pertama untuk 𝑷 paling mudah digunakan karena hanya melibatkan satu
matriks (𝑯) yang mengandung parameter-parameter. Gunakan penjelasan:
∂𝒚𝑇𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝒚
∂𝜅𝑖= 𝒚2
𝑇𝑳2
∂(𝑳2𝑇𝑯𝑳2)
−1
∂𝜅𝑖𝑳2
𝑇𝒚
= −𝒚2𝑇𝑳2(𝑳2
𝑇𝑯𝑳2)−1
∂(𝑳2𝑇𝑯𝑳2)
∂𝜅𝑖
(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝒚
= −𝒚2𝑇[𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝑳2
𝑇]∂(𝑯)
∂𝜅𝑖
[𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇]𝒚
Dalam kurung besar adalah P
∂𝒚𝑇𝑷𝒚
∂𝜅𝑖=
∂𝒚𝑇𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝒚
∂𝜅𝑖= −𝒚𝑇𝑳2(𝑳2
𝑇𝑯𝑳2)−1
∂(𝑳2𝑇𝑯𝑳2)
∂𝜅𝑖
(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝒚
= −𝒚𝑇𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇∂𝑯
∂𝜅𝑖𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝑳2
𝑇𝒚
= −𝒚𝑇𝑷∂𝑯
∂𝜅𝑖𝑷𝒚 ∗∗
Maka (kembali ke halaman 84, gabung dua suku pertama-* dan suku ketiga-**:
UR(𝜅𝑖) =∂ℓR
∂𝜅𝑖= −
1
2({
∂log|𝑯|
∂𝜅𝑖+
∂log|𝑿𝑇𝑯−1𝑿|
∂𝜅𝑖} + {
∂𝒚𝑇𝑷𝒚
∂𝜅𝑖} σ𝐻
2⁄ )
UR(𝜅𝑖) = −1
2(𝑡𝑒𝑟𝑎𝑠 (𝑷
∂𝑯
∂𝜅𝑖)−𝒚𝑇𝑷
∂𝑯
∂𝜅𝑖𝑷𝒚 𝜎𝐻
2⁄ )
Jelas bahwa setiap asumsi tentang ragam yang dibuat akan mengarah pada matriks 𝑯 berbeda
sehingga 𝑷, dan persamaan normal yang harus diselesaikan,
UR(𝜅𝑖) = 0, i = 1,⋯ , 𝑛k
Kemungkinan tidak akan menghasilkan solusi. Oleh karena itu, paket-paket statistika
menggunakan teknik iterasi untuk menyelesaikan persamaan-persamaan ini. GenStat, misalnya,
menawarkan metode Fisher scoring yang terkenal, tetapi menggunakan metode algoritma baru
yang dikembangkan oleh tim statistikawan di Australia (Arthur Gilmour dan Brian Cullis) dan
Britania Raya (Simon Harding dan Robin Thompson) dan dikenal sebagai algoritma Average
Information (AI) dan menggunakan metode matriks untuk fitting the linear mixed model.
Secara umum menemukan solusi untuk penduga parameter (pe-)ragam secara cepat, tetapi
sering solusi tidak didapat (pada umumnya hanya untuk rancangan yang agak kompleks), sering
karena langkah iterasi terlalu banyak atau karena solusi is on or near the boundary values untuk
The Mathematics of REML
88
(beberapa) parameter. Selalu ada cara untuk mengatasi masalah ini, misal (dengan
meningkatkan banyaknya iterasi hingga maksimum atau mengubah nilai langkah). Kita akan
melihat beberapa rancangan yang ada solusinya.
5. Solusi REML untuk pengaruh tetap
Informasi tentang 𝝉 hanya berasal dari sebaran bersyarat dari 𝒚1|𝒚2 yang dapat diturunkan
secara mudah. Kita akan menggunakan bentuk logLikelihood yang mengandung
𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝒚2 dibandingkan dengan 𝒚2
∗ . Persamaan yang akan diselesaikan adalah
turunan persamaan pada halaman 83 yakni ℓ1 terhadap 𝝉
𝜕ℓ1
𝜕𝝉=
𝜕ℓ1
𝜕𝝉(𝑐𝑜𝑛𝑠𝑡. −
1
2(𝑝 log(𝜎𝐻
2) + log|(𝑿𝑇𝑯−1𝑿)−1|
+ (𝒚1 − 𝝉 − 𝒚2∗)𝑇(𝑿𝑇𝑯−1𝑿)(𝒚1 − 𝝉 − 𝒚2
∗) 𝜎𝐻2⁄ ))
Turunan suku 1, 2 dan 3 adalah 0 karena tidak mengandung 𝝉
Dari hal 77: 𝐸(𝒚1|𝒚2) = 𝝉 + 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝒚2
Hal 79: 𝐸(𝒚1|𝒚2) = 𝝉 + 𝒚2∗ dan 𝒚2
∗ = 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1
Turunan suku ketiga:
𝜕ℓ1
𝜕𝝉(−
1
2(𝒚1 − 𝝉 − 𝒚2
∗)𝑇(𝑿𝑇𝑯−1𝑿)(𝒚1 − 𝝉 − 𝒚2∗) 𝜎𝐻
2⁄ )
Karena ada 2 suku (𝒚1 − 𝝉 − 𝒚2∗) sehingga berpangkat 2 dan
𝜕(−𝝉)
𝜕𝝉= −1, maka
𝜕ℓ1
𝜕𝝉((𝒚1 − 𝝉 − 𝒚2
∗)𝑇(𝒚1 − 𝝉 − 𝒚2∗)) = −2(𝒚1 − 𝝉 − 𝒚2
∗)
Substitusi hasil ini,
−1
2(−2)(𝑿𝑇𝑯−1𝑿)(𝒚1 − 𝝉 − 𝒚2
∗) 𝜎𝐻2⁄
Kemudian substitusi 𝒚2∗ menghasilkan
𝜕ℓ1
𝜕𝝉= −
1
2(−2) (𝑿𝑇𝑯−1𝑿)(𝒚1 − �̂� − 𝑳1
𝑇𝑯𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝒚2) 𝜎𝐻2 = 0⁄
Maka:
The Mathematics of REML
89
𝒚1 − �̂� − 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝒚2 = 0,
�̂� = 𝒚1 − 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝒚2
Namun 𝒚1 = 𝑳1𝑇𝒚 dan 𝒚2 = 𝑳2
𝑇𝒚 sehingga:
�̂� = 𝑳1𝑇𝒚 − 𝑳1
𝑇𝑯𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝒚 keluarkan 𝒚 menghasilkan
�̂� = (𝑳1𝑇 − 𝑳1
𝑇𝑯𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇)𝒚
Sekarang, gunakan sebagai pengganda awal 𝑯 terhadap vektor y dan sesuaikan dengan 𝑯−1
karena 𝑯𝑯−1 = 𝑰
�̂� = (𝑳1𝑇 − 𝑳1
𝑇𝑯𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇)𝑯𝑯−1𝒚 kalikan setiap suku dengan 𝑯
= (𝑳1𝑇𝑯 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯)𝑯−1𝒚
Dua cara menunjukkan bahwa 𝑳1𝑇𝑯 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇.
Cara 1.
Kita menginginkan solusi berbentuk: �̂� = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚
Dengan demikian, kita dapat menunjukkan bahwa
𝑳1𝑇𝑯 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇. Berdasarkan definisi 𝑿𝑇𝑳1 = 𝑰 dan dari
hasil untuk (𝑿𝑇𝑯−1𝑿)−1 pada halaman 79 (2) kita peroleh (kalikan dengan 𝑳1), di tengah
kalikan 𝑿𝑇𝑳1 = 𝑰
𝑳1𝑇𝑯𝑳1 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯𝑳1 = (𝑿𝑇𝑯−1𝑿)−1𝑰 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑳1
Sehingga
𝑳1𝑇𝑯𝑳1 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯𝑳1 − (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑳1 = 0 keluarkan 𝑳1
[𝑳1𝑇𝑯 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯 − (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇]𝑳1 = 0
Namun 𝑳1 ≠ 0 dan matriks di luar tanda kurung harus 0, yang membuktikan hasil.
The Mathematics of REML
90
Agar hasil dalam kurung 0,
𝑳1𝑇𝑯 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇
Cara 2.
Panggil persamaan pada halaman 78 (1)
𝑯−1 = 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1 + 𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇
Kalikan setiap suku persamaan dengan pengganda awal dan pengganda akhir 𝑯
𝑯𝑯−1𝑯 = 𝑯𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑯 + 𝑯𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯
𝑯𝑯−1 = 𝑯−1𝑯 = 𝑰
𝑯 = 𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 + 𝑯𝑳2(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯
Ingat 𝑳1𝑇𝑿 = 𝑰, upayakan suku pertama berbentuk 𝑳1
𝑇𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 sehingga setiap suku
dikalikan dengan pengganda awal 𝑳1𝑇 menjadi:
𝑳1𝑇𝑯 = 𝑳1
𝑇𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 + 𝑳1𝑇𝑯𝑳2(𝑳2
𝑇𝑯𝑳2)−1𝑳2
𝑇𝑯
𝑳1𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 + (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯
𝑳1𝑇𝑯 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯 = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇
Substitusi (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇 ke dalam tanda kurung
�̂� = (𝑳1𝑇𝑯 − (𝑳1
𝑇𝑯𝑳2)(𝑳2𝑇𝑯𝑳2)
−1𝑳2𝑇𝑯)𝑯−1𝒚
menghasilkan:
�̂� = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 (17)
Catat bahwa logLikelihood adalah fungsi dari 𝜎𝐻2 dan vektor parameter 𝜿, baik 𝒚1 dan 𝝉
memiliki panjang p dan juga logLikelihood dapat mengandung tak satu pun informasi tentang
parameter-parameter ini. Solusi REML bagi penduga pengaruh acak ini digunakan untuk
pendugaan REML bagi pengaruh tetap, maka kita dapat menuliskan penduga sebagai:
The Mathematics of REML
91
�̂� = (𝑿𝑇�̂�−1𝑿)−1
𝑿𝑇�̂�−1𝒚
Catat kesamaan antar kuadrat terkecil dan solusi REML untuk 𝝉 dalam rancangan di mana
hanya ada satu suku acak yang diasumsikan N(0, 𝜎2𝑰), dalam hal ini 𝑯 = 𝑰 dan
�̂� = (𝑿𝑇𝑿)−1𝑿𝑇𝒚.
The Mathematics of REML
92
6. Menguji pengaruh tetap: uji Wald
Pertama-tama, ketika anda memiliki rancangan ortogonal (tidak terdapat data hilang, semua
taraf faktor sama atau diulang secara proporsional) maka uji F dari ANOVA akan identik
dengan hasil dari analisis REML. Namun, analisis REML di bagian ini telah dikembangkan
sejauh untuk model-model yang sangat umum, yang mengandung baik pengaruh tetap mau pun
acak dan sisa acak. Tidak diperlukan ulangan sama, dan tanpa batasan terhadap tipe model
ragam untuk pengaruh acak atau pun unsur acak.
Uji umum yang ditawarkan untuk model campuran linier adalah uji Wald (nama statistikawan
Abraham Wald). Untuk parameter tunggal 𝜃, kita gunakan penduga kemungkinan maksimum 𝜃
yang ragamnya dapat dihitung, maka uji Wald adalah
(𝜃 − 𝜃)2
𝑣𝑎𝑟(𝜃)~𝜒1
2
Ini dikembangkan untuk beberapa parameter. Kita mengganti 𝜃 dengan vektor 𝜽 sepanjang k,
maka statistik Wald adalah
(�̂� − 𝜽)𝑇(𝑣𝑎𝑟(�̂�))
−1
(�̂� − 𝜽)~𝜒𝑘2
Ini merupakan sebaran asimtotik dan tidaklah cukup (sesuai) untuk contoh berukuran kecil.
Misal, jika kita memiliki rencangan ortogonal, ketika statistik F diketahui bersifat tetap, kita
dapat membandingkan nilai P untuk berbagai derajat bebas penyebut. Sebaran F adalah nisbah
dua sebaran 2 yang saling bebas, setiap sebaran dibagi derajat bebasnya, maka sebaran
terbatas bagi sebaran Fk, akan menyebar secara 𝜒𝑘2 𝑘⁄ .
Tabel berikut membandingkan nilai P dari sebaran 𝜒12 dan 𝜒3
2 3⁄ dengan nilai P dari F1, dan
F3, untuk kisaran nilai pengamatan statistik Wald (1, …, 5, 10, 15) dan peningkatan derajat
bebas penyebut ( = 1, …, 5, 10, 15, 20, 25, 50, 100). Dapat dilihat bahwa nilai P sebaran 2
selalu lebih kecil dari nilai P sebaran F, dan dapat salah diartikan apabila sebaran F digunakan.
Nilai P untuk sebaran 𝝌𝟐 dan F untuk nilai uji Wald yang mungkin; k=1
The Mathematics of REML
93
Statistik Wald Possible test value of the Wald statistic
1.0 2.0 3.0 4.0 5.0 10.0 15.0
Nilai P untuk 𝜒12 1⁄ 0.317 0.157 0.083 0.046 0.025 0.002 <0.001
Db penyebut ( Nilai P untuk F1,
1 0.500 0.392 0.333 0.295 0.268 0.195 0.161
2 0.423 0.293 0.225 0.184 0.155 0.087 0.061
3 0.391 0.252 0.182 0.139 0.111 0.051 0.030
4 0.374 0.230 0.158 0.116 0.089 0.034 0.018
5 0.363 0.216 0.144 0.102 0.076 0.025 0.012
10 0.341 0.188 0.114 0.073 0.049 0.010 0.003
15 0.333 0.178 0.104 0.064 0.041 0.006 0.002
20 0.329 0.173 0.099 0.059 0.037 0.005 <0.001
25 0.327 0.170 0.096 0.056 0.035 0.004 <0.001
50 0.322 0.163 0.089 0.051 0.030 0.003 <0.001
100 0.320 0.160 0.086 0.048 0.028 0.002 <0.001
Nilai P untuk sebaran 𝝌𝟐 dan F untuk nilai uji Wald yang mungkin; k=3
Possible test value of the Wald statistic
1.0 2.0 3.0 4.0 5.0 10.0 15.0
Nilai P untuk 𝜒32 3⁄ 0.392 0.112 0.029 0.007 0.002 <0.001 <0.001
Nilai P untuk F1,
1 0.609 0.470 0.396 0.349 0.315 0.227 0.187
2 0.535 0.350 0.260 0.206 0.171 0.092 0.063
3 0.500 0.292 0.196 0.142 0.110 0.045 0.026
4 0.479 0.256 0.158 0.107 0.077 0.025 0.012
5 0.465 0.233 0.134 0.085 0.058 0.015 0.006
10 0.432 0.178 0.082 0.041 0.023 0.002 <0.001
15 0.420 0.157 0.064 0.028 0.013 <0.001 <0.001
20 0.413 0.146 0.055 0.022 0.010 <0.001 <0.001
25 0.409 0.140 0.050 0.019 0.007 <0.001 <0.001
50 0.401 0.126 0.039 0.013 0.004 <0.001 <0.001
100 0.396 0.119 0.034 0.010 0.003 <0.001 <0.001
𝐹3,𝑛 =𝜒3
2/3
𝜒𝑛2/𝑛
, 𝜒𝑛2/𝑛 = 1, jika 𝑛 → ∞,𝑚𝑎𝑘𝑎 𝐹3,𝑛 = 𝜒3
2/3
𝑃(𝐹3,𝑛 > 𝑎) = 𝑃(𝜒32/3 > 𝑎) = 𝑃(𝜒3
2 > 3𝑎)
7. Uji Wald untuk pengaruh tetap menggunakan REML
The Mathematics of REML
94
Jadi, kita ingin menguji bahwa fungsi linier dari pengaruh tetap adalah beberapa nilai tetap.
Secara khusus, k ita menguji 𝐻0: 𝑳𝝉 = 𝓵 untuk matriks 𝑳 berukuran r×p dan 𝓵 suatu vektor
sepanjang r. Maka mengikuti hasil dari sebaran secara langsung untuk �̂�, kita dapat mengatakan
bahwa:
𝑾 = (𝑳�̂� − 𝓵)𝑇 (𝑳(𝑿𝑇�̂�−1𝑿)−1
𝑳𝑇)−1
(𝑳�̂� − 𝓵) �̂�𝐻2⁄
= (�̂� − 𝝉)𝑇𝑳𝑇 (𝑳(𝑿𝑇�̂�−1𝑿)−1
𝑳𝑇)−1
𝑳(�̂� − 𝝉) �̂�𝐻2⁄
adalah statistik Wald. Catat bahwa penduga REML untuk parameter ragam digunakan dalam
pernyataan ini.
Statistik Wald memiliki sebaran asimtotik 2 dengan derajat bebas r. Namun, untuk alasan
yang baru disebutkan, nilai P akan lebih besar (over-estimate) dari nilai P sesungguhnya, maka
jika nilai P statistik Wald yang diskalakan dihitung menggunakan sebaran asimtotik maka harus
hati-hati dalam menginterpretasi.
Pada tahun 1997 Kenward dan Roger (in Small Sample Inference for Fixed Effects from
Restricted Maximum Likelihood, Biometrics, 53, 983–997) mengembangkan suatu metode
untuk meningkatkan nilai P melalui penskalaan factor: F = W/r. Mereka mengembangkan
persamaan yang cukup untuk menghitung dan juga derajat bebas df (derajat bebas pembilang
df = r). Melalui simulasi, mereka menunjukkan bahwa nilai P baru jauh lebih sesuai (reliable).
Sesungguhnya, dua sifat penting pendekatan ini dapat dinyatakan:
Untuk rancangan ortogonal seperti dalam ANOVA tanpa data hilang, nilai P statistik Wald
yang diskalakan bersifat exact, yaitu, mereka menghasilkan F ANOVA dan nilai P.
Jika r = 1 (yaitu, menguji kesamaan dua rata-rata perlakuan) nilai P statistik Wald yang
diskalakan sama dengan nilai P Satterthwaite uji t tidak berpasangan dengan ragam
perlakuan berbeda.
The Mathematics of REML
95
Implementasi ini menjadi default dalam GenStat. Persamaan dapat menjadi sangat kompleks,
kadang gagal diselesaikan, dalam hal ini GenStat merubah nilai P yang dihasilkan dari sebaran
2.
8. Menguji pengaruh acak
Pengaruh acak diasumsikan menyebar normal, dan bagian ini menjelaskan cara
membandingkan LMM di bawah sehimpunan asumsi mengenai parameter dalam model ragam
dengan LMM menghasilkan penerapan nilai-nilai yang diasumsikan di bawah hipotesis nol.
Catat bahwa metode ini hanya dapat diterapkan
ketika model tersarang, dan
parameter tetap yang sama terdapat dalam kedua model.
Sebagai ilustrasi model tersarang adalah sekuens AR2 dibandingkan AR1 dan kemudian
dengan pengaruh acak yang tidak berkolrelasi. Pada waktu t:
yt = rata-rata + a1 yt-1 + a2 yt-2 + error (AR2)
yt = rata-rata + a1 yt-1 + error (AR1, didapat melalui pengujian a2 = 0)
yt = rata-rata + error (tidak berkorelasi, didapat melalui pengujian a1 = 0)
Teladan untuk model tidak tersarang adalah perbedaan antara peubah acak yang diasumsikan
memiliki struktur equi-correlated lawan suatu model berstruktur AR1. Kedua model memiliki
satu parameter korelasi dan derajat bebas devians yang sama.
Devians didefinisikan sebagai -2×logLikelihood di mana logLikelihood dihitung berdasarkan
penduga parameter REML. Umumnya, konstanta dalam logLikelihood dibuang karena devians
hanya digunakan ketika membedakan.
Dengan demikian, untuk menguji sebagian dari parameter ragam (himpunan bagian, mulai dari
model penuh dan dapatkan model reduksi dengan menghitung model penuh menggunakan nilai
hipotesis dari parameter ragam.
Maka
Perubahan dalam Devians = Devians untuk model reduksi – Devians untuk model penuh
The Mathematics of REML
96
yang 𝜒2 asimtotik dengan derajat bebas df = perubahan devians dalam db.
Misal, untuk model dengan ragam blok acak tunggal, dan ragam galat berdasarkan 12 data
yang berasal dari 4 blok dan 3 perlakuan per blok:
Devians dengan pengaruh blok acak = 34.49 dengan derajat bebas 7 (model PENUH)
Devians mengeluarkan pengaruh blok acak = 51.38 dengan derajat bebas 8 (model REDUKSI)
Perubahan dalam devians= 51.38 – 34.49 = 16.89 dengan derajat bebas 8 – 7 = 1 sangat nyata
(P<0.001), model penuh lebih baik, dengan kata lain pengaruh blok bersifat acak.
Untuk model tak tersarang, GenStat menawarkan dua statistik, Akaike Information Coefficient
(AIC) dan Schwarz Information Coefficient (SIC).
Pandang k sebagai banyaknya parameter ragam dalam model, maka
AIC = Deviance + 2 k
Tak ada nilai uji untuk membandingkan nilai ini. Satu saran adalah menghitung exp[(AIC1-
AIC2)/2], di mana AIC1 lebih kecil dan AIC2 lebih besar dari dua model. Nisbah ini dapat
dipandang sebagai peluang bahwa model kedua meminimkan kehilangan informasi apa pun.
Schwarz Information Coefficient hampir sama,
AIC = Deviance + ln(n) k
Misal, untuk model dengan ragam blok acak tunggal dan ragam galat untuk 12 data (dan catat
bahwa ln(12) = 2.49, jika devians 34.49, maka GenStat akan memberikan:
Akaike information coefficient 38.49 Schwarz Bayes information coefficient 38.88
Note: omits constants, (n-p)log(2) - log(det(X'X)), that depend only on the fixed model.
The Mathematics of REML
97
Contoh struktur galat berkorelasi
GenStat membolehkan mendefinisikan Random Model dengan pilihan struktur korelasi.
Tanda * menjelaskan model yang sering digunakan StATS.
Model Biasa digunakan untuk:
Identity* bebas, sisa menyebar normal dalam regresi atau ANOVA dengan
ragam konstan
uniform* khusus untuk struktur sisa berkorelasi untuk rancangan multi-strata
(RCB, split-plot etc)
diagonal* untuk rancangan apa pun dengan perubahan ragam
AR*
autoregressive (AR1 or AR2) sisa berkorelasi secara serial dalam
deret waktu/pengukuran berulang; model spasial spat dalam
penelitian lapang
power*
sama dengan AR1 tetapi dapat digunakan untuk titik waktu dengan
jaeak berbeda; model spasial dalam penelitian di lapangan dengan
koordinat berjarak sama
unstructured*
deret waktu/data hasil pengamatan berulang di mana tidak ada
asumsi yang dibuat mengenai korelasi berdasarkan waktu; data
MANOVA
antedependence*
deret waktu/data hasil pengamatan memperbolehkan perubahan
ragam, tambah:
order = 1 menghasilkan korelasi contoh untuk titik waktu
bertetangga; order = 2 memberikan korelasi contoh untuk titik waktu
bertetangga 1 dan 2; melibatkan lebih sedikit parameter
dibandingkan tak terstruktur
ARMA campuran autoregressive and moving average, korelasi serial sisaa
dalam deret waktu/pengamatan berulang
boundedlinear korelasi menurun secara linier dalam proporsi terhadap terhadap
nisbah jarak
spherical korelasi menurun secara spherically terhadap jarak, biasa terjadi
dalam ilmu tanah
banded correlation titik berdekatan memiliki korelasi, order menjelaskan berapa bukan
nol
FA & FAequal
struktur korelasi dalam bentuk model analisis faktor menggunakan
sedikit parameter dibandingkan tak terstruktur; biasa dalam
pemuliaan tanaman
Fixed matriks korelasi dijelaskan oleh pengguna
MA rata-rata bergerak (moving average)sisa berkorelasi secara serial
dalam deret waktu/pengamatan berulang
circular
sisa berkorelasi serial dalam deret waktu/pengamatan berulang di
mana korelasi berubah sesuai jarak sedemikian sehingga bergantung
pada sin-1;
linearvariance korelasi menurun menurut jarak, biasa terjadi di bidang ilmu tanah
Berikut akan disajikan teladan yang menggunakan beberapa model korelasi di atas. Setengah
manual ini menjelaskan struktur Identity.
The Mathematics of REML
98
Teladan dijelaskan pada manual versi awal, tersedia pada sumber www.stats.net.au.
Teladan 1 – struktur uniform: model blok acak
Pandang rancangan blok lengkap acak (RCB) dengan perlakuan tetap t ditempatkan secara acak
dalam setiap dari b blok. Blok diasumsikan berbeda satu dari yang lain, an secara umum adalah
pengaruh acak: anda menghendaki kesimpulan apa pun tentang perlakuan dalam suatu
penelitian dalam blok pada suatu lokasi tertentu, diterapkan secara umum pada lokasi lain. Uji F
ANOVA sesungguhnya hanya tersedia untuk pengaruh tetap. Untuk alasan ini GenStat
menghitung nisbah ragam untuk blok dalam ANOVA tetapi tidak memberikan nilai P.
Dengan demikian, pengujian terhadap kesamaan rata-rata perlakuan tidak bergantung pada
apakah blok diasumsikan tetap ataukah acak. Namun, asumsi tentang blok tetap atau acak tidak
mempengaruhi beberapa salah baku.
Ketika blok diasumsikan acak, ada implikasi yang menyebabkan model dapat dijelaskan dalam
berbagai cara. Ini juga berlaku bagi rancangan yang lebih kompleks seperti split-plots. Berikut
adalah matematika tentang hal ini.
Pendekatan 1. Model acak adalah Blok + Sisa dengan Blok sebagai pengaruh acak
Model RCB adalah
yij = + j + i + ij i = 1, …, t (perlakuan) dan j = 1, …, b (blok)
Atur pengaruh blok acak b ke dalam vector acak 𝒖~𝑁(0, 𝜎𝐵2𝑰𝑏). Peubah sisaan adalah
𝒆~N(0, 𝜎2𝑰𝑏𝑡).
Asumsikan bahwa data disusun dalamsebuah vector mulai blok 1, di atas, diikuti blok 2 dan
seterusnya. Setiap pengamatan dalam blok 1 memiliki pengaruh blok 1 sama, dengan
demikian melibatkan sebuah pengaruh acak (1); tetapi setiap pengamatan ini bebas terhadap
pengamatan di blok lain. Ini mengakibatkan matriks rancangan untuk pengaruh blok acak
adalah
The Mathematics of REML
99
𝒁 = [
1𝑡 0𝑡 ⋯ 0𝑡
0𝑡 1𝑡 0𝑡 0𝑡
⋮ 0𝑡 ⋱ 0𝑡
0𝑡 0𝑡 ⋯ 1𝑡
]
𝒁𝑮𝒁T = 𝜎𝐵2 [
𝑱𝑡 0𝑡 ⋯ 0𝑡
0𝑡 𝑱𝑡 0𝑡 0𝑡
⋮ 0𝑡 ⋱ 0𝑡
0𝑡 0𝑡 ⋯ 𝑱𝑡
]=𝜎𝐵2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡, ⋯ , 𝑱𝑡]
di mana 𝐷𝑖𝑎𝑔𝑏[⋯ ] menjelaskan matriks diagonal dengan elemen b (yang juga matriks) pada
diagonal utama yang sama dengan 𝑱𝑡, matriks satuan berdimensi t×t (yang juga dapat ditulis
sebagai 1𝑡1𝑡𝑇).
Penjelasan untuk t=3, b=4, matriks rancangan untuk pengaruh blok acak 𝒁 berukuran 12 x 12
𝒁12×4 =
(
1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 10 0 0 1)
= (
13 03 03 03
03 13 03 03
03 03 13 03
03 03 03 13
)
𝑮 =
(
𝜎𝐵2 0 0 0
0 𝜎𝐵2 0 0
0 0 𝜎𝐵2 0
0 0 0 𝜎𝐵2)
= 𝜎𝐵2 (
1 0 0 00 1 0 00 0 1 00 0 0 1
) = 𝜎𝐵2𝑰4
The Mathematics of REML
100
𝒁𝑮 = 𝜎𝐵2
(
1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 10 0 0 1)
(
1 0 0 00 1 0 00 0 1 00 0 0 1
) = 𝜎𝐵2
(
1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 10 0 0 1)
𝒁𝑮𝒁𝑇 = 𝜎𝐵2
(
1 0 0 01 0 0 01 0 0 00 1 0 00 1 0 00 1 0 00 0 1 00 0 1 00 0 1 00 0 0 10 0 0 10 0 0 1)
(
1 1 1 0 0 0 0 0 0 0 0 00 0 0 1 1 1 0 0 0 0 0 00 0 0 0 0 0 1 1 1 0 0 00 0 0 0 0 0 0 0 0 1 1 1
)
𝒁𝑮𝒁𝑇 = 𝜎𝐵2
(
1 1 1 0 0 0 0 0 0 0 0 01 1 1 0 0 0 0 0 0 0 0 01 1 1 0 0 0 0 0 0 0 0 00 0 0 1 1 1 0 0 0 0 0 00 0 0 1 1 1 0 0 0 0 0 00 0 0 1 1 1 0 0 0 0 0 00 0 0 0 0 0 1 1 1 0 0 00 0 0 0 0 0 1 1 1 0 0 00 0 0 0 0 0 1 1 1 0 0 00 0 0 0 0 0 0 0 0 1 1 10 0 0 0 0 0 0 0 0 1 1 10 0 0 0 0 0 0 0 0 1 1 1)
= 𝜎𝐵2 (
𝑱3 𝑶3 𝑶3 𝑶3
𝑶3 𝑱3 𝑶3 𝑶3
𝑶3 𝑶3 𝑱3 𝑶3
𝑶3 𝑶3 𝑶3 𝑱3
) = 𝜎𝐵2𝐷𝑖𝑎𝑔4[𝑱3, ⋯ , 𝑱3]
Untuk melihat apakah asumsi mengenai pengaruh blok acak mempengaruhi pendugaan terhadap
pengaruh - panggil �̂� = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 , kita perlu melihat matriks 𝑯 untuk rancangan
RCB:
The Mathematics of REML
101
𝑯 = 𝑹 + 𝒁𝑮𝒁T = 𝜎2𝑰𝑏𝑡+𝜎𝐵2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡,⋯ , 𝑱𝑡] = 𝜎2𝐷𝑖𝑎𝑔𝑏[𝑰𝑡, ⋯ , 𝑰𝑡]+𝜎𝐵
2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡, ⋯ , 𝑱𝑡]
Kebalikan matriks 𝑯 ada dan jelas merupakan matriks diagonal blok, di mana diagonal ini
merupakan kebalikan matriks 𝜎2𝑰𝑡 + 𝜎𝐵2𝑱𝑡 = 𝜎2𝑰𝑡+𝜎𝐵
21𝑡1𝑡𝑇. Terdapat rumus standar untuk
matriks seperti ini. Pandang 𝑨 sebagai matriks non singular dan pandang 𝒖 dan 𝒗 sebagai vektor
kolom.
𝑹 =
(
𝜎2 0 0 0 0 0 0 0 0 0 0 00 𝜎2 0 0 0 0 0 0 0 0 0 00 0 𝜎2 0 0 0 0 0 0 0 0 00 0 0 𝜎2 0 0 0 0 0 0 0 00 0 0 0 𝜎2 0 0 0 0 0 0 00 0 0 0 0 𝜎2 0 0 0 0 0 00 0 0 0 0 0 𝜎2 0 0 0 0 00 0 0 0 0 0 0 𝜎2 0 0 0 00 0 0 0 0 0 0 0 𝜎2 0 0 00 0 0 0 0 0 0 0 0 𝜎2 0 00 0 0 0 0 0 0 0 0 0 𝜎2 00 0 0 0 0 0 0 0 0 0 0 𝜎2)
= 𝜎2𝑰12
𝑹 = 𝜎2𝐷𝑖𝑎𝑔4[𝑰3, ⋯ , 𝑰3]
(𝑨 + 𝒖𝒗𝑻)−𝟏 = 𝑨−1 −𝑨−1𝒖𝒗𝑻𝑨−1
1 + 𝒗𝑻𝑨−1𝒖
Jadi, 𝑨 = 𝜎2𝑰𝑡, 𝒖 = 𝜎𝐵21𝑡, 𝒗 = 1𝑡.
(𝜎2𝑰𝑡 + 𝜎𝐵21𝑡1𝑡
𝑇)−𝟏 =1
𝜎2𝑰𝑡 −
1𝜎2 𝑰𝑡𝜎𝐵
21𝑡1𝑡𝑇 1𝜎2 𝑰𝑡
1 + 1𝑡𝑇 1𝜎2 𝑰𝑡𝜎𝐵
21𝑡
=1
𝜎2(𝑰𝑡 −
𝜎𝐵2
(𝜎2 + 𝑡𝜎𝐵2)
𝑱𝑡)
Suku kedua
1𝜎2 𝑰𝑡𝜎𝐵
2𝑱𝑡𝑰𝑡
𝜎2
𝜎2 + 1𝑡𝑇 1𝜎2 𝑰𝑡𝜎𝐵
21𝑡
=
1𝜎2
1𝜎2 𝜎𝐵
2𝑰𝑡𝑱𝑡𝑰𝑡
1𝜎2 (𝜎2 + 1𝑡
𝑇𝑰𝑡𝜎𝐵21𝑡)
=
1𝜎2
1𝜎2 𝜎𝐵
2𝑱𝑡
1𝜎2 (𝜎2 + 1𝑡
𝑇1𝑡𝜎𝐵2)
=
1𝜎2
1𝜎2 𝜎𝐵
2𝑱𝑡
1𝜎2 (𝜎2 + 𝑡𝜎𝐵
2)
Gabung
1
𝜎2𝑰𝑡 −
1𝜎2 𝜎𝐵
2𝑱𝑡
(𝜎2 + 𝑡𝜎𝐵2)
=1
𝜎2(𝑰𝑡 −
𝜎𝐵2𝑱𝑡
(𝜎2 + 𝑡𝜎𝐵2)
)
The Mathematics of REML
102
𝑯−1 adalah matriks diagonal terdiri dari b matriks seperti ini.
Sekarang kita lihat matriks-matriks (𝑿𝑇𝑯−1𝑿)−1 dan 𝑿𝑇𝑯−1𝒚 untuk blok acak.
(𝑿𝑇𝑯−1𝑿)−1 = (𝑿𝑇1
𝜎2𝐷𝑖𝑎𝑔𝑏 [𝑰𝑡 −
𝜎𝐵2
(𝜎2 + 𝑡𝜎𝐵2)
𝑱𝑡] 𝑿)
−1
= 𝜎2 (𝑿𝑇𝑿 − 𝑿𝑇𝐷𝑖𝑎𝑔𝑏 [𝜎𝐵
2
(𝜎2 + 𝑡𝜎𝐵2)
𝑱𝑡] 𝑿)
−1
Sekarang dengan parameterisasi, matriks rancangan 𝑿 memiliki kolom yang terdiri dari b sel
bernilai 1 dan sisa sel lain mengandung 0. Juga, keberadaan 1 unik dalam setiap baris, sehingga
𝑿𝑇𝑿 harus sama dengan 𝑏𝑰𝑡.
𝑿12×3 =
(
1 0 00 1 00 0 11 0 00 1 00 0 11 0 00 1 00 0 11 0 00 1 00 0 1)
= (
𝑰3
𝑰3
𝑰3
𝑰3
)
𝑿𝑇𝑿 = (1 0 0 1 0 0 1 0 0 1 0 00 1 0 0 1 0 0 1 0 0 1 00 0 1 0 0 1 0 0 1 0 0 1
)
(
1 0 00 1 00 0 11 0 00 1 00 0 11 0 00 1 00 0 11 0 00 1 00 0 1)
The Mathematics of REML
103
𝑿𝑇𝑿 = (4 0 00 4 00 0 4
) = 4(1 0 00 1 00 0 1
) = 4𝑰3 = 𝑏𝑰𝑡
Kemudian, untuk setiap blok dalam matriks diagonal di atas, 𝑱𝑡𝑿 menambah angka dalam
kolom matriks rancangan 𝑿 dalam blok yang dipertimbangkan. Namun, di dalamnya (dan
setiap) blok, setiap elemen adalah 0 kecuali 1. Karena bentuk matriks rancangan 𝑿, 𝐷𝑖𝑎𝑔𝑏[𝑱𝑡𝑿]
harus sama dengan 𝑱𝑏𝑡×𝑡. Karena setiap baris t dalam 𝑿𝑇 mengandung b sel bernilai 1 dan
lainnya 0, kita harus memperoleh
𝑿𝑇𝐷𝑖𝑎𝑔𝑏[𝑱𝑡]𝑿 = 𝑿𝑇𝑱𝑏𝑡×𝑡 = 𝑏𝑱𝑡
sehingga (karena resiprok dan substitusi 𝑏𝑰𝑡 dan 𝑏𝑱𝑡) dan faktorkan ke luar b
𝑿𝑇𝑯−1𝑿 =1
𝜎2(𝑿𝑇𝑿 − 𝑿𝑇𝐷𝑖𝑎𝑔𝑏 [
𝜎𝐵2
(𝜎2 + 𝑡𝜎𝐵2)
𝑱𝑡] 𝑿) =1
𝜎2(𝑏𝑰𝑡 −
𝑏𝜎𝐵2
(𝜎2 + 𝑡𝜎𝐵2)
𝑱𝑡)
=𝑏
𝜎2(𝑰𝑡 −
𝜎𝐵2
(𝜎2 + 𝑡𝜎𝐵2)
𝑱𝑡)
Gunakan lagi (𝑨 + 𝒖𝒗𝑇)−1 = 𝑨−1 −𝑨−1𝒖𝒗𝑇𝑨−1
1+𝒗𝑇𝑨−1𝒖 kita peroleh
(𝑿𝑇𝑯−1𝑿)−1 = (𝑏
𝜎2 (𝑰𝑡 −𝜎𝐵
2
(𝜎2+𝑡𝜎𝐵2)
𝑱𝑡))
−1
=𝜎2
𝑏
(
𝑰𝑡 +
𝜎𝐵2
(𝜎2 + 𝑡𝜎𝐵2)
1 − 𝑡𝜎𝐵
2
(𝜎2 + 𝑡𝜎𝐵2)
𝑱𝑡
)
=𝜎2
𝑏(𝑰𝑡 +
𝜎𝐵2
𝜎2𝑱𝑡)
Ini adalah matriks diagonal dengan elemen 𝜎𝐵2 𝑏⁄ + 𝜎2 𝑏⁄ dan elemen di luar diagonal 𝜎𝐵
2 𝑏⁄ .
Sebagian dari suku terakhir telah diselesaikan karena kita tahu bahwa 𝑿𝑇𝑯−1: terdiri dari t
baris, setiap baris mengandung b sel yang sama dengan 𝑏(1 − 𝜎𝐵2 (𝜎2 + 𝑡𝜎𝐵
2)⁄ ) 𝜎2⁄ dan t(b-1)
sel bernilai −𝑏 𝜎𝐵2 (𝜎2 + 𝑡𝜎𝐵
2)⁄ 𝜎2⁄ . Posisi sel-sel ini diatur oleh matriks rancangan 𝑿, namun
jika 𝑿𝑇𝑯−1 dikalikan dengan pengganda akhir y, baris ke ith menghasilkan baris ke ith rata-rata
The Mathematics of REML
104
perlakuan �̅�𝑖 juga rata-rata umum �̅�. Kita perlu memperkenalkan vektor rata-rata yang kita
notasikan sebagai �̅�𝑖𝑇 = (�̅�1, ⋯ , �̅�𝑡). Jadi
𝑿𝑇𝑯−1𝒚 =𝑏
𝜎2�̅�𝑖 −
𝑏𝑡𝜎𝐵2
𝜎2(𝜎2 + 𝑡𝜎𝐵2)
�̅�1𝑡
Gabungkan kedua suku dan ganti unsur 𝑱𝑡�̅�𝑖 dengan 𝑡�̅�1𝑡 menghasilkan
�̂� = (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 =𝜎2
𝑏(𝑰𝑡 +
𝜎𝐵2
𝜎2𝑱𝑡)(
𝑏
𝜎2�̅�𝑖 −
𝑏𝑡𝜎𝐵2
𝜎2(𝜎2 + 𝑡𝜎𝐵2)
�̅�1𝑡)
= �̅�𝑖 +𝑡𝜎𝐵
2
𝜎2(1 −
𝜎2
(𝜎2 + 𝑡𝜎𝐵2)
−𝑡𝜎𝐵
2
(𝜎2 + 𝑡𝜎𝐵2)
) �̅�1𝑡
= �̅�𝑖 +𝑡𝜎𝐵
2
𝜎2((𝜎2 + 𝑡𝜎𝐵
2) − 𝜎2 − 𝑡𝜎𝐵2
(𝜎2 + 𝑡𝜎𝐵2)
) �̅�1𝑡
= �̅�𝑖
Jadi, di bawah asumsi bahwa blok bersifat acak, penduga REML untuk rata-rata perlakuan
adalah rata-rata contoh, sebagaimana di bawah asumsi bahwa blok bersifat tetap.
Namun demikian, salah baku rata-rata lebih besar di bawah model blok acak dibandingkan jika
model blok tetap. Hal ini tidak mengherankan, karena agar besaran ini dapat digunakan untuk
blok lain, kita harus lebih hati-hati dalam menduga rata-rata perlakuan secara terpisah. Namun,
salah baku selisih rata-rata sama di bawah kedua asumsi.
Salah baku selisih rata-rata
Dalam bentuk model, rata-rata contoh ke ith yakni �̅�𝑖 adalah �̅�𝑖 = 𝜇 + �̅� + 𝜏𝑖 + 𝜖�̅� dan juga
salah baku rata-rata contoh harus bernilai 𝜎𝐵2 𝑏⁄ + 𝜎2 𝑏⁄ karena setiap rata-rata dalam ekspresi
untuk �̅�𝑖 adalah rata-rata dari b unit. Berikut adalah pembuktian secara matematis:
𝑣𝑎𝑟(�̂�) = 𝑣𝑎𝑟((𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚)
The Mathematics of REML
105
= (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑣𝑎𝑟(𝒚)𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1
= (𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑯𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1
= (𝑿𝑇𝑯−1𝑿)−1(𝑿𝑇𝑯−1𝑿)(𝑿𝑇𝑯−1𝑿)−1
= (𝑿𝑇𝑯−1𝑿)−1
Kita melihat sebelumnya bahwa diagonal utama matriks ini adalah 𝜎𝐵2 𝑏⁄ + 𝜎2 𝑏⁄ dan di luar
diagonal utama 𝜎𝐵2 𝑏⁄ . Nilai nol di luar diagonal utama adalah hasil dari suku acak yang sama
yakni �̅� dalam setiap rata-rata contoh, menyebabkan korelasi dalam rata-rata contoh.
Salah baku selisih rata-rata
Dalam bentuk model, selisih antara rata-rata contoh ke ith yakni �̅�𝑖 dan �̅�𝑘 rata-rata contoh ke kth
adalah �̅�𝑖 − �̅�𝑘 = 𝜏𝑖 − 𝜏𝑘 + 𝜖�̅� − 𝜖�̅�. Jelas suku acak yang sama yakni �̅� telah hilang dari selisih
ini dan anda tidak mengharapkan bahwa 𝜎𝐵2 akan menjelaskan nilai salah baru selisih. Berikut
penjelasan matematis.
Nyatakan kontras antara rata-rata contoh ke ith yakni �̅�𝑖 dan �̅�𝑘 rata-rata contoh ke kth sebagai
vektor 𝑪 yang bernilai +1 sesuai posisi rata-rata ke ith dan -1 pada posisi rata-rata ke kth. Catat
bahwa 𝑱𝑡𝑪 = 0𝑡 dan 𝑪𝑇𝑪 = 2.
Maka
𝑣𝑎𝑟(𝑪𝑇�̂�) = 𝑣𝑎𝑟(𝑪𝑇(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚)
= 𝑪𝑇(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝑣𝑎𝑟(𝒚)𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑪
= 𝑪𝑇(𝑿𝑇𝑯−1𝑿)−1𝑪 = 𝑪𝑇𝜎2
𝑏(𝑰𝑡 +
𝜎𝐵2
𝜎2𝑱𝑡) 𝑪
The Mathematics of REML
106
=𝜎2
𝑏𝑪𝑇𝑪 +
𝜎𝐵2
𝑏𝑪𝑇𝑱𝑡𝑪 =
2𝜎2
𝑏
sama dengan salah baku selisih rata-rata di bawah asumsi blok tetap.
Pendekatan 2. Secara Sederhana Model Acak adalah Error dengan var(Error) suatu
matriks korelasi uniform.
Asumsi untuk pengaruh blok acak adalah bahwa untuk setiap j, 𝛽𝑗~N(𝜇, 𝜎𝐵2), dan bebas
terhadap peubah sisaan yang semuanya bebas, ε𝑖𝑗~N(𝜇, 𝜎2). Dengan demikian, untuk setiap
pengamatan dalam setiap blok,
𝑣𝑎𝑟(𝑦𝑖𝑗)=𝑣𝑎𝑟(𝛽𝑗) + 𝑣𝑎𝑟(ε𝑖𝑗) = 𝜎𝐵2 + 𝜎2.
Jika kita mengambil dua pengamatan dari blok yang sama (katakana blok j), kita mendapatkan
pengaruh acak 𝛽𝑗 sama. Maka untuk pengamatan ke ith dan kth dalam blok j kita dapatkan
𝑐𝑜𝑣𝑎𝑟(𝑦𝑖𝑗 , 𝑦𝑘𝑗)=co𝑣𝑎𝑟(𝛽𝑗 + ε𝑖𝑗 , 𝛽𝑗 + ε𝑘𝑗) = 𝑣𝑎𝑟(𝛽𝑗) = 𝜎𝐵2
semua suku lain tak berkorelasi.
Jadi, dua pengamatan dalam blok yang sama memiliki ragam sama (𝜎𝐵2 + 𝜎2) tetapi
berkorelasi, dan setiap korelasi dalam suatu blok-sama, yakni nisbah antar ragam blok terhadap
ragam gabungan (blok + sisaan):
𝑐𝑜𝑟𝑟(𝑦𝑖𝑗, 𝑦𝑘𝑗) =𝜎𝐵
2
𝜎𝐵2 + 𝜎2
= 𝜃 katakan.
Model demikian dikenal sebagai matriks korelasi uniform dan untuk setiap blok memiliki
struktur
The Mathematics of REML
107
𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚 = (𝜎𝐵2 + 𝜎2) [
1 θ ⋯ θθ 1 θ θ⋮ θ ⋱ θθ θ ⋯ 1
]
Pengamatan-pengamatan dalam blok berbeda tidak berkorelasi, dan dengan demikian matriks
rancangan lengkap merupakan matriks blok diagonal dengan b matriks pada diagonal, semua
sama dengan 𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚:
𝑯 = 𝑣𝑎𝑟(𝒚)=Diag[𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚,⋯ , 𝚺𝑢𝑛𝑖𝑓𝑜𝑟𝑚] = 𝑫𝚺 katakan.
Dengan Pendekatan 1, di mana kita memiliki pengaruh blok acak maka matriks ragam menjadi
𝑯 = 𝑹 + 𝒁𝑮𝒁𝑇 = 𝜎2𝑰𝑏𝑡+𝜎𝐵2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡, ⋯ , 𝑱𝑡] = 𝜎2𝐷𝑖𝑎𝑔𝑏[𝑰𝑡,⋯ , 𝑰𝑡]+𝜎𝐵
2𝐷𝑖𝑎𝑔𝑏[𝑱𝑡,⋯ , 𝑱𝑡]
Dalam struktur ini, elemen diagonal adalah (𝜎2 + 𝜎𝐵2) dan di luar diagonal hanya 𝜎𝐵
2.
Kedua struktur ragam identik.
Hal ini mengakibatkan kita punya beberapa pilihan untuk menjelaskan pengaruh blok acak
dalam perancangan percobaan. Metode kedua penting ketika kita menggunakan REML untuk
mendapatkan model spasial seperti baris × kolom berstruktur AR1 × AR2. Mencoba
mendapatkan pengaruh Blok dalam Model Acak juga sebagai struktur korelasi AR1 × AR2
mengarah pada redundancy.
The Mathematics of REML
108
Teladan 2 Matriks diagonal:
Rancangan perlakuan satu-arah dengan perubahan ragam perlakuan
Matriks Diagonal untuk ragam sisaan yang paling banyak digunakan adalah ketika beberapa
atau semua ragam perlakuan dalam percobaan yang dirancang, berubah. Teladan sederhana
adalah uji t tidak berpasangan di mana ragam dua perlakuan berbeda. Telah disinggung tentang
properti bahwa implementasi statistik Wald yang diskalakan menghasilkan uji dan nilai P sama
that the implementation of an adjusted scaled Wald statistic produces the test and P values
(melalui t2 = F). Ini dikembangkan pada sebuah faktor dengan t taraf dan beberapa atau semua
ragam berbeda.
Pandang panjang dalam satuan ocular (x 0.114 = mm) dari potongan kapri yang ditumbuhkan
pada kultur jaringan dengan auxin (Sokal & Rohlf Ed3. halaman 218). Ini merupakan rancangan
acak lengkap.
Rep Control 2% glucose 2% fructose 1% glucose + 1% fructose 2% sucrose
1 75 57 58 58 62
2 67 58 61 59 66
3 70 60 56 58 65
4 75 59 58 61 63
5 65 62 57 57 64
6 71 60 56 56 62
7 67 60 61 58 65
8 67 57 60 57 65
9 76 59 57 57 62
10 68 61 58 59 67
rata-rata 70.1 59.3 58.2 58.0 64.1
ragam 15.878 2.678 3.511 2.000 3.211
Tidaklah sulit untuk melihat bahwa ragam kontrol berbeda dari ragam perlakuan gula yang
hampir sama. Hal biasa jika grup kontrol memiliki besaran statistik berbeda dari grup
perlakuan. Misal, dalam penelitian medis terhadap pasien sakit punggung, jika perlakuan yang
baik diberikan pada pasien tetapi tetap tidak menyembuhkan, For example, in a medical trial of
patients with back pain, if a treatment that actually works is given to patients, and if left
untreated the back pain persists, maka dapat diduga ragam berubah menurut waktu untuk grup
The Mathematics of REML
109
perlakuan so than for the untreated group. Jelas, ragam dapat bernilai nol untuk grup yang tidak
memiliki sakit punggung sesudah pengobatan!
Dalam percobaan di bidang pertanian, sangatlah umum jika ragam perlakuan berubah. Kasus ini
terjadi dalam percobaan kepadatan (perlakuan dengan jarak tanam berbeda) dan dalam
percobaan di mana contoh tanaman diambil pada waktu berbeda dalam siklus pertumbuhan
tanaman itu.
Maka pilihan Diagonal untuk faktor perlakuan dengan perubahan ragam, dibuat matriks ragam
untuk bagian perlakuan dari struktur sisaan:
𝑫 = 𝐷𝑖𝑎𝑔[𝜎12 𝜎2
2 ⋯ 𝜎52] memperkenankan perubahan raham 5 perlakuan
𝑫 = 𝐷𝑖𝑎𝑔[𝜎12 𝜎2
2 ⋯ 𝜎22] hanya ragam Control berbeda
Dalam luaran GenStat’s, penduga dilambangkan dengan d_1, d_2, dan seterusnya.
Sebagaimana dalam program GenStat mana pun, anda perlu menjelaskan struktur sisaan agar
struktur matriks korelasi yang sesuai dengan struktur sisaan dapat ditentukan. Ini dilakukan
melalui perintah Random Model dalam menu Linear Mixed Model. Semua data harus
diindeks, berarti jika terdapat 5 perlakuan yang diulang 10 kali, maka 50 data harus diindeks
menggunakan factor dengan panjang sesuai.
Maka anda dapat membuat faktor sepanjang 50 yang disebut Replicate. Dalam hal ini, GenStat
tidak membolehkan anda mendefinisikan perubahan ragam karena GenStat tidak mengetahui
perlakuan tertentu pada 50 data. Anda dapat append faktor perlakuan (namakan Sugar, dengan 5
taraf) terhadap faktor Replicate, tetapi akan menghasilkan terlalu banyak indeks dan
menghasilkan luaran yang membingungkan. Jadi, lebih baik membuat factor Rep , dengan
indeks hanya dari 1 hingga 10 saja. Maka Random Model akan berupa Rep.Sugar yang
mengindeks 10×5 = 50 titik data. Kemudian pilih Correlated Error Terms… dan anda melihat
bahwa default GenStat adalah
Rep.Sugar: Id × Id
The Mathematics of REML
110
Ingat bahwa Id menjelaskan matriks identitas (maka sisaan bebas) dengan order sesuai dengan
panjang faktor. Kita perlu memilih faktor Sugar, kemudian pilih Diagonal dari daftar drop-
down sesuai pilihan, kembali ke menu utama dan jalankan program.
Residual variance model Term Factor Model(order) Parameter Estimate s.e. Rep.Sugar Sigma2 1.000 fixed Rep Identity - - - Sugar Diagonal d_1 15.88 7.48 d_2 3.511 1.655 d_3 2.000 0.943 d_4 2.678 1.262 d_5 3.211 1.514
Estimated covariance models
Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix
Jika anda juga memilih Covariance Model dalam Options anda akan melihat bahwa GenStat
menjelaskan struktur ragam yang digunakan. Juga bahwa penduga-penduga ini merupakan
ragam contoh 5 perlakuan dalam percobaan ini.
GenStat menawarkan menu berbasis-REML, Meta Analysis > REML of Multiple
Experiments…, yang memberikan ragam berbeda untuk setiap taraf faktor. Masukkan model
tetap dan acak (yang terakhir dapat berbeda pada setiap taraf dari faktor yang menjelaskan
bagaimana ragam berubah) dan menjelaskan pula faktor yang menyebabkan perubahan ragam..
Misal, kita langsung mendapatkan ragam perlakuan:
Residual model for each experiment Experiment factor: Sugar Experiment Term Factor Model(order) Parameter Estimate s.e. Control Residual Identity Variance 15.880 7.480 Fructose Residual Identity Variance 3.511 1.655 GlucFruc Residual Identity Variance 2.000 0.943 Glucose Residual Identity Variance 2.678 1.262 Sucrose Residual Identity Variance 3.211 1.514
The Mathematics of REML
111
Untuk mendapatkan hanya dua ragam, satu untuk grup control dan lainnya untuk setiap
perlakuan dari empat perlakuan Sugar, dilakukan dengan cara yang sama. Suatu faktor perlu
ditata yang mengindeks data control atau satu dari perlakuan gula, dengan kolom faktor, 0/1.
Kita menamakan Ctrl vs Sugar (dengan 0 = Control dan 1 = Sugar). Gunakan menu Meta
Analysis Analysis > REML of Multiple Experiments… untuk mendapatkan:
Residual model for each experiment Experiment factor: Ctrl_vs_Sugar Experiment Term Factor Model(order) Parameter Estimate s.e. Control Residual Identity Variance 15.880 7.480 Sugar Residual Identity Variance 2.850 0.672
Catat:
Dalam analisis pertama, 5 penduga ragam identik dengan ragam contoh.
Dalam analisis kedua, penduga 2.85 sebenarnya adalah rata-rata terbobot dari empat ragam
perlakuan 2.678, 3.511, 2.000, 3.211, dan identik dengan Residual MS dari ANOVA untuk
empat perlakuan gula:
Analysis of variance
Source of variation d.f. s.s. m.s. v.r. F pr. Sugar 3 245.000 81.667 28.65 <.001 Residual 36 102.600 2.850 Total 39 347.600
Jika menggunakan “nested” fixed model Ctrl vs Sugar/Sugar, anda peroleh (1) uji
perbandungan rata-rata Control dengan rata-rata empat perlakuan Sugar, dan (2) uji
kesamaan rata-rata empat perlakuan gula:
Tests for fixed effects
Sequentially adding terms to fixed model Fixed term Wald statistic n.d.f. F statistic d.d.f. F pr Ctrl_vs_Sugar 62.71 1 62.71 9.8 <0.001 Ctrl_vs_Sugar.Sugar 85.96 3 28.65 36.0 <0.001
The Mathematics of REML
112
Catat bahwa statistik F untuk membandingkan empat rata-rata gula (sebenarnya
dilambangkan dengan Ctrl_vs_Sugar.Sugar) adalah 28.65, identik dengan uji F dari ANOVA
untuk empat perlakuan gula.
Statistik F pertama, 62.71, dengan derajat bebas penyebut 9.8, adalah uji t Sattherthwaite
(kuadratkan untuk memperoleh statistik F):
Rata-rata Control = 70.10, ragam = 15.878, reps = 10, df = 9
Rata-rata umum Sugar = 59.90, ragam = 2.850, reps = 40, df = 36
𝑡 =(70.10 − 59.90)
√15.87810 +
2.85040
= 7.92 dan 𝑡2 = 62.71
dengan derajat bebas penyebut:
𝑑𝑓 =((15.878
10⁄ ) + (2.85040⁄ ))
2
(15.87810⁄ )
2
9⁄ +
(2.85040⁄ )
2
36⁄
= 9.825
GenStat membulatkan menjadi 9.8 dalam output.
Tiga model (bebas, ragam berbeda untuk control dan kombinasi gula, ragam berbeda untuk
5 “perlakuan”) dengan mudah dibandingkan dengan perubahan devians:
Model ragam devians d.f. P
1. satu ragam 132.86 44
2. dua ragam, satu untuk kontrol, satu untuk lainnya 119.10 43
Perubahan (2 versus 1) 13.76 1 <0.001
3. Lima ragam berbeda 118.30 40
Perubahan (3 versus 2) 0.80 3 0.849
Tampak bahwa tidak perlu memiliki ragam berbeda untuk 5 grup perlakuan (P=0.849) tetapi
ragam berbeda diperlukan untuk kontrol (P<0.001).
The Mathematics of REML
113
Teladan 3 Rancangan acak lengkap dengan perlakuan acak
Pandang t perlakuan dipilih secara acak dari suatu himpunan perlakuan untuk melakukan
percobaan yang dirancang untuk mendapatkan informasi mengenai keluarga perlakuan ini.
Hanya terdapat satu pengaruh tetap, yakni rata-rata umum (hasil=respons). Kita mengasumsikan
bahwa ragam populasi perlakuan bersifat konstan. Maka model CRD adalah
Y𝑖𝑗 = 𝜇 + 𝜏𝑖 + 휀𝑖𝑗
dengan i = 1, …, t (perlakuan), j = 1, …, r (ulangan) dapat ditulis dalam bentuk matriks sebagai
𝒚 = 𝑿𝝉 + 𝒁𝒖 + 𝒆
di mana
𝒚 adalah vektor pengamatan berukuran n1,
𝝉 sekarang adalah scalar berisi hanya pengaruh tetap 𝜇, dengan matriks rancangan 𝑿
mengandung elemen 1𝑛 (setiap titik data memiliki rata-rata ini),
𝒖 adalah vector sepanjang t mengandung pengaruh acak 𝜏1, ⋯ , 𝜏𝑡, dengan matriks
rancangan 𝒁 berdimensi nr (di mana n = rt) yang menempatkan pengamatan pada
perlakuan yang sesuai. Untuk kemudahan, asumsikan bahwa terdapat r pengamatan dari
perlakuan 1 di atas, dan seterusnya.
𝒆 adalah vektor sisaan berukuran n1 dengan matriks ragam 𝑹 = 𝜎2𝑰𝑛.
Dengan alokasi ini pengamatan dari perlakuan, matriks 𝒁 berdimensi rt×t.
𝒁 = [
1𝑟 0𝑟 ⋯ 0𝑟
0𝑟 1𝑟 0𝑟 0𝑟
⋮ 0𝑟 ⋱ 0𝑟
0𝑟 0𝑟 ⋯ 1𝑟
],
𝑮 matriks berdimensi t×t mengandung elemen 𝜎𝑇2𝑰𝑡 maka
𝒁𝑮𝒁T = 𝜎𝑇2 [
𝑱𝑟 O𝑟 ⋯ O𝑟
O𝑟 𝑱𝑟 O𝑟 O𝑟
⋮ O𝑟 ⋱ O𝑟
O𝑟 O𝑟 ⋯ 𝑱𝑟
]=𝜎𝑇2𝐷𝑖𝑎𝑔𝑡[𝑱𝑟 , ⋯ , 𝑱𝑟],
sehingga
𝑯 = 𝑹 + 𝒁𝑮𝒁T = 𝜎2𝑰𝑟𝑡 + 𝜎𝑇2𝐷𝑖𝑎𝑔𝑡[𝑱𝑟 , ⋯ , 𝑱𝑟] = 𝐷𝑖𝑎𝑔𝑡[𝜎
2𝑰𝑟 + 𝜎𝑇2𝑱𝑟 , ⋯ , 𝜎2𝑰𝑟 + 𝜎𝑇
2𝑱𝑟]
The Mathematics of REML
114
Penjelasan:
Penjelasan untuk t=3, r=4, matriks rancangan untuk pengaruh blok acak 𝒁 berukuran 12 x 3
𝒁12×3 =
(
1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)
= (14 04 04
04 14 04
04 04 14
)
𝑹12×12 =
(
𝜎2 0 0 0 0 0 0 0 0 0 0 00 𝜎2 0 0 0 0 0 0 0 0 0 00 0 𝜎2 0 0 0 0 0 0 0 0 00 0 0 𝜎2 0 0 0 0 0 0 0 00 0 0 0 𝜎2 0 0 0 0 0 0 00 0 0 0 0 𝜎2 0 0 0 0 0 00 0 0 0 0 0 𝜎2 0 0 0 0 00 0 0 0 0 0 0 𝜎2 0 0 0 00 0 0 0 0 0 0 0 𝜎2 0 0 00 0 0 0 0 0 0 0 0 𝜎2 0 00 0 0 0 0 0 0 0 0 0 𝜎2 00 0 0 0 0 0 0 0 0 0 0 𝜎2)
= 𝜎2𝑰12
= 𝜎2𝐷𝑖𝑎𝑔3[𝑰4, 𝑰4, 𝑰4]
𝒁𝑮 = 𝜎𝑇2
(
1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)
(1 0 00 1 00 0 1
) = 𝜎𝑇2
(
1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)
The Mathematics of REML
115
𝒁𝑮𝒁𝑇 = 𝜎𝑇2
(
1 0 01 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 1)
(1 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 1
)
𝒁𝑮𝒁𝑇 = 𝜎𝑇2
(
1 1 1 1 0 0 0 0 0 0 0 01 1 1 1 0 0 0 0 0 0 0 01 1 1 1 0 0 0 0 0 0 0 01 1 1 1 0 0 0 0 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 1 1 1 1 0 0 0 00 0 0 0 0 0 0 0 1 1 1 10 0 0 0 0 0 0 0 1 1 1 10 0 0 0 0 0 0 0 1 1 1 10 0 0 0 0 0 0 0 1 1 1 1)
= 𝜎𝑇2 (
𝑱4 𝑶4 𝑶4
𝑶4 𝑱4 𝑶4
𝑶4 𝑶4 𝑱4
) = 𝜎𝑇2𝐷𝑖𝑎𝑔3[𝑱4, 𝑱4, 𝑱4]
𝑯 = 𝑹 + 𝒁𝑮𝒁𝑇 = 𝜎2𝐷𝑖𝑎𝑔3[𝑰4, 𝑰4, 𝑰4] + 𝜎𝑇2𝐷𝑖𝑎𝑔3[𝑱4, 𝑱4, 𝑱4]
= 𝐷𝑖𝑎𝑔3[𝜎2𝑰4+𝜎𝑇
2𝑱4, 𝜎2𝑰4 + 𝜎𝑇
2𝑱4, 𝜎2𝑰4+𝜎𝑇
2𝑱4 ]
Struktur ini relatif sederhana, maka kita akan memeriksa residual logLikelihood, yang
merupakan fungsi dari hanya 𝜎2 dan 𝜎𝑇2, daripada dua persamaan skor. Dalam kasus ini, kita
nyatakan 𝜎𝐻2 = 1:
ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡. −1
2(log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚)
di mana 𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1.
Catat bahwa struktur 𝑯 identik dengan teladan sebelumnya (pada halaman 103) dengan
pertukaran lambang r dan t, dan juga 𝜎𝐵2 dan 𝜎𝑇
2 ditukar. Dengan demikian, kita memiliki:
The Mathematics of REML
116
𝑯−1 = 𝐷𝑖𝑎𝑔𝑡 [1
𝜎2(𝑰𝑟 −
𝜎𝑇2
(𝜎2 + 𝑟𝜎𝑇2)
𝑱𝑟) ,⋯ ,1
𝜎2(𝑰𝑟 −
𝜎𝑇2
(𝜎2 + 𝑟𝜎𝑇2)
𝑱𝑟)]
Kemudian, ada hasil di matematika yang menghitung |𝑎𝑰 + 𝑏𝑱| di mana kedua matriks
berdimensi n×n:
|𝑎𝑰𝑛 + 𝑏𝑱n| = 𝑎𝑛−1(𝑎 + 𝑛𝑏)
Maka, menarik log dan menggunakan properti bahwa log dari hasil kali adalah penjumlahan
log, yang dalam hal ini adalah sama:
log|𝑯| = 𝑡 × log[𝜎2(𝑟−1)(𝜎2 + 𝑟𝜎𝑇2)] = 𝑡(𝑟 − 1)log(𝜎2) + 𝑡log(𝜎2 + 𝑟𝜎𝑇
2)
Kemudian kita melihat struktur 𝑷 dan menghitung 𝒚𝑇𝑷𝒚.
Pertama, karena 𝑿 = 1𝑛, 𝑿𝑇𝑯−1𝑿 berupa skalar, 1𝑇𝑯−11 merupakan jumlah elemen matriks
𝑯−1 sedemikian, sehingga:
𝑿𝑇𝑯−1𝑿 = 1𝑇𝑯−11 =𝑡
𝜎2(𝑟 −
𝑟2𝜎𝑇2
𝜎2 + 𝑟𝜎𝑇2) =
𝑟𝑡
𝜎2(1 −
𝑟𝜎𝑇2
𝜎2 + 𝑟𝜎𝑇2) =
𝑟𝑡
𝜎2 + 𝑟𝜎𝑇2
Kemudian, vektor 𝑯−1𝒚 mengandung elemen ke-(i,j)th bernilai:
(𝑯−1𝒚) =1
𝜎2(𝑌𝑖𝑗 −
𝑟𝜎𝑇2
(𝜎2 + 𝑟𝜎𝑇2)
�̅�𝑖.) =1
𝜎2(𝑌𝑖𝑗 −
𝜎2 + 𝑟𝜎𝑇2 − 𝜎2
(𝜎2 + 𝑟𝜎𝑇2)
�̅�𝑖.)
= (1
𝜎2𝑌𝑖𝑗 − (
1
𝜎2−
1
(𝜎2 + 𝑟𝜎𝑇2)
) �̅�𝑖.)
Dari komponen pertama 𝒚𝑇𝑯−1𝒚, hasil terakhir menunjukkan bahwa:
𝒚𝑇𝑯−1𝒚 = ∑ ∑ 𝑌𝑖𝑗 (1
𝜎2𝑌𝑖𝑗 − (
1
𝜎2−
1
(𝜎2+𝑟𝜎𝑇2)) �̅�𝑖.)𝑗𝑖
= ∑∑𝑌𝑖𝑗 (1
𝜎2(𝑌𝑖𝑗 − �̅�𝑖.) + (
1
(𝜎2 + 𝑟𝜎𝑇2)
) �̅�𝑖.)
𝑗𝑖
= ∑∑1
𝜎2(𝑌𝑖𝑗 − �̅�𝑖.)
2+
𝑟
(𝜎2 + 𝑟𝜎𝑇2)
𝑗𝑖
∑�̅�𝑖.2
𝑖
Melihat komponen berikut, suku (unsur) 𝑿𝑇𝑯−1𝒚 = 1𝑇𝑯−1𝒚, adalah skalar yang sama dengan
jumlah rt elemen dalam 𝑯−1𝒚:
The Mathematics of REML
117
𝑿𝑇𝑯−1𝒚 = ∑∑(1
𝜎2𝑌𝑖𝑗 − (
1
𝜎2−
1
(𝜎2 + 𝑟𝜎𝑇2)
) �̅�𝑖.)
𝑗𝑖
=𝑟𝑡�̅�
𝜎2− (
𝑟𝑡�̅�
𝜎2−
𝑟𝑡�̅�
(𝜎2 + 𝑟𝜎𝑇2)
)
sehingga
𝑿𝑇𝑯−1𝒚 =𝑟𝑡�̅�
(𝜎2 + 𝑟𝜎𝑇2)
Hasil pertama 𝑿𝑇𝑯−1𝑿 =𝑟𝑡
𝜎2+𝑟𝜎𝑇2 dan terakhir 𝑿𝑇𝑯−1𝒚 =
𝑟𝑡�̅�
(𝜎2+𝑟𝜎𝑇2)
digunakan untuk
menghitung komponen dari 𝒚𝑇𝑷𝒚:
𝒚𝑇𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 =
(𝑟𝑡�̅�
(𝜎2 + 𝑟𝜎𝑇2)
)2
𝑟𝑡𝜎2 + 𝑟𝜎𝑇
2
=𝑟𝑡�̅�2
𝜎2 + 𝑟𝜎𝑇2
𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1.
Maka, kita mempunyai bentuk eksplisit residual logLikelihood sebagai
ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡. −1
2[log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚]
log|𝑯| = 𝑡(𝑟 − 1)log(𝜎2) + 𝑡log(𝜎2 + 𝑟𝜎𝑇2)
log|𝑿𝑇𝑯−1𝑿| = log (𝑟𝑡
𝜎2 + 𝑟𝜎𝑇2)
𝒚𝑇𝑯−1𝒚 = ∑∑1
𝜎2(𝑌𝑖𝑗 − �̅�𝑖.)
2+
𝑟
(𝜎2 + 𝑟𝜎𝑇2)
𝑗𝑖
∑�̅�𝑖.2
𝑖
𝒚𝑇𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚 =𝑟𝑡�̅�2
𝜎2 + 𝑟𝜎𝑇2
𝒚𝑇𝑷𝒚 = 𝒚𝑇𝑯−1𝒚 − 𝒚𝑇𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1𝒚
𝒚𝑇𝑷𝒚 = ∑∑1
𝜎2(𝑌𝑖𝑗 − �̅�𝑖.)
2+
𝑟
(𝜎2 + 𝑟𝜎𝑇2)
𝑗𝑖
∑�̅�𝑖.2
𝑖
−𝑟𝑡�̅�2
𝜎2 + 𝑟𝜎𝑇2
= 𝑐𝑜𝑛𝑠𝑡. −1
2[𝑡(𝑟 − 1)log(𝜎2) + 𝑡log(𝜎2 + 𝑟𝜎𝑇
2) + log (𝑟𝑡
𝜎2 + 𝑟𝜎𝑇2) +
∑∑1
𝜎2(𝑌𝑖𝑗 − �̅�𝑖.)
2+
𝑟
(𝜎2 + 𝑟𝜎𝑇2)
𝑗𝑖
∑�̅�𝑖.2
𝑖
−𝑟𝑡�̅�2
𝜎2 + 𝑟𝜎𝑇2]
The Mathematics of REML
118
= 𝑐𝑜𝑛𝑠𝑡∗ −1
2[𝑡(𝑟 − 1)log(𝜎2) + (𝑡 − 1)log(𝜎2 + 𝑟𝜎𝑇
2)
+1
𝜎2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
+𝑟
(𝜎2 + 𝑟𝜎𝑇2)
∑(�̅�𝑖. − �̅�)2
𝑖
]
𝜕
𝜕𝜎𝑇2 (𝑡(𝑟 − 1)log(𝜎2)) = 0
𝜕
𝜕𝜎𝑇2(𝑡 − 1)log(𝜎2 + 𝑟𝜎𝑇
2) = 𝑟(𝑡 − 1)
𝜎2 + 𝑟𝜎𝑇2
𝜕
𝜕𝜎𝑇2 (
1
𝜎2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
) = 0
𝜕
𝜕𝜎𝑇2 (
𝑟
(𝜎2 + 𝑟𝜎𝑇2)
∑(�̅�𝑖. − �̅�)2
𝑖
) = −𝑟2
(𝜎2 + 𝑟𝜎𝑇2)2
∑(�̅�𝑖. − �̅�)2
𝑖
−1
2(
𝑟(𝑡 − 1)
�̂�2 + 𝑟�̂�𝑇2 −
𝑟2
(�̂�2 + 𝑟�̂�𝑇2)2
∑(�̅�𝑖. − �̅�)2
𝑖
) = 0
𝑟(𝑡 − 1)
�̂�2 + 𝑟�̂�𝑇2 =
𝑟2
(�̂�2 + 𝑟�̂�𝑇2)2
∑(�̅�𝑖. − �̅�)2
𝑖
𝑟(𝑡 − 1) =𝑟2
�̂�2 + 𝑟�̂�𝑇2 ∑(�̅�𝑖. − �̅�)2
𝑖
�̂�2 + 𝑟�̂�𝑇2 =
𝑟2
𝑟(𝑡 − 1)∑(�̅�𝑖. − �̅�)2
𝑖
�̂�2 + 𝑟�̂�𝑇2 =
𝑟
(𝑡 − 1)∑(�̅�𝑖. − �̅�)2
𝑖
The Mathematics of REML
119
Menurunkan terhadap 𝜎𝑇2
𝜕ℓ𝑅
𝜕𝜎𝑇2 = −
1
2(
𝑟(𝑡 − 1)
𝜎2 + 𝑟𝜎𝑇2 −
𝑟2
(𝜎2 + 𝑟𝜎𝑇2)2
∑(�̅�𝑖. − �̅�)2
𝑖
)
Maka 𝜕ℓ𝑅
𝜕𝜎𝑇2 = 0 ketika
�̂�2 + 𝑟�̂�𝑇2 =
𝑟2
𝑟(𝑡 − 1)∑(�̅�𝑖. − �̅�)2
𝑖
=𝑟
(𝑡 − 1)∑(�̅�𝑖. − �̅�)2
𝑖
Catat bahwa ruas kanan adalah Treatment Mean Square dari CRD ANOVA dengan ulangan
sama.
Turunkan terhadap 𝜎2
𝜕ℓ𝑅
𝜕𝜎2= −
1
2(𝑡(𝑟 − 1)
𝜎2+
(𝑡 − 1)
𝜎2 + 𝑟𝜎𝑇2 −
1
𝜎4∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
−𝑟
(𝜎2 + 𝑟𝜎𝑇2)2
∑(�̅�𝑖. − �̅�)2
𝑖
)
Maka 𝜕ℓ𝑅
𝜕𝜎2 = 0 ketika
𝑡(𝑟 − 1)
�̂�2+
(𝑡 − 1)
�̂�2 + 𝑟�̂�𝑇2 −
1
�̂�4∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
−𝑟
(�̂�2 + 𝑟�̂�𝑇2)2
∑(�̅�𝑖. − �̅�)2
𝑖
= 0
Dari persamaan skor pertama gabungan suku kedua dan empat bernilai 0:
𝑟(𝑡−1)
�̂�2+𝑟�̂�𝑇2 −
𝑟2
(�̂�2+𝑟�̂�𝑇2)
2 ∑ (�̅�𝑖. − �̅�)2𝑖 = 0
𝑡(𝑟 − 1)
�̂�2−
1
�̂�4∑ ∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
+(𝑡 − 1)
�̂�2 + 𝑟�̂�𝑇2 −
𝑟
(�̂�2 + 𝑟�̂�𝑇2)2
∑(�̅�𝑖. − �̅�)2
𝑖
= 0
𝑡(𝑟 − 1)
�̂�2−
1
�̂�4∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
= 0
𝑡(𝑟 − 1)�̂�2 = ∑∑(𝑌𝑖𝑗 − �̅�𝑖.)2
𝑗𝑖
The Mathematics of REML
120
Maka hasil pendugaan secara sederhana adalah:
�̂�2 =1
𝑡(𝑟 − 1)∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
Ingat bahwa ruas kanan adalah Residual Mean Square dari ANOVA CRD dengan ulangan
sama.
Penjelasan: turunan terhadap 𝜎2
𝜕
𝜕𝜎2(𝑡(𝑟 − 1)log(𝜎2)) =
𝑡(𝑟 − 1)
𝜎2
𝜕
𝜕𝜎2(𝑡 − 1)log(𝜎2 + 𝑟𝜎𝑇
2) = (𝑡 − 1)
𝜎2 + 𝑟𝜎𝑇2
𝜕
𝜕𝜎2(
1
𝜎2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
) = −1
𝜎4∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
𝜕
𝜕𝜎2(
𝑟
(𝜎2 + 𝑟𝜎𝑇2)
∑(�̅�𝑖. − �̅�)2
𝑖
) = −𝑟
(𝜎2 + 𝑟𝜎𝑇2)2
∑(�̅�𝑖. − �̅�)2
𝑖
Ringkasan. Untuk rancangan acak lengkap dengan perlakuan acak:
1. Penduga REML untuk ragam sisaan adalah
�̂�2 =1
𝑡(𝑟 − 1)∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
Identik dengan Residual MS dari ANOVA untuk data.
2. Dua persamaan harus diselesaikan secara simultan, maka penduga REML ragam perlakuan
didapat dengan menggunakan �̂�2 dalam :
�̂�2 + 𝑟�̂�𝑇2 =
𝑟
(𝑡 − 1)∑(�̅�𝑖. − �̅�)2
𝑡
= 𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 𝑀𝑆 dari ANOVA
�̂�𝑇2 =
(𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 𝑀𝑆 − 𝑅𝑒𝑠𝑖𝑑𝑢𝑎𝑙 𝑀𝑆) dari ANOVA
𝑟
The Mathematics of REML
121
Cara lain untuk menjelaskan solusi ini adalah bahwa �̂�𝑇2 adalah ragam contoh dari rata-rata
perlakuan, dikurangi Res MS/r.
Lihat rancangan percobaan apa saja dalam buku teks. Secara klasik, tabel nilai harapan kuadrat
tengah rata-rata dihitung baik untuk perlakuan tetap (kadang disebut Model I) mau pun
perlakuan acak (kadang disebut Model II). Untuk rancangan ini, anda akan melihat bahwa
E(Treatment MS) 𝜎2 + 𝑟𝜎𝑇2
E(Residual MS) 𝜎2
Maka menyelesaikan dua persamaan ini menghasilkan penduga bagi 𝜎𝑇2; untuk rancangan
sederhana ini, solusi identik dengan solusi REML. Uji F akan dilakukan untuk menguji H0:
𝜎𝑇2 = 0 dengan membangun (hopefully) statistik F statistik menggunakan Treatment MS dibagi
dengan Residual MS. Hasil untuk rancangan lebih kompleks dan rancangan faktorial tidak
seimbang, tidak dapat diperoleh secara langsung. Maka kita harus mempelajari bagaimana
menguji hipotesis ini menggunakan suatu pendekatan REML.
Teladan sederhana, dari 3 ulangan untuk setiap 4 perlakuan yang dipilih secara acak,
menghasilkan:
Perlakuan
1 2 3 4
57 57 56 62
58 61 59 66
60 56 58 65
rata-rata 58.33 58 57.67 64.33
ragam 2.333 7 2.333 4.333
Residual MS dari ANOVA untuk rancangan ini adalah rata-rata ragam individu yakni 4.000. Ini
merupakan penduga REML bagi 𝜎2.
Ragam dari 4 rata-rata adalah 10.102. Karena setiap rata-rata dilandasi pada 3 ulangan,
Treatment MS adalah ragam ini scaled up oleh factor sebesar 3, menghasilkan 30.306.
Penduga REML untuk 𝜎𝑇2 adalah (10.102 – 4.000/3) = 8.769.
The Mathematics of REML
122
Ini adalah analisis dalam GenStat, dengan perlakuan dinyatakan acak:
REML variance components analysis
Response variate: yield Fixed model: Constant Random model: treat Number of units: 12 Residual term has been added to model Non-sparse algorithm with Fisher scoring
Estimated variance components
Random term component s.e. treat 8.769 8.275
Residual variance model Term Model(order) Parameter Estimate s.e. Residual Identity Sigma2 4.000 2.000
Table of predicted means for treat treat 1 2 3 4 58.50 58.21 57.92 63.71 Standard error: 1.096 Standard error of differences: 1.521
Lihat bahwa tidak ada nilai P untuk hipotesis H0: 𝜎𝑇2 = 0. Kita perlu menguji nilai parameter
dalam matriks ragam dengan perubahan dalam deviance.
Catat juga bahwa untuk perlakuan acak, kita hanya dapat meminta predicted treatment means,
yang akan kita diskusikan kemudian. Dalam GenStat, salah baku dan salah baku selisih rata-rata
perlakuan predicted hanya diperoleh dengan menggunakan metode Fisher Scoring untuk
algoritma REML, yang merupakan pilihan (dalam option).
Menguji H0: 𝝈𝑻𝟐 = 𝟎
The Mathematics of REML
123
Untuk melakukan uji ini, kita perlu menghitung logLikelihood sebagai solusi REML.
Pertama, ketika
�̂�2 =1
𝑡(𝑟 − 1)∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
Sehingga komponen dalam ℓ𝑅 adalah
1
�̂�2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
= 𝑡(𝑟 − 1)
Dengan cara yang sama, dari persamaan kedua kita hasilkan,
�̂�2 + 𝑟�̂�𝑇2 =
𝑟
(𝑡 − 1)∑(�̅�𝑖. − �̅�)2
𝑖
Maka:
𝑟
�̂�2 + 𝑟�̂�𝑇2 ∑(�̅�𝑖. − �̅�)2 = (𝑡 − 1)
𝑖
ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡∗ −1
2[𝑡(𝑟 − 1)log(𝜎2) + (𝑡 − 1)log(𝜎2 + 𝑟𝜎𝑇
2)
+1
𝜎2∑∑(𝑌𝑖𝑗 − �̅�𝑖.)
2
𝑗𝑖
+𝑟
(𝜎2 + 𝑟𝜎𝑇2)
∑(�̅�𝑖. − �̅�)2
𝑖
]
Dua suku terakhir dalam ℓ𝑅 diganti oleh dua konstanta di atas, sehingga
ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡∗ −1
2(𝑡(𝑟 − 1)log(�̂�2) + (𝑡 − 1)log(�̂�2 + 𝑟�̂�𝑇
2) + 𝑡(𝑟 − 1) + (𝑡 − 1))
ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡∗ −1
2(𝑡(𝑟 − 1)log(�̂�2) + (𝑡 − 1)log(�̂�2 + 𝑟�̂�𝑇
2) + (𝑡𝑟 − 1))
Jika H0 benar, model hanya melibatkan rata-rata umum 𝜇 dan satu parameter ragam 𝜎2, Karena
tidak ada perlakuan, maka penduga REML merupakan ragam contoh dari semua data,
mengabaikan struktur perlakuan:
�̂�12 =
1
(𝑟𝑡 − 1)∑∑(𝑌𝑖𝑗 − �̅�)
2
𝑗𝑖
= 𝑇𝑜𝑡𝑎𝑙 𝑀𝑆 dari ANOVA
dan, di bawah model (reduksi) ini
The Mathematics of REML
124
ℓ𝑅;1 = 𝑐𝑜𝑛𝑠𝑡∗ −1
2((𝑡𝑟 − 𝑡 + 𝑡 − 1)log(�̂�2) + (𝑡𝑟 − 𝑡 + 𝑡 − 1))
ℓ𝑅;1 = 𝑐𝑜𝑛𝑠𝑡∗ −1
2((𝑟𝑡 − 1)log(�̂�2) + (𝑟𝑡 − 1))
Devians adalah -2 × logLikelihood,
𝐷𝑒𝑣𝑖𝑎𝑛𝑐𝑒 = −2ℓ𝑅;1 = 𝑐𝑜𝑛𝑠𝑡∗∗ + ((𝑟𝑡 − 1)log(�̂�12) + (𝑟𝑡 − 1))
𝐷𝑒𝑣𝑖𝑎𝑛𝑐𝑒 = −2ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡∗∗ + (𝑡(𝑟 − 1)log(�̂�2) + (𝑡 − 1)log(�̂�2 + 𝑟�̂�𝑇2) + (𝑡𝑟 − 1))
sehingga perubahan dalam 2 devians (model reduksi, jika H0 benar dikurangi model penuh di
bawah H1) untuk CRD dengan perlakuan acak adalah
𝑐ℎ𝑎𝑛𝑔𝑒 𝑖𝑛 𝑑𝑒𝑣𝑖𝑎𝑛𝑐𝑒 = (𝑟𝑡 − 1)log(�̂�12) − 𝑡(𝑟 − 1)log(�̂�2) − (𝑡 − 1)log(�̂�2 + 𝑟�̂�𝑇
2)
= (𝑟𝑡 − 1)log(𝑇𝑜𝑡𝑎𝑙 𝑀𝑆) − 𝑡(𝑟 − 1)log(𝑅𝑒𝑠 𝑀𝑆) − (𝑡 − 1)log(𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡 𝑀𝑆)
Dengan demikian, jika data dianalisis dengan ANOVA atau regresi (asumsi perlakuan tetap)
akan menghasilkan luaran berikut:
Summary of analysis
Source d.f. s.s. m.s. v.r. F pr. treat 3 90.92 30.306 7.58 0.010 Residual 8 32.00 4.000 Total 11 122.92 11.174
Perubahan dalam deviance adalah
11 × ln(11.174) - 3 × ln(30.306) - 8 × ln(4.000) = 5.225
dilandasi pada 10 – 9 = 1 derajat bebas (jadi satu parameter yang diuji, yakni 𝜎𝑇2 = 0). Angka
10 dan 9 berasal dari devians residual logLikelihood: banyaknya titik data dikurangi
banyaknya parameter yang diuji dalam model.
Derajat bebas 10 berasal dari 12-2 parameter yang diduga yakni 𝜇 dan 𝜎2 sedangkan 9=12-3
(𝜇, 𝜎2 dan 𝜎𝑇2).
Devians dalam GenStat sedikit berbeda dari yang kita hitung, tetapi perubahan dalam devians
sama. Ini disebabkan dalam ekspresi, beberapa konstanta dilibatkan yang tidak terdapat dalam
GenStat. Dari GenStat kita dapatkan
The Mathematics of REML
125
Devians db P
Tidak ada perlakuan acak 40.03 10
Ada perlakuan acak 34.81 9
Selisih (perubahan) 5.22 1 0.022
Predicted treatment means
Pertanyaan berikut adalah bagaimana menduga rata-rata perlakuan. GenStat menyediakan rata-
rata Best Linear Unbiased Predictor (BLUP) untuk suku acak menggunakan menu Save.
Ini merupakan target biasa dalam genetika tanaman dan hewan, maka kita akan mengasumsikan
bahwa kita memilih secara acak strains dari beberapa tanaman untuk perlakuan.
Penduga BLUP hanya berlaku bagi pengaruh acak. Secara teknis, pengaruh Strain memiliki rata-
rata nol, dan ragam 𝜎𝑇2 menggunakan notasi yang telah kita gunakan. Namun, sesungguhnya
kita ingin meramal rata-rata genotip untuk setiap Strain. Kita menulis model sebagai
Yield = 𝜇 + strain effect + Error
Pada satu ekstrim, kita dapat menggunakan rata-rata contoh ke ith sebagai penduga (𝜇 + strain
effect) untuk strain ke ith. Ini sesuai ketika Strain bersifat tetap, dan dikenal sebagai Best Linear
Unbiased Estimator (BLUE). Penduga ini takbias tetapi memiliki ragam yang relatif besar.
Di ekstrim lain, tanpa ragam genetis, rata-rata umum cukup sebagai penduga bagi setiap strain.
Untuk data kita, ragam genetis adalah 𝜎𝑇2 yang berbeda nyata dari 0 (P = 0.022 untuk data).
Rata-rata BLUP is a compromise, or trade-off, antara kedua penduga ini dihitung dengan
penyusutan setiap rata-rata contoh strain sedemikian terhadap rata-rata umum. Derajat
penyusutan tergantung pada penduga ragam genetis dan lingkungan. Rasio penyusutan, ℎ2,
diberikan oleh:
ℎ2 =𝑔𝑒𝑛𝑒𝑡𝑖𝑐 𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒
𝑝ℎ𝑒𝑛𝑜𝑡𝑦𝑝𝑖𝑐 𝑣𝑎𝑟𝑖𝑎𝑛𝑐𝑒=
𝜎𝑇2
𝜎𝑇2 + 𝜎2
𝑟⁄
The Mathematics of REML
126
di mana r adalah banyaknya ulangan pada setiap strain dan 𝜎2 ragam sisaan. Untuk data kita,
ℎ2 = 8.769/(8.769+4.000/3) = 0.868. Nisbah ini merupakan deviasi (selisih antara rata-rata
contoh strain dengan rata-rata umum). Ini mengurangi berbagai, menyebabkan pengaruh BLUP
dan juga rata-rata BLUP. Besaran-besaran ini kadang-kadang “menyusut” terhadap rata-rata
umum.
Pengaruh BLUP dan rata-rata BLUP didapat melalui menu Save dalam GenStat. Pilih untuk
menayangkan suku acak yang mungkin. Klik dua kali pada the random term yang BLUPS nya
akan anda simpan (dalam hal ini Strain).
Reduksi (adjustment) dalam tabel adalah ℎ2(deviasi terhadap rata-rata umum): pengurangan
ini ditambahkan pada rata-rata umum untuk menghasilkan rata-rata BLUP.
Jadi, ambil rata-rata dan rata-rata umum dari analisis, hitung (rata-rata – rata-rata umum) yang
kemudian dikalikan dengan ℎ2 = 0.868; hasil ini ditambahkan pada rata-rata umum untuk
mendapatkan best linear unbiased predictors untuk rata-rata strain:
Strain mean mean-grand mean adjustment BLUP
1 58.333 -1.250 -1.085 58.498
2 58.000 -1.583 -1.374 58.209
3 57.667 -1.917 -1.664 57.920
4 64.333 4.750 4.123 63.706
grand mean 59.583 0.000 0.000 59.583
The Mathematics of REML
127
Teladan 4 Contoh Acak Sederhana dengan sisaan berkorelasi AR(1)
Pengukuran pada individu sama yang dilakukan menurut waktu akan menyebabkan korelasi
serial. Disiplin Deret Waktu dikembangkan untuk menduga korelasi serial. Pada dasarnya,
suatu model autoregresif (tanpa tren musiman) berordo (lag) p adalah model di mana
pengamatan pada saat t bergantung langsung pada p pengamatan sebelumnya melalui model
𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +∑∅𝑖𝑌𝑡−𝑖
𝑝
𝑖=1
+ 𝜖𝑡
Suku sisaan menyebar normal dan bebas, dengan rata-rata 0 dan ragam 𝜎2.
Maka model AR(1) (atau AR1) hanya memiliki satu lag, 𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +∅1𝑌𝑡−1 + 𝜖𝑡. Untuk
kesederhanaan, tulis ∅1 sebagai 𝜌 (untuk menghindari subskrip). Maka 𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +𝜌𝑌𝑡−1 +
𝜖𝑡 dan
𝑣𝑎𝑟(𝑌𝑡) = 𝑣𝑎𝑟(𝑌𝑡−1) = 𝜎2 yang mengimplikasikan bahwa var(𝜖𝑡) = 𝜎2(1 − 𝜌2),
𝑉𝑎𝑟(𝑌𝑡) = 𝑉𝑎𝑟(𝑌𝑡 = 𝑐𝑜𝑛𝑠𝑡. +𝜌𝑌𝑡−1 + 𝜖𝑡) = 𝑉𝑎𝑟(𝑐𝑜𝑛𝑠𝑡. ) + 𝑉𝑎𝑟(𝜌𝑌𝑡−1) + 𝑉𝑎𝑟(𝜖𝑡)
𝑉𝑎𝑟(𝑌𝑡) = 0 + 𝜌2𝑉𝑎𝑟(𝑌𝑡−1) + 𝑉𝑎𝑟(𝜖𝑡)
𝜎2 = 𝜌2𝜎2 + 𝑉𝑎𝑟(𝜖𝑡) 𝑚𝑎𝑘𝑎 𝑉𝑎𝑟(𝜖𝑡) = 𝜎2 − 𝜌2𝜎2 = 𝜎2(1 − 𝜌2)
𝑐𝑜𝑣𝑎𝑟(𝑌𝑡, 𝑌𝑡−1) = 𝑐𝑜𝑣𝑎𝑟(𝜌𝑌𝑡−1 + 𝜖𝑡, 𝑌𝑡−1)
𝑐𝑜𝑣𝑎𝑟(𝑌𝑡, 𝑌𝑡−1) = 𝑐𝑜𝑣𝑎𝑟(𝜌𝑌𝑡−1, 𝑌𝑡−1) + 𝑐𝑜𝑣𝑎𝑟(𝜖𝑡, 𝑌𝑡−1)
𝜌 𝑐𝑜𝑣𝑎𝑟(𝑌𝑡−1, 𝑌𝑡−1) + 0 = 𝜌 𝑣𝑎𝑟(𝑌𝑡−1) = 𝜌𝜎2
𝑐𝑜𝑣𝑎𝑟(𝑌𝑡, 𝑌𝑡−2) = 𝑐𝑜𝑣𝑎𝑟(𝜌𝑌𝑡−1 + 𝜖𝑡, 𝑌𝑡−2)
= 𝑐𝑜𝑣𝑎𝑟(𝜌(𝜌𝑌𝑡−2, +𝜖𝑡−1) + 𝜖𝑡, 𝑌𝑡−2)
= 𝑐𝑜𝑣𝑎𝑟 (𝜌(𝜌𝑌𝑡−2, 𝑌𝑡−2)) = 𝜌2𝑐𝑜𝑣𝑎𝑟(𝑌𝑡−2, 𝑌𝑡−2) = 𝜌2𝑣𝑎𝑟(𝑌𝑡−2) = 𝜌2𝜎2
dan seterusnya, untuk lag k kita memiliki
𝑐𝑜𝑣𝑎𝑟(𝑌𝑡, 𝑌𝑡−𝑘) = 𝜌𝑘𝜎2
The Mathematics of REML
128
Dengan demikian model untuk {𝑌1,⋯ , 𝑌𝑛} dapat ditulis ulang dalam bentuk matriks sebagai
𝒚 = 𝝁1𝑛 + 𝒆∗, di mana
𝑣𝑎𝑟(𝒆∗) = 𝜎2
[
1 𝜌 𝜌2 … 𝜌𝑛−1
𝜌 1 𝜌 ⋯ 𝜌𝑛−2
𝜌2 𝜌 1 ⋯ 𝜌𝑛−3
⋮ ⋮ ⋮ ⋱ ⋮𝜌𝑛−1 𝜌𝑛−2 𝜌𝑛−3 ⋯ 1 ]
Pada dasarnya, metode deret waktu memberikan penduga kemungkinan maksimum bagi 𝜇, 𝜌
dan 𝜎2. Penduga REML tersedia dalam GenStat. Model berikut lebih kompleks, struktur AR2,
juga tersedia. Bentuk 𝑣𝑎𝑟(𝒆∗) untuk struktur AR(2) adalah sebagai berikut.
Pandang 𝑐𝑜𝑟𝑟(𝑌𝑡, 𝑌𝑡−𝑠) = 𝜌(𝑠). Maka pada (eg http://econ.ucsd.edu/muendler/teach/00s/ps1-
prt1.pdf, halaman 3):
𝜌(0) = 1
𝜌(1) =∅1
1 − ∅2
dan korelasi lag-s merupakan persamaan selisih ordo-kedua
𝜌(𝑠) = ∅1𝜌(𝑠 − 1) + ∅2𝜌(𝑠 − 2)
Khususnya,
𝜌(2) = ∅1𝜌(2 − 1) + ∅2𝜌(2 − 2) = ∅1𝜌(1) + ∅2𝜌(0) = ∅1
∅1
1 − ∅2+ ∅2(1)
= ∅1
∅1
1 − ∅2+
∅2(1 − ∅2)
1 − ∅2
𝜌(2) =∅1
2 + ∅2(1 − ∅2)
1 − ∅2,
𝜌(3) = ∅1𝜌(3 − 1) + ∅2𝜌(3 − 2) = ∅1𝜌(2) + ∅2𝜌(1) = ∅1
∅12 + ∅2(1 − ∅2)
1 − ∅2+ ∅2
∅1
1 − ∅2
=∅1
3 + ∅1∅2 − ∅1∅22 + ∅1∅2
1 − ∅2=
∅13 + 2∅1∅2 − ∅1∅2
2
1 − ∅2=
∅13 + ∅1∅2(2 − ∅2)
1 − ∅2
The Mathematics of REML
129
𝜌(3) =∅1
3 + ∅1∅2(2 − ∅2)
1 − ∅2, ⋯
Dalam membandingkan dengan matriks korelasi untuk fungsi AR(1) sulit untuk mengakses
apakah proses AR(2) berlaku hanya dengan melihat matriks korelasi pengamatan (contoh).
Pandang data deret waktu suhu yang dicatat pada satu individu pada 20 titik waktu berjarak
sama:
waktu suhu waktu suhu
1 37.70 11 35.18
2 38.08 12 37.03
3 38.70 13 35.92
4 38.30 14 35.19
5 36.47 15 34.33
6 35.20 16 33.96
7 34.37 17 33.56
8 34.88 18 34.77
9 33.54 19 34.95
10 33.75 20 35.64
Plot deret waktu memperlihatkan kecenderungan halus dalam suhu dibandingkan yang terjadi
karena kebetulan:
Turunan matriks untuk proses AR(1)
33
34
35
36
37
38
39
0 5 10 15 20 25
tem
pe
ratu
re
Time point
The Mathematics of REML
130
Model umum 𝒚 = 𝑿𝝉 + 𝒁𝒖 + 𝒆 sederhana untuk teladan ini. Hanya ada satu parameter tetap 𝜇
sehingga matriks 𝑿 = 1𝑛. Tidak terdapat pengaruh acak, dan matriks sisaan berbentuk
𝑣𝑎𝑟(𝒆∗) = 𝜎2
[
1 𝜌 𝜌2 … 𝜌𝑛−1
𝜌 1 𝜌 ⋯ 𝜌𝑛−2
𝜌2 𝜌 1 ⋯ 𝜌𝑛−3
⋮ ⋮ ⋮ ⋱ ⋮𝜌𝑛−1 𝜌𝑛−2 𝜌𝑛−3 ⋯ 1 ]
= 𝜎2𝑯
Kebalikan matriks 𝑯 berbentuk sederhana dalam hal parameter 𝜌. Telah diperlihatkan bahwa
𝑯−1 ada dan terdiri atas hanya 3 elemen berbeda. Setiap elemen dalam matriks adalah 0 kecuali
untuk elemen diagonal dan elemen yang berdekatan dengan diagonal utama:
𝑯11 = 𝑯𝑛𝑛 =1
1 − 𝜌2, 𝑯𝑖,𝑖±1 =
−𝜌
1 − 𝜌2, 𝑯𝑖𝑖 =
1 + 𝜌2
1 − 𝜌2, 𝑖 = 2,⋯ , 𝑛 − 1
jadi khususnya:
𝑯−1 =1
1 − 𝜌2
[
1 −𝜌 0 … 0 0
−𝜌 1 + 𝜌2 −𝜌 ⋯ 0 0
0 −𝜌 1 + 𝜌2 ⋯ 0 0⋮ ⋮ ⋮ ⋱ ⋮ ⋮0 0 0 ⋯ 1 + 𝜌2 −𝜌0 0 0 ⋯ −𝜌 1 ]
Ilustrasi untuk n=3
𝑯 = [
1 𝜌 𝜌2
𝜌 1 𝜌
𝜌2 𝜌 1
]
|𝑯| = 1 + 𝜌4 + 𝜌4 − 𝜌4 − 𝜌2 − 𝜌2 = 1 + 𝜌4 − 2𝜌2 = (1 − 𝜌2)2
𝑯−1 =1
(1 − 𝜌2)2[
1 − 𝜌2 −𝜌(1 − 𝜌2) 0
−𝜌(1 − 𝜌2) 1 − 𝜌4 −𝜌(1 − 𝜌2)
0 −𝜌(1 − 𝜌2) 1
]
1 − 𝜌4 = (1 + 𝜌2)(1 − 𝜌2)
𝑯−1 =1
(1 − 𝜌2)[
1 −𝜌 0
−𝜌 1 + 𝜌2 −𝜌0 −𝜌 1
]
The Mathematics of REML
131
Dari struktur ini kita dapatkan 𝑙𝑛|𝑯−1| = (𝑛 − 1)𝑙𝑛(1 − 𝜌2).
Karena 𝑿 = 1𝑛 maka 𝑿𝑇𝑯−1𝑿 secara sederhana adalah jumlah semua elemen dalam 𝑯−1 dan
sesudah perhitungan
𝑿𝑇𝑯−1𝑿 =𝑛 − (𝑛 − 2)𝜌
1 + 𝜌.
Hasil ini diperoleh dari penjumlahan semua elemen dalam matriks 𝑯−1. Pada diagonal utama
terdapat n elemen, n bernilai 1, n-2 buah 𝜌2 dan n-1 buah −𝜌 di atas diagonal utama dan juga
di bawah diagonal utama sehingga menjadi 2(n-1) buah – 𝜌. Dengan demikian persamaan yang
harus diselesaikan adalah:
𝑿𝑇𝑯−1𝑿 =𝑛 + (𝑛 − 2)𝜌2 − 2(𝑛 − 1)𝜌
(1 − 𝜌2)=
𝑛(+(𝑛 − 2)𝜌)(1 − 𝜌)
(1 − 𝜌)(1 + 𝜌)
Matriks 𝑷 = 𝑯−1 − 𝑯−1𝑿(𝑿𝑇𝑯−1𝑿)−1𝑿𝑇𝑯−1 sedikit lebih kompleks, memiliki hanya 7
elemen berbeda dan mengambil bentuk:
𝑷 =1
(1 − 𝜌2)(𝑛 − (𝑛 − 2)𝜌)
[ 𝑎 𝑏 𝑐 𝑐 ⋯ 𝑐 𝑐 𝑑𝑏 𝑒 𝑓 𝑔 ⋯ 𝑔 𝑔 𝑐𝑐 𝑓 𝑒 𝑓 ⋯ 𝑔 𝑔 𝑐𝑐 𝑔 𝑓 𝑒 ⋯ 𝑔 𝑔 𝑐⋮ ⋮ ⋮ ⋮ ⋱ ⋮ ⋮ ⋮𝑐 𝑔 𝑔 𝑔 ⋯ 𝑔 𝑓 𝑐𝑐 𝑔 𝑔 𝑔 ⋯ 𝑓 𝑒 𝑏𝑑 𝑐 𝑐 𝑐 ⋯ 𝑐 𝑏 𝑎]
di mana
𝑎 = (𝑛 − 1) − (𝑛 − 3)𝜌,
𝑏 = −1 − (𝑛 − 2)𝜌 + (𝑛 − 3)𝜌2
𝑐 = −(1 − 𝜌)2
𝑑 = −(1 − 𝜌)
𝑒 = (𝑛 − 1) − (𝑛 − 5)𝜌 + (𝑛 − 3)(1 − 𝜌)𝜌2
𝑓 = 1 − (𝑛 − 3)𝜌 + (𝑛 − 5)𝜌2 + 𝜌3
𝑔 = −(1 − 𝜌)3
The Mathematics of REML
132
Ini mengarah pada struktur lebih sederhana
ℓ𝑅 = 𝑐𝑜𝑛𝑠𝑡. −1
2((𝑛 − 𝑝)log(𝜎𝐻
2) + log|𝑯| + log|𝑿𝑇𝑯−1𝑿| + 𝒚𝑇𝑷𝒚 𝜎𝐻2⁄ )
Yang tidak tergantung pada ekspresi matriks dalam perangkat komputer.
Penduga ML bagi parameter
Dalam GenStat kita memilih Stats > Time Series > ARIMA Model Fitting. Pilih data, dan
lakukan proses AR1 ganti Number of Autoregressive Parameters menjadi 1.
Time-series analysis
Residual deviance = 18.48 Innovation variance = 0.9753 Number of units present = 20 Residual degrees of freedom = 18
Summary of models
Orders: Delay AR Diff MA Seas Model Type B P D Q S _erp ARIMA - 1 0 0 1
Parameter estimates
Model Seas. Diff. Delay Parameter Lag Ref Estimate s.e. t Period Order Noise 1 0 - Constant - 1 35.892 0.952 37.69 Phi (AR) 1 2 0.802 0.139 5.78
Penduga kemungkinan maksimum bagi rata-rata adalah 35.892, dan untuk autokorrelasi
(korelasi lag-1) adalah 0.802. Dalam bahasa deret waktu, ragam inovasi, 0.9753, adalah ragam
sisaan bebas (t) dalam model Yt = 𝜌 Yt-1 + t. Ragam data berhubungan dengan ini melalui
persamaan var(Y) = 𝜌2var(Y) + var(t), atau var(Y) = var(t)/(1- 𝜌2). Jadi dari luaran kita
menghitung penduga bagi ragam ini sebesar 0.9753/(1-0.8022) = 2.69.
Penduga REML untuk parameter
Untuk menghasilkan luaran bagi struktur sisaan AR1 untuk data, kita memerlukan suatu faktor
yang mengindeks dari 1 hingga (dalam hal ini) 20; kita namakan faktor ini Time dan data Temp.
The Mathematics of REML
133
Pilih Stats > Linear Mixed Models, masukkan data dan Time sebagai Random Model: kemudian
pilih struktur AR order 1 dari daftar model dalam drop-down.
REML variance components analysis
Response variate: Temp Fixed model: Constant Random model: Time Number of units: 20 Time used as residual term with covariance structure as below Sparse algorithm with AI optimisation
Covariance structures defined for random model Covariance structures defined within terms: Term Factor Model Order No. rows Time Time Auto-regressive (+ scalar) 1 20
Residual variance model Term Factor Model(order) Parameter Estimate s.e. Time Sigma2 4.600 8.260 Time AR(1) phi_1 0.8938 0.1929
Deviance: -2*Log-Likelihood
Deviance d.f. 18.26 17 Note: deviance omits constants which depend on fixed model fitted.
Table of predicted means for Constant 36.08 Standard error: 1.492
Penduga REML untuk autokorelasi adalah 0.8938, ragam REML untuk data diduga sebesar 4.6
dan penduga rata-rata 36.08. Deviance adalah -2 × Residual LogLikelihood.
Memeriksa parameter ragam dari model
Misal, kita mengasumsikan struktur AR(1) untuk temperatur. Kita dapat memeriksa ini
(menggunakan perubahan devians) apakah model atau struktur AR(2) secara nyata lebih baik.
The Mathematics of REML
134
Serangkaian model tersarang (dari lebih kompleks) adalah AR order 2, AR order 1 dan Id.
Hitung selisih devians dan dapatkan nilai P dari sebaran 2.
Sayangnya, rutin GenStat’s gagal konvergen untuk struktur AR2 untuk data ini. Untuk
memeriksa apakah struktur kebebasan tidak berlaku, kita memiliki ini:
Model devians db P
Independence 40.43 18
AR1 18.26 17
AR2 N/A
Difference 22.17 1 <0.001
Jadi struktur AR1 untuk data secara sangat nyata merupakan asumsi yang jauh lebih baik
dibandingkan asumsi kebebasan.
Teladan 5 Data pengamatan berulang, tak berstruktur/antedependence
Kadang peneliti akan mengukur satuan percobaan yang sama pada beberapa waktu berbeda.
Dalam masa pre-computer, split-plot analisis standar digunakan dengan waktu sebagai faktor
split. Kita telah melihat bahwa model seperti itu menganggap data berkorelasi secara uniform
dengan waktu. Hal ini tidaklah mungkin untuk banyak keadaan percobaan: lebih mungkin
bahwa korelasi lebih kuat untuk pengamatan yang dilakukan pada waktu berdekatan
dibandingkan jarak waktu jauh. Model yang biasa digunakan termasuk struktur AR1 dan AR2,
tak berstruktur dan antedependence order 1 dand order 2.
Seseorang harus juga mengantisipasi ragam yang berubah menurut waktu. Misal, jika
pengukuran dilakukan terhadap pertumbuhan seekor binatang terhadap fase pertumbuhan
eksponensial, kemungkinan besar ragam meningkat sesuai waktu. Di sisi lain, pasien yang
menjalani pengobatan sakit punggung kemungkinan kecil mengalami pengurangan rasa sakit,
dan jika pengobatan 100% berhasil, ragam di akhir pengobatan haruslah 0!
GenStat memiliki menu khusus untuk blok satu-arah sederhana atau rancangan tanpa blok, yang
menawarkan model korelasi biasa yang telah dijelaskan sebelumnya, juga perubahan ragam.
Untuk memperlihatkan beragam model, kita pertimbangkan teladan GenStat’s untuk
“mempelajari pengaruh cairan preserving pada kandungan enzim hati anjing”. Peubah yang
The Mathematics of REML
135
diukur adalah persentase total enzim dalam hati, pada interval satu dan dua jam (dari jam ke-0
hingga 6, kemudian pada jam 8, 10 dan 12) selama periode 12 jam mengikuti preservasi awal.
Terdapat dua perlakuan yang dilabelkan A dan B masing-masing dengan dua level. Hanya 23
hati digunakan, 6 hati untuk tiga kombinasi perlakuan dan 5 hati untuk lainnya. Dengan
demikian rancangan tak seimbang (unbalanced).
A1, B1 A1, B2 A1, B3 …
Time Heart 1 Heart 2 Heart 3 …
1 85.51 76.54 66.03 …
2 74.56 72.77 66.67 …
3 84.25 86.93 77.57 …
… … … … …
Jarak antar waktu tidak sama, dengan demikian struktur AR1 dan AR2 tidak sesuai. Model
pangkat adalah alternatif yang mungkin bagi model AR1, tetapi ini merupakan struktur yang
sangat rigid dan pada umumnya model antedependence dan model tak berstruktur lebih baik.
Catat bahwa sifat data (persentase total enzim dalam hati) menyarankan perubahan struktur
ragam, karena ragam persentase biasanya merupakan fungsi dari persentase rata-rata. Kedua
model, baik model antedependence mau pun tak berstruktur models melibatkan perubahan
ragam menurut waktu, tetapi kita mungkin perlu juga membiarkan ragam berubah menurut
perlakuan.
Jumat, 10 April malam, sampai di sini.
(a) Model tak berstruktur
Gunakan Stats > Repeated Measurements > Correlation Models dalam REML. Data kita
sebenarnya gabungan (stacked), jadi gunakan Data in One Variate… masukkan data (ATP).
Kotak subjek box meminta suatu faktor yang menjelaskan berbagai satuan percobaan; misal kita
gunakan heart. Ada satu faktor yang telah disiapkan untuk Time Points (time). Dalam kotak
Fixed Model: A*B*time karena rancangan perlakuan faktorial.
Terdapat 10 titik waktu dan 10×23 = 230 nilai data sehingga db untuk Total MS adalah 229.
Suatu model korelasi tak terstruktur untuk 10 titik data memiliki 10×11/2 = 55 parameter
individu dan dengan demikian terdapat cukup derajat bebas untuk menduga model tak
terstruktur.
The Mathematics of REML
136
Penduga parameter dicetak dalam output dalam bentuk kolom:
Residual variance model Term Factor Model(order) Parameter Estimate s.e. heart.time Sigma2 1.000 fixed heart Identity - - - time Unstructured v_11 17.41 5.65 v_21 7.140 5.409 v_22 29.01 9.41 v_31 5.549 6.176 v_32 12.26 8.29 v_33 39.86 12.93 v_41 5.790 6.102 etc
Lambang v_11 menjelaskan ragam pada waktu 1, v_22 ragam pada titik waktu 2, dan seterusnya;
v_21 menjelaskan peragam antar titik waktu 1 dan 2, v_31 peragam antar waktu1 dan 3, dan
seterusnya. Ada Option untuk memilih (Covariance Model) untuk disajikan dalam bentuk
matriks:
Estimated covariance models
Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix Residual term: heart.time Sigma2: 1.000 R uses direct product construction Factor: heart Model: Identity ( 23 rows) Factor: time Model: Unstructured Covariance matrix: 1 17.4 2 7.1 29.0 3 5.5 12.3 39.9 4 5.8 10.4 10.3 38.7 5 19.4 21.4 27.7 -1.2 105.1 6 4.3 8.8 7.7 8.0 -2.0 45.3 7 9.2 27.7 30.2 9.8 41.6 39.4 141.4 8 6.0 28.6 45.6 30.1 66.3 37.2 99.5 159.7 9 -2.7 16.1 15.2 -5.5 34.9 13.7 72.2 73.0 126.2
The Mathematics of REML
137
10 7.4 8.4 1.4 0.8 -2.3 42.3 105.6 59.2 79.1 158.0 1 2 3 4 5 6 7 8 9 10
Jadi ragam pada 10 titik waktu berkisar antara 17.4 pada waktu 0 (waktu dilambangkan
dengan 1 hingga 10, anda perlu melihat titik waktu sesungguhnya dalam spreadsheet), hingga
158.0 pada jam 12; vaguely meningkat dengan ragam rendah pada jam 6.
Lebih baik menyajikan ini dalam bentuk matriks korelasi:
Korelasi menurut waktu
1 2 3 4 5 6 7 8 9 10
1 *
2 0.32 *
3 0.21 0.36 *
4 0.22 0.31 0.26 *
5 0.45 0.39 0.43 -0.02 *
6 0.15 0.24 0.18 0.19 -0.03 *
7 0.19 0.43 0.40 0.13 0.34 0.49 *
8 0.11 0.42 0.57 0.38 0.51 0.44 0.66 *
9 -0.06 0.27 0.21 -0.08 0.30 0.18 0.54 0.51 *
10 0.14 0.12 0.02 0.01 -0.02 0.50 0.71 0.37 0.56 *
Anda dapat melihat bahwa model pangkat (kuasa=power) mungkin bukan pendekatan yang
baik. Misal, jika 0.3 adalah autokorelasi umum (bukan, karena berkisar antara -0.03 dan +0.66)
anda tentu berharap untuk melihat suatu pola 0.3, 0.09, 0.027, … padahal korelasi antar waktu 1
dan waktu 2, 3, … adalah 0.32, 0.21. 0.22, 0.45 dst.
Devians untuk model ini adalah:
Deviance: -2*Log-Likelihood
Deviance d.f. 960.98 135
(b) Model-model antedependence
Model-model antedependence adalah cara untuk memperbolehkan ragam untuk berubah
menurut waktu dan juga untuk menghasilkan korelasi tetangga terdekat (order 1) atau korelasi
antar tetangga terdekat berjarak dua (order 2) dari model tak terstruktur, tetapi dengan sedikit
parameter. Suatu model berstruktur antedependence order r didefinisikan berdasarkan fakta
bahwa pengamatan ke ith (i > r) berdasarkan r pengamatan sebelumnya bebas terhadap semua
The Mathematics of REML
138
pengamatan sesudahnya. GenStat membolehkan r = 1 atau 2. Definisi ini menyebabkan struktur
matriks korelasi berdasarkan dekomposisi Cholesky dari kebalikannya.
Untuk model antededendence order-1, (1) ragam berubah menurut waktu, dan (2) struktur
korelasi mengambil bentuk:
𝑪𝒐𝒓𝒓 =
[
1𝜌1 1
𝜌1𝜌2 𝜌2 1
𝜌1𝜌2𝜌3 𝜌2𝜌3 𝜌3 1⋮ ⋮ ⋮ ⋯ ⋱ ]
Secara matematis, struktur antedependence berbentuk 𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1𝑼𝑇, di mana 𝑫 adalah
matriks diagonal dan 𝑼 sedemikian sehingga
𝑼 =
[ 1 𝑢12 0 0 00 1 𝑢23 0 00 0 1 𝑢34 00 0 0 1 ⋱⋮ ⋮ ⋮ ⋯ ⋱]
untuk order 1, dan 𝑼 =
[ 1 𝑢12 𝑢13 0 00 1 𝑢23 𝑢24 00 0 1 𝑢34 𝑢35
0 0 0 1 ⋱⋮ ⋮ ⋮ ⋯ ⋱ ]
order 2.
Untuk struktur order 1, korelasi antar ketetanggaan-1 titik waktu, bernilai sama sebagaimana
dengan di luar diadonal utama pada matriks korelasi tak berstruktur; untuk order 2, korelasi
antar tetangga-1 dan -1 titik waktu sama dengan letak dua dari diagonal utama matriks korelasi
tak berstruktur. Korelasi tersisa kemudian menurun dalam proporsi terhadap himpunan korelasi
pada waktu sebelumnya.
Sebelum melihat luaran teladan ini, kita harus memeriksa (dengan perubahan devians) apakah
dibutuhkan model order-1 atau order-2, dan apakah korelasi uniform harus ditambahkan pada
faktor heart, di mana, dari diskusi yang telah kita lakukan pada blok acak, ekivalen dengan
menyatakan heart sebagai faktor random. Tujuan manual ini adalah untuk menjelaskan luaran,
sehingga kita hanya akan melihat luaran antependence-2.
Model Devians db
AR2 1064.13 187
AR1 1074.74 188
Perubahan 10.61 1 0.0011
The Mathematics of REML
139
Jadi struktur AR1 untuk data secara sangat nyata merupakan asumsi yang jauh lebih baik
dibandingkan AR2.
REML variance components analysis
Response variate: ATP Fixed model: Constant + time + A + B + time.A + time.B + A.B + time.A.B Random model: heart.time Number of units: 230 heart.time used as residual term with covariance structure as below
Covariance structures defined for random model Covariance structures defined within terms: Term Factor Model Order No. rows heart.time heart Identity 0 23 time Antedependence 2 10
Residual variance model Term Factor Model(order) Parameter Estimate s.e. heart.time Sigma2 1.000 fixed heart Identity - - - time Antedependence(2) dinv_1 0.05744 0.01869 dinv_2 0.03835 0.01247 dinv_3 0.02918 0.00955 dinv_4 0.02942 0.00959 dinv_5 0.01191 0.00390 dinv_6 0.02292 0.00753 dinv_7 0.01120 0.00371 dinv_8 0.01149 0.00385 dinv_9 0.01192 0.00390 dinv_10 0.009353 0.003034 u_12 -0.4101 0.2826 u_13 -0.1616 0.3451 u_23 -0.3829 0.2642 u_24 -0.2875 0.2702 u_34 -0.1687 0.2286 u_35 -0.7544 0.3584 u_45 0.2308 0.3565 u_46 -0.2055 0.2511 u_56 0.01616 0.15237 u_57 -0.4122 0.2159 u_67 -0.8861 0.3323 u_68 -0.2745 0.3848 u_78 -0.6275 0.2141 u_79 -0.3365 0.2455 u_89 -0.2474 0.2267 u_810 -0.1149 0.2347 u_910 -0.5601 0.2596
Ini merupakan penduga elemen
diagonal matriks 𝑫 dalam
persamaan
𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1𝑼𝑇
Ini adalah penduga bukan-nol
dari matriks khusus 𝑼 dalam
persamaan
𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1𝑼𝑇
The Mathematics of REML
140
Daftar penduga digunakan untuk membangun penduga matriks peragam dalam persamaan
𝑪𝒐𝒓𝒓−1 = 𝑼𝑫−1𝑼𝑇. Lagi, memilih option Correlated Model dalam GenStat mencetak 10 baris
pertama matriks ini.
Estimated covariance models
Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix Residual term: heart.time Sigma2: 1.000 R uses direct product construction Factor: heart Model: Identity ( 23 rows) Factor: time Model: Antedependence Covariance matrix: 1 17.4 2 7.1 29.0 3 5.5 12.3 39.9 4 3.0 10.4 10.3 38.7 5 3.5 6.8 27.7 -1.2 105.1 6 0.6 2.0 1.7 8.0 -1.9 45.3 7 1.9 4.6 12.9 6.6 41.6 39.3 141.3 8 1.4 3.5 8.5 6.3 25.6 37.1 99.5 159.7 9 1.0 2.4 6.5 3.8 20.3 22.4 72.2 73.0 126.2 10 0.7 1.7 4.6 2.8 14.3 16.8 51.9 59.2 79.1 158.0 1 2 3 4 5 6 7 8 9 10
Bandingkan matriks peragam ini dengan yang yang berasal dari unstructured. Ragam-ragam
identic, dan karena luaran di atas untuk order-1 model antedependence, 2 baris di bawah
diagonal (cetak tebal) juga identik.
1 17.4 2 7.1 29.0 3 5.5 12.3 39.9 4 5.8 10.4 10.3 38.7 5 19.4 21.4 27.7 -1.2 105.1 6 4.3 8.8 7.7 8.0 -2.0 45.3 7 9.2 27.7 30.2 9.8 41.6 39.4 141.4 8 6.0 28.6 45.6 30.1 66.3 37.2 99.5 159.7 9 -2.7 16.1 15.2 -5.5 34.9 13.7 72.2 73.0 126.2 10 7.4 8.4 1.4 0.8 -2.3 42.3 105.6 59.2 79.1 158.0 1 2 3 4 5 6 7 8 9 10
The Mathematics of REML
141
Jika model order-1 dipilih, matriks peragam hanya menunjukkan kesamaan pada diagonal
utama dan satu sesudah diagonal:
1 17.4 2 7.1 29.0 3 3.0 12.3 39.9 4 0.8 3.2 10.3 38.7 5 0.0 -0.1 -0.3 -1.2 105.1 6 0.0 0.0 0.0 0.0 -2.0 45.3 7 0.0 0.0 0.0 0.0 -1.7 39.4 141.4 8 0.0 0.0 0.0 0.0 -1.2 27.7 99.5 159.7 9 0.0 0.0 0.0 0.0 -0.5 12.7 45.5 73.0 126.2 10 0.0 0.0 0.0 0.0 -0.3 7.9 28.5 45.7 79.1 158.0 1 2 3 4 5 6 7 8 9 10
Terdapat t(t+1)/2 parameter yang terlibat dalam model tak berstruktur untuk deret waktu dengan
t titik waktu. Dalam kasus model antedependence, untuk kehilangan ketepatan pada korelasi
order-rendah, kita gunakan struktur korelasi dengan sedikit parameter: untuk order-1 terdapat re
t+(t-1) = 2t-1 (untuk t=10, 19 lawan 55 sekitar satu per tiga); untuk order-2 terdapat t+(t-1)+(t-
2) = 3(t-1) (untuk t=10, 27 lawan 55 sekitar satu setengah).
Model Devians db
Selisih
devians
Selisih
db Nilai P
Unstructured 960.98 135
Antedependence 2 1009.29 163 48.31 28 0.009921
Antedependence 1 1021.84 171 12.55 8 0.128299
Stuktur antedependence 2 lebih sesuai untuk model sisaan dibandingkan unstructured,
sedangkan antedependence 1 tak nyata, sehingga model yang lebih tepat menjelaskan ragam
sisaan adalah antedependence 2.
Antedependence order-2
Dalam model antededendence ordo-2, hipotesis yang diuji adalah 𝐻0: 𝚺 = (𝑼2𝑫2−1𝑼2
𝑇)−1
𝑼2 dan 𝑫2 adalah matriks-matriks dalam antedependence ordo-2
Penjelasan tentang derajat bebas.
The Mathematics of REML
142
𝑼2 =
[ 1 𝑢12 𝑢13 0 0 0 0 0 0 00 1 𝑢23 𝑢24 0 0 0 0 0 00 0 1 𝑢34 𝑢35 0 0 0 0 00 0 0 1 𝑢45 𝑢46 0 0 0 00 0 0 0 1 𝑢56 𝑢57 0 0 00 0 0 0 0 1 𝑢67 𝑢68 0 00 0 0 0 0 0 1 𝑢78 𝑢79 00 0 0 0 0 0 0 1 𝑢89 𝑢8′10
0 0 0 0 0 0 0 0 1 𝑢9′10
0 0 0 0 0 0 0 0 0 1 ]
𝑫2 =
[ 𝑑1 0 0 0 0 0 0 0 0 00 𝑑2 0 0 0 0 0 0 0 00 0 𝑑3 0 0 0 0 0 0 00 0 0 𝑑4 0 0 0 0 0 00 0 0 0 𝑑5 0 0 0 0 00 0 0 0 0 𝑑6 0 0 0 00 0 0 0 0 0 𝑑7 0 0 00 0 0 0 0 0 0 𝑑8 0 00 0 0 0 0 0 0 0 𝑑9 00 0 0 0 0 0 0 0 0 𝑑10]
Penjelasan tentang derajat bebas.
𝑫2 = 𝑑𝑖𝑎𝑔[𝑑1, 𝑑2, ⋯ , 𝑑10] memiliki t=10 parameter
𝑼2 memiliki (t-1)+(t-2)=(10-1)+(10-2)=17 parameter
Total parameter kedua matriks 10+17=27 parameter atau 3t-3=3(t-1)=3(10-1)=27
Antedependence order-1
Dalam model antedependence ordo-1, hipotesis yang diuji adalah 𝐻0: 𝚺 = (𝑼1𝑫1−1𝑼1
𝑇)−1
𝑼1 dan 𝑫1 = 𝑫2 adalah:
𝑼1 =
[ 1 𝑢12 0 0 0 0 0 0 0 00 1 𝑢23 0 0 0 0 0 0 00 0 1 𝑢34 0 0 0 0 0 00 0 0 1 𝑢45 0 0 0 0 00 0 0 0 1 𝑢56 0 0 0 00 0 0 0 0 1 𝑢67 0 0 00 0 0 0 0 0 1 𝑢78 0 00 0 0 0 0 0 0 1 𝑢89 00 0 0 0 0 0 0 0 1 𝑢9′10
0 0 0 0 0 0 0 0 0 1 ]
𝑫1 = 𝑫2 = 𝑑𝑖𝑎𝑔[𝑑1, 𝑑2, ⋯ , 𝑑10] matriks diagonal, memiliki t=10 parameter
The Mathematics of REML
143
𝑼1 memiliki (t-1)=(10-1)=9 parameter
Total parameter kedua matriks 10+9=19 parameter atau t+(t-1)=2t-1=19
Selisih derajat bebas antara antedependence 2 dan 1: 27-19=8 atau 3(t-1)-(2t-1)=t-2=10-2=8
Model Unstructure:
Dalam model unstructured, tak ada hipotesis Karena kita membuat semua matriks.
Matriks ragam-peragam 𝚺:
𝚺 =
[
σ12 𝜎12 𝜎13 𝜎14 𝜎15 𝜎16 𝜎17 𝜎18 𝜎19 𝜎1,10
𝜎21 𝜎22 𝜎23 𝜎24 𝜎25 𝜎26 𝜎27 𝜎28 𝜎29 𝜎2,10
𝜎31 𝜎32 𝜎32 𝜎34 𝜎35 𝜎36 𝜎37 𝜎38 𝜎39 𝜎3,10
𝜎41 𝜎42 𝜎43 𝜎42 𝜎45 𝜎46 𝜎47 𝜎48 𝜎49 𝜎4,10
𝜎51 𝜎52 𝜎53 𝜎54 𝜎52 𝜎56 𝜎57 𝜎58 𝜎59 𝜎5,10
𝜎61 𝜎62 𝜎63 𝜎64 𝜎65 𝜎62 𝜎67 𝜎68 𝜎69 𝜎6,10
𝜎71 𝜎72 𝜎73 𝜎74 𝜎75 𝜎76 𝜎72 𝜎78 𝜎79 𝜎7,10
𝜎81 𝜎82 𝜎83 𝜎84 𝜎85 𝜎86 𝜎87 𝜎82 𝜎89 𝜎8,10
𝜎91 𝜎92 𝜎93 𝜎94 𝜎95 𝜎96 𝜎97 𝜎98 𝜎92 𝜎9′10
𝜎10,1 𝜎10,2 𝜎10,3 𝜎10,4 𝜎10,5 𝜎10,6 𝜎10,7 𝜎10,8 𝜎10,9 𝜎102 ]
Ingat bahwa 𝜎12 = 𝜎21 karena 𝚺 bersifat setangkup, maka banyaknya parameter adalah
∑ 𝑖10𝑖=1 =
10(10+1)
2= 55 atau t(t+1)2
Perubahan derajat bebas dari model unstructured menjadi antedependence-2 sebesar 28 berasal
dari 55-27=28
Dilihat dari derajat bebas Devians:
db antedependence 2 – db unstructured =163-135=28
db antedependence 1 – db antedependence 2 =171-163=8
Teladan 6 Model-model spasial berstruktur, AR1 × AR1
Kita akan menggunakan teladan dalam pedoman GenStat tentang REML, data Slate Hall.
Denah lapang dan data adalah sebagai berikut. Kita menukar baris dan kolom agar cukup pada
halaman.
Yield
The Mathematics of REML
144
Row
Column 1 2 3 4 5 6 7 8 9 10
1 10.03 15.31 11.26 12.61 14.58 16.23 13.31 12.11 13.88 14.43
2 13.56 15.40 14.00 14.23 20.36 18.62 14.17 14.11 14.53 16.67
3 14.12 12.50 13.29 11.10 21.19 16.45 16.11 11.83 13.84 15.49
4 12.39 16.58 12.87 17.35 19.12 18.88 14.54 15.50 16.69 14.59
5 15.08 11.85 15.55 16.17 18.93 15.27 17.90 16.60 17.38 17.22
6 19.67 16.05 13.95 18.20 17.48 16.06 17.67 15.26 18.45 15.83
7 15.72 15.50 16.96 13.51 14.50 18.42 19.17 16.81 17.00 14.90
8 19.69 15.00 15.70 12.97 17.40 11.86 12.64 15.45 15.28 16.07
9 17.47 16.42 14.04 14.12 14.50 14.62 10.60 12.90 13.73 13.15
10 15.98 15.04 12.85 15.06 15.23 12.42 9.51 9.76 12.40 11.74
11 16.30 16.80 14.73 15.12 13.64 10.82 11.30 12.40 12.52 14.43
12 16.33 15.26 17.61 13.55 16.90 13.04 12.66 11.81 15.91 16.49
13 12.55 14.52 16.95 15.24 13.34 12.67 12.89 9.17 14.28 14.07
14 12.77 14.80 13.64 14.78 12.39 12.66 12.60 12.87 15.09 13.15
15 15.72 14.82 17.90 13.71 15.57 12.00 11.74 9.75 12.73 13.18
Allocation of varieties and replicates
Row/Replicate outline marked
Column 1 2 3 4 5 6 7 8 9 10
1 1 6 21 11 16 3 1 5 2 4
2 2 7 22 12 17 18 16 20 17 19
3 4 9 24 14 19 8 6 10 7 9
4 3 8 23 13 18 13 11 15 12 14
5 5 10 25 15 20 23 21 25 22 24
6 19 8 11 22 5 16 12 4 25 8
7 23 12 20 1 9 24 20 7 3 11
8 2 16 24 10 13 10 1 18 14 22
9 6 25 3 14 17 13 9 21 17 5
10 15 4 7 18 21 2 23 15 6 19
11 18 5 6 24 12 10 12 19 21 3
12 25 7 13 1 19 4 6 13 20 22
13 9 16 22 15 3 17 24 1 8 15
14 11 23 4 17 10 11 18 25 2 9
15 2 14 20 8 21 23 5 7 14 16
Rancangan ini sesungguhnya lattice seimbang tetapi tampak lebih berhasil jika dimodelkan
dengan model spasial struktur AR1 untuk baris dan kolom.
Menu Linear Mixed Models dapat, dan tentu, digunakan untuk menganalisis data secara spasial,
tetapi GenStat menawarkan menu khusus dengan informasi yang anda butuhkan. Pilih Stats >
Mixed Models (REML) > Spatial Models>Regular Grid. Kolom 1 sampai 15 membentuk faktor
fieldcolumn, dan baris 1 sampai 10 membentuk faktor fieldrow.
The Mathematics of REML
145
Model ini mengabaikan set up Random Model (which would be fieldrow.fieldcolumn) dalam
menu umum, menggunakan AR1 sebagai model korelasi untuk kedua factor.
REML variance components analysis
Response variate: yield Fixed model: Constant + variety Random model: fieldrow.fieldcolumn Number of units: 150 fieldrow.fieldcolumn used as residual term with covariance structure as below Sparse algorithm with AI optimisation
Covariance structures defined for random model Covariance structures defined within terms: Term Factor Model Order No. rows fieldrow.fieldcolumn fieldrow Auto-regressive (+ scalar) 1 10 fieldcolumn Auto-regressive 1 15
Residual variance model Term Factor Model(order) Parameter Estimate s.e. fieldrow.fieldcolumn Sigma2 3.876 0.775 fieldrow AR(1) phi_1 0.4586 0.0826 fieldcolumn AR(1) phi_1 0.6838 0.0633
Estimated covariance models
The Mathematics of REML
146
Variance of data estimated in form: V(y) = Sigma2.R where: V(y) is variance matrix of data Sigma2 is the residual variance R is the residual covariance matrix Residual term: fieldrow.fieldcolumn Sigma2: 3.876 R uses direct product construction Factor: fieldrow Model: Auto-regressive Covariance matrix: 1 1.000 2 0.459 1.000 3 0.210 0.459 1.000 4 0.096 0.210 0.459 1.000 5 0.044 0.096 0.210 0.459 1.000 6 0.020 0.044 0.096 0.210 0.459 1.000 7 0.009 0.020 0.044 0.096 0.210 0.459 1.000 8 0.004 0.009 0.020 0.044 0.096 0.210 0.459 1.000 9 0.002 0.004 0.009 0.020 0.044 0.096 0.210 0.459 1.000 10 0.001 0.002 0.004 0.009 0.020 0.044 0.096 0.210 0.459 1.000 1 2 3 4 5 6 7 8 9 10 Factor: fieldcolumn Model: Auto-regressive
Covariance matrix (first 10 rows only): 1 1.000 2 0.684 1.000 3 0.468 0.684 1.000 4 0.320 0.468 0.684 1.000 5 0.219 0.320 0.468 0.684 1.000 6 0.149 0.219 0.320 0.468 0.684 1.000 7 0.102 0.149 0.219 0.320 0.468 0.684 1.000 8 0.070 0.102 0.149 0.219 0.320 0.468 0.684 1.000 9 0.048 0.070 0.102 0.149 0.219 0.320 0.468 0.684 1.000 10 0.033 0.048 0.070 0.102 0.149 0.219 0.320 0.468 0.684 1.000 1 2 3 4 5 6 7 8 9 10
Dengan demikian korelasi antar dua plot bertetangga dalam kolom sama adalah 0.684, lebih
kuat dari dua plot bertetangga dalam baris yang sama. Korelasi antar 2 plot dalam kolom sama
adalah 0.6842=0.468, 0.6843=0.320, 0.6844=0.219, dan seterusnya. Ini diatur dalam model
kedua dari dua model korelasi dalam output.
The Mathematics of REML
147
Walaupun terdapat 150 plot dalam deretan, struktur korelasi yang kita tawarkan adalah
multiplicative dalam arti row × column. Ini berarti bahwa korelasi antar plot berdekatan dalam
baris berbeda dan/atau kolom secara sederhana merupakan perkalian antar korelasi dalam arah
baris mempertimbangkan jarak spasial antar mereka, dan korelasi dalam arah kolom. Sebagai
ilustrasi, korelasi antar hasil dalam plot (Baris 1, Kolom 1) dan plot (Baris 3, Kolom 3) adalah
0.210 × 0.468 = 0.098 (baca baris 13 dan kolom 13).
Row/Replicate outline marked
Column 1 2 3 4 5 6
1
11 16 3
2 2 7
12 17 18
3 4 9
14 19 8
4 3 8 23 13 18 13
5 5 10 25 15 20 23
6 19 8 11 22 5 16
Antar (Baris 2, Kolom 6) dan plot (Baris 4, Kolom 9) adalah 0.21 × 0.32 = 0.007. Baca baris 24
(matriks baris) dan kolom 69 (di matriks kolom). Jarak baris antara 13 dan 24 sama yakni 2,
sehingga korelasi sama yakni 0.21 (juga untuk 3-5, 4-6,5-7, 6-8, 7-9, 8-10), demikian juga
dengan kolom, misal: kolom 1-6, 2-7, 3-8, 4-9 atau 5-10.
Interpretasi analisis ini adalah bagian aplikasi dari workshop ini.