BAB 5
PROSES STOKASTIK
5.1 PENGERTIAN PROSES STOKASTIK
Proses stokastik X(t) adalah aturan untuk menentukan fungsi X(t, ξ) untuk setiap ξ. Jadi
proses stokastik adalah keluarga fungsi waktu yang tergantung pada parameter ξ atau secara
ekivalen fungsi t dan ξ. X(t) adalah proses keadaan diskret bila harga-harganya bulat. Bila tidak
demikian X(t) adalah proses kontinu.
Model stokastik adalah model yang menjelaskan kelakuan sistem secara probabilistik; informasi
yang masuk adalah secara acak (http://sipoel.unimed.in/file.php). Model ini kadang–kadang juga disebut
sebagai model simulasi Monte Carlo. Di dalam proses stochastic sifat – sifat keluaran (output)
merupakan hasil dari konsep random (acak). Meskipun output yang diperoleh dapat dinyatakan dengan
rata–rata, namun kadang – kadang ditunjukkan pula pola penyimpangannya. Model yang mendasarkan
pada teknik peluang dan memperhitungkan ketidakpastian (uncertainty) disebut model probabilistic atau
model stokastik (http://www.dephut.go.id).
Proses stokastik dapat dilihat sebagai deretan variabel acak terhadap waktu. Misalnya
pada indeks bursa efek Dow Jones. Setiap hari nilai akhir dari angka indeks tersebut diterima
sebagai hasil dari variabel acak . Pada suatu periode waktu, kita dapat menganggap angka indeks
dari Dow Jones merupakan realisasi dari proses stokastik.
Secara spesifik misalkan xi adalah angka indeks pada akhir hari ke-i dalam tahun
tertentu, dengan i=1 sampai 250 (misal jumlah hari kerja selama 1 tahun). Misalkan x37
merupakan variabel acak yang menggambarkan hasil dari hari ke-37 pada tahun tertentu. Maka
xi dimana i = 1 sampai 250 merupakan proses stokastik. Nilai yang diobservasi pada proses
stokastik ini untuk satu tahun adalah realisasi dari proses tersebut. Nilai x i pada suatu hari
disebut status / keadaan dari proses.
5.2 PROSES MARKOV
Proses markov adalah kasus khusus dari proses stokastik yang lebih umum. Proses stokastic
merupakan suatu proses Markov jika untuk setiap n+1, dengan indeks t1<t2<...<tn<tn-1 dan harga-harga
status, terjadi persamaan :
Persamaan tersebut secara narasi dapat dikatakan proses selanjutnya hanya bergantung pada status
saat ini, bukan pada ”sejarah” dari proses tersebut. Dalam proses markov status-status proses yang
terjadi selama ini dicerminkan oleh status saat ini.
Penerapan proses markov mula-mula adalah digunakan untuk menganalisa dan
memperkirakan perilaku partikel-pertikel gas dalam suatu wadah (container) tertutup serta
meramal keadaan cuaca. Sebagai suatu peralatan riset operasi dalam pengambilam keputusan
manajerial. Proses markov telah banyak diterapkan untuk menganalisa tentang perpindahan
merek (brands witching) dalam pemasaran, perhitungan rekening, jasa persewaan mobil,
perencanaan penjualan, masalah-masalah persediaan, pemeliharaan mesin, antrian, perubahan
harga pasar saham, dan administrasi rumah sakit.
Pada tahun 1906, A.A. Markov seorang ahli matematika dari Rusia yang merupakan
murid Chebysev dalam usahanya untuk menjelaskan secara matematik gejala alam yang dikenal
dengan gerak Brown, ia mengemukakan teori ketergantungan variabel acak proses acak yang
dikenal dengan proses Markov.
Temuan A.A Markov adalah ” Untuk setiap waktu t, ketika kejadian Kt, dan seluruh
kejadian sebelumnya adalah Kt(j),...,Kt(j-n) yang terjadi dari proses yang diketahui, probabilitas
seluruh kejadian yang akan datang Kt(j) hanya tergantung kepada kejadian Kt(j-1) dan tidak
tergantung kepada kejadian-kejadian sebelumnya yaitu Kt(j-2), Kt(j-3),..., Kt(j-n)”.
Gambar 4.1. Probabilitas transisional
Dimana gerakan-gerakan dari beberapa variabel di masa yang akan datang dapat
diprediksi berdasarkan gerakan-gerakan dimasa yang lalu . Kt4 dipengaruhi oleh kejadian Kt3,
Kt3 dipengaruhi oleh kejadian Kt2, dan demikian seterusnya dimana perubahan ini terjadi karena
peranan probabilitas transisional. Kejadian Kt2 misalnya tidak akan mempengaruhi kejadian
Kt4.
Proses Markov ini dapat diaplikasikan untuk sistem diskrit (discrete system) ataupun
sistem kontinyu (continuous system). Sistem diskrit adalah sistem yang perubahan kondisinya
(state) dapat diamati/terjadi secara diskrit. Suatu proses markov disebut rantai markov jika ruang
status diskret. Untuk waktu diskret, rantai markov dapat digambarkan sebagai diagram transisi.
Sedangkan sistem kontinyu adalah sistem yang perubahan kondisi dan perilaku system
terjadi secara kontinyu. Penjelasan lebih detail tentang sistem diskrit dan system kontinyu ini
akan diberikan pada sub bab berikutnya. Pada bab ini hanya akan dibahas evaluasi keandalan
sistem diskrit dengan pendekatan discrete Markov Chain.
Ada beberapa syarat agar proses Markov dapat diaplikasikan dalam evaluasi keandalan
sistem. Syarat-syarat tersebut adalah:
(1) Sistem harus berkarakter lack of memory, dimana kondisi sistem dimasa mendatang tidak
dipengaruhi (independent) oleh kondisi sebelumnya. Artinya kondisi sistem saat evaluasi tidak
dipengaruhi oleh kondisi sebelumnya, kecuali kondisi sesaat sebelum kondisi saat ini.
(2) Sistem harus stationery atau homogen, artinya perilaku sistem selalu sama disepanjang waktu
atau peluang transisi sistem dari satu kondisi ke kondisi lainnya akan selalu sama disepanjang
waktu. Dengan demikian maka pendekatan Markov hanya dapat diaplikasikan untuk sistem
dengan laju kegagalan yang konstan.
(3) State is identifiable. Kondisi yang dimungkinkan terjadi pada system harus dapat
diidentifikasi dengan jelas. Apakah sistem memiliki dua kondisi (state) yakni kondisi beroperasi
dan kondisi gagal, ataukah sistem memeiliki 3 kondisi, yakni 100% sukses, 50% sukses dan
100% gagal.
Sifat – sifat atau terminologi Markov adalah sebagai berikut :
1. Jumlah Probabilitas transisi untuk suatu awal keadaan dari suatu sistem tertentu sama
dengan 1.0
2. Probabilitas – probabilitas tersebut berlaku untuk semua partisipan dalam sistem
3. Probabilitas transisi konstan sepanjang waktu
4. Keadaan merupakan keadaan yang independen sepanjang waktu
Ciri khas dari proses markov melihat kemungkinan tersebut sebagai perubahan dari suatu
keadaan ke keadaan yang lain. Dalam proses markov, kemungkinan berubah dari suatu
keadaan ke keadaan yang lain hanya tergantung pada keadaan sekarang atau saat ini dan
bukan bagaimana sampai pada keadaan tersebut.
Matriks kemungkinan perpindahan keadaan / transisi
Kemungkinan perubahan dari satu keadaan ke keadaan yang lain dalam proses markov
disebut kemungkinan transisi, ditampilkan dengan matriks kemungkinan transisi seperti
dibawah ini
Tabel 5.1. Matriks kemungkinan transisi
Dari
keadaan
Ke
1 2 . . j . . n
1 P11 P12 . . P1j . . P1n
2 P21 P22 . . P2j . . P2n
. . . . . . . . .
. . . . . . . . .
i Pi1 Pi2 . . Pij . . Pin
. . . . . . . . .
. . . . . . . . .
n Pn1 Pn2 . . Pnj . . Pnn
N adalah jumlah keadaan dalam proses dan Pij adalah kemungkinan transisi dari keadaan
saat i ke keadaa j. Jika saat ini berada pada keadaan i maka baris i dari tabel diatas berisi
angka-angka Pi1, Pi2, ... , Pin merupakan kemungkinan berubah ke keadaan berikutnya. Oleh
karena angka tersebut melambangkan kemungkinan, maka semuanya merupakan bilangan
non negatif dan tidak lebih dari satu. Secara matematis :
0 Pij 1 i = 1, 2, .... , n
Pij = 1 i = 1, 2, ... , n
Contoh kasus
Pada suatu kota kecil terdapat dua pasar swalayan W dan L. Diasumsikan setiap pembelian di kota
tersebut melakukan kunjungan belanja satu kali per minggu. Dalam sembarang minggu seorang
pembeli hanya berbelanja di W atau L saja atau tidak keduanya. Kunjungan belanja disebut
percobaan dari proses dan toko yang dipilih disebut keadaan dari proses. Suatu sampel 100 pembeli
diambil dalam 10 minggu, kemudian data dikompilasikan.
Dalam menganalisa data, terlihat bahwa dari seluruh pembeli yang berbelanja di W dalam suatu
minggu , 90 persen tetap berbelanja di toko W pada minggu berikutnya, sedangkan sisanya
berpindah belanja pada toko L. 80 persen dari yang berbelanja di toko L dalam suatu minggu tetap
berbelanja di toko L sedangkan 20 persen berpindah belanja pada toko W.
- Matriks Transisional
Didefinisikan
Keadaan 1 : Pembeli berbelanja di W
Keadaan 2 : Pembeli berbelanja di L
Pilihan pelanggan Pilihan Pada
pada suatu minggu Minggu
Berikutnya
W L
W 90 10
L 20 80
Dengan demikian matriks kemungkinan transisi adalah
- Pemecahan Transient
Pemecahan pada kemungkinan untuk berbagai keadaan dalam waktu berikutnya
Pertama-tama kita lihat pembeli yang minggu ini berbelanja di W. Kondisi ini digambarkan pada
diagram pohon berikut yang menunjukkan keadaan saat ini dan kemungkinannya pada dua minggu
yang akan datang
Minggu ini Minggu Dua minggu
Kemungkinan
Pada dua
minggu
yang akan
datang
yang akan
datang
yang akan
datang
Belanja di W 0.81
Minggu ini Minggu Dua minggu
Kemungkinan
Pada dua
minggu
(0.9)
Belanja di W
(0.9)
Belanja di L
(0.1) 0.09
Belanja di W
Belanja di W
(0.2) 0.02
Belanja di L
(0.1)
Belanja di L
(0.8) 0.08
Dari diagram diatas terlihat bahwa kemungkinan pembeli di W minggu ini akan berbelanja di
W kembali untuk 2 minggu yang akan datang adalah 0.81 + 0.02 = 0.83, dengan cara yang
sama kemungkinan yang berbelanja di L untuk 2 minggu yang akan datang adalah 0.09 + 008
= 0.17.
Metode cara menghitung diatas adalah terlalu kompleks untuk digunakan untuk periode
waktu yang akan datang yang besar. Prosedur yang lebih mudah melibatkan penggunaan
aljabar matriks.
Dengan cara yang sama dapat kita lihat kemungkinan untuk tiga minggu yang akan datang :
- Keadan Tetap (steady state)
Dari pola berbelanja diatas, dapat ditunjukkan bahwa setelah beberapa minggu kemungkinan
berada dalam keadaan lain (berubah) akan surut menjadi kemungkinan keadaan steady state.
Keadaan demikian dilambangkan dengan 1 adalah kemungkinan berada dalam keadaan 1
dan 2 adalah kemungkinan berada dalam keadaan 2. Setelah keadaan steady state, maka
pada periode berikutnya tidak berubah. Hal tersebut memenuhi hubungan berikut :
Setelah dilakukan perkalian matriks diperoleh
1 = 0.91 + 0.22 .... (1)
2 = 0.11 + 0.82 .... (2)
1 = 1 + 2 .................. (3)
Setelah dilakukan perhitungan menggunakan metode subtitusi maka dihasilkan
1 = 2/3
2 = 1/3
5.2.1 Rantai Markov
Suatu proses markov disebut rantai markov jika ruang status diskret. Untuk waktu
diskret, rantai markov dapat digambarkan sebagai diagram transisi. Rantai markov (markov
chain) merupakan suatu teknik matematika yang biasa digunakan untuk pembuatan model
(modelling) bermacam-macam sistem dan proses bisnis. Teknik ini dapat digunakan untuk
memperkirakan perubahan di waktu yang akan datang dalam variabel-variabel dinamis atas dasar
perubahan-perubahan dari variabel-variabel dinamis tersebut diwaktu yang lalu. Teknik ini juga
dapat digunakan untuk menganalisa kejadian-kejadian diwaktu-waktu mendatang secara
matematis dan sistematis.
Contoh;
Misalkan disuatu daerah dipasarkan empat merk deterjen, katakanlah deterjen A,B,C dan D.
Terhadap para pemakai deterjen di daerah tersebut telah dilakukan penelitian dengan cara
menyebarkan daftar isian (kuesioner). Jumlah responden yang mengembalikan daftar isian
tersebut ada 1000 orang, dan diasumsikan bahwa ukuran sampel ini cukup representatif. Data
yang diperoleh berupa jumlah langganan masing-masing merk, kemudian dicatat dan
dinyatakan sebagai data jumlah langganan pada periode pertama. Berdasarkan pemikiran
bahwa langganan dapat mengubah pilihannya dari satu merk ke merk lainnya ( misalnya
karena promosi khusus, persaingan harga dan lain-lain, maka pada akhir periode dilakukan
penelitian ulang.
Tabel berikut ini menunjukkan data jumlah langganan masing-masing merk pada periode pertama,
perubahan jumlah langganan yang terjadi pada satu periode, dan jumlah langganan pada periode
kedua.
Merk Jumlah langganan
periode pertama
Perubahan selama
periode
Ju
ml
ah
lan
gga
na
n
per
iod
e
ke
du
a
Pindah ke Pindah dari
A
B
C
D
Total
220
300
230
250
1000
50
60
25
40
175
45
70
25
35
175
225
290
230
255
1000
Jika kemudian penelitian dilanjutkan dan diperoleh data rinci mengenai perubahan langganan untuk
masing-masing merk, maka matriks probabilitas transisinya dapat ditentukan. Misalnya data tersebut
adalah seperti pada tabel berikut ini:
MerkJumlah
langganan
periode
pertama
Tambahan dari
merk
Pengurangan ke
merk
A B C D A B C D
A
B
C
220
300
230
0
20
10
40
0
5
0
25
0
10
15
10
0
40
0
20
0
25
10
5
0
15
25
0
225
290
230
D
Total
250
1000
15 25 0 0 10 15 10 0 255
1000
Apabila perhitungan diatas dilanjutkan, akan diperoleh matriks probabilitas transisi sebagai
berikut :
Atau dengan singkat dituliskan sebagai
Perhatikan bahwa
Contoh kasus 2
Kondisi sebuah mesin yang digunakan dalam suatu proses produksi diketahui menurun dengan
cepat, baik dalam kualitas maupun outputnya. Karena itu, terhadap mesin tersebut dilakukan
pemeriksaan secara periodik, yaitu pada setiap akhir bulan. Setelah dilakukan serangkaian
pemeriksaan, kondisi mesin ini dicatat dan diklasifikasikan ke dalam salah satu dari tiga keadaan
(state) berikut ini :
State Kondisi
1
2
3
Baik
Cukup
Rusak
Jika Xt adalah state mesin setelah dilakukan pemeriksaan pada akhir bulan ke-t, maka urut-
urutan dari state (Xt) ini dapat dipandang sebagai proses stocastic. Misalkan probabilitas
transisi selama periode 1 bulan dari suatu state ke state lainnya adalah :
Jika dilakukan overhoul maka matriks transisinya adalah sebagai berikut :
Keputusan apakah yang sebaiknya dilakukan oleh perusahaan (melakukan overhoul atau
tidak) berdasarkan ekspektasi pendaptan atau pengeluaran?
Untuk memenuhi sifat umumnya, misalkan jumlah state pada masing-masing stage (bulan)
adalah m (pada contoh diatas m = 3)
Definisikan :
fn (i) = Ekspektasi pendapatan optimum dari stage n, n+1, ... , N jika state dari sistem (kondisi
mesin) pada awal bulan ke-n adalah i.
Maka perhitungan mundur yang menghubungkan fn dengan fn+1 dapat dituliskan sebagai
berikut :
Dimana untuk seluruh j
Sebagai bukti kebenaran persamaan diatas adalah bahwa pendapatan kumulatif, yaitu rijk +
fn+1(j), yang diperoleh dengan mencapai state j pada stage n+1 dari state i pada stage n,
terjadi dengan probabilitas pijk. Jika vik menyatakan ekspektasi pendapatan yang dihasilkan
dari transisi tunggal dari state i pada alternatif k, maka vik ini dapat dinyatakan sebagai :
Sehingga hubungan rekursifnya dapat dinyatakan sebagai :
Maka penyelesaian persoalan diatas adalah sebagai berikut :
Stage 3
ivik
k=1 k=2 f3(i) k*
1
2
3
5.3
3
-1
4.7
3.1
0.4
5.3
3.1
0.4
1
2
2
Stage 2
ivik+pi1kf3(1)+pi2kf3(2)+pi3
kf3(3)
k=1 k=2 F2(i) k*
1
2
3
5.3+0.2x5.3+0.5x3.1+0.3x0.4 =
8.03
3+0x5.3+0.5x3.1+0.5x0.4 = 4.75
-1+0x5.3+0x3.1+1x0.4 = -0.6
4.7+0.3x5.3+0.6x3.1+0.1x0.4=8.19
3.1+0.1x5.3+0.6x3.1+0.3x0.4=5.61
0.4+0.05x5.3+0.4x3.1+0.55x0.4=2.1
3
8.19
5.61
2.13
2
2
2
Stage 1
ivik+pi1kf2(1)+pi2kf2(2)+pi3
kf2(3)
k=1 k=2 F2(i) k*
1
2
3
5.3+0.2x8.19+0.5x5.61+0.3x2.13
= 10.38
3+0x8.19+0.5x5.61+0.5x2.13 =
6.87
-1+0x8.19+0x5.61+1x2.13 = 1.13
4.7+0.3x8.19+0.6x5.61+0.1x2.13=
10.74
3.1+0.1x8.19+0.6x5.61+0.3x2.13=
7.92
0.4+0.05x8.19+0.4x5.61+0.55x2.1
3=4.23
10.7
4
7.92
4.23
2
2
2
Solusi optimum diatas menunjukkan bahwa untuk bulan 1 dan 2 harus dilakukan overhoul
(k*=2) tanpa harus memperhatikan state dari sistem (kondisi mesin). Pada bulan ke-3,
overhoul harus dilakukan hanya apabila sistem berada pada state 2 atau 3 (kondisi mesin
cukup atau rusak). Ekspektasi pendapatan total untuk ketiga bulan tsb adalah f1 (1) = 10.74
jika state dari sistem pada bulan 1 baik, f1(2) = 7.92 jika cukup, dan f1 (3) = 4.23 jika rusak.
5.2 Absorbing state
Pada konteks discrete Markov chain, kondisi (state) sistem dapat dibedakan menjadi 2
yaitu, ergodic state dan absorbing state. Ergodic state adalah state yang limiting value nya
ditentukan oleh kondisi awalnya, dimana state ini bias menerima transisi probabilitas dari state
lainnya dan bisa memindahkan/mengeluarkan transisi probabilitas ke state lainnya. Pada ergodic
state maka state ini dapat dicapai dari semua state lainnya baik secara langsung atau melalui state
perantara lainnya. Jika kondisi seperti pada ergodic state ini tidak dapat terpenuhi, dimana state
hanya bisa menerima dan menyerap transisi tanpa bisa memindahkan atau mengeluarkannya
sampai sistem tersebut memulai misi (operasi) yang baru, maka state tersebut disebut dengan
absorbing state. Absorbing state ini berkaitan erat dengan mission oriented system.Pada evaluasi
keandalan dengan metode Markov maka diperlukan analisa untuk mencari jumlah interval
operasi sebelum sistem memasuki absorbing state atau sebelum sistem harus dihentikan untuk
dimulai lagi dengan misi (operasi) yang baru. Ada beberapa langkah yang harus dilakukan untuk
menentukan jumlah interval waktu sebelum sistem memasuki abosrbing state. Langkah-langkah
tersebut adalah:
(1) Buatlah matrik Q dengan menghilangkan komponen baris dan kolom pada matrik yang
berhubungan dengan absorbing state.
(2) Jadikan matrik Q sebagai pengurang dari matrik identitas, dan sebut matrik baru tersebut
dengan matrik N. ( [N] = [ I ] – [ Q ] ).
(3) Cari inverse dari matrik N.
LATIHAN SOAL
Diketahui suatu Markov Chain X0, X1, X2, ….pada state 0, 1, 2 mempunyai matriks transisi sebagai berikut :
0 1 2
Dengan distribusi awal , dan
.
Ditanyakan :
Penyelesaian :
1.2. Diketahui suatu Markov Chain X0, X1, X2, …. mempunyai matriks transisi sebagai berikut :
0 1 2
Ditanyakan :
dan
Penyelesaian:
1.3 Diketahui suatu Markov Chain X0, X1, X2, …. mempunyai matriks transisi sebagai berikut :
0 1 2
Dan diketahui bahwa proses start pada state X0 = 1.
Ditanyakan :
Penyelesaian:
1.4. Diketahui suatu Markov Chain X0, X1, X2, ….mempunyai matriks transisi sebagai berikut :
0 1 2
Ditanyakan :
dan
Penyelesaian :
1.5 Diketahui suatu Markov Chain X0, X1, X2, ….mempunyai matriks transisi sebagai berikut :
0 1 2
Dengan distribusi awal dan .
Ditanyakan :
dan
Penyelesaian :
2.1 Diketahui suatu Markov Chain X0, X1, X2, ….mempunyai matriks transisi sebagai berikut :
0 1 2
Ditanyakan :
a. matriks transisi dua langkah dari matriks
b.
c.
Penyelesaian:
a. 0 1 2
b.
c.
= 0.16