YOU ARE DOWNLOADING DOCUMENT

Please tick the box to continue:

Transcript
Page 1: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

SAKARYA UNIVERSİTESİ

ENDUSTRI MUHENDISLIĞI

YÖNEYLEM ARAŞTIRMASI – II

MARKOV ZİNCİRLERİ

DERS NOTLARI

Page 2: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

STOKASTİK (RASSAL) SÜREÇLER

Bazen rassal değişkenlerin zamanla nasıl değiştiğiyle ilgileniriz. Örneğin borsada bir hissenin fiyatının nasıl değiştiğiyle veya bir firmanın piyasa payının nasıl değiştiğiyle ilgilenebiliriz. Rassal değişkenin zamanla nasıl değişeceği çalışmaları stokastik süreçleri de içerir. Bu derste stokastik prosesler, özellikle bir stokastik proses örneği olan markovzincirleri görülecektir.

Markov zincirleri eğitim, pazarlama, sağlık hizmetleri, muhasebe ve üretim alanları gibi alanlara uygulanmaktadır.

Stokastik süreç kavramını tanımladıktan sonra Markov Zincirleri ile ilgili temel fikirleri göreceğiz.

Page 3: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

STOKASTİK (RASSAL) SÜREÇ NEDİR ?Bir Sistemin 0,1,2,… diye etiketlenen kesikli zamanlarda bazı karakteristiğini (özelliklerini) gözlemlediğimizi düşünelim.

Xt : Sistem özelliklerinin t zamanındaki değeri olsun.

Pek çok durumda Xt t zamanından önce kesin olarak bilinememektedir ve rassal bir değişken olarak görülebilir.

Kesikli zamanlı stokastik süreç basitçe X0, X1, X2,…. Rassal değişkenleri arasındaki ilişkilerin tarifidir.

Bazı kesikli zamanlı stokastik süreç örnekleri (İleride açıklanacak örnekler):Kumarbazın iflası ProblemiBir Firmanın borsadaki hisse fiyatıVazo örneği

Page 4: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

KUMARBAZIN İFLASI PROBLEMİ (ÖRNEK 1)

0 Zamanında kumarbaz 2 TL’ye sahiptir. 1,2,… zamanlarında kumarbaz oyun oynar ve 1TL bahse girer. P olasılıkla oyunu kazanır ve (1-p) olasılıkla oyunu kaybeder. Burada Amaç 4 TL sahibi olunca oyunu bitirmektir. Dikkat edilirse elde 0 TL kalınca da oyun bitmektedir.

Xt eğer zaman t’deki oyundan sonra sermaye durumu olarak tanımlanırsa o zaman X0, X1, …..,Xt kesikli zamanlı stokastik süreç olarak ortaya çıkar.

X0 = 2 bilinmektedir ve sabittir. Fakat X1 ve sonra Xt’ler rassaldır.

Örneğin p olasılıkla X1=3 ve (1-p) olasılıkla X1=1 olurBu mantıkla eğer Xt ≠ 0 veya 4 ise p olasılıkla Xt+1 =Xt+1 ve1-p olasılıkla Xt+1 =Xt-1 olur

Eğer Xt=0 ise Xt+1 ve daha sonraki Xt değerleri 0’a eşittir Eğer Xt=4 ise Xt+1 ve daha sonraki Xt değerleri 4’e eşittir

Page 5: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

VAZO PROBLEMİ (ÖRNEK 2)Bir vazoda boyanmamış iki tane top bulunmaktadır. Topları rasgele seçmekteyiz ve yazı-tura atmaktayız. Eğer seçilen top boyasız ve para tura gelmişse seçilen topu kırmızıya boyarız. Eğer seçilen top boyasız ve para yazı gelmişse seçilen topu siyaha boyarız. Eğer seçilen top zaten boyanmışsa yazıda gelse turada gelse topu diğer renge boyarız.

Bu durumu stokastik süreç olarak modellemek için zaman t’yi para t kere atıldıktan ve seçilen toplar boyandıktan sonraki zaman olarak tanımlarsak, Herhangi bir zamandaki durum (b,k,s) vektörüyle tanımlanabilir. B boyanmamış top sayısı, k kırmızı top sayısı ve s ‘de siyah top sayısını ifade eder.

0 zamanında durum X0= (2,0,0) dır. İlk para atıldığında top seçilip boyandığında ½ olasılıkla X1=(1,1,0) ve ½ olasılıkla X1=(1,0,1) olur.

Xt durumları arasında bazı ilişkiler vardır. Örneğin eğer Xt=(0,2,0) ise Xt+1 = (0,1,1) olur veyaXt=(0,0,2) ise Xt+1 = (0,1,1) olur

Page 6: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

BORSA PROBLEMİ (ÖRNEK 3)

Eğer X0 Bir Firmanın Borsa hissessinin bugünkü değeri ise Xt ise hissenin t. Ticari günün açılışındaki değeri olsun.

X0,X1,…,Xt değerlerini bilmek bize Xt+1 değerinin olasılık dağılımı hakkında birşeylersöyler.

Buradaki soru t zamanına kadarki hisse fiyatları t+1 zamanındaki hisse fiyatı hakkında ne söyler.

Bu sorunun cevabı finans alanında oldukça önemlidir.

Page 7: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

SÜREKLİ ZAMANLI STOKASTİK SÜREÇLER

Bu süreçlerde sistemin durumu kesikli zaman yerine herhangi bir zamanda gözlemlenebilir.

Örneğin herhangi bir zamanda marketteki müşteri sayısı sürekli zamanlı stokastik süreç olarak düşünülebilir.

Burada market açıldıktan t zaman sonra Xt marketteki müşteri sayısını gözlemekteyiz ve t real sayıdır ve sürekli değer alır.

Eğer borsada hisse fiyatlarını sadece ticari gün başlangıcında değilde sürekli olarak herhangi bir zamandaki değeri olarak modellersek o zaman bu süreç sürekli zamanlı stokasti süreç olur.

Page 8: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM

KESİKLİ ZAMANLI KESİKLİ DURUMLU STOKASTİK SÜREÇLER

Bu süreçlerde gözlem kesikli zamanlarda olur ve durum kesikli değerler alır. Bu süreçlere örnekler:

Kumarbazın iflası problemi Vazo örneği Nüfusta doğum ve ölüm,

Page 9: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM

KESİKLİ ZAMANLI SÜREKLİ DURUMLU STOKASTİK SÜREÇLER

Bu süreçlerde gözlem kesikli zamanlarda olur ve durum sürekli değerler alır. Bu süreçlere örnekler:

Her bir ticari gün başında gözlenen borsa hisse fiyatı Belirli zaman aralıklarında ölçülen rüzgarın hızı, Bir nehrin debisinin saatte bir ölçülmesi,

Page 10: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM

SÜREKLİ ZAMANLI KESİKLİ DURUMLU STOKASTİK SÜREÇLER

Bu süreçlerde gözlem sürekli zamanlarda olur ve durum kesikli değerler alır. Bu süreçlere örnekler:

Bir markette sürekli zamanlı gözlemlenen müşteri sayısı Bir otobüs durağında sürekli gözlemlenen yolcu sayısı Bir şehirdeki doğum ve ölüm

Page 11: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

STOKASTİK SÜREÇLERLE İLGİLİ 4 DURUM

SÜREKLİ ZAMANLI SÜREKLİ DURUMLU STOKASTİK SÜREÇLER

Bu süreçlerde gözlem sürekli zamanlarda olur ve durum sürekli değerler alır. Bu süreçlere örnekler:

Sürekli durumlu, sürekli zamanlı stokastik süreç.

Sürekli zamanlı izlenen kalp atışları Sürekli zamanlı takip edilen borsa hisse fiyatları Sürekli zamanlı olarak gözlemlenen bir göl veya nehrin derinliği

Page 12: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

MARKOV ZİNCİRLERİ

Markov zincirleri Kesikli zamanlı stokastik proseslerin (süreçlerin) özel bir türüdür. Basit bir ifadeyle herhangi bir zamanda kesikli zamanlı stokastik süreç sonlu sayıda durumdan birinde olabilir. Sonlu sayıdaki durumlar 1,2,…,s olsun

Eğer kesikli zaman stokastik süreç aşağıdaki koşulu sağlıyorsa süreç markov zinciridir.

t= 0,1,2,… için ve her bir durum için

P(Xt+1=it+1/ Xt=it, Xt-1=it-1,…,X1=i1,X0=i0) = P(Xt+1=it+1/ Xt=it) (1)

ise süreç markov zinciridir.

Page 13: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Durum değişkeninin t+1 zamanındaki olasılık dağılımı t zamanındaki duruma bağlıdır ve t zamanına kadar olan bütün zamanlardaki durumlardan bağımsızdır.

Daha ileri bir varsayımda bulunarak bütün durumlar i ve j ve bütün zamanlar t içinP(Xt+1=j/ Xt=i) olasılığı zamandan da bağımsızdır. Bu varsayım bize aşağıdaki eşitliği yazabilmemizi sağlar.

P(Xt+1=j/ Xt=i) = pij (2)

burada pij sistemin t zamanında i durumunda olup t+1 zamanında j durumuna geçme olasılığıdır.

Eğer sistem bir periodda i durumundan bir period sonra j durumuna geçmişse bu durumda i’den j’ye geçiş gerçekleşti deriz. Bu nedenle olasılıklarına markov zincirinin geçiş olasılıkları deriz.

Eşitlik (2) bir period sonraki durumla ilgili olasılık kanununun zamanla değişmez (satasyoner (stationary) kaldığı) Olduğunu ifade eder. Bu nedenle Eşitlik (2) stasyonervarsayımı olarak bilinir ve Eşitlik (2) ‘yi sağlayan markov zinciri stasyoner markovzinciridir.

Page 14: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Markov zinciri çalışmalarımızda zincirin t=0 zamanında i durumunda bulunma olasılığı olan qi olasılıkları ile ilgileniriz.

Diğer bir deyişle P(X0=i) = qi olur. Her bir durumu düşündüğümüzde ortaya markov zincirinin ilk olasılık dağılımı diye ifade ettiğimiz q vektörü çıkar.

q = q1 q𝟐 … . q𝑠 İlk Olasılık dağılımı

Pek çok uygulamada geçiş olasılıkları sxs geçiş olasılık matrisi P ile gösterilir.

P =

𝑝11 𝑝12 … 𝑝1𝑠𝑝21 𝑝22 … 𝑝2𝑠⋮ ⋮ ⋱ ⋮𝑝𝑠1 𝑝𝑠2 ⋯ 𝑝𝑠𝑠

Geçiş olasılıkları matrisi

Page 15: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Zaman t de durumun i olduğu verilmiş olsun. Zaman t+1’de süreç bir yerlerde olmalıdır.Bu matematiksel olarak aşağıdaki gibi ifade edilir.

𝑗=1𝑗=𝑠

P(Xt+1=j/ Xt=i)=1

𝑗=1𝑗=𝑠

𝑝𝑖𝑗=1

t zamanında i durumunda olan sistem t+1 zamanında mümkün olan durumlardan birine geçer.

Page 16: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

KUMARBAZIN İFLASI PROBLEMİ (devam)Kumarbazın iflası probleminde geçiş matrisini bulunuz. ÇÖZÜM: t+1’deki para t zamanına kadar birikmiş paraya (t zamanındaki paraya) bağlı olduğundan bu süreç bir markov zinciridir. Oyunun kuralları zamanla değişmediği için bu aynı zamanda stasyoner (sabit) markov zinciridir.

Durum i , i TL paraya sahip olunduğunu göstermektedir. Geçiş matrisi aşağıdaki gibidir.

Durum$0 $1 $2 $3 $4

0 1 0 0 0 01 1-p 0 p 0 0

P = 2 0 1-p 0 p 03 0 0 1-p 0 p4 0 0 0 0 1

p ihtimalle para miktarı 1 birim artacak. (1-p) ihtimalle 1 birim azalacaktır. Eğer durum 0 ve 4’e geçilmişse bu durumlar terkedilmeyecektir. P00 = P11 = 1 olduğu görülür.

Page 17: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

0 1 2 3 4

1

1-p

1-p

p 1-p

p

p

1

KUMARBAZIN İFLASI PROBLEMİNDE GEÇİŞ MATRİSİNİN GRAFİKSEL GÖSTERİMİ

Geçiş matrisi grafiksel olarak gösterilirken her bir düğüm olası durumları, oklar ise (ok(i,j)) geçiş olasılıklarını (pij) göstermektedir.

Page 18: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

VAZO ÖRNEĞİ (devam) Vazo ve içerisindeki topların rengi örneğinde geçiş matrisini oluşturun.

ÇÖZÜM:Bir sonraki periodun top renkleri bir önceki periodun durumuna bağlı olduğu için bu problem (stokastik süreç) markov zinciridir. Kurallar zamanla değişmediği için bu markov zincir, stasyoner(sabit) markov zinciridir. Geçiş matrisi aşağıdaki gibidir

Durum(0 1 1) (0 2 0) (0 0 2) (2 0 0) (1 1 0) (1 0 1)

(0 1 1) 0 (1/2) (1/2) 0 0 0(0 2 0) 1 0 0 0 0 0

P= (0 0 2) 1 0 0 0 0 0(2 0 0) 0 0 0 0 (1/2) (1/2)(1 1 0) (1/4) (1/4) 0 0 0 (1/2)(1 0 1) (1/4) 0 (1/4) 0 (1/2) 0

Page 19: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Geçiş matrisinin nasıl olduğunu göstermek için geçiş matrisindeki (1 1 0) sırasını düşünelim. Eğer aktif durum (1 1 0) ise tablo 1 de gösterilen olaylardan biri olur.

OLAY OLASILIK YENİ DURUMTura gelmesi ve boyasız topun seçilmesi (1/4) (0 2 0)Kırmızı topun seçilmesi (1/2) (1 0 1)Yazı gelmesi ve boyasız topun seçilmesi (1/4) (0 1 1)

Tablo 1 : Eğer aktif durum (1 1 0) ise geçiş olasılıklarının hesaplanması

¼ olasılıkla gelecek durum (0 2 0) olacak, ½ olasılıkla gelecek durum (1 0 1) olacak ve ¼ olasılıkla gelecek durum (0 1 1) olacaktır.

Şekil 2 geçiş matrisinin grafik gösterimini vermektedir.

Page 20: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

(0 1 1)

(0 2 0)

(0 0 2)

(2 0 0)

(1 1 0)

(1 0 1)

1 1/2

1/2

1/2

1/2

1/21/2

1/4

1/4

1/4

1/41

Şekil 2 : Vazo probleminde geçiş matrisinin grafiksel gösterimi

Page 21: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Örnek 1: Aşağıdaki şekildeki sayılar köşe noktaları veyadönüşleri belirleyen kavşakları ve aradaki çizgiler de yollarıbelirlemektedir. Bir arabanın dönüş veya doğrudangitmesini eş olasılıkla varsayarak köşelerde bulunmakisteğini geçiş olasılıkları matrisi ile gösteriniz.

7 8 9

4 5 6

1 2 3

Page 22: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Çözüm:

2 nolu köşede bulunması halinde 1, 3 veya 5 köşelerindebulunma olasılığı 1/3 olacaktır. 5 nolu köşede ise takiben2, 4, 6 veya 8 köşelerine 1/4 olasılıkla gidebilir v.s.

Geçiş matrisi aşağıdaki gibidir ve mevcut herhangi birdurumdan, verilen herhangi bir duruma geçilir.Dolayısıyla süreç ergodiktir.

Page 23: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

02/102/100000

3/103/103/10000

02/10002/1000

3/10003/103/100

04/104/104/104/10

003/103/10003/1

0002/10002/10

00003/103/103/1

000002/102/101

2

3

4

5

6

7

8

9

1 2 3 4 5 6 7 8 9

Page 24: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin
Page 25: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

n-ADIM GEÇİŞ OLASILIKLARI

P geçiş matrisi olan Markov zincirini çalıştığımızı düşünelim. (İlgilendiğimiz markovzincirleri stasyoner(sabit) olduğundan, açıkça söylemesek de stasyoner markovzincirleri kastetmekteyiz)

Burada ilgilendiğimiz soru eğer markov zinciri m zamanında i durumundaysa, n adım sonra j durumunda olma ihtimali nedir?

Stasyoner markov zinciri ile ilgilendiğimizden dolayı bu olasılık m’den bağımsızdır. Öyleyse

P(Xm+n=j/ Xm=i) = P(Xn=j/ X0=i)= pij(n)

pij(n) n-adımda i’den j’ye geçiş olasılığıdır.

pij(1) = pij olduğu açıktır.

Page 26: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Şimdi pij(2) ‘ye karar verelim. Bu durumda sistem durum i’dedir ve 2 adım sonra durum j’ye gelecektir. Önce Durum i’den mümkün olan durumlardan birine geçeriz (durum k). Sonra Durum k’den durum j’ye geçeriz (Şekil 3). Bu mantık bize aşağıdaki eşitliği gösterir.

pij(2) = 𝑘=1𝑘=𝑠 𝑖′𝑑𝑒𝑛 𝑘′𝑦𝑒 𝑔𝑒ç𝑖ş 𝑜𝑙𝑎𝑠𝚤𝑙𝚤ğ𝚤 ∗ (k’den j’ye geçiş olasılığı)

P matrisinin tanımını kullanarak

pij(2) = 𝑘=1𝑘=𝑠 pik ∗ pkj (3) yazabiliriz.

1

psjk

s

⁞i j

pi1

pi2

pik

p1j

p2j2

pkj

⁞pis Şekil 3

pij(2) = Pi1 *p1j + Pi2 *p2j

+ … + Pis *psj

Page 27: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

pij(2) = 𝑘=1𝑘=𝑠 pik ∗ pkj (3)

(3)’ün sağ tarafı P matrisinin sıra i ‘ si ile P matrisinin kolon j’sinin skalar çarpımıdır. Bundan dolayı pij(2) P2 matrisinin ij’ inci elemanıdır. Bu durumu genellersek :

n >1 için

pij(n) Pn matrisinin ij’ inci elemanıdır (4)

Eğer n=0 ise pij(0) = P(X0=j/ X0=i ) öyleyse aşağıdaki doğru olmalıdır.

1 Eğer j=i isepij(0) =

0 eğer j ≠ i ise

Eşitlik (4) ‘ün kullanımı Örnek 4 te gösterilmiştir.

Page 28: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

ÖRNEK 4: KOLA ÖRNEĞİ

Bütün kola endüstrisinin iki tip kola ürettiğini kabul edelim. Eğer bir insanın kola 1 satın aldığı verilmişse, gelecek alışınında kola 1 olması %90’dır. Eğer bir insanın en son kola 2 aldığı verilmişse gelecek alışının kola 2 olması %80 olasılıkladır.a) Eğer müşteri şimdi kola 2 alıyorsa iki alışveriş sonra kola 1 alma ihtimali nedir?b) Eğer müşteri şimdi kola 1 alıcısıysa, üç alışveriş sonra kola 1 alması ihtimali nedir?

ÇÖZÜM

Burada her bir kişinin alışverişini markov zinciri olarak düşünürüz. Bu problem iki durumlu markov zinciridir ve alınan kolanın tipi en son periodda alınan kolanın tipine bağlıdır.

Durum 1 = Müşteri en son kola1 almıştırDurum 2= Müşteri en son kola2 almıştır

Eğer Xn n.periodda alınan kola olarak tanımlarsak (Şimdiki kola alışı = X0 ) o zaman

X0 , X1 … takibeden slayttaki, geçiş matrisine sahip markov zincir olarak tanımlanabilir.

Page 29: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

P = .90 .10.20 .80

Şimdi soru a) ve b)’yi cevaplayabiliriz.

a) Aradığımız olasılığı ifade edersek

P(X2=1/ X0=2 ) = p21(2) = P2’nin ( ij=2-1)’inci elemanı

P2 = .90 .10.20 .80

.90 .10

.20 .80=.83 .17.34 .66

p21(2) = .34

İki alış veriş sonra şimdi kola1 içen müşteri .34 olasılıkla kola 2 içer.

Bu durumu temel olasılık teorisini kullanarak da bulabilirdik.p21(2) = (Gelecek alış kola1 ve 2. alış kola1) + (Gelecek alış kola2 ve 2. alış kola1)

= p21* p11 + p22 * p21 = .20 * .90 + .80*.20 = .34

Bu durum takibeden slaytta grafik olarak gösterilmiştir.

Kola1 Kola2

Kola1 Kola2

Page 30: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Kola2 Kola2

Kola2

Kola1

Zaman 0 Zaman 1 Zaman 2

P22= .80

P21= .20

P21=.20

P11= .90

Şekil 4: İki Period sonra kola2 alıcısının kola1 alma olasılığı.20 * .90 + .80*.20 = .34

Page 31: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

b) Bu soruda aradığımız p11(3)’tür.

p11(3) = P3’ün ij. Elemanı (1-1’inci)

P3 = P * (P2 ) = .90 .10.20 .80

∗.83 .17.34 .66

=.781 .219.438 .562

Dolayısıyla

p11(3) = .781 olur.

Page 32: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Pek çok durumda Markov Zincirinin Zaman 0’da hangi durumda olduğunu bilmemekteyiz.

qi = Zincirin Zaman 0’da i durumunda olma olasılığı olsun. O zaman sistemin n zamanında durum j’de olma olasılığını aşağıdaki mantıkla bulabiliriz.

1

2

i

s

j

q1

p1j(n)

Zaman 0 Zaman n

q2

qi

qs

p2j(n)

pij(n)

psj(n)

Şekil 5: Başlangıç durumun bilinmediği durumda n zamanında j durumunda olma olasılığı

Page 33: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Zaman n’de durum j’de olma olasılığı

= 𝑖=1𝑖=𝑠 𝐷𝑢𝑟𝑢𝑚𝑢𝑛 𝑏𝑎ş𝑙𝑎𝑛𝑔𝚤ç𝑡𝑎 𝑖 𝑜𝑙𝑚𝑎 𝑜𝑙𝑎𝑠𝚤𝑙𝚤ğ𝚤 ∗ (n adımda i’den j’ye geçiş olasılığı)

= 𝑖=1𝑖=𝑠 q i ∗ pij (𝑛) = q (Pn matrisinin j. Kolonu) (5)

q= q 1 q 2 … q 𝑠

SORU : Kola Örneği DevamBaşlangıçta müşterilerin %60’ı kola 1 içiyor ve %40’ı kola2 içiyorsa, 3 zaman(adım) sonra müşterilerin ne kadarı kola1 içer.

CEVAP: q= .60 .40Zaman 3’de kola1 içme olasılığı = q (P3 matrisinin 1. Kolonu)

= .60 .40 ∗.781.438

= .6438

Böylece 3 zaman sonra 64% müşteri kola1 içer

Page 34: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

n-adım geçiş olasılıklarının büyük n değerleri için davranışını göstermek için bazı n değerleri için kola örneğinin n-adım geçiş olasılıkları tablo 2’de verilmiştir.

n P11(n) P12(n) P21(n) P22(n)

1 .90 .10 .20 .80

2 .83 .17 .34 .66

3 .78 .22 .44 .56

4 .75 .25 .51 .49

5 .72 .28 .56 .44

10 .68 .32 .65 .35

20 .67 .33 .67 .33

30 .67 .33 .67 .33

40 .67 .33 .67 .33

Tablo 2: Kola Örneğinde n-adım geçiş olasılıkları

n büyüdükçe P11(n) ve P21(n) değerleri .67’ye yaklaşıyor ve sabitleniyor. Bunun anlamı başlangıç durum ne olursa olsun uzun vadede kola1 alma olasılığı(yüzdesi) .67 dir.

n büyüdükçe P12(n) ve P22(n) değerleri .33’e yaklaşıyor ve sabitleniyor. Bunun anlamı başlangıç durum ne olursa olsun uzun vadede kola2 alma olasılığı(yüzdesi) .33 dür.

Page 35: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Problemlerin Markov Zincirleri ile Formülize Edilmesi:

Şu anda (n=0) Planlamada olan bir mühendisin iki yıl sonra (n=2) OnarımBölümünde olma ihtimali nedir?

P->P->O = 0,7*0,1=0,07; P->O->O = 0,1*0,8=0,08; P->A->O = 0,2*0=0

Şartlı ihtimallerin toplamı = 0,07 + 0,08 + 0 = 0,15

P O A

P 0,7 0,1 0,2

O 0,1 0,8 0,1

A 0,1 0 0,9

Planlama

Planlama

Planlama Onarım Araştırma Planlama Onarım Araştırma Planlama Onarım Araştırma

Onarım Araştırma 0.70 0.10 0.20

n=0. Adım

0.70 0.10 0.20 0.10 0.10 0.10 0 0.900.80

n=1. Adım

n=2. Adım

Page 36: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Problemlerin Markov Zincirleri ile Formülize Edilmesi:

Planlama Bölümünde çalışan mühendisinikinci yılda Planlama, Onarım ve AraştırmaBölümlerine atanma olasılıkları:

P O A

P 0,7 0,1 0,2

O 0,1 0,8 0,1

A 0,1 0 0,9

P.VV1n

i

n

i

)33.015.052.0(

9.001.0

1.08.01.0

2.01.07.0

.)2.01.07.0(P.VV1

1

2

1

Page 37: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Problemlerin Markov Zincirleri ile Formülize Edilmesi:

Daha genel olarak bu problemde, n=2 yılsonraki bütün geçiş ihtimallerini bilmekistersek P matrisinin karesi alınır:

P O A

P 0,7 0,1 0,2

O 0,1 0,8 0,1

A 0,1 0 0,9

83.001.016.0

19.065.016.0

33.015.052.0

9.001.0

1.08.01.0

2.01.07.0

.

9.001.0

1.08.01.0

2.01.07.0

P2

Page 38: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

n. Adım Sonunda Her Bir Grupta Kaç Kişi Bulunur?

n=(n1, n2, …): dönem başı mevcutlar vektörü

m=(m1, m2, …): dönem sonu mevcutlar vektörü

nP.nm

Page 39: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

n. Adım Sonunda Her Bir Grupta Kaç Kişi Bulunur?

Dönem başı personel durum mevcutları n=(100, 80, 120) vektörü ile verilirse 2. yıl sonunda gruplar arasındaki dağılım şöyle bulunabilir:

)1486884(

83.001.016.0

19.065.016.0

33.015.052.0

.)12080100(m

Page 40: YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Related Documents