YÖNEYLEM ARAŞTIRMASI – II - content…content.lms.sabis.sakarya.edu.tr/Uploads/49856/27066/1-2-markov... · TANIM : i ve j iki durum olsun. İden j [ye YOL i [den başlayan bir

SAKARYA UNIVERSİTESİ

ENDUSTRI MUHENDISLIĞI

YÖNEYLEM ARAŞTIRMASI – II

MARKOV ZİNCİRLERİNDE DURUMLARIN

SINIFLANDIRILMASI

DERS NOTLARI

1

Önceki derslerimizde pek çok geçişten sonra n-adım geçiş olasılıklarının kararlılık durumuna yaklaştığını görmüştük. Bu derste matematikçilerin markov zinciri durumlarını nasıl sınıflandırdıklarını göreceğiz. Bu nedenle aşağıdaki geçiş matrisini kullanacağız (Geçiş matrisinin grafik gösterimi Şekil 6).

P=

.4 .6 0 0 0

.5 .5 0 0 00 0 .3 .7 00 0 .5 .4 .10 0 0 0 .2

2

1 2

.4.5

.6

.5

3 4

5

.3

.7

.5

.1

.8

.2

.4

Şekil 6: Geçiş Matrisinin grafik gösterimi

TANIM : i ve j iki durum olsun. İ’den j’ye YOL i’den başlayan bir seri geçişten (serideki bütün geçiş olasılıkları pozitifdir) sonra j’de biten geçiş serisine YOL denir.

TANIM : Durum j, durum i’den ULAŞILABİLİR’dir eğer i’den j’ye bir yol varsa.

TANIM : Eğer j durumu i’den ULAŞILABİLİRSE ve i durumu j’den ULAŞILABİLİRSE, i ve j HABERLEŞİR durumlardır

Şekil 6’ya ve P- geçiş matrisine baktığımızda durum 5 durum 3’ten ulaşılabilir (3-4-5 yolu boyunca) fakat durum 5’e durum 1’den ulaşılamaz (1’den 5’e yol yoktur). Aynı zamanda durum 1 ve durum 2 haberleşir durumlardır. Durum 1’den durum 2’ye erişilebilir ve durum 2’den durum 1’e erişilebilir.

TANIM : Bir markov zincirinde bir S içerisindeki durumlar KAPALI KÜME dir. Eğer S dışındaki durumlar, S içerisindeki herhangi bir durumdan erişilemezse.

Şekil 6’ya ve P- geçiş matrisine baktığımızda S1 = {1,2} ve s2={3,4,5} kümelerinin ikisidekapalı küme dir. Bir kere S1 ve S2 kapalı kümesine girdiğimizde bir daha terketmeyiz. (Şekil 6’ya baktığımızda S1’den başlayan ve S2’de biten veya S2’de başlayıp S1’de biten ok yoktur.)

3

TANIM : Durum i eğer Pii = 1 ise EMİCİ (YUTUCU) durumdur. Bu durumdan çıkış yoktur.

Ne zaman bir emici duruma girersek bu durumdan çıkış yoktur. Kumarbazın iflası örneğinde durum 0 ve durum 4 emici durumdur. Emici durum kapalı küme olup bir tane durum içerir.

TANIM : Eğer i den ulaşılan j durumu varsa ve fakat j’den i durumuna ulaşılamıyorsa, Durum i GEÇİCİ DURUMdur.

Diğer bir deyişle eğer durum i’yi terketmek mümkünse ve terkedildiğinde dönmemek mümkünse o zaman durum i geçicidir. Kumarbazın iflası probleminde durum 1,2, ve 3 geçici durumlardır. Şekil 1’e baktığımızda 2’den 2-3-4 yolu boyunca 4’e gitmek mümkünse’de 4’ten 2’ye tekrar geçiş mümkün değildir.

Benzer bir şekilde Vazo örneğine baktığımızda (2 0 0) , (1 1 0) ve (1 0 1) durumları geçici durumdur. Bu durumlarda boyasız toplar vardır. Bir kere toplar boyandıktan sonra geri dönüş yoktur.

Uzun periodlardan sonra geçici durumda olma olasılığı 0’dır. Her seferinde geçici duruma geldiğimizde pozitif bir olasılıkla bu durumu terkederiz. Bu durumdan geri gelinemeyen bir duruma geçtiğimizde bir daha geçici duruma gelmeyiz. 4

TANIM : Bir durum eğer GEÇİCİ durum değilse bu durum DEVİRLİ durumdur.

Kumarbazın iflası örneğinde durum 0 ve durum 4 hem devirli hem de emici durumlardır. Vazo örneğinde (0 2 0), (0 0 2) ve (0 1 1) durumları devirli durumlardır. Şekil 6’ya bakıldığında bütün durumların devirli durumlar olduğu görülür.

TANIM : Durum i k>1 ile periodik bir durumdur, eğer i’den başlayan bütün yolların tekrar i’ye gelmesi k sayısının katları ise ve k bu şartları sağlayan en küçük sayıysa böyle durumlar periodiktir. Eğer devirli bir durum periodik değilse aperiodik (periodikolmayan) bir durumdur.

5

Aşağıdaki geçiş matrisi verilen markov zincirini düşünelim.

Q = 0 1 00 0 11 0 0

Bu markov zincirinde bütün durumların periodu 3’tür. Örneğin Eğer durum 1 ile başlarsak tekrar durum 1’e dönmek için 1-2-3-1 yolunu takib etmeliyiz. Diğer durumlar içinde periodu 3 olan bir durum söz konusudur. Hangi durumda olursak olalım aynı duruma 3 period sonra geliriz.

Bu problemin grafik gösterimi Şekil 7’de verilmiştir.

1 2 3

1 1

1Şekil 7: Periodik Markov zincirik=3

6

TANIM : Zincirdeki bütün durumlar devirli, aperiodik ve birbiriyle haberleşir durumlarsa zincir ergodiktir.

Kumarbazın iflası problemi ergodik bir zincir değildir. Örneğin durum 3 ve durum 4 haberleşir durumlar değildir.

Vazo örneğide ergodik değildir. Örnek olarak [2 0 0] ile [0 1 1] haberleşir durumlar değildir.

Kola örneği (Örnek 4) Ergodik markov zinciridir.

Bir sonraki slayttaki markov zincirlerinden P1 ve P3 Ergodik markov zinciridir. P2 ise ergodik olmayan markov zinciridir.

7

P1 =

1/3 2/3 01/2 0 1/20 1/4 3/4

Ergodik Markov Zinciri

P2 =

1/2 1/2 0 01/2 1/2 0 00 0 2/3 1/30 0 1/4 3/4

Ergodik OlmayanMarkov Zinciri

P3 =

1/4 1/2 1/42/3 1/3 00 2/3 1/3

Ergodik Markov Zinciri

P2 ergodik değildir çünkü iki kapalı kümeye sahiptir. S1 = {1,2} ve S2 = {3,4} ve farklı kümelerdeki durumlar haberleşen durumlar değildir.

Gelecek slaytlarda(derslerde) burada tanımlanan kavramların önemi daha iyi anlaşılacaktır.

8

Düzenli Markov Zincirleri:

Ergodik Markov zincirini sınırlayan hal düzenli zincirdir.Düzenli zincir, P geçiş olasılıkları matrisinin kuvvetlerindebulunan elemanların sıfırdan farklı ve pozitif olmasınıgerektirir. Bir ergodik zincirin kuvvetleri alınırsa veyamatriste sıfır eleman kalmayıncaya kadar kuvvetler alınırsaergodik zincirin düzenli olduğu görülür. Bu işlem aşağıdaverilmiştir.


Kuvveti alındığında geçiş matrisinde 0 kalmadığı içindüzenlidir.

000

00

000

00

0

xx

xxx

xx

xxx

xxxx

xxxxx

xxxx

xxxx

xxxxx

xxxxx

0

02

xxxxx

xxxxx

xxxxx

xxxxx

xxxxx

4, PP= , P


Bütün düzenli zincirler ergodiktir,

Ama bütün ergodik zincirlerin düzenli olmadığınadikkat etmelidir.

Örnekler: Aşağıdaki geçiş matrislerinin a) düzenli ve b) ergodik olmasını açıklayınız.

xx

xx

xx

0

0

0

xxx

xxx

xxx2

P= P

P geçiş matrisinin P kuvvetinin elemanları pozitif veya sıfırdan farklıolduğundan P geçiş matrisi ile verilen Markov zinciri düzenlidir.Düzenli Markov zincirleri ise ergodiktir. Ayrıca 1’den 1 veya 2’yedoğrudan geçiş vardır, daha sonra da 2’den 3’e geçiş olanaklıdır.2’den 1’e geçilebilir ve 3’den 2’ye, 1’e geçiş vardır. Dolayısıyla zincirergodiktir, bütün durumlara geçiş olanağı vardır.

1)

P geçiş matrisinin kuvvetleri P matrisini tekrar vermektedir. Dolayısıyla Pstokastik matrisi düzenli bir zincir değildir. Zira ilk matriste sıfır elemanlarıvardır ve kuvvetlerde sıfır elemanlar aynen kalmıştır.

Ayrıca 1’den 1 veya 3’e ve 3’den 3 veya 1’e geçiş vardır. Dolayısıyla 1.durumdan 2. duruma veya 4. duruma geçiş olanağı yoktur ve zincirergodik değildir.

2)

xx

xx

xx

xx

P

00

00

00

00

xx

xx

xx

xx

P

00

00

00

00

2

xx

xx

xx

xx

P

00

00

00

00

4


P matrisinin kuvvetleri alınırsa (1,2) elemanı daima sıfırolacaktır. Dolayısıyla verilen Markov zinciri düzenli ve ergodikdeğildir.

3)

2/12/1

01P

4/14/3

012P


P2’nin bütün elemanları pozitif olduğundan P düzenli Markov zinciridir.

4)

3/23/1

10P

9/79/2

3/23/1

3/23/1

10*

3/23/1

10*2 PPP



Kural: m*m boyutlu bir geçiş olasılıkları matrisi P’nin düzenliMarkov zinciri olması için Pm2-2m+2 sıfırdan farklı pozitifelemanlardan oluşmalıdır. O halde P’nin (m2-2m+2) kuvvetialınarak karar verilmelidir. m = 2, 3, 4 için sıra ile P2, P5, P10

araştırmalıdır.

17

KARARLILIK DURUMU OLASILIKLARI VE ORTALAMA İLK GEÇİŞ ZAMANI

Kola örneğine baktığımızda (Örnek 4) uzun bir zaman sonra müşterinin yeni alacağı kolanın kola1 olma olasılığının 0,67’ye yakınsadığını ve müşterinin yeni alacağı kolanın kola2 olma olasılığının 0,33’e yakınsadığını görmüştük (Tablo 2).

Bu olasılıklar müşterinin ilk olarak kola1 veya kola2 almasından bağımsızdı.

Bu bölümde önemli kavram olan kararlılık durumu olasılıklarını göreceğiz. Kararlılık durumu olasılıkları markov zincirinin uzun vade davranışını tarifte kullanılır.

Aşağıdaki sonuç kararlılık durumu olasılıkları ve uzun-vade markov zinciri davranışını anlamak için hayati öneme sahiptir.

TEOREM 1: P s-durumlu ergodik zincir için geçiş matrisi olsun. O zaman aşağıdaki durumu sağlayan Π vektörü vardır. Π = (Π1 Π2 … Πs )

lim𝑛→∞

Pn =

Π1 Π2 ⋯ Πs

Π1 Π2 … Πs

⋮ ⋮ ⋱ ⋮Π1 Π2 ⋯ Πs

18

Önceki derslerden bildiğimiz şekildePn matrisinin ij’inci elemanı Pij(n)’dir. Teorem 1’e göre herhangi bir başlangıç i durumuna göre

lim𝑛→∞

Pij(n) = Πj olur. Büyük n değerleri için Pn matrisi benzer(aynı) sıralara sahip olur.

Uzun bir zamanın ardından markov zincirleri kararlılık durumuna erişir ve başlangıç durumundan bağımsız olarak durum j’de olma olasılığı Πj olur.

Π = (Π1 Π2 … Πs ) vektörü markov zinciri için kararlılık-durumu dağılımı veya denge dağılımı olarak bilinir.

P geçiş matrisi ile verilen bir zincir için kararlılık durumu olasılıklarını nasıl buluruz?Teorem 1’den yola çıkarak büyük n değerleri ve her bir başlangıç durumu i için

Pij(n+1) ≈ Pij(n) ≈ Πj (6)

Pij(n+1) = (Pn ‘in sıra i’si)*(P ‘nin kolon j’si)

Pij(n+1) = 𝑘=1𝑘=𝑠 Pik(n)Pkj (7)

19

Büyük n değerleri için (6) ve (7)’yi birlikte düşünürsek

Πj = 𝑘=1𝑘=𝑠 ΠkPkj (8)

Matris formatında (8)’i yazarsak

Π = ΠP (8’)

(8)’e baktığımızda, eşitlik sistemi sonsuz sayıda çözüme sahiptir, çünkü P matrisinin derecesi (rankı) her zaman <= (s-1) çıkar.

Tek çözüm bulmak için aşağıdaki bildiğimiz eşitliği kullanırız.

Pi1(n) + Pi2(n) + … + Pis(n) = 1 (9)

n sonsuza yaklaşırken (9) aşağıdaki şekilde yazılabilir.

Π1 + Π2 +… + Πs = 1 (10)

(8)’deki herhangi bir eşitliği (10) ile değiştirirsek o zaman eşitlik sistemine tek çözümü bulabiliriz.

20

Kararlılık durumu olasılıklarını nasıl bulduğumuzu Kola örneği (Örnek 4) için gösterelim.Kola örneği için geçiş matrisi aşağıdaki şekildeydi

P = .90 .10.20 .80

(8) Veya (8’) aşağıdaki şekilde yazılabilir.

(Π1 Π2 ) = (Π1 Π2 ) .90 .10.20 .80

Π1 = 0.90Π1 + 0.20Π2

Π2 = 0.10Π1 + 0.80Π2

Yukarıdaki sistemde sınırsız çözüm vardır. Eğer bu sistemden herhangi bir eşitliği çıkarır ve yerine aşağıdaki eşitliği yazarsak tek çözüme ulaşırız.

Π1 = 0.90Π1 + 0.20Π2

1 = Π1 + Π2 bu sistemi çözdüğümüzde

Π1= 2/3 ve Π2=1/3 değerleri bulunur. Böylece uzun bir zaman sonra müşterinin kola1 alma olasılığı 2/3 ve kola2 alma olasılığı 1/3 olur.

21

GEÇİCİLİK ANALİZİTablo 2’ye baktığımızda 10 iterasyondan sonra kararlılık durumuna erişildiği görülmüştür. Markov zincirinin ne kadar çabuk kararlılık durumuna erişeceği ile ilgili genel kural yoktur fakat Eğer P’nin içeriği az ve bu içerik 0 ve 1’e yakınsa kararlılık durumuna çabuk erişilir. Kararlılık durumundan önce ki markov zincirinin davranışı geçici (kısa vade) davranışıdır.

Geçicilik davranışını çalışmak için önceki slaytlardaki Pij(n) olduğu eşitlik (4) ve eşitlik (5)’i kullanırız.

Büyük n değerleri için kararlılık durum olasılıklarının doğru bir şekilde herhangi bir durumda olma olasılığını vermesi sevindiricidir.

22

KARARLILIK-DURUMU OLASILIKLARININ SEZGİSEL YORUMU

Eşitlik (8)’e kararlılık durumu olasılığına sezgisel yorum yapılabilir.

Πj = 𝑘=1𝑘=𝑠 ΠkPkj (8)

Eğer her iki taraftan ΠjPjj değerini çıkarırsak aşağıdaki eşitliğe ulaşırız.

Πj (1-Pjj )= 𝑘=1 ,𝑘≠ 𝑗𝑘=𝑠 ΠkPkj (11)

Eşitlik (11) şunu söyler;Bir geçişin durum j’yi terk etme olasılığı = Geçişin durum j’ye girme olasılığı (12)

Bir geçişin durum j’yi terk etme olasılığı = (Durum j’de olma olasılığı)* (Aktif geçişindurum j’yi terk etme olasılığı )

Bir geçişin durum j’yi terk etme olasılığı = Πj (1-Pjj )

Geçişin durum j’ye girme olasılığı = ( 𝑘=1 ,𝑘≠ 𝑗𝑘=𝑠 (𝐴𝑘𝑡𝑖𝑓 𝑝𝑒𝑟𝑖𝑜𝑑𝑢𝑛 𝑑𝑢𝑟𝑢𝑚 𝑘′𝑑𝑒 𝑏𝑎ş𝑙𝑎𝑚𝑎 𝑜𝑙𝑎𝑠𝚤𝑙𝚤ğ𝚤, 𝑘 ≠ 𝑗) )*

(Aktif geçişin j’ye girme olasılığı)

Geçişin durum j’ye girme olasılığı = 𝑘=1 ,𝑘≠ 𝑗𝑘=𝑠 ΠkPkj 23

ÖRNEK 5: Örnek 4’te her bir müşterinin herhangi bir hafta 1 tane kola aldığını kabul edelim. 100 milyon kola müşterisinin olduğunu varsayalım. 1 Kola firmaya $1’a mal olmakta ve kolayı firma $2’a satmaktadır. Bir reklam firması eğer yıllık $500 milyon reklam verilirse, reklamla kola 1’den kola 2’ye müşteri geçişinin %10’dan %5’e düşeceğini garanti etmektedir. Kola 1 üreten firma bu reklam firmasını tutmalı mıdır?

CEVAP 5: Hali hazırda Π1 = 2/3 dür. Yani kola satışlarının 2/3’ü kola 1 dir.

Yıllık kola satışı 52*100 milyon = 5,2 milyar olur. Kola 1 üreten firma kola başına $1 kazanır. Hissesi 2/3 olduğundan Firma 1’in hali hazırdaki kazancı = 5,2 milyar * 2/3* $1 = $ 3,466,666,667

Eğer Firma reklam firmasını tutarsa Geçiş matrisi aşağıdaki matrise dönüşür.

P1 = .95 .05.20 .80

Bu yeni matris için kararlılık-durumu olasılıklarını hesaplarsak

Π1 = .95Π1 +.20Π2

Π2 = .05Π1 + .80Π2

İkinci eşitliği Π1 + Π2 = 1 ile değiştirip sistemi çözersek Π1 =.8 Π2 =.2 buluruz

24

Şimdi Firma 1’in karına bakacak olursak

.8*5,2 milyar – 500 milyon = $3,660,000,000 olur.

Firmanın yeni karı eski karından fazla olduğu için Firma 1 reklam firmasını tutmalıdır.

25

ORTALAMA İLK GEÇİŞ SAYISI

Ergodik bir zincir için mij = Durum i’de başladığımızda Durum j’ye ilk defa ulaşmadan önce olması gereken beklenen geçiş sayısı

mij =Durum i’den Durum j’ye Ortalama ilk geçiş sayısı

Bir geçiş sonra Durum i’den ya durum j’ye yada mümkün olan j’den başka bir duruma geçilir.

mij = pij * (1) + 𝑘≠ 𝑗 𝑝𝑖𝑘 ∗ (1 + 𝑚𝑘𝑗)

pij + 𝑘≠ 𝑗 𝑝𝑖𝑘 = 1 dir o halde

mij = 1 + 𝑘≠ 𝑗 𝑝𝑖𝑘 ∗ 𝑚𝑘𝑗 (13)

(13) ‘teki lineer eşitlikleri çözdüğümüzde bütün ortalama ilk geçiş sayılarını buluruz.

Ayrıca mii = 1/ Πi olduğundan bu değerleri kullanmak (13)’ün çözümünü kolaylaştırır.

26

ÖRNEK : Örnek 4’te ortalama ilk geçiş sayılarını hesaplarsakΠ1 = 2/3 ve Π2 = 1/3 idi

O zaman m11 = 1/(2/3) =1,5 m22 = 1/(1/3) = 3 olur

Şimdi m12 ve m21 değerlerini hesaplarsak

m12 = 1+ p11*m12 = 1+ 0,9*m12 vem21 = 1 + p22*m21 = 1+ 0,8*m21

Yukarıdaki lineer denklemleri çözdüğümüzde m12 = 10 ve m21 = 5 buluruz. Örneğin kola1 içen kişİ 10. geçişte kola 2 içer.Kola 2 içen kişi 5. geçişte kola 1 içer.

27

28

YÖNEYLEM ARAŞTIRMASI – II - content…content.lms.sabis.sakarya.edu.tr/Uploads/49856/27066/1-2-markov... · TANIM : i ve j iki durum olsun. İden j [ye YOL i [den başlayan bir

Documents