Top Banner
SAKARYA UNIVERSİTESİ ENDUSTRI MUHENDISLIĞI YÖNEYLEM ARAŞTIRMASI – II MARKOV ZİNCİRLERİ DERS NOTLARI
40

YÖNEYLEM ARAŞTIRMASI – II - content.lms.sabis.sakarya ...content.lms.sabis.sakarya.edu.tr/Uploads/49856/26477/1-1-MARKOV... · STOKASTİK (RASSAL) SÜREÇ NEDİR ? Bir Sistemin

Oct 28, 2018

Download

Documents

trinhthu
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
  • SAKARYA UNIVERSTES

    ENDUSTRI MUHENDISLII

    YNEYLEM ARATIRMASI II

    MARKOV ZNCRLER

    DERS NOTLARI

  • STOKASTK (RASSAL) SRELER

    Bazen rassal deikenlerin zamanla nasl deitiiyle ilgileniriz. rnein borsada bir hissenin fiyatnn nasl deitiiyle veya bir firmann piyasa paynn nasl deitiiyle ilgilenebiliriz. Rassal deikenin zamanla nasl deiecei almalar stokastik sreleri de ierir. Bu derste stokastik prosesler, zellikle bir stokastik proses rnei olan markovzincirleri grlecektir.

    Markov zincirleri eitim, pazarlama, salk hizmetleri, muhasebe ve retim alanlar gibi alanlara uygulanmaktadr.

    Stokastik sre kavramn tanmladktan sonra Markov Zincirleri ile ilgili temel fikirleri greceiz.

  • STOKASTK (RASSAL) SRE NEDR ?Bir Sistemin 0,1,2, diye etiketlenen kesikli zamanlarda baz karakteristiini (zelliklerini) gzlemlediimizi dnelim.

    Xt : Sistem zelliklerinin t zamanndaki deeri olsun.

    Pek ok durumda Xt t zamanndan nce kesin olarak bilinememektedir ve rassal bir deiken olarak grlebilir.

    Kesikli zamanl stokastik sre basite X0, X1, X2,. Rassal deikenleri arasndaki ilikilerin tarifidir.

    Baz kesikli zamanl stokastik sre rnekleri (leride aklanacak rnekler):Kumarbazn iflas ProblemiBir Firmann borsadaki hisse fiyatVazo rnei

  • KUMARBAZIN FLASI PROBLEM (RNEK 1)

    0 Zamannda kumarbaz 2 TLye sahiptir. 1,2, zamanlarnda kumarbaz oyun oynar ve 1TL bahse girer. P olaslkla oyunu kazanr ve (1-p) olaslkla oyunu kaybeder. Burada Ama 4 TL sahibi olunca oyunu bitirmektir. Dikkat edilirse elde 0 TL kalnca da oyun bitmektedir.

    Xt eer zaman tdeki oyundan sonra sermaye durumu olarak tanmlanrsa o zaman X0, X1, ..,Xt kesikli zamanl stokastik sre olarak ortaya kar.

    X0 = 2 bilinmektedir ve sabittir. Fakat X1 ve sonra Xtler rassaldr.

    rnein p olaslkla X1=3 ve (1-p) olaslkla X1=1 olurBu mantkla eer Xt 0 veya 4 ise p olaslkla Xt+1 =Xt+1 ve1-p olaslkla Xt+1 =Xt-1 olur

    Eer Xt=0 ise Xt+1 ve daha sonraki Xt deerleri 0a eittir Eer Xt=4 ise Xt+1 ve daha sonraki Xt deerleri 4e eittir

  • VAZO PROBLEM (RNEK 2)Bir vazoda boyanmam iki tane top bulunmaktadr. Toplar rasgele semekteyiz ve yaz-tura atmaktayz. Eer seilen top boyasz ve para tura gelmise seilen topu krmzya boyarz. Eer seilen top boyasz ve para yaz gelmise seilen topu siyaha boyarz. Eer seilen top zaten boyanmsa yazda gelse turada gelse topu dier renge boyarz.

    Bu durumu stokastik sre olarak modellemek iin zaman tyi para t kere atldktan ve seilen toplar boyandktan sonraki zaman olarak tanmlarsak, Herhangi bir zamandaki durum (b,k,s) vektryle tanmlanabilir. B boyanmam top says, k krmz top says ve s de siyah top saysn ifade eder.

    0 zamannda durum X0= (2,0,0) dr. lk para atldnda top seilip boyandnda olaslkla X1=(1,1,0) ve olaslkla X1=(1,0,1) olur.

    Xt durumlar arasnda baz ilikiler vardr. rnein eer Xt=(0,2,0) ise Xt+1 = (0,1,1) olur veyaXt=(0,0,2) ise Xt+1 = (0,1,1) olur

  • BORSA PROBLEM (RNEK 3)

    Eer X0 Bir Firmann Borsa hissessinin bugnk deeri ise Xt ise hissenin t. Ticari gnn alndaki deeri olsun.

    X0,X1,,Xt deerlerini bilmek bize Xt+1 deerinin olaslk dalm hakknda bireylersyler.

    Buradaki soru t zamanna kadarki hisse fiyatlar t+1 zamanndaki hisse fiyat hakknda ne syler.

    Bu sorunun cevab finans alannda olduka nemlidir.

  • SREKL ZAMANLI STOKASTK SRELER

    Bu srelerde sistemin durumu kesikli zaman yerine herhangi bir zamanda gzlemlenebilir.

    rnein herhangi bir zamanda marketteki mteri says srekli zamanl stokastik sre olarak dnlebilir.

    Burada market aldktan t zaman sonra Xt marketteki mteri saysn gzlemekteyiz ve t real saydr ve srekli deer alr.

    Eer borsada hisse fiyatlarn sadece ticari gn balangcnda deilde srekli olarak herhangi bir zamandaki deeri olarak modellersek o zaman bu sre srekli zamanl stokasti sre olur.

  • STOKASTK SRELERLE LGL 4 DURUM

    KESKL ZAMANLI KESKL DURUMLU STOKASTK SRELER

    Bu srelerde gzlem kesikli zamanlarda olur ve durum kesikli deerler alr. Bu srelere rnekler:

    Kumarbazn iflas problemi Vazo rnei Nfusta doum ve lm,

  • STOKASTK SRELERLE LGL 4 DURUM

    KESKL ZAMANLI SREKL DURUMLU STOKASTK SRELER

    Bu srelerde gzlem kesikli zamanlarda olur ve durum srekli deerler alr. Bu srelere rnekler:

    Her bir ticari gn banda gzlenen borsa hisse fiyat Belirli zaman aralklarnda llen rzgarn hz, Bir nehrin debisinin saatte bir llmesi,

  • STOKASTK SRELERLE LGL 4 DURUM

    SREKL ZAMANLI KESKL DURUMLU STOKASTK SRELER

    Bu srelerde gzlem srekli zamanlarda olur ve durum kesikli deerler alr. Bu srelere rnekler:

    Bir markette srekli zamanl gzlemlenen mteri says Bir otobs duranda srekli gzlemlenen yolcu says Bir ehirdeki doum ve lm

  • STOKASTK SRELERLE LGL 4 DURUM

    SREKL ZAMANLI SREKL DURUMLU STOKASTK SRELER

    Bu srelerde gzlem srekli zamanlarda olur ve durum srekli deerler alr. Bu srelere rnekler:

    Srekli durumlu, srekli zamanl stokastik sre.

    Srekli zamanl izlenen kalp atlar Srekli zamanl takip edilen borsa hisse fiyatlar Srekli zamanl olarak gzlemlenen bir gl veya nehrin derinlii

  • MARKOV ZNCRLER

    Markov zincirleri Kesikli zamanl stokastik proseslerin (srelerin) zel bir trdr. Basit bir ifadeyle herhangi bir zamanda kesikli zamanl stokastik sre sonlu sayda durumdan birinde olabilir. Sonlu saydaki durumlar 1,2,,s olsun

    Eer kesikli zaman stokastik sre aadaki koulu salyorsa sre markov zinciridir.

    t= 0,1,2, iin ve her bir durum iin

    P(Xt+1=it+1/ Xt=it, Xt-1=it-1,,X1=i1,X0=i0) = P(Xt+1=it+1/ Xt=it) (1)

    ise sre markov zinciridir.

  • Durum deikeninin t+1 zamanndaki olaslk dalm t zamanndaki duruma baldr ve t zamanna kadar olan btn zamanlardaki durumlardan bamszdr.

    Daha ileri bir varsaymda bulunarak btn durumlar i ve j ve btn zamanlar t iinP(Xt+1=j/ Xt=i) olasl zamandan da bamszdr. Bu varsaym bize aadaki eitlii yazabilmemizi salar.

    P(Xt+1=j/ Xt=i) = pij (2)

    burada pij sistemin t zamannda i durumunda olup t+1 zamannda j durumuna geme olasldr.

    Eer sistem bir periodda i durumundan bir period sonra j durumuna gemise bu durumda iden jye gei gerekleti deriz. Bu nedenle olaslklarna markov zincirinin gei olaslklar deriz.

    Eitlik (2) bir period sonraki durumla ilgili olaslk kanununun zamanla deimez (satasyoner (stationary) kald) Olduunu ifade eder. Bu nedenle Eitlik (2) stasyonervarsaym olarak bilinir ve Eitlik (2) yi salayan markov zinciri stasyoner markovzinciridir.

  • Markov zinciri almalarmzda zincirin t=0 zamannda i durumunda bulunma olasl olan qi olaslklar ile ilgileniriz.

    Dier bir deyile P(X0=i) = qi olur. Her bir durumu dndmzde ortaya markov zincirinin ilk olaslk dalm diye ifade ettiimiz q vektr kar.

    q = q1 q . q lk Olaslk dalm

    Pek ok uygulamada gei olaslklar sxs gei olaslk matrisi P ile gsterilir.

    P =

    11 12 121 22 2 1 2

    Gei olaslklar matrisi

  • Zaman t de durumun i olduu verilmi olsun. Zaman t+1de sre bir yerlerde olmaldr.Bu matematiksel olarak aadaki gibi ifade edilir.

    =1=

    P(Xt+1=j/ Xt=i)=1

    =1=

    =1

    t zamannda i durumunda olan sistem t+1 zamannda mmkn olan durumlardan birine geer.

  • KUMARBAZIN FLASI PROBLEM (devam)Kumarbazn iflas probleminde gei matrisini bulunuz. ZM: t+1deki para t zamanna kadar birikmi paraya (t zamanndaki paraya) bal olduundan bu sre bir markov zinciridir. Oyunun kurallar zamanla deimedii iin bu ayn zamanda stasyoner (sabit) markov zinciridir.

    Durum i , i TL paraya sahip olunduunu gstermektedir. Gei matrisi aadaki gibidir.

    Durum$0 $1 $2 $3 $4

    0 1 0 0 0 01 1-p 0 p 0 0

    P = 2 0 1-p 0 p 03 0 0 1-p 0 p4 0 0 0 0 1

    p ihtimalle para miktar 1 birim artacak. (1-p) ihtimalle 1 birim azalacaktr. Eer durum 0 ve 4e geilmise bu durumlar terkedilmeyecektir. P00 = P11 = 1 olduu grlr.

  • 0 1 2 3 4

    1

    1-p

    1-p

    p 1-p

    p

    p

    1

    KUMARBAZIN FLASI PROBLEMNDE GE MATRSNN GRAFKSEL GSTERM

    Gei matrisi grafiksel olarak gsterilirken her bir dm olas durumlar, oklar ise (ok(i,j)) gei olaslklarn (pij) gstermektedir.

  • VAZO RNE (devam) Vazo ve ierisindeki toplarn rengi rneinde gei matrisini oluturun.

    ZM:Bir sonraki periodun top renkleri bir nceki periodun durumuna bal olduu iin bu problem (stokastik sre) markov zinciridir. Kurallar zamanla deimedii iin bu markov zincir, stasyoner(sabit) markov zinciridir. Gei matrisi aadaki gibidir

    Durum(0 1 1) (0 2 0) (0 0 2) (2 0 0) (1 1 0) (1 0 1)

    (0 1 1) 0 (1/2) (1/2) 0 0 0(0 2 0) 1 0 0 0 0 0

    P= (0 0 2) 1 0 0 0 0 0(2 0 0) 0 0 0 0 (1/2) (1/2)(1 1 0) (1/4) (1/4) 0 0 0 (1/2)(1 0 1) (1/4) 0 (1/4) 0 (1/2) 0

  • Gei matrisinin nasl olduunu gstermek iin gei matrisindeki (1 1 0) srasn dnelim. Eer aktif durum (1 1 0) ise tablo 1 de gsterilen olaylardan biri olur.

    OLAY OLASILIK YEN DURUMTura gelmesi ve boyasz topun seilmesi (1/4) (0 2 0)Krmz topun seilmesi (1/2) (1 0 1)Yaz gelmesi ve boyasz topun seilmesi (1/4) (0 1 1)

    Tablo 1 : Eer aktif durum (1 1 0) ise gei olaslklarnn hesaplanmas

    olaslkla gelecek durum (0 2 0) olacak, olaslkla gelecek durum (1 0 1) olacak ve olaslkla gelecek durum (0 1 1) olacaktr.

    ekil 2 gei matrisinin grafik gsterimini vermektedir.

  • (0 1 1)

    (0 2 0)

    (0 0 2)

    (2 0 0)

    (1 1 0)

    (1 0 1)

    1 1/2

    1/2

    1/2

    1/2

    1/21/2

    1/4

    1/4

    1/4

    1/41

    ekil 2 : Vazo probleminde gei matrisinin grafiksel gsterimi

  • rnek 1: Aadaki ekildeki saylar ke noktalar veyadnleri belirleyen kavaklar ve aradaki izgiler de yollarbelirlemektedir. Bir arabann dn veya dorudangitmesini e olaslkla varsayarak kelerde bulunmakisteini gei olaslklar matrisi ile gsteriniz.

    7 8 9

    4 5 6

    1 2 3

  • zm:

    2 nolu kede bulunmas halinde 1, 3 veya 5 kelerindebulunma olasl 1/3 olacaktr. 5 nolu kede ise takiben2, 4, 6 veya 8 kelerine 1/4 olaslkla gidebilir v.s.

    Gei matrisi aadaki gibidir ve mevcut herhangi birdurumdan, verilen herhangi bir duruma geilir.Dolaysyla sre ergodiktir.

  • 02/102/100000

    3/103/103/10000

    02/10002/1000

    3/10003/103/100

    04/104/104/104/10

    003/103/10003/1

    0002/10002/10

    00003/103/103/1

    000002/102/101

    2

    3

    4

    5

    6

    7

    8

    9

    1 2 3 4 5 6 7 8 9

  • n-ADIM GE OLASILIKLARI

    P gei matrisi olan Markov zincirini altmz dnelim. (lgilendiimiz markovzincirleri stasyoner(sabit) olduundan, aka sylemesek de stasyoner markovzincirleri kastetmekteyiz)

    Burada ilgilendiimiz soru eer markov zinciri m zamannda i durumundaysa, n adm sonra j durumunda olma ihtimali nedir?

    Stasyoner markov zinciri ile ilgilendiimizden dolay bu olaslk mden bamszdr. yleyse

    P(Xm+n=j/ Xm=i) = P(Xn=j/ X0=i)= pij(n)

    pij(n) n-admda iden jye gei olasldr.

    pij(1) = pij olduu aktr.

  • imdi pij(2) ye karar verelim. Bu durumda sistem durum idedir ve 2 adm sonra durum jye gelecektir. nce Durum iden mmkn olan durumlardan birine geeriz (durum k). Sonra Durum kden durum jye geeriz (ekil 3). Bu mantk bize aadaki eitlii gsterir.

    pij(2) = =1= (kden jye gei olasl)

    P matrisinin tanmn kullanarak

    pij(2) = =1= pik pkj (3) yazabiliriz.

    1

    psjk

    s

    i j

    pi1

    pi2

    pik

    p1j

    p2j2

    pkj

    pis ekil 3pij(2) = Pi1 *p1j + Pi2 *p2j

    + + Pis *psj

  • pij(2) = =1= pik pkj (3)

    (3)n sa taraf P matrisinin sra i si ile P matrisinin kolon jsinin skalar arpmdr. Bundan dolay pij(2) P

    2 matrisinin ij inci elemandr. Bu durumu genellersek :

    n >1 iin

    pij(n) Pn matrisinin ij inci elemandr (4)

    Eer n=0 ise pij(0) = P(X0=j/ X0=i ) yleyse aadaki doru olmaldr.

    1 Eer j=i isepij(0) =

    0 eer j i ise

    Eitlik (4) n kullanm rnek 4 te gsterilmitir.

  • RNEK 4: KOLA RNE

    Btn kola endstrisinin iki tip kola rettiini kabul edelim. Eer bir insann kola 1 satn ald verilmise, gelecek alnnda kola 1 olmas %90dr. Eer bir insann en son kola 2 ald verilmise gelecek alnn kola 2 olmas %80 olaslkladr.a) Eer mteri imdi kola 2 alyorsa iki alveri sonra kola 1 alma ihtimali nedir?b) Eer mteri imdi kola 1 alcsysa, alveri sonra kola 1 almas ihtimali nedir?

    ZM

    Burada her bir kiinin alveriini markov zinciri olarak dnrz. Bu problem iki durumlu markov zinciridir ve alnan kolann tipi en son periodda alnan kolann tipine baldr.

    Durum 1 = Mteri en son kola1 almtrDurum 2= Mteri en son kola2 almtr

    Eer Xn n.periodda alnan kola olarak tanmlarsak (imdiki kola al = X0 ) o zaman

    X0 , X1 takibeden slayttaki, gei matrisine sahip markov zincir olarak tanmlanabilir.

  • P = .90 .10.20 .80

    imdi soru a) ve b)yi cevaplayabiliriz.

    a) Aradmz olasl ifade edersek

    P(X2=1/ X0=2 ) = p21(2) = P2nin ( ij=2-1)inci eleman

    P2 = .90 .10.20 .80

    .90 .10

    .20 .80=.83 .17.34 .66

    p21(2) = .34

    ki al veri sonra imdi kola1 ien mteri .34 olaslkla kola 2 ier.

    Bu durumu temel olaslk teorisini kullanarak da bulabilirdik.p21(2) = (Gelecek al kola1 ve 2. al kola1) + (Gelecek al kola2 ve 2. al kola1)

    = p21* p11 + p22 * p21 = .20 * .90 + .80*.20 = .34

    Bu durum takibeden slaytta grafik olarak gsterilmitir.

    Kola1 Kola2

    Kola1 Kola2

  • Kola2 Kola2

    Kola2

    Kola1

    Zaman 0 Zaman 1 Zaman 2

    P22= .80

    P21= .20

    P21=.20

    P11= .90

    ekil 4: ki Period sonra kola2 alcsnn kola1 alma olasl.20 * .90 + .80*.20 = .34

  • b) Bu soruda aradmz p11(3)tr.

    p11(3) = P3n ij. Eleman (1-1inci)

    P3 = P * (P2 ) = .90 .10.20 .80

    .83 .17.34 .66

    =.781 .219.438 .562

    Dolaysyla

    p11(3) = .781 olur.

  • Pek ok durumda Markov Zincirinin Zaman 0da hangi durumda olduunu bilmemekteyiz.

    qi = Zincirin Zaman 0da i durumunda olma olasl olsun. O zaman sistemin n zamannda durum jde olma olasln aadaki mantkla bulabiliriz.

    1

    2

    i

    s

    j

    q1

    p1j(n)

    Zaman 0 Zaman n

    q2

    qi

    qs

    p2j(n)

    pij(n)

    psj(n)

    ekil 5: Balang durumun bilinmedii durumda n zamannda j durumunda olma olasl

  • Zaman nde durum jde olma olasl

    = =1= (n admda iden jye gei olasl)

    = =1= q i pij () = q (P

    n matrisinin j. Kolonu) (5)

    q= q 1 q 2 q

    SORU : Kola rnei DevamBalangta mterilerin %60 kola 1 iiyor ve %40 kola2 iiyorsa, 3 zaman(adm) sonra mterilerin ne kadar kola1 ier.

    CEVAP: q= .60 .40Zaman 3de kola1 ime olasl = q (P3 matrisinin 1. Kolonu)

    = .60 .40 .781.438

    = .6438

    Bylece 3 zaman sonra 64% mteri kola1 ier

  • n-adm gei olaslklarnn byk n deerleri iin davrann gstermek iin baz n deerleri iin kola rneinin n-adm gei olaslklar tablo 2de verilmitir.

    n P11(n) P12(n) P21(n) P22(n)

    1 .90 .10 .20 .80

    2 .83 .17 .34 .66

    3 .78 .22 .44 .56

    4 .75 .25 .51 .49

    5 .72 .28 .56 .44

    10 .68 .32 .65 .35

    20 .67 .33 .67 .33

    30 .67 .33 .67 .33

    40 .67 .33 .67 .33

    Tablo 2: Kola rneinde n-adm gei olaslklar

    n bydke P11(n) ve P21(n) deerleri .67ye yaklayor ve sabitleniyor. Bunun anlam balang durum ne olursa olsun uzun vadede kola1 alma olasl(yzdesi) .67 dir.

    n bydke P12(n) ve P22(n) deerleri .33e yaklayor ve sabitleniyor. Bunun anlam balang durum ne olursa olsun uzun vadede kola2 alma olasl(yzdesi) .33 dr.

  • Problemlerin Markov Zincirleri ile Formlize Edilmesi:

    u anda (n=0) Planlamada olan bir mhendisin iki yl sonra (n=2) OnarmBlmnde olma ihtimali nedir?

    P->P->O = 0,7*0,1=0,07; P->O->O = 0,1*0,8=0,08; P->A->O = 0,2*0=0

    artl ihtimallerin toplam = 0,07 + 0,08 + 0 = 0,15

    P O A

    P 0,7 0,1 0,2

    O 0,1 0,8 0,1

    A 0,1 0 0,9

    Planlama

    Planlama

    Planlama Onarm Aratrma Planlama Onarm Aratrma Planlama Onarm Aratrma

    Onarm Aratrma 0.70 0.10 0.20

    n=0. Adm

    0.70 0.10 0.20 0.10 0.10 0.10 0 0.900.80

    n=1. Adm

    n=2. Adm

  • Problemlerin Markov Zincirleri ile Formlize Edilmesi:

    Planlama Blmnde alan mhendisinikinci ylda Planlama, Onarm ve AratrmaBlmlerine atanma olaslklar:

    P O A

    P 0,7 0,1 0,2

    O 0,1 0,8 0,1

    A 0,1 0 0,9

    P.VV1n

    i

    n

    i

    )33.015.052.0(

    9.001.0

    1.08.01.0

    2.01.07.0

    .)2.01.07.0(P.VV1

    1

    2

    1

  • Problemlerin Markov Zincirleri ile Formlize Edilmesi:

    Daha genel olarak bu problemde, n=2 ylsonraki btn gei ihtimallerini bilmekistersek P matrisinin karesi alnr:

    P O A

    P 0,7 0,1 0,2

    O 0,1 0,8 0,1

    A 0,1 0 0,9

    83.001.016.0

    19.065.016.0

    33.015.052.0

    9.001.0

    1.08.01.0

    2.01.07.0

    .

    9.001.0

    1.08.01.0

    2.01.07.0

    P2

  • n. Adm Sonunda Her Bir Grupta Ka Kii Bulunur?

    n=(n1, n2, ): dnem ba mevcutlar vektr

    m=(m1, m2, ): dnem sonu mevcutlar vektr

    nP.nm

  • n. Adm Sonunda Her Bir Grupta Ka Kii Bulunur?

    Dnem ba personel durum mevcutlar n=(100, 80, 120) vektr ile verilirse 2. yl sonunda gruplar arasndaki dalm yle bulunabilir:

    )1486884(

    83.001.016.0

    19.065.016.0

    33.015.052.0

    .)12080100(m