Lanturi Markov Si Sisteme de Asteptare

UNIVERSITATEA TEHNIC A MOLDOVEI

Emilian GUULEAC

Lanuri i sisteme de ateptare markoviene: Elemente teoretice i aplicaii

Chiinu 2010

UNIVERSITATEA TEHNIC A MOLDOVEI

Catedra Calculatoare

Lanuri i sisteme de ateptare markoviene: Elemente teoretice i aplicaiiCiclu de prelegeri

Chiinu U.T.M. 20101

Prezentul ciclu de prelegeri la disciplina "Procese stochastice" este destinat studenilor din anul I cu specializrile 526.1 "Calculatoare" i 526.2 "Tehnologii informaionale", Facultatea Calculatoare, Informatic i Microelectronic. Tematica prelegerilor a fost stabilit n conformitate cu programa de nvmnt. Sunt prezentate unele consideraii teoretice ale lanurilor i sistemelor de ateptare markoviene i semi-Markov, metode de analiz numeric a proprietii lor i aspecte aplicative ale teoriei fenomenelor de ateptare. Scopul lucrrii const n familiarizarea studenilor cu metodele de analiz a lanurilor Markov i a sistemelor de ateptare care pot fi aplicate la modelarea i evaluarea performanelor calculatoarelor, sistemelor i reelelor de calculatoare. Pentru atingerea obiectivului respectiv poate fi utilizat pachetul de programe QM i mediul de modelare VPNP.

Elaborare: conf. univ., dr. hab. Emilian GUULEAC Recenzent: conf. univ., dr. . Sergiu ZAPOROJAN

Aprobat la edina Consiliului tiinific al Facultii Calculatoare, Informatic i Microelectronic din 20 octombrie 2009 Redactor responsabil: conf. univ., dr. Victor ABABII

Procesare computerizat: conf. univ., dr. hab. Emilian GUULEAC

U.T.M., 2010

2

PrefaSistemele de calcul, reelele de calculatoare sau de telecomunicaii sunt sisteme complexe formate dintr-o multitudine de sisteme elementare de tipuri diferite, interconectate dup o structur convenabil, avnd caracteristici proprii ce decurg att din arhitectura lor fizic, precum i din natura proceselor la care sunt supuse. Teoria proceselor stochastice markoviene i semi-Markov reprezint un domeniu relevant n asamblul matematicilor aplicate, care necesit rezolvarea problemelor practice de modelare i evaluare a performanelor sistemelor de calcul cu stri i evenimente discrete. Actualmente teoria proceselor stochastice ocup o arie att de mare nct este puin probabil de a o percepe integral, innd contul n mod deosebit de faptul c aceast teorie este n continu dezvoltare. Metodele fenomenelor de ateptare descriu sisteme i procese de servire cu caracter de mas care intervin n diferite domenii ale activitii practice. Teoria lanurilor Markov i a sistemelor de ateptare este acea ramur a matematicii ce studiaz fenomenele de ateptare, principalele elemente ale creia sunt: sursa - mulimea unitilor (cererilor, clienilor) ce solicit un serviciu la un moment dat, care poate fi finit sau infinit; sosirea unitilor n sistemul de ateptare determin o variabil aleatoare, care reprezint numrul de uniti ce intr n sistem n unitatea de timp. Este necesar s se cunoasc repartiia acestei variabile aleatoare. La originea teoriei ateptrii se gsete determinarea ncrcrii optime a unei server. Pentru a rezolva aceast problem, este necesar s se determine cererile de servicii (apelurile) care sosesc n mod ntmpltor i s se nregistreze timpul necesar pentru prelucrarea acestora. Un astfel de model n care se urmrete satisfacerea ct mai prompt a cererilor de servicii n condiii economice ct mai avantajoase se numete model (sistem) de ateptare (servire). ncercrile de a prezenta esena i materia respectiv a acestor teorii ntr-un volum relativ mic sunt supuse ntru totul gusturilor, preferinelor autorilor i programei de3

nvmnt a disciplinii predate. Astfel i noi am fost forai s selectm anumite elemente de consideraii teoretice din aceast teorie pentru a le aduce la cunotin studenilor nainte de a efectua anumite aplicaii practice prevzute n form de lucrari de laborator. Fiind, n general, subordonate unor anumite programe analitice, noiunile i conceptele prezentate n acest volum apar, n mod firesc, ntr-o succesiune logic i sunt supuse unor restricii temporale i de spaiu inevitabile care conduc adeseori la dezvoltri teoretice limitate. Vom mulumi anticipat acelora, care vor dori s fac observaii constructive asupra prezentei lucrri i vor manifesta nelegere pentru eventualele abateri remarcate n text, formule sau figuri.

4

CuprinsPrefa 1. Procese stochastice i lanuri Markov ..................................................................4 1.1. Noiuni i definiii generale ...............................................................................4 1.2. Clasificarea strilor unui lan.............................................................................6 1.3. Lanuri Markov n timp discret..........................................................................7 1.4. Lanuri Markov n timp continuu ......................................................................8 1.5. Agregare markovian ......................................................................................10 1.6. Procese semi-Markov ......................................................................................11 1.7. Rezolvarea numeric a lanurilor Markov .......................................................15 1.8. Algebra Kronecker i lanuri Markov................................................................ 2. Elemente de teoria ateptrii...............................................................................17 2.1. Generaliti......................................................................................................17 2.2. Sistem de ateptare elementar .........................................................................20 2.3. Legi probabilistice ale sosirilor i servirilor ....................................................24 2.4. Deducerea ecuaiilor de stare pentru un fenomen de ateptare n regim staionar...............................................................................28 2.5. Modele de ateptare.........................................................................................30 2.6. Modele cu restricii..........................................................................................35 3. Aplicaii .................................................................................................................38 3.1. Lanuri Markov timp discret............................................................................38 3.2. Analiza sistemelor de ateptare multicanal......................................................41 3.3. Analiza sistemelor de ateptare prioritare........................................................43 3.4. Analiza reelelor stochastice model Jakson .....................................................45 Bibliografie..52

5

1. Procese stochastice i lanuri Markov1.1. Noiuni i definiii generale Procesele stochastice permit modelarea matematic a numeroaselor componente ale sistemelor tehnice, informatice, economice, sociale etc. n cele ce urmeaz vom reda succint principalele definiii i proprieti ale proceselor stochastice i ale lanurilor Markov ( LM ). Pentru o prezentare mai detaliat a noiunilor redate succint se pot consulta lucrrile [1,5,9,17]. Definiia 1.1. Un proces stochastic X este o familie de variabile aleatoare (X) definite pe acelai spaiu de probabilitate cu valori reale n acelai spaiu de valori i indexate dup un parametru R . Un proces stochastic se reprezint prin: {X, } (1.1)

De obicei precizarea mulimii coincide cu intervalul de timp al evoluiei diverselor clase de procese stochastice. Astfel, dac ={1,2,...,n} este o mulime finit, atunci procesul stochastic este echivalent cu un vector aleator , care determin vectorul de stare al sistemului studiat. n termeni probabilistici, a descrie evoluia unui proces stochastic nseamn cunoaterea probabilitilor tuturor evenimentelor de forma : " la momentul procesul stochastic se gsete n starea (X=x) ", precum i a probabilitilor de realizare simultan a unui numr de astfel de evenimente pentru diverse momente i i diverse mulimi eiR, 1in . Cu alte cuvinte, este necesar s fie cunoscute probabilitile de forma :

Pr ( X e1 ,..., X en )1 n

(1.2)

6

pentru orice nN, orice i i orice eiR, 1in . Acest fapt se manifest prin cunoaterea funciilor de repartiie n - dimensionale

X ... ( x1 , x2 ,...,xn ) = Pr ( X x1 ,..., X xn )1 n 1 n

(1.3)

n acest context se mai spune c legea probabilistic a unui proces stochastic este dat de legea de repartiie a tuturor vectorilor aleatori cu probabilitile (1.2). n ipoteza c parametrul este timpul, se poate face i presupunerea particular c momentele 0,1,...,n sunt ordonate i anume c 0 0) = P(n s ) = n =n=s

s 0. s!(1 / s )60

Probabilitatea ca o unitate s atepte n sistem este (> 0) = P(n s ) = n =n=s

s 0. s!(1 / s )

Timpul mediu (durata medie) de ateptare n ir se obine din relaia n = t , deundet = n s = 0 , s s!(1 / s ) 2

Timpul mediu de ateptare n sistem este

1 t SA = t + . Modelul unui sistem cu un ir de ateptare, server unic, populaie finit (numr limitat de clieni). Dac m este numrul de clieni (solicitani), atunci procesul denatere i moarte conine parametrii n i n pentru care

n = m, n = 0, n = 0, n = (m n), n = , 0 < n m.

n regim permanent, adic n(t) = n = const, n = 0,1,2,...,m, ecuaiile corespunztoare sunt

m0 = 1 ,[(m n) + ]n = (m n + 1)n 1 + n +1 , 0 < n < m,

m1 = m .Din relaia de recurenn = (m n + 1)n 1 , 0 < n < m, = /

rezultm! n n = 0 , 0 < n m, (m n)!

iar

61

0 =

1 . m!n 1+ n =1 ( m n )!m

Numrul mediu de uniti n ir esten = (n 1)n = m n=2 m

1+ (1 0 ).

Valoarea medie a inactivitii serverului este = (1 n)n = 0 .n =0 1

Are loc relaia

nSA = n + 1 .n f = (m n )t f ,

Timpul mediu de ateptare n ir se obine din relaia

de undetf =m 1 1 m 1+ (n 1)n = 1 , (m nSA ) n = 2 0

iar timpul de ateptare n sistem estets = 1 m 1 n = 1 . (m n ) 0

Modelul unui sistem cu un ir de ateptare cu mai muli serveri i populaie finit(numr limitat de clieni). Dac notm cu m numrul de clieni (solicitani) i s numrul de serveri (m>s), atunci procesul de natere i moarte cu parametrii n i n este dat de relaiile n = m, n = 0, n > 0, n = ( m n ) , n = n, 1 n s , n = (m n), n = s, s n m.

n regim permanent, adic n(t) = n, n = 0,1,2,...,m, obinem sistemul liniar de ecuaii

m0 = 1 ,62

[(m n) + n]n = (m n + 1)n1 + (n + 1)n +1 , 1 n s,[(m n) + s]n = (m n + 1)n1 + sn+1 , s n m,

sm = m 1.innd cont de formulele de recurenn =n =

m n +1 n1 , 0 n < s, nm n +1 n 1 , s n m, s

rezultn = Cnmn 0 , Cnm =n =

m! , n < s, (m n)!n!

n! m n Cn 0 , s n m, s!s n s

iar0 = 1 s m 1 C + s! (m n)! s n =0 n =1 s 1 s m n n n

.

Numrul mediu de uniti din irul de ateptare esten =n = s +1

(n s )

m

n

s 1 s = m s 1 0 Cnmn + s s 1Cnm 0 . n=0

Numrul mediu de uniti n sistemul de ateptare este s s m s 1 m n s s 1Cnm m s nSA = Cn + 1 + 0 + . (1 + ) n =0

2.6. Modele cu restricii Sistemele tehnice, informatice, sistemele de calcul i reelele de calculatoare n care att timpul de ateptare n ir (la coad) sau timpul de ateptare total (ir+server) ct i numrul locurilor de ateptarte sunt limitate se numesc sisteme cu restricii. Pentru sosiri Poisson i serverii de forma F(t)=(1-e-x), cnd unitatea sosit n sistem poate atepta un anumit timp constant i mrginit, el se aeaz la coad i63

ateapt. Dac timpul de ateptare este mai mare dect timpul de care dispune unitatea sosit, atunci ea prsete sistemul. Uneori unitatea prsete sistemul fr s fie servit. Sisteme SA cu astfel de caracteristici sunt denumite sisteme de ateptare cu

restricii sau cu pierderi.Cele mai uzuale modele cu restricii sunt urmtoarele: - modele cu timp de ateptare (constant sau variabil), n ir mrginit; - modele cu timp de ateptare cumulat (ir+server) dar mrginit; - modele cu ir de ateptare limitat. Relaiile de calcul al timpului pentru primele dou cazuri se dau n literatur [1,2,7,8,10]. Modelele de ateptare cu ir limitat n cazul unui server, cnd intrarile i servirile respect legea Poisson, opereaz cu urmtoarele mrimi: n = n 0 = n 1 1 N +1 .

n general valorile lui (numrul mediu de uniti n ir) i (numrul mediu de uniti n SA) se calculeaz astfel:n = 2nSA =

(1 N ) N +1 + ( N 1) N (1 )(1 N )

1 ( N + 1) N + N N +1 (1 )(1 N +1 )

n care: N - numrul maxim admisibil de uniti n sistem. Modelele cu ir de ateptare limitat i cu mai muli serveri n paralel n cazul cnd intrrile i serverii sunt de tip Poisson opereaz cu relaii de forma:j = 0 ( / ) j , 1 j < S < N j!1

S k S N S i 0 = + k = 0 k! S ! i = 0 S

n care: j - numrul de uniti din sistem la un moment dat.64

Probabilitatea ca o unitate s prseasc sistemul se poate scrie astfel:

j =

s+ jS!S j

0.

n cazul n care funcia de repartiie a duratei de servire nu este exponenial-negativ, adic coeficientul de variaie Cv 1, atunci sunt utilizate funciile de repartiie Ek (Erlang-k), Cox-k i Hk (Hiperexponenial de ordinul k). Schema sistemului de ateptare SA cu zonele de servire respective sunt prezentate n fig. 2.2. Modelele de ateptare ciclice cu (S) serveri n serie sau paralel, arat modul de stabilire a cheltuielilor cu ateptarea cnd servirea este ciclic. Aceste tipuri de modele opereaz cu relaii de forma:(n) = K + S 1 ; ( S 1)!K ! tt S = S 1 ; K + S 1

nSA =t =

K ( K 1) ; ( S + K 1)tc = 1 K ( K 1) S+ S + K 1

K 1 ; ( S + K 1)

n care: K - numrul total al unitilor din irul de ateptare; - timpul ct un server este neocupat; tc - durata unui ciclu de prelucrare. Modelele de ateptare cu intrri i serviri n grup apar n diverse situaii practice cum ar fi: procesele de fisiune nuclear, procesele de numrtoare a particulelor elementare, procesele automate din cadrul centralelor de telecomunicaii i sitemelor informatice etc. Studierea acestor tipuri de procese se face, analiznd n maniera teoriei ateptrii urmtoarele situaii: - modele cu intrri n grup i serviri individuali; - modele cu intrri individuale i serviri n grup; - modele cu intrri i serviri n grup. n modelele expuse irul de ateptare se formeaz n ordinea sosirilor unitilor n sistem, iar servirea respect principiul primul venit, primul servit. Nu sunt rare65

cazurile cnd disciplina irului de ateptare se stabilete n funcie de urgena i importana lucrrii, aplicndu-se principiul ultimul venit, primul servit. Modelele n care disciplina de servire dup alte criterii difer de disciplina intrrii unitilor n sistem se numesc modele cu prioritate.

a)

b)

Figura 2.3 Schema sistemelor de ateptare cu zone de servire

66

Modelele cu prioritate se mpart n modele cu prioritate relativ i modele cu

prioritate absolut. n cazul modelelor cu prioritate parial, unitatea sosit n sistemateapt pn ce staia se elibereaz de unitatea n lucru i apoi trece n fruntea irului foramat anterior. Dac modelele de ateptare sunt cu prioritatea absolut, atunci n momentul sosirii unei uniti n sistem se ntrerupe servirea la o unitate n curs de servire i se servete noua unitate servit n sistem. Studiul sistemelor n care unitile au prioritate absolut cuprinde diverse situaii dintre care rein atenia urmtoarelor: modele cu ateptare care necesit un timp de orientare pentru a schimba tipul de unitate pe care trebuie s-o deserveasc, modele n care prioritatea se atribuie prin clasificarea unitilor, modele n care unitile sunt alese pentru servire n mod ntmpltor i modele n care servirea se face dup principiul ultimul sosit, primul servit. Modelele cu mai muli serveri n paralel pot fi cu i fr informaii asupra situaiilor serverilor. Dac ne gsim n situaia modelelor fr informaie atunci unitile care sosesc n sistem formeaz iruri ntmpltoare n faa serverilor. Aceste situaii se studiaz ca procese Markov la care probabilitile de trecere a sistemului dintr-o stare n alta se calculeaz cu relaiile obinute prin soluionarea ecuaiilor Chapman-Kolmogorov.

67

3. Aplicaii3.1. Lucrarea de laborator nr. 1

Lanuri Markov timp discret3.1.1. Consideraii teoretice Cum s-a menionat mai nainte, practica ofer numeroase exemple, n care anumite valori caracteristice ale unui sistem, formnd aa numitele stri discrete ale sistemului, variaz o dat cu timpul, astfel nct ele nu pot fi prevzute cu exactitate. Un asemenea proces n care una sau mai multe valori caracteristice lui variaz aleator n timp l numim proces stochastic. Lanul aleator de tip Markov este un ir de variabile aleatoare care satisface condiia lui Markov i anume: probabilitatea c sistemul discret la momentul (k+1) (deseori numit i epoc sau perioad), s se gseasc n starea discret (ik+1), condiionat de faptul c sistemul s-a gsit respectiv la momentele 1,2,...,k-1,k n strile i1,i2,...,ik, nu depinde dect de ultima stare, adicPr ( xk +1 = ik +1 / xk = ik , xk 1 = ik 1 ,...,x1 = i1 ) = Pr ( xk +1 = ik +1 / xk = ik ) .

Probabilitatea c sistemul s fie n starea i la momentul k, o vom nota

i (k ) = Pr ( xk = i ) cu0 i (k ) 1,

( k ) = 1.i =1 i

n

Probabilitatea ca sistemul s treac n starea j la momentul (k+1), tiind c n momentul precedent k el s-a aflat n starea i, adic probabilitatea condiionat

Pr ( xk +1 = j / xk = i ) = pij , (i,j = 1,2,...,n)poart numele de probabilitate de trecere. Un lan Markov este complet determinat dac cunoatem: mulimea strilor discrete S = {si , i = 1, n} , vectorul-linie al probabilitilor de stare iniial i matricea stochastic a probabilitilor de trecere P = (pij), (i,j = 1,...,n),68

0 pij 1, pij = 1.j =1

n

Relaia prin care determinm probabilitile de stare la momentul (k+1), cu ajutorul probabilitilor de trecere i a vectorului de stare corespunztor momentului

k, este descris de ecuaia Kolmogorov [9]:i (k + 1) = i ( k ) pij , j = 1,...,n; k = 0,1,2,...i =1 m

Dac la fiecare stare j se va ataa o funcie cost cj(k) de aflare a lanului DLM n aceast stare, atunci costul mediu de funcionare a lanului este:C (k ) = [c j ( k ) j ( k )]n i =1

.

n fig. 3.1 este prezentat lanul Markov DLM1 ergodic (ireductibil i aperiodic), iar n fig. 3.2 un alt lan DLM2 neergodic (reductibil i aperiodic). Aceste lanuri sunt redate fiecare de un graf orientat ponderat cu probabilitile de trecere respective i condiiile iniiale ale lui .

Fig 3.1. Lan Markov ergotic LMTD1.

69

Fig 3.2. Lan Markov ergotic LMTD2.Deseori este necesar de a determina probabilitatea S (k ) i costul mediu CS (k )bB

de aflare a lanului DLM la momentul k ntr-o submulime de stri S B S , astfel nctS = S B S R , S B S R = . n acest caz

S (k ) =B

s j S B

j

( k ) , iar CS (k ) =B

s j S B

C (k ) j

j

(k ).

La determinarea acestor caracteristici este necesar de a folosi sistemul instrumental

QM pentru a calcula distribuia probabilitilor de stare j(k), j=1,2,...,n; k=0,1,...,K.3.1.2. Scopul lucrrii Studierea metodelor de redare, descriere, analiz a proprietilor de comportare ale lanurilor Markov timp discret (LMTD) i evaluare a caracteristicilor numerice de performan. 3.1.3. Ordinea ndeplinirii lucrrii ndeplinirea lucrrii prevede urmtoarele aciuni: - pentru varianta formulat de profesor de construit graful lanului DLM;70

- de determinat matricea stochastic a DLM i de scris ecuaiile Kolmogorov; - de elaborat algoritmul i programul de calcul numeric al repartiiei probabilitilor de stare la momentul k; - de evaluat probabilitatea S (k ) de aflare n SB i valoarea respectiv a costuluiB

mediu CS (k ) i CS (k ) funcie de durata funcionrii DLM.B

3.1.4. Prezentarea i susinerea lucrrii Lucrarea se prezint n form de referat i se susine profesorului la calculator n mod practic

Coninutul referatului:- foaia de titlu cu denumirea lucrrii; - obiectivele lucrrii de laborator, scurte date teoretice; - calcularea parametrilor respectivi ai DLM; - graficele varierii probabilitilor de stare i a costului mediu n funcie de durata observrii DLM; - concluzii. 3.1.5. ntrebri i teme - matricea stochastic a DLM; - clasificarea strilor DLM; - condiii de ergodicitate ale DLM; - metode de redare a unui DLM; - ecuaiile Kolmogorov ale unui DLM; - metode numerice de soluionare ale ecuaiilor Kolmogorov. 3.2. Lucrarea de laborator nr. 2 Analiza sistemelor de ateptare multicanal 3.2.1. Consideraii teoretice71

Modelele fenomenelor de ateptare descriu sisteme i procese de ateptare cu caracter de mas care intervin n diverse domenii ale activitii practice. n sistemul

SA exist un flux de cereri (clieni) pentru servire, numit flux de intrare, caracterizatde numrul de cereri care intr n sistem ntr-o unitate de timp. ntr-un SA exist elemente care efectueaz serviciile, numite staii de servire sau servere. Pentru servirea fiecrei uniti (cereri), este necesar un timp oarecare, n cursul cruia staia este ocupat i nu poate servi alte uniti. Durata servirii este ntmpltoare (aleatoare). Un model SA este descris complet prin formula lui Kendall de urmtoarele elemente: fluxul de intrare, fluxul de ateptare, staiile de servire i fluxul de ieire. Cu ajutorul fluxului de intrare putem determina modul n care sosesc unitile n SA. Presupunem c intrrile (sosirile) n SA sunt ntmpltoare i independente, deci probabilitatea ca o unitate (cerere) s vin n SA este independent att de momentul n care se produce sosirea, ct i de numrul de uniti existente deja n sistem sau numrul de uniti ce vor veni. Probabilitatea, ca n intervalul de timp (t, t+t), t > 0, s se produc o intrare n sistem, reprezint numrul mediu de intrri n unitatea de timp t i este egal cu 1/, n ipoteza c sosirile urmeaz un proces Poisson de parametru , (0