Kapitel 4 Markovketten - uni-bamberg.de · ☞Indexmenge T abz¨ahlbar: Prozeß (zeit)diskret. Menge S heißt Zustandsraum. Werte der ZV Xt interpretiert als Zust¨ande eines Systems

Werner Sandmann: Modellierung und Analyse 4–1

Kapitel 4

Markovketten

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.1 Grundlagen 4–2

Abschnitt 4.1

Grundlagen


Einordnung

Abstrakte Modellbeschreibung

”High-Level“ – Modellierungsparadigma

Warteschlangenmodell, Petrinetz, ProzeßalgebraAutomatenmodell, Transitionssystem

Analyse

Stochastischer Prozeß

Markovprozeß

Markovkette

Zustandsraum diskret

Gedachtnislos?

Ja

Nicht–Markovscherstochastischer Prozeß

Nein

Analyse Analyse


Stochastischer Prozeß

Definition: Stochastischer Prozeß

Ein stochastischer Prozeß ist eine Familie von Zufallsvariablen (Xt)t∈T aufeinem Wahrscheinlichkeitsraum (Ω,A, P ) mit Werten in einer Menge S.

Menge T heißt Indexmenge oder Parametermenge.

Indizes t ∈ T interpretiert als Zeiten

Indexmenge T uberabzahlbar: Prozess (zeit)stetig = (zeit)kontinuierlich,

Indexmenge T abzahlbar: Prozeß (zeit)diskret.

Menge S heißt Zustandsraum.

Werte der ZV Xt interpretiert als Zustande eines Systems

Zustandsraum S uberabzahlbar: Prozeß zustandsstetig

Zustandsraum S abzahlbar: Prozeß zustandsdiskret, heißt Kette.

Abbildung t 7→ Xt(ω) heißt Pfad oder Trajektorie oder Realisierung.


Klassen stochastischer Prozesse

Einfache weitere Klassifizierung moglich gemaß der Abhangigkeiten der Xt :

Einfachster Fall: Folge unabhangiger (ggf. identisch verteilter) Zufallsvariablen.

Zweiteinfachster Fall: Abhangigkeit nur vom aktuellen Zustand Ã Markovprozeß.

Diverse weitere Klassifizierungsmoglichkeiten. . .

Wichtige Klassen stochastischer Prozesse (z.T. uberlappend)

Markovprozesse, Markovketten, Semi–Markovprozesse

Zahlprozesse Ã Ankunftsprozesse → Kapitel 4 (Konventionelle Lastmodelle)

Erneuerungsprozesse Ã Ankunftsprozesse → Kapitel 4 (Konv. Lastmodelle)

Markovsche Zahl-/Erneuerungsprozesse → Kapitel 5 (Netzlastmodelle)

Fraktale Prozesse, Autoregressive Prozesse → Kapitel 5 (Netzlastmodelle)

Geburts-/Todesprozesse → Kapitel 6 (Elementare Markovsche Modelle)

Quasi-Geburts-/Todesprozesse → Kapitel 10 (Matrixanalytische Methoden)

Regenerative Prozesse → Kapitel 11 (Diskrete Simulation)


Markoveigenschaft

Definition: Markoveigenschaft, Markovprozeß

Ein stochastischer Prozeß (Xt)t∈T heißt Markovprozeß (MP), genau dann,wenn fur alle t0 < t1 < . . . < tn+1, ti ∈ T und x0, . . . , xn+1 ∈ S, n ∈ IN :

P (Xtn+1 = xn+1|Xtn = xn, . . . , Xt0 = x0) = P (Xtn+1 = xn+1|Xtn = xn).

Diese Eigenschaft heißt Markoveigenschaft.

Definition: Markovkette

Ein Markovprozeß mit endlichem oder abzahlbarem (also diskretem) Zustands-raum heißt Markovkette (MK).

Interpretationen Markovprozesse (insbesondere Markovketten) sind gedachtnislos.

Der Folgezustand hangt nur vom aktuellen Zustand ab.

Die”Vorgeschichte“ des Prozesses spielt keine Rolle.


Klassifizierung von Markovprozessen

Markovprozesse klassifiziert nach Parametermenge und Zustandsraum

Parameter- Zustandsraum

menge diskret stetig

(Zeit–) Diskrete Markovkette (Zeit–) Diskreter Markovprozeß

diskret Discrete–Time Markov Chain Discrete–Time Markov Process

(DTMC) (DTMP)

(Zeit–) Stetige Markovkette (Zeit–) Stetiger Markovprozeß

stetig Continuous–Time Markov Chain Continuous–Time Markov Process

(CTMC) (CTMP)

Zustandsraum endlich: endliche Markovkette

Fur Markovketten zur Vereinfachung oft OBdA S ⊆ IN

endlich: typischerweise S = 0, 1, . . . , S oder S = 1, 2, . . . , S abzahlbar unendlich: typischerweise S = IN0 oder S = IN+


Zustandswahrscheinlichkeiten

Sprechweise/Interpretation

Falls Xt = i fur t ∈ T, i ∈ S, ist die Markovkette zur Zeit t im Zustand i.

Definition: Transiente Zustandswahrscheinlichkeit

Die Wahrscheinlichkeit, daß eine Markovkette zur Zeit t ∈ T in einem Zustand

i ∈ S ist, heißt transiente Zustandswahrscheinlichkeit von i zur Zeit t,

π(t)i := P (Xt = i).

Definition: Transiente Verteilung

Der Vektor π(t) = (π(t)0 , π

(t)1 , . . .) der transienten Zustandswahrscheinlichkei-

ten heißt transiente Wahrscheinlichkeitsverteilung oder kurzer transiente Ver-teilung der Markovkette zur Zeit t.


Ubergangswahrscheinlichkeiten

Definition: Transiente Ubergangswahrscheinlichkeiten

Fur beliebige t1, t2 ∈ T mit t1 < t2 heißen die Wahrscheinlichkeiten, daß die

Markovkette zur Zeit t1 in einem Zustand i ∈ S und zur Zeit t2 in einem

Zustand j ∈ S ist, transiente Ubergangswahrscheinlichkeiten (UWK)

pij(t1, t2) := P (Xt2 = j|Xt1 = i).

Beachte insbesondere:

Ubergangswahrscheinlichkeiten sind bedingte Wahrscheinlichkeiten.

WK nichtnegativ, also fur t1, t2 ∈ T mit t1 < t2 und i, j ∈ S : pij(t1, t2) ≥ 0.

Bedingte WK ist W–Verteilung, also∑

j∈S

pij(t1, t2) = 1.


Pfadwahrscheinlichkeiten

Pfade/Realisierungen/Trajektorien

Direkte Folgerung aus der Markoveigenschaft

Pfadwahrscheinlichkeiten: WK fur Pfade (x0, x1, . . . , xn), n ≥ 0

sind gegeben durch und bilden die

Verteilung der (n + 1)-dimensionalen ZV (Xt0, Xt1, . . . , Xtn)

Fur alle x0, . . . , xn ∈ S und t0, t1, . . . , tn, n ∈ IN mit t0 < t1 < · · · < tn

P (Xt0 = x0, . . . , Xtn = xn) = π(0)x0

n−1∏

k=0

pxkxk+1(tk, tk+1)

= P (Xt0 = x0)px0x1(t0, t1)px1x2(t1, t2) · · · pxn−1xn(tn−1, tn).


Reisen uber Zwischenstationen

Einfache Uberlegungen

”Reist“ man in einer gewissen Zeit von einem Zustand zu einem anderen Zustand,

dann besucht man zwischendurch weitere Zustande.

Startet man zur Zeit t1 in i und landet man zur Zeit t2 in j, war man also zu einerZwischenzeit s, t1 < s < t2 in irgendeinem

”Zwischenzustand“ k.

Die WK, zur Zeit t1 in i und zur Zeit t2 in j zu sein, kann also zusammengesetztwerden:

WK zur Zeit t1 in i und zur Zeit s in irgendeinem k zu sein multipliziert mitWK zur Zeit s in besagtem k und zur Zeit t2 in j zu sein.

Zwischenzustand k ist beliebig und auf verschiedenen Wegen sind verschiedene Zwi-schenzustande moglich

⇒ Produkt der WK muß uber alle Zwischenzustande summiert werden.

Genau dieser Zusammenhang wird in den Chapman–Kolmogorov–Gleichungen ausgedruckt.


Chapman–Kolmogorov–Gleichungen

Satz: Chapman–Kolmogorov–Gleichungen

Fur beliebige i, j ∈ S und t1, s, t2 ∈ T mit t1 < s < t2 gilt

pij(t1, t2) =∑

k∈S

pik(t1, s)pkj(s, t2).

Beweis: spater fur spezielle Markovketten.

Oder als Ubung ;-)

Beachte aber

Chapman–Kolmogorov–Gleichungen gelten fur jede Art von Markovketten.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.2 Diskrete Markovketten 4–13

Abschnitt 4.2

Diskrete Markovketten


4.2.1 Grundbegriffe

Bereits eingefuhrt

Markovkette (MK): Markovprozeß mit diskretem Zustandsraum.

(Zeit–) Diskrete MK: MK mit diskreter Indexmenge (Parametermenge).

Wir lassen den Zusatz”(Zeit–)“ meist weg, da

1. klar ist, daß diskrete MK eine MK mit diskreter Indexmenge ist,2. die Interpretation als Zeiten zwar ublich und nutzlich, formal aber nicht notwendig ist.

Ublicherweise Parametermenge T = IN und”Zeitparameter“ n ∈ IN. Damit

Definition: Diskrete Markovkette

Ein stochastischer Prozeß (Xn)n∈IN mit diskretem Zustandsraum S heißt zeit-diskrete Markovkette (Discrete–Time Markov Chain, DTMC ) oder kurz dis-krete Markovkette, falls fur alle n ∈ IN und x0, . . . , xn+1 ∈ S gilt

P (Xn+1 = xn+1|Xn = xn, . . . , X0 = x0) = P (Xn+1 = xn+1|Xn = xn).


Zustandswahrscheinlichkeiten

Analog zum allgemeinen Fall jetzt mit den Notationen fur diskrete MK:

Transiente Zustandswahrscheinlichkeit von j zur Zeit n : π(n)j := P (Xn = j).

Transiente Verteilung zur Zeit n : π(n) = (π(n)0 , π

(n)1 , . . .).

Speziell

Anfangszustandswahrscheinlichkeiten π(0)0 , π

(0)1 , . . . ; Anfangsverteilung π(0).

Zustandsubergange (Transitionen) finden zu diskreten Zeitpunkten statt

⇒ Interpretationen fur diskrete Markovkette:

Zeitliche Entwicklung einer diskreten MK verlauft in Schritten.

Zustand zur Zeit n ∈ IN ist Zustand nach n Ubergangen

nach n Schritten.


Ubergangswahrscheinlichkeiten

Wiederum analog zum allgemeinen Fall, nun in diskreten Schritten:

Wahrscheinlichkeit dafur, zur Zeit n (also nach n Schritten) im Zustand i und zurZeit n + m (also nach m weiteren Schritten) im Zustand j zu sein.

Fur diskrete Markovketten mit Zustandsraum S und i, j ∈ S, n, m ∈ IN

Transiente m–Schritt–Ubergangswahrscheinlichkeiten

p(m)ij (n) := pij(n, n + m) = P (Xn+m = j|Xn = i).

Transiente 1–Schritt–Ubergangswahrscheinlichkeiten

pij(n) := p(1)ij (n) = P (Xn+1 = j|Xn = i).

Kurz: Transiente Ubergangswahrscheinlichkeiten.


Homogene diskrete Markovketten

Definition: Stationare Ubergangswahrscheinlichkeiten

Ubergangswahrscheinlichkeiten einer diskreten Markovkette heißen stationar,wenn sie nicht von der Zeit abhangen.

Stationare m–Schritt–UWK: fur alle n, m ∈ IN0

P (Xn+m = j|Xn = i) = P (Xm = j|X0 = i) =: p(m)ij .

Stationare 1–Schritt–UWK: fur alle n ∈ IN0

P (Xn+1 = j|Xn = i) = P (X1 = j|X0 = i) =: pij.

Definition: Homogene diskrete Markovkette

Eine diskrete Markovkette heißt homogen, wenn alle Ubergangswahrschein-lichkeiten stationar sind.


Ubergangsmatrizen

Stationare UWK werden zusammengefaßt in Ubergangsmatrizen.

m–Schritt–Ubergangsmatrix

Matrix der m–Schritt–UWK

P(m) = (p(m)ij )i,j∈S :

P(m) =

p(m)00 p

(m)01 p

(m)02 . . .

p(m)10 p

(m)11 p

(m)12 . . .

... ... ... . . .

(1–Schritt–) Ubergangsmatrix

Matrix der 1–Schritt–UWK

P = (pij)i,j∈S :

P =

p00 p01 p02 . . .

p10 p11 p12 . . .

... ... ... . . .

Unendlicher Zustandsraum: Ubergangsmatrix unendlich.

Endlicher Zustandsraum S : Ubergangsmatrix endliche |S| × |S|–Matrix.


Stochastische Matrizen

Nach Definition von UWK gilt:

Ubergangsmatrizen haben nur nichtnegative Elemente und Zeilensumme 1.

Matrizen mit dieser Eigenschaft heißen stochastische Matrizen.Also: Ubergangsmatrizen homogener diskreter Markovketten sind stochastische Matrizen.

Fur m–Schritt-Ubergangsmatrizen P(m)

p(m)ij ≥ 0, i, j ∈ S und

∑

j∈S

p(m)ij = 1, i ∈ S.

Fur Ubergangsmatrix P analog

pij ≥ 0, i, j ∈ S und∑

j∈S

pij = 1, i ∈ S.

Ubergangsmatrizen bilden eine Halbgruppe bezuglich der Matrixmultiplikation, d.h.das Produkt von Ubergangsmatrizen ist wieder eine Ubergangsmatrix (Beweis: Ubung?).


Graphische Darstellung

Homogene diskrete Markovketten konnen als gerichtete Graphen interpretiert werden.

Knoten: Zustande

Kanten: von i ∈ S nach j ∈ S, falls pij > 0; beschriftet mit pij.

Direkte Interpretation als beschriftetes Transitionssystem(Labelled Transition System, LTS)

Graphische Darstellung durch Zustandsubergangsdiagramm in der fur Graphen ublichenWeise, hier Beispiel ohne Beschriftung:

0

12

34

5



Satz: Chapman–Kolmogorov–Gleichungen

Mit den eingefuhrten Notationen fur homogene diskrete MK

p(ℓ+m)ij =

∑

k∈S

p(ℓ)ik p

(m)kj , ℓ, m ∈ IN0.

Spezialfallp(m)ij =

∑

k∈S

p(m−1)ik pkj, m ∈ IN+.

In Matrixschreibweise

P(ℓ+m) = P(ℓ)P(m) bzw. P(m) = P(m−1)P.

Somit ist die Matrix der m–Schritt–Ubergangswahrscheinlichkeiten die m–te Potenz der1–Schritt–Ubergangsmatrix, und wir konnen daher Pm schreiben.


Beweis

p(ℓ+m)ij = P (Xℓ+m = j|X0 = i)

=∑

k∈S

P (Xℓ+m = j, Xℓ = k|X0 = i)

=∑

k∈S

P (Xℓ+m = j|Xℓ = k, X0 = i)P (Xℓ = k|X0 = i)

Markov=

∑

k∈S

P (Xℓ+m = j|Xℓ = k)P (Xℓ = k|X0 = i)

=∑

k∈S

p(ℓ)ik p

(m)kj ¤



Es folgt direkt eine Vorschrift zur Berechnung der Verteilung von Xn, also der transienten

Zustandswahrscheinlichkeiten π(n)i zur Zeit n :

Vektoriteration oder Potenzmethode (Ã numerische Verfahren).

π(n) = π(0)Pn = π(n−1)P.


WK eines Pfadsegmentes (xi, . . . , xn)

P (Xi = xi, . . . , Xn = xn) = P (Xi = xi)

n−1∏

k=i

pxk,xk+1, 0 ≤ i ≤ n,

WK eines zur Zeit 0 beginnenden Pfades (x0, . . . , xn)

p(x0, . . . , xn) := P (X0 = x0, . . . , Xn = xn) = π(0)x0

n−1∏

k=0

pxk,xk+1.


Verweildauern

Fragestellung:

Wie lange (wieviele Schritte) verweilt die Markovkette in einem Zustand?

Das Verweilen in einem Zustand i ∈ S laßt sich als Bernoulli–Experiment mit Erfolgs-wahrscheinlichkeit pii interpretieren.

⇒ Verweildauer ist also geometrisch verteilt mit Parameter pii.

Dies ist auch plausibel, da die Ubergangswahrscheinlichkeiten nur vom aktuellen Zustandund nicht von der Vorgeschichte und insbesondere auch nicht von der bereits im Zustandverweilten Zeit abhangen.

Zur Erinnerung

Die geometrische Verteilung ist die einzige diskrete Verteilung mit der Eigenschaftder Gedachtnislosigkeit.


Eindeutige Beschreibung

Wodurch wird eine homogene diskrete Markovkette beschrieben?

Gestartet wird in einem Anfangszustand gemaß einer Anfangsverteilung.

Zustande andern sich gemaß der stationaren UWK.

Damit klar, daß zur Beschreibung die Angabe der Ubergangswahrscheinlichkeiten und derAnfangsverteilung ausreichen.

Somit gilt

Satz:

Eine homogene diskrete Markovkette ist eindeutig beschrieben durch eine An-fangsverteilung und eine Ubergangsmatrix.


Langzeitverhalten

Gegeben sei homogene diskrete Markovkette mit Zustandsraum S, Ubergangsmatrix P

und beliebiger Anfangsverteilung.

Definition: Grenzverteilung

Die Markovkette hat eine Grenzverteilung π = (π0, π1, . . .), falls

∀j ∈ S : limn→∞

π(n)j = πj.

Definition: Stationare Verteilung

Die Markovkette hat eine stationare Verteilung π = (π0, π1, . . .), falls

π = πP, also

∀j ∈ S : πj =∑

i∈S

πipij und∑

i∈S

πi = 1.


Zusammenhange

Plausibilitat Langzeitverhalten und stationare Verteilung?

Sei π = (π0, π1, . . .) stationare Verteilung.

Dann gilt offensichtlich fur die transienten Zustandswahrscheinlichkeiten

π(0)j = πj, j ∈ S =⇒ π

(n)j = πj fur alle n ∈ IN.

Eine Grenzverteilung ist immer stationar, die Umkehrung gilt im allgemeinen nicht.

Stationare Verteilungen sind im allgemeinen nicht eindeutig.

Gesucht: Bedingungen fur

die Existenz von Grenzverteilungen,

die Eindeutigkeit stationarer Verteilungen.

→ abhangig von bestimmten Eigenschaften der Markovkette Ã Klassifizierungen.


4.2.2 Klassifizierungen

Definition: Erreichbarer Zustand

Ein Zustand j ∈ S heißt erreichbar von einem Zustand i ∈ S, in Zeicheni → j, falls es moglich ist, in einer endlichen Anzahl von Schritten vomZustand i in den Zustand j zu gelangen, also

i → j :⇔ ∃n ∈ IN : p(n)ij > 0.

Die Relation”→“ ist offensichtlich transitiv.

Definition: Kommunizierende Zustande

Zwei Zustande i, j ∈ S kommunizieren, in Zeichen i ↔ j, falls sie wechsel-seitig voneinander erreichbar sind, also

i ↔ j :⇔ i → j ∧ j → i.


Irreduzible Markovketten

Definition: Irreduzible Markovkette

Eine homogene diskrete Markovkette heißt irreduzibel, falls alle Zustande kom-munizieren, d.h. jeder Zustand von jedem anderen Zustand erreichbar ist, also

∀(i, j) ∈ S2 ∃n ∈ IN : p(n)ij > 0.

Bemerkung

Die Relation”↔“ ist eine Aquivalenzrelation.

⇒ Zustandsraum kann in Aquivalenzklassen partitioniert werden.

⇒ Alternative Definition irreduzibler Markovketten:

eine Markovkette ist genau dann irreduzibel, wenn es genau eine Aquivalenzklassebezuglich ↔ gibt.


Rekurrenz

Definition: n–Schritt–Rekurrenzwahrscheinlichkeit

Fur alle Zustande i ∈ S heißt die Wahrscheinlichkeit fur die erste Ruckkehrnach i in genau n ∈ IN Schritten, also

f(n)i := P (Xn = i|Xn−1 6= i, . . . , X1 6= i, X0 = i),

die n–Schritt–Rekurrenzwahrscheinlichkeit von i.

Definition: Rekurrenzwahrscheinlichkeit

Die Wahrscheinlichkeit, nach Verlassen eines Zustands i jemals wieder zuruck-zukehren, heißt Rekurrenzwahrscheinlichkeit und ist gegeben durch

fi :=

∞∑

n=1

f(n)i .


Zustandsklassifizierungen

Definition: Transienter/Rekurrenter Zustand

Ein Zustand i ∈ S heißt transient, falls fi < 1 und rekurrent, falls fi = 1.

Definition: Mittlere Rekurrenzzeit

Fur rekurrente Zustande i ∈ S heißt

mi :=

∞∑

n=1

nf(n)i

die mittlere Rekurrenzzeit.

Definition: Positiv rekurrenter Zustand, Nullrekurrenter Zustand

Ein Zustand i ∈ S heißt positiv rekurrent, falls mi < ∞ und nullrekurrentsonst.


Charakterisierung der Markovkette

Satz:

Fur irreduzible homogene diskrete Markovketten gilt genau eine der Aussagen

alle Zustande sind positiv rekurrent,

alle Zustande sind nullrekurrent,

alle Zustande sind transient.

Folgerungen

Die Eigenschaften eines einzelnen Zustands charakterisieren also den gesamten Zu-standsraum.

Bei der Untersuchung von Rekurrenz und Transienz genugt es also, nur einen leichthandhabbaren Zustand zu betrachten.

Man spricht daher auch von rekurrenten, positiv rekurrenten, nullrekurrenten und transi-enten Markovketten.


Periodizitat

Definition: Periode eines Zustands

Fur einen Zustand i ∈ S heißt

ggT(n ∈ IN : p(n)ii > 0)

die Periode von i.

Falls ∀n ∈ IN+ : p(n)ii = 0, dann sei d(i) := 0. Der Zustand i ist dann

transient.

Definition: Periodischer/Aperiodischer/Ergodischer Zustand

Ein rekurrenter Zustand i ∈ S heißt periodisch, falls d(i) > 1 und aperiodisch,falls d(i) = 1. Er heißt ergodisch, falls er aperiodisch und positiv rekurrentist.

Bemerkung: Ein Zustand i ∈ S mit pii > 0 hat Periode 1, ist also aperiodisch.


Ergodisch und Absorbierend

Definition: Periodische/Aperiodische/Ergodische Markovkette

Eine homogene DTMC heißt aperiodisch, falls alle Zustande aperiodisch sindund periodisch, sonst. Sie heißt ergodisch, falls sie irreduzibel und aperiodischist und alle Zustande positiv rekurrent sind.

Bemerkung: Eine endliche irreduzible aperiodische homogene DTMC ist also immer er-godisch, da alle Zustande positiv rekurrent sind.

Definition: Absorbierender Zustand, Absorbierende Markovkette

Ein Zustand i ∈ S heißt absorbierend, falls kein anderer Zustand von i auserreicht werden kann, also pii = 1. Eine homogene DTMC heißt absorbierend,falls ihr Zustandsraum mindestens einen absorbierenden Zustand enthalt.

Bemerkung: Es ist klar, daß eine absorbierende Markovkette nicht irreduzibel und somitauch nicht ergodisch ist.


Zusammenhange

Satz:

Fur jede aperiodische homogene DTMC existiert eine Grenzverteilung π.

Fur jede irreduzible aperiodische homogene DTMC ist die Grenzverteilungπ unabhangig von der Anfangsverteilung.

Fur jede ergodische homogene DTMC ist die Grenzverteilung π eindeutigestationare Verteilung. Diese eindeutige stationare Verteilung kann mittelsdes Gleichungssystems π = πP mit Normierungsbedingung, also

∀j ∈ S : πj =∑

i∈S

πipij, und∑

i∈S

πi = 1

berechnet werden oder, falls die (endlichen) mittleren Rekurrenzzeiten mi

bekannt sind, uber die Beziehung

∀j ∈ S : πj =1

mj.


4.2.3 Absorbierende diskrete Markovketten

Absorbierende diskrete Markovketten

Offensichtlich keine eindeutige stationare Verteilung.

Man landet irgendwann in einem absorbierenden Zustand.

Haufig eingesetzt zur Modellierung von Systemen mit Fehlern.

Beispiel: Ruin eines Spielers (Gambler’s Ruin)

Spieler A hat Startkapital a Euro, Spieler B hat Startkapital b Euro.

Spieler A gewinnt eine Spielrunde mit WK p, Spieler B mit WK q := 1 − p.

Der Verlierer einer Runde zahlt dem Gewinner jeweils 1 Euro.

Das Spiel dauert so lange, bis einer der Spieler ruiniert ist;

aus der Sicht von Spieler A also bis er 0 oder c := a + b Euro besitzt.


Random Walk

Das Spiel kann modelliert werden als Random Walk mit zwei absorbierenden Randern:

Homogene diskrete Markovkette (Xn)n∈IN mit Zustandsraum S = 0, . . . , c

Absorbierende Zustande 0 und c bzw. rekurrente Klassen 0 und c,

Xn = Kapital von Spieler A nach n Spielrunden.

Sei Zn+1 =

+1 mit WK p,

−1 mit WK q(Bernoulli-verteilte ZV).

⇒ Xn+1 = Xn + Zn+1.

Sei T die Spieldauer, also der erste Zeitpunkt n, an dem Xn = 0 oder Xn = c gilt.

⇒ Gewinn-WK fur Spieler A bei Startkapital a

fa = P (XT = c|X0 = a),

die Absorptionswahrscheinlichkeit fur den Zustand c bei Start in Zustand a.

Dies konnen wir leicht”von Hand“ berechnen.


Berechnung der Gewinn-WK fur Spieler A

Idee: Berechne fi fur alle i ∈ 0, . . . , c.

Rekurrenz:

f0 = 0, fc = 1, fi = pfi+1 + qfi−1 fur i ∈ 1, . . . , c − 1.

Also

fi+1 − fi =q

p(fi − fi−1) fur i ∈ 1, . . . , c − 1.

Im Einzelnen

f2 − f1 =q

p(f1 − f0) =

q

pf1,

f3 − f2 =q

p(f2 − f1) =

(q

p

)2

f1,

...

fc − fc−1 =q

p(fc−1 − fc−2) =

(q

p

)c−1

f1.


Berechnung der Gewinn-WK – Fortsetzung

Addition ergibt fur i > 1

fi − f1 =

(q

p+

(q

p

)2

+ · · · +

(q

p

)i−1)

f1

bzw.

fi =

1 − (qp)

i

1 − qp

f1, falls p 6= q,

i · f1, falls p = q.

fc − f1 = 1 − f1 =

(q

p+

(q

p

)2

+ · · · +

(q

p

)i−1)

f1 ⇒ f1 =

1 − qp

1 − (qp)

c, p 6= q,

1

c, p = q.


Gewinn-WK und Spieldauer

Damit

fi =

1 − (qp)

i

1 − (qp)

c, falls p 6= q

i

cfalls p = q.

Die WK fur Gewinn von Spieler A und Gewinn von Spieler B summieren sich zu 1

⇒ WK, daß das Spiel unendlich lange dauert, ist 0 (Ubung?).

Ã Wie lange dauert das Spiel?

Mittlere Spieldauer: mi = E[T |X0 = i] (Spieler A beginnt mit Startkapital i).

Rekurrenz: m0 = mc = 0, mi = 1 + p · mi+1 + q · mi−1 fur i ∈ 1, . . . , c − 1.

⇒ Ahnlich zur Berechnung der Absorptionswahrscheinlichkeiten erhalt man

Mittlere Zeit bis zur Absorption: mi = i(c − i) (Ubung?).


Verallgemeinerung

Unterteilung der Ubergangsmatrix P einer absorbierenden Markovkette so, daß

P =

(I 0

R Q

),

wobei die Zustande nach absorbierenden und transienten sortiert werden(also ggf. Umnumerierung von Zustanden).

R beschreibt Ubergange von transienten zu absorbierenden Zustanden.

Q beschreibt Ubergange zwischen transienten Zustande.

I ist die Einheitsmatrix(da man aus einem absorbierenden Zustand nicht wieder

”herauskommt“).

Offensichtlich

Man landet nach endlich vielen Schritten in einem absorbierenden Zustand .

⇒ limk→∞

Qk = 0.


Fundamentalmatrix absorbierender Markovketten

Bezeichnungen

Sei nij die mittlere Anzahl von Besuchen im transienten Zustand j, bevor die Markov-kette in den absorbierenden Zustand ubergeht, wenn im Zustand i gestartet wurde.

Sei T die Menge der transienten Zustande.

Sei A die Menge der absorbierenden Zustande.

Dann giltnij = δij +

∑k∈T

pik nkj.

In MatrixschreibweiseN = I + Q N

⇔ (I − Q) N = I

⇔ N = (I − Q)−1.

Definition: N heißt Fundamentalmatrix der absorbierenden Markovkette.


Bamberger Wetter

In Bamberg sind an einem Tag drei Wetterlagen moglich

Regen(R), schoner Tag(D) und Schnee(S).

Es gibt niemals zwei aufeinanderfolgende schone Tage.

Modelliert mit einer Markovkette erhalt man folgende Ubergangsmatrix:

R D S

R 12

14

14

D 12 0 1

2

S 14

14

12

Wieviele Tage dauert es im Mittel bis zum ersten Regentag?(von einem beliebigen Starttag aus)


Mittlere Zeit bis Regen

Markovkette mit Ubergangsmatrix und nun absorbierendem Zustand R

R D S

R 1 0 0

D 12 0 1

2

S 14

14

12

Dabei ergibt sich N durchD S

D 43

43

S 23

83

.

Also ist z.B. die mittlere Anzahl von schonen Tagen bis zu einem Regentag 43 , wenn mit

schonem Wetter gestartet wurde.


Bamberger Wetter – Absorptionszeiten

Mittlere Absorptionszeiten

Sei τi die mittlere Anzahl von Schritten bis zur Absorption, wenn im Zustand i gestartetwurde. Es gilt

τi =∑

j∈T

nij.

Im Beispiel ergibt sich (Vektor der τi)

τ =

(83

103

).

Also

Es regnet im Mittel nach 83 Tagen zum ersten Mal, wenn von einem schonen Tag

ausgegangen wurde.

Es regnet im Mittel nach 103 Tagen zum ersten Mal, wenn von Schnee ausgegangen

wurde.


Absorptionswahrscheinlichkeiten

Absorptionswahrscheinlichkeiten

Sei bij die Wahrscheinlichkeit, daß die Markovkette im transienten Zustand i startet undim absorbierenden Zustand j endet.

Dann gilt

bij = pij

∑

k∈T

pik bkj , i ∈ T, j ∈ A.

⇒ B = R + Q B

⇔ B = (I − Q)−1 R = N R

=∑k∈T

nik pkj.

Sei mij die mittlere Anzahl von Schritten, die man braucht, um den Zustand j zum erstenMal zu erreichen, wenn man im Zustand i gestartet ist.

Diese Werte ergeben sich leicht fur alle j, wenn man aus j einen absorbierenden Zustandmacht, denn dann gilt mij = τi.

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.3 Stetige Markovketten 4–47

Abschnitt 4.3

Stetige Markovketten


4.3.1 Grundbegriffe

Wir erinnern uns

Markovkette (MK): Markovprozeß mit diskretem Zustandsraum.

(Zeit–) Stetige MK: MK mit stetiger (kontinuierlicher) Indexmenge (Parametermenge).

Ublicherweise Parametermenge T = IR+ und”Zeitparameter“ t ∈ IR+.

Weitere Bezeichnungen (ZWK, UWK) dann genau wie bei den allgemeinen Definitionen.

Zustandsubergange (Transitionen) also zu beliebigen Zeitpunkten moglich

⇒ Interpretation fur stetige Markovkette:

Zeitentwicklung einer stetigen MK verlauft stetig (kontinuierlich).

MK verweilt gewisse Zeit in einem Zustand und springt dann in anderen Zustand,Markoveigenschaft (Gedachtnislosigkeit) ⇒ exponentiell verteilte Verweildauer.

Im Unterschied zu diskreten MK nicht festgelegt, wieviele Ubergange nach einer be-stimmten Zeit auftreten, keine diskreten Schritte.


Homogene stetige Markovketten

Definition: Stationare Ubergangswahrscheinlichkeiten

Ubergangswahrscheinlichkeiten einer stetigen Markovkette heißen stationar,wenn sie nicht von den Zeitpunkten sondern nur von der Lange des betrach-teten Zeitraums, also der Zeitdifferenz, abhangen, d.h. ∀t1, t2, h ∈ IR+

pij(t1, t1 + h) = P (Xt1+h = j|Xt1 = i)

= P (Xt2+h = j|Xt2 = i) = pij(t2, t2 + h).

WK, in einem Zeitraum der Lange h vom Zustand i in den Zustand j zu gelangen:

pij(h) := pij(t, t + h) = P (Xt+h = j|Xt = i), i, j ∈ S, t, h ∈ IR+.

Definition: Homogene stetige Markovkette

Eine stetige Markovkette heißt homogen, falls alle Ubergangswahrscheinlich-keiten stationar sind.


Ubergangsmatrizen

WK, in einem Zeitraum der Lange h vom Zustand i in den Zustand j zu gelangen (s.o.):

pij(h) := pij(t, t + h) = P (Xt+h = j|Xt = i), i, j ∈ S, t, h ∈ IR+.

Analog zum diskreten Fall (vergleichbar mit m–Schritt–UWK)

UWK zusammengefaßt in Ubergangsmatrizen (jetzt abhangig von Zeitdauer)

P(h) =

p00(h) p01(h) p02(h) . . .

p10(h) p11(h) p12(h) . . .... ... ... . . .

.

Ubergangsmatrizen sind stochastische Matrizen, es gilt also

pij(h) ≥ 0, i, j ∈ S und∑

j∈S

pij(h) = 1, i ∈ S.




Fur h1, h2 ∈ IR+

pij(h1 + h2) =∑

k∈S

pik(h1)pkj(h2).

In MatrixschreibweiseP(h1 + h2) = P(h1)P(h2).

Definition: Stetige Halbgruppe von Ubergangsmatrizen

Eine Menge P(h) : h ≥ 0 von Ubergangsmatrizen heißt stetige Halbgruppevon Ubergangsmatrizen (Transition Semigroup), falls alle darin enthaltenenMatrizen die Chapman–Kolmogorov–Gleichungen erfullen und

limh→0

P(h) = P(0) = I (I ist Einheitsmatrix).


Lokale Charakteristika

Satz:

Ist P(h) : h ≥ 0 stetige Halbgruppe von Ubergangsmatrizen einer stetigen

Markovkette, dann existieren fur alle Zustande i, j ∈ S die Grenzwerte

qi := limh→0

1 − pii(h)

h∈ [0,∞],

qij := limh→0

pij(h)

h∈ [0,∞), i 6= j.

Definition: Lokale Charakteristika

Mit qii := −qi heißen die qij lokale Charakteristika der Halbgruppe oder derstetigen Markovkette.


Generatormatrix

Definition: Generatormatrix, Ratenmatrix, Intensitatsmatrix

Die Matrix Q = (qij)i,j∈S heißt Generatormatrix, Ratenmatrix, infinitesimalerGenerator oder Intensitatsmatrix der stetigen Markovkette, also

Q = limh→0

P(h) − P(0)

h= lim

h→0

1

h(P(h) − I).

Sind alle Eintrage von Q endlich, dann

Generatormatrix/Ratenmatrix/Intensitatsmatrix beschrankt,

zugrundeliegende Halbgruppe und stetige Markovkette stabil.

Zugrundeliegende Halbgruppe und stetige Markovkette konservativ, wenn fur alle

Zustande i ∈ S :qii = −qi = −

∑

j∈S,j 6=i

qij (⇒ Zeilensumme 0).

Im folgenden nur stabile konservative stetige Markovketten.


Interpretationen

Warum”Generatormatrix“?

Fur Q gilt exp((h1 + h2)Q) = exp(h1Q) · exp(h2Q) (exp ist Exponentialfunktion)

⇒ eine stetige Halbgruppe von Ubergangsmatrizen mit

P(h) = exp(hQ) und h = h1 + h2

erfullt die Chapman–Kolmogorov–Gleichungen (→ Ubung).

In diesem Sinne generiert Q also die Ubergangsmatrizen.

Warum”Ratenmatrix“?

Stetige Markovkette

”betritt“ Zustand i zur Zeit t,

verweilt exponentiell mit Parameter (Rate) qi verteilte Zeitdauer,

wechselt dann mit”Sprung-WK“ pij in den Zustand j.


Weitere Interpretation: Race

Stetige Markovkette

”betritt“ Zustand i zur Zeit t,

wechselt zur Zeit t + Tij in den Zustand j,

• Tij exponentiell verteilte ZV mit Parameter (Rate) qij,

• alle ZV Tij, i 6= j unabhangig, ebenso unabhangig von Vorgeschichte,

Wettrennen (Race) zur Bestimmung des nachsten Zustands (vgl. Wecker bei PN):

j ist Zustand mit Tij = mini6=kTik.

Daher heißen die qij, i 6= j auch Ubergangsraten.

Beachte

Minimum exponentiell verteilter ZV ist wieder exponentiell verteilt.

Parameter ist Summe der einzelnen Parameter.

⇒ konsistent mit vorheriger Interpretation.


Eindeutige Beschreibung und Graphische Darstellung

Analog zum diskreten Fall

Eine homogene stetige Markovkette ist eindeutig bestimmt durch eine Generatormatrixund eine Anfangsverteilung.

Graphische Darstellung als gerichteter Graph

Knoten: Zustande

Kanten: von i ∈ S nach j ∈ S, falls qij > 0; beschriftet mit qij.

• Direkte Interpretation als beschriftetes Transitionssystem(Labelled Transition System, LTS)

Graphische Darstellung auch hier durch Zustandsubergangsdiagramm.

Beachte

Anders als im diskreten Fall

Gemaß Definition der Generatormatrix mit qii ≤ 0 fur alle i ∈ S keine Kanten, dieSchleifen von einem Zustand in sich selbst (self–loops) darstellen.

(Es gibt aber auch Varianten der Definition mit self–loops.)


Struktursatz

Homogene stetige Markovkette mit Generatormatrix Q,

X0, X1, X2, . . . die Zustande, die nacheinander angenommen werden,

τ0, τ1, τ2, . . . die Verweildauern in den Zustanden.

Dann gilt

(Xn)n∈IN ist eine homogene diskrete Markovkette mit den UWK

pij =

−qij

qii, falls i 6= j, qii < 0,

0, falls i 6= j, qii = 0 oder i = j, qii < 0,

1, falls i = j, qii = 0.

Die τi sind unabhangig, und τi hangt nur von Xi ab. Ist der erreichte Zustand j, alsoXi = j, dann ist τi exponentiell verteilt mit Parameter −qjj.

(Xn)n∈IN heißt (die der stetigen Markovkette) eingebettete diskrete Markovkette.Die UWK pij sind die Verzweigungswahrscheinlichkeiten in die moglichen Folge-zustande, wenn in ein Ubergang aus einem Zustand i heraus stattfindet.


Anmerkungen und Eigenschaften

Aus Q kann fur alle h die Matrix P(h) berechnet werden.

Die stetige Halbgruppe von Ubergangsmatrizen ist das stetige Analogon zu den Ite-rierten der Ubergangsmatrix im diskreten Fall.

Die Generatormatrix hat in dem Sinne kein direktes Analogon, sie ist eine stetigeNotation, die Ableitungen enthalt.

Nach Definition

Q = limh→0

P(h) − P(0)

h,

d.h. Generatormatrix ist die Ableitung der Matrixfunktion h 7→ P(h) an der Stelle 0.

Im Gegensatz zum diskreten Fall ist die direkte Berechnung transienter Zustandswahr-scheinlichkeiten aus den Chapman–Kolmogorov–Gleichungen schwierig.

Stattdessen: Transformation in lineares Differentialgleichungssystem (DGS) und Be-rechnung unter Zuhilfenahme der Generatormatrix.


Beweis des Struktursatzes

Der im Struktursatz definierte Prozeß ist eine stetige Markovkette

stetige Zeit (stetige Parametermenge)

diskreter Zustandsraum

Dazu: Nachweis der Gedachtnislosigkeit

Generatormatrix Q ist die im Struktursatz definierten Generatormatrix uberein.

Gedachtnislosigkeit

Sei τi exponentiell verteilt mit Parameter q > 0.

P (τi > t + h|τi ≥ t) =

(∫ ∞

t+h

qe−qxdx

)/

(∫ ∞

t

qe−qxdx

)

=e−q(t+h)

e−qt

= e−qh = P (τi > h).


Beweis – Fortsetzung

Seien nun P(h) die Ubergangsmatrizen des Prozesses.

Zu zeigen

limh→0

1

h(P(h) − I) = Q.

OBdA starte Prozeß zur Zeit 0 in Zustand i.

Sei A(0, h) die Anzahl der Sprunge im Intervall [0, h].

Dann gilt mit qi = −qii

pii(h) = P (A(0, h) = 0) = P (τ1 > h) =

∞∫

h

qie−qixdx = e−qih.



P (A(0, h) = 1) =∑

j 6=i

qij

qi· P (τ1 ≤ h, τ1 + τ2 > h)

=∑

j 6=i

qij

h∫

0

∞∫

h−s

eqisqje−qjudu ds

=∑

j 6=i,qi=qj

hqije−qih +

∑

qi 6=qj

qij

qj − qi(e−qih − e−qjh)

=∑

j 6=i,qj=qi

hqije−qih +

∑

qj 6=qi

qijhe−min(qi,qj) · h + o(h)

= h∑

j

qij + o(h)

= qih + o(h).



Einschub: Bemerkungen

o(h)”Restfunktion“ mit

limh→0

o(h)

h= 0.

Es gilte−ah − e−bh

b − a= h · emin(a,b)·h + o(h).

Wegen des bisher Gezeigten und eax = 1 + ax + o(h) gilt

P (A(0, h) > 1) = 1 − P (A(0, h) = 0) − P (A(0, h) = 1)

= 1 − e−qih − qih + o(h)

= o(h).



pij(h) =

∞∑

k1

P (X(h) = uj ∧ A(0, h) = k)

=qij

qiP (A(0, h) = 1) +

∞∑

k=2

P (X(h) = uj ∧ A(0, h) = k)

= qijh + o(h) + o(h).

Insgesamt also jetzt (endlich)

limh→0

1

hpij(h) = qij, lim

h→0

1

h(pii(h) − 1) = −qi = qii.


Kolmogorov–Vorwarts/Ruckwarts–DGS

Aus den Eigenschaften stetiger Halbgruppen von Ubergangsmatrizen

Fur alle t, h ≥ 0

P(t + h) − P(t)

h=

P(t) · P(h) − P(t)

h

= P(t) ·P(h) − I

h︸︷︷︸→ Q

=P(h) − I

h︸︷︷︸→ Q

·P(t).

Ubergang zum Grenzwert fur h → 0

Kolmogorov–Vorwarts–DGS

∂

∂tP(t) = P(t) · Q.

Kolmogorov–Ruckwarts–DGS

∂

∂tP(t) = Q · P(t).


Kolmogorov–Vorwarts/Ruckwarts–Gleichungen

In expliziter Form

Kolmogorov-Vorwarts-Gleichungen

∂

∂tpij(t) =

∑

k∈S

pik(t)qkj.

Kolmogorov-Ruckwarts-Gleichungen

∂

∂tpij(t) =

∑

k∈S

qikpkj(t).

⇒ Differentialgleichungssystem fur transiente Zustandswahrscheinlichkeiten

∀j ∈ S :∂

∂tπ

(t)j =

∑

i∈S

qijπ(t)i .

Vektor–Matrix–Schreibweise

∂

∂tπ(t) = π(t)Q.


Langzeitverhalten

Grenzverteilungen und stationare Verteilungen analog zum diskreten Fall definiert.

Unterschied: Stationaritatsbedingung muß fur alle h ≥ 0 gelten.

⇒ Stationare Verteilung fur stetige MK π = (π0, π1, . . .) mit ∀h ≥ 0 : πP(h) = π.

⇒ Direkte Berechnung stationarer Verteilungen uber die P(h) unmoglich.

Aquivalente Formulierung unter Verwendung der Generatormatrix Q :

πP(h) = π exp(hQ) = π

(I +

h

1!Q +

h2

2!Q2 + · · ·

)= π +

h

1!πQ +

h2

2!πQ2 + · · · .

Also πP(h) = π ⇔ πQ = 0.

In expliziter Form (zusammen mit Normierungsbedingung fur W–Verteilungen)

∀j ∈ S :∑

i∈S

πjqij = 0 und∑

i∈S

πi = 1.


Stationare Verteilung per Einbettung

Satz:

Seien Q Generatormatrix einer homogenen CTMC, P die Ubergangsmatrixund µ die stationare Verteilung der eingebetteten DTMC. Dann sind die sta-tionaren Zustandswahrscheinlichkeiten der CTMC gegeben durch

πi =

µi

qii∑

j∈S

µj

qjj

.

Beachte

Dazu ist naturlich notwendig, die stationare Verteilung der eingebetteten DTMC zu kennen,also zu berechnen.


4.3.2 Klassifizierungen

Ahnlich wie im diskreten Fall

Klassifizierung von homogenen stetige Markovketten und deren Zustanden.

Die meisten Eigenschaften sind analog zum diskreten Fall definiert, daher hier nur informell.

Zustandseigenschaften

Periodizitat ist im stetigen Fall nicht moglich,

Erreichbare und kommunizierende Zustande sowie Rekurrenzbegriffe sindim wesentlichen wie fur diskrete MK definiert,

Unterschied: Zeitdauern anstatt Schrittzahlen.

Absorbierende Zustande i ∈ S : ∀h ≥ 0 pii(h) = 1

⇒ Eintrage der Generatormatrix in der zum Zustand korrespondierenden Zeile

∀j ∈ S : qij = 0.


Klassifizierung homogener stetiger Markovketten

Eigenschaften homogener CTMC

irreduzibel, falls jeder Zustand von jedem anderen Zustand erreichbar ist,

absorbierend, falls es mindestens einen absorbierenden Zustand gibt,

ergodisch, wenn positiv rekurrent ist,

insbesondere: jede endliche irreduzible homogene CTMC ist ergodisch.

Zusammenhang mit eingebetteter DTMC

CTMC irreduzibel oder Zustande rekurrent, wenn die entsprechende Eigenschaft furdie eingebettete DTMC erfullt ist.

Positiv rekurrenter Zustand der CTMC nicht notwendigerweise auch positiv rekurrentin der eingebetteten DTMC.

Die einer ergodischen CTMC eingebettete DTMC ist nicht notwendigerweise ebenfallsergodisch, namlich dann nicht, wenn sie nullrekurrent oder periodisch ist.


Zusammenhange

Satz:

Fur jede irreduzible homogene CTMC existiert eine von der Anfangsvertei-lung unabhangige Grenzverteilung π.

Fur jede ergodische homogene CTMC ist die Grenzverteilung π eindeutigestationare Verteilung. Diese eindeutige stationare Verteilung kann mittelsdes Gleichungssystems πQ = 0 mit Normierungsbedingung, also

∀j ∈ S : πj =∑

i∈S

πiqij, und∑

i∈S

πi = 1

berechnet werden oder, falls die (endlichen) mittleren Rekurrenzzeiten mi

bekannt sind, uber die Beziehung

∀j ∈ S : πj = −1

mjqjj.


4.3.3 Stetige Phasenverteilungen

Prinzip

Verteilungen von ZV definiert durch Matrizen,

Dichte, Momente etc. ausgedruckt durch diese Matrix,

Rahmen zur Erweiterung der Exponentialverteilung.

Einfache Verallgemeinerungen der Exponentialverteilung

Konstruktion komplexerer Verteilungen aus der Exponentialverteilung

Einfache Operationen wie Faltung, endliche Kompositionen.

Laplace–Stieltjes–Transformierte (LST) der Exponentialverteilung ist rational

⇒ LST von Faltungen und endlichen Kompositionen ebenfalls rational.

Ã Verallgemeinerung: Verteilungen mit rationaler LST.

Zusammenhang zu Markovketten

Verteilung der Absorptionszeit

Vorteil: zur Definition keine Transformierte notig.


Summe exponentiell verteilter ZV

Gegeben: X1, . . . , Xn unabhangig exponentiell verteilt mit Parameter λ > 0.

Betrachte Summe (Faltung) X1 + . . . + Xn.

Erwartungswert

E[X1 + · · · + Xn] = E[X1] + · · · + E[Xn] =1

λ+ · · · +

1

λ︸︷︷︸n-fach

=n

λ.

Varianz

VAR[X1 + · · · + Xn] = VAR[X1] + · · · + VAR[Xn] =1

λ2+ · · · +

1

λ2︸︷︷︸n-fach

=n

λ2.

Laplace–Stieltjes–Transformierte

(X1 + · · · + Xn)∗(ϑ) = X∗

1 (ϑ) · · · · · X∗n(ϑ) =

λ

ϑ + λ· · · · ·

λ

ϑ + λ︸︷︷︸n-fach

=

(λ

ϑ + λ

)n

.


Verteilung der Summe

Ermittlung von Kenngroßen der Summe war leicht.

Wie ist die Summe X1 + · · · + Xn verteilt?

Wie sieht die Dichte aus?

Wie sieht die Verteilungsfunktion aus?

Wir wissen (→ W–Rechnung, Faltungsformel)

Die Dichte der Summe zweier unabhangiger stetiger Zufallsvariablen X und Y mitDichten f

Xund f

Yist gegeben durch die Faltung f

X+Y= f

X⋆ f

Ymit

fX+Y

(z) =

∞∫

−∞

fX(x) · f

Y(z − x)dx =

∞∫

−∞

fX(z − y) · f

Y(y)dy

Also: Dichte der Summe von n unabhangigen ZV durch n–fache Faltung.

In unserem Fall: jeweils exponentiell verteilte ZV mit Parameter λ > 0.


Falten

fX1+X2

(z) =

∞∫

−∞

fX1

(x) · fX2

(z − x) dx =

z∫

0

λe−λx · λe−λ(z−x) dx

=

z∫

0

λ2e−λz dx = λ2e−λz

z∫

0

1 dx = λ2e−λz[

x]z

0= λ2e−λzz.

fX1+X2+X3

(z) =

∞∫

−∞

fX1+X2

(x) · fX3

(z − x) dx =

z∫

0

λ2e−λxx · λe−λ(z−x) dx

=

z∫

0

λ3e−λzx dx = λ3e−λz

z∫

0

x dx = λ3e−λz[ x2

2

]z

0=

λ3

2e−λzz2.


Weiterfalten

fX1+X2+X3+X4

(z) =

∞∫

−∞

fX1+X2+X3

(x) · fX4

(z − x) dx =

z∫

0

λ3

2e−λzx2 · λe−λ(z−x) dx

=

z∫

0

λ4

2e−λzx2 dx =

λ4

2e−λz

z∫

0

x2 dx =λ4

2e−λz

[ x−3

3

]z

0=

λ4

6e−λzz3.

Gibt es eineRegelmaßigkeit?

n 1 2 3 4

fX1+···+Xn

(z) λe−λz λ2e−λzzλ3

2e−λzz2 λ4

6e−λzz3

Vermutung

fX1+···+Xn

(z) =λn

(n − 1)!e−λzzn−1. Das muß bewiesen werden!


Beweis

Wir wollen zeigen

Unsere Vermutung gilt fur alle n ∈ IN.

Vollstandige Induktion uber n

n = 1 klar (Exponentialverteilung), außerdem bereits klar fur n ≤ 4.

⇒ Induktionsvoraussetzung

fX1+···+Xn

(z) =λn

(n − 1)!e−λzzn−1.

n Ã n + 1

Zu zeigen ist: (Induktionsschritt) aus der Induktionsvoraussetzung folgt

fX1+···+Xn+1

(z) =λn+1

n!e−λzzn.


Induktionsschritt

fX1+···+Xn+1

(z) =

∞∫

−∞

fX1+···+Xn

(x) · fXn+1

(z − x) dx

=

z∫

0

λn

(n − 1)!e−λxxn−1 · λe−λ(z−x) dx

=

z∫

0

λn+1

(n − 1)!e−λzxn−1 dx

=λn+1

(n − 1)!e−λz

z∫

0

xn−1 dx

=λn+1

(n − 1)!e−λz

[ xn

n

]z

0=

λn+1

n · (n − 1)!e−λzzn =

λn+1

n!e−λzzn

¤


Erlang–Verteilung

Die Verteilung der Summe hat einen eigenen Namen.

Definition: Erlang–Verteilung

Die Verteilung der Summe von n unabhangigen Exponentialverteilungen mitParameter λ > 0 heißt Erlang–Verteilung mit n Phasen und Parameter λ.

Kurzschreibweisen: Erlang(n, λ), Erlangn(λ), En(λ).

Variante: k Exponentialverteilungen mit Parameter kµ Ã Erlang(k, µ)

= n Exponentialverteilungen mit Parameter λ Ã Erlang(n, λn)

Also: Aufpassen, was jeweils mit”Parameter der Erlang–Verteilung“ bezeichnet ist.

(#Expverteilungen oder Parameter der Expverteilung dividiert durch #Expverteilungen)

Wir brauchen noch die Verteilungsfunktion . . .


Zusammenhang mit Markovketten

Warum heißt es Erlang–Verteilung”mit n Phasen“ ?

Interpretation als Absorptionszeit in stetiger Markovkette mit n + 1 Zustanden

Zustandsraum S = 1, 2, . . . , n + 1 (oder S = 0, 1, . . . , n)

Anfangsverteilung (1, 0, 0, · · · , 0)

· · ·1 λ λλ λ λ

Q =

−λ λ 0 · · · 0 00 −λ λ · · · 0 00 0 −λ . . . 0 0... ... ... . . . . . . ...0 0 0 · · · −λ λ0 0 0 · · · 0 0

Da Verweilzeiten in jedem Zustand exp-verteilt mit Parameter λ sind, ist die Ab-sorptionszeit gerade Erlang–verteilt mitn Phasen und Parameter λ.Vor der Absorption werden genau nZustande durchlaufen, alle mit gleicherexponentieller Verweilzeitverteilung.


Phasenverteilungen

Fur Erlang–Verteilung hat Markovkette spezielle Struktur.

Gleiches geht fur andere spezielle Strukturen.

Allgemein: beliebige endliche homogene absorbierende stetige MK.

Phasenverteilungen damit also

Verallgemeinerung der Exponentialverteilung,

Verteilung der Zeit bis zur Absorption in einer stetigen MK mit

Zustandsraum S = 1, . . . , n, n + 1,

Anfangsverteilung (α, αn+1),

Generatormatrix Q =

(T t

0 0

), T ∈ IRn×n, T · e + t = 0,

Zustand n + 1 absorbierend,

Zustande 1, . . . , n transient ( ⇐⇒ T nichtsingular).


Formale Definition

Definition: Stetige Phasenverteilung

Eine Wahrscheinlichkeitsverteilung auf IR+ = [0,∞) ist (stetig) phasenver-teilt, genau dann, wenn sie die Verteilung der Zeit bis zur Absorption in einerendlichen homogenen stetigen Markovkette ist.

Darstellung (α,T),

Verteilung: F(α,T)(x) = 1 − α exp(Tx)e, x ≥ 0

Dichte: f(α,T)(x) = α exp(Tx)t, x ≥ 0

Momente: E[X i] = (−1)ii! (αT−ie)

Spezialfalle: Exponential, Erlang, Hyperexponential, Hypoexponential, Cox,. . .

Anzahl der Phasen = Ordnung von (α,T),

Ordnung von F = minimale Ordnung aller (α,T) mit F(α,T) = F ,


Spezialfalle

Wie die Erlang–Verteilung gibt es weitere bekannte Spezialfalle.

Der einfachste Fall ist die Exponentialverteilung selbst.

Exponentialverteilung

Dichte: f (x) = λe−λx, λ > 0.

Verteilungsfunktion: F (x) = 1 − e−λx, λ > 0.

Graphische Phasendarstellung

1 λ

Q =

(−λ λ0 0

)


Spezialfall Hypoexponentialverteilung

Dichte: f (x) = λ1λ2λ1−λ2

(e−λ2x − e−λ1x

), λ, x > 0.

Verteilungsfunktion: F (x) = 1 − λ2λ2−λ1

e−λ1x + λ1λ2−λ1

e−λ2x, λ, x > 0.

· · ·1 λ3 λn−1λ1 λ2 λn

OBdA λ1 ≥ λ2 ≥ . . . ≥ λn > 0α = ( 1 0 . . . 0 )

T =

−λ1 λ1 0 · · · 0

0 −λ2 λ2 · · · 0

0 0 −λ3. . . 0

... ... . . . . . . ...

0 0 0 · · · −λn

t = ( 0 0 . . . λn )


Spezialfall Hyperexponentialverteilung

Dichte: f (x) =k∑

i=1

αiλi(e−λix), λ, x > 0.

Verteilungsfunktion: F (x) =k∑

i=1

(1 − e−λix), λ, x > 0.

α1

α2

α3

...

...

αn

λ1

λ2

λ3...

λn

α = ( α1 α2 . . . αn )

T =

−λ1 0 0 · · · 0

0 −λ2 0 · · · 0

0 0 −λ3. . . 0

... ... . . . . . . ...

0 0 0 · · · −λn

t = ( λ1 λ2 . . . λn )


Nutzen von Phasenverteilungen

Phasenverteilungen

sind algorithmisch handhabbar (→ matrixanalytische Methoden),

sind einfach stochastisch interpretierbar,

erhalten zugrundeliegende Markovstruktur der Modelle,

unterstutzen strukturierte Modellierung.

Phasenverteilungen sind abgeschlossen unter

Faltung,

endlicher Auswahl,

Minimum und Maximum (Ordnung mn + m + n fur Einzelordnungen n und m).

Phasenverteilungen ermoglichen Integration nichtexponentieller Verteilungen in Markov-modelle (prinzipiell fur jede Verteilung mit rationaler Laplace–Transformierten).

Werner Sandmann: Modellierung und Analyse Kapitel 4 Markovketten 4.4 Erzeugung von Markovketten 4–86

Abschnitt 4.4

Erzeugung von Markovketten


4.4.1 Vom Warteschlangenmodell zur Markovkette

Was bestimmt den Zustand eines Warteschlangennetzes?

Wieviele Kunden sind in den einzelnen Stationen (Warteraum+Bediener)?

Falls gerade Bedienung im Gange ist, wie lange schon/noch?

Fur Exponentialverteilung wegen Gedachtnislosigkeit egal

Wann finden Zustandsubergange statt?

Bei Ankunft eines neuen Kunden im System (nur fur offene Systeme)

Bei Fertigstellung einer Bedienung

Ubergang des bedienten Kunden in andere Station Abgang des bedienten Kunden aus dem System (nur fur offene Systeme)

Welche Zustandsubergange konnen stattfinden?

bestimmt durch die Struktur des Warteschlangennetzes.

Welche Raten/Wahrscheinlichkeiten haben die Zustandsubergange?

bestimmt durch Zwischenankunftszeiten, Bedienzeiten und Routing–WK.


Elementare Wartesysteme

Elementares M/M/1/•–System

&%'$

µ --λ Bedienzeiten exponentiell verteilt

mit Parameter µ > 0,

Zwischenankunftszeiten exponentiell verteiltmit Parameter λ > 0

Ankunftsprozeß ist ein Poissonprozeß(→ Lastmodelle).

Systemkapazitat endlich K < ∞, M/M/1/K ⇒ Zustande 0, 1, 2, . . . , K.

Systemkapazitat unendlich, M/M/1 ⇒ Zustande 0, 1, 2, . . . .

⇒ Unendlicher Zustandsraum bei unendlicher Systemkapazitat.

Ankunft ⇒ Zustandsubergang von n nach n + 1 mit Rate λ.

Bedienung ⇒ Zustandsubergang von n nach n − 1 mit Rate µ.


Zustandsubergangsgraphen

M/M/1/K

0 1 2 K

λ λ λ λ

µµµµ

· · ·

Vergleiche Folie 2–83: Erreichbarkeitsgraph des Petrinetzes fur Geo/Geo/1/K–Modell!

M/M/1

0 1 2

λ λ λ λ

µµµµ

· · · · · ·

Geburts–Todes–Prozesse (→ Analyse Markovscher Modelle)


Stetige Markovkette fur M/M/1/K

Zustandsraum S = 0, 1, 2, . . . , K.

Ubergangsraten

Von Zustand 0

q01 = λ, q0j = 0 fur j > 1 ⇒ q00 = −λ

Von Zustand i ∈ 1, . . . , K − 1

qi,i+1 = λ, qi,i−1 = µ, qij = 0 fur j 6∈ i − 1, i + 1 ⇒ qii = −(λ + µ)

Von Zustand K

qK,K−1

= µ, qKj

= 0 fur j < K − 1 ⇒ qKK

= −µ

Generatormatrix

Q =

−λ λ 0 · · · 0µ −(λ + µ) λ ...0 . . . . . . . . . 0... µ −(λ + µ) λ0 · · · 0 µ −µ


Stetige Markovkette fur M/M/1

Zustandsraum S = 0, 1, 2, . . . = IN (= IN0).

Ubergangsraten

Von Zustand 0

q01 = λ, q0j = 0 fur j > 1 ⇒ q00 = −λ

Von Zustand i > 0

qi,i+1 = λ, qi,i−1 = µ, qij = 0 fur j 6∈ i − 1, i + 1 ⇒ qii = −(λ + µ)

Generatormatrix

Q =

−λ λ 0 · · · 0 · · ·µ −(λ + µ) λ ... · · ·0 . . . . . . . . . 0 · · ·... µ −(λ + µ) λ . . .

0 . . . . . . . . . . . .

Solche Geburts–Todesprozesse lassen sich leichter analysieren als allgemeine MK,auch fur unendlichen Zustandsraum (→ Analyse Markovscher Modelle).


Offene Tandemnetze

&%'$

-µ1-λ

&%'$

-µ2-. . .

&%'$

-µd

Bedienzeiten exponentiell verteilt mit Parametern µ1, µ2, . . . , µd > 0.

Ankunftszeiten (Ankunfte nur an erster Station) exponentiell verteilt mit Parameter λ.

Zustand beschreibt Anzahl der Kunden in den einzelnen Stationen

d–Tupel n = (n1, n2, . . . , nd) ⊆ INd0 = IN0 × IN0 × · · · × IN0,

ni = Anzahl Kunden in Station i (Warteraum+Bediener),

Alle Stationskapazitaten endlich K1, K2, . . . , Kd < ∞

⇒ endlicher Zustandsraum S = 0, . . . , K1 × 0, . . . , K2 × · · · × 0, . . . , Kd.

Falls alle Kapazitaten gleich, Ki = K, i = 1, . . . , d : S = Kd.

Mindestens eine Stationskapazitat unendlich ⇒ unendlicher Zustandsraum.


Zustandsubergange

Mogliche Zustandsubergange

Ankunft an Station 1⇒ Zustandsubergang: (n1, n2, . . . , nd) → (n1 + 1, n2, . . . , nd).

Ubergangsrate: λ.

Bedienung fertig an Station i < d, also Kunde wechselt von i nach i + 1.

Voraussetzung: Es muß mindestens ein Kunde in Station i sein, d.h. ni > 0.

Voraussetzung bei endlicher Kapazitat: freier Platz in Station i + 1, d.h. ni+1 < Ki+1.

⇒ Zustandsubergang:(n1, . . . , ni−1, ni, ni+1, . . . , nd) → (n1, . . . , ni−1, ni − 1, ni+1 + 1, . . . , nd).

Ubergangsrate: µi.

Bedienung fertig an Station d, also Kunde verlaßt das System.

Voraussetzung: Es muß mindestens ein Kunde in Station d sein, d.h. nd > 0.

⇒ Zustandsubergang: (n1, n2, . . . , nd−1, nd) → (n1+1, n2, . . . , nd−1, nd−1).

Ubergangsrate: µd.


Zustandsubergangsgraph

Zustandsubergangsgraph fur d = 2 Stationen (allgemeines d analog)

0,0 0,1 0,2 0,3

1,0 1,1 1,2 1,3

2,0 2,1 2,2 2,3

λ λ λ λ

λ λ λ λ

µ2µ2µ2

µ2µ2µ2

µ2µ2µ2

µ1 µ1 µ1

µ1 µ1 µ1

λ λ λ λ

µ2

µ2

µ2

µ1 µ1 µ1

Daraus mit geeigneter Zustandsnumerierung Generatormatrix . . .


Geschlossenes Tandemnetz mit zwei Stationen

&%'$

-µ1-

&%'$

-µ2

6?

¾

Bedienzeiten sind exponentiell verteilt mit Parametern µ1, µ2 > 0.

Ankunfte von außen finden nicht statt.

Anzahl von Kunden im System sei N.

Kapazitaten seien groß genug (d.h. jeweils mindestens N).

Zustandsraum S = (n1, n2) : n1 + n2 = N ⊆ IN2.

Beispiele

N = 3 : S = (0, 3), (1, 2), (2, 1), (3, 0), |S| = 4

N = 4 : S = (0, 4), (1, 3), (2, 2), (3, 1), (4, 0), |S| = 5

N = 5 : S = (0, 5), (1, 4), (2, 3), (3, 2), (4, 1), (5, 0), |S| = 6


Zustandsubergange

Ahnlich wie fur offenes Tandemnetz, aber

ohne Ankunfte,

Bedienung fertig an Station 2 bedeutet Wechsel des Kunden zu Station 1.

Also

Von (n1, n2) nach (n1 − 1, n2 + 1) mit Rate µ1 (mindestens ein Kunde in Station 1).

Von (n1, n2) nach (n1 + 1, n2 − 1) mit Rate µ2 (mindestens ein Kunde in Station 2).

0, n 1, n − 1 . . . n − 1, 1 n, 0

µ2 µ2 µ2 µ2

µ1 µ1 µ1 µ1



Verallgemeinerung

Verallgemeinerung auf geschlossenes Tandemnetz mit d Stationen und Ruckkopplung(Feedback) zur ersten Station

&%'$

-µ1-

&%'$

-µ2-. . .

&%'$

-µd

6?

¾

Zustandsraum S = (n1, n2, . . . , nd) : n1 + n2 + · · · + nd = N ⊆ INd.

Zustandsubergange

Von (n1, . . . , ni−1, ni, ni+1, . . . , nd) nach (n1, . . . , ni−1, ni − 1, ni+1 + 1, . . . , nd)mit Rate µ1 (mindestens ein Kunde in Station i).

Von (n1, n2, . . . , nd−1, nd) nach (n1 + 1, n2, . . . , nd−1, nd − 1)mit Rate µ1 (mindestens ein Kunde in Station d).

Daraus Zustandsubergangsgraph und mit geeigneter Numerierung Generatormatrix . . .


Geschlossenes Netz mit probabilistischem Routing

&%'$

- µ1&%'$

&%'$³³³³³³³³1

PPPPPPPPq -

-

u

u

¾

6

?

µ3

µ2

Bedienzeiten exponentiell verteilt mit Parametern µ1, µ2, µ3 > 0.

Anzahl der Kunden sei N = 2.

Zustandsraum S = (0, 0, 2), (0, 1, 1), (0, 2, 0), (1, 0, 1), (1, 1, 0), (2, 0, 0).

Routing–Wahrscheinlichkeiten

pij = WK, daß Kunde nach Bedienung in i nach j wechselt

⇒ p21 = p31 = 1, p22 = p23 = p32 = p33 = p11 = 0, p12 + p13 = 1.


Zustandsubergangsgraph

0,0,2 1,0,1

2,0,0

0,1,1

1,1,0 0,2,0

µ3p31

µ1p13

µ3p31

µ1p13

µ1p12

µ2p21

µ1p21

µ2p21

µ3p31

µ1p13

µ1p12

µ2p21



Große des Zustandsraums

Zentrale Frage: Wie groß ist der Zustandsraum?

Fur geschlossenes Tandemnetz mit zwei Stationen offensichtlich |S| = N + 1.

Fur Verallgemeinerung auf d Stationen offensichtlich (!)

|S| =(N + 1)(N + 2)

2.

Allgemein (d.h. fur alle geschlossene Netze, nicht nur mit Tandemstruktur):

Große des Zustandsraums eines geschlossenen Netzes mit N Kunden und d Stationen(bei exponentiell verteilten Zeiten)

|S| =

(N + d − 1

d − 1

).

Wieso? → N Kunden auf d Knoten verteilen → Kombinatorik . . .


Große des Zustandsraums

Wie groß ist der Zustandsraum fur offene Netze?

Bei unendlichen Kapazitaten unendlich groß!

Bei endlichen Kapazitaten

Fur Tandemnetz mit d Stationen, Kapazitaten K1, K2, . . . , Kd < ∞ :

S = 0, . . . , K1 × 0, . . . , K2 × · · · × 0, . . . , Kd,

|S| = (K1 + 1) · (K2 + 1) · · · (Kd + 1).

Falls alle Kapazitaten gleich K sind

S = 0, . . . , Kd, |S| = (K + 1)d.

Allgemein: Zustandsraum wachst exponentiell in der Anzahl der Stationen!

Problem der Zustandsraumexplosion


Phasenverteilte Zeiten

Bisher: nur exponentiell verteilte Zeiten

Jetzt: Einbau von phasenverteilten Zeiten gemaß des Abschnitts 3.3.3

Geschlossenes Tandemnetz mit zwei Bedienern

Erlang(2, µ1)–verteilte Bedienzeiten am ersten Bediener

&%'$

&%'$

µ1 µ1- -

&%'$µ2

6?

¾

-

Der erste Bediener wird also zusammengesetzt aus zwei identischen Bedienern mit expo-nentiell verteilten Zeiten.

Bedienzeiten

Station 1 : Erlang-verteilt mit Parameter µ1 und 2 Phasen, also Erlang(2, µ)

Station 2 : Exponentiell verteilt mit Parameter µ2


Zustandsbeschreibung

Zustand beschrieben durch Anzahl der Kunden in den Stationen und Phase der Erlang–Verteilung in Station 1. Innerhalb der Phasen naturlich wieder Gedachtnislosigkeit!

Phase 0 : kein Kunde im Bediener,

Phase 1 : Kunde ist in erster exponentieller Phase,

Phase 2 : Kunde ist in zweiter exponentieller Phase.

⇒ Zustand (n1, ℓ; n2) mit ℓ ∈ 0, 1, 2 als Nummer der Phase.

Zustandsubergangsgraph fur N = 2 Kunden

0, 0; 2 1, 2; 1 1, 1; 1 2, 2; 0 2, 1; 0

µ2 µ2µ2

µ1µ1µ1µ1



Verallgemeinerungen

Beachte

Zustand”n1 Kunden in Station 1“

zusammengesetzt aus Zustanden (n1, 1, •) und (n1, 2, •)

Sonderfall”kein Kunde in Station 1“: (0, 0; •)

Verallgemeinerung analog fur lauter Erlang–verteilte Zeiten in d Stationen

Zustand (n1, ℓ1; n2, ℓ2; . . . ; nd, ℓd), wobei Phasenzahl und Parameter an allen Stationenverschieden sein konnen, also Erlang–Verteilungen Erlang(k1, µ1),. . . ,Erlang(kd, µd).

Analog konnen auch andere Phasenverteilungen, auch fur Zwischenankunftszeiten in offe-nen Netzen, eingebaut werden.

Naturlich macht das alles den Zustandsraum noch großer!

Strukturierte Analyse → Matrixanalytische Methoden


4.4.2 Vom Petrinetz zur Markovkette

Fur Petrinetze bekannt: Erreichbarkeitsmenge und Erreichbarkeitsgraph (per Token Game)

Erreichbarkeitsmenge → Zustandsraum der zugrundeliegenden Markovkette

Erreichbarkeitsgraph → Zustandsubergangsgraph → Generatormatrix

Sind mehrere zeitbehaftete Transitionen aktiviert, erfolgt”Race“ (vgl. Abschnitt 2.2)

Ubergangsraten der zugrundeliegenden stetigen Markovkette.

In GSPNs zeitlose und zeitbehaftete Transitionen

Markierungen (Zustande), in denen zeitlose Transitionen aktiviert sind, werden sofort(in Nullzeit) verlassen ⇒ keine Markovkette!

Unterscheide zeitbehaftete Zustande und zeitlose Zustande (vanishing states)

Ã S = Sv ∪ St

zeitlose Zustande mit Verweildauer 0,

zeitbehaftete Zustande mit exponentiell verteilter Verweildauer.

Eliminiere zeitlose Zustande.


Problem zeitloser Zustande

Unterscheidung

Zeitbehafteter Zustand: Zustandswechsel erfolgt gemaß Ubergangsraten

Zeitloser Zustand: Zustandsubergang erfolgt gemaß Ubergangswahrscheinlichkeiten!

Damit Matrix aus Ubergangsraten und -wahrscheinlichkeiten

Q =

(Qt Qt,v

Pv,t Pv

)

mit

Qt Matrix der Ubergangsraten zwischen zeitbehafteten Zustanden,

Qt,v Matrix der Ubergangsraten von zeitbehafteten zu zeitlosen Zustanden,

Pv Matrix der Ubergangs–WK zwischen zeitlosen Zustanden,

Pv,t Matrix der Ubergangs–WK von zeitlosen zu zeitbehafteten Zustanden.

Keine Markovkette, sondern Semi–Markovkette.


Eliminierung zeitloser Zustande

Idee

Nimm Ubergange, die uber zeitlose Zustande zwischen zeitbehafteten Zustanden statt-finden, direkt in die Generatormatrix auf.

Interpretiere dazu Verhalten in den zeitlosen Zustanden als absorbierende diskrete Mar-kovkette.

Formale Durchfuhrung

Definiere Matrix N = (I − Pv)−1 (vgl. Fundamentalmatrix absorbierender DTMC).

Eintrag nij ist gerade der Erwartungswert der Anzahl von Besuchen in Zustand j ∈ Sv

bis zum Verlassen von Sv bei Start in i ∈ Sv.

Dann Generatormatrix der stetigen MK nach Eliminierung der zeitlosen Zustande

Q = Qt + Qt,v NPv,t︸︷︷︸=:R︸︷︷︸

=:S

.


Eliminierung zeitloser Zustande – Fortsetzung

Interpretationen

Element rij der Produktmatrix R ist die WK, von zeitlosem Zustand i ∈ Sv in einenzeitbehafteten Zustand j ∈ St zu wechseln.

Element sij der Produktmatrix S ist die Rate, mit der von zeitbehaftetem Zustandi ∈ St in einen zeitbehafteten Zustand j ∈ St gewechselt wird, wenn der Ubergangvon i nach j ausschließlich uber zeitlose Zustande verlauft.

Element pmvij

(Eintrag der m-ten Potenz von Pv) ist die WK, mit der es innerhalb derzeitlosen Zustande einen Pfad der Lange m von Zustand i ∈ Sv nach Zustand j ∈ Sv

gibt.

Hauptaufwand

Berechnung der Inversen N = (I − Pv)−1.

Im allgemeinen Fall direkte Berechnung der Inversen

→ Gauß–Algorithmus, LR–Zerlegung.

Kapitel 4 Markovketten - uni-bamberg.de · ☞Indexmenge T abz¨ahlbar: Prozeß (zeit)diskret. Menge S heißt Zustandsraum. Werte der ZV Xt interpretiert als Zust¨ande eines Systems

Documents