Procesos de Markov de saltos Mogens Bladt 26 de septiembre de 2017 IIMAS-UNAM
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Procesos de Markov de saltos
Mogens Bladt26 de septiembre de 2017
IIMAS-UNAM
Probabilidades de transición
TeoremaSea P t = {ptij} la matríz de transición de paso t para elproceso de Markov de saltos {Xt}t≥0, i.e.
ptij = Pi(Xt = j) = P(Xs+t = j | Xs = i).
Entoncesd
dtP t = ΛP t = P tΛ.
1
Demostración
Asumimos que el espacio de estado es finito. Condicionando enT0,
ptij = P(Xt = j | X0 = i)
= Pi(T0 > t)δij +∫ t
0λie−λis
∑k 6=i
qikpt−skj ds
= e−λitδij +∫ t
0λie−λi(t−u)∑
k 6=iqikp
ukjdu
= e−λit
δij +∫ t
0eλiu
∑k 6=i
λikpukjdu
.Entonces: t→ ptij es diferenciable.
2
Demostración
Tomando derivado,
d
dtptij = −λie−λit
δij +∫ t
0eλiu
∑k 6=i
λikpukjdu
+ e−λiteλit∑k 6=i
λikptkj
= −λiptij +∑k 6=i
λikptkj
=∑k
λikptkj ,
lo cual es lo mismo que
d
dtPt = ΛP t.
Segunda igualdad: deriva P s+t = P tP s c.r.a. s, usa la primeraparte y deja s ↓ 0.
3
Solución
En el caso de espacio de estado finito, las ecuacionesdiferenciales de Kolmogorov tiene solucion
P t = exp (Λt) =∞∑n=0
tn
n!Λn.
Como se calcula eΛx en practico?
Aquí destingimos entre calculo téorico y evalución númerico.
Téorico: diagonalización de Λ.
Númerico: Runge–Kutta, uniformización,....
4
Matríz exponencial
La matríz exponencial esta definido por la serie de Picard
eA =∞∑n=0
An
n! ,
donde A0 = I.
Se satisfaced
dxeAx = AeAx = eAxA.
Si A is nosingular, tenemos∫eAxdx = A−1eAx.
Tenemos quee(A+B)x = eAxeBx
si A y B comuten.
Por lo tanto, la inversa de eAx es e−Ax. 5
Uniformización
• Toma η ≥ maxi(−λii).• ηI + Λ ≥ 0.• Las filas de ηI + Λ suman a η (como las de Λ suman acero).• Entonces
P := I + η−1Λ
es una matríz de transción.• Equivalentmente,
Λ = η(P − I)
• y
eΛt = eη(P−I)t = e−ηteP ηt = e−ηt∞∑n=0
(ηt)n
n! P n.
6
Uniformización: interpretación
Sea {Xn}n≥0 una cadena de Markov con matríz de transición P .
Definimos {Zt}t≥0 como el proceso que resulta reemplazandolos tiempos entre Xn y Xn−1 por tiempos ∼ exp(η) (todosindependientes).
Cual es la probablidad que {Zt}t≥0 hace una transición de i aj 6= i durante [t, t+ dt)?
Es la probabilidad que hay un arrivo, lo cual tiene proba ηdt, yse hace la transición de i a j 6= i en {Xn}, lo cual tiene probapij :
ηdt · pij = ηdt · λijη
= λijdt.
7
Uniformización: interpretación
Xn puede hacer transiciones de i a i.
Cual la intensidad cuando Xn = i para saltar fuera de i?
Utilizar argumento de thinning.
Con proba pii se elimina el punto y con proba 1− pii se queda(sera un salto que deveras).
Entonces la tasa total con la cual se saltara a un estado 6= i esde (1− pii)η.
Pero1− pii = 1− (1 + λii
η) = λi
η
la tasa total es de η · (1− pii) = λi, lo cual coincide con elproceso original que tiene matríz de intensidad Λ.
8
Calculo y precisión
Hacemos la aproximación
eΛx =∞∑n=0
xn
n! Λn ≈m∑n=0
xn
n! Λn
para algún m. Para obtener una precisón de∣∣∣∣∣exp(Λt)−∑n=0
P n (ηt)n
n! e−ηt∣∣∣∣∣ < ε,
para algún norma de matríz | · |, se toma m tal que∑n=0
(ηt)n
n! e−ηt > 1− ε.
m puede ser muy grande, pero se puede controlar con “scalingand squaring”:
eΛx =(eΛx/2n
)2n
para un n tal que xΛ es “pequeño”. 9
Distribuciones tipo fase
Sea {Xt}t≥0 un proceso de Markov con espacio de estadosE = {1, 2...., p, p+ 1} donde
1. estados 1, ..., p son transitorios2. estado p+ 1 es absorbente
y matríz de transición
Λ =(T t
0 0
)=(T p×p tp×1
01×p 0
)
T es una matríz de subintensidad
t vector de (intesidades de) salida.
t = −Te.
10
Distribuciones tipo fase
Espeicificamos una distibución inicial:
πi = P(X0 = i), i = 1, ..., p, p+ 1
Suponemos que πp+1 = 0. De lo contrario tendriamos un átomoen cero.
Defina π = (π1, ...,πp). Ese sera la distribución inicial sobre losestados transitorios.
Como πe =∑pi=1 πi = 1, es una distribución propio.
DefiniciónSe dice que el tiempo hasta absorción
τ = ınf{t ≥ 0 : Xt = p+ 1}
tiene una distribución tipo fase con representación (π,T ) yescribimos τ ∼ PHp(π,T ). 11
Distribuciones tipo fase
t
Xt
12345
pp+ 1
τ
12
Ejemplo: Erlang
Si X1, ...Xp i.i.d. ∼ exp(λ) entonces τ = X1 + · · ·+Xp tiene unadistribucion tipo fase con parámetros
π = (1, 0, ..., 0), T =
−λ λ 0 0 · · · 0 00 −λ λ 0 · · · 0 00 0 −λ λ · · · 0 0...
......
......
......
0 0 0 0 · · · −λ λ
0 0 0 0 · · · 0 −λ
.
La densidad es tipo Gamma con
f(x) = λn
Γ(n)xp−1e−λx
Para ver que es tipo fase con la distribución arriba basta ver lasiguiente gráfica:
13
Ejemplo:Erlang
t
Xt
12345
pp+ 1 abs
S1 S2 S3 S4 τ
14
Erlang generalizada
Aquí Xi ∼ exp(λi) independientes y
τ = X1 + · · ·+Xp.
Entonces τ ∼ PHp(π,T ) donde
π = (1, 0, 0, . . . , 0), T =
−λ1 λ1 0 0 · · · 00 −λ2 λ2 0 · · · 00 0 −λ3 λ3 · · · 0...
......
......
...0 0 0 0 · · · −λp
.
La prueba es el mismo dibujo.
La prueba también revela el problema de falta unicidad en larepresentación.
15
Hiper–exponencial
Una mezcla de exponenciales independientes se llamahiper–exponencial:
f(x) =p∑i=1
πiλie−λix
donde π1 + · · ·+ πp = 1.
Entonces τ ∼ f es tipo fase con parámetros:
π = (π1, π2, . . . , πp), T =
−λ1 0 0 0 · · · 00 −λ2 0 0 · · · 00 0 −λ3 0 · · · 0...
......
............
...0 0 0 0 · · · −λp
.
La prueba as más dificil de dibujar, pero tratamos...16
Hiper–exponencial
t
Xt
12345
pp+ 1 abs
τ1τ2 τ3
17
Diagramas de flujo: convolucion y mezcla
inicio 1 2 3 p p+ 1λ1 λ2 λp
1
2
3
4
p
incio p+1
λ1λ2λ3λ4
λp
π1π2π3π4
πp
18
Representación matríz exponencial
Lema
exp((T t
0 0
)s
)=(
exp(T s) e− exp(T s)e0 1
).
Dem: Por definición,
Λ0 = Ip+1 =(Ip 00 1
).
Usando t = −Te, obtenemos que
Λn =(T n −T ne0 0
), n ∈ N.
19
Representación matríz exponencial
exp(Λs) =∞∑n=0
Λnsn
n!
= Ip+1 +∞∑n=1
Λnsn
n!
= Ip+1 +( ∑∞
n=1T n
sn
n! −∑∞n=1
T nsn
n! e
0 0
)
=(Ip +
∑∞n=1
T nsn
n! −∑∞n=1
T nsn
n! e
0 1
)
=(eT s e− eT se0 1
).
Para i, j ∈ {1, 2, ..., p} tenemos
P(Xs = j|X0 = i) =(eT s
)ij
20
Densidad
TeoremaSi τ ∼ PHp(π,T ) entonces tiene densidad
fτ (x) = πeT xt.
Dem: Usando la interpretación,
fτ (u)du = Fτ (u+ du)− Fτ (u) = P(τ ∈ (u, u+ du]),
condicionamos en el valor de Xu:
fτ (u)du =p∑j=1
P(τ ∈ (u, u+ du]|Xu = j)P(Xu = j).
Ahora P(τ ∈ (u, u+ du]|Xu = j) = tjdu y
P(Xu = j) =p∑i=1P(Xu = j|X0 = i)P(X0 = i) =
(πeT u
)j
21
Densidad
y se concluye que
fτ (u)du =p∑j=1
(πeT u
)jtjdu = πeT utdu.
Formalmente,fτ (u)h = πeT uth+ o(h)
así que dividiendo con h y dejandolo ir a cero, sigue que
fτ (u) = πeT ut.
22
Función de distribución
TeoremaSi τ ∼ PH(π,T ) entonces su función de distribución esta dadopor
F (u) = 1− πeT ue.
Dem: Nota que
P(τ > u) = P(Xu ∈ {1, 2, ..., p})
=p∑j=1
P(Xu = j)
=p∑j=1
(πeT u
)j
= πeT ue
23
Irreducibilidad
Si todos los estados transitorios son necessarios, y no existenestados inacanzables y inutiles en una representación, se diceque la representación es irreducible.
Formalmente:DefiniciónUna representación (α,S) es irreducible si(
αeSx)i> 0
para todo i = 1, . . . , p y todo x > 0.
Densidades para distribuciones tipo fase son estrictamentepositivias para todo x > 0.
Toma una representación irreducible y nota que t 6= 0 asi queexiste un j con tj > 0. 24
Matríz de subintensidad
TeoremaConsidere un proceso de Markov de saltos con espacio deestados {1, 2, . . . , p, p+ 1} y matríz de intensidad de la forma
Λ =(T t
0 0
),
donde T es la matríz de subintensidad p× p que corresponde alos estados 1, . . . , p.
Entonces T es invertible si y solo si los estados 1, 2, . . . , p sontransitorios.
25
Matríz de subintensidad
Supongamos que 1, ..., p son transitorios. Considere
νT = 0.
Esto esp∑j=1
νjtij = 0, i = 1, ..., p
o, usando λi = −tii,
νiλi =∑j 6=i
νjtji =∑j 6=i
νjλjqji.
Como qii = 0, también tenemos
νiλi =p∑j=1
νjλjqji.
Con uj = νjλj , u = (u1, ..., up) y Q = {qij}i,j=1,...,p esto es
u = uQ = ... = uQn. 26
Matríz de subintensidad
Como 1, ..., p son transitorios, Qn → 0 y conluimos que u = 0.
Entonces ν = 0 y las filas de T son linealmente independientes.
Al revez, supongamos que T es invertible.
Sea ai la proba de abs. eventual dado X0 = i.
Entoncesai = qi,p+1 +
∑j 6=i
qijaj .
oai = ti
−tii+∑j 6=i
tij−tii
aj
implicando
ti +p∑j=1
tijaj = 0
27
Matríz de subintensidad
Con a = (a1, ..., ap)′ esto es
t+ Ta = 0.
Ahora t = −Te asi que
Ta = Te
y como T es invertiblea = e,
i.e. la proba de abs. es uno desde cualquier estado 1, ..., p loimplica que son transitorios.
28
Matríz de Green
Consecuencia inmediato es que la matríz de subintensidad T enuna representación tipo fase PHp(π,T ) es invertible.
DefiniciónLa matríz U = (−T )−1 se llama la matríz de Green.
TeoremaSea τ ∼ PHp(π,T ) y sea {Xt}t≥0 el proceso que genera τ .Entonces las entradas uij de la matríz de Green tienen lasiguiente interpretación: uij es el tiempo esperado que elproceso {Xt}t≥0 estará en estado j antes que abs. dado queX0 = i.
29
Matríz de Green
Dem: DefinaZj =
∫ τ
01{Xu = j}du
Entonces para i, j = 1, ..., p,
Ei(Zj) = Ei
(∫ τ
01{Xu = j}du
)=
∫ ∞0Pi(Xu = j, τ ≥ u)du
=∫ ∞
0Pi(Xu = j)du
=∫ ∞
0
(eT u
)ijdt
1, ..., p transitorios =⇒ Pi(Xt = j, t < τ)→ 0 cuando t→∞ y
eT x → 0 as x→∞.
30
Matríz de Green
Entonces
{Ei(Zj)}i,j=1,...,p =∫ ∞
0eT udu =
[T−1eT u
]∞0
= (−T )−1.
Implicación casi inmediata:
E(τ) = πUe = π(−T )−1e.
Tambíen eT u → 0 indicaria que todos los eigenvalores de T sonestrictamente negativos.
31
CorolarioLos eigenvalores de una matríz de subintensidad tienen partesreales estrictamente negativos.
Sea θ = maxi(−tii) y defina K por la relación,
T = θ(K − I).
Entonces K es una matríz de subtransición de una distribucióntipo fase discreta.
Este tiene todas los eigenvalores dentro de circulo unitario.
Sea v un eigenvector de T con eigenvalor λ y sea el eigenvalorde correspondiente K, µ.
Entonces λ = θ(µ− 1), y su parte real es estrictamente negativo.
32
TeoremaE momento de orden n de una variable τ ∼ PH(π,T ) estadado por
E(τn) = n!π(−T )−ne.
Dem: Sea v(n)ij el volumen esperado generatedo por el proceso de
Markov mientras que este en estado j dado inicio en estado i.
Sea V (n) ={v
(n)ij
}i,j=1,...,p
. Entonces
v(n)ij = Ei
(∫ τ
0ntn−11{Xt = j}dt
)=
∫ ∞0
ntn−1Pi(Xt = j, τ ≥ t)dt
=∫ ∞
0ntn−1
(eT t
)ijdt,
i.e. V (n) = n!(−T )−n = n!Un. Entonces
E(τn) = πV (n)e = n!πUne. 33
t
t
t
Xt
b a
τ
t
Xt
ba
τ
34
Related Documents
