Cadenas de Markov Tiempo Continuo - Facultad de … · página 2 Cadenas de Markov Modelado y Análisis de Telecomunicaciones Agenda Cadenas de Markov en tiempo continuo Ergodicidad

1

Cadenas de MarkovTiempo Continuo

Modelado y Análisis de Redes de Telecomunicaciones

página 2 Modelado y Análisis de TelecomunicacionesCadenas de Markov

Agenda

■ Cadenas de Markov en tiempo continuo

■ Ergodicidad de la cadena

■ Ejemplo: Líneas Telefónicas


CMTC■ Consideremos ahora los procesos de Markov donde:

● El espacio de estados es discreto (finito o infinito)● El espacio de parámetros es continuo (un

subconjunto de los reales; e.g. {tϵR: t ≥ 0})– Esta es la diferencia con las cadenas de Markov que

manejamos hasta ahora– Una posible interpretación intuitiva es que los

cambios de estado ahora se pueden dar en “cualquier instante”

t

estado

t

estado


CMTC■ ¿Pero es estrictamente cierto que los cambios

pueden darse en cualquier momento?● Repasemos la condición de Markov:

– En particular, la condición quiere decir que cuánto tiempo hace que estoy en un estado no me dice nada con respecto a dónde voy a estar en el futuro

– ¿Qué distribución cumple esto? La exponencial■ El tiempo que la cadena permanece en cada

estado es una v.a. de distribución exponencial con una media que depende únicamente del estado


Matriz de Transiciones■ Al igual que en la cadena a tiempo discreto, podemos definir

una matriz de transiciones:

● Cuál es la probabilidad de pasar en tiempo t del estado i al j en s unidades de tiempo

■ La cadena es homogénea si las probabilidades no dependen de t (el momento que miro la cadena)

● Atención: en el caso de tiempo continuo las probabilidades de transición sí dependen del tiempo dentro del que volveremos a ver al proceso (s)


Matriz de Transiciones■ Como antes, siguen valiendo las siguientes relaciones:

● Que en forma matricial resulta:

■ También valen las ecuaciones de Chapman-Kolmogorov:

● Escrito como matrices resulta:


Generador Infinitesimal■ La última ecuación es importante■ Derivemos respecto a t y evaluemos en t=0

■ Con esta ecuación diferencial y la condición inicial P(0) = I se puede hallar P(s):

■ La matriz Q = P'(0) se llama generador infinitesimal● Encontrando Q, puedo escribir P(s) para cualquier s● => Basta con conocer Q (y π(0)) para caracterizar la

cadena


Generador Infinitesimal■ Los elementos de Q valen:

■ Es fácil entender el valor de los qij fuera de la diagonal

● Se pueden interpretar como la tasa de transiciones de i a j (cantidad de transiciones de i a j por unidad de tiempo)

■ Por conservación de masa la suma por fila de Q debe ser cero (o me voy del estado i o me quedo) ● Razón intuitiva por la que q

ii=-∑q

ij (las filas suman cero)

● qi es la tasa de salida del estado i (cantidad de transiciones que

salen de i por unidad de tiempo)


Grafo de la Cadena■ Como antes también se puede representar

mediante un grafo

j k nm

l

qmj

qjm

qjk

qkjqjlqlj

qkn

qnk


Definición Alternativa■ Se dice que una CMTC es un proceso de

Markov tal que:● El tiempo de permanencia en un estado i es

exponencial de parámetro λi independientes para

cada estado● Al próximo estado j se pasa de acuerdo a una

probabilidad de transición pij (no confundir con las

entradas de la matriz P(s))

■ Las transiciones se realizan de acuerdo a una CMTD pero los tiempos de permanencia son exponenciales


Relación entre ambas definiciones

■ ¿Cuánto vale qi la intensidad de salida del

estado i?● Claramente λ

i => q

ii =-λ

i

■ ¿Cuánto vale qij la intensidad de ir hacia al

estado j desde el estado i?● Dado que si salgo del estado i voy al estado j con

probabilidad pij => q

ij = λ

i p

ij


Agenda





Distribución de la Cadena■ La distribución de la cadena en tiempo t es el

vector fila πt de las probabilidades de estar en

cada estado en tiempo t:

■ Se cumple que πt+s = π

t P(s)

● En particular πt = π

0 P(t)

■ Se dice que µ es distribución límite para π0 si


Distribución de la Cadena■ Si µ es distribución límite entonces es

invariante: µ = µ P(t) para todo t■ Derivando con respecto a t y evaluando en t=0

se tiene que µ es invariante sii

■ En caso de que exista distribución límite basta resolver este sistema de ecuaciones para calcularla


Ergodicidad■ Como en el caso discreto interesa analizar

si existe algún régimen asintótico. Es decir:● ¿Existe π

t para t suficientemente largo?

● ¿Es independiente de la condición inicial π0?

● ¿Es única?■ X es ergódica si existe una única

distribución límite. ■ Para responder a estas preguntas, vamos a

estudiar la denominada cadena incluida


Cadena Incluida■ Sea {tn} los tiempos en los que se dan los

cambios (sucesión de los tiempos de transición)

■ Podemos definir una cadena de Markov en tiempo discreto Xn cuyos valores sean Xtn

+

● Xn coincide con el valor de X(t) entre tn y tn+1

■ Xn es la cadena incluida de Xt

t

estado

t1 t2 t3 t4 t5


Cadena Incluida■ Los conceptos de recurrencia e

irreducibilidad de la cadena original se definen en términos de la cadena incluida● La periodicidad en este caso no tiene sentido

■ Si la cadena incluida es: ● Irreducible● Recurrente positiva

=> la cadena original es ergódica y tiene una única distribución límite.


Ergodicidad - Ejemplo■ La CMTC definida por el siguiente grafo ¿Es ergódica?

Cadena Incluida:

IMPORTANTE: La cadena incluida puede NO ser ergódica, pero sí serlo la cadena original

1 2

λ

µ

1 2

1

1


Ergodicidad■ Para una CMTC irreducible y recurrente, son

equivalentes:1) X es ergódica con distribución límite π2) π Q = 0

■ Si X y Xn son ergódicas con distribuciones límites π y p respectivamente, se cumple que:


Ecuaciones de Balance■ Si π es distribución invariante cumple πQ=0

j k nm

l


Ecuaciones de Balance■ Más en general, y al igual que el caso discreto,

se puede tomar un conjunto S de estados:

j k nm

l


Agenda





Ejemplo■ Volvamos a uno de los primeros ejemplos:

■ ¿Cómo analizar este sistema? ¿Qué hipótesis necesito?

PSTN

Cadenas de Markov Tiempo Continuo - Facultad de … · página 2 Cadenas de Markov Modelado y Análisis de Telecomunicaciones Agenda Cadenas de Markov en tiempo continuo Ergodicidad

Documents