VLMC : Variable Length Markov Chain. VLHMM : Variable Length Hidden Markov Models Estimation de l’arbre de contexte dans les VLHMM Colloque des jeunes probabilistes et statisticiens - CIRM Thierry Dumont ID Services - Universit´ e de Paris sud XI April 19, 2012 Thierry Dumont Estimation de l’arbre de contexte dans les VLHMM
32
Embed
Estimation de l’arbre de contexte dans les VLHMMreynaudb/jps/statappli/Dumont.pdf · VLMC : Variable Length Markov Chain. VLHMM : Variable Length Hidden Markov Models Estimation
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Un processus stationnaire (Xn)n∈Z d’espace d’etats X est unechaıne de Markov de longueurs variables s’il existe deux fonctions let c sur X∞ telles que : pour tout ”passe” x−∞:0,
`(x−∞:0) = min{k | ∀x1 ∈ E ,
P(X1 = x1|X−∞:0 = x−∞:0) =
P(X1 = x1|X−k+1:0 = x−k+1:0)}
et,c(x−∞:0) = x−`(x−∞:0)+1:0
Les elements de l’image de c sont appeles contextes et possedentune representation d’arbre. La fonction c est appelee fonctioncontexte. −→ Rissanen (1983), Csiszar et Talata (2006).
Thierry Dumont Estimation de l’arbre de contexte dans les VLHMM
Connaitre l’arbre de contextes ”minimal” d’un processus VLMCpermet de connaitre le nombre minimal de parametres a estimernecessaires a l’analyse du processus.Une des utilisations les plus repandues des modeles VLMC apparaıten theorie de l’information (Minimum Description Length), et enpratique pour la modelisation de sequences biologiques.
Thierry Dumont Estimation de l’arbre de contexte dans les VLHMM
Notations et definitionsResultats principauxAlgorithmeSimulations
Definition
(Xn,Yn)n∈N est un modele de Markov cache a longueurs variables(VLHMM pour Variable Length Hidden Markov Model) si (Xn)n∈Nest une chaıne de Markov a longueurs variables (irreductible dansnotre etude) non-observee et (Yn)n∈N, appelees observationssont independantes conditionnellement a (Xn)n∈N :
P(Y1 ∈ A1, ....,Yk ∈ Ak |X1, ...,Xk) =k∏
i=1
P(Yi ∈ Ai |Xi )
Thierry Dumont Estimation de l’arbre de contexte dans les VLHMM
Notations et definitionsResultats principauxAlgorithmeSimulations
Remarque
Notre objectif dans cette presentation est l’etude d’unestimateur de l’arbre de contexte associe a la chaıne deMarkov cachee (Xn)n∈Z, note τ?, et construit sur la base desobservations (Yk)k=1...,n.
Thierry Dumont Estimation de l’arbre de contexte dans les VLHMM
Notations et definitionsResultats principauxAlgorithmeSimulations
Theorem
Sous certaines conditions classiques sur le modele, s’il existe unprior πe sur Θe et une constante b > 0 tels que, si, pour toutx1:n ∈ Xn, on definit la loi melange sur RB , conditionnellement ax1:n par,
KTne(y1:n|x1:n) =
∫Θe
[n∏
i=1
gθe,xi ,η(yi )
]πe(dθe),
alors eventuellement p.s. :
supθe∈Θe
supx1:n
[log
n∏i=1
gθe,xi ,η(Yi )− logKTne(Y1:n|x1:n)
]≤ b log n
et si α > 2(b + 1), alors τn ∼ τ? pour n assez grand p.s.
Thierry Dumont Estimation de l’arbre de contexte dans les VLHMM
Notations et definitionsResultats principauxAlgorithmeSimulations
Nous proposons un algorithme d’elagage pour le cas general. Ilpermet, se donnant une suite d’observations Y1:n de calculer τn en”elaguant” un arbre couvrant notre τ? dans l’esprit des premierstravaux de Rissanen dans le cadre des VLMC.
Thierry Dumont Estimation de l’arbre de contexte dans les VLHMM
Notations et definitionsResultats principauxAlgorithmeSimulations
J. Rissanen, “A universal data compression system,” IEEETrans. Inform. Theory, vol. 29, pp. 656 – 664, 1983.
I. Csiszar and Z. Talata, “Context tree estimation for notnecessarily finite memory processes, via bic and mdl,” IEEETrans. Inf. Theory, vol. 52, pp. 1007–1016, 2006.
Z. L. W. J. Wang, Y. and Z. Liu, “Mining complex time-seriesby learning markovian models,” in Proceedings ICDM’06, sixthinternational conference on data mining, China, 2005.
Y. Wang, “The variable-length hidden markov model and itsapplications on sequential data mining,” Departement ofcomputer science, Tech. Rep., 2005.
P. Collet, A. Galves, and F. Leonardi, “Random perturbationsof stochastic processes with unbounded variable lengthmemory,” Electron. J. Probab., vol. 13, pp. no. 48,1345–1361, 2008.
T.Dumont, “Context tree estimation in variable length hiddenmarkov models,” Soumis, 2011.
Thierry Dumont Estimation de l’arbre de contexte dans les VLHMM