Chapitre 3 Mesures stationnaires et théorèmes de convergence Christiane Cocozza-Thivent, Universit ´ e de Marne-la-Vall ´ ee – p.1
Chapitre 3
Mesures stationnaires
et théorèmes de convergence
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.1
I. Mesures stationnaires
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.2
I. Mesures stationnaires
Définition : Une probabilité π sur E est invariante ou stationnaire pourla chaine de Markov (Xn)n≥0 si, pour tout n ≥ 0 :
(∀x ∈ E, P(Xn = x) = π(x)) =⇒ (∀x ∈ E, P(Xn+1 = x) = π(x)).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.2
I. Mesures stationnaires
Définition : Une probabilité π sur E est invariante ou stationnaire pourla chaine de Markov (Xn)n≥0 si, pour tout n ≥ 0 :
(∀x ∈ E, P(Xn = x) = π(x)) =⇒ (∀x ∈ E, P(Xn+1 = x) = π(x)).
Proposition 1 : La probabilité π est stationnaire si et seulement si :
∀ y ∈ E,∑
x∈E
π(x)p(x, y) = π(y).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.2
I. Mesures stationnaires
Définition : Une probabilité π sur E est invariante ou stationnaire pourla chaine de Markov (Xn)n≥0 si, pour tout n ≥ 0 :
(∀x ∈ E, P(Xn = x) = π(x)) =⇒ (∀x ∈ E, P(Xn+1 = x) = π(x)).
Proposition 1 : La probabilité π est stationnaire si et seulement si :
∀ y ∈ E,∑
x∈E
π(x)p(x, y) = π(y).
En fait π est stationnaire si et seulement si, lorsque la loi initiale de lachaine est π (c’est-à-dire si P(X0 = x) = π(x) pour tout x) alors, pourtout instant n, la loi de Xn est également π (c’est-à-direP(Xn = x) = π(x) pour tout x).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.2
Exemple : Dans le cas d’une chaine pour laquelle E = {0, 1} et
p =
1 − a a
b 1 − b
,
nous avons montré que
P(Xn = 0) =b
a + b+ (1 − a − b)n(µ(0) −
b
a + b)
etP(Xn = 1) =
a
a + b+ (1 − a − b)n(µ(1) −
a
a + b)
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.3
Exemple : Dans le cas d’une chaine pour laquelle E = {0, 1} et
p =
1 − a a
b 1 − b
,
nous avons montré que
P(Xn = 0) =b
a + b+ (1 − a − b)n(µ(0) −
b
a + b)
etP(Xn = 1) =
a
a + b+ (1 − a − b)n(µ(1) −
a
a + b)
Par conséquent la probabilité π définie par π(0) = b
a+b, π(1) = a
a+best
stationnaire et c’est la seule.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.3
Exemple : Dans le cas d’une chaine pour laquelle E = {0, 1} et
p =
1 − a a
b 1 − b
,
nous avons montré que
P(Xn = 0) =b
a + b+ (1 − a − b)n(µ(0) −
b
a + b)
etP(Xn = 1) =
a
a + b+ (1 − a − b)n(µ(1) −
a
a + b)
Par conséquent la probabilité π définie par π(0) = b
a+b, π(1) = a
a+best
stationnaire et c’est la seule.
On retrouve ce résultat en appliquant la proposition 1.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.3
Exemple : Dans le cas d’une chaine pour laquelle E = {0, 1} et
p =
1 − a a
b 1 − b
,
nous avons montré que
P(Xn = 0) =b
a + b+ (1 − a − b)n(µ(0) −
b
a + b)
etP(Xn = 1) =
a
a + b+ (1 − a − b)n(µ(1) −
a
a + b)
Par conséquent la probabilité π définie par π(0) = b
a+b, π(1) = a
a+best
stationnaire et c’est la seule.
On retrouve ce résultat en appliquant la proposition 1.
En outrelim
n→+∞
P(Xn = 0) =b
a + b= π(0), lim
n→+∞
P(Xn = 1) =a
a + b= π(1).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.3
En fait, si π est stationnaire et si la loi de X0 est π, alors pour tout n,(Xk+n)k≥0 a même loi que (Xp)p≥0 au sens où : pour tout m ≥ 0, levecteur (Xn, Xn+1, . . . , Xn+m) a même loi que le vecteur(X0, X1, . . . , Xm).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.4
En fait, si π est stationnaire et si la loi de X0 est π, alors pour tout n,(Xk+n)k≥0 a même loi que (Xp)p≥0 au sens où : pour tout m ≥ 0, levecteur (Xn, Xn+1, . . . , Xn+m) a même loi que le vecteur(X0, X1, . . . , Xm).Cela signifie que la chaine de Markov regardée depuis l’instant initial amême loi que la chaine de Markov regardée à partir de tout instant n.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.4
En fait, si π est stationnaire et si la loi de X0 est π, alors pour tout n,(Xk+n)k≥0 a même loi que (Xp)p≥0 au sens où : pour tout m ≥ 0, levecteur (Xn, Xn+1, . . . , Xn+m) a même loi que le vecteur(X0, X1, . . . , Xm).Cela signifie que la chaine de Markov regardée depuis l’instant initial amême loi que la chaine de Markov regardée à partir de tout instant n.
Il est commode d’étendre la notion d’invariance aux mesures sur E etde ne pas la réserver aux probabilités sur E.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.4
En fait, si π est stationnaire et si la loi de X0 est π, alors pour tout n,(Xk+n)k≥0 a même loi que (Xp)p≥0 au sens où : pour tout m ≥ 0, levecteur (Xn, Xn+1, . . . , Xn+m) a même loi que le vecteur(X0, X1, . . . , Xm).Cela signifie que la chaine de Markov regardée depuis l’instant initial amême loi que la chaine de Markov regardée à partir de tout instant n.
Il est commode d’étendre la notion d’invariance aux mesures sur E etde ne pas la réserver aux probabilités sur E.
Définition : Une mesure m sur E (c’est à dire une famille (m(x))x∈E deréels positifs ou nuls) est dite invariante (ou stationnaire) si la mesurem n’est pas la mesure identiquement nulle et si :
∀ y ∈ E∑
x∈E
m(x) p(x, y) = m(y).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.4
Une probabilité invariante est évidemment une mesure invariante.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est unemesure invariante.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est unemesure invariante.
Si m est une mesure invariante et si m(E) < +∞, alors m/m(E) estune probabilité invariante.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est unemesure invariante.
Si m est une mesure invariante et si m(E) < +∞, alors m/m(E) estune probabilité invariante.
En pratique, on cherche des mesures stationnaires et on lesrenormalise éventuellement pour avoir des probabilités stationnaires.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est unemesure invariante.
Si m est une mesure invariante et si m(E) < +∞, alors m/m(E) estune probabilité invariante.
En pratique, on cherche des mesures stationnaires et on lesrenormalise éventuellement pour avoir des probabilités stationnaires.
Si E est fini et comprend d éléments, m peut être représentée par unvecteur colonne de d composantes et les équations de stationnarités’écrivent :
mtp = mt.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.5
Une probabilité invariante est évidemment une mesure invariante.
Si m est une mesure invariante et si λ > 0, alors λm est unemesure invariante.
Si m est une mesure invariante et si m(E) < +∞, alors m/m(E) estune probabilité invariante.
En pratique, on cherche des mesures stationnaires et on lesrenormalise éventuellement pour avoir des probabilités stationnaires.
Si E est fini et comprend d éléments, m peut être représentée par unvecteur colonne de d composantes et les équations de stationnarités’écrivent :
mtp = mt.
Cela revient à chercher les vecteurs propres à gauche de p (c’est-à-direles vecteurs propres de pt associés à la valeur propre 1). On voit que 1est valeur propre de p donc de pt, mais il n’est pas évident qu’il existe unvecteur propre dont toutes les composantes soient positives ou nulles.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.5
Exemple : Prenons le modèle d’Ehrenfest avec d = 3. La matrice detransition p est :
0 1 0 0
1/3 0 2/3 0
0 2/3 0 1/3
0 0 1 0
.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.6
Exemple : Prenons le modèle d’Ehrenfest avec d = 3. La matrice detransition p est :
0 1 0 0
1/3 0 2/3 0
0 2/3 0 1/3
0 0 1 0
.
On trouve :
π(0) =1
8, π(1) =
3
8, π(2) =
3
8, π(3) =
1
8.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.6
Exemple : Prenons le modèle d’Ehrenfest avec d = 3. La matrice detransition p est :
0 1 0 0
1/3 0 2/3 0
0 2/3 0 1/3
0 0 1 0
.
On trouve :
π(0) =1
8, π(1) =
3
8, π(2) =
3
8, π(3) =
1
8.
Pour cette chaine, nous n’avons pas limn→+∞ P(Xn = i) = π(i) car si nest impair Px(Xn = x) = 0.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.6
Exemple : Prenons le modèle d’Ehrenfest avec d = 3. La matrice detransition p est :
0 1 0 0
1/3 0 2/3 0
0 2/3 0 1/3
0 0 1 0
.
On trouve :
π(0) =1
8, π(1) =
3
8, π(2) =
3
8, π(3) =
1
8.
Pour cette chaine, nous n’avons pas limn→+∞ P(Xn = i) = π(i) car si nest impair Px(Xn = x) = 0.Cette chaine a un comportement “périodique", nous y reviendrons à lafin du chapitre.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.6
Il peut être lourd de chercher les mesures stationnaires à l’aide de ladéfinition, la notion de réversibilité est plus restrictive mais plus facile àmanipuler.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.7
Il peut être lourd de chercher les mesures stationnaires à l’aide de ladéfinition, la notion de réversibilité est plus restrictive mais plus facile àmanipuler.
Définition : La mesure m sur E est réversible pour la chaine deMarkov de fonction de transition p si :
m(x) p(x, y) = m(y) p(y, x),∀x; y ∈ E.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.7
Il peut être lourd de chercher les mesures stationnaires à l’aide de ladéfinition, la notion de réversibilité est plus restrictive mais plus facile àmanipuler.
Définition : La mesure m sur E est réversible pour la chaine deMarkov de fonction de transition p si :
m(x) p(x, y) = m(y) p(y, x),∀x; y ∈ E.
Proposition 2 : Toute mesure réversible est stationnaire.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.7
Exemple d’une chaine de naissance et mort :
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.8
Exemple d’une chaine de naissance et mort :On suppose que qx > 0 pour tout x ≥ 1.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.8
Exemple d’une chaine de naissance et mort :On suppose que qx > 0 pour tout x ≥ 1.On vérifie que la mesure m est réversible si et seulement si elle s’écrit pourx ≥ 1, x ∈ E :
m(x) =p0....px−1
q1......qx
m(0).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.8
Exemple d’une chaine de naissance et mort :On suppose que qx > 0 pour tout x ≥ 1.On vérifie que la mesure m est réversible si et seulement si elle s’écrit pourx ≥ 1, x ∈ E :
m(x) =p0....px−1
q1......qx
m(0).
Si E = {0, 1, ...d}, la probabilité π donnée par :
π(x) =m(x)
∑d
y=0m(y)
=
p0....px−1
q1......qx
∑d
y=0
p0....py−1
q1......qy
pour 0 ≤ x ≤ d,
est réversible donc stationnaire.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.8
Exemple d’une chaine de naissance et mort :On suppose que qx > 0 pour tout x ≥ 1.On vérifie que la mesure m est réversible si et seulement si elle s’écrit pourx ≥ 1, x ∈ E :
m(x) =p0....px−1
q1......qx
m(0).
Si E = {0, 1, ...d}, la probabilité π donnée par :
π(x) =m(x)
∑d
y=0m(y)
=
p0....px−1
q1......qx
∑d
y=0
p0....py−1
q1......qy
pour 0 ≤ x ≤ d,
est réversible donc stationnaire.Si E = N, et si
∑
y≥0m(y) =< +∞, c’est-à-dire si
∑
y≥0
p0....py−1
q1......qy
< +∞, il existe une etune seule probabilité réversible π donnée par :
π(x) =m(x)
∑
y≥0m(y)
=
p0....px−1
q1......qx∑
y≥0
p0....py−1
q1......qy
pour x ∈ N.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.8
Exemple d’une chaine de naissance et mort :On suppose que qx > 0 pour tout x ≥ 1.On vérifie que la mesure m est réversible si et seulement si elle s’écrit pourx ≥ 1, x ∈ E :
m(x) =p0....px−1
q1......qx
m(0).
Si E = {0, 1, ...d}, la probabilité π donnée par :
π(x) =m(x)
∑d
y=0m(y)
=
p0....px−1
q1......qx
∑d
y=0
p0....py−1
q1......qy
pour 0 ≤ x ≤ d,
est réversible donc stationnaire.Si E = N, et si
∑
y≥0m(y) =< +∞, c’est-à-dire si
∑
y≥0
p0....py−1
q1......qy
< +∞, il existe une etune seule probabilité réversible π donnée par :
π(x) =m(x)
∑
y≥0m(y)
=
p0....px−1
q1......qx∑
y≥0
p0....py−1
q1......qy
pour x ∈ N.
Si E = N, et si∑
y≥0
p0....py−1
q1......qy
= +∞, il n’existe pas de probabilité réversible.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.8
Proposition 3 : Soit π une probabilité stationnaire. Si y est un étattransient ou récurrent nul, alors π(y) = 0.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.9
Proposition 3 : Soit π une probabilité stationnaire. Si y est un étattransient ou récurrent nul, alors π(y) = 0.
car si y est transient ou récurrent nul, alors pour tout x
1
nEx
(
n∑
k=1
1{Xk=y}
)
−−−−−→n→+∞
0.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.9
II. Cas d’une chaine r ecurrente irr eductible
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.10
II. Cas d’une chaine r ecurrente irr eductible
Lemme 5 : Soit m une mesure invariante (donc non identiquementnulle) d’une chaine de Markov irréductible. Alors, pour tout y ∈ E, on am(y) > 0.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.10
II. Cas d’une chaine r ecurrente irr eductible
Lemme 5 : Soit m une mesure invariante (donc non identiquementnulle) d’une chaine de Markov irréductible. Alors, pour tout y ∈ E, on am(y) > 0.
Théorème 5 : Une chaine de Markov récurrente irréductible possèdeune mesure invariante m. Cette mesure stationnaire est strictementpositive en tout point et unique à une constante multiplicative près. Enoutre pour tout x0 ∈ E on a :
∀ y ∈ E, m(y) = c(x0) Ex0
Tx0∑
k=1
1{Xk=y}
(c(x0) > 0).
Par suite la chaine est récurrente positive si et seulement si sesmesures stationaires sont de masse totale finie.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.10
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
- λx0(x0) = 1,
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
- λx0(x0) = 1,
- pour tout z ∈ E,∑
y∈E λx0(y) p(y, z) = λx0
(z),
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
- λx0(x0) = 1,
- pour tout z ∈ E,∑
y∈E λx0(y) p(y, z) = λx0
(z),
- pour tout y0 ∈ E, λx0(y0) < +∞.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
- λx0(x0) = 1,
- pour tout z ∈ E,∑
y∈E λx0(y) p(y, z) = λx0
(z),
- pour tout y0 ∈ E, λx0(y0) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
- λx0(x0) = 1,
- pour tout z ∈ E,∑
y∈E λx0(y) p(y, z) = λx0
(z),
- pour tout y0 ∈ E, λx0(y0) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0.
Soit m une mesure invariante
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
- λx0(x0) = 1,
- pour tout z ∈ E,∑
y∈E λx0(y) p(y, z) = λx0
(z),
- pour tout y0 ∈ E, λx0(y0) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0.
Soit m une mesure invariante- pour tout z ∈ E, m(z) ≥ m(x0)
∑nk=1 Px0
(Tx0≥ k,Xk = z),
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
- λx0(x0) = 1,
- pour tout z ∈ E,∑
y∈E λx0(y) p(y, z) = λx0
(z),
- pour tout y0 ∈ E, λx0(y0) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0.
Soit m une mesure invariante- pour tout z ∈ E, m(z) ≥ m(x0)
∑nk=1 Px0
(Tx0≥ k,Xk = z),
- pour tout z ∈ E, m(z) ≥ m(x0) λx0(z),
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
- λx0(x0) = 1,
- pour tout z ∈ E,∑
y∈E λx0(y) p(y, z) = λx0
(z),
- pour tout y0 ∈ E, λx0(y0) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0.
Soit m une mesure invariante- pour tout z ∈ E, m(z) ≥ m(x0)
∑nk=1 Px0
(Tx0≥ k,Xk = z),
- pour tout z ∈ E, m(z) ≥ m(x0) λx0(z),
- m1 = m − m(x0) λx0est une mesure (positive) qui vérifie, pour tout
y ∈ E, m1(y) =∑
x∈E m1(x) p(x, y).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
On fixe x0 ∈ E et on pose
λx0(y) = Ex0
Tx0∑
k=1
1{Xk=y}
=∑
k≥1
Px0(Tx0
≥ k,Xk = y) ∈ R+.
Etape 1 : λx0est une mesure invariante strictement positive
- λx0(x0) = 1,
- pour tout z ∈ E,∑
y∈E λx0(y) p(y, z) = λx0
(z),
- pour tout y0 ∈ E, λx0(y0) < +∞.
Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0.
Soit m une mesure invariante- pour tout z ∈ E, m(z) ≥ m(x0)
∑nk=1 Px0
(Tx0≥ k,Xk = z),
- pour tout z ∈ E, m(z) ≥ m(x0) λx0(z),
- m1 = m − m(x0) λx0est une mesure (positive) qui vérifie, pour tout
y ∈ E, m1(y) =∑
x∈E m1(x) p(x, y).
- m1(x0) = 0, donc m1 = 0 (lemme 4).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.11
Théorème 6 : Une chaine de Markov irréductible et récurrentepositive possède une et une seule probabilité stationnaire π. Cetteprobabilité stationnaire π vérifie :
∀x0 ∈ E,∀ y ∈ E, π(y) =Ex0
(∑Tx0
k=1 1{Xk=y})
Ex0(Tx0
)=
1
Ey(Ty).
En outre, pour tout y ∈ E :
1
n
n∑
k=1
1{Xk=y}p.s.
−−−→n→+∞
π(y).
Plus généralement, pour toute fonction f positive ou π-intégrable :
1
n
n∑
k=1
f(Xk)p.s.
−−−→n→+∞
∑
y∈E
f(y) π(y) =
∫
fdπ.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.12
Remarque : :
limn→+∞
1
n
n∑
k=1
1{Xk=y} = limn→+∞
1
n
n∑
k=0
1{Xk=y} = limn→+∞
1
n
n−1∑
k=0
1{Xk=y},
et de meme :
limn→+∞
1
n
n∑
k=1
f(Xk) = limn→+∞
1
n
n∑
k=0
f(Xk) = limn→+∞
1
n
n−1∑
k=0
f(Xk).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.13
Remarque : :
limn→+∞
1
n
n∑
k=1
1{Xk=y} = limn→+∞
1
n
n∑
k=0
1{Xk=y} = limn→+∞
1
n
n−1∑
k=0
1{Xk=y},
et de meme :
limn→+∞
1
n
n∑
k=1
f(Xk) = limn→+∞
1
n
n∑
k=0
f(Xk) = limn→+∞
1
n
n−1∑
k=0
f(Xk).
Corollaire 8 : Une chaine irréductible est récurrente positive si etseulement si elle possède une probabilité stationnaire (et celle-ci estalors unique).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.13
Remarque : :
limn→+∞
1
n
n∑
k=1
1{Xk=y} = limn→+∞
1
n
n∑
k=0
1{Xk=y} = limn→+∞
1
n
n−1∑
k=0
1{Xk=y},
et de meme :
limn→+∞
1
n
n∑
k=1
f(Xk) = limn→+∞
1
n
n∑
k=0
f(Xk) = limn→+∞
1
n
n−1∑
k=0
f(Xk).
Corollaire 8 : Une chaine irréductible est récurrente positive si etseulement si elle possède une probabilité stationnaire (et celle-ci estalors unique).
Corollaire 8 : Une chaine irréductible sur un espace d’états finipossède une et une seule probabilité stationnaire π et tous ses étatssont récurrents positifs.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.13
En pratique, pour trouver la probabilité invariante éventuelle d’unechaine irréductible, on peut
commencer par chercher des mesures réversibles γ,
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’unechaine irréductible, on peut
commencer par chercher des mesures réversibles γ,
si on en trouve une, alors la mesure m = γ est invariante,
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’unechaine irréductible, on peut
commencer par chercher des mesures réversibles γ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à larecherche directe de mesures invariantes,
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’unechaine irréductible, on peut
commencer par chercher des mesures réversibles γ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à larecherche directe de mesures invariantes,
si on ne trouve pas de mesure invariante non identiquement nulle,alors la chaine est transiente.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’unechaine irréductible, on peut
commencer par chercher des mesures réversibles γ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à larecherche directe de mesures invariantes,
si on ne trouve pas de mesure invariante non identiquement nulle,alors la chaine est transiente.
si on a trouvé une mesure invariante m non identiquement nulle :
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’unechaine irréductible, on peut
commencer par chercher des mesures réversibles γ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à larecherche directe de mesures invariantes,
si on ne trouve pas de mesure invariante non identiquement nulle,alors la chaine est transiente.
si on a trouvé une mesure invariante m non identiquement nulle :
- ou bien∑
x m(x) < +∞, la chaine est alors récurrente positiveet la probabilité invariante est π(x) = m(x)/
∑
y m(y),
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.14
En pratique, pour trouver la probabilité invariante éventuelle d’unechaine irréductible, on peut
commencer par chercher des mesures réversibles γ,
si on en trouve une, alors la mesure m = γ est invariante,
si on n’en trouve pas, on ne peut conclure et il faut revenir à larecherche directe de mesures invariantes,
si on ne trouve pas de mesure invariante non identiquement nulle,alors la chaine est transiente.
si on a trouvé une mesure invariante m non identiquement nulle :
- ou bien∑
x m(x) < +∞, la chaine est alors récurrente positiveet la probabilité invariante est π(x) = m(x)/
∑
y m(y),- ou bien
∑
x m(x) = +∞, la chaine est alors récurrente nulle outransiente.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.14
III. Cas d’une chaine non irr eductible
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.15
III. Cas d’une chaine non irr eductible
Lemme 10 : Soit C une classe fermée et m une mesure portée par C(c’est-à-dire telle que m(Cc) = 0). Alors m est invariante pour la chainede Markov initiale si et seulement si elle est invariante pour la chainede Markov restreinte à C.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.15
III. Cas d’une chaine non irr eductible
Lemme 10 : Soit C une classe fermée et m une mesure portée par C(c’est-à-dire telle que m(Cc) = 0). Alors m est invariante pour la chainede Markov initiale si et seulement si elle est invariante pour la chainede Markov restreinte à C.
Théorème 10 : Soit C une classe fermée irréductible formée d’étatsrécurrents positifs, alors la chaine possède une et une seule probabilitéstationnaire π concentrée sur C. Elle est donnée par :
π(x) =
{
1Ex(Tx) si x ∈ C,
0 sinon.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.15
Théorème 11 : Soit (Ck)k∈K (K fini ou dénombrable) l’ensemble desclasses récurrentes irréductibles qui sont récurrentes positives(c’est-à-dire formées d’états récurrents positifs). Notons πk (k ∈ K)l’unique probabilité stationnaire concentrée sur Ck. Alors lesprobabilités stationnaires de la chaine sont les mesures de la forme :
π =∑
k∈K
ck πk, avec ck ≥ 0,∑
k∈K
ck = 1.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.16
IV. Convergence en loi vers la loi stationnaire
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Définition : Etant donné x ∈ E pour lequel Px(Tx < +∞) > 0(c’est-à-dire il existe n ≥ 1 tel que pn(x, x) > 0), sa période dx est lep.g.c.d. de {n : n ≥ 1, pn(x, x) > 0}.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Définition : Etant donné x ∈ E pour lequel Px(Tx < +∞) > 0(c’est-à-dire il existe n ≥ 1 tel que pn(x, x) > 0), sa période dx est lep.g.c.d. de {n : n ≥ 1, pn(x, x) > 0}.
Remarque :1 ≤ dx ≤ min{n ≥ 1 : pn(x, x) > 0},
en particulier s’il existe x tel que p(x, x) > 0, alors dx = 1.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Définition : Etant donné x ∈ E pour lequel Px(Tx < +∞) > 0(c’est-à-dire il existe n ≥ 1 tel que pn(x, x) > 0), sa période dx est lep.g.c.d. de {n : n ≥ 1, pn(x, x) > 0}.
Remarque :1 ≤ dx ≤ min{n ≥ 1 : pn(x, x) > 0},
en particulier s’il existe x tel que p(x, x) > 0, alors dx = 1.
Proposition 12 : Si x conduit à y alors dx = dy Par conséquent, tous leséléments d’une chaine de Markov irréductible ont même période.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.17
IV. Convergence en loi vers la loi stationnaire
Tous les résultats suivants sont admis.
Définition : Etant donné x ∈ E pour lequel Px(Tx < +∞) > 0(c’est-à-dire il existe n ≥ 1 tel que pn(x, x) > 0), sa période dx est lep.g.c.d. de {n : n ≥ 1, pn(x, x) > 0}.
Remarque :1 ≤ dx ≤ min{n ≥ 1 : pn(x, x) > 0},
en particulier s’il existe x tel que p(x, x) > 0, alors dx = 1.
Proposition 12 : Si x conduit à y alors dx = dy Par conséquent, tous leséléments d’une chaine de Markov irréductible ont même période.
On dit que la chaine est périodique de période d si d > 1 et apériodiquesi d = 1.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.17
Théorème 13 :Soit (Xn)n∈N une chaine de Markov récurrente irréductible.
Si elle est récurrente nulle, alors :
limn→+∞
pn(x, y) = limn→+∞
Px(Xn = y) = 0.
Si elle est récurrente positive de loi stationnaire π :soit elle est apériodique, et alors :
limn→+∞
pn(x, y) = limn→+∞
Px(Xn = y) = π(y).
soit elle est périodique de période d, et alors pour tout couplex, y d’états de E, il existe un entier r (0 ≤ r < d) dépendant de xet y, tel que :
Px(Xn = y) = 0 si n n′est pas de la forme md + r avec m ∈ N
limm→+∞
Px(Xmd+r = y) = d π(y).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.18
Application : algorithme de M etropolis
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.19
Application : algorithme de M etropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peutcalculer car E est trop grand.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.19
Application : algorithme de M etropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peutcalculer car E est trop grand.
En fait on simule une chaine de Markov récurrente, irréductible etapériodique (Xn)n≥0 de loi stationnaire π.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.19
Application : algorithme de M etropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peutcalculer car E est trop grand.
En fait on simule une chaine de Markov récurrente, irréductible etapériodique (Xn)n≥0 de loi stationnaire π.
On se donne une fonction de transition q symétrique(q(x, y) ≥ 0,
∑
y q(x, y) = 1, q(x, y) = q(y, x)) et irréductible.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.19
Application : algorithme de M etropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peutcalculer car E est trop grand.
En fait on simule une chaine de Markov récurrente, irréductible etapériodique (Xn)n≥0 de loi stationnaire π.
On se donne une fonction de transition q symétrique(q(x, y) ≥ 0,
∑
y q(x, y) = 1, q(x, y) = q(y, x)) et irréductible.
On suppose que Xk = x,- on tire y avec la probabilité q(x, ·)
- on prend Xk+1 = y avec probabilité min(π(y)π(x) , 1) et Xn+1 = x avec
probabilité 1 − min(π(y)π(x) , 1).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.19
Application : algorithme de M etropolis
But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peutcalculer car E est trop grand.
En fait on simule une chaine de Markov récurrente, irréductible etapériodique (Xn)n≥0 de loi stationnaire π.
On se donne une fonction de transition q symétrique(q(x, y) ≥ 0,
∑
y q(x, y) = 1, q(x, y) = q(y, x)) et irréductible.
On suppose que Xk = x,- on tire y avec la probabilité q(x, ·)
- on prend Xk+1 = y avec probabilité min(π(y)π(x) , 1) et Xn+1 = x avec
probabilité 1 − min(π(y)π(x) , 1).
Alors la probabilité π est réversible pour la chaine de Markov (Xn)n≥0.La chaine est irréductible, récurrente positive et apériodique. On prendZ = Xn pour n "grand".
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.19
Application : recuit simul e
But : minimiser une fonction U définie sur un espace fini mais trèsgrand.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.20
Application : recuit simul e
But : minimiser une fonction U définie sur un espace fini mais trèsgrand.
Soit T > 0 (la température). On pose
πT (x) =e−
1
TU(x)
ZT
,
ZT constante de normalisation (inconnue).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.20
Application : recuit simul e
But : minimiser une fonction U définie sur un espace fini mais trèsgrand.
Soit T > 0 (la température). On pose
πT (x) =e−
1
TU(x)
ZT
,
ZT constante de normalisation (inconnue).
Lorsque T tend vers 0, πT converge vers la loi uniforme sur l’ensembledes points où U est minimum (minimum global).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.20
Application : recuit simul e
But : minimiser une fonction U définie sur un espace fini mais trèsgrand.
Soit T > 0 (la température). On pose
πT (x) =e−
1
TU(x)
ZT
,
ZT constante de normalisation (inconnue).
Lorsque T tend vers 0, πT converge vers la loi uniforme sur l’ensembledes points où U est minimum (minimum global).
On simule πT tout en faisant tendre la température vers 0 :
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.20
Application : recuit simul e
But : minimiser une fonction U définie sur un espace fini mais trèsgrand.
Soit T > 0 (la température). On pose
πT (x) =e−
1
TU(x)
ZT
,
ZT constante de normalisation (inconnue).
Lorsque T tend vers 0, πT converge vers la loi uniforme sur l’ensembledes points où U est minimum (minimum global).
On simule πT tout en faisant tendre la température vers 0 :
on construit une chaine de Markov inhomogène en temps, telle que laloi de Xn tende vers la loi uniforme sur l’ensemble des points où U estminimum (minimum global).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.20
On utilise l’algorithme de Métropolis mais en faisant varier latempérature.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.21
On utilise l’algorithme de Métropolis mais en faisant varier latempérature.
On suppose que Xk = x,pour construire Xk+1 :- on tire y avec la probabilité q(x, ·),- si U(y) ≤ U(x) on prend Xk+1 = y,
- si U(y) > U(x) on prend Xk+1 = y avec probabilité e− 1
Tk(U(y)−U(x)) et
Xk+1 = x avec probabilité 1 − e− 1
Tk(U(y)−U(x)).
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.21
On utilise l’algorithme de Métropolis mais en faisant varier latempérature.
On suppose que Xk = x,pour construire Xk+1 :- on tire y avec la probabilité q(x, ·),- si U(y) ≤ U(x) on prend Xk+1 = y,
- si U(y) > U(x) on prend Xk+1 = y avec probabilité e− 1
Tk(U(y)−U(x)) et
Xk+1 = x avec probabilité 1 − e− 1
Tk(U(y)−U(x)).
Le fait de se laisser la possibilité de prendre Xk+1 = y même siU(y) > U(x) évite de rester piégé dans des points correspondant à desminima locaux . . . mais il faut que la température Tk ne décroisse pastrop vite vers 0.
Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.21