記憶のある情報源 - 京都大学定常情報源：時間をずらしても統計的性質の変わらない情報源．つまり，任意の正整数...

Information Theory, 2013 by Toyoaki Nishida

記憶のある情報源

Copyright © 2013 Toyoaki Nishida All Rights Reserved.

マルコフ情報源

x0 x1 x2 P(x2|x0, x1) 直直直 0.6 直直変 0.4 直変直 0.2 直変変 0.8 変直直 0.5 変直変 0.5 変変直 0.6 変変変 0.4

2重マルコフモデルを用いたモデル化


x0 x1 x2 P(x0, x1, x2) 直直直 0.168 直直変 0.112 直変直 0.024 直変変 0.096 変直直 0.240 変直変 0.240 変変直 0.072 変変変 0.048

結合確率を用いた記述


結合確率からの条件付き確率算出

8.0096.0024.0

096.0

),,(),,(),,(

),(),,(

),|(

210210

210

10

210

102

,,

,

,

,,

,|

=+

=

+=

=

直変直変変直

変変直

変直

変変直

変直変

XXXXXX

XXX

XX

XXX

XXX

PPP

PP

P


結合確率からのその他確率算出

6.0048.0072.024.024.0

),,(),,(

),,(),,(

),,()(

210210

210210

2 1

2100 21

=+++=

++

+=

= åå

変変変直変変

変直変直直変

変変

XXXXXX

XXXXXX

x xXXXX

PP

PP

xxPP

24.0048.0072.0096.0024.0

),,(),,(

),,(),,(

),,()(

210210

210210

2 1

2101 20

=+++=

++

+=

= åå

変変変直変変

変変直直変直

変変

XXXXXX

XXXXXX

x xXXXX

PP

PP

xxPP


結合確率からのその他確率算出

496.0048.024.0096.0112.0

),,(),,(

),,(),,(

),,()(

210210

210210

2 1

2102 10

=+++=

++

+=

= åå

変変変変直変

変変直変直直

変変

XXXXXX

XXXXXX

x xXXXX

PP

PP

xxPP


S直直

S直変

S変変

変 / 0.4

S変直

直 / 0.6 変 / 0.8

直/ 0.5

変 / 0.5

直 / 0.6

直 / 0.2

変 / 0.4

情報源のモデル化

n 情報源記号A={a1, a2, …, aM}をもつ情報源Sに対して，時間の経過に伴うSからの出力をX0,…,Xn-1と表す（Xiは{a1, a2, …, aM}のどれかをとり得る確率変数）．

n 定常情報源：時間をずらしても統計的性質の変わらない情報源．つまり，任意の正整数nとi，および情報源記号の任意の元に対して，が成立する．

110 ,,, -nxxx L

),,,(),,,( 110,,,110,,, 11110 -- -++-= nXXXnXXX xxxPxxxP

niiinLL LL

記憶のある定常情報源モデル n 記憶のない情報源：各時点における情報源記号の発生が他

の時点とは独立である．このとき，次の等式が成立する．

n X0,…,Xn-1の統計的性質は，あらゆるnに対して結合確率分布：を与えれば完全に決まる．

n 確率が明示的に規定されていないものはベイズの原理で求める．例えば，

å

==

2

)x,,(),,(

),(),,(),|(

210

210

10

210102

xxxP

xxxPxxP

xxxPxxxP

)(),,(1

010,, 10 iX

n

inXX xPxxP

in P-

=- =

-LL

],,,[),,( 11110010,, 10となる確率--- ====

- nnnXX xXxXxXxxPn

LLL

記憶のある定常情報源モデル n 記憶のない情報源：各時点における情報源記号の発生が他

の時点とは独立である．このとき，次の等式が成立する．

n X0,…,Xn-1の統計的性質は，あらゆるnに対して結合確率分布：を与えれば完全に決まる．

n 確率が明示的に規定されていないものはベイズの原理で求める．例えば，

å

==

2

)x,,(),,(

),(),,(),|(

210

210

10

210102

xxxP

xxxPxxP

xxxPxxxP

)(),,(1

010,, 10 iX

n

inXX xPxxP

in P-

=- =

-LL

],,,[),,( 11110010,, 10となる確率--- ====

- nnnXX xXxXxXxxPn

LLL


n m重マルコフ情報源：なる全てのnに対して，が成り立つ．

),,|(),,|( 1,,|1,,| 11 ---- ---= imiiXXXiniiXXX xxxPxxxP

imiiniiLL LL

nm £


n 一般化されたマルコフ情報源：状態図によって規定される．

n m重マルコフ情報源は一般化された情報源としてモデル化できる．

n 一般化されたマルコフ情報源は必ずしもm重マルコフ情報源としてモデル化できない．


1重マルコフ情報源（単純マルコフ情報源）の例

記憶のない定常2元情報源

1単位時間遅延

Yi

Xi－1

Xi

R

S

1: p 0: 1-p

iii YXX Å= -1

ïïï

î

ïïï

í

ì

-=

=

=

-=Å=

-

-

-

-

-

pP

pP

pP

pPYXX

ii

ii

ii

ii

XX

XX

XX

XX

iii

1)1|1(

)0|1(

)1|0(

1)0|0(

1

1

1

1

|

|

|

|

1


ïïï

î

ïïï

í

ì

-=

=

=

-=Å=

-

-

-

-

-

pP

pP

pP

pPYXX

ii

ii

ii

ii

XX

XX

XX

XX

iii

1)1|1(

)0|1(

)1|0(

1)0|0(

1

1

1

1

|

|

|

|

1

1/p

0/p

1/1-p

0/1-p

S0 S1

状態図


（例） 3重マルコフ情報源の一般化された情報源としてのモデル化

SAAA

SAAB

SABA

B / P(B|AAA)

SABB

SBAB

SBBA

SBBB

SBAA

A/P(A|AAA)

B / P(B|BBB) A / P(A|BBB)

B / P(B|AAB)

A / P(A|AAB)

A / P(A|BAA)

B / P(B|BAA)

A / P(A|ABA)

B / P(B|BAB)

A / P(A|BAB)

A / P(A|BBA)

B / P(B|BBA)

B / P(B|ABA)

B / P(B|ABB)

A/P(A|ABB)


m重マルコフ情報源としてモデル化できない一般化されたマルコフ情報源の例

S0 S1

B/0.3

B/0.8

B/0.9

S2 A/0.2

A/0.1

A/0.7

エルゴード情報源

S={A, B}

t

S={A, B}

S={A, B}

S={A, B}

S={A, B}

S={A, B}

S={A, B}

A B A B A B A B A B A B A B A B

B A B A B A B A B A B A B A B A

B B A A B B A A B B A A B B A A

A A B B A A B B A A B B A A B B

B B B A A A B B B A A A B B B A

A A A B B B A A A B B B A A A B B B B B A A A A B B B B A A A A

エルゴード情報源：

確率変数Xの値の集合平均と時間平均が等しい．

åÎ

=Ax

X xxPX )( å-

=¥®

=1

0

1limn

iin

xn

X

PX(x): ある時刻においてX=xになる確率

同一情報源のコピー

【エルゴード情報源のイメージ】

エルゴード情報源

t

A A A A A A A A A A A A A A A A

B B B B B B B B B B B B B B B B






S={A, B}

S={A, B}

S={A, B}

S={A, B}

S={A, B}

S={A, B}

S={A, B}

同一情報源のコピー

【非エルゴード情報源のイメージ】


S10

S0 S1

S9

非周期的

周期的

S2

S4

S6

S8 S5

S7

S11

S3

S12

S14 S13

過渡的


S10

S11

S12

S14 S13

1 2 3 4 5 6 7 8

S10 ● ● ● ● ●

S11 ● ● ● ● ●

S12 ● ● ● ● ● ●

S13 ● ● ● ● ●

S14 ● ● ● ● ● ●

非周期的：はじめにどのような状態であっても，ある時間が経過したあとの任意の時点において，どの状態になることも可能（確率は０ではない）


1 2 3 4 5 6 7 8

S5 ● ● ● ●

S6 ● ● ● ●

S7 ● ● ● ●

S8 ● ● ●

S6

S8 S5

S7

周期的：どれだけ時間が経過しても，任意の時点において，すべての状態に到達することはできない．


n 遷移確率行列：ここで，pij=P(sj|si) :状態siの次に状態sjに遷移する確率．

n 遷移確率行列について，次の性質が成立する．ここで，pij

(t) 状態siから状態sjに： t時点後に遷移する確率．

úúú

û

ù

êêê

ë

é=P

---

-

1,10,1

1,00,0

NNN

N

pp

pp

L

MOM

L

t

tNN

tN

tN

t

t

pp

ppP=

úúú

û

ù

êêê

ë

é

=P

---

-

)(1,1

)(0,1

)(1,0

)(0,0

)(

L

MOM

L


n 正規マルコフ情報源：十分な時間が経過した後は，任意の状態間の遷移が生じ得る情報源．

n 正規マルコフ情報源では，のとき，はiに無関係な値に収束する．つまり，

n 定常分布の計算：次の連立方程式を解く．

¥®t )(tijp

jt

ijtuP =

®¥

)(lim

),,,( 110 -= Nwwww L

îíì

=P=+++ -

wwwww N 1110 L


n 正規マルコフ情報源では，はじめにどんな状態分布が与えられても，十分な時間が経過すれば，状態遷移は定常的になり，出力も定常的確率分布に従う．十分な時間の後には，エルゴード情報源とみなせる．

n 一般のマルコフ情報源では，定常分布は少なくとも一つ存在．初期分布として定常分布を与えると定常情報源となる．

n 規約情報源では，周期的であっても定常分布は一意的に存在する．それを初期分布とすればエルゴード情報源になる．

n 周期的規約情報源では，定常分布以外の初期分布を与えると，十分な時間が経過しても定常情報源にはならない．

マルコフ情報源のエントロピー

一般マルコフ情報源のエントロピー計算法：

n 情報源記号：

n 状態：

n その定常確率分布：

n 状態での情報源記号の発生確率：

n とすれば，マルコフ情報源のエントロピーは，

},,{ 1 Maa L

},,{ 10 -NSS L

},,{ 10 -Nww L

)|( ij SaP

÷÷ø

öççè

æ-= åå

=

-

=

)|(log)|()( 21

1

0ij

M

jij

N

ii SaPSaPwSH

iS ja


n 正規マルコフ情報源のエントロピーとn次エントロピーの間に次の関係がある．

)()( SHSH n£

)()(lim SHSHnn=

¥®


（例）マルコフ情報源

について

ïï

î

ïï

í

ì

=

=

=

=

-

-

-

-

6.0)B|B(

4.0)B|A(

1.0)A|B(

9.0)A|A(

1

1

1

1

|

|

|

|

ii

ii

ii

ii

XX

XX

XX

XX

P

P

P

P

722.0)2.0()(1 »= HSH

646.02

)()(2

12 »=

SHSH

620.03

)()(3

13 »=

SHSH

0.56

0.58

0.6

0.62

0.64

0.66

0.68

0.7

0.72

0.74

1 2 3

n

)(SHn

n次エントロピーの背後にある構造

p O

0.4 1

)4.0(H

)9.0(H

0.8 0.9

)8.0(H

)(SHn

記憶のある情報源 - 京都大学定常情報源：時間をずらしても統計的性質の変わらない情報 源．つまり，任意の正整数...

Documents

記憶のある情報源 - 京都大学定常情報源：時間をずらしても統計的性質の変わらない情報源．つまり，任意の正整数...