1 Info Theory

1

情報理論：楫 勇一（かじ ゆういち）この講義で学ぶこと

情報の記録や伝達を，効率よく，確実に行うための技術それら技術の背景にある考え方，それら技術の限界

現実世界で発生する情報を計算機で取り扱うための，第一段階

関連する分野：画像情報，音声情報の処理通信，ネットワークコンピュータ，情報システム

⇒ 情報科学・情報工学の広い分野を，下から支える理論体系

2

講義の概要第一部：情報の量を計る

情報を計量可能にし，工学的な議論を可能にする

第二部：情報をコンパクトに表現する情報に含まれるムダを削り，情報を圧縮する

第三部：情報を正確に伝える通信途中で発生する誤りを検出し，訂正する

第四部：情報を不正者から隠すいわゆる暗号技術の基礎について学ぶ

3

講義計画

５月２９日 ... 試験講義日程の中間付近で，レポート出題予定講義資料 ...http://narayama.naist.jp/~kaji/lecture/

火２８

１５２２２９

６１３２０２７

木１１０１７２４

１３

１５２２２９

４月

５月

4

第一部：情報の量を計る目標：情報を計量可能にし，工学的な議論を可能にする

よい自動車を作りたい :

燃費の良い車を ... 距離や燃料を正確に計ることが必要スピードが出る車を ... 距離や時間を正確に計ることが必要

良い情報システムを作るには，情報を正確に計ることが必要

しかし，その前に ... 情報って何？非常に深遠で，万人が納得できる答えはない情報理論の世界では，情報を単純化・モデル化して考える

5

情報源と通報情報源 (information source)

情報を発生するもの，何かを伝えようとするもの人間，新聞記事，プログラムの出力，温度計 etc.

通報 (message)

情報源から発生する「もの」言葉，文字，数字，気温 etc.

通報は情報を運ぶ入れ物である．「通報 ＝ 情報」ではない

6

情報源の分類連続時間 (continuous-time) vs. 離散時間 (discrete-time)

連続時間情報源：時間的に途切れることなく，通報が発生離散時間情報源：決まった時刻に，通報が一個ずつ発生

アナログ (analog) vs. デジタル (digital)

アナログ情報源：通報のとり得る値が連続集合となるデジタル情報源：通報のとり得る値が離散集合となる

４タイプ： { 連続時間，離散時間 } × { アナログ，デジタル }情報源

⇒ 離散時間デジタル情報源で，他の情報源を近似可能

7

標本化と量子化標本化 (sampling) ：

連続時間情報源を，離散時間情報源により近似する技法連続時間情報源から，特定の時刻に発生した通報を抜き出す

量子化 (quantization) ：アナログ情報源を，デジタル情報源により近似する技法アナログ通報を，既定の代表値でもっとも近いものに置換える

8

本講義における情報源本講義では，離散時間デジタル情報源だけを取り扱う離散時間デジタル情報源を単に情報源という

仮定と約束ごと：情報源は， 1, 2, .... の各時刻に通報を一個発生する通報は，離散集合 M の要素のどれか通報のとりうる値は | M | 通り ...| M | 元 (| M |-ary) 情報源という同一の情報源でも，試行のたびに異なる通報を発生する（非決定的動作）情報源が実際に何であるのかは，興味の対象外... 情報源が発生する「通報の確率分布」だけに意味がある

9

情報源と確率コイン投げを行い，表（ H ）か裏（ T ）かを通報とする情報源：

試行によって，通報の発生系列は異なる時刻 t に発生する通報を，確率変数 Xt によりあらわす

時刻 t での通報 a M の発生確率 P(Xt = a) を PXt(a) と書く

結合確率 P(Xt1=a1, Xt2=a2) を PXt1, Xt2(a1, a2) と書く

条件付確率 P(Xt2=a2| Xt1=a1) を PXt2|Xt1(a2 | a1) と書く

時刻 1 2 3 4 5 6 7 8 ...試行１ H T T H T H T H ...試行２ T T H T H T H H ...試行３ H H T H T T H T ...

:時刻 5 での，T ， H の発生確率PX5(T), PX5(H)

10

情報源の分類情報源の発生する通報の確率分布により，２種類の分類法

アリ

分類法１：記憶があるか，記憶がないか

分類法２：定常か，定常でないか

11

記憶のない情報源情報源に記憶がない（ memoryless ）：ある時刻の通報が，それ以前の通報とは無関係に選ばれる⇒ 確率 PXt|X1,...,Xt–1(at | a1,..., at–1) の値が a1, ..., at–1 に依存しな

い⇒ この場合， PXt|X1,...,Xt–1(at | a1,..., at–1) = PXt (at) となる

（前出の）コイン投げは，記憶のない情報源であるM = {H, T}

任意の t, 任意の a1, ..., at–1M ，任意の atM に対し，

PXt|X1,...,Xt–1(at | a1,..., at–1) = PXt (at) = 1/2

12

記憶のない情報源と記憶のある情報源記憶のない情報源では，

t

itXttXtX aaa

11,...,1 )(P),...,(P

⇒ 確率分布の計算が容易⇒ シンプルで扱いやすい情報源である

記憶のない情報源以外の情報源⇒記憶のある情報源現実世界の多くの情報源は，「記憶のある」情報源例：英文では，文字 q の次は u の出現確率が著しく高い確率分布の計算も困難で，扱いにくい情報源通報に相関がある分，圧縮できる余地が大きい⇒ 第二部での議論

13

定常情報源定常（ stationary ）情報源：時刻をシフトしても，通報の確率分布が変わらない情報源⇒ 任意の i に対して PX1,...,Xt (a1,..., at) = PXi,...,Xi+t–1 (a1,..., at)

⇒ t = 1 のときを考えると， PX1(a1) = PXi(a1)... 定常確率 P(a1)

通報の発生確率は，どの時刻でも変化しない

前出のコイン投げは定常情報源定常でない情報源の例 ...

電話での発声：「もしもし」から始まることが多く， PX1( も） > PXi( も ) となる

時刻 1 2 3 4 5 6 7 8 ...試行１ H T T H T H T H ...試行２ T T H T H T H H ...試行３ H H T H T T H T ...

::

14

エルゴード的情報源定常情報源については，さらに細かな分類基準がある

エルゴード的 (ergodic) （定常）情報源：通報に関する任意の確率統計量について，その時間平均とアンサンブル平均とが一致するような情報源

時刻 1 2 3 4 5 6 7 8 ...試行１ H T T H T H T H ...試行２ T T H T H T H H ...試行３ H H T H T T H T ...

:

この系列中でのT の発生確率

この系列中でのT の発生確率

一致する

その他の統計量も ...

15

エルゴード的でない情報源時刻０でコインを投げる

コインが表 ⇒ 通報として，ずっと H を発生するコインが裏 ⇒ 通報として，ずっと T を発生する

時刻 1 2 3 4 5 6 7 8 ...試行１ H H H H H H H H ...試行２ T T T T T T T T ...試行３ T T T T T T T T ...試行４ H H H H H H H H ...

P(H)=0, P(T) = 0

P(H)=1/2, P(T) = 1/2

定常ではある

記憶のない定常情報源 ⇒ 必ずエルゴード的記憶のある定常情報源 ⇒ エルゴード的とは限らない（上例）

エルゴード的でない

16

エルゴード性の意味エルゴード情報源：

一つの情報源を長時間観測すれば，統計的性質が見えてくる統計的性質を知るのに，多数の情報源を準備する必要なし

⇒ 工学上，のぞましい性質

あるシステムの処理対象がエルゴード的である ...

⇒ 一人の被験者（サンプル）で長時間テストすればＯＫエルゴード的でない ...

⇒ 多くの被験者（サンプル）を集めてテストの必要アリ （ある被験者には有効でも，他の被験者での効果は不明）

17

小休止：ここまでのまとめ情報源の分類

離散時間アナログ情報源

離散時間デジタル情報源

連続時間アナログ情報源

連続時間デジタル情報源

標本化

標本化量子化 量子化

定常，記憶なし非定常，

記憶なし 定常，記憶あり

非定常，記憶あり

エルゴード的

エルゴード的 orエルゴード的でない

18

マルコフ情報源第二部以降の議論 ... 記憶のない定常情報源が中心となる実用上は，記憶のある情報源も重要

記憶のある情報源の一例として，マルコフ情報源について紹介

m 重マルコフ (m-th order Markov) 情報源：通報の発生確率が，その直前 m 個より前の通報に依存しないすなわち，任意の i, 任意の n ( > m) に対し，

PXi|Xi–1, ..., Xi–n(ai | ai–1, ..., ai–n) = PXi|Xi–1, ..., Xi–m(ai | ai–1, ..., ai–m)

記憶のない定常情報源 ＝ 0 重マルコフ情報源

19

マルコフ情報源の例S: P(0) = q, P(1) = 1 – q である，記憶のない２元定常情報源

S

R1ビット記憶素子

Xi

Xi–1= 0 のとき， R = 0...

S の出力が 0 なら， Xi = 0 ⇒ PXi|Xi–1(0 | 0) = qS の出力が 1 なら， Xi = 1 ⇒ PXi|Xi–1(1 | 0) = 1 – q

Xi–1= 1 のとき， R = 1...

S の出力が 1 なら， Xi = 0 ⇒ PXi|Xi–1(0 | 1) = 1 – qS の出力が 0 なら， Xi = 1 ⇒ PXi|Xi–1(1 | 1) = q

この情報源は，１重マルコフ情報源（単純マルコフ情報源）

R=0 にR=1 に

R=0 にR=1 に

20

マルコフ情報源と状態図n 元 m 重マルコフ情報源直前 m 個の通報により，次の通報が決定情報源の内部に nm 通りの内部状態が存在，と考えられる各状態について，通報の発生確率が定義される

通報の発生にともなって，状態の遷移が起こる

P(0) = qP(1) = 1–q

0P(0) = 1–qP(1) = q

1

前ページの情報源の状態図

0 1

1 / 1–q

0 / 1–q

0 / q 1 / q

少し違う書き方

Xi / 確率

21

状態図による情報源定義マルコフ情報源 ... 必ず状態図として表現できる状態図は必ず，なんらかのマルコフ情報源と対応するか？⇒ 対応しないこともある

マルコフ情報源は，状態図により表現される情報源の真の部分クラスである

ただし ... あまり厳密に議論する必要なし，というケースも多い状態図により表現される情報源：

（一般化（ generalized ））マルコフ情報源と呼ぶことも

22

マルコフ情報源の分類既約（ irreducible ）マルコフ情報源任意の状態から任意の状態に遷移可能なマルコフ情報源

0

1 2

既約でないマルコフ情報源状態 1 からは，状態 0 や 2 に遷移できない

正規（ regular ）マルコフ情報源十分な時間が経過した後に，状態確率分布が定常的になる既約マルコフ情報源

23

正規マルコフ情報源の例

0 1

0/0.9 1/0.1

0/0.8 1/0.2

状態 0 から状態 1 へは遷移しにくい状態 1 から状態 0 へは遷移しやすい

⇒ 十分な時間経過後は，状態 0 に居る確率が高い？

時刻0 に居る確率1 に居る確率

11.00.0

20.90.1

30.890.11

40.8890.111

...

...

...これらの確率は，ある値に収束する

定常確率分布（ stationary probability distribution ）

正規マルコフ情報源なら ...

24

定常確率分布の計算法

時刻 t で状態 0 に居る確率： t

時刻 t で状態 1 に居る確率： t

以下の式が成り立つ t+1 = 0.9t + 0.8t

t+1 = 0.1t + 0.2t

t+1+ t+1= 1

0 1

0/0.9 1/0.1

0/0.8 1/0.2

t, t が , に収束する場合， t+1=t=, t+1=t= とし， = 0.9 + 0.8 = 0.1 + 0.2

+= 1この連立方程式を解いて，=8/9, =1/9

25

より一般的な場合の計算法確率分布ベクトルを w = (w0, ..., wn–1) とする

（ n は状態数， wi は，状態 i に居る確率， w0 + ... + wn–1= 1 ）

状態遷移行列を =(pi,j) とする

（ i 行 j 列目の要素 pi,j は，状態 i から状態 j への遷移確率）

定常確率分布は， w = w の解として与えられる

0 1

2

0.3

0.3

0.4

0.40.6

1.0

（遷移確率のみ表示）

(w0 w1 w2)=(w0 w1 w2)0.3 0.3 0.40.4 0.0 0.60.0 1.0 0.0

w0 + w1 + w2 = 1.0

これを解いてw0 = 40/168, w1 = 70/168, w2 = 58/168

26

正規マルコフ情報源正規マルコフ情報源は，エルゴード的な定常情報源となる通報の定常確率は，定常確率分布から計算できる

0 1

0/0.9 1/0.1

0/0.8 1/0.2

定常確率分布は， w0 = 8/9, w1 = 1/9

0 の定常確率 P(0) = 0.9w0 + 0.8w1 = 0.8891 の定常確率 P(1) = 0.1w0 + 0.2w1 = 0.111

27

本日のまとめ様々なタイプの情報源があることを紹介した

自分が扱おうとしている対象がどれに相当するのか，「相手を知る」ことが非常に大切

記憶のある情報源は，一般には複雑で扱いが難しいマルコフ情報源等，適切なモデルにより近似を正規マルコフ情報源 ...エルゴード的で扱いやすい

次回の講義では ... 情報「量」を導入する

28

練習問題非定常で記憶のある情報源を一つ例示せよ非定常で記憶のない情報源を一つ例示せよ以下のマルコフ情報源について，状態の定常確率分布を求めよ通報 A, B の定常確率を求めよ

0

1 2

A/0.4 A/0.5 B/0.6

A/0.8 B/0.5

B/0.2

29

情報基礎学講座（関研）講座紹介

明日の水曜３限（ 13:30-- ）， B507 の部屋にて

その他の日時も，随時受付中メイルで連絡 [email protected] まで連絡オフィス B505 まで直接訪問