最尤復号法と 通信路符号化定理 · 通信路符号化 n Anの全ての系列を伝送に使うと，通信路で誤りが生じたとき，...

Information Theory, 2013 by Toyoaki Nishida

最尤復号法と 通信路符号化定理

Copyright © 2013 Toyoaki Nishida All Rights Reserved.

通信路符号化

通信路の入力アルファベットと出力アルファベットをともに

とし，通信路記号の長さ n の系列 を通信路を介して伝送

する．

nAx Î

出力アルファベット A

},,{ 1 raaA L=

長さ n の系列 通信路

誤り源

長さ n の系列

入力アルファベット A

通信路符号化

n Anの全ての系列を伝送に使うと，通信路で誤りが生じたとき，それを検出することも訂正することもできない．

n そこで An の部分集合 だけを送信のために使用することにする．

n 通信路記号あたり伝送し得る最大の情報量：

ビット／通信路記号

を C の情報（伝送）速度という．

n いろいろな通信路に対する R の最大値をRmaxとすると，

},,{ 1 MwwC L=

nM

nCR 22 log||log

==

max22 loglog Rrn

rRn

==£

通信路符号化

n 誤り訂正や検出が可能であるための必要十分条件：

n Cの効率（または，「符号化率」）：

n 誤り訂正や検出が可能，かつ，情報伝送が可能 ⇔

n Cの冗長度：

n R<C （C：通信路容量）ならば復号誤り率Peを任意に小さくできる（後述の通信路符号化定理）．

maxRR <

maxRR

=h

10 << h

hr -= 1

通信路符号化

Anの部分集合 だけを送信し，受信語yが符号語

wiのまわりに定義された復号領域 に入れば，wiが送信され

たものと解釈する．

実際にwiを送ったときの受信語yiが に入れば正しい復号が

行なわれるが， ( )に入れば，復号は誤りになる．

Ω1

w2 w1

Ω2

Anの空間

},,{ 1 MwwC L=

iW

iW

iW ji ¹

ハミング距離 n 2つのn次元ベクトル と のハミン

グ距離：

n ハミング距離dHは距離の3公理を満たす．すなわち， p

等号が成立するのは， のときに限る． p p

n ハミングの重み：wH(v) n次元ベクトルvの0でない成分の数

),,( 1 nuuu L= ),,( 1 nvvv L=

å=

=M

iiiH vuvud

1),(),( d

îíì

¹=

=vuvu

vu:1:0

),(d

0),( 21 ³vvdH

21 vv =),(),( 1221 vvdvvd HH =

),(),(),( 313221 vvdvvdvvd HHH ³+

)0,()( vdvw HH =

)(),( vuwvud HH -=

ハミング距離

次の2つの8次元ベクトルuとvのハミング距離：

5),( =vudH

1 0 1

1 1 0

u

v

1

0

0

0

0

1

1

0

1

1

最小距離と誤り訂正能力 n 符号Cの最小ハミング距離：

n 受信空間において，各符号語を中心として半径t1の球を作る．

n これらの球を復号領域とすれば，この符号により，t1個以下の誤りを訂正でき， t1 +t2個以下の誤りを検出できる．

),(min,,min vudd HCvuvu ι

=

1W 2W

3W

3w

2w1w

1t 1t

1t

12 1min +³ td

12 +t

12 1min +³ td であれば，これら

の球は重複することはない．

限界距離復号法

n を満たすある整数 を定め， 個以下の誤りの

訂正を行う復号法．

n 個以下の誤りは訂正可能．

n とすれば， 個以上， 個以下の

誤りは検出可能．

n の最大値 … Cの誤り訂正能力

12 1min +³ td 1t 1t

1t

12 1min2 --= tdt 11 +t 21 tt +

1t úûú

êëê -

=2

1min0

dt

最尤復号法 vs 限界距離復号法

n 受信語yとハミング距離の意味で一番近い符号語wが送られたと推定するのが最尤復号法．

n 限界距離法は受信語yに最も近い符号語wが送られたと推定するが，全てのyに対してそのような推定を行うのではなく，各符号語を中心とする半径t1の球内に入る受信語に対してのみそのような推定を行うのであり，それ以外の受信語に対しては推定を放棄する．

n 正しく復号される確率Pcは最尤復号法のほうが高い．

n 符号語が多い場合，最尤復号法は実現が難しい．これに対して，限界距離復号法はある構造をもった符号に対しては，比較的簡単に実現できる．

n 復号誤り率Peは最尤復号法のほうが限界距離復号法よりも高い．

n 誤り訂正符号の復号には，ほとんどの場合，限界距離復号法が用いられる．

最尤復号法

w2

w1

wi

w2

Ω2

w1

Ω1

wi

Ωi

通信路入力 通信路出力

最尤復号法

n 復号の良さの評価量：wiが正しく復号される確率：

n どの符号語も等確率(1/M)で与えられるとすれば の平均値Pcは

n Pcを最大にするには，各yに対して，P(y|wi) (i=1,…,M)のなかの最大値を与えるものをP(y|wk(y))とすれば， とすればよい．

åWÎ

=iy

iic wyPwP )|()(

)( ic wP

å åå= WÎ=

==M

i yi

M

iicc

i

wyPM

wPM

P11

)|(1)(1

)( yky WÎ

最尤復号法

例題： 受信空間{a1, a2, a3, a4, a5, a6, a7, a8} のうち，{a2=w1, a4=w2, a7=w3} だけを符号語として使うものとする．通信路行列：

で規定された通信路に対して，Ω1, Ω2, Ω3 ⊆ {a1, a2, a3, a4, a5, a6, a7, a8} をどう作っておくと，Pcが最大になるか？入力語の生起確率は均等とする．

úúúúúúúúúúú

û

ù

êêêêêêêêêêê

ë

é

=P

69.004.005.004.003.004.005.006.004.078.003.003.005.004.002.001.002.003.082.001.004.003.001.004.002.001.003.086.001.002.004.001.004.004.008.004.066.003.009.002.007.001.003.002.006.077.001.003.012.003.007.005.004.003.065.001.002.005.001.004.012.001.003.072.0

最尤復号法

(案1) },{},,,{},,,{ 64385227311 aaaaaaaa =W=W=W

( )

( ) 107.003.005.004.004.009.003.003.001.031

))|()|(

)|()|()|()|()|()|((31

)|()|()|(31

)()()(31

7674

484542272321

321

321

321

»+++++++=

++

+++++=

÷÷ø

öççè

æ++=

++=

åååWÎWÎWÎ

aaPaaP

aaPaaPaaPaaPaaPaaP

wyPwyPwyP

wPwPwPP

yyy

cccc

最尤復号法

(案2) },,,{},,{},,{ 87543632211 aaaaaaaa =W=W=W

( )

( ) 54.004.078.003.005.003.003.065.001.031

))|()|()|()|(

)|()|()|()|((31

)|()|()|(31

)()()(31

78777574

46432221

321

321

321

»+++++++=

++++

+++=

÷÷ø

öççè

æ++=

++=

åååWÎWÎWÎ

aaPaaPaaPaaP

aaPaaPaaPaaP

wyPwyPwyP

wPwPwPP

yyy

cccc

最尤復号法

a1 a2 a3 a4 a5 a6 a7 a8 a1 0.72 0.03 0.01 0.12 0.04 0.01 0.05 0.02 a2 0.01 0.65 0.03 0.04 0.05 0.07 0.03 0.12 a3 0.03 0.01 0.77 0.06 0.02 0.03 0.01 0.07 a4 0.02 0.09 0.03 0.66 0.04 0.08 0.04 0.04 a5 0.01 0.04 0.02 0.01 0.86 0.03 0.01 0.02 a6 0.04 0.01 0.03 0.04 0.01 0.82 0.03 0.02 a7 0.01 0.02 0.04 0.05 0.03 0.03 0.78 0.04 a8 0.06 0.05 0.04 0.03 0.04 0.05 0.04 0.69

},{},,,{},,,{ 73364128521 aaaaaaaa =W=W=W

( )

( ) 8.078.004.008.066.002.012.005.065.031

))|()|()|()|(

)|()|()|()|((31

)|()|()|(31

)()()(31

77734644

41282522

321

321

321

=+++++++=

++++

+++=

÷÷ø

öççè

æ++=

++=

åååWÎWÎWÎ

aaPaaPaaPaaP

aaPaaPaaPaaP

wyPwyPwyP

wPwPwPP

yyy

cccc

代表系列

における情報源記号 の出現頻度を とするとき，所与の正

数 に対して が満たされる系列を代表系列

(typical sequence)と呼ぶ． 無記憶情報源〈A: 0.1, B: 0.4, C: 0.5〉に対して，ε=0.05としたときの，長さ50の代表系列の例: CCBCCBCCCACCBCCBCBCCBBCBBCBCBABBBCCCCBBCBABCBBCCCB Aの頻度：0.06, Bの頻度：0.42, Cの頻度：0.52

nxx ,,1 L iae ),,2,1( Mip

nn

ii L=£- e

in

代表系列

十分小さい に応じて，十分大きい n が与えられたとき，与えられた代表系列 のなかには，発生確率 の情報源記号 が 個含まれているから， の発生確率 は， である． 代表系列では， であるので つまり，代表系列はどれもほぼ同じ確率 で発生する． 一方，代表系列以外の発生確率は十分に0に近づくので，代表系列の数は であると考えられる．

Õ=

=M

i

ni

ipP1

)(s

( ) )(log

1

log

1

log

1

2222)( 12

22 SnHppnM

i

pnpM

i

nppM

i

npi

M

iii

iiiiipP -

===

=å

===» =ÕÕÕs

es ip ia in

s )(sP

ii npn »

ランダム符号化

通信路 （通信路容量C）

X Y

通信路 （通信路容量C）

X Y 情報源S0

通信路容量を達成する情報源 ( ) )|()()|()(max YXHXHYXHXHC -=-=p

情報源S0から発生する長さnの代表系列のなかからM＝2nR個の符号語をランダムに選ぶ．C0の各符号語に対する復号領域は適切に定める．

ランダム符号化

iw

入力系列 出力系列

jw

kw

y

C0の符号語

nRM 2= 個

長さnの代表的な系列数は )(2 XnH 個

各記号のあいまいさは

)|( YXH

各yに対する可能な入力系列の個数は，

)|(2 YXnH

ランダム符号化の復号誤り率

n 復号正解率の平均 は，長さnの任意の出力系列yに対す

る復号正解率として算出される．

n この通信路を通して，出力yを受け取るときのあいまいさの

平均は である． ⇒ yを出力する可能性の高い入力系列の個数は

個ある．これら以外の入力系列の出力がyとなる確率は，nが大きくなると急速に小さくなる．

n 復号誤りが生じないためには，この 個の系列の集ま

りの中に含まれる の符号語が だけでなければならない

．

up

)|( YXH)|(2 YXnH

)|(2 YXnH

0C iw

ランダム符号化の復号誤り率

n 復号正解率の平均 の導出．与えられた系列がC0の符号語

に選ばれない確率：

n 復号正解率の平均 ：yに復号される2 nH(X|Y)個の系列の集ま

りの中に，wi以外にC0の符号語が存在しない確率：

)(221 XnH

nR

-

)(2121221

22

212

21

)(

))|()(())|(()|(

)|()(

12

)(

)|(

¥®-=

-=×-=

×-»÷÷ø

öççè

æ-=

--

----

-

n

p

RCn

RYXHXHnYXHRnYXnH

YXnHXnH

nR

XnH

nR

u

YXnH

nXHCR ≪1),(£<※ であることを利用．

ランダム符号化の復号誤り率

n 従って，ランダム符号化により構成された符号の復号誤り率

の平均 は：

n ランダム符号の中には，上のように評価された復号誤り率の

平均値 以下となるものが必ず存在する． ■

ep

),(021 )( RCnpp RCnue >¥®®»-= --

ep