NC 2004 10 18研究会 ( 年 月 日) 1
ベイジアンネットと確率推論変分原理からの再帰的確率推論アルゴリズムの解説
東北大学 大学院情報科学研究科田中 和之
[email protected]://www.statp.is.tohoku.ac.jp/~kazu/
参考文献参考文献田中和之・樺島祥介編田中和之・樺島祥介編 , “, “ ミニ特集ミニ特集 //ベイズ統計・統計力学と情報処ベイズ統計・統計力学と情報処理”理” , , 計測自動制御学会誌「計測と制御」計測自動制御学会誌「計測と制御」 20032003 年年 88月号.月号.田中和之,田中利幸,渡辺治他著,“連載田中和之,田中利幸,渡辺治他著,“連載 //確率的情報処理と統計力確率的情報処理と統計力学 学 ------様々なアプローチとそのチュートリアル様々なアプローチとそのチュートリアル ---”,数理科学2004年 11月号から開始.
NC 2004 10 18研究会 ( 年 月 日) 2
確率的情報処理と確率伝搬法
確率的情報処理ベイジアンネット
確率モデル
ベイズの公式
確率伝搬法
J. Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988).
NC 2004 10 18研究会 ( 年 月 日)NC 2004 10 18研究会 ( 年 月 日) 33
進化する確率伝搬法進化する確率伝搬法進化する確率伝搬法進化する確率伝搬法
確率伝搬法と統計力学的近似解析手法との等価性確率伝搬法と統計力学的近似解析手法との等価性Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett. 44 (1998). M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory and Practice (MIT Press, 2001).
クラスター変分法による確率伝搬法の一般化の提案クラスター変分法による確率伝搬法の一般化の提案J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief propagation, Advances in Neural Information Processing Systems, 13 (2001, MIT Press).
情報幾何としての確率伝搬法の解釈情報幾何としての確率伝搬法の解釈 S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free
energy, and information geometry, Neural Computation, Vol.16, No.9, pp.1779-1810, 2004.
確率伝搬法と統計力学的近似解析手法との等価性確率伝搬法と統計力学的近似解析手法との等価性Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett. 44 (1998). M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory and Practice (MIT Press, 2001).
クラスター変分法による確率伝搬法の一般化の提案クラスター変分法による確率伝搬法の一般化の提案J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief propagation, Advances in Neural Information Processing Systems, 13 (2001, MIT Press).
情報幾何としての確率伝搬法の解釈情報幾何としての確率伝搬法の解釈 S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free
energy, and information geometry, Neural Computation, Vol.16, No.9, pp.1779-1810, 2004.
NC 2004 10 18研究会 ( 年 月 日)NC 2004 10 18研究会 ( 年 月 日) 44
本チュートリアル講演のトピッ本チュートリアル講演のトピックスクス
本チュートリアル講演のトピッ本チュートリアル講演のトピックスクス
確率推論における確率伝搬法確率推論における確率伝搬法K. Tanaka: “Probabilistic inference by means of cluster K. Tanaka: “Probabilistic inference by means of cluster variation method and linear response theory”, IEICE variation method and linear response theory”, IEICE Transactions, Transactions, E86-DE86-D (2003). (2003).
確率的画像処理における確率伝搬法確率的画像処理における確率伝搬法K. Tanaka, H. Shouno, M. Okada and D. M. Titterington: AccuracK. Tanaka, H. Shouno, M. Okada and D. M. Titterington: Accuracy of the Bethe Approximation for Hyperparameter Estimation in y of the Bethe Approximation for Hyperparameter Estimation in Probabilistic Image Processing, J. Phys. A: Math. & Gen., Probabilistic Image Processing, J. Phys. A: Math. & Gen., 3737 (20 (2004).04).
NC 2004 10 18研究会 ( 年 月 日) 5
確率の知識(1)
AABBA
A
BAAB
PrPr,Pr
Pr
,PrPr
A
B
条件付き確率と結合確率条件付き確率と結合確率
事象Aの起こる確率 }Pr{A
事象 Aと事象 Bの結合確率 BABA Pr,Pr
NC 2004 10 18研究会 ( 年 月 日) 6
確率の知識(2)
A C D
DCBAB ,,,PrPr
結合確率分布と周辺確率分布の一般的関係
AA BB
CC DD
周辺化周辺化
NC 2004 10 18研究会 ( 年 月 日) 7
簡単な確率推論
AABBC
AABBAC
BABACCBA
PrPrPr
PrPr,Pr
,Pr,Pr,,Pr
BA
B
CBA
CBA
C
CACA
,
,,Pr
,,Pr
Pr
,PrPr
A
B
C
A
B
C
ABPr
BCBAC Pr,Pr
A
B
C
NC 2004 10 18研究会 ( 年 月 日) 8
より複雑な確率推論
1A
3A
2A
4A
6A 5A
13V
67V
24V
25V346V
568V
8A7A
複雑になるほどノー複雑になるほどノードの個数は多くなりドの個数は多くなり計算困難が深刻にな計算困難が深刻になるる
NC 2004 10 18研究会 ( 年 月 日) 9
より複雑な確率推論
)()(
)()()(
)()()(
)()()(
)()()(
)()()(
2
2233
311342245225
445566
7667543346865568
311342245225
7667543346865568
882211
,,,
,,,,,1
,,,
,,,,,1
,,,Pr
aWaW
aaWaaWaaW
aWaWaW
aaWaaaWaaaW
Z
aaVaaVaaV
aaVaaaVaaaVZ
aAaAaAP
a
8,,2,1 iaia
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
2W
5W
4W
3W
6W
NC 2004 10 18研究会 ( 年 月 日) 10
周辺確率分布
iaii PaP
\
)(a
a
kji aaakjiijk PaaaP
,,\
),,(a
a
ji aajiij PaaP
,\
),(a
a
882211 ,,,Pr aAaAaAP a
信念( Belief )
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
2W
5W
4W
3W
6W
NC 2004 10 18研究会 ( 年 月 日) 11
扱い易いモデルと計算困難なモデル
どの枝もそれぞれで独立に和がとれる.
それぞれで独立に和をとることが困難.
閉路のないグラフ上の確率モデル
閉路のあるグラフ上の確率モデル
dcba
dcba
dcba
),(),(),(),(
),(),(),(,
xDxCxBxA
xDxCxBxAa b c d
a
b
cd
a
b
cd
a b c d
dcba xW ,,,,
NC 2004 10 18研究会 ( 年 月 日) 12
より複雑なグラフ上の確率モデル
8,,2,1 iaia
)()(
)()()(
)()()(
)()()()(
2
2233
311342245225
445566
7667543346865568
,,,
,,,,,1
aWaW
aaWaaWaaW
aWaWaW
aaWaaaWaaaW
ZP
a
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
2W
5W
4W
3W
6W
NC 2004 10 18研究会 ( 年 月 日) 13
周辺確率分布のメッセージによる近似表現
1A
3A
2A
4A
6A 5A
8A7A
346W
133M244M
676M
5686M
667665686
42443133
643346346
643346 ,,1
,,
aMaM
aMaM
aaaWZ
aaaP
667665686
63466666
661
aMaM
aMaWZ
aP
3 4
64334666 ,,a a
aaaPaP
3466M
3A 4A
6A 5A
8A7A
676M
5686M
6W
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
2W
5W
4W
3W
6W
NC 2004 10 18研究会 ( 年 月 日) 14
メッセージの固定点方程式
3 4 6
3 4
)()()(
),,(
)()()(
),,(
)(
4244313366
643346
4244313366
643346
63466
a a a
a a
aMaMaW
aaaW
aMaMaW
aaaW
aM
確率伝搬アルゴリズム
1A
3A
2A
4A
6A
)( 3133 AM )( 4244 AM
)( 63466 AM
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
2W
5W
4W
3W
6W
NC 2004 10 18研究会 ( 年 月 日) 15
確率モデルとカルバックライブラー情報量
a\a
aa )()( QQ :周辺確率分布
a
aa
a P
QQPQD ln)(
a
a
a
1)(
0
Q
Q
a
aa
a W
QQWQDD ln)(
a
a
a
1)(
0
Q
Q
a
a
a
1)(
0
W
W
)()()()()(
)()()()()()()(
22233445566
3113422452257667543346865568 ,,,,,,,,1
aWaWaWaWaW
aaWaaWaaWaaWaaaWaaaW
ZP a
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
2W
5W
4W
3W
6W
NC 2004 10 18研究会 ( 年 月 日) 16
試行関数
)()(
)()()(
)()()(
)()()()(
2
2233
311342245225
445566
7667543346865568
,,,
,,,,,
aQaQ
aaQaaQaaQ
aQaQaQ
aaQaaaQaaaQQ
a
a\a
aa )()( QQ :周辺確率分布
1A
3A
2A
4A
6A 5A
8A7A
13W
67W
24W
25W
346W
568W
3A
3A
6A
5A
5A
4A
4A
6A
6A
2A2A
ZDDDD
DDDDDDPQD
ln2 6543
56867252434613
a
aa
a P
QQPQD ln)(
a
a
a
1)(
0
f
f1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
2W
5W
4W
3W
6W
NC 2004 10 18研究会 ( 年 月 日) 17
クラスター変分法の戦略
•各クラスター γ に対する周辺確率分布 P QQγ(aγ) を その規格化条件と Reducibility を拘束条件として D[Q|P] を最小にするように変分原理によって決定する.(注意: Q(a) の規格化条件 Σa f(a)=1 は要請しない変分で得られた f(a) が D[Q|P] 0 ≧ を満たす保証はなくなる . )
ZDDDD
DDDDDDPQD
ln2 6543
56867252434613
5
4
5225
422422
,
,
a
a
aaQ
aaQaQ
)(
)()(
•確率分布を少数ノードからなるクラスターに対する周辺確率分布の積の形に近似する.その近似形と元々の確率分布の間の KL情報量の表式を考える.
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
2W
5W
4W
3W
6W
NC 2004 10 18研究会 ( 年 月 日) 18
周辺確率分布のメッセージによる近似表現
1A
3A
2A
4A
6A 5A
8A7A
346W
133M244M
676M
5686M
667665686
42443133
643346346
643346 ,,1
,,
aMaM
aMaM
aaaWZ
aaaP
667665686
63466666
661
aMaM
aMaWZ
aP
3 4
64334666 ,,a a
aaaPaP
3466M
3A 4A
6A 5A
8A7A
676M
5686M
6W
NC 2004 10 18研究会 ( 年 月 日) 19
メッセージの固定点方程式
3 4 6
3 4
)()()(
),,(
)()()(
),,(
)(
4244313366
643346
4244313366
643346
63466
a a a
a a
aMaMaW
aaaW
aMaMaW
aaaW
aM
確率伝搬アルゴリズム
1A
3A
2A
4A
6A
133M 244M
3466M
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
2W
5W
4W
3W
6W
NC 2004 10 18研究会 ( 年 月 日) 20
固定点方程式と反復法
固定点方程式 ** MM
反復法
23
12
01
MM
MM
MM
繰り返し出力を入力に入れることに繰り返し出力を入力に入れることにより,固定点方程式の解が数値的により,固定点方程式の解が数値的に得られる.得られる.
0M1M
1M
0
xy
)(xy
y
x*M
NC 2004 10 18研究会 ( 年 月 日) 21
数値実験
4393.0)1(5607.0)1( 88 PP
4360.0)1(5640.0)1( 88 PP
Belief Propagation
Exact
8\8765432188 ),,,,,,,()(
a
aaaaaaaaPaPa
85 ,\876543218558 ),,,,,,,(),(
aa
aaaaaaaaPaaPa
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
3629.0)1,1( 0871.0)1,1(
0764.0)1,1( 4736.0)1,1(
5858
5858
PP
PP
3636.0)1,1( 0864.0)1,1(
0724.0)1,1( 4776.0)1,1(
5858
5858
PP
PP
NC 2004 10 18研究会 ( 年 月 日) 22
数値実験
8261.04393.0
3629.0
Pr
,Pr
Pr
Present
PresentPresent
PresentPresent
Dyspnea
DyspneaBronchitis
DyspneaBronchitis
A
AA
AA
1A
3A
2A
4A
6A 5A
13W
67W
24W
25W346W
568W
8A7A
3W4W
5W
6W
確率伝搬法確率伝搬法確率伝搬法確率伝搬法
NC 2004 10 18研究会 ( 年 月 日) 23
自動化が急務.パラメータのデータからの学習
EM アルゴリズムクラスター変分法の更なる拡張の試み
Region Graph MethodMax-Product Method
自動化が急務.パラメータのデータからの学習
EM アルゴリズムクラスター変分法の更なる拡張の試み
Region Graph MethodMax-Product Method
ベイジアンネットの今後の動向ベイジアンネットの今後の動向
NC 2004 10 18研究会 ( 年 月 日) 24
画像修復の確率モデル
原画像 劣化画像
通信路
雑音
劣化画像
原画像原画像劣化画像劣化画像原画像
Pr
Pr|Pr|Pr
NC 2004 10 18研究会 ( 年 月 日) 25
ベイズの公式と確率的画像処理
y
x
yxf yx ,,f yxg yx ,,g
fg
fP ,fgP g原画像 劣化画像
,
,,,
g
ffggf
P
PPP
zgz dPzf yxyx ,,ˆ,,
事前確率
事後確率
劣化過程
画素
NC 2004 10 18研究会 ( 年 月 日) 26
周辺尤度最大化によるハイパパラメータ推定
PR
POS
Z
ZdPPP
2
,,,,
gzzzgg
,max argˆ,ˆ,
gP
f g
周辺化周辺化
g ,gP
fP ,fgP g
yxf yx ,,f
原画像
周辺尤度 yxg yx ,,g
劣化画像
y
x
zgz dPzf yxyx ˆ,ˆ,ˆ,,
NC 2004 10 18研究会 ( 年 月 日) 27
画像修復の劣化過程と事前確率劣化過程
事前確率
,, ,, yxyx gf
),(
21,,
2,1, 22
exp1
yxyxyxyxyx ffff
ZP
PR
f
),(
2,,22
1exp
2
1,
yxyxyx gfP
fg
),(1.,,1, ,,
,,
1
,
,,,
yxyxyxyxyx ffff
Z
P
PPP
g
g
ffggf
POS
2
',',2
','','22
,,2',',','
, 2
1
8
1
8
1exp, yxyxyxyxyxyxyxyx
yxyx ffgfgfff
事後確率
2,
,,,
,0~ Nn
nfg
yx
yxyxyx
NC 2004 10 18研究会 ( 年 月 日) 28
周辺確率の導入
zgz dPzffP yxyxyxyx ,,)( ,,,,
zgz dPzfzf
ffP
yxyxyxyx
yxyxyxyx
,,
),(
','',',,
',',','
,
dPdPzf yxyxyx ,,, ,,ˆ zgz
NC 2004 10 18研究会 ( 年 月 日) 29
変分計算により得られる確率伝搬法の周辺確率密度関数の近似表式
yxyxyxyx
yxyxyx dzzfPfP ,1,1,,1
,,, ,
),( yx
)1,( yx
),1( yx ),1( yx
)1,( yx
1,,yxyxMyx
yxM,1
,
1,,yxyxM
yxyxM
,1,
)1,1( yx
),( yx
)1,( yx
),1( yx ),1( yx
)1,( yx
1,,yxyxMyx
yxM,1
,
)( ,1,
, yxyxyx fM
1,1,1
yxyxM
)1,1( yx
1,1,1
yxyxM
),2( yx
yxyxM,2
,1
yx
yxyxyx
yxyxyx
yxyx
yxyxyxyx
yxyxyx
yxyx
yxyxyx
yxyxyx
yxyxyx
yx
fMfMfM
fMfMfM
ffZ
ffP
,11,1
,1,11,1
,1,1,2
,1
,1,
,,1,
,,,1
,
,1,,1
,,1,
,1,,1
, ,1
,
yxyxyxyx
yxyx
yxyx
yxyxyx
yxyx
yxyx
fMfM
fMfMZ
fP
,1,
,,1,
,
,,1
,,,1
,,
,,1
NC 2004 10 18研究会 ( 年 月 日) 30
確率伝搬法におけるメッセージ更新規則
),( yx
)1,( yx
),1( yx ),1( yx
)1,( yx
1,,yxyxMyx
yxM,1
,
1,,yxyxM
yxyxM
,,1
'',
,
1,,
1,,
,1,
,1,
1,,
1,,
,1,
,1,,
,1
ddMMM
dMMMM
yxyx
yxyx
yxyx
yxyx
yxyx
yxyx
yxyx
yxyxyx
yx
固定点方程式
MM
反復法
2',',
',',
',',','
, 2
1exp
2)( yx
yxyxyx
yxyxyx
yxM
NC 2004 10 18研究会 ( 年 月 日) 31
固定点方程式と反復法
固定点方程式 ** MM
反復法
23
12
01
MM
MM
MM
繰り返し出力を入力に入れることに繰り返し出力を入力に入れることにより,固定点方程式の解が数値的により,固定点方程式の解が数値的に得られる.得られる.
0M1M
1M
0
xy
)(xy
y
x*M
NC 2004 10 18研究会 ( 年 月 日) 32
ガウシアングラフィカルモデルを用いた画像修復
原画像原画像
MSE:315MSE:315MSE: 325MSE: 325
MSE: 545MSE: 545 MSE: 447MSE: 447MSE: 411MSE: 411
MSE: 1512MSE: 1512
劣化画像劣化画像 確率伝搬法確率伝搬法
平滑化フィルター平滑化フィルター メジアンフィルターメジアンフィルター
厳密解
ウィーナーフィルター
2
,,,
ˆ
yx
yxyx ff||
1MSE
NC 2004 10 18研究会 ( 年 月 日) 33
ガウシアングラフィカルモデルを用いた画像修復
原画像原画像
MSE:306MSE:306MSE: 324MSE: 324
MSE: 369MSE: 369 MSE: 259MSE: 259MSE: 268MSE: 268
MSE: 1409MSE: 1409
劣化画像劣化画像 確率伝搬法確率伝搬法
平滑化フィルター平滑化フィルター メジアンフィルターメジアンフィルター
厳密解
ウィーナーフィルター
2
,,,
ˆ
yx
yxyx ff||
1MSE
NC 2004 10 18研究会 ( 年 月 日) 34
理論的方向パラメータのデータからの学習ライン場の導入適応画像処理フィルターへの発展
実用的方向画像圧縮領域分割移動体検出
理論的方向パラメータのデータからの学習ライン場の導入適応画像処理フィルターへの発展
実用的方向画像圧縮領域分割移動体検出
確率的画像処理の今後の動向確率的画像処理の今後の動向
NC 2004 10 18研究会 ( 年 月 日) 35
本チュートリアル講演のキーワー本チュートリアル講演のキーワードド確率伝搬法(Belief Propagation)確率推論(Bayesian Network)確率的画像処理 (Markov Random Field)
NC 2004 10 18研究会 ( 年 月 日)NC 2004 10 18研究会 ( 年 月 日) 3636
確率伝搬法の更なる応用確率伝搬法の更なる応用確率伝搬法の更なる応用確率伝搬法の更なる応用誤り訂正符号における低密度パリティ検査(誤り訂正符号における低密度パリティ検査( LDPCLDPC )符号)符号Y. Kabashima and D. Saad: Statistical mechanics of low-density parity-check codes (Topical Review), J. Phys. A, 37 (2004). S. Ikeda, T. Tanaka and S. Amari: Information geometry of turbo and low-density parity-check codes, IEEE Transactions on Information Theory, 50 (2004).
移動体通信の移動体通信の CDMACDMA 復調方式復調方式T. Tanaka: A statistical-mechanics approach to large-system analysis of CDMA multiuser detectors, IEEE Transactions on Information Theory, 48 (2002).Y. Kabashima: A CDMA multiuser detection algorithm on the basis of belief propagation, J. Phys. A, 36 (2003).
充足可能性問題充足可能性問題(( SATSAT ))O. C. Martin, R. Monasson, R. Zecchina: Statistical mechanics methods and phase transitions in optimization problems, Theoretical Computer Science, 265 (2001).M. Mezard, G. Parisi, R. Zecchina: Analytic and algorithmic solution of random satisfability problems, Science, 297 (2002).
誤り訂正符号における低密度パリティ検査(誤り訂正符号における低密度パリティ検査( LDPCLDPC )符号)符号Y. Kabashima and D. Saad: Statistical mechanics of low-density parity-check codes (Topical Review), J. Phys. A, 37 (2004). S. Ikeda, T. Tanaka and S. Amari: Information geometry of turbo and low-density parity-check codes, IEEE Transactions on Information Theory, 50 (2004).
移動体通信の移動体通信の CDMACDMA 復調方式復調方式T. Tanaka: A statistical-mechanics approach to large-system analysis of CDMA multiuser detectors, IEEE Transactions on Information Theory, 48 (2002).Y. Kabashima: A CDMA multiuser detection algorithm on the basis of belief propagation, J. Phys. A, 36 (2003).
充足可能性問題充足可能性問題(( SATSAT ))O. C. Martin, R. Monasson, R. Zecchina: Statistical mechanics methods and phase transitions in optimization problems, Theoretical Computer Science, 265 (2001).M. Mezard, G. Parisi, R. Zecchina: Analytic and algorithmic solution of random satisfability problems, Science, 297 (2002).
NC 2004 10 18研究会 ( 年 月 日) 37
確率的情報処理の動向確率的情報処理の動向田中和之・樺島祥介編著 , “ ミニ特集 / ベイズ統計・統計力学と情報処理” , 計測自動制御学会誌「計測と制御」 2003 年 8 月号.田中和之,田中利幸,渡辺治 他著,“連載 / 確率的情報処理と統計力学 --- 様々なアプローチとそのチュートリアル ---” ,数理科学 2004 年 11 月号から開始.
田中和之・樺島祥介編著 , “ ミニ特集 / ベイズ統計・統計力学と情報処理” , 計測自動制御学会誌「計測と制御」 2003 年 8 月号.田中和之,田中利幸,渡辺治 他著,“連載 / 確率的情報処理と統計力学 --- 様々なアプローチとそのチュートリアル ---” ,数理科学 2004 年 11 月号から開始.