物理モデルと情報モデル - 京都大学vision.kuee.kyoto-u.ac.jp/lecture/ais/pdf/ais2008-04.pdf · 離散（記憶）状態空間 長期的文脈 離散的構造 オートマトン

物理モデルと情報モデル

物理モデル：微分方程式物理モデル：微分方程式

情報モデル：アルゴリズム

２１世紀社会の構造

情報ネットワーク社会

？

物理化学法則（従う）

法律・規則・倫理（守る）

実世界

２１世紀における情報関連科学技術の展望

INTEG

情報社会の構築ナノ技術

GRATI

２０００年 コンピュータ ＆ コミュニケーションナノ技術

ディジタル化

S

ON

チ リング

計算機科学

シャノン

情報通信 通信 放送 記録 LSI

メイマンレ ザ

PECIA

ゲーデル不完全性定理

チューリング計算論

シャノン通信理論

ショットキートランジスタ

レーザALIZAT

１９００年 カ ト

不完全性定理

ブラウアー直感主義

ヒルベルト形式主義

マルコーニ フレミング

TION

１９００年 カントール集合論

ベル電話

マルコ ニ無線通信

エジソン蓄音機

真空管

２１世紀における情報関連科学技術の展望

実世界と情報社会の統合(Turing, Shannon, Wiener)

INTEG

情報社会の構築ナノ技術知能機械

GRATI

２０００年 コンピュータ ＆ コミュニケーションナノ技術

ディジタル化

知能機械

S

ON

LSI

メイマンレ ザチ リング

計算機科学

シャノン

情報通信 通信 放送 記録

ウィナ

計測と制御PECIA

ショットキートランジスタ

レーザ

ゲーデル不完全性定理

チューリング計算論

シャノン通信理論

ウィナーサイバネティックス

ALIZAT

フレミング１９００年 カ ト

不完全性定理

ブラウアー直感主義

ヒルベルト形式主義

マルコーニ

TION

真空管１９００年 カントール

集合論

ベル電話

マルコ ニ無線通信

エジソン蓄音機

Physical time (Chronos)

modeled by “Differential equation system”

time has metric : (R, ≦F, dist) instantaneous state

Signal datad State

dt= F

F: Rn → Rn

y q ySignal data

y(t) : real num R → space Rkcontinuous

control systems, recurrent neural networkst

continuous change

Subjective time (Kairos)time has no metric: (N ≦F) sustainable memory

modeled by “Memory rewriting system”

M( State ) = State

time has no metric: (N, ≦F) sustainable memory

Event sequence

s : t bl t N → fi it t Adiscrete M( Statenow ) = Statenext

M: Q → Q

automata, Turing machines

si : countable set N → finite set AA = {a, b, c}

a → b → a → c → ・・・ automata, Turing machinesa → b → a → c → 0 1 2 3

ordered events via recognition (identification) processes

Hybrid Dynamical Systemのコンセプト

情報ネットワーク社会

法律・規則・倫理 離散（記憶）状態空間 DS1 主観的時間

長期的文脈離散的構造オートマトン

デチューリングマシンモードのスイッチング DS2

DS3マルコフモデル

順序としての時間状態間の順序関係

？

連続（瞬時）状態空間 物理的時間 短期的文脈時空間的連続性

物理化学法則微分方程式アトラクタへの引きこみ

時空間的連続性微分方程式システムニューラルネット

物理量としての時間状態間の距離尺度

実世界

状態間の距離尺度

Hybrid Dynamical Systemのコンセプト

相手に合わせた

生成

呼吸・間の合った

コミュニケーション

観測データとの共鳴に

認識

行動パターン・メディア生成 インタラクションの実現基づくマルチメディア認識

抽象化認識概念 認識

チューリングマシンモードのスイッチング

離散（記憶）状態空間長期的文脈離散的構造オートマトンマルコフモデル

DS1

DS3

主観的時間

概念

連続（瞬時）状態空間

モードのスイッチング ル フ デル

順序としての時間状態間の順序関係

DS2DS3

物理的時間微分方程式アトラクタへの引きこみ

短期的文脈時空間的連続性微分方程式システムニューラルネット

シンボル・グラウンディング実体化生成

機械、ロボット 音声 画像、映像観測空間

実世界環境

物理量としての時間状態間の距離尺度

生成

実世界環境

① 計算機科学CS人工知能AI

•状態空間の探索•系統的探索

•縦型探索人工知能AI •横型探索

•経過コスト の利用•Optimal search

)(ˆ ng

ˆ•予測コスト の利用•山登り法•best-first search

経過 予測 ト 利用

)(nh

)(ˆ)(ˆ)(ˆ hf•経過・予測コスト の利用•A*アルゴリズム

ゲ ムの木の探索 先手／後手

)()(ˆ)( nhngnf +=

•ゲームの木の探索 先手／後手•mini-max•αーβ探索

•AND-ORグラフの探索（分割統治法）•文の構文解析•ゲームへの応用•ゲ ムへの応用

② 数理計画法 •線形計画法

①②の組み合わせた最適化は？

② 数理計画法OR システム科学

線形計画法

分枝限定法(branch-and-bound method)与えられた問題を解くことが難しい場合…

それを何個かの部分問題（partial problems）に分解し、それらのすべてを解くことで、間接的にもとの問題を解くというものである。

この分解操作（分枝操作、branching operation）は、

生成された部分問題にも反復適用され、探索木（search tree）に示すように、原問題は次第に小規模な部分問題に分解されていく。

結局、探索木のすべての葉節点の部分問題が解かれ、その結果原問題も解かれる解かれる。

分割統治法と分枝限定法の違い

分割統治法： 部分問題への分解が変数集合（データ）を分割することで達成再帰的な構造

分枝限定法： 解空間の分割限定操作； 生成された部分問題の最適解が求まる場合や、

その部分問題から原問題の最適解がその部分問題から原問題の最適解が得られない場合、ただちにそれらを終端し、以後の考察から、除く。

分割統治法

部分集合１

データ集合

部分集合２

分枝限定法x2

分枝限定法

変数の変化領域を分割し、the bestの解を求める XZ=7/2

Z=4 x1

分枝限定法(branch-and-bound method)可能な分岐操作をすべて実行するのでは単なる列挙法

現問題

○(enumeration method)にすぎない。大規模な問題を扱うことはできない。

○ ○● 部分問題

限定操作(bounding operation)部分問題の最適解が求まる場合や、それが得られないことが何らかの理由によって結論でき

○○ ○● ●

得られないことが何らかの理由によって結論できる場合、

↓終端(t i t ) 以後の考察から除く

A

◎◎

B終端(terminate)； 以後の考察から除く。

活性(active) ；計算のある時点において、まだ分解も終端もされ な 部分問題 （ ）

◎◎

●：終端された部分問題◎：結論のでた部分問題

終端もされていない部分問題。（A、B）

暫定解(incumbent)；それまでに部分問題の最適解として

分枝限定法の進行

◎：結論のでた部分問題得られた解のうち、最良のものを保持。↓

活性部分問題がなくなった時点で計算を終了。活性部分問題がなくな た時点で計算を終了。↓

その時の暫定解が原問題の最適解を与える。

ナップサック問題に対する分枝限定法

P10

b

xczn

n

j jj

制約条件

最大：　目的関数　

≤

→=

∑∑ =

を仮定する。

　与えられた正整数

ba

bcan

j

jj

>∑:

.,,2,1,1,01

njx

bxa

j

j jj

･･･　　　　　　　　

　　　制約条件　　

==

≤∑ =を仮定する。ba

j j >∑ =1

の重さ：品物

入れないを入れる：品物：品物の種類　　　　

ja

jxj

j

j

)0()1(

許容重量：ナップサックの最大

の価値：品物

b

jc j

に分ける。を選び、０と１の場合　分枝変数　変数　 )(: valiablebranchingx k

きれば、の両方を解くことがでと

と：　つの部分問題に分解　　△△

21

0201 )1()0(2PP

xPPxPP kk ====

の最適解である。いほうがそれぞれの最適解のよ

きれば、の両方を解くことがでと

0

21

PPP

）緩和問題（ 0

2110 jPrelaxation

≤≤

について考えよう。に緩めて得られる

･･･，

0

,2,1,10

P

njx j =≤≤

x2

X x → the best変数の制約をゆるめて解を求める

x1線形計画法で解が求められる

しかし、一般に得られた解は０－１解ではない！

Pi ければをみたす解）を持たなが可能解（制約条件）（

操作に利用可能緩和問題の解は、限定

P10 i

i

PiiPPi

の最適解である解ならば それはの最適解が）（

も許容解を持たない。

ければ、　をみたす解）を持たなが可能解（制約条件）（

)()()()(P1-0 i

iiiiii

i

PgPfPgPPfPiiiPii

≤の間には　　の最適値と　の最適値）（

の最適解である。解ならば、それはの最適解が　）（

Pi が (i) または (ii) の性質を持てば⇒ Pi をただちに終端できる。⇒ Pi をただちに終端できる。

特に (ii) の場合には ⇒ 得られた Pi の最適解を暫定解と比較⇒ 良いほうを改めて暫定解とする

既に得られている暫定解の値を とした場合既に得られている暫定解の値を z とした場合、g(Pi ) z

が成立するとき、(iii) より f(Pi ) z となり、≤≤が成立するとき、(iii) より f(Pi ) z となり、

⇒ Pi を解いても暫定値 z より大きな値を得る可能性はない。⇒ したがって、この場合も、Pを終端できる。

≤

Po : 目的関数 3 x1 +4 x2 + x3 +2 x4 → 最大制約条件 2 x1 +3 x2 + x3 +3 x4 ≦ ４

xｊ = 0, 1, j =1, 2, 3, 4.ｊ jPo : 3 x1 +4 x2 + x3 +2 x4 → 最大

2 x1 +3 x2 + x3 +3 x4 ≦ ４

0P 3 + +2 最大 P 4 +3 + +2 最大

x1 = 1, x2= 2/3, x3 = x4 = 0, g = 17/3

z = -∞

緩和問題の解

0P1 : 3 x1 + x3 +2 x4 → 最大

2 x1 + x3 +3 x4 ≦ ４

x = 1 x = 1 x = 1/3 g = 14/3

P2: 4 +3 x1 + x3 +2 x4 → 最大

2 x1 + x3 +3 x4 ≦ 1x = 1/2 x = x = 0 g = 11/2

x2 =0 x2 =1

21

x1 = 1, x3 = 1, x4 = 1/3, g = 14/3 x1 = 1/2, x3 = x4 = 0, g = 11/2

1x4 =0

z = -∞z = -∞

3 4 5 6 可能解なし

最大 最大 最大

x1 =0x4 =1x1 =1z =4z = -∞

z =4z =5

P3: 3 x1 + x3 → 最大

2 x1 + x3 ≦ ４

x = x = 1 g = 4

P4: 2 + 3 x1 + x3 → 最大

2 x1 + x3 ≦ 1x = 1/2 x = 0 g = 7/2

P5: 4 + x3 +2 x4 → 最大

x3 +3 x4 ≦ 1x = 1 x = 0 g = 5

整数解 終端 整数解

暫定値 z = 5 を与えた Po の解 x = 0110

x1 = x3 = 1, g = 4 x1 = 1/2, x3 = 0, g = 7/2 x3 = 1, x4 = 0, g = 5

分枝限定法の一般手順

P0 ：最大化問題P0 ：最大化問題f( Pi ) ：計算の途中に生成された部分問題のPi の最適値

：緩和問題　iPg（ Pi ） ：緩和問題から得られる上界値A ：活性部分の集合Z 暫定値

i

Z ：暫定値A＝ ：計算は終了

終了時のZ ： の最適値を与える0Pφ

終了時のZ ： の最適値を与える： は可能解をもたない0P−∞=z 0

初期設定ｚ：＝－

Pbegin

BOUNDANDBRANCH

};{;}{:A

　Program

∞=

−−

初期設定ｚ：＝　

begindowhile

PA

};{ ; }{:A 0

≠∞=

φ

暫定値の更新

の最適値が求まる）が求まる（の計算段階で　　　　　

を選ぶ；｛探索｝　　　

thPPfPgif

P

iii

i

}{)()(

A∈

暫定値の更新　　

PAAPfzzbegin

then

ii }{:;))(,max(:

}{

−==

上界値によるテスト　　　

PAAthPifelse

end

}{:)(}{

≤

分枝操作　　　　

beginelse

PAAthenzPgif ii

}{}{:)( −=≤

に分解；･･･を　　　　　　

dPPPP

PPPP

kiiii

ikiii

},...,,{}){-(A:A,,,

21

21

∪=

．　　

endend

end

分枝限定法に基づくアルゴリズムを考案するには、・分枝操作の方法分枝操作の方法・問題の緩和法・探索の順番

•最良優先探索（best - first search）

部分問題 Pi∈ A の最適値f( Pi )の推定値h( Pi ) を簡単な計算で求めておき、

代表的な探索法

( i ) を簡単な計算で求めておき、⇒ h( Pi ) 最大の Pi を選ぶものである。(発見的探索(heuristic search))

•深さ優先探索(depth - first search)

•最良上界探索(best - bound search)h( Pi ) として上界値 g( Pi ) を用いることも( i ) 界値 g( i ) を用 る も可能である。

巡回セ－ルスマン問題

v

G=（V, E）：グラフV ：グラフの頂点集合

vi

vj

eij|V|=n ：頂点数E ：グラフの辺の集合辺e = {vi , vj } ∈E, 1 nji ≤<≤1 C(vi,v j){ i , j } ,に非負のコストc( vi , vj )が指定されているとする。

問題T コスト最小値を探す。

j

（採用する）その辺を採用しない条件

　目的関数　　

1)(0

min),(

=

→∑ ijji

orx

xvvc

問題T コスト最小値を探す。

る。のハミルトン閉路となとなる辺を集めると　　　　　　　

（採用する）　その辺を採用しない条件　　　　

G1

,1)(0

=

=

ij

ij

x

orx

＊この問題を直接解くことは難しい。ハミルトン閉路を求めることが難しいので⇒2つ目の条件を満たすように x に 0 と 1 を割り当てることが難しいから⇒2つ目の条件を満たすように xij に 0 と 1 を割り当てることが難しいから。

問題の緩和（巡回セ－ルスマン）

緩和問題R 目的関数 min)( xvvc →∑緩和問題R

　　　条件　　　　

　目的関数　　

,10

min),(

nx

orx

xvvc

ij

ijji

=

→

∑

∑

と条件を緩和する。

　　　　　 .nxij =∑

緩和問題Rを解いて⇒ X = {{vi , vj} | xij = 1}を得る

ト 閉路をなし ればハミルトン閉路をなしていれば…目的が達成 ⇒ 非常にまれ

緩和問題のRの条件を少しだけ強める。⇒ 同じ形のいくつかの緩和問題に分解される。

そのそれぞれに同じことを繰り返す。（分枝限定法）そのそれぞれ 同じ とを繰り返す。（分枝限定法）

分枝限定法の例（深さ優先）

図１．辺コストの指定されたグラフ

1 103

87

592

6

4

図 図 グ に対する緩和問題 解と それを禁止する問題 分解

1 101 10 1017

図２．図１のグラフに対する緩和問題の解と、それを禁止する問題の分解

(a) (b) (c) (d)1 10

38

59 4

1 10

8592 4

38

592 4

3

52 4

7 77 7

66 6

(a) コストの小さいほうから5本の辺を選ぶ。集合 ｛ ｝ 解の ト集合X＝｛１,２,３,４,５｝ 解のコスト；１５

ハミルトン閉路ではない。(b) 辺３を使ってはいけない。（コスト最小のハミルトン閉路を求めるため）(c) 辺３は必ず使って、辺２を使ってはいけない。(d) 辺２と辺３は必ず使って、辺１を使ってはいけない。

図３．図２（b）のグラフに対する緩和問題の解と、それを禁止する問題の分解

1 101 101 101(a) (b) (c) (d)

1 10

8592

1 10

892 4

1 10

8592 4

1

52 4

777

666(a) コストの小さいほうから５辺選ぶと、

X’＝｛１ ２ ４ ５ ６｝X ＝｛１,２,４,５,６｝サイクル ４,５,６を持つ。

このサイクルを禁止するため ⇒ 問題を３つに分解。

(b) 辺６を使ってはいけない。

(c) 辺６は必ず使って、辺５を使ってはいけない。

(d) 辺５と辺６は必ず使って、辺４を使ってはいけない。

図４．図３（b）（c）（d）のグラフに対する緩和問題の解

1 1 1(b) (c) (d)

1

52 4

71

2 4

71

2 5

7

解5

6 6１９ ２０ ２１

(b) コストの小さいほうから５辺選ぶと、X’’＝｛１,２,４,５,７｝ 解のコスト；１９

ハミルトン閉路であるハミルトン閉路である。⇒ もとの解の近似解を得られた。

(c) 解のコスト；２０ ここから先は調べなくてよい 「限定」手続き(c) 解のコスト；２０ ここから先は調べなくてよい。「限定」手続き

(d) 解の スト ２１ ここから先は調べなくてよい 「限定 手続き(d) 解のコスト；２１ ここから先は調べなくてよい。「限定」手続き

図５．図２（c）（d）のグラフに対する緩和問題の解

(c) (d)1 10

38

59

103

8592 4

7 7

( ) ( )図２

(d)( )

59

6

492

6

4

(d)

31

5

(c)

3

6

5

２０

425

6

4

１９

(c) ｛１,３,４,５,６｝解のコスト；19ここから先は調べなくてよい。「限定」手続き

(d) ｛２ ３ ４ ５ ６｝ 解の スト(d) ｛２,３,４,５,６｝ 解のコスト；20ここから先は調べなくてよい。「限定」手続き