C02: 連続と離散の融合による ロバストアルゴリズム構築

C02: 連続と離散の融合によるロバストアルゴリズム構築

杉原厚吉，室田一雄，今井浩，松井知己，岩田覚，大石泰章，寒野善博，西田徹志，今堀慎治

0-1 変数を持つ 2 次最小化問題の近似解法の設計

中央大学　松井知己

昨年得られた結果Y. KUROKI and T. MATSUI, Approximation algorithm for m

ultidimensional assignment problem minimizing the sum of squared errors, 2006. （投稿中）

M. Iwasa, H. Saito and Tomomi Matsui, Approximation Algorithms for the Single Allocation Problem in Hub-and-Spoke Networks, 2006. （投稿中）

問題min. xTQx+cTx s. t. Ax ≧ ｂ，　 x∈ ｛ 0,1 ｝ n

一般性を失うことなく、以下を仮定できる（１） Q は対称行列（２） Q の対角成分はすべて０

xi∈ ｛ 0,1 ｝より xi2=xi となり ,

　　　各対角項（ 2 乗項）は線形項で表せる

一般的には , （定数近似比率の）近似解法も難しいMIN ２ SAT ： (3/2) 近似， 1.1037- 近似quadratic semi-assignment problem

parallel machine scheduling ( 重みつき終了時刻の総和最小化）

ハブネットワーク設計問題Metric Labeling Problem ( 多項式時間 O(log n)- 近似

解法 )

問題完全グラフ　 G ＝（ V,E ）　　 V= ｛ 1,2,…,n ｝

頂点 i に 0 － 1 変数 xi を割り当てる

枝｛ i,j ｝に重み　 2qij を割り当てる

頂点 i 　に重み ci を割り当てる

2 次項（ xTQx ）は、 1 の値をとっている変数からなる頂点で定義されるクリークの重み

（クリーク重み＝クリーク中の枝重みの総和）

線形項（ cTx ）は , 変数値が 1 の頂点の重みの総和

xi=1

問題完全グラフ　 G ＝（ V,E ）　　 V= ｛ 1,2,…,n ｝

頂点 i に 0 － 1 変数 xi を割り当てる

枝｛ i,j ｝に重み　 2qij を割り当てる

頂点 i 　に重み ci を割り当てる

2 次項（ xTQx ）は、 1 の値をとっている変数からなる頂点で定義されるクリークの重み

（クリーク重み＝クリーク中の枝重みの総和）

線形項（ cTx ）は , 変数値が 1 の頂点の重みの総和

xi=1

問題例ＭＩＮ 2 ＳＡＴ

min. ∑ ｃ =(x y)∨ ｗｃ（ｘ＋ｙ－ｘｙ）

s. t. x+y=1 ( {x,y} s.t. x=∀ ￢ y), x {0,1} ( x).∈ ∀

quadratic semi-assignment Parallel Machine Scheduling

Hub Network Design Problem

min. xTQx+cTx

s. t. ∑j ｘ ij =1 ( i), ∀

xij {0,1} ( (i,j)) .∈ ∀

i

j

job machinenon-hub hub

1 (x is True)x= 0 (x is False)

必要な性質（定数近似比率を持つ）近似解法が設計できる条件（１）許容 0-1 解の凸包が、線形不等式系

Ax ≧ ｂ , x ≧0 で記述できているそもそもこれさえ書けてないと話にならない

（２）連続緩和した問題が、 0-1 最適解を持つ上記の性質が，乱拓解法で証明できる

（３）目的関数に、十分大きな線形項がある２次項しかないと，定数近似比率の近似解法

の構築は殆ど無理

(Metric Labeling: O(log n)- 近似解法 )

quadratic semi-assignment problem

（２）連続緩和した問題が、 0-1 最適解を持つ上記の性質が，乱拓解法で証明できる

min. xTQx+cTx s. t. ∑j ｘ ij =1 ( i), ∀ xij {0,1} ( (i,j)) ∈ ∀

xij 0 ( (i,j))≧ ∀

ｘ * ：上記の連続緩和問題の最適解確率変数 Xij ：各 i について独立に，｛ xij | j ∀ ｝の

内どれか一つを 1 にする．ただし Pr[Xij=1]=x*ij

元問題の最適値（最小値）≦得られる許容解の期待値= Ｅ [XTQX ＋ｃ TX] ＝ x*TQx*+cTx*

= 連続緩和問題の最適値≦元問題の最適値

i

緩和問題

（１）凸 2 次計画緩和（ SOCP 緩和）（２）線形化手法

Second 0rder Cone Programming 2 次錐計画

緩和問題 1: 凸 2 次計画緩和 (SOCP 緩和）min. xTQx+ 　 cTx

s. t. Ax ≧ ｂ，　 x∈ ｛ 0,1 ｝ n

任意の許容解（ 0-1 解）に対し，以下が成り立つ　　 xTQx+cTx ＝ xTQx+Σicixi

2

関数ｆ（ｘ）＝ xTQx+Σicixi2 が凸２次関数になる

くらい、線形項の係数ｃ i が

正の大きな数（Ｑが非負行列なら）ＳＯＣＰ緩和min. z 　s. t. z≧xTQx+Σicixi

2

　　　 z ≧ cTx Ax ≧ ｂ，　 x≧0.

凸 2 次計画緩和　min. xTQx+Σicixi

2

s. t. Ax ≧ ｂ，　 x≧0.

Second 0rder Cone Programming 2 次錐計画

quadratic semi-assignment のＳＯＣＰ緩和 min. z 　 （Ｑが非負行列）s. t. z≧xTQx+Σicixi

2, z ≧ cTx,

∑j xij =1 ( i), ∀ xij {0,1}∈ ( (i,j)) ∀xij 0 ≧ ( (i,j))∀

( ｘ *,z*) ： SOCP 緩和問題の最適解確率変数 Xij ：各 i について独立に，｛ xij | j ∀ ｝の内どれ

か一つを 1 にする．ただし Pr[Xij=1]=x*ij

得られる許容解の目的関数の期待値 = Ｅ [XTQX ＋ｃ TX]

=x*TQx*+cTx*≦ x*TQx*+Σicix*i2 +cTx*

≦z*+ z* 2z* 2(≦ ≦ 元問題の最適値）

凸 2 次計画緩和による近似解法　quadratic semi-assignment

(parallel machine scheduling)M. Skutella, Convex Quadratic and Semidefinite Programming in Scheduling, J

ournal of ACM, 48(2), 206-242, 2001.

重み付き終了時刻の総和最小化 : (3/2) 近似解法k 次元割当問題Y. KUROKI and T. MATSUI, Approximation algorithm for multidimensional assi

gnment problem minimizing the sum of squared errors'‘, (2006).

( 多センサー多ターゲットシステムでのターゲット位置同定最尤推定：「 -1× 対数尤度」の最小化 )

Bandelt, Crama & Spieksma 1994: (4-6/k)- 近似解法→Kuroki & Matsui (5/2-3/k)- 近似解法

緩和法（２） 線形化手法（ linearization technique)

緩和問題 2 ：線形化手法 (linearization technique)

yij=xi xj 　という変数を導入目的関数 xTQx+cTx は，線形関数になる( 線形項が無くても使える手法！）

quadratic semi-assignment

目的関数： ∑ i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) x(i,j)x(i’,j’) +cTx

∑⇒ i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) y(i,j)(i’,j’) +cTx

制約： ∑ j x(i,j) =1 の両辺に x(i’,j’) をかけると

∑j x(i,j) x(i’,j’) = ∑j y(i,j)(i’,j’) ＝ x(i’,j’)

quadratic semi-assignment

min. ∑i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) x(i,j)x(i’,j’) +cTx

s. t. ∑ ｊｘ (i,j) =1 ( i), ∀

x(i,j) {0,1} ( (i,j)).∈ ∀

制約： ∑ j x(i,j) =1 の両辺に x(i’,j’) をかけると

∑j x(i,j) x(i’,j’) = ∑j y(i,j)(i’,j’) ＝ x(i’,j’)

min. ∑i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) y(i,j)(i’,j’) +cTx

s. t. ∑ ｊｘ (i,j) =1 ( i), ∀

x(i,j) {0,1} ( (i,j)),∈ ∀ ∑j y(i,j)(i’,j’) ＝ x(i’,j’) ( (i,i’,j’)).∀

quadratic semi-assignment

min. ∑i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) x(i,j)x(i’,j’) +cTx

s. t. ∑ ｊｘ (i,j) =1 ( i), ∀

x(i,j) {0,1} ( (i,j)).∈ ∀

min. ∑i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) y(i,j)(i’,j’) +cTx

s. t. ∑ ｊｘ (i,j) =1 ( i), ∀

x(i,j) {0,1} ( (i,j)),∈ ∀ ∑j y(i,j)(i’,j’) ＝ x(i’,j’) ( (i,i’,j’)).∀

x(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

どれか一つだけが 1

どれか一つだけが 1

q(i,j)(i’,j’) y(i,j)(i’,j’)

quadratic semi-assignment

連続緩和

min. ∑i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) y(i,j)(i’,j’) +cTx

s. t. ∑ ｊｘ (i,j) =1 ( i), ∀

y(i,j)(i’,j’) 0, x(i,j) 0, ≧ ≧

∑j y(i,j)(i’,j’) ＝ x(i’,j’) ( (i,i’,j’)).∀

x(i,j) を需要供給量とした，Hitchcock 型輸送問題 （輸送量： y(i,j)(i’,j’) )

x(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

供給量需要量

q(i,j)(i’,j’) y(i,j)(i’,j’)

quadratic semi-assignment

連続緩和

min. ∑i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) y(i,j)(i’,j’) +cTx

s. t. ∑ ｊｘ (i,j) =1 ( i), ∀

y(i,j)(i’,j’) 0, x(i,j) 0, ≧ ≧

∑j y(i,j)(i’,j’) ＝ x(i’,j’) ( (i,i’,j’)).∀

x(i,j) を需要供給量とした，Hitchcock 型輸送問題 （輸送量： y(i,j)(i’,j’) )

x(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

供給量需要量

q(i,j)(i’,j’) y(i,j)(i’,j’)

線形化は Hub Network 設計問題に適している輸送問題の費用構造parallel machine scheduling : Hub Network

Designx(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

2 つの仕事を同じ機械で処理 すると費用が発生⇒ 上記の枝のみ正の費用 その他の枝の費用は 0

x(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

H1

H2

H3

2 つの非ハブを異なる HUB に接続すると HUB 間の 輸送費用が発生⇒ 上記の枝の費用のみ 0 その他の枝の費用は正

乱択解法線形化手法で得られた問題の線形緩和を解く

ｘ *(i,j) ：緩和問題の最適解独立丸め法確率変数 X(i,j) ：各 i について独立に，｛ x(i,j) | j ∀ ｝

の内 どれか一つを 1 にする．ただし Pr[X(i,j)=1]=x*(i,j)

得られる許容解の目的関数の期待値= Ｅ [∑i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) X(i,j)X(i’,j’) +cTX]

=∑i≠i’∑ ｊ≠ j’ q(i,j)(i’,j’) x*(i,j)x*(i’,j’) +cTx*

独立丸め法は，線形化手法と相性が悪い独立丸め法 ：線形化手法での最適

解x(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

x(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

費用 q (i,j)(i’,j’) の枝はx*(i,j)x*(i’,j’) の確率で選ばれる

緩和問題の最適解において正の値を持つy*(i,j)(i’,j’) は，全張木

選ばれる確率 x*(i,j)x*(i’,j’) と， y*(i,j)(i’,j’) が違い過ぎる

独立丸め法は，線形化手法と相性が悪い独立丸め法 ：線形化手法での最適

解x(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

x(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

費用 q (i,j)(i’,j’) の枝はx*(i,j)x*(i’,j’) の確率で選ばれる

緩和問題の最適解において正の値を持つy*(i,j)(i’,j’) は，全張木

選ばれる確率 x*(i,j)x*(i’,j’) と， y*(i,j)(i’,j’) が違い過ぎる

従属丸め法の導入（ quadratic semi-assignment)

頂点を並べ直して，枝が交わらないようにするx(i,1) x(i’,1)x(i,2) x(i’,2) ： :x(i,j) : : x(i’,j’) : :x(i,m) x(i’,m)

x(i,1) x(i’,1)x(i,j) x(i’,j’) ： :x(i,2) : : x(i’,2) : :x(i,m) x(i’,m)

右の解 (y*(i,j)(i’,j’) ) は， 北西隅の規則で得られる基底解従属丸め法： 一様乱数 U [0,1]∈ を用いて丸める Pr[X(i,j)X(i’,j’)=1]=y*(i,j)(i’,j’)

x(i,1) x(i’,1)x(i,j) x(i,2) x(i’,j’)

x(i’,2) x(i,m)

x(i’,m) 0

1

U

従属丸め法の導入頂点を並べ直して，枝が交わらないようにする

x(i,1) x(i’,1)x(i,j) x(i’,j’) ： :x(i,2) : : x(i’,2) : :x(i,m) x(i’,m)

右の解 (y*(i,j)(i’,j’) ) は， 北西隅の規則で得られる基底解従属丸め法： 一様乱数 U [0,1]∈ を用いて丸める Pr[X(i,j)X(i’,j’)=1]=y*(i,j)(i’,j’)

北西隅の規則は， 費用行列が Monge 性を 持つときに，最適解となる元の費用行列をモンジュ行列で 近似できれば，近似比率を算定 できる

x(i,1) x(i’,1)x(i,j) x(i,2) x(i’,j’)

x(i’,2) x(i,m)

x(i’,m) 0

U

1

Hub Network Design Problem

M. Iwasa, H. Saito and Tomomi Matsui, Approximation Algorithms for the Single Allocation Problem in Hub-and-Spoke Networks, 2006.

Hub Network Design Problem に対する，初めての（定数近似比率を持つ）近似解法

線形化手法＋独立丸め法：２ - 近似線形化手法＋従属丸め法；ハブ数 3 のとき (5/4)-

近似ハブ数 3 のときの費用行列 Q を， 3 つのモンジュ行列の凸結合で得られる行列 M で近似した

今後の課題凸 2 次緩和（１）凸 2 次緩和が使える範囲は？

もともと目的が凸 2 次関数最小化の 0-1 問題 正規分布での最尤推定， χ2 適合度 , 等の確率モデル（２） SOCP 緩和の適用範囲は？従属丸め法（１）従属丸め法は， quadratic semi-assignment 以外に

どのように拡張できるのか？（２）独立丸めの巧妙な脱ランダム化として捉える？（３）元問題を，最適に解ける Instance の凸結合で近似

することによって，近似解法を設計quadratic semi-assignment(1) 量子情報処理？

END