第2回「ネットワーク生態系と空間デザイン」シンポジウム ネットワーク構造の可視化 平成16年3月5日 NTT コミュニケーション科学基礎研究所
第2回「ネットワーク生態系と空間デザイン」シンポジウム
ネットワーク構造の可視化
平成16年3月5日
NTT コミュニケーション科学基礎研究所
研究のねらい
• 複雑なデータはネットワークで表現できる–ウェブページのハイパーリンクネットワーク–生物学の遺伝子制御ネットワーク–社会学のソーシャルネットワーク–単語間の意味ネットワーク
• ネットワーク(関係データ)を可視化する意義–ネットワーク全体構造の直感的な把握支援–直接「ブラウジング」による新知識の発見支援–異常現象の早期発見システムに向けたコア技術
隣接行列と距離行列
提案法:隣接行列を直接用いた可視化法
1 0 1 0 00 1 0 1 01 0 1 1 10 1 1 1 00 0 1 0 1
変換
可視化
ネットワークを表す 0 3 1 2 23 0 2 1 31 2 0 1 12 1 1 0 21 3 1 2 0
1
23 4
5
1 23
45
距離行列ノード間のグラフ距離(最短経路長)を成分とする行列
12345
1 2 3 4 512345
1 2 3 4 5
可視化
隣接ノード を非隣接ノードより
近くに配置ノード間のグラフ距離(最短経路長)≑ ユークリッド空間における距離
ノード番号
ノード番号
より柔軟な配置が可能だが、アルゴリズムの実装が課題
ノード数が少ない場合は有効
1
11 1
A = (ai,j)隣接行列
隣接⇒1非隣接⇒0
提案法の基本アイデアとメリットばねモデル提案法
と ai,j とのクロスエントロピー の和を
ニューラルネットのオンライン学習で最小化
,( ) [0,1], (0) 1, ( ) 0i jdρ ρ ρ∈ = ∞ =A = (ai,j) :隣接行列, :距離に基づく類似度
,( )i jdρ
, , , , ,ln( ( )) (1 ) ln(1 ( ))= − − − −i j i j i j i j i jE a d a dρ ρ
,i jE
∞0
1,exp( )
2i jd
ρ = −
,( )i jdρ が ai,j にできるだけ一致する時最小となる⇒
類似度関数• N :ネットワークのノード数• A = (ai,j) :隣接行列 ai,j = 1 or 0, ai,j = aj, i (無向を仮定)
• x1,...,xN : N個のノードの座標,K:埋め込み次元数• di,j = || xi– xj ||2 (通常のユークリッド距離)
ρ>
0
1
,exp( )2i jd
ρ = −
クロスエントロピーに基づく埋め込み法
隣接ノード を非隣接ノードより近くに配置
[類似度の近似] 各ノードにおいて連続類似度 ρ (di,j)が離散類似度 ai,jの最も良い近似となるように配置
「隣接」 = 「ai,j = 1」「近く」 = 「類似度ρ (di,j)→1」
(ρ :i,jの類似度関数,x1,...,xNはパラメータで,これを調節)
「類似度ρ (di,j) 」≒「 ai,j (離散類似度) 」
, , , , ,ln( ( )) (1 ) ln(1 ( ))i j i j i j i j i jE a d a dρ ρ= − − − −ρ (di,j) と ai,jとのクロスエントロピーを最小化
埋め込み法の目的関数,
, ,2 21|| || (1 ) ln(1 exp( || || ))
2 2i j
i j i ji j i jaE x x a x x= − − − − −
,
12
1 1 1|| ||
2i j
N N n
ii j i i
J E xµ−
= = + =
= +∑ ∑ ∑正則化のためのWeight-Decay項
目的関数
• i を固定したとき,ai,jはノード j の2値「ラベル」を定義
• N 個の2値分類問題を同時に解くことと解釈可能(x1,...,xNがパラメータ)
ラベル1 ラベル0
学習アルゴリズム
(1) t = 1 とし, x1,...,xN をランダムに初期化
(2) 勾配ベクトル Jx1
(1), ..., JxN
(1) を計算
(3) i = arg maxj{|Jxj
(t)|2} となる xiを選択
(4) |Jxi
(t)|2 < εならば x1,...,xN を出力し終了
(5) 変分ベクトル ∆xiを計算
(6) Jx1
(t), ..., JxN
(t)を用いてJx1
(t+1), ..., JxN
(t+1)を更新
(7) xi = xi + ∆xiによって xi を更新
(8) t = t + 1 とし,ステップ(3)へ
∆xi =– λJxi
(t)–H-1 Jxi
(t) if J (t+1) < J (t)
otherwise
2 ( )t
ti i
JHx x∂
=∂ ∂
2 ( )( 1) ( ) 0i i
tt t
x x iti i
JJ J xx x
+ ∂≈ + ∆ =
∂ ∂
F 値に基づく評価のアイデア[現実の埋め込み]
( )i iB rixir∃分離球面
各ノード iにおいて違反ゼロの完全分離球面が存在
違反ゼロ
[理想的埋め込み]
ix違反あり
違反ゼロにはできない
• 各ノード i にてF値の意味で違反度最小となる Bi(ri) を構成• 全ノードのF 値の平均で埋め込みの良さを評価
F 値に基づく評価全ノードのF値の平均で埋め込みの良さを評価
F値: Precision と Recall の調和平均
Precision6( )
13i iP r =
半径が小さいほうが有利
Recall5( )9i iR r =
半径が大きいほうが有利
1 1( ) 1/{ (1 ) }( ) ( )i i
i i i i
F rP r R r
α α= + −1
ˆ( )Ni i
i
F rFN=
= ∑ 通常α=1/2
比較に用いた従来法
' 2CMDS
1trace{( ) }2
J = − −YOY XX
1 1' 22 2
SC trace{( ) }J = −- -
D BD XX
CMDS: Torgersonによる古典的MDS
SC: スペクトラルクラスタリング
G=(gi,j ):グラフ距離行列O=(oi,j ): oi,j= gi,j £ gi,jY: N-次元 Young-Householder 変換行列
B =(bi,j ): exp (– gi,j /2)D =(di,j ):対角行列, di,i= Bの第i行の全要素の和
,,
,1
ˆ i ji j N
i jj
xx
x=
=∑
によって結果を球面上に表示
,
21,
KK 21 1
( || ||)12
i j
N Ni j i j
i j i
g x xJ
g
−
= = +
− −= ∑ ∑
KK: Kamada & Kawaiによるばねモデル
実データを用いた評価実験
5 10 15 20 250
0.2
0.4
0.6
0.8
1
0
0.2
0.4
0.6
0.8
1
0
0.2
0.4
0.6
0.8
1
次元
MDS
KK
CoPE
SC
2 3 4 5 6 7 8 9
MDS
KKCoPE
SC
2 3 4 5 6 7 8 9
MDS
KK
CoPE
SC
ノード数 328, リンク数 456 ノード数1061, リンク数 2080 ノード数 2870,リンク数 9337
CoPE: 提案法,MDS: 多次元尺度法,KK: ばねモデル,SC: スペクトラルクラスタリング
大腸菌の遺伝子制御ネットワーク
NIPS掲載論文の共著者ネットワーク
NTTドメインに属するWWWページ
★縦軸は、隣接ノードが非隣接ノードより近くに配置されている割合,横軸は埋め込みの次元
配置の良さ
F
2次元への埋め込み結果(古典MDS )
2次元への埋め込み結果(バネモデル)
2次元の埋め込み結果(提案法)
3次元の埋め込み結果
E.Coli: 大腸菌の遺伝子制御ネットワーク
NIPS: NIPS掲載論文の共著者ネットワーク
NTT: NTTドメインに属するWWWページ
KECL: CS研ドメインに属するWWWページ