JSTさきがけ研究者（専任） 江崎 貴裕...※ポスターでは「対称差に隠れた劣モジュラ性」の話をします． ... 機械学習 自然言語処理 ...

JSTさきがけ研究者（専任） 江崎 貴裕「ボルツマンマシンを利用した脳の機能障害ダイナミクスの理解」H28.12~H32.3

各種公開されているデータベースから収集し、

JSTさきがけ研究者（専任） 江崎 貴裕「ボルツマンマシンを利用した脳の機能障害ダイナミクスの理解」H28.12~H32.3

乱択アルゴリズム設計の技法と脱乱択化の数理

JSTさきがけ

「社会的課題の解決に向けた数学と諸分野の協働」

Fukuoka

(福岡)

来嶋秀治

九州大学 大学院システム情報科学研究院

JST さきがけ研究者

ELC B01班分担

Exploring theLimits ofComputation

Symmetry breaking in distributed computing2

Y. Yamauchi, T. Uehara, S. Kijima, M. Yamashita, Plane formation by

synchronous mobile robots in the three dimensional Euclidean space,

Journal of the ACM, 64:3 (June 2017), Article 16.

※ポスターでは「対称差に隠れた劣モジュラ性」の話をします．

2D space 3D space

[Suzuki & Yamashita SICOMP 99]

(SIROCCO PRIZE 2016)

階層的確率モデルの情報幾何的解析杉山麿人 (NII,さきがけ),津田宏治 (東京大学,理研AIP, NIMS),中原裕之 (理研BSI)

P

RQ

DKL[P, R] = DKL[P, Q] + DKL[Q, R]

θ

η

m-fl

atsu

bman

ifold

e-flat submanifold

∂η(x)∂θ(y)

=s∈S

ζ(x , s)ζ(y, s)p(s) − η(x)η(y)

∂θ(x)∂η(y)

=s∈S

µ(s, x)µ(s, y)p(s)−

1/2

バイアス-バリアンス分解• 2乗KLダイバージェンスの分解E[DKL(P∗ , P̂B)2] = DKL(P∗ , P∗B )2 + E[DKL(P∗B , P̂B)2]

≥ DKL(P∗ , P∗B )2 + var(P∗B , B)(bias2) + (variance)

var(P∗B , B) = 1N∑s∈B

∑u∈B

η∗B(s)η∗B(u)I−1su– I ∈ R∣B∣×∣B∣はフィッシャー情報部分行列– 正規化定数の影響は取り除いておく

• パラメータを増やすと，バイアスは必ず減少するが，バリアンスは増えるとは限らない

2/2

カーネル法による深層学習の汎化誤差理論鈴木大慈

東京大学/JSTさきがけ/理研AIP解析のポイント：中間層からの出力の分散共分散行列の固有値の分布

CIFAR-10におけるVGG-13の第九層の固有値分布

多くの小さい固有値

中間層からの出力

論文：Suzuki: Fast generalization error bound of deep learning from a kernel perspective. AISTATS2018.

深層学習を無限次元空間における学習問題と定式化（積分表現）→ 深層学習の解析にカーネル法の理論を用いて汎化誤差を導出

【バイアス-バリアンス分解】

2固有値による汎化誤差解析

自由度

深層学習の汎化誤差（予測性能）を評価• 「自由度」という深層ネットワークの構造を表す量が汎化誤差を決める

ことを解明 →カーネル法の理論• 汎化誤差を導出するための理論的枠組みを整理

「経験誤差最小化」 「ベイズ推定量」• ネットワーク構造を決定する指針としても利用可能

深層NNの積分表現（真の関数） 有限次元モデル有限近似

ただし𝜇𝜇𝑗𝑗(ℓ)は各層に対応するカーネルの固有値

汎化誤差=真の関数とモデルのずれ（バイアス）＋モデルの複雑さ（バリアンス）

・真の関数を表すために積分表現を導入・積分表現から各層に再生核ヒルベルト空間を定義・空間に付随した「自由度」を定義

第ℓ層の横幅𝑚𝑚ℓが𝑚𝑚ℓ ≥ 𝑁𝑁ℓ(𝜆𝜆ℓ)ならば‖𝑓𝑓 − 𝑓𝑓∗‖𝐿𝐿2

2 ≤ 2(𝛿𝛿12 + 𝛿𝛿22)定理

深層学習の汎化誤差を決める要素は何か？→自由度が重要 求積法の理論

一般の深層NN 3深NN(カーネル法)(各層の実質的次元)

バイアス バリアンス

固有値分布

適応的最適化による推測・変動データからの意思決定福永 拓郎理化学研究所 革新知能統合研究センターJST さきがけ

研究のねらい

無線センサー機械学習

自然言語処理画像認識

新しい情報処理技術

情報の収集・認識

計画の立案・策定

頻繁な変動

曖昧性

適応的最適化による柔軟な意思決定システム2/4

適応的最適化とは？

従来の最適化による意思決定

情報

計算策定

計画実行

非適応的最適化

x=

1001

min cTx

s.t. Ax ≥ b

x ∈ {0, 1}n

3/4

適応的最適化とは？適応的最適化による意思決定

推定情報

計画策定

計画の一部を実行

正確な情報

適応的最適化

min cTx

s.t. Ax ≥ b

x ∈ {0, 1}n

x1

x2 x5

x5 x4 x7 x3

決定木

4/4

高次元非線形統計モデリング山田 誠 (RIKENAIP,PRESTOJST)

標本数

DeepLearning (CNN,RNN)画像、音声、テキスト

決定木(GBDT)ユーザーデータ

Lassoバイオデータ (医療,農業)(SNPs,マイクロアレイ,etc.)

Matrix/TensorFactorizationクリックデータグラフデータ

次元(

特徴数)

10^3

10^4

10^5

10^6

10^7

10^8

10^2 10^4 10^6

非線形超高次元データ解析解釈性!

非線形性を使うことが解釈性を高めるために重要?

個別化医療のための数理モデリング

• 個人(特定のグループ)に合わせた医療• 精密医療の多くの問題では,サブカテゴリごとにどのような特徴が重要か知りたい (クラスタリング+特徴選択)

• アイディア1:個人毎にモデリングする

学習が非常に難しいL• アイディア2:事前情報 (グラフ情報)を利用

• アイディア3:正則化!

2

yi = w

>i xi, wi 2 Rd, i = 1, . . . , n

R 2 Rn⇥n, rij � 0, rij = rji, rii = 0

Yamada, Takeuchi, Iwata, Shawe-Taylor,Kaski,AISTATS2017