深層学習 Chapter1 はじめに Chapter2 順伝播型ネットワーク S5 lab. M1 Shuji Mihara
深層学習(Deep Learning)とは? 2
多層のニューラルネットワーク(以下NN)を用いた学習法の総称.
・畳込みNN (Convolutional Neural Network, CNN)
→主に画像処理分野で使用
・再帰型NN (Recurrent Neural Network, RNN)
→主に自然言語処理や音声認識で使用
(Example)
深層学習(Deep Learning)とは? 3
多層のニューラルネットワーク(以下NN)を用いた学習法の総称.
・畳込みNN (Convolutional Neural Network, CNN)
→主に画像処理分野で使用
・再帰型NN (Recurrent Neural Network, RNN)
→主に自然言語処理や音声認識で使用
(Example)
←6章
←7章
↑2章
4
深層学習の基礎となったテクニック
• 確率的勾配効果法(Stochastic Gradient Descent, SGD)
• 誤差逆伝播法(Back Propagation)
• 自己符号化器(Auto Encoder)
• 制約ボルツマンマシン(Restricted Boltzmann Machine, RBM)
5
深層学習の基礎となったテクニック
• 確率的勾配効果法(Stochastic Gradient Descent, SGD)
• 誤差逆伝播法(Back Propagation)
• 自己符号化器(Auto Encoder)
• 制約ボルツマンマシン(Restricted Boltzmann Machine, RBM)
←3章
←4章
←5章
←8章
参考文献・関連論文など 8
• PRML5章ニューラルネットワーク
• 人工知能学会誌連載解説「Deep Learning(深層学習)」
• IBIS 2013企画セッション2 Deep Learning
• データサイエンティスト養成読本機械学習入門編特集
「深層学習最前線」
• 人工知能は人間を超えるか? –ディープラーニングの先にあるもの
Oreillyからも11月後半にも本がでるみたいです.
実装のためのライブラリ 9
Caffe, Theano, Torch7, Pylearn2, Chainerなど
Chainerが一番日本語資料が充実している印象.
開発元のPreferred InfrastructureがSlideShareにたくさんスライドを上げてくれてる.
関連して興味ある論文 10
ベイズ学習に深層学習の手法取り入れる方法はおもしろそうです.
(まだちゃんと読めてない)
Gu, Shixiang, Richard E. Turner, and Zoubin Ghahramani.
"Neural Adaptive Sequential Monte Carlo." arXiv preprint
arXiv:1506.03338 (2015).
Gal, Yarin, and Zoubin Ghahramani.
"Dropout as a Bayesian approximation: Insights and
applications." Deep Learning Workshop, ICML. 2015.
Patel, Ankit B., Tan Nguyen, and Richard G. Baraniuk.
"A Probabilistic Theory of Deep Learning." arXiv preprint
arXiv:1504.00641 (2015).
順伝播型ネットワーク(feedforward network)13
ユニットが隣接層間でのみ結合した構造を持ち, 情報が入力側から出力側へ1方向のみに伝搬するNN. 以下ではfNNと略する.
(隠れ層)
ユニットの構造(≒パーセプトロン) 17
𝑢 𝑧
𝑥1
𝑥2
𝑥3
𝑥4
𝑧
前の層からの入力
次の層への出力
𝑢 = 𝑤1𝑥1 +⋯+𝑤4𝑥4 + 𝑏
𝑧 = 𝑓(𝑢) 𝑓: 非線形関数(活性化関数と呼ばれる)
多層ネットワークの表記 20
𝑥1
𝑥2
𝑥3
𝑥4
𝑦1
𝑦2
𝑙 = 1 2 3
𝑢(𝑙+1) = 𝑊(𝑙+1)𝑧(𝑙)+𝑏(𝑙+1)
𝑧(𝑙+1) = 𝑓(𝑢(𝑙+1))
パラメータは結合重み𝑊(𝑙)とバイアス 𝑏(𝑙)
まとめて列ベクトル𝑤で表すとネットワークを表現する関数は𝑦 𝑥;𝑤 とかける.
学習の枠組み 21
fNNは誤差関数を最小化するパラメータを求める教師あり学習
( 𝑥𝑛, 𝑑𝑛 )データ 望ましい出力(教師信号)
必要に応じて手作業でラベリング
誤差関数や出力層の活性化関数は問題の種別により異なる.
問題の種別 出力層の活性化関数 誤差関数
回帰 恒等写像 二乗誤差式(2.6)
二値分類 ロジスティック関数 式(2.8)
多値分類 ソフトマックス関数 交差エントロピー式
(2.11)