Hello Deep Learning !
情報系学部 3 年T2C_ ( TwitterID : @T2C_ )(2014/10/27)
対象:Deep Learning
(深層学習)
2
本日の流れ1. Deep Learning とは
1. 事例2. 概要
2. Deep Learning の歴史(経緯)1. 歴史1,2,3,4
3. Deep Learning の動向4. Deep Learning の課題5. 自分の今後6. まとめ
3
DL の事例• Google の猫認識
▫ 教師なし学習。▫ 猫を識別可能に。▫ Youtube から 200×200px
ランダムに抽出。▫ コンピュータ 1000 台で 3 日
間。▫ 人間の顔、身体、猫の顔。
• 画像認識の大会(他)での圧勝▫ ILSVRC2012 では誤り率の点で
2 位と 10% 差をつけて大勝。 1 位 SuperVision→ Error ->
0.15315 2 位 ISI→ Error- > 0.26172
▫ 業界全体が震撼▫ 以降 ILSVRC では DL が主流に。
4
Deep Learning とは•教師なしニューラルネットワークを
多層にしたもの。•これが DL !というよりはアプローチ手法。 ( 多義
的 )
5参考: http://www.nttdata.com/jp/ja/insights/trend_keyword/2013110701.html
Deep Learning の歴史概要1•1943 年 ウォーレン・マカロックら、人工神経を提
唱。•1958 年 フランク・ローゼンブラット、
『パーセプトロン』を提唱(+学習機能)。
6参考: http://www-ailab.elcom.nitech.ac.jp/lecture/neuro/par1.html
しかし・・・
•1969 年 マーヴィン・ミンスキーら、 単純パーセプトロンが線形分離不可能な
パターンを識別出来ない事を証明。
Deep Learning の歴史概要2
7
x1
x2(0 , 0) (1 , 0)
(1 , 1)(0 , 1)
そこで!
【 XOR 】
ワケラレナイヨー
Deep Learning の歴史概要3• 1986 年 デビッド・ラメルハートら、
『誤差逆伝搬法 ( バックプロパゲーション )を提唱(教師あり学習)。
• しかしなかなか実用までの応用が利かず、SVM の台頭などもありニューラルネットワーク研究は下火に…。
• バックプロパゲーションの弱点として、▫時間がかかる(効率が悪い)。▫層を深くすると上手く学習されない(過学習等)。 8
Deep Learning の歴史概要4•2006 年 ジェフリー・ヒントンら、
PreTraining や AutoEncoder 等の
概念を提唱。▫多層化への対応。▫Deep Learning の原点と言われる事が多い。
•2012 年、様々な脚光を浴びる( cf. スライド p3)•→ 現在、様々な場で研究・勉強が進められている。
9
Deep Learning の動向•Google→ ヒントン教授ら所属の DNN リサーチ社、
人工知能研究企業 DeepMind などを買収。
オックスフォード大学と研究連携も。•Yahoo→ 画像認識技術ベンチャーである
LookFlow 社を買収。共同で Deep Learning Group を設立。
•Baidu→ 独自の人工知能研究所をシリコンバレーに。
•Deep Learning 勉強会(第 2 回まで開催中)→ http://wbawakate.jp/wordpress/
10
Deep Learning の課題•計算時間(オーダ)の短縮。•並列計算などの効率化( GPU使用、並列化
etc )。▫例えば Google の猫認識は個人での実装は厳しい。
•スタンダードな何か(ライブラリ等)の実装。▫Theano 、 Pylearn2 、 etc…
•専門性が多く、未だに職人芸な部分の排除。▫事前調整などは未だにかなり専門的。
11
まだまだこれから成長しそうな分野。
今後の予定•勉強する。(書籍、論文、勉強会、調査等)
▫Python (来週は Python について…?)▫ニューラルネットワーク▫機械学習▫画像処理、自然言語処理、音声情報処理の選択
•卒論のテーマの策定、テーマとの関連付け
•時間の確保▫課題パラダイスの現状打破 12
まとめ•Deep Learning という新手法の台頭
•長い歴史。葛藤の連鎖。▫ニューラルネットワーク、機械学習
•各大企業も注目。業界(企業・学術)に光明。
•しかし課題も多い。
•今後が楽しみな分野である。13
補足• 教師あり / なし学習→ 学習データを得た出力に対して
正解を与えるかコンピュータ自身に判断させるか。
•汎化性→未知データに対しても分類出来る度合い• PreTraining→ 深い多層 NN の誤差逆伝搬法による
学習は、ランダムな初期値では 上手く行かない事が多い。その為、 良い初期値を与えるよう事前に 層毎に教師なし学習を行う事。 最後に FineTuning (全体の微調整) を行ったりもする。
• AutoEncoder→PreTraining の際、入力に近い出力を 返すという仕組みの事。 14
参考文献1• (Webサイトは全て2014年10月24日~2014年10月26日 アクセス)
• Google の猫認識 (Deep Learning) - 大人になってからの再学習 http://d.hatena.ne.jp/Zellij/20130608/p1
• GoogleやFacebook が注目するディープラーニング ( 深層学習 ) についてまとめてみた - NAVER まとめ http://matome.naver.jp/odai/2140635573608360401
• ImageNet Large Scale Visual Recognition Competition 2012 (ILSVRC2012) http://www.image-net.org/challenges/LSVRC/2012/results.html
• Deep learning http://www.slideshare.net/kazoo04/deep-learning-15097274
• 本格化する「人工頭脳」のビジネス活用 | NTT データ http://www.nttdata.com/jp/ja/insights/trend_keyword/2013110701.html
• 一般向けの Deep Learning http://www.slideshare.net/pfi/deep-learning-22350063
• 岡谷 貴之 | 画像認識分野でのディープラーニングの研究動向http://ibisml.org/archive/ibis2013/pdfs/ibis2013-okatani.pdf
• ディープラーニング(深層学習)を用いたビジネスモデル | POSTD http://postd.cc/deep-learning-business-models/ 15
参考文献2• 名古屋工業大学大学院 工学研究科 新谷研究室 | 新技術 Deep Learning
http://www-toralab.ics.nitech.ac.jp/~ginshun/deeplearning/activity/140228/DL01Slide_ginshun.pdf
• ニューラルネットの逆襲 | Preferred Research http://research.preferred.jp/2012/11/deep-learning/
• 階層型ネットワーク ~パーセプトロン~ http://www-ailab.elcom.nitech.ac.jp/lecture/neuro/par1.html
• 渡辺 雄二 |パーセプトロンにおける線形分離不可能問題に対する一解法http://earth.iec.yamagata-cit.ac.jp/intro/watanabe/rr_2005.pdf
• 村上・泉田研究室 第 6章 誤差逆伝搬法についてhttp://ipr20.cs.ehime-u.ac.jp/column/neural/chapter6.html
• 関東CV 勉強会でオートエンコーダ他について話した - tabe2314 のブログhttp://tabe2314.hatenadiary.jp/entry/2014/06/01/002249
• Deep Learning を勉強する際に参考にしたサイト・書籍まとめ| fz-qqq‘s diaryhttp://fz-qqq.hatenablog.com/entry/2013/11/13/224743
• 熊沢 逸夫 (1998) 『学習とニューラルネットワーク』 森北出版 16
ありがとうございました
17SlideShare : http://www.slideshare.net/T2C_/