Deep learningの軽い紹介

Deep Learningの軽い紹介 v1.0

目的と注意

• 最近”Deep Learning”が熱いですね

• そこで”Deep Learning”を初心者の方でもわかりやすいようにまとめてみました

• 自分自身機械学習は論文や本での独学なので、間違ってる点があれば教えてください

目次

• スライドを2枚に分けます

• 1枚目 : Deep Learningの軽い紹介

• 2枚目 : Deep Learningの音声分野への応用と可能性

• Deep Learning

• Deep Neural Network(DNN)

• Neural Network(NN)

• Hidden Markov Model(HMM)

• Gaussian Mixture Model - Hidden Markov Model(GMM-HMM)

• Deep Neural Network - Hidden Markov Model(DNN-HMM)

• 機械学習

• パターン認識

• 時系列データの認識

• 音声認識

• 画像認識

• モーション認識

• 音楽リズム認識

• 経済モデル

• 感情モデル...

キーワード

MIT : http://www.technologyreview.com/lists/breakthrough-technologies/2013/

2013年の熱い技術として紹介されている

今”Deep Learning”が熱い!!

ICMLのスケジュール : http://icml.cc/2013/?page_id=47

機械学習の世界的学会、ICMLでも...


• Ne#lix Movie Compe..on – Part of the “Ensemble” ($1 Million dollars)

• Kaggle Merck Competion 2012 - Help Develop Effective Medicines by Predicting Molecular Activity

• ICPR 2012 - Contest on “Mitosis Detection in Breast Cancer Histological Images.”

• IJCNN 2011 - Traffic Sign Recognition Competition

• ISBI 2012 - Challenge on segmentation of neuronal structures.

• ICDAR 2011 - Offline Chinese Handwriting.(without knowing any Chinese)

• Online German Traffic Sign Recognition Contest - 2011, first and second ranks

• ICDAR 2009 - Arabic Connected Handwriting Competition (without speaking a word of Arabic).

画像,音声,言語処理...様々な分野で活躍中

名のあるコンペティションでの優勝


名のあるコンペティションでの優勝(補足)

人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/


• Googleの1000台のコンピュータが3日間、Youtubeの動画を見続けることで”ネコの概念”を自動的に学習した

• “この人工頭脳は、ひとたびインターネットに接続して、YouTubeからランダムに選ばれた無数の画像を山のように供給されると、非常に特殊なことを行い始めた（少なくともコンピューターにとっては）。自動学習のプロセスを通して、猫を認識することを学習したのだ。人工頭脳の父であるアラン・チューリングの生誕から100年にして、機械も独習ができることを証明した。”

.http://wired.jp/2012/07/06/google-recognizes-kittens/

.http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html

”Deep Learning” の凄さがわかる例

• コンピューターはシュミレーションを行う機械

• 2025年には完璧に脳をシュミレーションできるらしい...

• 怖いですね

http://gigazine.net/news/20090315_supercomputer_power/

人工知能に関する補足

•コンピュータが自分で考える時代の到来か!?

凄さはわかってもらえたでしょうか？

• 日本語名 : “深層学習”

• 人工知能学会では...

• あれ、という事はDeep Learning = Neural Network(NN)?

• 再び人工知能学会....

”Deep Learning” って何ぞや?

つまりDeep Learning = 深いNN? 人工知能学会 : http://www.kamishima.net/2013/05/edit-tutorial-deeplearning/

• “深いNN”を理解する為に、まずは普通のNNの紹介です。

• アルゴリズムについてはすばらしい説明ページがたくさんあるので、概念の説明です。

”Neural Network(NN)”について

by wikipedia

• [ニューラルネットによるパターン認識]のページが非常にわかりやすいですので、ここでは簡単な流れを説明します。

• 学習データを入力層=>中間層=>出力層の順にデータを伝播させていく。各ニューロンを通るたびに「重さ」が加えられていく。

• 出力されたデータと学習データの答えを比較し、誤差を逆伝播していく。逆伝播の最中に「重さ」の更新を行う。

• 誤差が一定以下になるまで繰り返す

• ちなみに図は3階層パーセプトロン

• 他のモデルもありますよ。

”Neural Network(NN)”の仕組み

ニューラルネットによるパターン認識 : http://aidiary.hatenablog.com/entry/20050505/1274165051

ニューラルネット : http://www.sig.cs.osakafu-u.ac.jp/omatu/13neurobook.pdf

”Neural Network(NN)”の特徴[ニューラルネット]抜粋(詳しくは読んでください)

アルゴリズムが簡素である事と、これらの特徴でNNに興味を持ちました。(分散システムと相性抜群)

”Neural Network(NN)”は何が出来るのか

• パターン認識(教師あり)

• 「階層型NN」(先ほどのページ)を使えば(非線形)パターン認識を行えます。

• ライバル

• SVM(線形,非線形),GMM(確率モデル)...

• クラスタリング(教師なし)

• 「自己組織化写像(SOM)」を使えば、クラスタリングを行えます。

• ライバル

• k-means..

”Neural Network(NN)”の歴史

東北大学, 岡谷貴之齋藤真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/

NNの第一の冬

NOLISP 2013,Steve Renals,http://tcts.fpms.ac.be/nolisp2013/slides/nolisp2013_talks_renals.pdf

線形分離不可能問題

xor をNNで解けなかった。。。=> “誤差逆伝播法”の登場で解けるようになり、第一の冬終了。

NNの第二の冬

NOLISP 2013,Steve Renals,http://tcts.fpms.ac.be/nolisp2013/slides/nolisp2013_talks_renals.pdf

NN遅いし、他のいいアルゴリズムあるよねー...

GPUや新しいアルゴリズムの登場で、第二の冬終了

• NNについてある程度わかってもらえたと思うので、次は”深いNN”(Deep Neural Network,DNN)の説明です。

”Deep Neural Network(DNN)”について

NNはhiddenが2,3層DNNはhiddenがたくさん

NNとDNNの違い

深いんです!!もちろん他にも違いがありますが。。。

DNNの特徴

http://www.slideshare.net/pfi/deep-learning-22350063

• 今までの機械学習分野は特徴量抽出との戦いであった。

• 画像処理 - SURF,SIFT

• 音声認識 - MFCC

• DNNは特徴抽出もまとめて行う(表現学習) => 生のデータのまま扱える

• 層が深くなるごとに、データが抽象的(次元が圧縮される)形なっていく

DNNの特徴

http://www.ais.uni-bonn.de/deep_learning/

NNはhiddenが2,3層 DNNはhiddenがたくさん

再びNNとDNNの違い

問題を解くだけだったらNNで十分、しかしDNNを使えば、特徴量抽象(次元圧縮)も同時に行う。

ここは自信ないです。。。

DNNが今まで流行らなかったのはなぜ?

• DNNの仕組み自体は前からあったが、hiddenが深いと

1. 誤差逆伝播は計算時間がかかる

2. 学習が収束しない(過学習)

という問題があった。

• そこで

1. GPUの登場や、高性能のPCを安価に大量に使うように出来るようになった

2. 新しいアルゴリズムの登場

- プレトレーニングやDropOut

により花開いた。

東北大学, 岡谷貴之齋藤真樹,http://www.vision.is.tohoku.ac.jpokatani/research_jp/

• アルゴリズムの仕組み自体が今回の目的ではないので、割愛します(難しいので)。

• 知りたい方は、http://www.deeplearning.net/tutorial/のページが非常に良くまとまっています。

• DNNのライブラリは”Theano”がおすすめです。

• GPUを用いて並列処理を行うことができる。

• 分散処理はサポートしてない。

DNNのアルゴリズム

• Deep Learningは発展途上で

何が本当に上手くいっているのか良くわかっていない状況です。

-----あるデータにどんな形のDNNが有効か、試してみないとわからない.

=> 分散処理で様々なネットワークを試してみては？

問題点

http://research.preferred.jp/2012/11/deep-learning/

• Deep Neural Network は”深いNN”

• 各層ごとに意味がある

• DNNを使えば、従来の機械学習分野で必要であった特徴量抽出が必要ないパターン認識を行える

• 生のデータをそのまま扱える

• 未知のデータでも使用可能?　

• 機械が自動的にパターンを学習する - googleのネコの概念 -

• 未知の部分も多いが、現状素晴らしい成果を生み出しているのは明白である

• 非常に分散・並列処理と相性がいいアルゴリズムである。さらにアルゴリズム自体は簡素で、学習コストも低い(しっかり理解するのは大変...)

まとめ

• 次回は「 Deep Learningの音声分野への応用と可能性」です。

• 最近の音声認識は、

”Gaussian Mixture Model - Hidden Markov Model(GMM-HMM)”から

”Deep Neural Neural - Hidden Markov Model(DNN-HMM)”に

置き換わっている。

• やっている事は両方とも”パターン認識 - 時系列パターン認識”

• 音声認識の場合”音素認識(パターン認識) - 単語認識(時系列パターン認識)”

• DNN-HMMはGMM-HMMの性能を凌駕する。

• 実際にMicrosoft,Googleの音声検索に使われている。

• DNN-HMMのモデルは様々な分野に応用可能であるので、その応用例も考えてみる。

• モーション認識に応用出来るのではないかと考えている。

• NUIの幅が広がる気がする。

次回予告

Deep learningの軽い紹介

Documents