ニューラル・ネットワークと技術革新の展望

ニューラル・ネットワークと技術革新の展望＋ Project Ara への期待

まず、学ぶことから始めよう！

IT の世界は、この 10 年で大きく変わったクラウドとモバイルの時代

2004 年　 Google 上場 2006 年　 Amazon EC2, S3 2007 年　 Apple iPhone 2008 年　 Microsoft Azure 2008 年　 Google Android 2012 年　 Facebook 上場　

世界は、この先 10 年でどう変わるのか？

来たるべき AI 新時代に向けて モバイルとクラウドの時代が始まって 10 年が経っ

た。次の 10 年を展望した時、 AI 技術が、その新しい技術的中核として登場しようとしている。

ただ、モバイルが携帯電話の、クラウドがデータセンターの、ある意味では連続的な発展だったのに対して、ニューラル・ネットワークは、ほとんどの技術者にとって全く新しい技術である。そこには、技術的な「断絶」がある。

問題は明確である。我々は、来たるべき AI 新時代に向けて、学ぶことから始めなければならない。同時に、重要なことは、今後の 10 年を展望すれば、それはすべての技術者にとって必要な課題になるだろうだということである。

CAMEL の Opening Remark のスライド http://goo.gl/JVjGne

人間の学習が重要

まず、学ぶことから始めよう。人工知能を作るには、人間の知能が必要であり、機械学習を知るためには、人間の学習が必要である。

様々な AI 技術

AI 技術を構成する複数の流れ

A) 既知のデータの統計的分析をもとに、数値予測・クラス分けを行うもの。機械学習技術。

B) 経験的に構築された知識・推論・対話システム。パーソナル・アシスタンス・システム etc 。

C) ニューラルネットワークの手法を用いて、生物の感覚・運動系の能力の相同物を機械上で実現しようとするもの。ディープ・ラーニング。

D) 人間固有の言語能力の機械による実現。E) 人間の数学的・論理的な推論能力に関わるも

の。

A. 統計的分析に基づく、数値予測・クラス分け

これは昔から統計学の手法として存在する、回帰分析やクラスター分析と考え方は、基本的に同じものである。

ただ、マシンのパワーが飛躍的に増大して、大量のデータを短時間で処理できるようになり、かつ効果的なビジュアリゼーションが可能になったのが、実践的には新しく、かつ重要な変化である。

現在、クラウドで提供されている、大部分の機械学習のサービスは、このクラスに属する。

同時に、「決定論的なアプローチ」に対する「統計的なアプローチ」の優位という方法論的な自覚は、現在の機械学習技術・ AI 技術の多くの領域に、大きな影響を与えつつある。

Azure ML 統計処理

B. 経験的に構築された知識・推論・対話システム

「パーソナル・アシスタント・システム」　Google の Google Now, Apple の Siri, Microsoftの Cortana, Amazon の Alexa 等々。私たちの身近なところで、もっとも活発に応用が進んでいる分野。完成度の高い 「質問応答システム」として、 ( かつての )IBM の Watson がある。

入力（ Speech to Text ）、出力（ Text to Speech)に、ニューラル・ネットワーク技術を利用する。

「パーソナルアシスタント」のプログラムは、 Turing Test 的には、「知的」にふるまっているように見えるのだが、その多くの実装は、「知的」なものとは言えない。

パーソナル・アシスタンス・システム

C. ニューラルネットワークに基づく、知覚・運動系へのアプローチ。 Deep Learning 現在、活発に研究・応用が進んでいる分野である。文字認識・発話の文字列への変換、静止画・動画からの対象の判別・動きの検出等々で、大きな成功を収めている

基本的なモデルの起源は、生物の知覚・感覚（主要には、視覚・聴覚）を司る神経回路網にある。

生物の知覚・感覚の能力は、運動能力と密接に結びついて、感覚・運動系を構成しているので、ロボットの動作の制御、ドローンの姿勢制御、自動運転等にも、このアプローチは有効で、応用分野を拡大している。

人間の生産労働の代替としての生産の機械化も、知覚と自律的な運動能力を持つ機械たちのネットワーク化によって、新しい段階に進むことが予想される。

Deep Learning

D. 人間固有の言語能力の機械による実現

「機械翻訳システム」　本来は、意味理解を含む人間の一般的な言語能力に関わっている。ただ、機械翻訳の場合、質問に答えることが求められているわけではない。それは、ある言語から他の言語への形式的な「書き換え」システムなのかもしれない。

この領域は、最終的には、機械が人間のように、言語の「意味」を理解して、「知識」を活用して「意味」のある活動をするのを目指している。ある意味、人工知能の本丸である。ただ、多くの課題が残されている。

小論では、簡単に、それらの歴史を振り返る。

「女性が公園でフリスビーを投げている」　　　「幼い子がテディベアを持ってベッドに座っている」

「一群の人たちが野外マーケットでショッピングをしている」「フルーツスタンドにはたくさんの野菜がある」

イメージからテキストへ

言語理解

E. 人間の数学的・論理的な推論能力に関わるもの

ここでは、経験的な起源からは相対的に独立な、純粋に数学的な定理の証明や、複雑な証明の機械による支援が課題になる。この分野でも、 COQ 等の「証明支援システム」を中心に、興味ふかい前進がある。 マルレク「「型の理論」と証明支援システム -- Coq の世

界」 http://bit.ly/1qbdXVE を参照されたい。 かつての日本の「第五世代」的な、 AI に対する「論

理的」な（というより「定理証明的」な）アプローチは、現在の AI研究においては主流ではない。ただ、そのことは、他のすべての領域と同じように、数学的・論理的なアプローチの有効性を否定するものではない。

数学や物理といった知識の体系は、誰もが生得的に持つ言語能力や経験的な知識の体系には、還元されない。

HoTT(Homotopy Type Theory)とUnivalent Theory 論理＝数学的には、 a : A には、様々な解釈がある。

ここでは、他の解釈と比較して、 HoTT での a : A の解釈を見てみよう。

1. 集合論 : Russell の立場A は集合であり、 a はその要素である。

2. 構成主義 : Kolmogorov の立場A は問題であり、 a はその解決である

3. PAT: Curry & Howard の立場A は命題であり、 a はその証明である。

4. HoTT: Voevodsky の立場A は空間であり、 a はその点である。

”Propositions as Types” “Proofs as Terms”

数学的認識の理解

AI 技術を構成する複数の流れの中で、なぜ、ニューラル・ネットワークが重要なのか？

A) 既知のデータの統計的分析をもとに、数値予測・クラス分けを行うもの。機械学習技術。

B) 経験的に構築された知識・推論・対話システム。パーソナル・アシスタンス・システム etc 。

C) ニューラルネットワークの手法を用いて、生物の感覚・運動系の能力の相同物を機械上で実現しようとするもの。ディープ・ラーニング。

D) 人間固有の言語能力の機械による実現。E) 人間の数学的・論理的な推論能力に関わるも

の。

ニューラル・ネットワークは、新しい AI 技術の現在の技術的中核だから

A) 既知のデータの統計的分析をもとに、数値予測・クラス分けを行うもの。機械学習技術。

B) 経験的に構築された知識・推論・対話システム。パーソナル・アシスタンス・システム etc 。

C) ニューラルネットワークの手法を用いて、生物の感覚・運動系の能力の相同物を機械上で実現しようとするもの。ディープ・ラーニング。

D) 人間固有の言語能力の機械による実現。E) 人間の数学的・論理的な推論能力に関わるも

の。

NN は、同等の能力を持つ

Speech2TextText2SpeechHuman Interface

CNN+RNN 　機械翻訳 Knowledge Database

未来の、「人工知能」

例１A -> (A->B) ->B の証明

Coq < Lemma S1 : forall A B :Prop, A ->(A->B) ->B.1 subgoal ============================ forall A B : Prop, A -> (A -> B) -> B

S1 < intros.1 subgoal A : Prop B : Prop H : A H0 : A -> B ============================ B

Goal から、 forall を消す。→の前提部分を仮説に移す。intros は、複数の intro を同時に適用する。

Γ1 新しい仮定

新しいゴール

機械証明ニューラル・ネットワーク技術の

特徴

ニューラル・ネットワーク技術の特徴 非言語的コントロール：プログラム言語によらず、

マシンをコントロールする。 確率論的：ふるまいは、非決定論的で確率論的であ

る。 データ依存：大量のデータの「学習」で、必要な能

力をマシンに伝える。データを与えるのは、当面は、人間の仕事。

学習・実行の非対称性：「学習」には、大規模・高機能なシステム（ GPU ・クラウド等）が必要だが、学習された能力は、小規模なモバイルでも、「実行」できる。

ハードウェア依存：学習・実行環境は、ともに、ハードウェアの進化に強く依存する。 OS の進化にも大きな影響が及ぶだろう。

Team MIT: Atlas Robot Push Recovery

https://www.youtube.com/watch?t=193&v=2mhIYetkNIg

非言語的

確率論的

Faceno Face

これが、一千万個の画像データから、 16,000コアのマシンが三日間かけて抽出した「人間の顔」のイメージらしい。子供の絵に似ているのが面白い。

大量のデータ

　 https://goo.gl/b5Pe5j

MS Research の Deep Learning “Project Adam” 1,400万枚の画像を学習して、 22,000 のカテゴリーに分類できる。イヌとネコを区別できるだけでなく、イヌの犬種も正しく判別する。

http://goo.gl/2EMIkJ

非対称的

NVIDIA M40

FPGA Stratix V 新しいハードウェア

モデルとしての生物のニューラル・ネットワーク

http://www.tmd.ac.jp/artsci/biol/textlife/neuron.htm

クラゲだって神経はある

「神経系の起源と進化」http://bit.ly/1qR2Dmq

http://goo.gl/0lbzRg

線虫の C. Elegance は、すべての神経の接続がわかっている唯一の生物である。302 の神経と 8,000 のシナプスがある。

1987 年

アノマロカリス

「視覚」の誕生と発展 生物の進化の歴史の中で、「視覚」の能力は、 5億

年前の「カンブリア紀」に獲得された。それは、長い長い歴史を持っている。当時の食物連鎖の頂点に立っていた「アノマロカリス」は、立派な眼を持っていた。

「眼」の獲得、同じことだが、「視覚」の能力の獲得は、「捕食者」にとっても（獲物を見つける）、「被捕食者」にとっても（捕食者から逃れる）、その「生き残り」に、死活的に重要な意味を持つことになった。人間を含めて、すべての動物で、強い淘汰の圧力のもとで、視覚処理の能力は、高度に発達している。

同時に、この「視覚」の能力は、追いかける、捉える、あるいは、逃げるといった「運動能力」に深く結びついている

多くの生物は目を持っている

https://www.brh.co.jp/seimeishi/journal/012/ss_1.htmlゲーリングによる「目の遺伝子」 Pax-6 の発見

視覚と運動能力は、強く結びついている

60 年代から 70 年代にかけての、 Hubel と Wiesel の大脳視覚野の研究は、各方面に大きな影響を与えた。ニューラル・ネットワークの最初の研究も、こうした影響のもとで始まった。

David H. Hubel

Torsten Wiesel 

1960 年代

HumanConnectome

Project

脳は、 1mm立方に5万個のニューロンを含み、一つのニューロンは6千個のシナプスをもつ。

大脳新皮質には、100億のニューロンと60兆個のシナプスがある！

人間の脳のエネルギー効率は、驚異的に高い。

AI のハードの世界でも大きな変化が進んでいるのだが、留意すべきこと....

「人間と機械」という対比だけでなく、「生物と機械」という対比でも、考えることは面白い。

ニューラル・ネットワークが、今後、大活躍するであろう「感覚 - 運動系」でも、生物の能力は、驚異的である。

ニューラル・ネットワーク

Geoffrey E. Hinton

Geoffrey E. Hinton Yann LeCun, 

Yoshua Bengio Andrew Ng 

http://www.cs.toronto.edu/~hinton/ http://yann.lecun.com/

http://goo.gl/fOjkIC http://www.andrewng.org/

Google の猫

2012 年 6月

The architecture and parameters in one layer of our network.

Jeff Dean

Google Brain巨大なサーバー・クラスター

消費電力 600kW から 4kW へ5百万ドルのシステムから、 3万 3千ドルのシステムへ

サーバー・クラスターから GPU の利用へ

CNN とは何か？

コンボリューショナル・ニューラル・ネットワーク（ CNN ）とは何か？

コンボリューショナル・ニューラル・ネットワークの基本的なモデルは、生物の「視覚」の能力である。

視覚で与えられる情報は、まず、特定の特徴（例えば、傾き、運動、運動方向、速度、色、パターン）だけが取り出される。そうした選択を行う「フィルター」の働きをシミレーションすることを、「コンボリューション」と呼んでいる。

「コンボリューショナル・ニューラル・ネットワーク」というのは、「いろいろな特徴を抽出するフィルターで前処理されたニューラル・ネットワーク」と考えることができる。

先の図の、” 3D-Convolution and Max Pooling” と書かれた部分が、このフィルターによる「前処理の部分である。

先の CNN の図の難点 先の図は、とてもよくできているのだが、一つ、大

きな弱点がある。それは、この図を見ると、 CNN が、犬のイメージに対して、“ dog” という文字を出力するというように見えてしまうことだ。（実際に、そう出力するだが）

CNN にとって、本質的に重要なことは、犬のイメージに対して、一つのニューロンが興奮するということ。 CNN は、そうしたニューロンの働きを再現する。そこには、コトバも文字も、必要ない。 （我々は、たまたま、それに“ dog” というラベルをつけているだけである）

文字を人間が使うようになってから、多分、数千年か 1万年の歴史しかないのだが、そのはるか以前、5億年も前から、言葉や文字がなくても、視覚による認識は成立していました。

LeCun の LeNet による手書き文字認識　学習用手書き文字データ MNIST を利用

http://yann.lecun.com/exdb/lenet/

ConvNet 2000 年代の早くから、 ConvNet は、画像データ中

のオブジェクトや領域の検出・セグメント化・認識に応用されて大きな成功を収めてきた。交通標識の認識、生物学的な画像データ、特にコネクトームの為のセグメント化、顔、テキスト、歩行者、自然な画像の中での人体の検出、これらは全てラベル付けられたデータが、比較的豊富に与えられた処理であった。近年の ConvNet の大きな実践的な成功は、顔認識である。重要なことは、画像データはピクセル・レベルでラベル付けが可能であることで、この技術は、自律型のモバイル・ロボットや自動運転カーを含む技術に応用されていくだろう。 Mobileye や NVIDIA といった会社は、こうしたConvNetベースの技術を、来たるべき車のビジョン・システムに利用している。

http://goo.gl/N42khi

ConvNet 重要さを増しているもう一つの応用は、自然言語の

理解と発話の認識である。 こうした成功にもかかわらず、 ConvNet は、 2012

年の ImageNet の競技会まで、コンピューター・ビジョンと機械学習のコミュニティの主流派からは、ほとんど無視されてきた。ディープ・コンボリューショナル・ネットワークが、 web からの 1,000種類の異なったクラスを含む 100万枚の画像に応用された時、それは、最良の競争相手のエラー率のほとんど半分という、目を見張るような結果を生んだ。

http://goo.gl/N42khiNature “Deep Learning” 2015 年 5月 28日

Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton"ImageNet Classification with Deep Convolutional Neural Networks" 

http://goo.gl/HCZ65W

Alex Krizhevsky

言語理解をめぐって

言語理解をめぐって ニューラル・ネットワークからの言語理解の試みには、

多くの困難があった。この節では、簡単に、その歴史を振り返る。

視覚の分野でのニューラル・ネットワークの成功を見れば、人間の「知覚」が、単一の学習アルゴリズムで説明出来るという仮説は正しいようにも見える。もっと強い主張は、言語の習得を含めて、全ての学習アルゴリズムが同型であるという主張である。ただ、それは疑わしい。（視覚野と言語野）

大量のデータがあれば、言語の理解に到達できるという、初期の楽観論は、成果をあげられなかった。現在は、 feature という形で、統計量の中に埋もれている「意味」の重要性に気づき始めたところである。

RNN は、「文法」理解の方向に進んでいるように見える。

Perceptron による言語学習モデル

http://research.microsoft.com/pubs/66840/acl2001.pdf

“Scaling to Very Very Large Corpora for Natural Language Disambiguation”Michele Banko and Eric Brill

2001 年

パーセプトロンを使った単語選択 {to, two, too} という言葉は、発音はよく似

ている。今、次の文の下線部に、先の三つの単語 {to, two, too} から、一つ選んで文章を作るという問題を考えよう。For breakfast I ate _____eggs. 正解は、もちろん two である。多くの人は、two以外だと文法的に正しくないし、意味が通らないと考えるだろう。

ところが、パーセプトロンを使った、単語選択の考え方は、それとは異なる。沢山の用例を調べて、同じようなものがあれば、それを選ぶ。

http://bit.ly/1qKh8ro

横軸が対数のグラフ

10億

2001 年の議論

「勝つのは、最良のアルゴリズムを持っている人ではなく、もっとも多くのデータを持っている人である。」

Power of DataGoogle の言語へのアプローチ　（ 2006 年）

Ben Jai “What’s Google Doing” からhttp://life.math.ntu.edu.tw/sites/life.math.ntu.edu.tw/files/Fall-2006-Campus-Talk-TW.pdf

2006 年

Web 上での「スペル訂正」 “britney spears” のような、ポピュラーな名前でも、間違ったスペルで検索する。

実際の例。 800以上もあった。 britney spears brittany spears brittney spears britany spears britny spears briteny spears britteny spears briney spears brittny spears brintey spears

Learning From Data

Google 流の「スペル訂正」 Web をコンテキスト語彙集として利用し、ミススペ

ルを、 Web の文脈上での利用に基づいて見つける。 語のスペルの、確率的なモデルを構築し、語彙集を

Web での語の使用に適合させると、より豊かなスペル訂正のモデルが出来る。

Google を使った場合の例 “Kofi Annan” は、スペルミスではない “Kofee Annan” は、 “Kofi Annan” に訂正される “Kofee Shop” は、 “Coffee Shop” に訂正される

コンテキストがキーである。

応用：　自動機械翻訳 目標 : 異なる言語間のテキストの、高品

質な自動変換を提供する 元のテキストがいかなる言語であっても、

Web 上の全てのテキスト・データを、アクセス可能なものにすることが出来る

長い期間を要する、挑戦的な AI の問題 しかし、沢山のデータは、実際に役に立

つ！

自動評価尺度 BLEU についてはhttp://bit.ly/1mqGN94

コーパスが二倍になれば、翻訳の質は、 0.5% 上がる

“A Neural Probabilistic Language Model”

Yoshua Bengio ほかhttp://goo.gl/977AQp 2003 年

「次元の呪い」

「次元の呪い」　Curse of Dimentionality Benjio は、早くから、言語処理に現れる組み合わせ

の数の爆発を意識していた一人である。彼は、それを「次元の呪い」 Curse of Dimentionality と呼んだ。

26文字のアルファベット 15文字以内で構成される語の数は、高々、 2615 である。スペル訂正の次元は、その程度のオーダーである。

ただし、語彙が 100,000個ある言語での 10個の語からなる文は、 10000010＝ 1050種類もある！この 1 文 2 は 3 104 個 5 の 6 語 7 から 8 できて 9 いる 10 10 語文というのは、そんなに長い文章ではない。が、1050 というのは、とても巨大な数である。

feature の分散表現で、「次元の呪い」と戦う この論文で、彼は、次のような方法を提案する。1. 語彙中のそれぞれの語に、 Rm に実数値の値を持つ、

分散した語の特徴ベクトル (word feature vector)を対応づける。

2. 語の並びの結合確率関数を、この並びの中の語の特徴ベクトルで表現する。

3. 語の特徴ベクトルとこの確率関数のパラメーターを、同時に学習する。

要は、語の「特徴ベクトル」という語の「意味」の対応物を導入しようということだと僕は理解している。こうしたアプローチは、 Tomas Mikolov らの Word2Vec に受け継がれている。

言語学からのアプローチ

コミュニケーション

言語能力

Chomsky の観察Cartesian Linguistic 言語能力は、デカルトのいうように、人間と

いう類を、人間以外の動物と区別するものである。

人間の言語能力の最大の特徴は、その創造性。いままで聞いたこともしゃべったことも無い、まったく新しい文章を、理解し発話出来る。

有限個の単語から無限の文を生成出来る。 言語の獲得には、可能な文型を全てカバーす

る大量のデータが必要な訳ではない。 人間には、全ての人間に共通の生物学的基礎

を持つ、「普遍文法」と「言語獲得装置」とも言うべきものが、生まれつき備わっている。

無限性 Recursion I ate a banana I know I ate a banana I think I know I ate a banana I declare I think I know I ate a banana What do you declare I think I know I ate? This is the banana I declare I think I know I ate There are more bananas I declare I think I know

I ate than bananas that still grow on the tree This is the cat that caught the rat that ate the

cheese that...

http://bit.ly/1uc4Taj

Word2Vec

2013 年に、 Google の Tomas Mikolov らは、語が埋め込まれたベクター空間が、言語学的に（文法的にも、意味論的にも）面白い性質を持っていることを発見する。

“Linguistic Regularities in Continuous Space Word Representations”

http://research.microsoft.com/pubs/189726/rvecs.pdf

Tomas Mikolov

どんな語が、与えられた語の近くに埋め込まれるか？

似た意味を持つ言葉は、似たベクトルを持つ。 似た言葉で置き換えても、正しい文は、正しい文に

変わる。

“ a few people sing well” 　　　　正しい文

“ a couple people sing well” 　　正しい文

意味が似ていなくても、同じクラスの言葉で置き換えても、正しい文は、正しい文に変わる。

“ the wall is blue”  　　　　　“ the ceiling is red”

意味を変換するベクトルは共通？ Word Embedding は、もっと面白い性質を持つ。下

の図のように、男性から女性へのベクトルがあるように見える。

W(‘‘woman“)−W(‘‘man”) ≃ W(‘‘aunt“)−W(‘‘uncle”)W(‘‘woman")−W(‘‘man") ≃ W(‘‘queen")−W(‘‘king")

ベクトルで表現される関係の例

Mikolov et al (2013) http://arxiv.org/pdf/1301.3781.pdf

Mikalov et al http://arxiv.org/pdf/1301.3781.pdf

文法的関係を表すベクトルも存在する

RNN: リカレント・ニューラル・ネットワーク

Timothy T. Rogers, James L. McClelland "Parallel Distributed Processing at 25:

Further Explorations in the Microstructure of Cognition" 

http://goo.gl/e4CgJ8

Rumelhart は、2011 年に逝去

2014 年

CNN と RNN空間的な特徴と時間的な特徴 CNN は、一つの対象を、スナップショットを取るよ

うに時間を止めて見る。対象が画像なら、そこで抽出される特徴は、その画像の中にある「空間的」な特徴だ。（白黒画像なら二次元の、カラー画像なら、二次元 x カラーの次元）

ただ、我々が認識する特徴は、みな空間的なものとは限らない。例えば、「対象の動き（方向・速さ）」、「音のつらなり」。これらは、「空間的 x 時間的」な特徴だ。

自然言語の理解でも、発話（ Speech ）は、時間の中の音のつらなりだし、文は、語の連続的な継起で、語の出現の「順番」が意味を持つ（文法）。現象的には、文字の登場以降の「文章」では、純粋に時間的な特徴は薄れたようにも見えるが、本質的には、言語は、時間的な特徴を持つ。

RNN とは何か？ Recurrent Neural Network の名称は、下図の左の

ように、ノード s の出力の一部 W が、再度、 ノード s の入力に還流することから取られたものだが、この Recurrent を表す、この「再帰ループ」に、あまり、気をとられる必要はない。プログラムでも、再帰は、「繰り返し」に帰着するように、 RNN の実装で重要なのは、右のような繰り返しとして展開された形である。

RNN の実装 下の図は、もう少し詳しく、 RNN の実装を図示した

もの。とても複雑に見えるが、入力層・隠れ層・出力層の三層からなる NN が三つ、横方向に並んでいるだけ。

ただ、隠れ層のそれぞれのノードが、「となり」のNN の対応するノードにリンクを伸ばしている。これは、実装的には、このノードのパラメーター（重みとバイアス）を共有することを表している。

RNN / LSTM ここでは、水平方向に並んでいる三つの単純な NN

に、T - 1, T, T + 1 というラベルが付けられていることに留意されたい。この横方向の展開の、自然な解釈は、時間的な推移である。

同時に、この解釈のもとでは、隣り合う NN 間でのパラメーターの共有は、 RNN では、時間を超えて、ある時点での状態の「記憶」が保存されるということと解釈できるのだ。

RNN の有力な実装の一つである、 LSTM 、すなわち Long Short-Term Memory は、このことを意識した命名である。

リカレント・ニューラル・ネットによる文章の生成

Google の Ilya Sutskever は、文字数が 5億文字にものぼるテキストを長い時間をかけてRecurrent Neural Nets に学習させ、以下のページのような文章を生成することができた。

“Generating Text with Recurrent Neural Networks”Ilya Sutskever, James Martens, and Geoffrey Hinton,

ICML 2011. http://bit.ly/1qN5Pes

Ilya Sutskever

http://bit.ly/1qN5Pes

Recurrent Neural Network

“An example of what recurrent neural nets can now do” WikiPedia で学習したもの

The meaning of life is the tradition of the ancient human reproduction: it is less favorable to the good boy for when to remove her bigger. In the show’s agreement unanimously resurfaced. The wild pasteured with consistent street forests were incorporated by the 15th century BE. In 1996 the primary rapford undergoes an effort that the reserve conditioning, written into Jewish cities, sleepers to incorporate the .St Eurasia that activates the population.

http://goo.gl/vHRHSn

英語に見えるが意味が、まったく通じない。

“An example of what recurrent neural nets can now do” 　 New York Times で学習

while he was giving attention to the second advantage of school building a 2-for-2 stool killed by the Cultures saddled with a halfsuit defending the Bharatiya Fernall ’s office . Ms . Claire Parters will also have a history temple for him to raise jobs until naked Prodiena to paint baseball partners , provided people to ride both of Manhattan in 1978 , but what was largely directed to China in 1946 , focusing on the trademark period is the sailboat yesterday and comments on whom they obtain overheard within the 120th anniversary , where ......

http://goo.gl/vHRHSn

英語に見えるが意味が、まったく通じない。

"The Unreasonable Effectiveness of Recurrent Neural Networks”

Andrej Karpathy

http://karpathy.github.io/2015/05/21/rnn-effectiveness/

RNN の驚くべき能力

Andrej Karpathy"The Unreasonable Effectiveness of Recurrent Neural Networks”

http://karpathy.github.io/2015/05/21/rnn-effectiveness/

RNN が産み出した数学論文モドキ

Stack Theory の教科書を「学習」させたもの

RNN が産み出したC プログラム・モドキ

Linux のソースコードを「学習」させたもの

タモリの「四カ国麻雀」「ハナモゲラ日本語」は、RNN で真似できる。（多分）

Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank

Richard Socher et al.

http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf

文法をニューラル・ネットで！

Recursive Neural Networks これは、“ ((the cat) (sat (on (the mat))” を、結合モジュールを使って表したもの。

こうしたモデルは、モジュールの出力が同じタイプのモジュールの入力となるので、 “ recursive neural networks” と呼ばれる。また、 “ tree-structured neural networks” とも呼ばれる。

文 “ This film does’nt care about cleverness wit or any other kind of intelligenct humor” の解析

Socher, et al. http://goo.gl/bPAQ68

文法構造をニューラル・ネットで表現する！

“Show, Attend and Tell: Neural Image Caption Generation with Visual Attention”

Kelvin Xu, Bengio et al.

イメージにキャプションをつける

http://arxiv.org/pdf/1502.03044v2.pdf

Kelvin Xuhttps://github.com/kelvinxu

“Show, Attend and Tell: Neural Image Caption Generation with Visual Attention”http://arxiv.org/pdf/1502.03044v2.pdf

「女性が公園でフリスビーを投げている」　　　「幼い子がテディベアを持ってベッドに座っている」

「一群の人たちが野外マーケットでショッピングをしている」「フルーツスタンドにはたくさんの野菜がある」

イメージからテキストへ

「硬い木の床の上に犬が立っている」　　　　　「山を背景に、止まれの標識が道路にある」

「一群の人たちが、水の中のボートに座っている」　　　「木々を背景に、キリンが立っている」

イメージからテキストへ：　画像の一部に “注意”を向ける

“Deep Learning, NLP, and Representations”

http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/

Project Ara への期待

2014 年 4月 15-16日 Ara Conference

スマートフォンは、我々の生活の中で、最も我々に力を与え、最も我々にみじかなものである。ただ、我々の多くは、このデバイスがどのように作られ、それが何をしているのか、それがどのように見えるかについて、語ることはほとんど無い。そして、我々のうちの５０億人は、それを持っていない。正確に、スマートフォンが行っていることについて、よく考えた選択を行うことができ、あなた自身のストーリーを語る創造的なキャンバスとして、それを利用できるもの？

Project Ara を紹介したい。

何よりも、６０億人のためにデザインされたものである。

Designed exclusively for 6 billion people.

「消費」され「使い捨て」られるモバイル モバイルのグローバルな普及は、 21 世紀初頭の IT

技術を特徴付ける、もっとも目覚ましい現象の一つだ。

ただ、現在、モバイルのハードウェアは、拡張性のないブラックボックスとして、早いサイクルで消費され、使い捨てられている。

それは、例えば、 20 世紀の PC/AT互換機が、多くの人に、ハードウェアに対する関心を広げ、 Linux等のオープンソース開発にプラットホームを提供し、かつ、そのコモディティー化したハードウェアが、Google に、 Scale Out による大規模分散システムの成立を可能にしたのとは、様相が異なっている。

いわゆる「 IoT 」の中でも、モバイル技術は、もっと中心的な役割を演ずるべきだと、僕は考えている。

http://news.livedoor.com/article/detail/11260390/　から

小論の目的 紹介できないこと

Project Ara の現時点での取り組み Project Ara の市場登場の見通し Project Ara の技術的な課題 ...

紹介したいことかつて、 Project Ara の中心人物だった Paul Eremenko の「ものづくり」に関する考えを、前職の DARPA 時代に遡って、改めて紹介したい。

2016 年 2月 9日

http://goo.gl/aRsWV9

Project Ara Module Module Developers Conference

2015 年 1月 14日

2013 年 3月 21日

2010 年 10月 7日http://goo.gl/chgLPi

Adaptive Vehicle Make

AVM の三つのビジョン その 1 META 第一。複雑な防衛システムの開発時間を短縮

するために、高機能の開発ツールを作成し利用する。

そのツールを "META" と呼んでいる。モデル化とコンポーネント化により設計の抽象度を上げるとともに、 "Correct-by-Construction" で、柔軟に設計変更に対応する。あわせて、シミレーション、システムの評価を、随時、この META 上で行えるようにする。（

AVM の三つのビジョン その 2 iFAB 第二。新しい製造工場 "iFAB" の構築。 iFAB

は、 Instant Foundry, Adaptive through Bits の略。

3D プリンター、レーザー・カッター「新しい製造科学」を取り入れた、地方に分散した小規模の工場。製造データはネットから入ってくる。

META と iFAB の組み合わせで、高付加価値の設計活動に向けて、ツール・チェインとバリュー・チェインを統合する。

AVM の三つのビジョン その 3 FANG 第三。設計の民主化。 オープンソース・ベースで、 Crowd-sorcing

の手法を取り入れる。いわば、「みんなで戦車を作ろう」ということ。実際、 DARPA は、FANG (Fast, Adaptable Next Generation GCV) Challenge という「戦車作り」の公開コンテストを３部門で行う。（

このコンテストでは、ツール META が、参加した 200 チームの約 1,000 人に配布され利用された。

FANG Challenge: Design a Next-Generation Military Ground Vehicle

https://www.youtube.com/watch?v=TMa1657gYIE

FANG Challenge: Design a Next-Generation Military Ground Vehicle

https://www.youtube.com/watch?v=TMa1657gYIE

FANG Challenge: Design a Next-Generation Military Ground Vehicle

https://www.youtube.com/watch?v=TMa1657gYIE

The Experimental Crowd-derived Compact support-vehicle (XC2V) design competition

DARPA が主催した同じ手法での軍用自動車の開発コンペティションでは、 Local Motors が優勝した。

2011 年 7月 24日

2014 年 7月 15日　 FAB10https://www.youtube.com/watch?v=ZptIee-SAkc

製品のすべての本質的な側面は、 OEM で設計・製造される。

製品の重要な側面は、パワー・ユーザーあるいは、開発者のコミュニティが設計・製造する。

製品の重要な側面は、エンド・ユーザーが、設計・製造する。

オークリッジ国立研究所は、 3D プリンターが新しい革命をドライブする種をまく

オークリッジ国立研究所の3D プリンター研究の「目的」 研究所の 3D プリンター研究の目標は、プロ

トタイピングから生産への移行を行うことと、分散化した「民主化」された製造業を可能とすることである。そこでは、 3D プリンターが全ての人の収入の源となる。産業革命に先行した零細企業にハイテクが帰ってくるのだ。

Lonnie Love の発言 , group leader for automation, robotics and manufacturing

“ORNL Seeds 3-D Printers To Drive New Revolution”「オークリッジ国立研究所は、 3D プリンターが新しい革命をドライブするように種をまく」 http://bit.ly/1oyTaxZ

2015 年 1月 14日

ロッキード F35

航空宇宙産業での 3D プリンタの利用

エアバス 350

ロボットや AI の進出を、「脅威」としてではなく受け止める最良の方法は、すべての人が、ロボットや AI を、自らの手で作り出す基本的なスキルを持つことである。