（株）ATR脳情報研究所 川人光男 資料5-4 · 硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニング

ネットワークアーキテクチャに関する調査研究会

２００７年５月２２日

（株）ATR脳情報研究所川人光男

計算論的神経科学脳の機能を、その機能を脳と同じ方法で実現できる計算機のプログラムあるいは人工的な機械を作れる程度に、深く本質的に理解することを目指すアプローチを計算論的神経科学と呼ぶ。

脳の機能を　　　　　　　　　　　　　　　　　　計算機のプログラムあるいは人工的な機械で実現する　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

脳の機能を　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　理解する　　

脳の機能を、その機能を脳と同じ方法で実現できる計算機のプログラムあるいは人工的な機械を作れる程度に、深く本質的に理解することを目指すアプローチを計算論的神経科学と呼ぶ。 Biped

Schaal S, Sternad D, Osu R, Kawato M: Rhythmic arm movement is not discrete. Nature Neuroscience, 7, 1137-1144 (2004).Nakanishi J, Morimoto J, Endo G, Cheng G, Schaal S, Kawato M: Learning from demonstration and adaptation of biped locomotion,J. Robotics and Autonomous Systems, 47, 79-91 (2004).

ATR脳情報研の脳ロボット研究

• ノーベルフォーラム講演とノーベルシンポジウムで川人所長招待講演（平成１３年、１５年）

• 鉄腕アトム誕生日関連で、ＤＢが６つのテレビ番組で紹介される

• アトム計画を提唱（３０年で５歳児相当のヒューマノイドロボットを開発）ータイム誌、MITMagazine等で紹介

• 川人の特許をソニーなどが数千万円で購入(KTC最大収入？）

• ソニー、ホンダが研究員と研究費

Discovery Channel

ヒューマノイドロボットＣＢ

•人間により近いヒューマノイドロボット(同程度の速さと力)

•自律型

･160cm and 70 Kg

•柔らかい

An ATR/SARCOS development with ICORP/JST funding

CB_CPG_Walk monkey locomotion

脳を活かす• 脳を読む　 ニューロエコノミクス、ニューロマーケティング、　 ニューロゲノミクス、ニューロポリティクス　 人間の精神・社会活動を生物学的基盤から理解し 応用する

• 脳を繋ぐ　 ブレイン・マシン・インタフェース、ブレイン・コンピュータ・インタフェース、ブレイン・ネットワーク・インタフェース　 まったく新しいコミュニケーション技術

• 脳と社会；神経倫理学（Neuroethics）　 脳科学の応用を倫理から考える。　 倫理を脳科学から考える。脳科学の究極の応用

J. Donoghue, NatureNeuroscience 2002; Human implant 2004

ブラウン大学ドナヒュー：首から下が麻痺した被験者（C4レベル脊損患者）に対して、世界で初めてBMIの慢性臨床試験を開始した。

2. 大脳皮質上に埋め込まれた電極で　神経細胞の活動を計測

1. カーソルを左上に 動かすように念じる

脳に埋め込んだ多重電極によるブレイン・コンピュータ・インタフェース

主観的知覚内容の解読（心を読む）

予測(どちらの縞に注意を向けているか)

Kamitani Y., Tong F. Decoding the perceptualand subjective contents of the human brain.

Nature Neuroscience 8, 679-685 (2005).

脳活動でロボットを制御じゃんけんに伴う脳の活動をほぼリアルタイムに解読することで，脳でロボットを操作することに成功しました

ＭＲＩ グー

パー

チョキグー

チョキ

パー

グー

チョキ

パー

システムの基本構成

画像データ

特徴パターン

パターンの解析

ロボットに指令

ＭＲＩで脳活動を毎秒計測

ロボットハンドが同じ動作

運動指令に関係する部分を抽出

脳活動パターン抽出 動作判定処理

前

後

右左

ＭＲＩ

パーチョキ

グー

おはよう日本

脳磁計(MEG)

近赤外光計測(NIRS)島津製作所、ボバース記念病院

　　　　MRI / fMRIATR脳活動イメージングセンタ

fMRI（高空間分解能）　　　　　＋MEG（高時間分解能）

脳波（EEG)

階層ベイズ法による高精度脳活動推定

大規模装置

NIRS（高空間分解能）　　　　　＋EEG（高時間分解能）

可搬型計測装置

川人 振興調整費で島津製作所と共同開発

超多チャンネルMEGシステム

脳活動空間情報　

脳活動の時空間活動パターン

fMRIによる脳機能地図

階層ベイズ脳活動推定法脳活動時空間情報の統合

脳活動時間情報

高時空間分解能脳活動計測システム

視覚実験課題遂行時の高時空間分解能脳活動推定

400ms 800ms 1200ms0ms

視覚刺激時系列パターン

被験者は固視点（赤）を注視し、その間に比較的短い時間間隔で視覚刺激を連続的に提示する。

四半視野刺激を連続して被験者に提示したときの脳磁図から初期視覚野の脳活動を推定する。

出典：Kandel ER, Schwarz JH,Jessell TM, Principles ofNeural Science, 3rd ed.

視野と初期視覚野の位相情報の対応（レチノトピー）

fNIRSとEEGの複合機

硬膜下電極（Electrocorticogram: ECoG）によるBMI

　（大阪大学） 柳澤 琢史、平田　雅之、加藤 天美、吉峰 俊樹　（ＡＴＲ）　 澁谷 大輔、戸田　昭裕、佐藤 雅昭、神谷 之康、岡部　達也

研究目的硬膜下電極から測定される脳活動をデーコーディングし、その結果を用いて機械をトレーニングなしに動かす　⇒　ALSやLocked-In症候群患者のコミュニケーションツールとして期待

大阪大学・ATR共同研究

左大脳皮質硬膜下電極

頭皮

頭蓋

皮質

硬膜

ECoG

脳髄液

特徴ノイズが少ない信号が強い（EEGに比べて）EOG, ECG, EMGなどの信号が入らないクロストークが少ない埋め込みのための手術が必要★ご紹介する結果は、治療目的のためにECoG留置された患者の中で、実験目的・内容など

にご賛同を頂いた方のご協力を得て、実験を行ったものです（インフォームドコンセントを経て）。

頭蓋による信号減衰

情報格差の解消と上質なコミュニケーションの確立

ユビキタスジャパンの目的の１つである、誰でもネットワークを利用できるヒトにやさしいインタフェースとして、ブレイン・ネットワーク・インタフェースを開発。

脳情報通信プロジェクト以心伝心のコミュニケーション

公共の安全確保大規模安全に関わるシステム操作者のBNIによる脳活動モニタ

真のユビキタスネットワーク社会の確立情報格差のないネットワーク社会へ

以心伝心の高品質コミュニケーション社会へ

ニューロマーケティングによる経済活性化

脳活動計測による消費者の嗜好性判断による

商品開発

コミュニティの拡大と質の向上

ユビキタスインタフェースの提供

あらゆるコミュニケーション弱者にとっての新しい通信インタフェース

の提供

BNIロボットとの共同作業によるゆとりの社会へ

共働き家族における高齢者のケア教育

コミュニケーション手段の多様化

脳音声発生装置による情報伝達

注意障害者の情報取り込み支援

安心で安全な高齢化社会へ

高齢者の情報通信支援在宅医療ネットワーク

以心伝心心を伝える高品質コミュニケーション心を開放する人間本来のコミュニケーション

への回帰

欲しいときに欲しい情報個人の嗜好を読み取り的確にコンテンツを推薦

デジタルデバイドの解消

コミュニケーションの質の向上

ショッピングサポート

ナビゲーション

外骨格による介護、救援

脳機能モニタによるリハビリ

高齢者サポート

Locked in患者の意思表示

情報家電

ゲーム

脳アンケート

注意障害者のサポート

意図の解読と制御

注意のﾘｱﾙﾀｲﾑﾓﾆﾀｰ

感情の解読と評価

脳へのﾌｨｰﾄﾞﾊﾞｯｸ

脳ﾓﾃﾞﾙの構築

知覚の再構成

コミュニケーションの質の向上

デジタルデバイドの解消

コンテンツ評価

脳タイプライター

運転支援システム

簡単インターフェース

脳－脳通信

誰でも使える自分に最適心が伝わる

“脳を使う”の応用

1.計測装置

2.リハビリテーション　　関連の製品

3.エンターテイメント　　映像関連の製品

4.ロボット製品

5.その他の可能性

医療用・脳研究用の脳活動計測装置安価な携帯型脳活動計測装置

脳機能モニター装置→医療機関での脳活動モニターによる回復の診断訓練システム→遠隔脳モニターによる在宅リハビリおよび機能支援

映像操作アプリケーション→ビデオゲーム→アーケードゲーム→スポーツトレーニング

大型ロボット操作におけるブレインマシンインタフェース→災害救助・介護ロボットなどへの応用小型ロボット・情報通信端末の高次レベル操作→ペットロボット→通信端末（ロボット）／PC／情報家電

文字入力装置、外骨格・パワースーツ脳活動パターン・スクリーニングシステム機能的電気刺激(FES)による全身運動再建

• 運動関連脳信号による外骨格・パワースーツの操作• 障害者・高齢者のための運動補助、運動再建• 肉体労働の作業補助　

外骨格BNI制御

経済産業省、厚生労働省も関連

ブレインネットワークインタフェースによる中・大型ロボット操作

• 歩行制御

- 空間情報処理に関連する脳の部位から進行方向を取り出す- 操作者が注意を向けている方向に進む・回避する

•　手や腕の制御

- 手や腕の制御に関連する脳の部位から制御信号を抽出

• 人とのコミュニケーション- 相手の意図を予知・先読みして行動を起こす

→多様な形の対象物を効率的に把持する・持ち上げる

→操作者の空間認知と直結した移動方法

→家庭用ロボットに人らしさ，アトラクション用ロボットに面白みを与える

ヒューマノイドロボットのような複雑な多自由度システムを容易に操作するインタフェースの開発

BNI多自由度ロボット

経済産業省も関連

神経活動によってロボットを制御することを通じて階層的な脳の感覚運動制御を理解する

Prefrontal decoding

Parietal decoding

CBL decoding

M1 decoding

Decision

Intention

Internal model

Muscle activity

ROBOTHuman

SARCOS, ATR, CMU, NiCT

階層的な脳の感覚運動制御の理解をBNIへ応用する

Real-timedecoder

Real-timedecoder

Real-timeEncoder

Real-timeEncoder

VisualVisualVisual

AuditoryAuditoryAuditory

ProperceptiveProperceptiveProperceptive Multi-level autonomous control

Sensory feedback

ブレイン・ネットワーク・インタフェース、脳計算モデルとヒューマノイドによる情報通信

●ブレイン・ネットワーク・インタフェース ●脳のモデル

●見まね制御

●脳のモデル●見まね制御

●時間遅れ

●ブレイン・ネットワーク・インタフェース

次世代ネットワークに期待すること

• Multi-levels Content dependent protocols 　コンテンツの質によりネットワークに求める要求は異なるはず。　 BNIでは脳と接続する機器の種類や運動により、信頼性や速度を柔 軟に設定できるプロトコルを必要とする。

• Integrative network modules　 ネットワークは巨大化と複雑化に向かい、ネットワークの維持管理が困難となっている。ネットワークのモジュール化と、モジュール間のインターフェースの標準化推進により、モジュールの接続性の保証と、柔軟かつ多彩な機能拡張への対応を期待する。

• Seamless Connection　 並列する多数の国家プロジェクト（e.g. GENI, FP7）によって構築する ネットワーク環境の相互接続と連携によるシナジー効果を期待。