目次項目携帯型 BMI 領域の全体概要 ( 統括技術責任者 ATR 川人光男所長 ) ページ P3~P12 機械学習脳情報推定グループの取り組み ( グループ責任者 ATR 今水寛所長 ) P13~P24 時空間脳情報解析グループの取り組み ( グループ責任者 ATR 須山敬之室長 ) P25~

Size: px

Start display at page:

Download "目次項目携帯型 BMI 領域の全体概要 ( 統括技術責任者 ATR 川人光男所長 ) ページ P3~P12 機械学習脳情報推定グループの取り組み ( グループ責任者 ATR 今水寛所長 ) P13~P24 時空間脳情報解析グループの取り組み ( グループ責任者 ATR 須山敬之室長 ) P25~"

このかかわらい
5 years ago
Views:

1 2015 年 2 月 4 日キックオフシンポジウム資料脳情報の可視化と制御による活力溢れる生活の実現 ~ 携帯型 BMI 領域 ~ 内閣府革新的研究開発推進プログラム (ImPACT) プログラムマネージャー山川義徳 1

2 目次項目携帯型 BMI 領域の全体概要 ( 統括技術責任者 ATR 川人光男所長 ) ページ P3~P12 機械学習脳情報推定グループの取り組み ( グループ責任者 ATR 今水寛所長 ) P13~P24 時空間脳情報解析グループの取り組み ( グループ責任者 ATR 須山敬之室長 ) P25~P37 高密度脳情報計測グループの取り組み ( グループ責任者 ATR 山下宙人室長 ) P38~P50 2

3 ImPACT キックオフシンポジウム 2015/2/4 脳情報の可視化と制御による活力溢れる生活の実現携帯型 BMI ATR 脳情報通信総合研究所川人光男 3

4 BMI の社会的インパクト BMI オリンピックメンタルトレーニングをシンボルとして様々な BMI 製品サービスを実現し社会の問題を解決する BMI * オリンヒックメンタルトレーニンク *Brain Machine Interface ( 脳情報の可視化と制御を可能とするコア技術 ) プレッシャーに負けそうな脳活動最高のパフォーマンスができる脳活動認知機能の低下を未然に予防顔は出てくるのに名前が山田さんこんにちはストレスを抱えるビジネスマンのセルフコントロールすっきりとした頭にすることで受験生の勉強をサポート 4

BMI 神経リハビリテーションによる随意筋活動の誘導 ( 慶應義塾大学 ) 頭皮脳波運動関連脳波の検出

健常パターンに類似した脳波変化が認められた場合にのみ電動装具が駆動し麻痺手の伸展動作が他動的に介助される検出状態のフィードバック

週間 ( 計 20 日間 ) 入院患者に対する週 5 日 (2 週間 ) の集中トレーニングも実施電動装具による介助 Shindo K,

5 BMI 神経リハビリテーションによる随意筋活動の誘導 ( 慶應義塾大学 ) 頭皮脳波運動関連脳波の検出皮質下が障害された脳卒中片麻痺患者さんを対象 BMI がユーザーの運動関連脳波をモニタリング健常パターンに類似した脳波変化が認められた場合にのみ電動装具が駆動し麻痺手の伸展動作が他動的に介助される検出状態のフィードバックトレーニングプロトコル画面の指示にしたがい 5 秒ごとに運動企図安静を反復 1 日回週 1 2 日を 4 7 週間 ( 計 20 日間 ) 入院患者に対する週 5 日 (2 週間 ) の集中トレーニングも実施電動装具による介助 Shindo K, Kawashima K, Ushiba J, Ota N, Ito M. Ota T, Kimura A, Liu M: Journal of Rehabilitation Medicine, 5 43, (2011)

Perceptual learning incepted by decoded 6 fmri

6 デコーディッドニューロフィードバック法 : 機械学習と強化学習法を組み合わせて脳内に特定の情報パターンを生成する視覚課題成績知覚学習視覚意識 ( トップダウン信号 ) なし視覚刺激なし因果関係訓練前訓練後低次視覚皮質における特定活動パターンの繰り返し Shibata K, Watanabe T, Sasaki Y, Kawato M: Perceptual learning incepted by decoded 6 fmri neurofeedback without stimulus presentation. Science, (2011)

140 個領域間の相関行列を算出 9,730 個の結合から 22 個が自動的に選択される 140 ATR 健常群 114 人 140 昭和大

7 精神疾患の信頼性の高いバイオマーカ安静時脳機能結合パターンから診断 ATR 昭和大東大の 3 施設で疾患 ( 自閉症 ) 群および健常対照群 rs-fcmri 約 200 人のデータを収集標準的前処理の施された各被験者の時系列データから解剖学的に決めた計 140 個領域間の相関行列を算出 9,730 個の結合から 22 個が自動的に選択される 140 ATR 健常群 114 人 140 昭和大患者群 74 人各関心領域における平均波形の抽出 140 領域間の相関行列を算出東大 200 人弱のデータ 7 ( 被験者ごとに ) 9,730 個の結合

8 精神疾患バイオマーカーとデコーディッドニューロフィードバックを組み合わせて革新的な治療法を開発 fmri データにリアルタイムで精神疾患バイオマーカーを適用しある時点での脳内ネットワークの疾患ー健常状態を数値化し被験者に呈示して健常パターンを誘起してもらう助けにする 1EPI 撮像 6 フィードバック 08 2 画像再構成 ( リアルタイムで出力 ) 5 得点化 ( 健常者に近いほど高得点 ) 3 平均波形抽出 4 結合強度算出 8

9 非連続なイノベーションのポイント高価で大型装置を用いた医療研究利用か安価で簡易なおもちゃに限られていた従来技術を簡便でありながらも脳深部の可視化と制御を可能にする携帯型 BMI デバイスへ革新させる脳情報量 MRI 装置 NIRS/EEG 装置携帯型 BMI デバイス数億円数トン脳深部まで携帯型脳波数千 ~ 数百万円百 ~ 数キロ脳表面のみ簡便さ数万円数百グラム一点計測 9

10 1 機械学習脳情報推定 : 認知能力機械学習推定で個人の認知運動機能を左右する脳活動パターンや脳領域間の結合性を特定 fmriなど大型装置を使ったニューロフィードバックで脳活動パターンや結合性を誘導高齢者の認知運動機能を回復維持する原理を検証脳波光トポなど携帯型 BMIに拡張社会実証を目指す現在の活動パターン DecNef 目標の活動パターン fmri など大規模装置で原理検証現在の領域間結合目標の領域間結合結合ニューロフィードバック原理を応用脳波光トポなど携帯 BMI 装置で社会実証脳活動解読誘導フィードバック 10 学習

日常生活時の情動モードのモニタリング利用者へのフィードバック観測信号を空間パターン時系列に変換携帯型脳計測装置 ( 島津製作所

11 2 時空間脳情報解析 : 情動日常生活時の脳活動環境センサデータの同時計測が可能に BMI ハウス ( 総務省委託研究 ) EEG-NIRS の空間パターンの時系列モデルにより自然な状態での脳活動のモード抽出推定ストレスレベル共感度に相関する脳活動モードの発見日常生活時の情動モードのモニタリング利用者へのフィードバック観測信号を空間パターン時系列に変換携帯型脳計測装置 ( 島津製作所慶應義塾大 ) ストレス推測に基づく車椅子安心制御 ( 総務省委託研究 ) 基底パターンモード推定時間基底パターンを用いた成分表現共感平常ストレス 11 時間

12 3 高密度脳情報計測 : 創造力 NIRS で脳活動を精確に計測可能に高密度 NIRS fmri NIRS で脳結合を精確に計測し脳状態の推定へレスティング脳結合計測改良アルゴリズム改良 T.Shimokawa et al. Optic Express, 2012 T.Shimokawa et al. Biomedical Optic Express, 2013 O.Yamashita et al. JACIII in press 脳状態変化 12

13 機械学習推定を用いた認知機能の低下の防止と回復今水寛国際電気通信基礎技術研究所 (ATR) 13

いつまでも働ける脳を目指して脳ビッグ脳アンチエイジング BMI 機械学習脳情報推定 ATR 今水ステージ Ⅰ 多面的な脳機能計測 MRI を用いた高齢者の作業記憶定量化脳ロボ運動対話活性化ロボット NICT 山本ステージ Ⅱ 実フィールドでのアプリ実証解析報告運動イメージ判別対話理解度の推定脳ドック

14 いつまでも働ける脳を目指して脳ビッグ脳アンチエイジング BMI 機械学習脳情報推定 ATR 今水ステージ Ⅰ 多面的な脳機能計測 MRI を用いた高齢者の作業記憶定量化脳ロボ運動対話活性化ロボット NICT 山本ステージ Ⅱ 実フィールドでのアプリ実証解析報告運動イメージ判別対話理解度の推定脳ドックニューロフィードバックによる作業記憶の改善現状ステージ Ⅲ 外骨格ロボットによる運動改善テレノイドによる対話改善実フィールドでのハード実証高磁場 fmri 脳ドック低磁場 fmri 簡易計測によるニューロフィードバック望ましい状態 NIRS 推定 fmri 運動対話脳活性化検証実験健康サービスいつまでも働ける脳 14

15 背景医療の進歩身体機能の維持認知機能の維持社会で働ける脳を維持する高齢化社会で労働人口を確保する健康サービスいつまでも働ける脳脳の機能労働年齢年齢脳トレ? 効果の個人差が大きい個人の特性や, 低下の原因に合わせたトレーニングを選ぶことが困難 15

(2015) Predicting learning plateau of working memory from

16 基盤技術 (1) 認知機能を特徴づける脳活動や結合パターン作業記憶の上限をトレーニング前から予測機械学習推定 Yamashita M, Kawato M, Imamizu H. (2015) Predicting learning plateau of working memory from whole-brain intrinsic network connectivity patterns. Scientific Report 5:

17 作業記憶 ( ワーキングメモリー ) 必要な情報を一時的に保存し, 操作する能力電話をかけるまで番号を覚えておく暗算話し言葉の理解 3 つ前に現れた文字と同じならボタンを押す 17

18 予測精度決定係数 =0.73 予測した上限と実際にトレーニングしたときの上限がほぼ等しいひとつの丸がひとりの参加者に対応 18

19 予測に重要な繋がり 19

20 認知機能の回復と低下防止作業記憶は加齢で顕著に低下低下の原因となっている脳の繋がりを特定ニューロフィードバックで, 通常に近づける低下通常ニューロフィードバック 20

21 基盤技術 (2) ニューロフィードバックとはバイオフィードバック生理指標 ( 心拍, 発汗など ) を, 光や音などの感覚刺激に変換, ヒトが知覚できるようにしてフィードバックニューロフィードバック脳活動 ( 脳波,fMRI, 脳磁図など ) を感覚刺激に変換してフィードバック 21

22 ATR のニューロフィードバック技術デコーディッドニューロフィードバック Shibata K, Watanabe T, Sasaki Y, Kawato M. (2011) Perceptual learning incepted by decoded fmri neurofeedback without stimulus presentation. Science. 334(6061):

23 結合ニューロフィードバック脳領域間の結合性を変化 2 箇所の活動の時間相関を数値でフィードバック時間相関を増加させるトレーニング score 20 Task positive Network Default mode Network 脳活動の相関高低ニューロフィードバックトレーニング Task positive Network Default mode Network Megumi F, Yamashita A, Kawato M and Imamizu H (in revision) Functional MRI neurofeedback training on connectivity 23 between two regions induces long-lasting changes in intrinsic functional network, Frontiers in Human Neuroscience

24 機械学習推定を用いた認知機能の低下の防止と回復携帯型 BMI による作業記憶低下防止システムのプロトタイプ開発と社会実装ステージ 1 ステージ 2 ステージ 3 携帯型 BMI への技術移植大型装置におけるニューロフィードバック技術開発個人の作業記憶を左右する脳活動や結合パターンの特定 4 千円以上の支払い意向の達成作業記憶課題 3 つ前に示された文字と同じならボタンを押す脳活動の推定 DecNef 結合 NF 脳機能の推定推定脳機能フィードバック活動パターン機械学習推定技術ニューロフィードバック技術 ATR 今水 ATR 今水所長運動対話活性化ロボットとの連携結合パターン脳アンチエイジングとの連携 24

25 ImPACT 携帯型 BMI 時空間脳情報解析 2015 年 2 月 4 日 ATR 認知機構研究所須山敬之 25

26 暗黙知の学習を目指してステージⅢ 暗黙知の集積とフィールド実証ステージⅡ おもてなしのプロトタイプ検証教育サービス暗黙知の学習支援脳ビッグ脳エデュケーション京大原ステージ Ⅰ BMI 時空間脳情報解析 ATR 須山おもてなしの脳科学研究 BMI による情動の見える化 BMI による共感等の見える化共感力強化ロボット実環境 BMI によるフィールド検証共感力強化環境脳ロボ情動制御ロボティクス ATR 住岡共感力のホルモン検査 26

27 背景 ( 情動 ) ヒトの適応にとって重要な心理生理学的な機能生体にとってよいこと / 悪いことが起きたときに生じ環境に適応するための行動を促進情動の種類によって他者や環境へのアプローチが変化恐怖逃走怒り攻撃退屈気分転換喜び感謝楽しみ継続情動を解読することで環境に対するヒトの行動や態度を予測できればそれに基づく産業や日常場面でのフィードバックが可能など 27

28 環境の変化に対する行動の選択肢は多数情動状態を考慮することで行動の予測精度が向上情動状態を考慮したフィードバック環境制御 ( 空調照明など ) が可能環境環境? 情動行動行動行動行動行動予測の例 : 難しい課題を与えられた時興味がある楽しい課題を積極的にこなす興味がないつまらない課題に対して消極的サボる 28

29 ブレインマシンインターフェイス (BMI) を実験室から一般の生活環境へ実験室での BMI 一般の生活環境での BMI 日常生活中の簡単な動作方向感情を脳情報を読み取ることで機器に伝えいつでもどこでもだれでも利用可能な BMI へこれまでに住宅内の移動支援機器 ( 電動車いすの地点間移動 ) 生活機器 ( 家電 ) の制御情動の提示に成功 29

30 ネットワーク型ブレインマシンインターフェース 1. 携帯型脳活動計測装置小型軽量化取り外しの容易化により日常的継続的な利用を可能に 2. ネットワークエージェント基盤技術利用者の利用形態状況に応じてクラウドアクセスを可能とするネットワークプラットフォーム 3. 実環境実験設備 (BMI ハウス ) 日常生活時の BMI 支援の実証のためセンサアクチュエータを配備した住環境設備を構築 4. 脳情報解析技術データベースに基づき自然な脳活動からの行動意図情動状態の認識を可能に 5. 移動支援機器の安全制御技術環境センサとの連携による安全安心な移動ロボティクス技術人間行動認識のための分散センサクラウド脳情報解読器制御コマンド携帯型脳活動計測装置大規模脳活動データベース脳活動データセンサ情報ラベル情報家電や車イスなどの機器 30

31 BMI ハウス日常生活中の脳活動と環境情報 ( センサ情報 ) を同時に計測家電カーテンなどをコントロール玄関 ( 段差解消機 ) 照明浴室とトイレ電動ドア洗面台寝室 ( 照明, 空調, BGM) キッチン電動サッシ水平トランスファー ( 寝室浴室 ) 31

32 上肢運動時の脳活動に基づく生活支援上肢がある程度動かせる方が対象 NIRS による脳活動計測の解析より 3 種類の行動を識別環境状態をコントロールし充実した生活を支援 TV の操作脳活動信号 (NIRS) 脳情報解読器 ( 行動判別 ) コントロールエアコンの操作読書タグ付き脳活動データベース ( 計 13.2TB) 日常生活時脳活動長時間計測 (26.5 時間 ) 手動タグ付け大規模データベース解析の成果を BMI システムに利用 BMI の利用可能性の拡張 32

33 脳波 (EEG) からの情動状態の検出 EEGからの自然な脳情報の解析により利用者の不快感などの情動状態を検知情動状態を介助者に伝えるなど情動コミュニケーションに基づく生活支援データベース化により利用可能性の拡張を継続実施中脳波計 (EEG) 脳活動信号 (EEG) 脳情報解読器 ( 不快感 ) モニタリング可視化 UI( ランプ色数値 ) 機器管理エージェントクラウド処理エージェント情動伝達エージェントリビングエアコン寝室別宅テレビカーテン脳活動計測器情動状態を文字などで伝達同居家族情動状態に応じて色を変える照明車いす BMI による自律制御別居家族 33

34 FC4 FC2 FCz Cz C2 C4 C6 T8 TP 情動状態解読概要 : 実環境で取得した携帯型脳計測装置 (EEG) のデータからユーザーの不快感を解読し, 視聴覚情報でオンラインで他者に知らせるインターフェースを開発 EEG 特徴量計算解読 1000 携帯型脳計測装置ランプの色不快テレビ画面 + 警告音 Pi! リラックス 34

35 コア感情覚醒不安興奮恐怖喜び不快苛立ち悲しみ楽しみ満足快憂鬱退屈安静リラックス鎮静コア感情は, 覚醒 - 鎮静と不快 - 快の二つの次元から構成される Russell (1980) コア感情は脳の神経ネットワークで表現されている Lindquist et al. (2012); Wyczesany & Ligeza (2014) 35

36 感情の生起過程コア感情苛立ち環境からの入力快 - 不快覚醒 - 鎮静不安視覚聴覚体性感覚記憶脳身体文脈との統合評価意味づけ楽しみ喜び満足環境への働きかけ 36

37 時空間脳情報解析 G の研究開発全体イメージ実空間での脳情報解析によるフィードバック環境制御を通じた新たな人材育成サービス支援の実現ステージ 1 ステージ 2 ステージ 3 産学連携のサービス展開公募を通じた産学連携共同研究による社会実装トライアル 1 名の情動 ( ストレス等 ) の見える化とフィードバック BMI から定量化された情動をフィードバック社会実装トライアル複数名の情動 ( 共感等 ) の見える化とフィードバック時空間脳情報解析技術と簡易実空間フィードバック技術の研究開発 ATR 須山 BMI から定量化された共感に基づき空間を制御 BMI ハウス 37

38 ImPACT 脳情報の可視化と制御による活力溢れる生活の実現キックオフシンポジウム高密度光脳計測によるひらめき脳状態の可視化 38

39 脳機能の拡張を目指してステージ Ⅲ 脳ビッグ脳サーチエンジン ATR 神谷ステージ Ⅰ 心的情報の脳 DB BMI 高密度脳情報計測 ATR 山下脳ロボアンドロイドニューロフィードバック ATR 西尾ステージ Ⅱ ニューロマーケティング事業化脳状態 NIRS 計測原理 fmri アンドロイドによる脳活動制御脳状態の簡易計測高密度 NIRS 言葉にできないイメージの共有 BMI による身体機能拡張ひらめきアプリのプロトタイピングマルチタスク能力の拡張情報サービス脳機能の拡張 39

40 研究開発概要高密度光脳計測によるひらめき脳状態の可視化課題 2: 高密度 NIRS による精確な脳結合計測法課題 1: 脳状態推定法の開発洞察的状態注意散漫状態 40

41 課題 2: 高密度 NIRS による精確な脳結合計測法課題 1: 脳状態推定法の開発洞察的状態注意散漫状態 41

42 洞察的問題解決 (insight problem solving) 筆先を上げないで全てのドットを通るように 4 本の直線を引いてください 42

43 洞察的問題解決 (insight problem solving) 3 4 行き詰まる問題の見方を変える 1 2 突然答えがわかるなぜ答えがわかったか説明できないアハ体験を伴う筆先を上げないで全てのドットを通るように 4 本の直線を引いてください 43

44 課題内容 : 洞察的問題解決の方法を応用した脳状態のラベル付ー network A ー network B 洞察的状態注意散漫状態 44

45 研究課題 2 高密度 NIRS による精確な脳結合計測法の開発課題 2: 高密度 NIRS による精確な脳結合計測法課題 1: 脳状態推定法の開発ー network A ー network B 洞察的状態注意散漫状態 45

46 拡散光トモグラフィ法 = 高密度光脳計測による 3 次元画像再成近赤外分光計測 (NIRS) トポグラフィ拡散光トモグラフィ 1. 高密度計測 Shimadzu corp. 2. 光伝搬シミュレーション 3. 画像再構成空間分解能向上脳解剖上の活動定位頭皮血流に頑健定量性向上 46

47 課題内容 : 拡散光トモグラフィ法による精確な脳結合の計測 2010 年 ~ 現在研究成果 NIRS で脳活動を精確に計測可能に高密度 NIRS fmri 課題 NIRS で脳結合を精確に計測可能計測方法の確立 - 複数領野の計測アルゴリズムの改良 - 連続データの画像再構成 Shimokawa et al. Optic express, 2012 Shimokawa et al. Biomedical optic express, 2013 Yamashita et al. JACIII,

48 サービスイメージいまはクリエイティブな仕事に良い脳状態です 48

ひらめき度や注意散漫度などの脳状態推定 : 応用可能性検証脳波 /NIRS fmri

49 研究計画マイルストーン光脳計測による高精度ひらめき脳状態モニタリング技術を利用した新サービスのプロトタイプ提案ステージ 3 アプリケーション提案高密度 NIRS ステージ 1 ステージ 2 ひらめき度や注意散漫度などの脳状態推定 : 応用可能性検証脳波 /NIRS fmri ひらめき度や注意散漫度などの脳状態推定原理検証課題 1: 脳状態推定法の開発計測方法確立解析方法確立アルゴリズム改良課題 2: 高密度 NIRS による精確な脳結合計測法 49

50 ATR 脳情報解析研究所の近赤外分光計測 (NIRS) 研究実績 2006 年 ~ NIRS を使ったブレインマシンインタフェース (BMI) 研究 2009 年 Honda-ATR- 島津製作所 EEG-NIRS を計測による BMI ロボット制御機械学習法オンライン解析技術 2010 年 ~ 高密度 NIRS を使ったトモグラフィ画像再構成計測シミュレーション技術右指運動課題時の脳活動 50

「複数モダリティー統合による脳活動計測技術の研究開発」

「複数モダリティー統合による脳活動計測技術の研究開発」脳活動可視化技術の最先端 ~ 複数の脳計測データ統合による解決 ~ ( 株 ) 国際電気通信基礎技術研究所脳情報解析研究所佐藤雅昭 1 目次研究背景脳活動計測とブレインマシンインタフェース非侵襲脳活動計測の現状委託研究プロジェクトの概要複数の脳計測データ統合による脳活動推定とその応用階層変分ベイズ推定 VBMEG 脳活動から指先の動きを再構成リアルタイム MEG システムフライトシミュレーターによる複雑な認知運動課題