THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE. fnirs Kai Kunze 599 8531 1 1 223 8526 4 1 1 E-mail: yoshimura@m.cs.osakafu-u.ac.jp, kai@kmd.keio.ac.jp, kise@cs.osakafu-u.ac.jp fnirs fnirs 4 5 3 80 % 0.25 fnirs 1. [1],. [2] 1) 2) 2 1
(fnirs: Functional Near-Infrared Spectroscopy) [3] fnirs (oxyhb) 2. 2. 1 Bulling [4] Kunze [5] [6] 2. 2 [7] [8] 1 3. 1 fnirs 3. 1 fnirs fnirs fnirs 1 fnirs 2 fnirs 3 4 ( ) 2
図 2 酸素化ヘモグロビンの濃度変化の様子 図 4 fnirs から得られるデータとその分析の概要 ることで 血流量の上昇が見られたものだけを特定することが できる よって分散値 平均値を求めることで 脳の活性が激 しい脳の部位を特定しその座標を特徴量とする 以下に具体的 な手順を説明する まず 分散値が大きく 平均値が正である チャンネルを求めるために 文書を読んでいる間の酸素化ヘモ グロビンの濃度変化に対し チャンネルごとに分散値と平均を 図 3 装着の様子 求める そして チャンネルごとの平均値が正であり かつ 1 番目と 2 番目に分散値の大きいチャンネルを特徴として利用す モグロビンの濃度変化の分析機能としてマッピング解析の機能 る 次に 得られたチャンネルの位置を 2 次元の座標で表す が島津製作所によって提供されている これは 得られた計測 座標は図 4 のように設定する この座標軸を用いると 図 4 の 結果を基に作成され 脳の活性状態を視覚的に捉えることがで マッピング図中のオレンジのチャンネル 59 は座標 (18,1) とな きるものである マッピング図はチャンネル位置に対応してお る このような座標軸を用いて 1 番目に分散の大きなチャン り これを利用することで 脳活性の時間変化を容易に観察す ネルの x 座標 (特徴量 1) と y 座標 (特徴量 2) 2 番目に分散の ることができる また 時間軸に沿って積算し タスクごとの 大きなチャンネルの x 座標 (特徴量 3) を求め特徴量とする 以 マッピング図を作成することもでき 各タスク間の比較も可能 上の手順で 3 次元の特徴ベクトルを得る となっている 3. 2 特 徴 抽 出 この節では 理解度推定のための特徴抽出について説明する 3. 3 理解度推定 得られた特徴ベクトルに対し 機械学習を用いることで理解 度を推定する 機械学習には SVM(Support Vector Machine) fnirs で得られる酸素化ヘモグロビンの濃度変化は個人差が大 と SVR(Support Vector Regression) を用いる カーネルは線 きく 一様に他者と比較することができない そこで どのく 形カーネルを使用する らい活性が得られたのか ではなく どこに活性が見られた 次に 理解度の定義について説明する 本研究で着目する理 のか に注目する 文書を理解するときに 脳のどの部位が活 解度とは文書に対する理解度であり 文書の内容をどのくらい 性化するかということはわかってはいない 本手法では 理解 理解したか ということである しかし 理解度には絶対的な 度の違いは活性部位の違いに表れる という仮定のもと 特徴 指標はなく 定義することが難しい そこで 本研究では文書 を抽出する を読んだ後に文書に対するテストをし その正答数により理解 脳が活性化するということは 脳内の血流量の変化が大きい ということである そこで 酸素化ヘモグロビンの濃度変化の 度を定義する 4. 実 験 分散を調べることで 活性化している部位を特定する 更に 酸素化ヘモグロビンの濃度変化の平均が正のものだけに限定す 本章では 理解度推定の性能評価ための実験について述べる 3
1 -SVM 5 1 2 3 4 5 A 2 2 3 3 2 2 2 3 3 2 0.0 0.0 0.0 0.0 0.0 0.0 B 1 1 2 1 2 3 2 2 1 1 2.0 1.0 0.0 0.0 1.0 0.8 C 1 2 3 2 1 1 2 3 2 1 0.0 0.0 0.0 0.0 0.0 0.0 D 2 2 1 1 3 2 2 1 1 1 0.0 0.0 0.0 0.0 2.0 0.4 0.5 0.25 0 0 0.75 0.3 6 4 Leave one out 4. 1 5 fnirs LABNIRS [9] SMI iviewxtm RED [10] 6 1 5 TOEIC PART7 1 4 4 3 4 0 4 0 2 1 3 2 4 3 2 1 NASA-TLX NASA-TLX 2 5 NASA-TLX [11] 6 MENTAL DEMAND( ) PHYSICAL DEMAND( ) TEMPO- RAL DEMAND( ) EFFORT( ) PERFOR- MANCE( ) FRUSTRATION( ) 1 NASA-TLX 4. 2 fnirs ( ) ( ) 4
7 2 -SVR 1 2 3 4 5 A 1.53 2.37 2.76 1.99 1.58 2 2 3 2 2 2 2 3 3 2 0.0 0.0 0.0 1.0 0.0 0.2 B 0.90 1.02 1.78 1.35 1.15 1 1 2 1 1 3 2 2 1 1 2.0 1.0 0.0 0.0 0.0 0.6 C 1.43 1.55 3.27 2.0 0.97 1 2 3 2 1 1 2 3 2 1 0.0 0.0 0.0 0.0 0.0 0.0 D 2.27 2.40 1.25 1.23 1.54 2 2 1 1 2 2 2 1 1 1 0.0 0.0 0.0 0.0 1.0 0.2 0.5 0.25 0 0.25 0.25 0.25 fnirs t t ( 5 %) 1 2 1 SVM 80 % 0.3 0.0 0.8 2 SVR SVR SVR 80 % 0.25 B B 2 4 5 2 2 4 5 1 B 7 B 1 D 5 8 B 1 D 5 2 3 B D NASA-TLX 8 2 5
3 B D NASA-TLX B 1 2 3 4 5 45 60 55 70 35 53 40 70 55 60 40 53 1 2 3 4 2 2.4 D 1 2 3 4 5 20 50 45 60 15 38 15 50 50 25 20 32 2 4 2 5 2 3 : 0-... 100- : 0-... 100- : 1-... 5-8 B D 2 2 45 % 0.55 fnirs [2] K. Kunze PRMU2012-224 495 March 2013 [3] http://www.med.shimadzu.co.jp/products/om/ 2011 [4] A. Bulling, J.A. Ward, H. Gellersen, and G. Troster, Eye movement analysis for activity recognition using electrooculography, Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol.33, no.4, pp.741 753, 2011. [5] K. Kunze, H. Kawaichi, K. Yoshimura, and K. Kise, The wordometer estimating the number of words read using document image retrieval and mobile eye tracking, Document Analysis and Recognition (ICDAR), 2013 12th International Conference onieee, pp.25 29 2013. [6] P.T. Terenzini, L. Springer, E.T. Pascarella, and A. Nora, Influences affecting the development of students critical thinking skills, Research in higher education, vol.36, no.1, pp.23 39, 1995. [7], 2011 [8] : 2006 [9] http://www.an.shimadzu.co.jp/bio/nirs/nirs.htm 2011 [10] http://www.smivision.com/ 2013 [11] S.G. Hart and L.E. Staveland, Development of nasa-tlx (task load index): Results of empirical and theoretical research, Advances in psychology, vol.52, pp.139 183, 1988. 5. fnirs fnirs, fnirs JST CREST (A)(25240028) [1] K. Kunze PRMU2012-223 495 March 2013 6