公 益 財 団 法 人 中 山 人 間 科 学 振 興 財 団 活 動 報 告 書 2015( 平 成 27) 年 度 研 究 助 成 社 会 脳 のヒューマンサイエンス 視 聴 覚 からの 情 動 伝 染 を 実 現 する 時 系 列 神 経 基 盤 の 解 明 森 数 馬 慶 応 義 塾 大 学 先 導 研 究 センター
1. はじめに 他 者 が 悲 しんで 泣 いている 様 子 を 見 ると,こちらも 悲 しい 気 持 ちになることがある 反 対 に, 歓 喜 に 震 えている 他 者 を 見 ることで, 一 抹 の 興 奮 を 覚 えることがある こうした, 他 者 の 情 動 状 態 を 観 察 することで, 自 己 の 情 動 状 態 が 他 者 の 状 態 に 近 づく 現 象 は 情 動 伝 染 (emotional contagion)と 呼 ばれる(Hatfield et al., 1994) 情 動 伝 染 に 関 する 研 究 は, 主 に 表 情 刺 激 を 使 って 行 われてきた それらの 研 究 では, 喜 び 顔 の 刺 激 を 提 示 したときに 表 情 筋 の 頬 骨 筋 の 活 動 が 活 発 になり, 悲 しみ 顔 の 刺 激 を 提 示 し たときに 皺 眉 筋 の 活 動 が 活 発 になることが 示 されている(Sato et al., 2008) このとき, 他 者 の 感 情 状 態 についての 主 観 評 価 も 行 って, 主 観 と 対 応 する 表 情 筋 の 活 動 が 認 められれば, 他 者 と 同 様 の 感 情 が 経 験 されたものとみなすのである このような 検 討 方 法 は, 他 者 の 示 す 情 動 を 模 倣 したことを 末 梢 神 経 活 動 の 一 つである 表 情 筋 によって 調 べている 中 枢 神 経 であ る 脳 活 動 においても 情 動 伝 染 を 示 す 反 応 が 認 められると 推 察 されるが,そのような 検 討 は あまり 行 われて 来 なかった 表 情 筋 では 笑 顔 の 時 に 頬 骨 筋 が 動 くことを 利 用 して, 他 者 の 表 情 と 観 察 者 の 表 情 が 同 様 であったかを 調 べることができるが, 脳 では 他 者 が 笑 顔 を 示 して いる 時 の 脳 活 動 と 観 察 者 が 笑 顔 を 見 た 時 の 脳 活 動 が 似 ていたか 否 かを 確 かめるのが 難 しい 恐 らくこのような 理 由 から, 脳 活 動 による 情 動 伝 染 の 研 究 はあまり 行 われて 来 なかったも のと 考 えられる しかし, 動 画 刺 激 と 脳 波 を 使 った 研 究 を 行 うことで, 脳 活 動 における 情 動 伝 染 を 検 討 でき ると 考 えられる 動 画 刺 激 の 表 情 について 顔 の 動 きを 計 測 し,その 動 きに 応 じた 脳 活 動 が 時 系 列 で 認 められれば, 表 情 を 模 倣 した 脳 活 動,すなわち 神 経 活 動 における 情 動 伝 染 が 認 めら れたと 言 えるのではないだろうか このような 情 動 伝 染 の 神 経 活 動 について 検 討 するには, fmri( 機 能 的 核 磁 気 共 鳴 ) 装 置 を 使 った 秒 単 位 の 脳 血 流 量 測 定 よりも 細 かい 時 間 単 位 で 脳 活 動 を 測 定 することができる 脳 波 が 向 いていると 考 えられる 動 画 における 表 情 の 動 きに ついては, 情 報 学 の 手 法 である Facial Landmark が 適 用 できる(Zhang et al., 2014) この 手 法 を 使 用 すれば, 機 械 学 習 を 応 用 した 解 析 により, 画 像 における 顔 の 位 置 座 標 を 正 確 に 取 得 することができる 加 えて, 先 に 述 べたように 情 動 伝 染 の 研 究 の 多 くは 表 情 刺 激 によって 行 われてきたが, 人 が 日 常 的 にコミュニケーションを 行 う 対 人 場 面 では 表 情 に 加 えて 音 声 も 使 用 している 音 声 は, 特 定 のイントネーションや 音 の 高 さの 変 化 によって 様 々な 情 動 を 伝 える(Banse & Scherer, 1996) 情 動 伝 染 が 生 じる 際 には, 音 声 も 重 要 な 役 割 を 果 たしている のではないだろうか 音 声 を 使 用 した 情 動 伝 染 の 研 究 があまり 行 われて 来 なかった 要 因 の 一 つとしては, 脳 活 動 の 場 合 と 同 様 にして, 表 情 とは 異 なり 他 者 と 観 察 者 で 対 応 した 音 声 に ついての 活 動 を 計 測 するのが 困 難 であることが 挙 げられるだろう この 点 を 解 決 するには, 音 声 に 関 する 音 響 解 析 を 行 って 脳 波 との 時 系 列 の 関 係 性 を 見 出 す 必 要 がある これにより, 音 声 を 模 倣 した 脳 活 動 が 認 められるか 否 かを 基 準 にして 情 動 伝 染 を 示 すことができると 言 える 対 人 コミュニケーションは 表 情 と 音 声 の 組 み 合 わせにより 行 われるものの,それぞれは
単 独 でも 情 動 を 示 すことが 出 来 る 日 常 生 活 では, 表 情 が 喜 びを 示 していれば 音 声 も 喜 びを 示 しているというように, 表 情 と 音 声 の 示 す 情 動 が 一 致 していることが 多 いと 考 えられる 表 情 と 音 声 が 一 致 しているときには,それらが 不 一 致 であるときに 生 じる 情 動 ストループ 効 果 が 認 められず(Liu et al., 2015)よりも 一 貫 した 情 動 判 断 が 得 られると 考 えられることか ら, 情 動 伝 染 についても 表 情 と 音 声 が 一 致 している 場 合 により 生 じやすいものと 予 測 され る 以 上 から, 本 研 究 では, 実 験 刺 激 として 呈 示 する 表 情 と 音 声 の 物 理 特 徴 に 対 応 する 観 察 者 の 脳 波 を 時 系 列 で 計 測 することにより, 脳 における 情 動 伝 染 の 指 標 とする 表 情 と 音 声 の 示 す 情 動 が 一 致 する 場 合 に, 脳 における 情 動 伝 染 がより 強 く 認 められるという 予 測 のもとで 心 理 生 理 実 験 による 検 討 を 行 う 2. 方 法 実 験 参 加 者 関 東 圏 の 大 学 で 募 集 した 11 名 が 実 験 に 参 加 した 男 性 6 名, 女 性 5 名, 平 均 年 齢 22.45 歳 ( 標 準 偏 差 6.99)であった 刺 激 Takagi et al. (2015)の 実 験 で 使 用 された 動 画 刺 激 から 選 出 した この 刺 激 は, 基 本 情 動 理 論 (Ekman et al., 1983)に 基 づいた 作 成 が 行 われており, 喜 び, 悲 しみ, 怒 り, 恐 怖, 嫌 悪, 驚 きの6つの 情 動 を 示 した 表 情 と 音 声 から 成 り, 持 続 時 間 が 1 秒 から 3 秒 の 範 囲 であった 本 研 究 では, 表 情 と 音 声 の 情 動 一 致 不 一 致 の 条 件 を 作 成 するため,Takagi et al. (2015)が 行 った 実 験 に 基 づいて 表 情 と 音 声 を 組 み 合 わせた 刺 激 を 選 出 した この 実 験 は 大 学 生 99 名 を 対 象 に 表 情, 音 声 のそれぞれについて, 先 に 示 した 6 つの 情 動 のうちどの 情 動 を 示 して いるかを 回 答 させるというものであった この 実 験 において, 喜 びと 驚 きは 表 情 と 音 声 が 一 致 したとき,すなわち, 喜 び 表 情 と 喜 び 音 声 あるいは 驚 き 表 情 と 驚 き 音 声 を 組 み 合 わせた 動 画 刺 激 を 呈 示 した 場 合 に 正 答 率 が 高 かった 一 方 で, 喜 び 表 情 と 驚 き 音 声 あるいは 驚 き 表 情 と 喜 び 音 声 を 組 み 合 わせた 動 画 刺 激 を 呈 示 した 場 合 に 正 答 率 が 低 かった 他 の 情 動 の 組 み 合 わせと 比 べて, 情 動 の 一 致 不 一 致 の 違 いが 明 確 であったため, 本 研 究 では 喜 びと 驚 きの 情 動 をターゲットとして 検 討 を 行 った 本 実 験 で 用 いた 動 画 刺 激 は, 表 情 と 音 声 の 示 す 情 動 の 組 み 合 わせが 異 なる 4 種 類 であり, それぞれについて 8 個 であった 動 画 の 内 容 は, そうなんですか, どうなってるの と いうどのような 情 動 も 込 めることのできる 2 つの 中 立 的 な 語 について, 演 技 経 験 の 豊 富 な 演 者 が 発 話 するというものであった 演 者 が 発 話 する 際 には, 喜 びもしくは 驚 きの 情 動 を 表 情 と 音 声 に 込 めて 発 話 を 行 ってもらった 演 者 は 男 性 2 名 と 女 性 2 名 であり, 複 数 回 の 発 話 を 行 った その 中 から, 喜 びや 驚 きが 明 瞭 に 示 されていた 表 情 および 音 声 を 用 いて 作 成 され た, 喜 び 表 情 - 喜 び 音 声, 喜 び 表 情 - 驚 き 音 声, 驚 き 表 情 - 喜 び 音 声, 驚 き 表 情 - 驚 き 音 声 の 組 み 合 わされた 合 計 32 種 類 の 刺 激 を 実 験 に 用 いた
脳 波 測 定 国 際 10-20 法 に 則 って 個 人 ごとに 19 部 位 (Fp1, Fp2, F7, F3, Fz, F4, F8, T3, C3, Cz, C4, T4, T5, P3, Pz, P4, T6, O1, O2)の 位 置 を 計 測 して, 電 極 をそれらの 位 置 に 配 置 して 脳 波 を 記 録 した ( 図 1) 額 をグラウンド, 左 耳 (A2)をレファレンスとした さ らに, 左 目 の 外 側 に 電 極 を 配 置 して 水 平 方 向 の 眼 電 位 を, 内 側 に 配 置 して 垂 直 方 向 の 眼 電 位 を 記 録 した サンプリングレート は 1000Hz であった 眼 電 位 以 外 のそれぞれの 電 極 において,イ 図 1. 脳 波 電 極 の ンピーダンスを 5kΩ 以 下 に 保 って 計 測 を 行 った おおよその 位 置 手 続 き 実 験 は, 脳 波 計 を 備 えた 防 音 室 で 個 別 の 参 加 者 ごとに 行 われた 参 加 者 は 実 験 室 に 到 着 し た 後, 実 験 刺 激 を 呈 示 するディスプレイおよびスピーカからおおよそ 1m 離 れた 位 置 に 座 っ た 実 験 者 は 参 加 者 の 頭 に 脳 波 電 極 を 装 着 した 実 験 課 題 は,Presentation (Version 14.7, www.neurobs.com)によって 作 成 されたプログラ ムにより 制 御 が 行 われた 19 インチのディスプレイによって 映 像 が, 左 右 の2つのスピー カによって 音 声 が 呈 示 された 単 一 の 実 験 試 行 において, 最 初 に 十 字 の 固 視 点 が 1s 視 覚 呈 示 された 後,1-3s 程 度 の 動 画 刺 激 が 視 聴 覚 呈 示 された 動 画 刺 激 は,ディスプレイの 中 心 に 600 x 420 ピクセルで 視 覚 呈 示 され, 聴 取 に 快 適 な 一 定 の 音 圧 で 聴 覚 呈 示 された 刺 激 の 呈 示 後, 参 加 者 は 刺 激 が 喜 びを 示 していたか, 驚 きを 示 していたかをボタン 押 しにより 判 断 し た 参 加 者 は, 刺 激 の 示 す 情 動 についてなるべく 早 く 正 確 に 判 断 するよう 指 示 された 3.5s 以 上 経 過 した 場 合 には, 参 加 者 の 判 断 がなかったものとして 次 の 試 行 に 進 んだ 次 の 実 験 試 行 に 移 る 前 に,ランダムで 0.5-1s の 試 行 間 間 隔 を 設 けた 以 上 の 一 試 行 の 流 れについて 図 2 に 示 す 実 験 では 以 上 の 単 一 試 行 が,32 刺 激 を1ブロ ックとして 6 回 繰 り 返 された 32 刺 激 はブロッ ク 内 で 順 序 をランダマイズして 呈 示 された 1 ブ ロックごとに 数 十 秒 程 度 の 休 憩 を 挟 んでから, 次 のブロックに 進 んだ これらの 合 計 192 回 の 実 験 試 行 について, 顔 の 示 す 情 動 を 判 断 する 顔 課 題 と, 声 の 示 す 情 動 を 判 断 する 声 課 題 を 実 施 し た 参 加 者 は, 顔 課 題 では 動 画 呈 示 時 に 聞 こえて くる 声 を 無 視 して 顔 の 示 す 情 動 について 評 価 し た 声 課 題 では 動 画 呈 示 時 に 見 る 顔 を 無 視 して 声 の 示 す 情 動 について 評 価 した データ 解 析 行 動 データとして, 情 動 判 断 の 正 答 率 と 反 応 時 間 を 算 出 した 脳 波 データとして,32 刺 1s + 1~3s 動 画 < 3.5s 呈 示 情 動 0.5~1s 判 断 試 行 間 間 隔 図 2. 一 試 行 の 流 れ
激 のそれぞれに 対 する 脳 波 の 加 算 平 均 値 を 算 出 した この 際, 前 処 理 としてまずレファレン スである 左 耳 (A2)の 電 位 の 2 分 の 1 を 減 算 した 次 に,ローパスフィルタをかけることで 40Hz 以 上 の 周 波 数 帯 域 の 脳 波 成 分 を 除 去 した 刺 激 呈 示 前 の 200ms から 刺 激 呈 示 時 間 ま での 区 間 の 平 均 値 をベースラインとして 減 算 した さらに, 脳 波 振 幅 が±100uV を 超 えた 場 合 については, 分 析 から 除 外 した この 後, 刺 激 呈 示 中 と 前 後 の 200ms について 脳 波 形 を 算 出 した 物 理 データとして, 顔 の 位 置 座 標 と 声 の 音 響 特 性 を 算 出 し( 図 3) 顔 の 位 置 座 標 は,C++ 言 語 の 画 像 処 理 機 械 学 習 ラ イ ブ ラ リ で あ る dlib18.18 の face_landmark_detection の 機 能 を 用 いて 抽 出 した 座 標 点 には, 顔 の 輪 郭, 眉 毛, 目, 鼻, 口 の 5 部 位 68 点 が 含 まれており, 動 画 を 30Hz ごとに 切 り 出 した 画 像 のそれぞれに 対 して 分 析 が 行 われた 声 の 音 響 特 性 は, 音 響 解 析 ソフトの Praat を 用 いて 分 析 を 行 った 知 覚 される 声 の 大 きさを 反 映 する 強 度, 声 の 高 さを 反 映 する 基 本 周 波 数, 音 色 を 反 映 する 明 るさ(2000-5000Hz の 高 周 波 数 成 分 とそれ 以 下 の 成 分 の 比 率 )の 指 標 を 時 系 列 に 算 出 した 1000Hz で 測 定 した 脳 波 と 顔 および 声 の 特 徴 量 の 対 応 について, 算 出 した 基 本 周 波 数 の 単 位 である 100Hz に 統 一 して 検 討 を 行 った このため, 顔 の 座 標 点 と 声 の 強 度 明 るさについてスプライン 補 間 を 行 ってデータを 100Hz ごとに 変 換 した 図 3. 顔 および 声 の 特 徴 量 の 分 析 3. 結 果 行 動 データ 図 4 に 示 すように 顔 課 題 と 声 課 題 につい て, 情 動 一 致 条 件 と 不 一 致 条 件 のそれぞれ で 反 応 時 間 と 正 答 率 を 算 出 した 参 加 者 内 二 要 因 分 散 分 析 の 結 果, 反 応 時 間 では 課 題 の 種 類 に 主 効 果 が 認 められ, 声 課 題 条 件 で 顔 課 題 条 件 よりも 長 かった(F(1,8) = 7.51, p <.05) 正 答 率 では 課 題 の 種 類 と 情 動 条 件 の 交 互 作 用 が 認 め ら れ た (F(1,8) = 41.15, p <.001) 下 位 検 定 の 結 果, 情 動 一 致 条 件 と 不 一 致 条 件 の 両 方 で 顔 課 題 の 正 答 率 が 声 課 題 よりも 高 かった(ps <.001) さ 図 4. 条 件 ごとの 正 答 率 と 反 応 時 間 の 平 均 値 (エラーバーは 標 準 誤 差 )
らに, 声 課 題 において 情 動 一 致 条 件 で 不 一 致 条 件 より 正 答 率 が 高 かった(p <.001) 脳 波 データと 物 理 特 徴 課 題 ごと, 条 件 ごとに 脳 波 (Fp1, Fp2, F7, F3, Fz, F4, F8, T3, C3, Cz, C4, T4, T5, P3, Pz, P4, T6, O1, O2)と 顔 および 声 の 特 徴 量 ( 顔 の 輪 郭, 眉 毛, 目, 鼻, 口, 声 の 大 きさ, 高 さ, 明 るさ)の 相 関 関 係 を 検 討 した 結 果, 図 5 に 示 すような 相 関 係 数 が 得 られた 図 から 情 動 一 致 条 件 と 不 一 致 条 件 では 相 関 関 係 が 異 ならないものの, 顔 課 題 における 特 定 の 脳 部 位 での 物 理 特 徴 量 との 相 関 係 数 が, 声 課 題 よりも 大 きいことが 見 て 取 れる 顔 課 題 において, 顔 の 特 徴 量 のなかで 輪 郭 と 電 極 O1,O2 で 最 も 強 い 正 の 相 関 関 係 が 認 められた(r =0.23, 0.26) 声 の 特 徴 量 のなかで 高 さと 電 極 F8,T4 で 最 も 強 い 正 の 相 関 関 係 が 認 められた(r = 0.40, 0.38) 声 課 題 ではこのような 相 関 関 係 は 認 められなかった 図 5. 条 件 ごとの 顔 声 の 特 徴 量 と 脳 波 の 相 関 係 数 の 平 均 値 (エラーバーは 標 準 誤 差 )
4. 考 察 本 研 究 は, 視 聴 覚 からの 情 動 伝 染 を 検 討 するため, 時 系 列 の 脳 波 と 顔 および 声 の 特 徴 量 の 関 係 性 を 調 べた 結 果 から, 顔 と 声 の 示 す 情 動 が 一 致 している 時 に 脳 波 と 特 徴 量 の 結 び 付 き が 強 くなるという 予 測 に 反 して, 情 動 の 一 致 不 一 致 に 関 わらず 顔 に 注 意 を 向 けている 時 に 脳 波 と 特 徴 量 が 関 連 性 を 持 つと 示 された さらに, 反 応 時 間 と 正 答 率 から 顔 の 示 す 情 動 を 判 断 する 課 題 が, 声 の 示 す 情 動 を 判 断 する 課 題 よりも 簡 単 であると 考 えられた 声 の 示 す 情 動 を 判 断 する 課 題 において, 顔 と 声 の 示 す 情 動 が 一 致 していない 時 が 最 も 課 題 が 困 難 である と 考 えられた 顔 課 題 において 認 められた 脳 波 と 特 徴 量 の 相 関 関 係 は, 脳 波 を 指 標 として 視 聴 覚 からの 情 動 伝 染 を 測 定 できる 可 能 性 を 示 唆 するものであると 言 える 顔 の 特 徴 量 との 関 連 が 認 め られた O1,O2 の 電 極 部 位 である 後 頭 部 には 一 次 視 覚 野 が 位 置 しており, 顔 の 動 きに 応 じ てこの 部 位 の 活 動 が 活 発 になったと 考 えられる 声 の 高 さとの 関 連 が 認 められた F8,T4 の 電 極 部 位 である 側 頭 部 には 右 一 次 聴 覚 野 が 位 置 しており, 声 の 高 低 に 応 じてこの 部 位 の 活 動 が 活 発 になったと 考 えられる なお, 一 次 聴 覚 野 は 左 右 に 存 在 しているが, 音 の 意 味 処 理 との 関 連 が 深 いのが 左 側 であり, 右 側 は 音 の 規 則 性 への 処 理 と 関 連 が 深 いということが 示 されている(Koelsch, 2012) これらと 行 動 指 標 の 結 果 を 合 わせて 考 えれば, 他 者 の 情 動 が 明 瞭 に 認 知 される 場 面 では 脳 が 他 者 の 顔 や 声 を 模 倣 して 情 動 伝 染 が 生 じるものの, 声 を 判 断 する 課 題 のように 難 易 度 の 高 い 課 題 では 情 動 伝 染 が 生 じにくいことが 示 唆 される 加 えて, 顔 と 声 の 情 動 認 知 には 文 化 差 があり, 西 洋 人 は 顔 の 情 動 に 対 する 感 度 が 高 く, 東 洋 人 は 声 の 情 動 に 対 する 感 度 が 高 いことが 示 されている(Tanaka et al., 2010) 本 研 究 では, 顔 と 声 の 相 関 係 数 を 比 較 すると, 声 の 相 関 係 数 が 若 干 高 かった 西 洋 人 を 対 象 にして 同 様 の 実 験 を 行 った 場 合 には, 顔 と 声 の 相 関 係 数 の 大 小 が 裏 返 る 可 能 性 があると 考 えられる 今 後 の 検 討 において, 得 られたデータのより 詳 細 な 分 析 を 行 い, 喜 びと 驚 きの 情 動 ではど のような 違 いがあるかの 検 討, 顔 や 声 の 動 きと 脳 波 に 何 百 ms 程 度 の 同 期 が 認 められるかの 検 討, 行 動 指 標 脳 波 顔 と 声 の 特 徴 の3つを 用 いた 総 合 的 な 検 討 などを 目 指 す 予 定 である 5. 結 論 我 々が 日 常 生 活 で 行 うコミュニケーション 場 面 において 他 者 の 情 動 を 判 断 するとき, 顔 に 注 意 を 払 って 判 断 を 行 うことが 多 いと 考 えられる 本 研 究 結 果 から,コミュニケーション の 最 中 に 他 者 が 情 動 を 示 すとき, 脳 は 顔 や 声 を 時 系 列 に 模 倣 しており,それによって 他 者 の 情 動 が 伝 染 する 可 能 性 が 示 唆 される このような 情 動 の 伝 染 は, 声 に 注 意 を 払 うなどして 他 者 の 示 す 情 動 を 完 全 に 明 確 に 認 知 できない 場 合 には 生 じないことが 示 唆 される 謝 辞 本 研 究 は, 中 山 科 学 振 興 財 団 の 平 成 27 年 度 研 究 助 成 を 得 て 行 われました ここに 厚 く 御 礼
申 し 上 げます また, 本 研 究 の 遂 行 にあたり 荒 生 弘 史 氏 ( 大 正 大 学 大 学 院 人 間 科 学 研 究 科 ), 田 中 章 浩 氏 ( 東 京 女 子 大 学 大 学 院 人 間 科 学 研 究 科 ), 川 畑 秀 明 氏 ( 慶 応 義 塾 大 学 大 学 院 文 学 研 究 科 )の 協 力 を 得 ましたので,ここに 記 して 御 礼 申 し 上 げます 参 考 文 献 Banse, R., & Scherer, K. R. (1996). Acoustic profiles in vocal emotion expression. Journal of Personality and Social Psychology. 70, 614 636. Ekman, P., Levenson, R. W., & Friesen, W. V. (1983). Autonomic Nervous System Activity Distinguishes Among Emotions. Science, 221, 1208-1210. Hatfield, E., Cacioppo, J. T., Rapson, R. L. (1993). Emotional contagion. Current Directions in Psychological Sciences, 2, 96 99. Koelsch, S. (Ed.). (2012). Brain and music. England, UK: Wiley-Blackwell. Liu, P., Rigoulot, S., & Pell, M. D. (2015). Culture modulates the brain response to human expressions of emotion: Electrophysiological evidence. Neuropsychologia, 67, 1 13. Sato, W., Fujimura, T., & Suzuki, N. (2008). Enhanced facial EMG activity in response to dynamic facial expressions. International Journal of Psychophysiology, 70, 70 74. Tanaka, A., Koizumi, A., Imai, H., Hiramatsu, S., Hiramoto, E., & de Gelder, B. (2010). I feel your voice: cultural differences in the multi-sensory perception of emotion. Psychological Science, 21, 1259 1262. Takagi, S., Hiramatsu, S., Tabei, K. & Tanaka, A. (2015) Multisensory perception of the six basic emotions is modulated by attentional instruction and unattended modality. Frontiers in Integrative Neuroscience, 9:1, doi: 10.3389/fnint.2015.00001 Zhang, Z., Luo, P., Loy, C. C., & Tang, X. (2014). Facial landmark detection by deep multitask learning. In Computer Vision ECCV 2014 (pp. 94-108). Springer International Publishing.