第 18 回 人 工 知 能 研 究 成 果 発 表 会 2015 年 9 月 15 日 顔 表 情 の 中 期 モニタリングによる の 健 康 状 態 推 定 に 関 する 研 究 研 究 期 間 : 平 成 24 年 12 5 平 成 27 年 3 31 (24AI 第 128 号 -3) 中 京 学 学 部 機 械 システム 学 科 橋 本 学 個 情 報 保 護 の 観 点 から, 顔 画 像 データの 表 を 省 略 させていただいております. 研 究 の 背 景 と 研 究 課 題 研 究 の 背 景 うつ 病 などの 精 神 性 疾 患 の 患 者 数 が 年 々 増 加. 独 居 齢 者, 場 での 単 調 作 業 従 事 者, 避 難 活 者 児 童 徒 ( 学 校 内 ストレス) うつ 病 等 に 起 因 する 殺 者 などによる 社 会 的 損 失 の 推 計 額 は, 約 2.7 兆 円 / 年 ( 厚 労 働 省 報 道 発 表 資 料 2010) [ ] 7500 6750 6000 5250 4500 3750 3000 死 亡 者 数 の 推 移 H21 H22 H23 H24 H25 H26 うつ 病 交 通 事 故 年 度 全 本 交 通 安 全 協 会 :http://www.jtsa.or.jp/ 内 閣 府 :http://www8.cao.go.jp/jisatsutaisaku/toukei/ わずかな 感 情 を 注 意 深 くモニタリングする 必 要 あり. メンタル の 変 化 に 関 する 早 期 の 気 づき が 重 要. 研 究 課 題 の 健 康 状 態 の 把 握 援 を 的 とし, 画 像 によって 顔 表 情 をモニタリング するための 法 を 提 案 し, 効 果 を 実 証 する. 1. 微 妙 な 表 情 を 識 別 する 法 の 提 案 2. 表 情 変 化 を 検 出 する 法 の 提 案 3. の 健 康 状 態 把 握 援 システムに 関 する 検 討 2
Contents 1. 研 究 の 背 景 と 研 究 課 題 2. 研 究 成 果 1. 微 妙 な 表 情 の 識 別 法 2. 表 情 変 化 の 検 出 法 3. 今 後 の 展 開 に 関 する 検 討 の 健 康 状 態 把 握 援 システムの 提 案 ポジティブ 状 態 ( 笑 顔 度 合 い)の 計 測 に 関 する 検 討 4. 研 究 成 果 の 総 括 3 研 究 成 果 1: 微 妙 な 表 情 の 識 別 法
基 本 アイデア 領 域 内 の えの 変 化 物 A 物 B ニュートラル 微 妙 な 喜 び( 笑 顔 ) 仰 な 喜 び( 笑 顔 ) 物 C 喜 び 表 情 が 現 れている 箇 所 ( 個 毎 に 多 少 異 なっている) 顔 の 特 定 領 域 における え の 変 化 をGabor 特 徴 量 で 捉 える. え 変 化 の 例 :ほり ほうれい 線 の 凹 凸, しわ の 度, の 開 け 閉 め 度, 周 期 が 異 なる64 種 のGabor フィルタを 利 する. 特 定 領 域 は 機 械 学 習 を いて 個 ご とに 設 定. Gabor 特 徴 量 g, 2 2 2 x y x, y exp 2 2 x xcosθ ysinθ y xsinθ y cosθ 2 cos x 0.5, 0 5 提 案 法 の 概 要 ( 例 : ニュートラル と 微 妙 の 識 別 ) 学 習 モジュール 教 師 付 き 画 像 群 識 別 モジュール 画 像 ニュートラルクラス 微 妙 な 喜 びクラス 表 情 未 知 顔 パーツ 位 置 検 出 顔 パーツ 位 置 検 出 1 幾 何 学 補 正 2Gabor 特 徴 抽 出 特 徴 抽 出 ウィンドウの 位 置 とサイズ 1 幾 何 学 補 正 2Gabor 特 徴 抽 出 3AdaBoost 学 習 識 別 パラメータ 4 識 別 表 情 識 別 器 ニュートラル or 喜 び この2クラス 識 別 器 を 複 数 組 み 合 わせることによって,3クラス 識 別 をおこなう. 6
2 特 徴 抽 出 +3AdaBoost 学 習 ウィンドウの 候 補 数 Nw = 約 1 万 個 Gaborフィルタ 候 補 数 Nθ Nσ = 64 個 θ: 向 度 Nθ = 16 種 類 σ: 広 がり Nσ = 4 種 類 2Gabor 特 徴 抽 出 特 徴 量 :Nw Nθ Nσ = 約 64 万 個 3AdaBoost 学 習 弱 識 別 器 :T 個 表 情 識 別 に 有 効 なウィンドウの 位 置, Gaborフィルタの 種 類, 閾 値 と 信 頼 度 表 情 識 別 器 7 4 識 別 画 像 ウィンドウの 位 置, Gaborフィルタの 種 類 識 別 パラメータ 表 情 未 知 識 別 弱 識 別 器 1 弱 識 別 器 2 弱 識 別 器 T しきい 値 例 :ニュートラル/ 喜 び 8
実 験 法 実 験 に いた 画 像 データの 例 ( 学 習 テスト ) 学 習 に いた 画 像 ( 例 : 物 A) テストに いた 画 像 ( 例 : 物 A) ニュートラルクラス 微 妙 な 喜 びクラス ニュートラルクラス 微 妙 な 喜 びクラス 評 価 法 適 合 率 (Rp) 被 験 者 3 名 について, 学 習 画 像 1916 枚,テスト 画 像 1850 枚 正 しく 判 定 された 数 喜 びの 表 情 と 判 定 された 数 再 現 率 F 値 (Rr ) R p R 2 R R p r r 喜 びの 表 情 と 判 定 された 数 識 別 画 像 に 含 まれる 喜 びの 表 情 のデータ 数 9 実 験 : 個 ごとの 表 情 認 識 性 能 ( 仰 な 表 情 ) ウィンドウを 動 設 定 した3 の 物 に 対 する 表 情 認 識 仰 な 表 情 物 A 物 B 物 C ウィンドウ 設 定 箇 所 個 で 異 なる 例 :ほうれい 線 の 周 辺 上 位 5 個 を 表 テスト 認 識 性 能 物 A B C 学 0.96 0.83 0.78 F 値 習 B 0.84 0.98 0.88 C 0.80 0.77 1.00 認 識 結 果 同 じ 物 :F 値 =0.96 以 上 異 なる 物 :F 値 = 約 0.8 同 じ 物 のほうが 性 能 異 なる 物 でも0.8 程 度 を 確 保 10
実 験 : 個 ごとの 表 情 認 識 性 能 ( 微 妙 な 表 情 ) ウィンドウを 動 設 定 した3 の 物 に 対 する 表 情 認 識 微 妙 な 表 情 物 A 物 B 物 C ウィンドウ 設 定 箇 所 個 ごとに 異 なる ほうれい 線 の 周 辺 上 位 5 個 を 表 テスト 認 識 性 能 物 A B C 学 0.77 0.67 0.67 F 値 習 B 0.67 0.77 0.75 C 0.67 0.68 0.94 認 識 結 果 同 じ 物 :F 値 =0.77 以 上 平 均 適 合 率 :84.0% 平 均 再 現 率 :91.0% 異 なる 物 :F 値 = 約 0.68 1. 同 じ 物 のほうが 性 能 2. 仰 な 表 情 よりも 性 能 劣 化 11 実 験 :ウィンドウの 設 定 法 に 対 する 認 識 性 能 物 Aに 対 する 認 識 仰 提 案 法 較 法 提 案 法 微 妙 較 法 上 位 5 個 を 表 上 位 5 個 を 表 法 提 案 法 較 法 特 徴 Gabor Gabor ウィンドウ 設 定 動 動 F 値 仰 な 表 情 0.96 0.99 微 妙 な 表 情 0.77 0.80 動 でウィンドウ 設 定 したほうが 性 能 は いが, 動 設 定 ( 提 案 法 ) でも 定 の 性 能 が 確 保 できた. 12
他 法 との 較 実 験 に いた 画 像 データセット 20 代 の 男 性 2 名, 性 1 名 の 計 3 名. 微 妙 な 笑 顔, 仰 な 笑 顔 を それぞれ 50 枚 ずつ 識 別. 較 法 無 表 情 微 妙 な 喜 び 被 験 者 の 顔 画 像 例 仰 な 喜 び Gabor 特 徴 量 を PCA で 次 元 圧 縮 した 後,LDA によって 識 別 Gabor フィルタをあらかじめ 選 択 LG(N θ N σ ) : N θ は 向 の 種 類 数 N σ は 広 がり 度 合 いの 種 類 数 LG1(4x16) LG2(4x16) LG3(4x16) 13 表 情 の 識 別 成 功 率 の 評 価 フィルタ 向 正 しく 識 別 された 画 像 数 識 別 成 功 率 (Pr) 100 テスト 画 像 に いた 画 像 数 識 別 成 功 率 [%] [%] LG1(4x16) 法 フィルタ 仰 な 微 妙 な LG1(4x16) 94.3 80.7 LG2(4x16) LG2(4x16) 93.5 80.0 周 波 数 LG3(4x16) 従 来 法 [Hong-Boら] LG3(4x16) 94.4 79.5 LG1(3x16) 92.8 76.4 LG1(3x16) LG2(3x16) 92.3 76.4 LG3(3x16) 90.7 76.6 LG2(3x16) 提 案 法 - 97.0 84.7 LG3(3x16) 提 案 法 の 識 別 成 功 率 は, 従 来 法 と 較 して, 仰 な 喜 びでは 2.6 %, 微 妙 な 喜 びでは 4.0 %, いことを 確 認 した. 14
研 究 成 果 2: 表 情 変 化 の 検 出 法 変 化 タイミングの 検 出 表 情 変 化 時 刻 検 出 の 先 研 究 および 本 研 究 の 的 先 研 究 定 区 間 における, 表 情 識 別 結 果 の 出 現 頻 度 を 利 表 情 の 誤 識 別 に 起 因 して, 変 化 時 刻 の 誤 検 出 が 発 : 検 出 された 表 情 変 化 時 刻 フレーム 番 号 1 2 3 4 5 6 時 系 列 顔 画 像 教 師 信 号 としての 表 情 喜 び 喜 び 喜 び 無 表 情 無 表 情 無 表 情 識 別 された 表 情 喜 び 喜 び 無 表 情 喜 び 喜 び 無 表 情 本 研 究 の 的 安 定 した 表 情 変 化 時 刻 の 検 出 16
基 本 アイデア 記 号 化 された 表 情 の 変 化 確 率 ( 発 ヒストグラム)を 学 習 1. 表 情 を 記 号 化 し,これを いて 変 化 を 表 現 フレーム 番 号 1 2 3 4 5 識 別 された 表 情 1 1 0 0 0 無 表 情 0 微 妙 な 笑 顔 1 仰 な 笑 顔 2 変 化 パターン 記 号 列 11 10 微 妙 ( な 微 笑 妙 顔 な が2フレーム 笑 顔 の 後, 連 無 続 表 情 ) 2. 表 情 が 変 化 するときの 記 号 列 の 出 現 確 率 を 記 録 ( 学 習 ) 記 号 列 が 出 現 する 確 率 例 : 表 情 変 化 がないとき 記 号 列 00 が 出 現 表 情 変 化 があるとき 記 号 列 02 や 10 が 多 く 出 現 00 01 02 10 11 12 20 21 22 各 記 号 列 17 提 案 法 表 情 識 別 学 習 学 習 画 像 と 教 師 信 号 としての 表 情 表 情 変 化 時 刻 検 出 学 習 時 系 列 学 習 画 像 t -1 t t + 1 t + 2 t 無 表 情 :0 微 妙 な 笑 顔 :1 仰 な 笑 顔 :2 Gabor 特 徴 抽 出 Gabor 特 徴 抽 出 Gabor 特 徴 抽 出 表 情 変 化 パターン 学 習 表 情 変 化 AdaBoost AdaBoost AdaBoost 0と1の 識 別 器 0と2の 識 別 器 1と2の 識 別 器 検 出 記 号 列 の 発 ヒストグラム 時 系 列 未 知 画 像 t -1 t t + 1 t + 2 t 識 別 表 情 識 別 t -1 0 t 0 t + 1 1 t + 2 2 識 別 された 表 情 t 変 化 時 刻 の 認 識 変 化 時 刻 18
表 情 変 化 の 発 ヒストグラムの 学 習 表 情 の 記 号 化 無 表 情 0 微 妙 な 笑 顔 1 仰 な 笑 顔 2 変 化 パターンの 例 00 : 無 表 情 が2フレーム 連 続 01 : 無 表 情 の 次 に 微 妙 な 笑 顔 教 師 信 号 ( 視 で 判 断 した 表 情 変 化 時 刻 ) フレーム 番 号 t - 2 t - 1 t t + 1 t + 2 t + 3 識 別 された 表 情 2 1 0 0 1 0 t + 4 1 表 情 変 化 時 の 記 号 列 発 確 率 表 情 変 化 する 確 率 P 01 のときに 表 情 変 化 することが 多 い 00 01 02 10 11 12 20 21 22 2フレーム 区 間 における 変 化 パターン i 19 表 情 変 化 時 刻 の 検 出 フレーム 番 号 1 2 3 4 5 6 時 系 列 未 知 顔 画 像 識 別 された 表 情 1 0 2 2 2 2 表 情 変 化 する 確 率 P 表 情 変 化 時 の 記 号 列 発 確 率 00 01 02 10 11 12 20 21 22 2フレーム 区 間 における 変 化 パターン i 表 情 変 化 する 確 率 P 表 情 変 化 1 2 3 4 5 6 フレーム 番 号 T 1. 2フレーム 区 間 をはじめ, 4フレーム 区 間 と6フレーム 区 間 のヒストグラムも 学 習 2. 3つのヒストグラムを 統 合 して 確 率 値 を 算 出 3. しきい 値 を 超 えたタイミングを 出 しきい 値 20
実 験 法 実 験 に いたデータセット 被 験 者 :20 代 の 男 性 4 名, 性 1 名 の 5 名 学 習 画 像 :39419 枚 テスト 画 像 :2000 枚 被 験 者 の 顔 画 像 例 ( 顔 画 像 は 左 から 右 に 時 系 列 にならぶ) 表 情 変 化 時 刻 検 出 の 性 能 評 価 実 験 従 来 法 ( 野 宮 らの 法 )と 較 顔 の 幾 何 学 情 報 に 基 づいて 表 情 識 別 し, 定 時 間 における 表 情 の 出 現 頻 度 を いる 法 表 情 識 別 に いていない 5 名 に 対 して,テスト 画 像 を 識 別 した. 評 価 指 標 として, 適 合 率 と 再 現 率 を いた. 21 表 情 変 化 時 刻 の 検 出 性 能 の 評 価 実 験 結 果 被 験 者 A B C 適 合 率 [%] 再 現 率 [%] 適 合 率 [%] 再 現 率 [%] 適 合 率 [%] 再 現 率 [%] 較 法 69.0 32.7 45.9 41.8 68.9 54.2 提 案 法 88.4 84.5 89.3 84.8 90.2 86.8 検 出 性 能 平 均 適 合 率 87.8 [%] 平 均 再 現 率 84.5 [%] 22
今 後 の 展 開 1 の 健 康 状 態 推 定 システムに 関 する 検 討 の 健 康 状 態 把 握 援 システムの 提 案 の 健 康 状 態 把 握 援 システム 眼 鏡 型 カメラ 顔 画 像 ( 動 画 像 列 ) 表 情 表 情 の 識 別 表 情 変 化 時 刻 の 検 出 表 情 変 化 と 理 状 態 に 関 する データベースの 成 変 化 時 刻 変 化 履 歴 患 者 中 期 の 理 状 態 変 化 に 関 する 統 計 データ 計 測 された 表 情 変 化 情 報 と データベースの 照 合 表 情 変 化 (の 周 期 など) と 理 状 態 の 関 係 問 診 診 察 の 健 康 状 態 の 把 握 ( 診 断 ) の 健 康 状 態 うつ 状 態 の 早 期 発 認 知 症 の 早 期 発 医 療 従 事 者 24
今 後 の 展 開 2 ポジティブ 状 態 の 推 定 に 関 する 検 討 新 しい 課 題 と 解 決 アイデア 的 :コミュニケーションを 的 に, 笑 顔 の 度 合 い を 測 る. 課 題 : 汎 性 の 確 保 主 要 な 感 情 それぞれに 対 応 する 顔 つきには, 誰 に 対 しても 共 通 の 変 化 がある. 例 : 笑 顔 の 場 合 の 変 化 1. 唇 の 両 端 が 後 ろに 引 かれる. 2. 下 唇 が 下 に 動 く. A さんの 顔 の 部 位 から 検 出 される 顔 キーポイントの 移 動 ベクトル に 注 する. B さんの 顔 キーポイント 11 3 12 4 5 13 10 2 16 6 14 9 1 0 7 15 8 発 確 率 0 1 2 3 4 5 6 7 8 910111213141516 移 動 向 コード( 特 徴 量 ) 26
笑 顔 度 合 い 計 測 の 性 能 実 験 法 17 名 の 顔 画 像 を 学 習 し, 残 りの1 名 分 のデータで 性 能 を 評 価. 表 情 識 別 の 結 果 再 現 率 = 適 合 率 = 表 情 Aと 正 しく 判 定 された 画 像 数 識 別 画 像 群 に 含 まれる 表 情 Aの 画 像 数 表 情 Aと 正 しく 判 定 された 画 像 数 表 情 Aと 判 定 された 画 像 数 無 表 情 微 妙 な 笑 顔 仰 な 笑 顔 実 験 に 使 した 顔 画 像 の 例 無 表 情 微 妙 な 笑 顔 仰 な 笑 顔 再 現 率 適 合 率 F 値 再 現 率 適 合 率 F 値 再 現 率 適 合 率 F 値 提 案 法 91.7 86.4 0.88 76.2 84.7 0.80 90.0 81.6 0.85 幾 何 学 特 徴 量 54.2 94.9 0.69 8.4 26.7 0.13 100.0 47.3 0.64 未 学 習 データを 対 象 とする 実 験 で, 従 来 法 と べて い 識 別 性 能. 従 来 法 より い 汎 性 を 確 認. 27 応 例 1ロボットとのコミュニケーション ワイヤレスカメラ スピーカ 動 画 を 視 聴 させて 笑 顔 度 合 いの 変 化 を 計 測 し, 関 度 合 いとの 関 係 を 分 析 スマイビ 中 京 学 学 部 加 納 政 芳 教 授 が 開 発 した ちゃん 型 ロボット ( 製 造 : 東 郷 製 作 所 殿 ) 200 0 係 数 0 無 表 情 無 表 情 微 妙 大 仰 係 数 1 微 妙 な 笑 顔 係 数 2 仰 な 笑 顔 切 a0 a1 a2 b 0-0.00016-0.00711 2.6118416 重 相 関 値 :0.538( 中 程 度 の 正 の 相 関 がある) 商 品 に 関 する 関 度 2ユーザの 興 味 関 度 合 いの 計 測 28
研 究 成 果 の 総 括 1. 微 妙 な 表 情 を 認 識 する 法 を 提 案 し, 性 能 を 評 価 した. Gabor 特 徴 量 の 精 細 化, Adaboostによる 領 域 等 の 最 適 化 平 均 適 合 率 :84.0% 平 均 再 現 率 :91.0% 2. 表 情 の 変 化 時 刻 を 検 出 する 法 を 提 案 し, 性 能 を 評 価 した. 連 続 フレームにおける 表 情 コードの 出 現 確 率 を 利 平 均 適 合 率 87.8 [%] 平 均 再 現 率 84.5 [%] 3. これらの 成 果 をもとに, の 健 康 状 態 把 握 援 システムを 検 討 し, 発 展 検 討 として, 笑 顔 度 合 い 認 識 技 術 とその 応 についても 検 討 した. 関 連 発 表 1. 松 久 ひとみ, 橋 本 学, Gabor 特 徴 を いた 顔 画 像 からの 微 妙 な 表 情 変 化 の 推 定 ", 映 像 情 報 メディア 学 会 誌, Vol.68, No.6, pp.j252-j255, 2014. 2. 松 久 ひとみ, 橋 本 学, の 健 康 状 態 把 握 システムのための 顔 表 情 変 化 時 刻 検 出, 精 密 学 会 画 像 応 技 術 専 委 員 会 サマーセミ ナー 予 稿 集, pp.53-56, 2013. 優 秀 発 表 賞 受 賞 3. 辻 佑, 松 久 ひとみ, 岡 明 也, 橋 本 学, 中 期 の 連 続 画 像 モニタリングによる 表 情 変 化 の 検 出 ", 電 情 報 通 信 学 会 2013 年 総 合 会, ISS-SP-365, p.207, 2013. 4. 佐 々 康 輔, 有 賀 治 樹, 橋 本 学, 選 択 された 顔 キーポイント 特 徴 に 基 づく 個 依 存 しにくい 喜 び 表 情 認 識,2014 年 映 像 情 報 メ ディア 学 会 年 次 会,22-6,2014/09/02. 5. 佐 々 康 輔, 達 也, 渡 邉 瞭 太, 橋 本 学, 典, 顔 キーポイント 特 徴 を いたユーザの 笑 顔 度 合 い 評 価 法 の 提 案, 本 顔 学 会 会 (フォーラム 顔 学 2015), O2-2, pp.101,2015/9/12. 6. 佐 々 康 輔, 達 也, 渡 邉 瞭 太, 橋 本 学, 変 化 パターンの 区 間 発 ヒストグラムに 基 づく 顔 表 情 変 化 認 識, 本 顔 学 会 会 (フ ォーラム 顔 学 2015), P1-15,pp.92, 2015/9/12. 7. 達 也, 佐 々 康 輔, 渡 邉 瞭 太, 橋 本 学, 典, 笑 顔 度 合 い 推 定 システムの 開 発 と 関 度 推 定 への 応, 本 顔 学 会 会 ( フォーラム 顔 学 2015), P1-14,pp.91, 2015/9/12. 本 研 究 にご 援 をくださり,ありがとうございました. 29 The end