て 利 用 するスタイルのことをいう ウェアラブルシステムを 用 いた 弱 視 者 や 視 覚 障 害 者 の 支 援 を 行 う 研 究 開 発 も 進 んでいる 例 えば Bryant ら[1]は 赤 外 光 投 影 できるビデオカメラを 利 用 して 近 接 した 障 害 物 を 検 出 して

1. 研 究 の 目 的 近 年 老 眼 や 白 内 障 のような 視 覚 障 害 を 含 む 弱 視 者 は 高 齢 者 を 中 心 に 多 く 存 在 し 高 齢 化 に 伴 いその 数 は 増 加 している その 弱 視 者 は 階 段 の 昇 降 路 線 図 な ど 案 内 物 の 読 み 取 りや 道 路 の 歩 行 など 様 々な 場 面 で 困 難 が 想 定 される これらの 困 難 に 対 して それぞれの 河 野 英 昭 ( Hideaki KAWANO Dr. Eng.) 九 州 工 業 大 学 大 学 院 工 学 研 究 院 電 気 電 子 工 学 研 究 系 准 教 授 ( Associate Professor, Department of Electrical Engineering and Electronics, Faculty of Engineering, Kyushu Institute of Technology ) 日 本 知 能 情 報 ファジィ 学 会 バイオメディカルファジィシステム 学 会 日 本 医 用 画 像 工 学 会 電 子 情 報 通 信 学 会 情 報 処 理 学 会 IEEE 著 書 : 基 礎 C 言 語 プログラミング, 共 立 出 版, 2012 研 究 専 門 分 野 :ソフトコンピューティング 生 体 補 償 制 御 学 医 用 画 像 工 学 あらまし 本 研 究 では 弱 視 者 などの 視 認 活 動 の 際 の 困 難 を 解 決 することを 目 的 として 目 表 情 の 認 識 を 用 いたユーザーインターフェースを 提 案 する ウェアラ ブルカメラを 使 用 し 視 認 困 難 な 際 に 目 元 に 表 出 する ことが 多 い 目 を 細 める 表 情 をカメラで 認 識 し そ の 状 態 に 応 じてもう 一 台 のカメラから 得 られる 視 野 画 像 を 拡 大 縮 小 して ユーザが 装 着 したヘッドマウン トディスプレイに 提 示 する 本 研 究 で 認 識 対 象 とする 目 を 細 める 行 為 は 目 を 半 開 きにすることをいう この 動 作 の 意 図 は 像 がぼやけて 見 える 際 に 光 量 を 絞 りピント 調 節 を 行 うことである 特 に 近 視 や 老 眼 ( 遠 視 )の 初 期 症 状 として 無 意 識 に 行 っていることが 多 い システムが 見 づらい というユーザの 意 図 を 画 像 上 で 検 出 することで 必 要 な 時 に 自 動 で 視 野 画 像 をユー ザにとって 見 やすく 拡 大 して 表 示 することが 可 能 とな る 本 システムは 弱 視 者 の 中 でも 特 に 近 眼 や 老 眼 と いったピントが 合 わない 症 状 の 人 に 有 効 であると 考 え られる 事 象 に 応 じた 支 援 を 行 う 必 要 がある 従 来 から 弱 視 者 支 援 を 目 的 として メガネやコンタクトレンズ 拡 大 鏡 などの 視 覚 補 助 機 器 が 存 在 する また 近 年 ではユ ーザに 搭 載 した 小 型 カメラから 得 られた 映 像 を 提 示 す る 電 子 メガネの 開 発 が 進 んでいる これらの 装 置 の 問 題 として システムがユーザの 見 づらさ を 考 慮 し ていないため 見 たい 映 像 を 得 るために 手 動 による 操 作 が 必 要 となるため 使 い 勝 手 の 向 上 が 課 題 となって いる 本 研 究 では 弱 視 者 などの 視 認 活 動 の 際 の 困 難 を 解 決 することを 目 的 とする そこで 目 表 情 の 認 識 を 用 いたユーザーインターフェースを 提 案 する ウェアラ ブルカメラを 使 用 し 視 認 困 難 な 際 に 目 元 に 表 出 する ことが 多 い 目 を 細 める 表 情 をカメラで 認 識 し そ の 状 態 に 応 じてもう 一 台 のカメラから 得 られる 視 野 画 像 を 拡 大 縮 小 してユーザが 装 着 したヘッドマウント ディスプレイに 提 示 する 本 研 究 が 認 識 対 象 とする 目 を 細 める という 行 為 は 目 を 半 開 きにすることをい う この 動 作 の 意 図 は 像 がぼやけて 見 える 際 に 光 量 を 絞 りピント 調 節 を 行 うことである 特 に 近 視 や 老 眼 ( 遠 視 )の 初 期 症 状 として 無 意 識 に 行 っていること が 多 い システムが 見 づらい というユーザの 意 図 を 画 像 上 で 検 出 することで 必 要 な 時 に 自 動 で 視 野 画 像 をユーザにとって 見 やすく 拡 大 して 表 示 することが 可 能 となる 本 システムは 弱 視 者 の 中 でも 特 に 近 眼 や 老 眼 といったピントが 合 わない 症 状 の 人 に 有 効 で あると 考 えられる 2. 関 連 研 究 近 年 インターフェースの 小 型 化 や 軽 量 化 に 伴 い ウェアラブルコンピューティングに 関 する 研 究 や 実 用 化 への 取 り 組 みが 盛 んに 行 われている ウェアラブル コンピューティングとは コンピュータを 常 時 装 着 し 1 TELECOM FRONTIER No.83 2014 SPRING

て 利 用 するスタイルのことをいう ウェアラブルシステムを 用 いた 弱 視 者 や 視 覚 障 害 者 の 支 援 を 行 う 研 究 開 発 も 進 んでいる 例 えば Bryant ら[1]は 赤 外 光 投 影 できるビデオカメラを 利 用 して 近 接 した 障 害 物 を 検 出 して その 位 置 をファイバースキ ャニング 網 膜 ディスプレイに 提 示 するウェアラブルシ ステムを 開 発 している Alvaro ら[2]は 周 囲 の 危 険 状 況 を 超 音 波 センサで 読 み 取 って 危 険 性 を 音 声 や 振 動 で 通 知 するシステムを 提 案 している また 屈 折 異 常 を 補 正 する 器 具 として 古 くから 眼 鏡 コンタクトレンズ 拡 大 鏡 などが 存 在 する 近 年 小 型 カメラ 付 き 電 子 メガネ[3]が 開 発 されている これ は ユーザに 搭 載 された 小 型 カメラから 得 られた 映 像 を 網 膜 に 直 接 映 像 光 を 投 射 して 視 野 映 像 を 提 示 する 装 置 である この 装 置 の 問 題 点 としては システムが ユーザの 見 づらさ を 考 慮 していないため 見 たい 映 像 を 得 るために 手 動 による 操 作 が 必 要 となるため 使 い 勝 手 の 向 上 が 課 題 となっている また ディスプ レイ 提 示 型 のヘッドマウントディスプレイよりも 鮮 明 に 見 ることが 可 能 であるが 光 路 中 の 障 害 物 がすべて 結 像 するため 目 の 中 のゴミやまつ 毛 が 映 ることが 課 題 である さらに 瞳 孔 や 眼 球 運 動 により 映 像 の 欠 損 が 生 じることも 改 善 が 必 要 である 3. 提 案 システム 本 研 究 の 目 的 である 目 を 細 める という 目 表 情 の 認 識 を 用 いた 視 野 画 像 の 拡 大 システムについて 述 べる 提 案 手 法 の 手 順 を 図 1 に 示 す 本 システムを 起 動 する 前 に ユーザの 目 表 情 を 学 習 しておく 目 表 情 の 学 習 システム 起 動 後 目 元 画 像 を 入 力 して 認 識 を 行 う 目 表 情 の 認 識 目 を 細 める と 判 定 した 後 視 野 画 像 を 拡 大 縮 小 する 視 野 画 像 の 提 示 という 3 つのパー トに 分 けることができる はじめに 本 システムの 構 成 を 述 べた 後 それぞれの 手 法 を 説 明 する 図 1 提 案 手 法 のフローチャート 2 TELECOM FRONTIER No.83 2014 SPRING

3.1 システムの 構 成 本 研 究 において 開 発 したウェアラブルシステムの 外 観 を 図 2 に 示 す また その 構 成 要 素 は 以 下 のとおり である 目 表 情 取 得 用 カメラ ユーザが 視 認 困 難 な 際 に 無 意 識 に 行 う 目 を 細 める 表 情 の 検 出 を 行 うために 片 目 部 分 を 捉 えること ができる 小 型 カメラを 使 用 する(カメラ 1) 視 野 画 像 取 得 用 カメラ ユーザが 見 ている 前 方 の 視 野 画 像 を 得 るために 小 型 カメラを 使 用 する(カメラ 2) ヘッドマウントディスプレイ 拡 大 処 理 された 視 野 画 像 をユーザに 提 示 するため に 使 用 する 単 眼 式 ヘッドマウントディスプレイを 使 用 する (1) 学 習 画 像 の 準 備 ウェアラブルシステムを 装 着 し カメラ 1 よりユー ザの 片 目 部 分 の 目 表 情 を 撮 影 する ユーザの 目 の 部 分 がすべて 写 っていることが 条 件 である 撮 影 された 画 像 列 から 目 領 域 のみを 切 り 出 しておく 2 クラスの 判 別 を 行 うために 正 例 には 目 を 細 める 状 態 負 例 には それ 以 外 の 状 態 の 画 像 を 準 備 する 入 力 画 像 列 は 解 像 度 320 240 [pixel] 30 [frame/sec]で 撮 影 されたものを 使 用 する 切 り 出 された 学 習 画 像 は すべて 260 153 [pixel]となる (2) HOG 特 徴 量 による 抽 出 それぞれのクラスの 学 習 画 像 に 対 して 画 像 の 特 徴 抽 出 を 行 う 本 研 究 で 用 い る HOG 特 徴 量 (Histograms of Oriented Gradient Feature)[5]は 輝 度 方 向 をヒストグラム 化 したものである 顔 認 識 や 一 般 物 体 認 識 などの 分 野 で 広 く 利 用 されている 画 像 サイズを 128 64 [pixel]にリサイズして 行 う セルの サイズは 8 8 [pixel]で 行 う この 処 理 により 6,804 の 特 徴 ベクトルが 抽 出 される 図 2 開 発 したウェアラブルシステムの 外 観 3.2 目 表 情 の 学 習 本 システムを 使 用 するために 事 前 に 各 ユーザの 目 表 情 を 学 習 しておく 必 要 がある 本 研 究 では 事 前 知 識 なしでも 識 別 器 を 構 成 することが 可 能 な Boosting 学 習 を 用 いて 行 う 以 下 に 手 順 を 示 した 後 詳 細 を 説 明 する (3) Gentle Boosting による 学 習 HOG 特 徴 量 によって 抽 出 された 特 徴 ベクトルに 基 づき GentleBoosting [6]を 用 いた 学 習 を 行 う ブー スティング 学 習 は 重 みを 更 新 しながら 学 習 画 像 を 検 出 するのに 適 した 特 徴 ベクトルを 弱 識 別 器 として 選 択 する そして 弱 識 別 器 からより 高 精 度 な 強 識 別 器 を 構 成 していくアルゴリズムである 学 習 回 数 を 10 回 とする 従 来 の AdaBoost より 外 れ 値 に 対 する 頑 健 性 が 強 い 3.3 目 表 情 の 認 識 目 表 情 の 学 習 によって 学 習 された 結 果 に 基 づい て 本 システムを 起 動 して 目 表 情 の 認 識 を 行 う 手 順 は 以 下 のようになる (1) 目 元 画 像 の 入 力 ユーザがウェアラブルカメラシステムを 装 着 し 本 システムを 実 行 させると カメラ 1 よりユーザの 片 目 部 分 が 撮 影 された 目 元 画 像 を 入 力 する 解 像 度 3 TELECOM FRONTIER No.83 2014 SPRING

320 240 [pixel] 30 [frame/sec]である (2) 目 領 域 の 検 出 入 力 された 目 元 画 像 をそのまま 認 識 に 使 用 すると 装 着 時 のずれの 影 響 で 正 しく 認 識 が 行 うことができな い 前 処 理 として 入 力 画 像 に 対 してテンプレートマ ッチングを 用 いて 目 領 域 の 切 り 出 しを 行 う 学 習 画 像 に 用 いられている 画 像 をテンプレート 画 像 として 使 用 する 目 元 画 像 に 対 して 最 も 類 似 度 が 高 い 領 域 を 推 定 し 切 り 出 す 本 研 究 では 正 規 化 相 互 相 関 関 数 を 用 いる この 値 が 1 に 近 いほど 類 似 度 が 高 い 類 似 度 Rは 以 下 のようになる N 1 M 1 j=0 i=0 I(i, j)t(i, j) R NCC = N 1 j=0 M 1 i=0 I(i, j) 2 N 1 j=0 M 1 i=0 T(i, j) 2 (3) HOG 特 徴 量 による 抽 出 切 り 出 された 目 元 画 像 に 対 して HOG 特 徴 量 によ る 抽 出 を 行 う (4) 目 表 情 の 認 識 抽 出 した 結 果 より 正 例 か 負 例 かを 識 別 する 3.4 視 野 画 像 の 提 示 認 識 結 果 より 目 を 細 める と 判 定 された 場 合 に 視 野 画 像 の 拡 大 を 行 い 提 示 する 以 下 に 詳 細 を 説 明 す る (1) 視 野 画 像 の 入 力 カメラ 2 より 得 られた 視 野 画 像 を 入 力 する 解 像 度 は 320 240 [pixel]である (2) 視 野 画 像 の 拡 大 提 示 1 フレームごとの 目 表 情 の 認 識 結 果 を 出 力 として そのまま 利 用 するのではなく 認 識 結 果 を 時 系 列 的 に 評 価 してから 行 う 理 由 として 1 フレームの 結 果 を そのまま 利 用 すると 拡 大 縮 小 がバタつき ユーザ の 使 用 感 が 低 下 する 今 回 は 現 在 のフレームとそれ より 前 の 合 計 10 フレーム 分 の 出 力 値 の 平 均 をとる その 際 正 例 を+1 負 例 を 0 とする その 値 が 0.5 以 下 の 場 合 視 野 画 像 をそのままのスケールで 提 示 し それ 以 上 の 時 は 拡 大 処 理 を 開 始 する ユーザが 目 を 細 めるということは 対 象 物 体 が 画 像 中 心 にある と 定 義 する 拡 大 方 向 は 視 野 画 像 の 中 心 方 向 に 一 定 のスピードで 行 い ヘッドマウントディス プレイに 随 時 提 示 される 目 を 細 める 表 情 を 止 めた 時 (しきい 値 が 0.5 未 満 )は 見 えている と 判 断 して 拡 大 処 理 を 停 止 する よって ユーザの 任 意 の 倍 率 に 拡 大 することができる 一 定 時 間 後 元 のスケールに ズームアウトする 4. 実 験 4.1 実 験 環 境 本 実 験 で 使 用 した 計 算 機 の 性 能 は 下 表 のとおりで ある 4.2 実 験 1 表 1: 実 験 計 算 機 の 性 能 型 名 Dell Vostro430 CPU Intel Core i7 2.93GHz Memory 4GB OS Windows 7 Professional プログラミング 環 境 Microsoft Visual Studio 2008 C++ 画 像 ライブラリ OpenCV 2.1 提 案 手 法 で 述 べたシステム 全 体 を 実 装 し 正 しく 目 表 情 を 認 識 し 視 野 画 像 の 拡 大 操 作 を 行 うことができた かを 検 証 した 以 下 に 詳 細 を 述 べる 4.2.1 実 験 方 法 1 人 の 被 験 者 に 対 して 実 施 した 被 験 者 は 晴 眼 であ った 場 所 は 室 内 で 行 った 学 習 画 像 については 予 備 実 験 の 際 に 取 得 された 学 習 画 像 データを 使 用 した 被 験 者 に 対 して ウェアラブルカメラを 装 着 してもら い 本 システムを 実 行 した 撮 影 条 件 として カメラ 1から 入 力 される 画 像 に 目 がはみ 出 さないようにす ることを 条 件 とした 被 験 者 は 正 面 前 方 にある 物 体 に 対 して 意 図 的 に 目 を 細 める 表 情 と 通 常 の 表 情 を 数 秒 毎 に 繰 り 返 し 行 った 今 回 は 視 野 画 像 をヘッドマ ウントディスプレイに 提 示 せず それぞれの 処 理 が 正 4 TELECOM FRONTIER No.83 2014 SPRING

しく 実 行 できているかを PC のモニタ 上 に 表 示 し 確 認 を 行 った また リアルタイム 性 を 検 証 するために 処 理 時 間 を 計 測 した 4.2.2 実 験 結 果 PC のモニタ 上 に 出 力 した 結 果 は 図 3 のようにな った 上 段 左 がウェアラブルカメラから 入 力 された 目 表 情 画 像 上 段 右 がテンプレートマッチング 後 に 切 り 出 された 画 像 下 段 左 が 入 力 された 視 野 画 像 下 段 右 が 拡 大 処 理 された 視 野 画 像 となっている 図 4 は 視 野 画 像 が 拡 大 して 元 の 倍 率 に 縮 小 され る 様 子 を 示 している 左 側 が 同 時 刻 の 目 表 情 である このように 目 を 細 める 表 情 に 合 わせて 視 野 画 像 を 拡 大 できていることを 確 認 した 図 3 PCモニタ 上 への 出 力 結 果 図 4 目 を 細 める 度 合 いと 視 野 画 像 の 拡 大 効 果 5 TELECOM FRONTIER No.83 2014 SPRING

処 理 時 間 については 学 習 画 像 を Gentle Boosting によって 学 習 するまでの 計 算 時 間 が 60 秒 程 度 であっ た 学 習 については ユーザが 実 際 にシステムを 使 用 する 前 に 実 行 することを 想 定 しているため 特 に 問 題 はない また カメラ 画 像 を 入 力 して 1 フレームあ たりの 処 理 時 間 は 平 均 で 30 40 [ms]であった この 処 理 時 間 は 実 用 する 上 では 問 題 ない 本 研 究 では 画 像 中 心 方 向 に 拡 大 を 行 った 視 認 困 難 で 目 を 細 める 時 は 注 視 している 対 象 が 中 心 部 にあ ることに 基 づいて 行 った しかし ユーザが 見 ている 対 象 がどこなのかは 特 定 していないため 意 図 しない ものを 拡 大 する 可 能 性 がある このことは 今 後 の 課 題 である 4.3 実 験 2 本 実 験 では 被 験 者 から 約 50cm 程 度 前 方 の 壁 に 掛 けてある 時 計 を 視 認 したい 対 象 とした 実 験 1 と 同 様 に 被 験 者 は 意 図 的 に 目 を 細 める 動 作 を 繰 り 返 し システム 動 作 を 確 認 した その 他 の 実 験 条 件 について も 実 験 1 と 同 様 とした 拡 大 処 理 前 と 後 の 視 野 画 像 に 対 して ガウシアンフィルタを 施 して 弱 視 者 の 見 え 方 (ピントが 合 わない 場 合 )を 再 現 した 図 5(a)と(b) はフィルタを 施 す 前 図 5(c)と(d)はフィルタをかけた 後 の 画 像 である 拡 大 することで 時 計 の 文 字 や 針 か ら 現 在 の 時 刻 を 確 認 することができた (a) 晴 眼 者 の 視 野 画 像 (b) 晴 眼 者 視 野 画 像 の 拡 大 結 果 (c) 弱 視 者 の 視 野 画 像 (d) 弱 視 者 視 野 画 像 の 拡 大 結 果 図 5 文 字 読 み 取 りに 対 する 拡 大 処 理 の 効 果 6 TELECOM FRONTIER No.83 2014 SPRING

5. 将 来 展 望 本 研 究 では 弱 視 力 者 支 援 のためのウェアラブルカ メラを 用 いた 映 像 拡 大 インターフェースを 提 案 した システム 全 体 を 実 装 し 目 表 情 に 応 じてリアルタイム で 視 野 画 像 の 拡 大 操 作 を 行 うことができることを 確 認 した 今 後 の 課 題 については 以 下 のことが 考 えられる 今 回 晴 眼 者 に 対 して 意 図 的 に 目 を 細 める 表 情 をして もらい 動 作 を 確 認 した 今 後 は 実 際 の 弱 視 者 によ る 評 価 が 必 要 となる 被 験 者 を 募 って 本 ウェアラブ ルシステムの 使 用 感 について 調 査 検 討 を 行 う 必 要 が ある また 使 用 したカメラの 制 約 により 計 算 機 と してデスクトップ PC を 用 いた 実 際 の 使 用 では 電 源 供 給 や 重 量 の 面 から 問 題 となる 実 用 化 するために は 計 算 機 やウェアラブルシステムの 小 型 化 軽 量 化 が 必 須 である この 研 究 の 発 展 性 として 弱 視 者 の 視 認 困 難 な 場 所 の 収 集 や 困 難 状 況 の 解 析 に 用 いることができると 考 え られる 例 えば 本 システムと 現 在 地 情 報 を 記 録 同 期 できる GPS ロガーや 角 速 度 を 検 出 できるジャイロ センサーを 利 用 することで 視 認 困 難 である 目 を 細 める 時 の 視 野 画 像 を 取 得 し 現 在 地 情 報 を 付 加 する ことが 可 能 となる そして 弱 視 者 の 不 便 な 箇 所 を 自 動 で 地 図 上 にマッピングすることができる 今 後 は 具 体 的 な 手 法 の 検 討 を 行 う 必 要 がある 用 語 解 説 弱 視 者 : 弱 視 者 の 定 義 は 様 々な 見 方 があるが 世 界 保 健 機 関 (WHO)の 定 義 では 両 眼 の 矯 正 視 力 が 0.05 から 0.3 の 者 または 視 力 以 外 の 視 機 能 障 害 があり 学 習 や 日 常 生 活 に 制 約 があるが 主 として 視 覚 におけ る 様 々な 行 動 ができる 者 と 言 われている 矯 正 視 力 が 0.05 から 0.3 とは メガネやコンタクトレンズな どの 矯 正 器 具 を 用 いても 視 力 が 十 分 に 出 ない 状 態 の ことをいう また 両 眼 の 視 力 が 0.05 未 満 である 場 合 を 盲 (blindness)と 呼 ばれる 日 本 眼 科 医 会 によると 弱 視 者 を 含 む 視 覚 障 害 者 は 2007 年 現 在 約 164 万 人 に 上 ると 推 定 されている[6] そのうち 矯 正 視 力 が 0.1 0.5 である 弱 視 者 の 人 数 は 144 万 9,000 人 いる と 推 定 されている また 高 齢 化 に 伴 って 老 眼 や 白 内 障 の 視 覚 障 害 の 人 数 が 増 加 している 今 後 も 増 加 が 予 想 され 2030 年 頃 には 200 万 人 を 超 えると 予 想 される 参 考 文 献 関 連 文 献 [1] R.C. Bryant, C.M. Lee, R.A. Burstein, and E.J. Seibel. Engineering a low-cost wearable low vision aid based on retinal light scanning, In Proc. SID 2004, pp. 23-28, 2004. [2] A. Cassinelli, C. Reynolds, and M. Ishikawa, Augmenting spatial awareness with haptic radar, 10th IEEE International Conference on Wearable Computers (ISWC 2006), pp.100-107, 2006. [3] ウェアビジョン URL: http://wearvision.co.jp/ index.html [4] N. Dalal, B. Triggs, Histograms of oriented gradients for human detection, Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2005. [5] J. Friedman, T. Hastie, and R. Tibshirani, Additive logistic regression: a statistical view of boosting'', The Annals. of Statistics, 28(2), 337-374, April 2000. [6] キャリアブレイン 医 療 介 護 CB ニュース http://www.cabrain.net/news/article/newsid/243 77.html(2012.2.10 アクセス) この 研 究 は 平 成 21 年 度 SCAT 研 究 助 成 の 対 象 と して 採 用 され 平 成 22~24 年 度 に 実 施 されたもの です 7 TELECOM FRONTIER No.83 2014 SPRING