人 間 の 意 図 を 機 械 に 伝 えるインターフェイス 部 屋 の 照 明 をつけるには, 壁 のスイッチを 押 します テレビのチャンネルを 切 り 替 えたり 音 量 を 調 整 したりするには,リモコンのボタンを 押 します 自 動 車 を 運 転 するには,ハンドルを 回 しアクセルや

Transcription

1 視 線 検 出 技 術 使 う 人 の 意 図 を 読 みとる インターフェイス パソコンや 携 帯 電 話 などの 情 報 機 器,テレビや 洗 濯 機, 冷 蔵 庫 などの 家 電 製 品 を 使 うときには,いろいろなスイッチやボタンを 押 したり,ダイヤルをまわしたり します 新 しい 機 械 を 買 ったときには, 複 雑 な 操 作 を 覚 える 必 要 があり 大 変 です そこで, 人 間 が 苦 労 しなくても 機 械 を 使 える 技 術 が 研 究, 開 発 されています 37

2 人 間 の 意 図 を 機 械 に 伝 えるインターフェイス 部 屋 の 照 明 をつけるには, 壁 のスイッチを 押 します テレビのチャンネルを 切 り 替 えたり 音 量 を 調 整 したりするには,リモコンのボタンを 押 します 自 動 車 を 運 転 するには,ハンドルを 回 しアクセルやブレーキを 踏 みます このような 機 械 の 操 作 は, 人 間 が 何 をしたいのかという 意 図 を 機 械 に 伝 えるものです 機 械 は, 人 間 が 操 作 することで 表 示 が 切 り 替 わったり,ランプが 点 滅 したり, あるいはメーターの 針 が 動 いたりして, 機 械 の 状 態 などの 情 報 を 人 間 に 知 らせています このように, 人 間 が 機 械 に 対 して 意 図 を 伝 え, 機 械 がいろいろな 情 報 を 人 間 に 伝 える 機 能 を, 人 間 と 機 械 の 境 界 面 を 意 味 するユーザー インターフェイ スまたはマン マシン インターフェイスと 呼 んでいます ユーザー インターフェイスの 例 パソコンのユーザー インターフェイスの 進 化 機 械 が 複 雑 になるほど, 操 作 は 複 雑 になり, 機 械 が 伝 える 情 報 も 複 雑 になり ます その 代 表 とも 言 えるのがパソコンです 初 期 のパソコンでは, 画 面 に 表 示 できるのは 文 字 だけでした パソコンを 操 作 するには,コマンドと 呼 ばれる 命 令 文 を,キーボードを 使 って 入 力 していまし た そのため,パソコンを 使 いこなすには, 数 多 くのコマンドを 覚 えなければ なりませんでした このような 操 作 方 法 はキャラクター ユーザー インターフェ イスと 呼 ばれていました やがて, 技 術 が 進 歩 して 画 面 に 画 像 が 表 示 できるようになると, 画 面 上 のア イコンやボタン,メニューなどをマウスでクリックしたりドラッグしたりして 操 作 38

3 CUI と GUI Let s Research いつも 使 っている 製 品 に, どのようなユー ザー インターフェイ スが 使 われているか 調 べてみよう するグラフィック ユーザー インターフェイス(GUI)が 登 場 しました ボタン やレバーなどを 使 って 操 作 するゲーム 機 も,GUI の 一 種 です GUI では, 操 作 する 対 象 があらかじめ 画 面 に 表 示 されているので,たくさん のコマンド 名 を 覚 えていなくても 直 感 的 に 操 作 できます その 場 合 でも,たとえ ば,マウスを 使 うならばクリックやドラッグといった, 独 特 の 操 作 を 身 につける 必 要 がありました 進 化 したより 自 然 なユーザー インターフェイス 特 別 な 知 識 や 操 作 を 覚 えなければ 使 えない 機 械 は, 使 いこなせるようになる までに 時 間 がかかったり, 使 っていてストレスを 感 じたりすることがあります 誰 でも 特 別 な 知 識 や 操 作 を 覚 えることなしに 使 えるのが 理 想 ですが,そのような ユーザー インターフェイスを 目 指 して,いろいろな 技 術 が 開 発 されています たとえば,タッチパネルがついたスマートフォンやタブレット PC は, 指 で 直 接 画 面 をタッチして 操 作 します 複 数 の 指 を 使 って 画 面 を 拡 大 したり 縮 小 したり, 回 転 したりできるなど,より 直 感 的 な 作 業 が 可 能 になっています 画 像 で は な く, 音 声 を 使 っ た ユ ー ザ ー イ ン タ ーフェ イ スも 登 場 して い ま す カ ー ナビゲーションシステムでは, 音 声 入 力 で 目 的 地 の 設 定 や 地 図 の 拡 大 ができた 人 間 にとって 自 然 なインターフェイス 39

4 り, 運 転 中 によそ 見 をしなくてもすむように 音 声 で 曲 がりたい 交 差 点 を 教 えてく れたりする 製 品 があります スマートフォンでも, 普 通 の 話 し 言 葉 を 認 識 して 検 索 したりメールを 書 いたりできるものが 登 場 しています テレビでは,カメラを 搭 載 して 利 用 者 の 身 振 り(ジェスチャー)を 認 識 してチャンネルの 切 り 替 えや 音 量 の 調 整 ができるものが, 商 品 化 されています このように, 音 声 や 身 振 りといった 人 間 にとって 自 然 な 方 法 で, 機 械 を 操 作 す る 技 術 の 研 究 が 進 められています 画 面 を 見 るだけでパソコンを 操 作 中 原 区 上 小 田 中 にある 富 士 通 研 究 所 は, 使 っている 人 の 視 線 を 検 出 して 画 面 のスクロールなどができる 視 線 検 出 技 術 を 開 発 して,パソコンに 搭 載 しました 人 間 がどこを 見 ているのかを 調 べる 技 術 は,これまでにもありました 事 故 しょう や 病 気 による 障 がいなどで 手 足 の 不 自 由 な 人 が 操 作 する 福 祉 機 器 や, 自 動 車 を 運 転 している 人 の 行 動 を 研 究 する 実 験,テレビコマーシャルを 見 ている 人 がどの 部 分 に 興 味 をひかれたかを 調 べる 実 験 な どに 利 用 されていましたが, 装 置 が 高 額 であったり, 利 用 者 が 特 殊 なセンサーやカメラつきのメガネのよ うな 装 置 を 身 につける 必 要 がありました 富 士 通 研 究 所 が 開 発 した 技 術 は,パソコンやス マートフォンなどに 搭 載 されているような 小 型 カメ ラと 赤 外 線 を 出 す LED を 使 って, 利 用 者 が 画 面 の どこをみているのかを 検 出 します 利 用 者 は 特 別 な 装 置 などを 身 につける 必 要 がないので, 身 近 なユー 視 線 検 出 技 術 を 搭 載 した パソコン ザー インターフェイスとして 利 用 できます Let s Research 虹 彩 や 角 膜 の 役 割 に ついて 調 べてみよう ひとみの 位 置 で 視 線 を 検 出 どうこう 人 間 の 眼 は 瞳 孔 ( 黒 目 )という 穴 を 通 して 外 からの 光 を 取 り 入 れているので, 眼 全 体 の 中 で 瞳 孔 の 位 置 関 係 がわかれば 視 線 の 方 向 がわかります 瞳 孔 の 位 置 を 検 出 する 方 法 はいくつかあります 一 つは 目 頭 や 目 じりの 位 置 を こうさい 基 準 として,これに 対 する 虹 彩 の 位 置 から 視 線 を 検 出 する 方 法 です この 方 法 人 間 の 眼 の 構 造 40

5 は, 普 通 のデジタルカメラでも 可 能 な 反 面, 基 準 となる 目 頭 や 目 じりが 表 情 の 変 化 などで 移 動 するため 視 線 検 出 の 精 度 が 上 がりにくいという 欠 点 がありました もう 一 つは, 赤 外 線 を 使 ってユーザーの 顔 を 照 らして 角 膜 上 に 赤 外 光 の 反 射 ( 角 膜 反 射 )を 発 生 させ,これと 瞳 孔 の 位 置 関 係 を 利 用 する 方 法 です 角 膜 は 眼 のレンズ 部 分 のもっとも 外 側 にあたる 部 分 です パソコンのディスプレイの 下 に 赤 外 線 LED と 小 型 のカメラを 取 りつけて,LED から 出 た 目 に 見 えない 赤 外 線 が 角 膜 で 反 射 された 光 を 小 型 カメラでとらえるわけです 眼 球 はほぼ 球 体 で 表 情 変 化 などの 影 響 を 受 けないので, 角 膜 反 射 を 基 準 に 瞳 孔 の 位 置 から 視 線 の 方 向 が 検 出 できます また, 赤 外 線 を 使 うことで, 周 囲 の 明 るさなどに 影 響 されずに 高 い 精 度 で 視 線 の 方 向 を 検 出 することができるのです 視 線 を 検 出 する 技 術 1 たとえば, 左 の 図 のように 虹 彩 が 眼 頭 から 離 れていれば, ユーザーは 目 じり 側 を 見 ています 視 線 を 検 出 する 技 術 2 たとえば, 左 の 図 のように 角 膜 反 射 よりも 瞳 孔 が 目 じり 側 にあれば, ユーザーは 目 じり 側 を 見 ています 41

6 検 出 精 度 を 高 める 技 術 コラム 人 間 の 心 を 読 み 取 るブレイン インターフェイス 人 間 と 機 械 とのコミュニケーションの 理 想 系 を 目 指 す 試 みに, 人 間 の 心 を 読 み 取 る ブレイン インターフェ イス があります 以 前 から 研 究 が 進 められ, 運 動 や 五 感 のはたらきにおける 脳 のはたらきはわかってきま した わずかな 電 気 や 磁 気 の 動 きを 探 知 するセンサー が 開 発 されたことで, 脳 のどの 部 分 がどのような 役 割 を 果 たしているのかが, 次 第 に 理 解 されてきました 現 在 でも 脳 波 ( 脳 が 出 す 微 弱 な 電 磁 波 )を 測 定 する ことで, 考 えただけで 義 手 や 車 いすを 動 かすための 研 究 が 行 われています また,アメリカやヨーロッパでは, 脳 の 神 経 構 造 を すべて 解 き 明 かしてコンピュータ 内 で 再 現 してみよう という 研 究 プロジェクトが 進 められています プロジェ クトの 終 了 まで 10 年 近 くかかる 予 定 ですが, 実 用 化 されるのは,さらに 先 のこととなるでしょう 脳 のはたらきを 解 明 する 研 究 は, 脳 やこころの 病 気 脳 波 インターフェイスのイメージ の 治 療 に 役 立 つとともに, 体 の 障 がいを 補 う 機 器 の 開 発 や,コンピュータと 人 のコミュニケーションの 未 来 にも 重 要 な 一 歩 となるでしょう 42

7 検 出 精 度 を 高 める 技 術 富 士 通 研 究 所 の 技 術 では,パソコンやスマートフォンに 内 蔵 されているテレビ 電 話 用 などに 使 われる 比 較 的 安 価 なカメラを 利 用 します 高 価 な 専 用 の 赤 外 線 カメラに 比 べると 不 鮮 明 な 画 像 から 角 膜 反 射 像 を 検 出 するために,いろいろな 画 像 処 理 を 行 っています 人 間 の 視 線 はひとつの 部 分 をじっと 見 つめていることは 少 なく, 常 に 画 面 内 や 画 面 外 にさまよっています そのような 無 意 識 な 視 線 の 移 動 と 意 味 のある 視 線 の 移 動 とを 判 断 する 技 術 も 重 要 になります 操 作 する 人 間 の 意 図 を 読 み 取 ってスクロール 視 線 検 出 技 術 を 搭 載 したパソコンでは, 画 面 の 端 に 眼 を 向 けると 自 動 的 にメ ニューを 表 示 したり, 視 線 に 合 わせて 地 図 アプリやインターネットブラウザーの 画 面 をスクロールして 表 視 線 検 出 技 術 の 応 用 例 示 したりすることができ ます マウスのような 細 かな 操 作 を 行 うわけで はありませんが, 地 図 であればもうちょっと 端 のところが 見 たいとき, インターネットのページ であれば 最 後 まで 読 ん 人 が 意 識 して 操 作 する だときなどに,パソコ のではなく, 人 の 行 動 を 見 て 次 に 要 求 される ン 側 が 自 動 的 に 人 間 の 情 報 をパソコンが 予 測 意 図 を 読 み 取 って 動 い して 用 意 する てくれるわけです 人 間 が 操 作 する 機 械 から 人 間 の 行 動 をサポートする 機 械 へ これまでのユーザー インターフェイスは, 人 間 が 意 識 して 操 作 するものでし た けれども, 視 線 検 出 技 術 は 明 らかな 操 作 ではなく, 人 間 がパソコンを 使 うときの 自 然 な 動 作 を 機 械 が 読 みとって,そのサポートをすることができます 人 間 が 近 づくと 開 く 自 動 ドアや, 人 間 が 入 ってくると 自 動 的 につく 照 明, 手 をか ざせば 水 の 出 る 蛇 口 なども, 同 じように 人 間 が 機 械 を 操 作 するのではなく, 機 械 が 人 間 の 意 図 を 読 み 取 っているといえます このような, 機 械 が 使 う 人 間 の 意 図 を 読 み 取 るしくみが 発 展 していけば,や がて 人 間 が 操 作 しているという 感 覚 なしにパソコンやスマートフォンがインター ネットで 天 気 を 調 べて 教 えてくれたり, 撮 った 写 真 を 友 達 に 送 ってくれたりする ようになるかもしれません また,テレビを 見 ているときに 電 話 がかかってきた ら, 自 動 的 にテレビの 音 量 を 小 さくして 録 画 をはじめるといったことが,できる ようになるかもしれません Let s Research 未 来 のユーザー イン ターフェイスを 考 えて みよう 43

8 株 式 会 社 富 士 通 研 究 所 場 所 : 川 崎 市 中 原 区 上 小 田 中 問 い 合 わせ 先 : Keywords 次 のキーワードを 組 み 合 わせて,インターネットの 検 索 エンジンで 調 べてみよう ユーザー インターフェイス/ GUI /ポインティングデバイス/ 可 視 光 線 / 赤 外 線 インタビュー 人 間 をサポートする 機 械 をつくっていきたい 子 どもの 頃 からテレビや 映 画, 写 真 といった 映 像 に 興 味 があって, 画 像 を 処 理 する 技 術 を 勉 強 していまし た 会 社 に 入 ってからはいろいろな 部 署 でさまざまな 仕 事 を 経 験 しましたが, 結 局 現 在 は 画 像 処 理 の 仕 事 に 戻 って, 視 線 検 出 技 術 の 研 究 開 発 部 のとりまとめを 担 当 しています 今 の 仕 事 では, 開 発 チームをまとめあげて, 製 品 を 製 造 する 部 門 の 人 たちともやりとりをする 必 要 があるの で,コミュニケーションが 重 要 になります 視 線 検 出 は 人 の 行 動 を 知 る 技 術 であり,パソコンを はじめとした 機 械 が 人 間 の 行 動 に 合 わせ 必 要 な 情 報 を 株 式 会 社 富 士 通 研 究 所 メディア 処 理 システム 研 究 所 イメージコンピューティング 研 究 部 小 田 切 淳 一 さん 先 回 りしてそろえて 提 供 するという 次 世 代 のユーザー かなめ インターフェイスの 要 です パソコンや 機 械 が 人 間 に 対 してこのボタンを 押 せと 要 求 するのではなく,あくまで 人 間 中 心 の 社 会 をサポートする 機 械 を 作 っていきたい と 思 います 44