図 2 システムのフローチャート 2.2 文 字 認 識 画 像 認 識 による 文 字 認 識 は 英 単 語 を 対 象 にし スマー トフォンやタブレットのようなデバイスのカメラで 単 語 を 撮 影 し 画 面 中 のワードを 認 識 できる 実 際 に 英 単 語 を 撮 ると オートズー

研 究 論 文 鳴 門 教 育 大 学 情 報 教 育 ジャーナル No.12 pp.27-31 2015 画 像 認 識 技 術 を 用 いた 体 験 型 英 単 語 学 習 支 援 システムの 開 発 馬 文 鵬 *, 皆 月 昭 則 **, 林 秀 彦 *** ***, 伊 藤 陽 介 体 験 型 英 単 語 学 習 とは 従 来 の 講 義 のような 一 方 向 の 知 識 伝 達 型 の 学 習 ではなく 学 習 者 が 英 単 語 の 発 見 理 解 記 憶 を 体 験 的 に 学 習 することを 指 す 本 稿 では 画 像 認 識 技 術 を 活 用 した 体 験 型 英 単 語 学 習 支 援 システムを 提 案 し その 一 部 の 機 能 を 実 装 評 価 する 提 案 し たシステムはモバイルデバイスの 最 大 の 利 点 (モバイル 環 境 と Web カメラ)を 利 用 し 目 の 前 の 英 単 語 を 対 象 にし 認 識 クラウド 翻 訳 により 単 語 情 報 を 検 索 したり 学 習 者 の 問 題 を 解 決 したりする 特 徴 がある 本 稿 では 開 発 したシステムの 性 能 評 価 とユーザビリティ 評 価 実 験 について 述 べ 新 たな 英 単 語 学 習 方 法 の 可 能 性 を 示 唆 する [キーワード: 体 験 型 英 単 語 学 習, 画 像 認 識 技 術, 学 習 支 援 システム,モバイルデバイス] 1. はじめに 現 在 ポストPC 時 代 と 呼 ばれ いわゆる モバイルデ バイス 時 代 である モバイルデバイスは 既 存 のPCに 比 べて 携 帯 性 に 優 れており また 無 線 通 信 によるインター ネット 接 続 を 前 提 として 設 計 されている そのため い つでも どこでも そのデバイスを 利 用 できるという 最 大 の 利 点 がある また デバイスにカメラが 搭 載 されて いる 場 合 これまでのPC 時 代 に 蓄 積 されてきた 画 像 認 識 技 術 を 応 用 して 活 用 することができれば 人 間 の 視 覚 シ ステム 機 能 を 模 倣 したり あるいは 代 替 したり さらに は 拡 張 することによって 人 間 のあらゆる 活 動 をサポー トする 役 割 を 果 たすことができる 本 稿 では これらの モバイルデバイスの 利 点 に 着 目 し 画 像 認 識 技 術 を 用 い た 体 験 型 英 単 語 学 習 支 援 システムの 概 念 を 提 案 し その システムについて 一 部 の 実 装 した 機 能 を 中 心 に 述 べる 本 研 究 では 意 味 (meaning) スペリング(spelling) 発 音 (pronunciation)の 各 方 面 から 語 彙 力 を 高 める 英 単 語 学 習 支 援 システムを 提 案 する 提 案 したシステムはモ バイルデバイスの 利 点 を 活 用 し 目 の 前 の 英 単 語 対 象 を 認 識 し クラウド 技 術 を 通 して その 単 語 の 翻 訳 情 報 を 学 習 者 に 提 示 する この 目 の 前 の 英 単 語 対 象 とは 人 の 視 覚 認 知 機 能 に 属 する 範 囲 である 例 えば 本 写 真 映 像 などに 書 かれている 文 字 を 指 す このシステムは 単 語 対 象 の 認 識 機 能 翻 訳 機 能 が 日 常 生 活 または 学 習 活 動 などのあらゆる 活 動 を 支 援 することができる とくに 言 語 の 習 得 英 単 語 による 新 事 物 の 発 見 認 知 などの 活 動 に 良 い 影 響 を 与 えることをねらいとしたシステムであ る 2. 提 案 システム 2.1 システム 概 要 開 発 環 境 はEclipse(4.2.1)+ADT(22.2.1)を 用 いた ま た 本 システムはAndroid 開 発 におけるVuforia SDK[1]を 使 用 した Vuforiaを 使 うとこにより タブレットが 英 単 語 を 読 み 取 り クラウド 翻 訳 サービスを 通 してスクリーン の 上 に 翻 訳 文 を 提 示 する 図 1は 本 システムの 実 行 画 面 である 本 稿 では 図 に 示 すように 英 単 語 のスペリングと 日 本 語 の 意 味 を 提 示 する 機 能 について 述 べる 図 2に 処 理 のフローチャートを 表 す 図 1 実 装 したシステムの 実 行 画 面 * 鳴 門 教 育 大 学 大 学 院 ( 博 士 課 程 ) 教 科 領 域 教 育 専 攻 生 活 健 康 系 コース( 技 術 工 業 情 報 ) 27 ** 釧 路 公 立 大 学 経 済 学 部 *** 鳴 門 教 育 大 学 大 学 院 生 活 健 康 系 教 育 部

図 2 システムのフローチャート 2.2 文 字 認 識 画 像 認 識 による 文 字 認 識 は 英 単 語 を 対 象 にし スマー トフォンやタブレットのようなデバイスのカメラで 単 語 を 撮 影 し 画 面 中 のワードを 認 識 できる 実 際 に 英 単 語 を 撮 ると オートズームにより 連 続 的 なフレームプレ ビューの 中 からフレームを 抽 出 する 抽 出 されたフレー ムは 画 像 として メモリに 保 存 する システムはメモリ にあるフレーム 画 像 を 取 り 込 み 文 字 エリアを 抽 出 する ( 図 3) システムは 抽 出 された 文 字 エリアの 画 像 をOpenGL の 関 数 によって 二 値 化 処 理 し ワードをキャラクターで 分 割 する これらの 単 一 キャラクターの 画 像 がVuforia に 提 供 されたテンプレートマッチングにより どのキャ ラクターかを 確 認 する Vuforiaのテンプレートマッチン グはUTF-8のキャラクターエンコーディングに 依 存 し サポートするキャラクターは[LF] [SPACE] ['] [-] [A]~[Z] [a]~[z]の56 個 と 限 定 している これらのキャ ラクターで 構 成 されるワードを 受 け 入 れることができる そして システムはこれらのワードをVuforia SDKに 提 供 される13 万 超 えの 単 語 リスト( 辞 書 )とマッチングする マッチングが 成 功 した 場 合 は そのワードが 実 在 するこ とになる ワード 認 識 の 要 件 は 以 下 のとおりである 文 字 数 は2 以 上 24 以 下 である ハイフンを 含 められる ( 例 えば mother-in-law ) スペースを1つ 含 められる ( 例 えば hot dog ) 数 字 を 含 められない また フォントとスタイルについて システムはセリ フ(serif)とサンセリフ(sans serif)のフォントを 認 識 できる そして サポートするスタイルはプレイン (plain) 太 字 (bold) イタリック 体 (italic) アン ダーライン(underline)を 含 め 4つの 任 意 の 組 み 合 わ せも 含 めることができる 様 々なスタイルにも 同 じ 単 語 内 の 個 々の 文 字 に 適 用 できる すなわち 単 一 の 単 語 は 異 なるスタイルを 含 むことができる とくに シス テムは 単 語 の 文 字 が 色 で 書 かれる 場 合 でも 認 識 できる 2.3 クラウド 翻 訳 図 3の 手 法 により 認 識 した 単 語 は インターネットを 通 して クラウド 翻 訳 サービスのサポートにより 単 語 を 翻 訳 する 翻 訳 のプロセスは 図 4に 示 している システムは 認 識 さ れたワードをURLでクラウド 翻 訳 サービスに 提 出 する ワー ドが 正 しく 翻 訳 された 場 合 ( 成 功 の 場 合 ) その 結 果 のデー タをJSONのフォーマットでシステムに 返 す そのあと システムはJSONのデータを 解 析 し 翻 訳 された 単 語 を 抽 出 する また ワードが 正 しく 翻 訳 されなかった 場 合 ( 失 敗 の 場 合 ) エラーを 返 す 図 4 クラウド 翻 訳 サービスによる 翻 訳 のプロセス 図 3 フレームプレビューによる 文 字 抽 出 No.12 (2015) 28

グループ (G) 実 験 単 語 (10 項 目 /G) 表 1 各 グループに 分 けた 文 字 の 認 識 率 と 翻 訳 の 成 功 率 G1 G2 G3 G4 G5 G6 with so inquiry confidence nothing issue for faith something since across statement through around still order behind would like might take as love what have any leave right division remove appreciate used to whole to awesome evidence circumstance about may hold ensure snow must favor celebrate available serious get follow bring how would implement into reputation from weird look forward to on behalf of I m afraid fall 認 識 率 100% 100% 90% 80% 90% 100% 翻 訳 成 功 率 100% 100% 90% 80% 90% 100% 3. 評 価 実 験 提 案 システムは デバイスのカメラで 文 字 を 読 み 取 っ て クラウド 翻 訳 サービスを 通 して 日 本 語 に 翻 訳 する 機 能 である 実 装 した 機 能 が 正 しく 動 作 することを 確 認 す る 性 能 評 価 実 験 と 実 装 した 機 能 が 既 存 の 英 単 語 情 報 検 索 手 段 と 比 較 して 学 習 者 にとってどのような 有 用 性 を 見 出 すかを 評 価 するユーザビリティ 評 価 実 験 を 実 施 した また ユーザビリティ 評 価 実 験 では 今 後 のシステム 改 良 のためのユーザビリティ 評 価 データを 収 集 することを 目 的 とした 以 下 に 評 価 実 験 について 述 べる 3.1 性 能 評 価 実 験 (1) 目 的 性 能 評 価 実 験 は 瞬 時 翻 訳 の 機 能 を 実 装 し 機 能 が 正 しく 実 装 されていることを 確 認 するための 性 能 評 価 実 験 を 目 的 とした とくに 文 字 ( 英 語 )の 認 識 率 翻 訳 の 成 功 率 認 識 してから 翻 訳 するまでの 平 均 処 理 時 間 につ いて 性 能 を 評 価 した (2) 方 法 Web 上 のgoo 辞 書 [2]に 提 供 される 検 索 ランキングとして 表 示 された60 個 の 英 語 ( 単 語 またはフレーズ)を 対 象 と する 60 個 の 英 語 は 表 1に 示 すように 6つのグループ に 分 かれ 1つのグループは10 項 目 で 構 成 されており 単 語 やフレーズが 含 まれている このリストを 対 象 とし て 文 字 認 識 率 と 翻 訳 成 功 率 を 比 較 する ここで 文 字 認 識 率 は 1グループ10 項 目 に 対 して カメラが 正 しく 認 識 した 項 目 の 割 合 である 翻 訳 認 識 率 は 各 項 目 に 対 して 正 しく 翻 訳 した 項 目 の 割 合 である (3) 結 果 表 1は 各 グループに 分 けた 文 字 の 認 識 率 と 翻 訳 の 成 功 率 の 結 果 である 認 識 率 はグループ4が 最 低 ( 80%)となり グループ1 グループ2 グループ6が 最 高 (100%)と なった また 表 1に 示 すように 各 グループの 翻 訳 の 認 識 率 は 各 グループの 文 字 の 認 識 率 にそれぞれ 対 応 した 結 果 となった (4) 考 察 実 験 の 結 果 グループ3の look forward to グルー プ4の on behalf of と implement グループ5の I m afraid 4つの 英 語 による 文 字 認 識 が 失 敗 した その 原 因 を 次 に 分 析 する 原 因 1: 項 目 look forward to はシステムに look forward to という3つの 文 字 として 認 識 された これは それぞれの 単 語 として の 認 識 は 成 功 しているが 項 目 としての 認 識 は 正 しくない このように 認 識 された 原 因 は スペースを1つのみ 含 められる という 要 件 を 満 たしていないためと 考 察 できる 原 因 2: 項 目 on behalf of は 上 記 と 同 じ 理 由 だと 考 察 できる 原 因 3: 項 目 implement は lenient と 認 識 され た しかしながら implement の 文 字 サ イズを 大 きく 表 示 した 場 合 は 正 しく implement として 認 識 された また 被 験 者 がデバイスを 持 つ 姿 勢 を 調 整 した 場 合 は implement として 正 しく 認 識 された No.12 (2015) 29

電 子 辞 書 シ ス テ ム 表 2 電 子 辞 書 と 提 案 システムによる 実 験 結 果 英 単 語 グループ 平 均 総 時 間 検 索 手 段 1 2 3 4 5 6 時 間 XD(A) 45.25s 47.80s 55.75s 47.75s 42.51s 45.56s 284.62 4.74s XD(B) 50.03s 44.33s 60.93s 43.08s 39.81s 35.15s 273.33s 4.56s XD(A+B)/2 47.64s 46.07s 58.34s 45.42s 41.16s 40.36s 278.98s 4.65s AT700(A) 9.28s 11.18s 10.59s 9.27s 9.96s 10.66s 60.94s 1.02s AT700(B) 9.76s 10.55s 9.87s 10.69s 10.31s 9.96s 61.14s 1.02s AT700(A+B)/2 9.52s 10.87s 10.23s 9.98s 10.14s 10.31s 61.05s 1.02s 原 因 4: 項 目 I m afraid は I m と afraid と いう2つの 文 字 として 認 識 された アポストロ フィ は サポートされているキャラクター であり I m afraid は2.2 節 に 記 した 要 件 ス ペースを1つ 含 められる にも 準 拠 している し かし I m afraid は 英 語 のフレーズに 属 する ため フレーズは このシステムの 対 象 外 であ るので 正 しく 認 識 されなかったと 考 察 してい る 翻 訳 成 功 率 については 認 識 された 文 字 はすべて 正 し く 翻 訳 された そのため 翻 訳 成 功 率 は 文 字 の 認 識 率 に 対 応 した 文 字 認 識 と 翻 訳 の 平 均 処 理 時 間 は カメラに 画 像 が 表 示 されてから1 秒 以 内 であった この 翻 訳 の 実 験 では 認 識 率 が 文 字 の 構 成 (フレーズ かどうか) 文 字 のサイズ ユーザの 姿 勢 等 に 影 響 され 翻 訳 の 成 功 率 は 文 字 の 認 識 率 に 依 存 している そのため 提 案 システムは 文 字 サイズおよび 被 験 者 がデバイスを 持 つ 姿 勢 等 のカメラと 対 象 の 位 置 関 係 について どのよ うな 制 限 があるのかを 今 後 明 らかにすることによって 利 用 の 可 能 性 を 広 げることが 期 待 できる 3.2 ユーザビリティ 評 価 実 験 (1) 目 的 既 存 の 英 単 語 検 索 手 段 と 比 較 して 提 案 システムは 検 索 時 間 が 短 いという 仮 説 を 立 て ユーザビリティ 評 価 実 験 では この 仮 説 を 検 証 することを 目 的 とした また 同 時 に 今 後 のシステム 改 良 のためのユーザビリティ 評 価 デー タを 収 集 することも 合 わせて 行 った (2) 方 法 この 実 験 では 2 人 の 被 験 者 が60 個 の 英 語 ( 単 語 また はフレーズ)を 電 子 辞 書 (CASIO Ex-word XD-SF4800[3]) に 入 力 し 翻 訳 情 報 が 表 示 されるまでの 時 間 ( 総 時 間 ) を 計 算 する また 電 子 辞 書 による 入 力 と 瞬 時 翻 訳 機 能 の 時 間 効 率 を 比 較 するため 1つの 単 語 あたりの 時 間 ( 平 均 時 間 )を 計 算 する 時 間 の 測 定 は 60 個 の 英 語 ( 単 語 またはフレーズ)を6つのグループに 分 けて 行 った (3) 結 果 実 験 結 果 を 表 2に 示 す 表 2に 示 すXD(A) XD(B) XD(A+B)/2は それぞれ 被 験 者 A 被 験 者 B そして 被 験 者 Aと 被 験 者 Bの 平 均 の 電 子 辞 書 による 入 力 の 結 果 を 示 し AT700(A) AT700(B) AT700(A+B)/2は 提 案 するシステム の 翻 訳 機 能 を 使 用 した 結 果 を 同 様 に 示 している 表 2に 示 すように 電 子 辞 書 による 実 験 結 果 は Aの 総 時 間 284.62 秒 となり 平 均 時 間 が4.74 秒 となった Bの 総 時 間 273.33 秒 となり 平 均 時 間 が4.56 秒 となった (A+B)/2 の 総 時 間 278.98 秒 となり 平 均 時 間 が4.65 秒 となった 提 案 システムの 翻 訳 の 実 験 結 果 は 総 時 間 が61.05 秒 とな り 平 均 時 間 が1.02 秒 となった 総 時 間 の 比 較 結 果 から システムの 翻 訳 機 能 は 被 験 者 Aと 被 験 者 Bの 平 均 による 電 子 辞 書 の 入 力 に 比 べて 60 個 の 英 語 に 対 して 約 218 秒 分 の 短 い 時 間 で 検 索 できることを 示 した また これは 時 間 効 率 に 換 算 して 約 4.56 倍 の 高 い 効 率 であることを 示 した (4) 考 察 表 2に 示 した 平 均 時 間 の 結 果 から 既 存 の 英 単 語 検 索 手 段 と 比 較 して 提 案 システムは 検 索 時 間 が 短 いことが 示 された 電 子 辞 書 の 場 合 とくに 実 際 に 実 験 したとき 英 語 ( 単 語 またはフレーズ)の 文 字 数 が 少 ない 場 合 ( 例 えば: as ) 入 力 する 時 間 が 約 1 秒 であったり 文 字 数 が 多 い 場 合 ( 例 えば: construction ) 十 数 秒 であっ たり 文 字 数 によって 時 間 にばらつきが 生 じる 結 果 となっ た これに 対 して 瞬 時 翻 訳 の 場 合 は1 秒 以 内 であった ので ばらつきが 少 ない goo 辞 書 による 英 語 は 単 語 とフレーズを 含 め 単 語 の 場 合 は 電 子 辞 書 とデバイスに 入 力 して 直 接 翻 訳 できる フレーズの 場 合 は 電 子 辞 書 とシステムのどちらも 認 識 できない 状 況 がある この 状 況 に 対 して 電 子 辞 書 が 認 識 できなくでも 提 案 システムは 認 識 できない 単 語 を 追 加 リストに 加 え 認 識 できるようにする 機 能 を 備 えてい る 利 点 がある また 電 子 辞 書 への 文 字 入 力 は 単 語 の 文 No.12 (2015) 30

字 数 によって 影 響 を 受 けるが 提 案 したシステムは そ の 点 は 大 きく 影 響 しないため 単 語 の 文 字 数 を 多 くした 場 合 は 電 子 辞 書 に 比 べて 時 間 効 率 はさらに 高 くなるこ とが 予 想 できる 4. 考 察 提 案 した 英 単 語 学 習 支 援 システムを 実 装 し そして 文 字 ( 英 語 )の 認 識 率 翻 訳 の 成 功 率 認 識 してから 翻 訳 するまでの 平 均 処 理 時 間 について 評 価 実 験 を 行 った シ ステムの 翻 訳 機 能 における 評 価 実 験 では Webカメラを 用 いた 入 力 インターフェースから 獲 得 した 情 報 を 画 像 認 識 し 文 字 情 報 をカメラで 読 み 取 って 瞬 時 翻 訳 できる 結 果 が 得 られた 電 子 辞 書 検 索 エンジンなどの 一 般 的 な 翻 訳 手 段 と 比 べて 提 案 システムの 翻 訳 機 能 は キーボー ドからの 入 力 がいらなく デバイスを 目 の 前 の 対 象 に 向 け 撮 影 することで 情 報 を 入 力 できる そのため ユー ザはモバイルデバイスのキーボードからの 入 力 ミスによ る 煩 わしさから 解 放 される また 目 の 前 の 対 象 を 撮 影 できるため 提 案 したシステムは 実 世 界 の 情 報 を 検 索 で きる 特 徴 を 有 している 従 って 言 語 学 習 などの 場 面 に おける 活 用 の 効 果 を 高 めることが 期 待 できる 今 後 の 課 題 として 本 システムは 英 単 語 を 学 習 する ことを 支 援 するシステムであり 体 験 を 通 した 利 用 に 重 点 が 置 かれているため システム 開 発 時 点 においては 利 用 者 の 行 動 予 測 モデルの 確 立 は 十 分 ではない 点 が 挙 げら れる そのため システムの 利 用 テスト 期 間 を 経 て 今 後 は 利 用 者 に 対 するシステム 利 用 上 の 注 意 説 明 を 行 うた めの 資 料 準 備 とそれに 伴 う 問 題 点 の 抽 出 を 予 定 している システム 利 用 における 問 題 点 の 抽 出 には クラウド 翻 訳 サービスを 利 用 する 点 についての 利 用 者 への 配 慮 事 項 の 追 記 説 明 等 が 挙 げられる 語 対 象 の 基 本 情 報 を 示 すことができる 提 案 したシステ ムは 文 字 情 報 に 対 して 翻 訳 する 機 能 を 備 えているため 学 習 者 は 第 二 言 語 の 学 習 にも 役 立 てることができる と くに 学 習 者 が 実 際 の 生 活 環 境 の 中 からシステムを 介 し て 言 語 を 発 見 することの 喜 びや 言 語 学 習 活 動 を 通 した 体 験 による 発 見 感 動 を 導 き 実 世 界 における 言 語 の 理 解 を 深 めることに 波 及 する また 提 案 したシステムは 自 然 に 遊 びのなかに 取 込 まれるようにして 学 習 者 がデ バイスを 遊 具 として 活 用 するなかで 言 語 学 習 に 興 味 を 覚 え 言 語 能 力 を 育 成 することも 期 待 している 参 考 文 献 [1] Vuforia SDK, http://www.vuforia.com/ [2] goo 辞 書 検 索 ランキング, http://dictionary.goo.ne.jp/ej/ [3] CASIO Ex-word XD-SF4800 の 仕 様, http://casio.jp/exword/products/model/spec/?co de=xd-sf4800&navi=l1d_01 5. まとめ 言 語 能 力 の 育 成 は 重 要 な 教 育 の 課 題 である 言 語 の 重 要 性 は 母 国 語 教 育 などの 限 られた 場 面 にとどまらず 学 習 者 の 生 活 全 般 あるいは 生 涯 にわたっている その 最 適 な 学 習 時 期 については 本 稿 の 言 及 する 範 囲 ではないが 学 校 への 入 学 は ひとつの 大 きな 節 目 であり この 時 期 を 目 途 に 一 定 の 言 語 能 力 の 習 得 が 期 待 される 現 在 の 日 本 では 言 語 教 育 は 主 に 学 校 家 庭 において 育 成 されている 具 体 的 には 日 常 の 遊 びの 中 の 活 動 あ るいは 通 常 のコミュニケーション 活 動 を 通 して 教 科 書 などの 言 語 教 材 その 他 の 教 材 に 親 しませることに 中 心 が おかれている 提 案 する 英 単 語 学 習 支 援 システムは 従 来 の 言 語 教 育 環 境 に 依 存 しない すなわち 学 校 家 庭 の 環 境 ではない 日 常 の 生 活 において デバイスの 画 像 認 識 技 術 により 学 習 者 にとって 新 事 物 を 認 識 し その 英 No.12 (2015) 31