共 生 社 会 に 向 けた 人 間 調 和 型 情 報 技 術 の 構 築 平 成 22 年 度 採 択 研 究 代 表 者 H24 年 度 実 績 報 告 黄 瀬 浩 一 公 立 大 学 法 人 大 阪 府 立 大 学 大 学 院 工 学 研 究 科 教 授 文 字 文 書 メディアの 新 しい 利 用 基 盤 技 術 の 開 発 と それに 基 づく 人 間 調 和 型 情 報 環 境 の 構 築 1. 研 究 実 施 体 制 (1) 黄 瀬 グループ 1 研 究 分 担 グループ 長 : 黄 瀬 浩 一 ( 大 阪 府 立 大 学 大 学 院 工 学 研 究 科 教 授 ) (c) 実 時 間 文 字 認 識 (d) 実 時 間 文 書 画 像 検 索 (e) 全 方 位 認 識 (f) 検 索 に 基 づく Reading-life log (g) 文 字 文 書 メディアに 対 する 拡 張 現 実 (2) 大 町 グループ 1 研 究 分 担 グループ 長 : 大 町 真 一 郎 ( 東 北 大 学 大 学 院 工 学 研 究 科 教 授 ) (c) 付 加 情 報 に 基 づく 文 字 切 り 出 し 認 識 (d) 全 方 位 認 識 (3) 内 田 グループ 1 研 究 分 担 グループ 長 : 内 田 誠 一 ( 九 州 大 学 大 学 院 システム 情 報 科 学 研 究 院 教 授 ) (c) 認 識 に 基 づく Reading-life log 1
2. 研 究 実 施 内 容 ( 文 中 に 番 号 がある 場 合 は(3-1)に 対 応 する) (1) 黄 瀬 グループ 局 所 特 徴 量 と 最 近 傍 探 索 を 用 いる 文 字 認 識 手 法 の 開 発 を 進 めた 特 に 今 年 度 は 高 速 化 に 注 力 した 具 体 的 には 認 識 対 象 文 字 の 認 識 困 難 さに 応 じて 適 応 的 に 認 識 する 手 法 を 提 案 した こ の 手 法 は Anytime Algorithm の 性 質 を 満 たす 実 験 により 同 一 の 認 識 結 果 を 得 るために 必 要 な 処 理 時 間 が 従 来 よりも 小 さくなることが 確 認 できた 大 量 のデータに 少 ない 労 力 で 正 解 ラベルを 付 与 するために 少 数 のラベル 付 きデータを 用 いて 識 別 器 の 性 能 向 上 と 同 時 に 自 動 ラベル 付 けを 実 現 した 従 来 法 と 異 なり 文 字 画 像 を 手 動 で 切 り 出 していない 撮 影 したままの 画 像 に 適 用 可 能 である また スペイン バルセロナの Computer Vision Center と 共 同 で 動 画 中 のアルファベットのデータベースを 作 成 している このうち 一 部 は 既 に ICDAR 2013 Robust Reading Competition の 一 部 として 公 開 済 みである (c) 実 時 間 文 字 認 識 (a)のベース 認 識 装 置 の 項 目 で 述 べた Anytime Algorithm を 日 本 語 ( 漢 字 ) 認 識 の 手 法 に 適 用 し 高 速 化 を 図 った (d) 実 時 間 文 書 画 像 検 索 [A-1] 1 億 ページのデータベースに 対 して 26.8 ms/query 検 索 精 度 98.7%を 達 成 した これは 目 標 (200ms/query, 90% 以 上 )を 大 幅 に 上 回 るものである (e) 全 方 位 認 識 全 方 位 認 識 で 重 要 となる 低 解 像 度 画 像 への 対 処 を 行 った 具 体 的 には 低 解 像 度 画 像 に 対 し ても 有 用 な 局 所 特 徴 量 の 開 発 を 試 みた その 結 果 同 一 フォントで 幾 何 歪 みがない 場 合 であれば 比 較 的 高 速 に 認 識 可 能 なことが 分 かった (f) 検 索 に 基 づく Reading-life log[a-2],[a-3] 文 書 画 像 検 索 に 基 づく Reading-life log の 応 用 として 万 語 計 (ユーザが 読 んだ 単 語 数 を 推 定 するシステム) 視 線 などのセンサー 情 報 を 用 いて 文 書 を 読 んでいるかどうか 読 んでいる 場 合 に はどのジャンルの 文 書 を 読 んでいるかを 推 定 するシステム 文 書 の 理 解 度 を 推 定 するシステムを 構 築 した また Reading-life log とペアになるアイデアとして Writing-life log を 提 案 した (g) 文 字 文 書 メディアに 対 する 拡 張 現 実 アイトラッカにヘッドマウントディスプレイを 接 続 し ユーザが 読 んでいる 文 書 に 対 する 補 足 情 報 を 実 時 間 で 提 示 するシステムを 構 築 した (2) 大 町 グループ 2
動 画 像 を 用 い 統 計 的 手 法 により 低 解 像 度 文 字 を 高 精 度 に 認 識 する 手 法 を 開 発 した 相 互 部 分 空 間 法 を 基 本 とし 認 識 結 果 の 候 補 が 誤 っている 可 能 性 が 高 い 場 合 にのみ 類 似 したカテゴリと の 差 異 に 着 目 した 認 識 を 行 なうことで 精 度 を 高 めることを 可 能 とした フォントの 自 動 合 成 による 大 規 模 データベース 構 築 に 引 き 続 き 取 り 組 んでいる あるフォントと 同 じ 特 徴 を 持 つフォントを 自 動 的 に 合 成 するための 方 針 について 検 討 した (c) 付 加 情 報 に 基 づく 文 字 切 り 出 し 認 識 付 加 情 報 を 利 用 することで 文 字 を 高 精 度 に 認 識 するための 方 法 として 色 情 報 を 活 用 す る 手 法 を 検 討 した 人 間 が 視 認 しづらく,かつカメラで 読 み 取 れる 色 の 変 化 を 与 えるため に,YIQ 表 色 系 の 色 差 信 号 Q のグラデーションを 変 えることにより 文 字 の 言 語 情 報 を 埋 め 込 み ある 程 度 の 精 度 で 情 報 の 取 り 出 しが 可 能 であることを 確 認 した また 文 字 フォン トの 自 動 構 築 法 についても 前 年 度 に 引 き 続 き 検 討 している 文 字 の 骨 格 をグラフで 表 し グラフのエッジ 部 分 にパーツを 貼 り 付 けることでフォントを 構 築 する 手 法 を 提 案 した (d) 全 方 位 認 識 全 方 位 カメラとパーソナルコンピュータを 用 いたプロトタイプの 実 験 機 を 用 い 全 方 位 認 識 の 高 速 化 高 精 度 化 に 取 り 組 んだ 全 方 位 カメラを 用 いる 場 合 取 得 される 画 像 が 大 き いことから 高 速 処 理 が 可 能 なエッジを 利 用 して 文 字 領 域 を 抽 出 し その 後 文 字 領 域 か 否 かを 検 証 することで 高 精 度 化 を 達 成 する 手 法 を 検 討 した 文 字 領 域 か 否 かの 検 討 に 文 字 領 域 マップとエッジを 活 用 する 手 法 を 提 案 し アルゴリズムの 見 直 しにより 高 速 化 を 図 った (3) 内 田 グループ [C-4,12] 環 境 内 の 多 様 な 文 字 を 高 精 度 に 検 出 し 認 識 するためのベース 認 識 手 法 について 部 品 に 基 づく 文 字 検 出 認 識, 多 重 仮 説 に 基 づく 文 字 検 出 認 識, 誘 目 性 を 用 いた 文 字 検 出, 位 相 構 造 に 基 づく 文 字 検 出,の4 点 について 検 討 し,いずれの 利 点 も 実 証 した.いずれも 情 景 内 文 字 の 全 く 異 なる 性 質 に 着 目 した 検 出 認 識 法 であり, 組 合 せ 効 果 にも 期 待 している. [C-8] Ground-truth 付 きシーン 文 字 画 像 データベースを 作 成 した 世 界 中 で 標 準 的 に 用 いられ ている ICDAR2011 Robust Reading Database を 含 む 一 般 情 景 画 像 3000 枚 について, 画 素 レベルの Ground-truth( 各 画 素 が 文 字 領 域 に 属 するか 否 か)を 付 与 した 一 部 は ICDAR2013 の 情 景 内 文 字 検 出 認 識 コンペの 課 題 画 像 セットとして 利 用 される.このデ ータセットは 現 時 点 で 世 界 最 大 規 模 である.また 大 規 模 文 字 データセットの 統 計 的 性 質 を ネットワーク 解 析 技 術 により 明 らかにする 研 究 も 同 時 並 行 して 多 数 進 めている. (c) Reading-life log Reading-life log の 実 現 を 目 的 として 認 識 ベース Reading-life log のプロトタイプ 実 装 を 行 った. 当 初 アイトラッカで 視 線 付 近 の 文 字 画 像 を 得 るシステムを 構 築 していた.しかし, 3
視 線 位 置 の 精 度 が 不 十 分 で,かつ OCR 処 理 に 耐 えうる 画 像 が 得 られなかったため, 今 年 度 後 半 からはハイスピードヘッドマウントカメラにより 顔 方 向 の 画 像 を 得 ることとした. 結 果 は 良 好 で,90% 以 上 の 認 識 率 を 得 るに 至 った. 3. 成 果 発 表 等 (3-1) 原 著 論 文 発 表 論 文 詳 細 情 報 [A-1] 竹 田 一 貴, 黄 瀬 浩 一, 岩 村 雅 一, 大 規 模 文 書 画 像 検 索 のためのメモリ 効 率 と 識 別 性 の 向 上, 電 子 情 報 通 信 学 会 論 文 誌 D, J95-D, 7, pp.1491-1494 (2012-7). [A-2] Megumi Chikano, Koichi Kise, Masakazu Iwamura, Seiichi Uchida, Shinichiro Omachi, Recovery and localization of handwritings by a camera-pen based on tracking and document image retrieval, Pattern Recognition Letters (Accepted)(DOI: 10.1016/j.patrec.2012.10.003). [A-3] Koichi Kise, Riki Kudo, Masakazu Iwamura, Seiichi Uchida, Shinichiro Omachi, A Proposal of Writing-Life Log and Its Implementation Using a Retrieval-Based Camera-Pen, 16th International Graphonomics Society Conference (IGS 2013) (Accepted). [C-1] Minoru Mori, Seiichi Uchida, Hitoshi Sakano, Global Feature for Online Character Recognition, Pattern Recognition Letters (Accepted). [C-2] Marcus Liwicki, Seiichi Uchida, Akira Yoshida, Masakazu Iwamura, Shinichiro Omachi, Koichi Kise, More than Ink - Realization of a Data-Embedding Pen, Pattern Recognition Letters (Accepted). [C-3] 森 稔, 内 田 誠 一, 坂 野 鋭, 大 局 的 特 徴 に 対 する DP マッチング, 電 子 情 報 通 信 学 会 論 文 誌 (D) (Accepted). [C-4] Song Wang, Seiichi Uchida, Marcus Liwicki, Yaokai Feng, Part-Based Methods for Handwritten Digit Recognition, Frontiers of Computer Science (Accepted). [C-5] Takafumi Matsuo, Song Wang, Yaokai Feng and Seiichi Uchida, Exploring the Ability of Parts on Recognizing Handwriting Characters, 16th International Graphonomics Society Conference (IGS 2013) (Accepted). [C-6] Wenjie Cai, Seiichi Uchida and Hiroaki Sakoe, An Efficient Radical-Based Algorithm for Stroke-Order Free and Stroke-Number Free Online Kanji Character Recognition, 16th International Graphonomics Society Conference (IGS 2013) (Accepted). 4
[C-7] Yutaro Iwakiri, Soma Shiraishi, Yaokai Feng and Seiichi Uchida, On the Possibility of Instance-Based Stroke Recovery, 13th International Conference on Frontiers in Handwriting Recognition (ICFHR2012), (DOI: 10.1109/ICFHR. 2012.248) [C-8] Seiichi Uchida, Ryosuke Ishida, Akira Yoshida, Wenjie Cai and Yaokai Feng, Character Image Patterns as Big Data, 13th International Conference on Frontiers in Handwriting Recognition (ICFHR2012), (DOI: 10.1109/ICFHR. 2012.190) [C-9] Minoru Mori, Seiichi Uchida and Hitoshi Sakano, Dynamic Programming Matching with Global Features for Online Character Recognition, 13th International Conference on Frontiers in Handwriting Recognition (ICFHR2012), (DOI: 10.1109/ICFHR.2012.199) [C-10] Seiichi Uchida, Satoshi Hokahori, and Yaokai Feng, Analytical Dynamic Programming Matching, Fifth Workshop on Non-Rigid Shape Analysis and Deformable Image Alignment (NORDIA'12), (DOI: 10.1007/978-3-642-33863- 2_10) [C-11] Song Wang, Seiichi Uchida, and Marcus Liwicki, Part-Based Method on Handwritten Texts, 21st International Conference on Pattern Recognition (ICPR2012) [C-12] Rong Huang, Shinpei Oba, Shivakumara Palaiahnakote, and Seiichi Uchida, Scene Character Detection and Recognition Based on Multiple Hypotheses Framework, 21st International Conference on Pattern Recognition (ICPR2012) [C-13] Seiichi Uchida, Masahiro Fukutomi, Koichi Ogawara, and Yaokai Feng, Non-Markovian Dynamic Time Warping, 21st International Conference on Pattern Recognition (ICPR2012) (3-2) 知 財 出 願 1 平 成 24 年 度 特 許 出 願 件 数 ( 国 内 0 件 ) 2 CREST 研 究 期 間 累 積 件 数 ( 国 内 3 件 ) 5