人 生 検 索 エンジン ライフリサイクル - 音 声 ライフログの 柔 軟 な 検 索 システム- 1. 背 景 日 常 生 活 のデータを 蓄 積 し 検 索 やデータマイニングに 利 用 する ライフログ は 近 年 大 きな 注 目 を 集 めている しかし 一 般 に 利 用 されているライフログシステムの 多 くは 位 置 情 報 や 画 像 動 画 を 利 用 したものであり 会 話 データを 対 象 とするものは 広 く 普 及 するに 至 っていなかった その 理 由 として 日 常 会 話 に 対 する 音 声 認 識 の 精 度 が 依 然 として 低 く 正 確 な 検 索 やマイニングのための 単 語 抽 出 やインデキシングが 困 難 であったことが 挙 げられる これは 多 くの 音 声 認 識 システムで 使 用 される 音 響 モデ ル/ 言 語 モデルが 講 演 音 声 をもとに 学 習 したものであり 日 常 会 話 のように 発 話 速 度 が 一 定 しない 場 合 精 度 が 低 くなってしまうことが 原 因 である 現 在 日 常 会 話 をも とにした 音 響 モデル/ 言 語 モデルの 構 築 が 進 められているが それによって 精 度 がど れだけ 向 上 するかは 未 知 数 である 2. 目 的 本 プロジェクトでは 音 声 認 識 技 術 をベースとして 用 い 日 常 会 話 音 声 の 検 索 を 可 能 にするシステム ライフリサイクル の 開 発 を 行 った また 音 声 認 識 に 新 たな 拡 張 を 付 与 することによって 学 術 的 にも 新 しい 手 法 の 開 発 を 目 指 した 各 要 素 技 術 はモ ジュールとして 実 装 し 類 似 する 目 的 を 持 ったシステムの 基 盤 となるように 努 めた ライフリサイクル の 開 発 は 以 下 の 要 素 の 実 現 を 目 的 として 進 められた 1. 日 常 会 話 の 認 識 に 適 した 音 声 認 識 モジュール 2. 高 速 な 検 索 を 可 能 にさせるインデキシングモジュール 3. 柔 軟 で 使 いやすい 検 索 を 実 現 する 検 索 インタフェース 最 終 的 にこれらの 機 能 に 加 え 発 話 速 度 の 揺 らぎに 対 応 する 手 法 ならびに 音 声 デ ータの 自 動 コピーモジュールの 実 装 を 行 った 3. 開 発 内 容 本 プロジェクトで 開 発 された ライフリサイクル の 詳 細 は 以 下 の 通 りである 3.1 システムの 全 体 構 成 ライフリサイクルでは IC レコーダによって 録 音 された 日 常 会 話 データに 対 して 音 声 認 識 を 適 用 し 得 られた 単 語 列 ならびに 音 素 列 をデータベースに 蓄 積 する これを 後 日 Web 検 索 エンジンを 模 した 検 索 インタフェースで 検 索 して 利 用 する という 流 れを 基 本 としている ユーザはシステムを 以 下 の 手 順 に 従 って 使 用 する 1. ICレコーダを 用 いて 発 話 を 記 録 し PC に 接 続 する 1
2. 音 声 認 識 が 自 動 で 実 行 され 単 語 列 にフィルタリングがおこなわれる 3. 単 語 列 と 音 素 列 がデータベースに 蓄 積 される 4. 検 索 インタフェースで 検 索 を 行 う 5. 検 索 結 果 が 検 索 インタフェース 上 で 表 示 される 一 連 の 流 れを 図 1 に 示 した 図 1: ライフリサイクルの 全 体 構 成 本 システムにおいて 中 心 的 な 位 置 を 占 め 開 発 においても 主 要 な 部 分 を 占 めた 音 声 認 識 /インデキシング 機 能 の 構 成 を 図 2 に 示 す まず 音 声 データを 認 識 し テキスト 化 を 行 うため 音 声 認 識 エンジン Julius が 使 用 される この 際 広 く 使 われている 日 本 語 話 し 言 葉 コーパス(CSJ コーパス) の 音 響 モデル 言 語 モデルが 利 用 される 認 識 結 果 の 単 語 列 は 意 味 空 間 モデルでフィルタリングが 行 われた 上 で リレーショ ナルデータベースに 蓄 積 される 同 様 に 音 素 列 もリレーショナルデータベースに 蓄 積 される 以 下 の 節 ではこれらの 機 能 の 詳 細 を 述 べる 2
図 2: ライフリサイクルの 音 声 認 識 /インデキシング 機 能 の 構 成 3.2 自 動 コピー 機 能 会 話 音 声 を 認 識 /インデキシングする 際 IC レコーダ 中 の 音 声 データを 手 動 で PC にコピーする 形 ではユーザにおける 負 荷 が 大 きい そこで 利 便 性 を 向 上 させるため 自 動 コピー 機 能 を 実 装 した IC レコーダを PC に 接 続 した 際 コピープログラムが 自 動 で 起 動 し ファイルの 転 送 が 行 われる また Julius が 起 動 され インデキシングまでの 一 連 の 流 れが 実 行 される( 図 3) IC レコーダと PC のそれぞれに 設 定 ファイルを 置 くことで すでにコピーされた ファイルを 改 めてコピーすることを 防 ぎ 音 声 認 識 /インデキシングの 際 のオプショ ン 設 定 を 変 えられるようにしている 図 3: 自 動 コピーー 機 能 3
3.3 音 声 認 識 モジュール 音 声 認 識 モジュールではフリーの 音 声 認 識 エンジンである Julius を 使 用 した 従 来 の 音 声 認 識 エンジンにおいて 主 に 対 象 とされてきた 講 演 音 声 と 異 なり 日 常 会 話 では 発 話 速 度 に 大 きな 揺 らぎが 存 在 するため 認 識 精 度 が 低 くなってしまうという 問 題 があった この 問 題 を 解 決 するため 認 識 モデルの 学 習 時 とは 異 なるフレームシフトと 窓 長 を 複 数 用 いて 認 識 を 行 い もっとも 尤 度 の 高 い 単 語 列 / 音 素 列 を 選 択 することで 発 話 速 度 の 揺 らぎに 対 応 させた 3.4 意 味 空 間 を 用 いたフィルタリング 音 声 認 識 エンジンの 出 力 結 果 には 誤 認 識 が 多 く 含 まれる 誤 認 識 が 生 じた 場 合 結 果 は 実 際 の 発 生 と 音 声 的 に 似 ているだけであり 意 味 的 にはまったく 異 なる 単 語 であ ることが 多 い すなわち その 会 話 に 現 れる 他 の 単 語 とは 意 味 的 に 大 きく 異 なる 単 語 であることが 多 い そこで 本 システムでは 意 味 空 間 モデルを 用 いることで 会 話 中 の 他 の 語 から 意 味 的 に 大 きく 離 れた 単 語 をフィルタリングする 機 能 を 考 案 し 実 装 した これによって 正 しく 認 識 された 単 語 がフィルタリングされてしまう 可 能 性 もあるが 単 語 の 登 録 か ら 漏 れた 場 合 も 音 素 列 はデータベースに 登 録 されるため 音 素 列 検 索 によってデー タの 欠 損 を 補 えると 考 えられる 実 際 の 所 人 間 もまた 意 味 的 な 知 識 を 用 いてフィルタリングや 補 正 を 行 っている 可 能 性 がある そのため 未 知 の 音 素 列 は 会 話 中 でも 聞 き 取 りにくいという 傾 向 がある 具 体 的 な 実 装 では World Wide Web 上 の 大 規 模 な 百 科 事 典 である Wikipedia のデ ータを 用 いて plsi(probabilistic Latent Semantic Analysis)を 実 行 し 意 味 空 間 モデルを 構 築 した この 意 味 空 間 での 距 離 を 用 いて 単 語 のクラスタリングを 行 い 最 大 クラスタの 重 心 を 会 話 の 意 味 的 な 中 心 とみなした この 重 心 から 閾 値 以 上 離 れた 単 語 はデータベースに 登 録 しないことで フィルタリングを 実 現 した 具 体 的 には 以 下 のステップに 従 って 処 理 を 行 っている( 図 4) 1. 音 声 認 識 エンジンが 出 力 する 単 語 認 識 の 尤 度 を 利 用 し もっとも 尤 度 の 高 い 名 詞 の 集 合 を 取 得 する 2. plsi から 得 られた 単 語 - 意 味 空 間 の 変 換 行 列 を 用 いて 意 味 空 間 への 変 換 を 行 い クラスタリングを 行 う 3. 最 大 クラスタに 含 まれる 単 語 集 合 を 意 味 空 間 に 変 換 し 重 心 を 求 める 会 話 中 の 各 単 語 と 重 心 との 距 離 を 求 め 閾 値 以 内 に 入 る 単 語 のみをデータベースに 登 録 す る 4
図 4 意味空間モデルによるフィルタリング機能 ３ ５ 音素列検索 音素列検索モジュールでは音素列の完全一致ならびに類似に基づく検索を可能に している 音声認識において誤認識が生じた場合 音素列として見た場合には似てい る結果が得られることが多い そこでユーザが入力したクエリをいったん音素列に変 換し データベース中から類似する音素列を検索することで 検索結果の再現率を向 上させる 漢字をひらがなに変換するツール kakasi を利用し 検索クエリをひらがなに変換 した上で パターンマッチによって音素列に変換を行う 完全一致したパターンのみだけでなく レーベンシュタイン距離 編集距離 が一 定の距離以下である音素列まで含めて検索する機能を設けた 図 5 図 5 音素列を用いた検索機能 5
3.6 検 索 インタフェース 多 くのユーザが 使 い 慣 れていると 考 えられる Web 検 索 エンジンのインタフェース を 踏 襲 したデザインを 選 択 した( 図 6) 検 索 フォームにキーワードを 入 力 し 単 語 列 の 一 致 による 検 索 を 行 う この 方 式 で 検 索 結 果 が 得 られなかった 場 合 には 音 素 列 の 一 致 / 類 似 に 基 づいた 再 検 索 を 行 う 図 6: ライフリサイクル 検 索 インタフェース 4. 従 来 の 技 術 との 相 違 ライフリサイクル は 日 常 会 話 音 声 を 検 索 するために 必 要 とされる 総 合 的 な 機 能 を 持 っている 各 構 成 要 素 は 独 自 の 技 術 に 基 づいており 他 システムに 組 み 込 んで 使 用 することも 可 能 である 既 存 の 音 声 認 識 エンジンを 利 用 したシステムと 比 較 した 場 合 日 常 会 話 のインデキ シングに 適 しているという 特 徴 がある 具 体 的 には 発 話 速 度 の 揺 らぎや 発 音 の 不 正 確 さ 語 彙 の 多 様 性 など 日 常 会 話 で 生 じがちな 課 題 への 対 応 を 行 っている さらに 音 声 認 識 結 果 の 蓄 積 を 行 うシステムとしてすでに 市 販 されているものに 議 事 録 自 動 作 成 システム があるが これらのシステムを 利 用 する 場 合 過 去 の 議 事 録 を 訓 練 データとして 言 語 モデルを 構 築 する 必 要 があるなど 大 きな 手 間 がかかる 本 システムでは 手 軽 に 音 声 認 識 によるテキスト 化 と 検 索 を 始 められるというメリッ トがある 5. 期 待 される 効 果 本 システムはすでに 基 盤 となる 機 能 が 実 装 されているため 今 後 は 企 業 や 研 究 機 関 と 連 携 を 行 い 実 用 面 での 完 成 度 を 高 め 一 般 への 普 及 に 耐 えられるシステムを 構 築 していく また 開 発 された 手 法 を 論 文 の 形 で 発 表 し 学 術 面 での 貢 献 も 行 っていく 予 定 であ る 6
6. 普 及 の 見 通 し 開 発 成 果 の 当 初 の 利 用 形 態 としては 会 議 の 議 事 録 や 引 き 継 ぎの 際 の 録 音 等 明 確 な 目 的 をもった 形 を 念 頭 においている 特 に 大 学 の 研 究 室 における 学 生 間 の 引 き 継 ぎ 作 業 にプロトタイプを 使 用 し 実 証 実 験 を 行 う 予 定 である IC レコーダの 小 型 化 と 低 廉 化 は 急 速 に 進 んでおき システムの 普 及 において 肯 定 的 な 要 因 となることが 予 想 される さらに 携 帯 電 話 の 録 音 機 能 と 組 み 合 わせることで 日 常 的 な 会 話 を 継 続 して 蓄 積 し より 広 い 用 途 で 使 用 されることを 目 標 としている 7. 開 発 者 名 チーフクリエータ: 手 塚 太 郎 ( 立 命 館 大 学 情 報 理 工 学 部 ) コクリエータ : 谷 口 忠 大 ( 同 上 ) 原 田 史 子 ( 同 上 ) 7