日 本 語 処 理 解 析 性 能 評 価 分 科 会 本 分 科 会 設 立 の 目 的 デジタル フォレンジック や eディスカバリ の 対 象 となる 日 本 語 情 報 に 対 する 処 理 解 析 性 能 を 評 価 するための 有 効 な 指 標 を 作 成 し 客 観 的 な 評 価

日 本 語 処 理 解 析 性 能 評 価 分 科 会 活 動 報 告 及 び 活 動 予 定 について 平 成 27 年 4 月 15 日 主 査 絹 川 博 之 ( 東 京 電 機 大 学 ) 1 日 本 語 処 理 解 析 性 能 評 価 分 科 会 本 分 科 会 設 立 にいたる 課 題 デジタル フォレンジック や eディスカバリ を 用 途 とする 検 索 解 析 ツールに 関 し 海 外 で 開 発 されたものが 多 く 日 本 国 内 での 使 用 時 に 日 本 語 への 対 応 が 不 明 で 下 記 のような 問 題 が 発 生! 検 索 モレがあり 重 要 証 拠 ファイルの 不 検 出 文 字 化 けの 発 生 で 内 容 の 確 認 不 可 どこまで 日 本 語 処 理 対 応 しているか 不 明 確 日 本 語 処 理 の 精 度 の 信 頼 度 に 課 題 日 本 語 処 理 対 応 の 定 義 が 不 明 確 2

日 本 語 処 理 解 析 性 能 評 価 分 科 会 本 分 科 会 設 立 の 目 的 デジタル フォレンジック や eディスカバリ の 対 象 となる 日 本 語 情 報 に 対 する 処 理 解 析 性 能 を 評 価 するための 有 効 な 指 標 を 作 成 し 客 観 的 な 評 価 の 実 施 を 可 能 とする ツール 提 供 企 業 の 技 術 進 歩 を 促 し デジタル フォレンジック 技 術 の 日 本 国 内 でのさらなる 発 展 に 寄 与 する 3 日 本 語 処 理 解 析 性 能 評 価 分 科 会 メンバー ( 敬 称 略 ) 主 査 : 絹 川 博 之 ( 東 京 電 機 大 ) 幹 事 : 野 﨑 周 作 (WG1リーダ: UBIC) 幹 事 : 白 井 喜 勝 (WG2リーダ: UBIC) < 検 討 参 加 メンバー( 団 体 会 員 企 業 は 代 表 者 のみ 記 載 )> 舟 橋 信 ( UBIC) 浦 口 康 也 ( くまなんピーシーネット) 青 木 和 哉 (FTI コンサルティング) 青 嶋 信 仁 ( ディアイティ) 春 山 洋 (AOSリーガルテック ) 緒 方 健 (おがたコンサルティング) 伊 藤 文 二 ( 日 本 ダイレックス ) 岡 田 忠 ( 茨 城 大 学 大 学 院 ) <アドバイザーグループ( 個 人 の 立 場 でご 参 加 )> 森 田 陽 石 崎 俊 本 田 英 盟 熊 澤 篤 岡 野 薫 野 本 靖 之 4

2014 年 度 の 活 動 日 程 日 本 語 処 理 解 析 性 能 評 価 WG: 2014 年 2 月 ~2014 年 7 月 6 回 実 施 日 本 語 処 理 解 析 性 能 評 価 分 科 会 設 立 準 備 日 本 語 処 理 解 析 性 能 評 価 分 科 会 : 2014 年 8 月 ~2015 年 3 月 5 回 実 施 検 討 課 題 の 整 理 と WG の 発 足 各 WGでの 検 討 と 分 科 会 での 審 議 5 2014 年 度 の 活 動 内 容 日 本 語 処 理 解 析 性 能 に 関 する 評 価 基 準 案 の 策 定 WG1:リーダ 野 﨑 幹 事 (1) 文 字 コード (2) アプリケーション WG2:リーダ 白 井 幹 事 (3) 基 本 検 索 (4) アドバンス 検 索 WG1 WG2 共 通 (5) その 他 重 要 事 項 項 目 のリストアップ サンプルデータ 作 成 の 難 易 度 を 審 議 検 討 し 評 価 基 準 案 の 作 成 ( 詳 細 は 各 WGのリーダより 報 告 ) 6

日 本 語 処 理 解 析 性 能 評 価 決 定 項 目 (1) 文 字 コード:8 種 UTF 16 UTF 8 UTF 7 Shift JIS JIS ISO 2022 JP EUC JP Windows 31J (2) アプリケーション:5+7 種 MS Word/Excel/PowerPoint for WIN. AdobePDF InternetExlorer(HTML) メール:Outlook 系 4 種 LotusNote Becky! Thuderbird (3) 基 本 検 索 :3 種 AND OR NOT (4) アドバンス 検 索 :5 種 正 規 表 現 検 索 前 後 に 特 定 文 字 が 来 ない 検 索 グルーピング 近 傍 検 索 全 角 半 角 の 片 方 入 力 で 自 動 的 に 両 方 検 索 (5) その 他 重 要 事 項 :3 項 目 解 析 速 度 評 価 用 データの 作 成 収 集 の 基 本 的 な 考 え 方 評 価 対 象 7 日 本 語 処 理 解 析 性 能 評 価 分 科 会 2015 年 度 の 活 動 予 定 日 本 語 処 理 解 析 性 能 評 価 委 員 会 の 設 置 準 備 評 価 の 実 行 を 目 的 本 委 員 会 の 役 割 の 明 確 化 委 員 の 募 集 要 項 の 作 成 委 員 募 集 の 実 施 本 委 員 会 の 立 上 げ 分 科 会 :5 月 から 隔 月 開 催 サンプルデータ 素 材 :IDFコラム 原 稿 の 利 用 第 11 期 第 6 回 理 事 会 承 認 著 者 の 使 用 承 認 を 得 たコラム 原 稿 を 使 用 8

WG1 検 討 内 容 報 告 第 12 期 第 1 回 日 本 語 処 理 解 析 性 能 評 価 分 科 会 2015.04.15 野 﨑 周 作 1 WG1 1. 文 字 コード 評 価 項 目 とする 理 由 日 本 語 処 理 の 性 能 評 価 を 考 えるにあたり 複 数 存 在 する 日 本 語 文 字 コードを 正 しく 認 識 し 処 理 できる 事 が 重 要 となる 為 評 価 項 目 とする 選 定 の 基 準 としては 日 本 語 の 文 字 コードとして 広 く 使 用 されているもの を 対 象 とする 選 定 された 文 字 コード8 種 UTF 16 UTF 8 UTF 7 Shift JIS Windows 31J JIS ISO 2022 JP EUC JP 評 価 データ 作 成 に 向 けてのポイント 復 元 機 能 やHDD 未 使 用 領 域 のバイナリ 検 索 機 能 は 評 価 対 象 外 とする 評 価 データはファイルとして 存 在 するものを 対 象 とする 純 粋 な 文 字 コード 判 別 評 価 の 為 評 価 データとしてヘッダー 情 報 の 無 い プレーンテキストファイルを 作 成 する 2

WG1 1. 文 字 コード 選 定 の 経 緯 及 び 議 論 等 GB2312をはじめとする 中 国 語 文 字 コードも 調 査 対 象 としてよく 目 にする これらの 文 字 コードも 判 別 できると 良 い 日 本 語 処 理 性 能 評 価 に 注 力 する 為 対 象 外 とする ( 今 後 検 討 の 可 能 性 有 り) 人 名 を 正 確 に 表 記 する 為 には 外 字 データが 必 要 であり 日 本 語 特 有 な 情 報 の 為 評 価 対 象 に 含 んだ 方 が 良 い Windows 31Jは 著 名 な 外 字 集 合 を 含 んでいる 為 まずはこちらで 評 価 する Base64でエンコードされた 情 報 の 処 理 ができると 良 い Base64は 電 子 メールの 添 付 ファイルなどのバイナリ 形 式 のデータ 送 信 に 標 準 的 に 使 用 されている 為 電 子 メールアプリケーション 評 価 の 中 で 併 せて 評 価 する 3 WG1 2. アプリケーション 評 価 項 目 とする 理 由 実 際 の 調 査 において 対 象 となる 情 報 の 多 くは 電 子 メールやオフィス ファイルといった 電 子 ファイル 群 となる 日 本 語 処 理 の 性 能 評 価 を 考 える にあたり アプリケーションファイルの 処 理 が 重 要 となる 為 評 価 項 目 と する 選 定 の 基 準 としては 対 象 とするアプリケーションの 種 類 を 絞 り 込 み 更 にその 中 から 一 般 的 に 広 く 使 用 されているアプリケーションを 厳 選 して 絞 り 込 み 対 象 とする リストアップされたアプリケーション 種 類 Email Word Processing Spreadsheet Presentation Archive Database Image Multimedia 選 定 されたアプリケーション 種 類 Email Word Processing Spreadsheet Presentation 4

WG1 2. アプリケーション 選 定 の 経 緯 及 び 議 論 等 日 本 語 のテキスト 処 理 をまずは 評 価 する 為 Multimediaファイルは 対 象 外 とする Databaseファイル 内 の 各 レコードは 一 般 的 にフォレンジックツールで 検 索 する 事 は 無 い 為 対 象 外 とする Archiveファイルはそれ 自 体 がドキュメントファイルではなく Archiveファイル に 格 納 されているファイルが 調 査 対 象 となる まずはドキュメントファイル レベルでの 評 価 を 進 める 為 評 価 データからは 対 象 外 とする フォレンジックツールがArchiveファイルを 展 開 処 理 する 際 にファイル 名 が 文 字 化 けするケースも 存 在 する 事 から 将 来 的 には 評 価 データに 含 める 事 を 検 討 する 評 価 データ 作 成 に 向 けてのポイント 検 索 対 象 とするテキストは ドキュメントの 本 文 だけではなく メタデータも 対 象 とする 5 WG1 2. アプリケーション 選 定 されたアプリケーション12 種 類 Email Microsoft Outlook (MSG) Microsoft Outlook Express / Windows Mail (EML) Microsoft Outlook (PST) Microsoft Outlook Express (DBX) IBM Lotus Notes (NSF) Becky! Internet Mail Mozilla Thunderbird Word Processing Spreadsheet Presentation Microsoft Office for Windows(Word Excel Powerpoint) Adobe (PDF) *テキスト 情 報 を 保 持 したもの HyperText Markup Language(HTML) 6

WG1 2. アプリケーション 選 定 の 経 緯 及 び 議 論 等 Outlook 系 4 種 は 最 も 一 般 的 に 使 用 されている 為 対 象 とする Lotus Notesは 主 に 企 業 内 でよく 使 用 されている 為 対 象 とする Becky! Internet Mailは 実 際 の 捜 査 調 査 において 調 査 対 象 となる 事 が 多 い 為 対 象 とする Mozilla ThunderbirdはWindows Mac Linuxの 全 てのOSで 使 用 出 来 ることから 使 用 者 が 多 いと 推 測 される 為 対 象 とする オフィスファイルはMicrosoft Office for Windowsに 絞 り 込 み 対 象 と する Adobe PDFは 一 般 的 に 使 用 されている 為 対 象 とする 但 し テキスト 情 報 を 保 持 したものを 対 象 とし OCR 性 能 は 評 価 しない URLエンコード(%エンコード)で 記 録 された 情 報 も 検 索 できると 良 い HyperText Markup Language(HTML)を 対 象 に 加 え 評 価 する 7

WG2 検 討 内 容 報 告 第 12 期 第 1 回 日 本 語 処 理 解 析 性 能 評 価 分 科 会 2015.04.15 白 井 喜 勝 1 WG2 1. 基 本 検 索 項 目 リストアップの 考 え 方 日 本 語 を 対 象 にしたデジタル フォレンジック 調 査 やeディスカバリに おいて 頻 繁 に 使 用 される 基 本 的 な 検 索 機 能 をリストアップ リストアップされた4 項 目 AND OR NOT XOR 評 価 対 象 選 定 の 考 え 方 有 用 性 使 用 頻 度 代 替 方 法 の 有 無 等 の 観 点 選 定 された 基 本 検 索 3 項 目 AND OR NOT 選 定 の 経 緯 等 AND OR に 関 しては 全 員 一 致 で 即 決 NOTに 関 しては 使 用 頻 度 に 関 する 議 論 があった あきらかに 関 係 ない 文 書 に 含 まれている 共 通 のキーワードを 見 つけてNOTで 絞 る 使 用 法 がよく 利 用 されること 文 書 抽 出 の 際 に 不 必 要 なキーワードと 必 要 なキーワードで 文 書 を 浮 かび 上 がらせるためにも 必 要 という ことで 実 務 上 有 用 なため 選 定 された XORは AND OR NOTの 組 み 合 わせで 検 索 できるため 含 めない ( 第 11 期 第 3 回 日 本 語 処 理 解 析 性 能 評 価 分 科 会 にて 合 意 ) 2

WG2 2. アドバンス 検 索 1 項 目 リストアップの 考 え 方 日 本 語 を 対 象 にしたデジタル フォレンジック 調 査 やeディスカバリに おいて 有 用 な 高 度 な 検 索 及 びそれに 類 する 技 術 をリストアップ リストアップされた9 項 目 正 規 表 現 検 索 前 後 にアルファベットや 数 字 が 来 ない あるいは 特 定 の 文 字 が 来 ない 言 葉 の 検 索 グルーピング:ブーリアンを()で 括 って 複 雑 な 論 理 を 組 む 近 傍 検 索 :2 単 語 以 上 の 検 索 語 が~ 文 字 以 内 の 距 離 にある 全 角 半 角 の 片 方 を 入 力 すると 自 動 的 に 両 方 を 検 索 する 類 似 検 索 ファジー 検 索 : 類 義 語 を 自 動 的 に 検 索 する クラスタリング: 複 数 の 文 書 を 類 似 内 容 の 文 書 群 に 自 動 的 に 分 類 する 類 似 文 書 :ある 文 書 と 類 似 の 文 書 を 探 す Predictive Coding:ある 観 点 で 欲 しい 文 書 を 自 動 的 に 選 別 あるいは 重 要 度 をつける 3 WG2 2. アドバンス 検 索 2 評 価 対 象 選 定 の 考 え 方 有 用 性 使 用 頻 度 代 替 方 法 の 有 無 等 の 観 点 評 価 データを 準 備 できるか 等 選 定 されたアドバンス 検 索 5 項 目 正 規 表 現 検 索 :カード 番 号 等 ではなく 京 都 と 東 京 都 の 区 別 等 日 本 語 に 関 連 するもの 前 後 にアルファベットや 数 字 が 来 ない あるいは 特 定 の 文 字 が 来 ない 言 葉 の 検 索 グルーピング:ブーリアンを()で 括 って 複 雑 な 論 理 を 組 む 近 傍 検 索 :2 単 語 以 上 の 検 索 語 が~ 文 字 以 内 の 距 離 にある 全 角 半 角 の 片 方 を 入 力 すると 自 動 的 に 両 方 を 検 索 する 区 別 しない 場 合 と 区 別 する 場 合 の 切 り 替 えの 有 無 も 区 別 する 4

WG2 2. アドバンス 検 索 3 選 定 の 経 緯 等 1: 正 規 表 現 検 索 全 員 一 致 で 必 要 だとの 議 論 になったが カード 番 号 等 ではなく 京 都 と 東 京 都 の 区 別 等 日 本 語 に 関 連 するもの 英 語 では 単 語 と 単 語 との 間 にスペースを 含 むので Tokyoto と Kyoto の 区 別 はできるが 日 本 語 の 場 合 京 都 と 検 索 した ときに 東 京 都 を 含 むデータが 検 索 にかかってしまう *(アスタリスク)で 英 字 1 文 字 も 日 本 語 1 文 字 も 検 索 出 来 る 等 日 本 語 に 対 して 自 由 に 正 規 表 現 検 索 ができるかどうか の 評 価 が 欲 しい 選 定 の 経 緯 等 2: 前 後 にアルファベットや 数 字 が 来 ない あるいは 特 定 の 文 字 が 来 ない 言 葉 の 検 索 全 員 一 致 で 必 要 5 WG2 2. アドバンス 検 索 4 選 定 の 経 緯 等 3:グルーピング:ブーリアンを()で 括 って 複 雑 な 論 理 を 組 む 田 中 not ( 太 郎 or Taro.tanaka@abcd.com or 経 理 ) とよ り 精 度 の 高 い 絞 り 込 みによってレビューの 時 間 を 減 らすことができ 非 常 に 多 用 する 複 雑 になりすぎて わからなくなってしまったり 検 索 に 負 荷 をかけて しまいがちで 英 語 でも 日 本 語 でも 同 様 関 連 するドキュメントを 抽 出 する 際 には 必 須 逆 も 然 りで 何 が 関 連 しないかということも 重 要 関 連 しないドキュメントとキーワードが 分 かるだけでも 論 理 式 を 活 用 する 必 要 が 有 る 選 定 の 経 緯 等 4: 近 傍 検 索 2 単 語 以 上 の 検 索 語 が~ 文 字 以 内 の 距 離 にある 実 務 上 は 良 く 使 う 機 能 で 便 利 具 体 的 な 使 用 例 として カルテルの 調 査 で 価 格 w/5 調 整 (5 文 字 以 内 )とすることによって 価 格 の 調 整 価 格 を 調 整 価 格 が 調 整 価 格 の 一 部 を 調 整 などといった 表 現 をヒットさせる これを せずに 価 格 調 整 をキーワードにすると 前 述 のものはヒットしない また 価 格 AND 調 整 で 検 索 してしまうと 価 格 と 調 整 という 一 般 的 な 単 語 が 入 っている 文 書 はかなり 多 くヒットしてしまう 6

WG2 2. アドバンス 検 索 5 選 定 の 経 緯 等 5: 全 角 半 角 の 片 方 を 入 力 すると 自 動 的 に 両 方 を 検 索 する 区 別 しない 場 合 と 区 別 する 場 合 の 切 り 替 えの 有 無 も 明 示 する 評 価 用 データには 全 角 / 半 角 や 英 語 / 日 本 語 が 混 在 していることを 考 慮 する 必 要 がある 全 角 アルファベットは 日 本 語 しか 無 いので 評 価 用 データには いれるべきだが 全 角 英 数 をどの 程 度 いれるのかも 検 討 する 必 要 がある 7 WG2 2. アドバンス 検 索 6 選 定 の 経 緯 等 6: 次 回 以 降 の 検 討 課 題 として 今 回 見 送 られた4 項 目 類 似 検 索 ファジー 検 索 : 類 義 語 を 自 動 的 に 検 索 する クラスタリング: 複 数 の 文 書 を 類 似 内 容 の 文 書 群 に 自 動 的 に 分 類 する 類 似 文 書 :ある 文 書 と 類 似 の 文 書 を 探 す Predictive Coding:ある 観 点 で 欲 しい 文 書 を 自 動 的 に 選 別 あるいは 重 要 度 をつける いずれも 評 価 基 準 と 評 価 データの 準 備 の 両 面 で 難 しいということで 今 回 の 評 価 項 目 からは 見 送 られ 次 回 以 降 の 検 討 課 題 となった 8

その 他 重 要 事 項 第 12 期 第 1 回 日 本 語 処 理 解 析 性 能 評 価 分 科 会 2015.04.15 白 井 喜 勝 9 その 他 重 要 事 項 1 1. 解 析 速 度 評 価 用 データの 用 意 に 関 連 して 適 切 な 評 価 方 法 を 模 索 し 評 価 可 能 であれば 評 価 する 以 下 議 論 内 容 同 一 サンプル 同 一 環 境 の 原 則 測 定 環 境 の 併 記 サンプルデータを 複 数 回 コピーして 測 定 可 能 な 量 にする インデキシング 等 処 理 速 度 検 索 自 体 の 速 度 を 区 別 する 10

その 他 重 要 事 項 2 2. 評 価 用 データの 作 成 収 集 の 基 本 的 な 考 え 方 ソースとなるテキストを 収 集 し 全 角 / 半 角 の 表 記 の 揺 らぎを 作 るなど 検 索 性 能 の 評 価 が 出 来 るようなテキストに 調 整 する IDFのメルマガコラムをソーステキストとする 評 価 対 象 の 各 文 字 コードをプレーンテキストとし 評 価 を 実 施 する テキストを 評 価 対 象 の 各 アプリケーションに 保 存 し 評 価 を 実 施 する 各 アプリケーションのファイルを 添 付 したメールに 対 し 検 索 の 評 価 を 実 施 する 3. 評 価 対 象 評 価 に 応 募 してきたメーカーの 持 ち 込 み 形 態 に 応 じて 評 価 を 行 う ツールに 対 しても 検 索 エンジン 自 体 に 対 しても 評 価 を 行 う 基 本 的 に 製 品 (ツール)を 評 価 対 象 とする 11