(Microsoft Word - \221\262\230_\215\305\217I\224\305.doc)

Transcription

1 Web ページ 間 の 特 徴 語 類 似 度 を 用 いた 検 索 支 援 システム 上 野 研 究 室 中 川 尊 雄 本 研 究 で は,Web ペ ー ジ 検 索 に 習 熟 し て い な い ユ ー ザ の 支 援 を 目 的 と し, 多 く の 正 解 ペ ー ジ が 予 想 さ れ る 検 索 に つ い て, 形 態 素 解 析 と TF-IDF 法 を 用 い て 検 索 結 果 か ら Web ペ ー ジ を 推 薦 す る 手 法 を 提 案 す る. 本 研 究 で は 提 案 手 法 に 基 づ い て シ ス テ ム を 実 装 し, 被 験 者 実 験 を 行 っ て そ の 有 効 性 を 確 認 す る. 提 案 手 法 で は,ま ず, 正 解 の 見 本 ペ ー ジ と 検 索 結 果 に 出 現 し た ペ ー ジ を そ れ ぞ れ 形 態 素 解 析 器 に か け, 単 語 に 分 割 す る. 次 に, 分 割 さ れ た 単 語 か ら TF-IDF 法 に よ っ て そ れ ぞ れ の Web ペ ー ジ の 特 徴 語 を 求 め, 最 後 に 特 徴 語 の 類 似 度 順 に 検 索 結 果 を 並 べ 替 え た リ ス ト を ユ ー ザ に 推 薦 す る. 実 装 し た シ ス テ ム の 有 効 性 を 確 認 す る た め に 行 っ た 被 験 者 実 験 は, 設 定 さ れ た 検 索 目 的 に 基 づ い て, 被 験 者 に 検 索 結 果 か ら 目 的 に 合 致 す る ペ ー ジ を 選 択 し て も ら い, そ の 結 果 と シ ス テ ム の 推 薦 結 果 の 比 較 を 行 っ た. 被 験 者 実 験 の 結 果,シ ス テ ム の 推 薦 す る ペ ー ジ と ユ ー ザ が 有 用 と 考 え る ペ ー ジ の 間 に は 有 意 な 関 連 が み ら れ,シ ス テ ム の 検 索 結 果 が 有 用 で あ る こ と が 示 唆 さ れ た.

2 目 次 1. は じ め に 本 研 究 の 対 象 と す る 問 題 既 存 研 究 の 問 題 点 既 存 シ ス テ ム の 問 題 点 解 決 方 法 シ ス テ ム 日 本 語 形 態 素 解 析 TF-IDF 法 TF-IDF 法 に よ る ペ ー ジ 間 の 類 似 度 の 算 出 類 似 度 を 用 い た ペ ー ジ 推 薦 作 成 し た シ ス テ ム に つ い て 実 験 実 験 方 法 タ ス ク 実 験 の 手 順 デ ー タ 結 果 考 察 分 析 個 別 の 考 察 シ ス テ ム タ ス ク 1( 電 子 レ ン ジ の 比 較 方 法 ) タ ス ク 2(ラ ー メ ン 屋 の 探 索 ) タ ス ク 3(ゲ ー ム ソ フ ト の 攻 略 法 ) タ ス ク 4( 映 画 の 評 判 ) タ ス ク 5( 公 害 の 調 査 ) ま と め お わ り に 謝 辞 参 考 文 献... 24

3 1. はじめに 近 年, 一 般 家 庭 へ の コ ン ピ ュ ー タ 普 及 と と も に,イ ン タ ー ネ ッ ト の 新 規 ユ ー ザ が 過 去 10 年 間 で 5 倍 に 増 加 し て い る [ 1 ]. こ の よ う な 新 規 ユ ー ザ は 一 般 的 に 検 索 に 関 す る 能 力 が 低 く, 検 索 結 果 の 絞 り 込 み や, 絞 り 込 み の 際 の キ ー ワ ー ド の 選 定 が 得 意 で な い. こ の よ う な ユ ー ザ を 支 援 す べ く,こ れ ま で に も 検 索 エ ン ジ ン や ユ ー ザ の 検 索 支 援 の 研 究 が 行 わ れ て い る. 中 島 ら の 研 究 で は ユ ー ザ の 検 索 行 動 に つ い て 調 査 を 行 っ て お り [ 2 ], 國 貞 ら の 研 究 で は 限 定 的 な 範 囲 で の 使 用 を 想 定 し た 検 索 支 援 シ ス テ ム の 提 案 と 実 験 を 行 っ て い る [ 3 ].ま た, 実 働 し て い る 検 索 エ ン ジ ン に 実 装 さ れ て い る 検 索 支 援 機 能 と し て, Google の 類 似 ペ ー ジ 検 索 や 関 連 キ ー ワ ー ド 推 薦 機 能 な ど が あ る. し か し,こ れ ら の 研 究 で は, 検 索 範 囲 を 限 定 し な い 検 索 シ ス テ ム の 提 案 が 行 わ れ て い な い.ま た, 実 働 し て い る 検 索 エ ン ジ ン 上 の 機 能 で も,ユ ー ザ が 入 力 し た キ ー ワ ー ド を 参 照 し な い た め,ユ ー ザ の 意 図 と 異 な る ペ ー ジ を 推 薦 す る 場 合 が あ る. こ れ ら の 問 題 を 解 決 す る た め に, 本 研 究 で は ユ ー ザ が 選 択 し た 見 本 ペ ー ジ と, Google の 検 索 結 果 を デ ー タ ベ ー ス 化 し た も の か ら, 見 本 ペ ー ジ と の 類 似 度 順 に 検 索 結 果 を 並 べ 変 え た リ ス ト を ユ ー ザ に 推 薦 す る シ ス テ ム を 提 案 す る.ま た, 提 案 し た シ ス テ ム に つ い て, 広 範 囲 な 検 索 に 対 応 で き る か ど う か, 被 験 者 実 験 に よ り 有 効 性 を 確 認 す る. 提 案 シ ス テ ム の メ リ ッ ト と し て, 検 索 結 果 の 並 べ か え に よ っ て Web ペ ー ジ の 推 薦 を 行 う た め, 元 の 検 索 キ ー ワ ー ド と 関 係 の な い Web ペ ー ジ を 推 薦 し な い 点 が あ げ ら れ る. 本 研 究 で は 特 に,た だ ひ と つ の 答 え を 持 つ よ う な 検 索 で は な く,い く つ か の 正 解 と 思 わ れ る デ ー タ が 存 在 し,そ れ ら を 多 く 収 集 し た い ユ ー ザ の 支 援 を 目 的 と す る. 本 研 究 で は, 提 案 し た シ ス テ ム を 実 装 し,こ の シ ス テ ム の 有 効 性 の 確 認 す る た め に 被 験 者 実 験 を 行 う. 1

4 2. 本 研 究 の 対 象 とする 問 題 本 研 究 で 解 決 す べ き 問 題 は 下 記 の 2 つ で あ る. 既 存 の 検 索 支 援 の 研 究 で は 検 索 範 囲 を 限 定 し な い 検 索 シ ス テ ム の 提 案 が 行 わ れ て い な い こ と. 実 働 し て い る 検 索 エ ン ジ ン 上 の 機 能 に つ い て は,ユ ー ザ が 入 力 し た キ ー ワ ー ド を 参 照 し な い た め, 意 図 と 異 な る ペ ー ジ を 推 薦 す る 場 合 が あ る こ と. 以 下 の 節 で そ れ ぞ れ の 問 題 に つ い て 説 明 す る 既 存 研 究 の 問 題 点 例 え ば, 中 島 ら は, 検 索 経 験 や 検 索 対 象 へ の 知 識 が 検 索 に 与 え る 影 響 に つ い て 調 査 を 行 い, 検 索 対 象 に 対 す る 理 解 が 深 い ユ ー ザ は, 効 率 的 に 検 索 を 行 え る 専 門 的 な 検 索 キ ー ワ ー ド の 選 定 が 得 意 で あ り, 検 索 経 験 が 豊 富 な ユ ー ザ は 検 索 の た め に 次 々 と キ ー ワ ー ド を 追 加 し て 絞 り 込 ん で い く こ と を 明 ら か に し て い る.ま た, 適 切 な キ ー ワ ー ド を 用 い た 検 索 を 行 う シ ス テ ム を 作 成 す る 必 要 性 に つ い て も 述 べ て い る が [ 2 ], シ ス テ ム は 実 装 さ れ て お ら ず, 実 装 の 必 要 が あ る. 國 貞 ら は, 検 索 エ ン ジ ン の 検 索 結 果 に 示 さ れ る 二, 三 行 程 度 の 要 約 文 の 類 似 度 を 用 い て Web 検 索 の 支 援 を 行 う シ ス テ ム を 提 案 し, 実 装 し て い る [ 3 ].し か し, 提 案 シ ス テ ム は 医 療 分 野 に 関 す る 検 索 を 対 象 と し て い る た め, 広 範 囲 な 検 索 に 対 応 さ せ る 必 要 が あ る.ま た, 國 貞 ら の シ ス テ ム で は,ペ ー ジ の 情 報 と し て 要 約 文 し か 参 照 し て い な い た め,ペ ー ジ の 持 つ す べ て の 情 報 を 用 い て い な い 問 題 も あ る 既 存 シ ス テ ム の 問 題 点 Google で 大 和 郡 山 市 の 中 華 店 を 探 そ う と 中 華 大 和 郡 山 と い う キ ー ワ ー ド で 検 索 を 行 っ た 場 合 に つ い て の, 関 連 キ ー ワ ー ド 推 薦 機 能 の 出 力 例 を 図 1 に あ げ る. 図 1 で あ げ ら れ た 推 薦 キ ー ワ ー ド と し て は 大 和 郡 山 殺 人 事 件 や 大 和 郡 山 イ オ ン な ど 中 華 と 直 接 関 係 が な い キ ー ワ ー ド が あ り, 元 の 検 索 キ ー ワ ー ド に あ っ た 中 華 と 言 う 情 報 が 抜 け 落 ち て い る. ま た, 同 様 の 検 索 で, 大 和 郡 山 の 中 華 店 の リ ス ト を あ げ て い る グ ル メ サ イ ト を 類 似 ペ ー ジ 検 索 の 入 力 と し た 場 合 の 推 薦 例 を 図 2 に あ げ る. 図 2 で あ げ ら れ た ペ ー ジ と し て は, 他 の グ ル メ サ イ ト の ト ッ プ ペ ー ジ な ど が あ る が,こ れ は グ ル メ サ イ ト と い う 情 報 だ け が 抽 出 さ れ て お り, 元 の 検 索 キ ー ワ ー ド に あ っ た 中 華 や 大 和 郡 山 と 言 っ た 情 報 が 抜 け 落 ち て い る. 上 に あ げ た 二 つ の 例 の よ う に, 検 索 キ ー ワ ー ド が 推 薦 結 果 か ら 抜 け 落 ち る 推 薦 で は, ユ ー ザ が 意 図 し て い る 結 果 と 違 う 結 果 が 推 薦 さ れ る 問 題 が あ る. 2

5 図 1 Google 他 の キ ー ワ ー ド 機 能 の 推 薦 例 図 2 Goog le 類 似 ペ ー ジ 検 索 機 能 の 例 2.3. 解 決 方 法 2.1 節 と 2.2 節 で 述 べ た 問 題 を 解 決 す る 為 に, 本 研 究 で は ユ ー ザ が 選 択 し た 見 本 ペ ー ジ と, Google の 検 索 結 果 を デ ー タ ベ ー ス 化 し た も の か ら, 見 本 ペ ー ジ と の 類 似 度 順 に 検 索 結 果 を 並 べ 変 え た リ ス ト を ユ ー ザ に 推 薦 す る シ ス テ ム を 提 案 す る. 提 案 シ ス テ ム で は, 検 索 結 果 の 並 べ 替 え に よ っ て ペ ー ジ の 推 薦 を 行 う た め, も と の 検 索 キ ー ワ ー ド の 情 報 と 関 係 の な い ペ ー ジ の 推 薦 を 行 わ な い と い う 利 点 が あ り, こ れ に よ っ て 既 存 シ ス テ ム の 問 題 点 を 解 決 す る. ま た, 広 範 囲 な 検 索 が 可 能 な シ ス テ ム を 実 装 し, 被 験 者 実 験 を 用 い て シ ス テ ム の 評 価 を 行 う こ と で, 既 存 研 究 の 問 題 点 を 解 決 す る. た だ し, 本 研 究 で は た だ ひ と つ の 答 え を 持 つ よ う な 検 索 の 支 援 は 対 象 と せ ず, 3

6 い く つ か の 正 解 と 思 わ れ る デ ー タ が 存 在 し,そ れ ら を 多 く 収 集 し た い ユ ー ザ の 支 援 を 目 的 と す る. 例 を あ げ る と, 本 研 究 で は 大 和 郡 山 市 の お い し い 中 華 店 を 探 し た い な ど, 複 数 の 中 華 店 の ペ ー ジ や グ ル メ サ イ ト が 結 果 に 出 る よ う な 検 索 の 支 援 を 対 象 と し て い る. 一 方 で, あ る 出 版 社 が 出 版 し た 書 籍 の 一 覧 な ど, 出 版 社 の ペ ー ジ ( 正 解 ペ ー ジ )を 見 れ ば そ れ で 他 の デ ー タ が 必 要 な い 検 索 に 対 す る 支 援 は 対 象 と し な い. 4

7 3. システム 本 研 究 で は, TF-IDF 法 と 形 態 素 解 析 を 利 用 し て Web ペ ー ジ を 特 徴 づ け る 単 語 を 抽 出,ペ ー ジ 間 類 似 度 を 測 定 し て 類 似 ペ ー ジ を 推 薦 す る. 以 下 で そ れ ら の 手 法 に つ い て 説 明 す る 日 本 語 形 態 素 解 析 文 書 に 含 ま れ る 単 語 の 出 現 回 数 を 数 え る た め に は,そ の 文 書 か ら 単 語 を 抽 出 し な く て は な ら な い. 本 研 究 で は Web ペ ー ジ に 含 ま れ る 文 書 か ら 自 動 で 単 語 を 切 り 出 す た め に, 日 本 語 形 態 素 解 析 を 用 い る. 形 態 素 解 析 と は, 自 然 言 語 で 書 か れ た 文 章 を 言 語 の 中 で 意 味 を 持 つ 最 小 単 位 で あ る 形 態 素 に 分 割 し,そ れ ぞ れ の 品 詞 を 特 定 す る [ 4 ] 手 法 で あ る. 例 と し て, 日 本 語 形 態 素 解 析 エ ン ジ ン MeCab 1 に よ っ て, 吾 輩 は 猫 で あ る. 名 前 は ま だ な い. と い う 文 章 を 形 態 素 解 析 し た 結 果 を 図 3 に 示 す. 本 研 究 で は, Web ペ ー ジ か ら 単 語 を 切 り 出 す た め に, CRF を 用 い た 形 態 素 解 [ 5 析 手 法 ] を 用 い た 日 本 語 形 態 素 解 析 エ ン ジ ン で あ る MeCab を 用 い る. 同 様 の エ ン ジ ン に は,こ の ほ か に,ChaSen 2 や KAKASI 3 な ど が あ る が, 平 均 動 作 速 度 お よ び 精 度 の 点 で MeCab が 優 れ て い る [ 5 ] と さ れ る た め, MeCab を 選 択 し た. 図 3 日 本 語 形 態 素 解 析 の 実 行 例

8 3.2. TF- IDF 法 TF-IDF 法 と は, あ る 文 書 の 集 合 ( 文 書 セ ッ ト ) の 中 に 含 ま れ る 一 つ の 文 書 に 注 目 し た と き,そ の 文 書 が 文 書 セ ッ ト の 中 で ど う い っ た 単 語 (term)で 特 徴 付 [ 6 け ら れ る か を 調 べ る 手 法 ] で あ る. こ の 手 法 で は, 注 目 し て い る 文 書 に あ る 単 語 が 何 度 出 現 す る か を 表 す TF(Term Frequency)と,そ の 単 語 が 文 書 セ ッ ト 中 の い く つ の 文 書 に 含 ま れ て い る か を 表 す DF(Document Frequency)の 逆 数 の 対 数 を と っ た IDF(Inversed DF) の 二 つ の 値 に 注 目 し て, あ る 文 書 中 に 含 ま れ る 単 語 ご と の 特 徴 度 (そ の 単 語 が 特 定 の 文 書 を ど の 程 度 特 徴 付 け て い る か を 示 す 値 ) を 算 出 す る. あ る 単 語 の TF が 高 け れ ば, そ の 単 語 は 文 章 中 に 多 く 登 場 す る こ と を, ま た 同 様 に IDF が 高 け れ ば 高 い ほ ど 文 書 セ ッ ト 中 に お い て み ら れ な い こ と を あ ら わ す. こ れ ら の 単 語 が 文 書 を 特 徴 付 け る 上 で 重 要 で あ る と し, 式 (1)に よ っ て 単 語 ご と の 特 徴 度 を 求 め る. tf idf term, document = tf term, document log N df term (1) tf-idf t e r m, d o c u m e n t : 文 書 document の 中 に お け る 単 語 term の TF-IDF 値 tf t e r m, d o c u m e n t : 文 書 document の 中 に お け る 単 語 term の 出 現 回 数 df t e r m : 文 書 セ ッ ト 全 体 に 含 ま れ る, 単 語 term が 含 ま れ る 文 書 数 N: 文 書 セ ッ ト に 含 ま れ る 文 書 の 総 数 こ の 式 で 算 出 さ れ る TF-IDF の 値 は, ペ ー ジ に お け る そ の 単 語 の 特 徴 度 の 高 さ を 示 し て い る. 本 研 究 で は こ の TF-IDF 法 を 用 い て, 複 数 の Web ペ ー ジ 間 の 類 似 度 を 測 定 す る TF- IDF 法 に よ る ペ ー ジ 間 の 類 似 度 の 算 出 本 研 究 で は,ユ ー ザ の 提 示 し た 見 本 ペ ー ジ に 類 似 し た ペ ー ジ を 見 つ け る た め に, 異 な る 二 つ の Web ペ ー ジ 間 の 類 似 度 を 求 め る 方 法 を 考 え る.そ こ で, 前 節 の TF-IDF 法 を 用 い て ペ ー ジ 間 の 類 似 度 を 算 出 す る. TF-IDF 法 に よ っ て 得 ら れ る 単 語 ご と の 特 徴 度 を 利 用 し て 文 書 間 の 関 係 を 求 め る 手 法 は 複 数 存 在 し, 文 書 ご と に 上 位 単 語 の 特 徴 度 を ベ ク ト ル 化 し た 特 徴 ベ ク ト ル の 距 離 を, 特 徴 ベ ク ト ル 空 間 で 比 較 す る 方 法 な ど が あ る. し か し, こ れ ら の 手 法 で は ベ ク ト ル 空 間 の 多 次 元 化 の 際, 計 算 量 に よ る 限 界 が あ り, ベ ク ト ル の 距 離 測 定 に 用 い る 単 語 の 数 が 限 ら れ る. 6

9 そ の た め, 今 回 対 象 と す る Web ペ ー ジ に 適 用 す る と,Web 広 告 な ど か ら 抽 出 さ れ る ノ イ ズ に あ た る 特 徴 語 に 影 響 を 受 け や す い と 考 え ら れ る. し た が っ て, 本 研 究 で は 異 な る 文 書 そ れ ぞ れ の TF-IDF の 上 位 25 個 に 出 た 単 語 の 中 で 一 致 す る キ ー ワ ー ド が い く つ あ る か を 類 似 度 の 定 義 と し た 類 似 度 を 用 い た ペ ー ジ 推 薦 2.3 節 ま で に 解 説 し た そ れ ぞ れ の 手 法 を 用 い て, 検 索 エ ン ジ ン の 検 索 結 果 と そ の 中 か ら ユ ー ザ が 選 択 し た 正 解 の 見 本 デ ー タ を 利 用 し て, 類 似 ペ ー ジ の 推 薦 を 行 う シ ス テ ム を 提 案 す る. 図 4 に 提 案 す る シ ス テ ム の 動 作 イ メ ー ジ を 示 す. 本 シ ス テ ム に よ る 推 薦 の 手 順 を 以 下 に 示 す. 1. ユ ー ザ が 行 っ た 検 索 の 結 果 ペ ー ジ か ら 正 解 の 見 本 ペ ー ジ を 選 択 さ せ る. ( 図 中 1 ) 2. 検 索 結 果 に 出 現 し た ペ ー ジ を 入 力 用 に デ ー タ ベ ー ス 化 す る. ( 図 中 2 ) 3. 検 索 結 果 の デ ー タ ベ ー ス と, 見 本 ペ ー ジ を 入 力 と し, そ れ ぞ れ の Web ペ ー ジ に 対 し て TF-IDF 法 に よ る 特 徴 語 抽 出 を 実 行 す る. ( 図 中 3 ) 4. 特 徴 語 が 一 致 し て い る 数 に よ っ て, 昇 順 に デ ー タ ベ ー ス 中 の ペ ー ジ を 並 び 替 え, こ の リ ス ト を ユ ー ザ に 推 薦 す る. ( 図 中 4 ) 3.5. 作 成 し た シ ス テ ム に つ い て 前 節 ま で に 説 明 し た 手 法 に 基 づ い て シ ス テ ム の 実 装 を 行 っ た. 実 装 し た シ ス テ ム の 構 造 を, 図 5 に 示 す. な お, シ ス テ ム は Ruby で 書 か れ た 231 行 の プ ロ グ ラ ム で, Linux 上 で 動 作 す る. 図 4 提 案 シ ス テ ム の 動 作 イ メ ー ジ 7

10 シ ス テ ム は 図 5 の 中 に 示 し た モ ジ ュ ー ル を 図 中 の A) B) C) D) E)の 順 番 に 実 行 す る. シ ス テ ム は ま ず, 最 初 に 入 力 と し て 検 索 キ ー ワ ー ド (Querykey)と 正 解 の 見 本 デ ー タ (Query)を 受 け 取 る.Querykey は A)Google 検 索 結 果 解 析 部 に 送 ら れ, こ の キ ー ワ ー ド を 元 に Google 検 索 が 行 わ れ る. 結 果 解 析 部 は, 検 索 結 果 の ペ ー ジ か ら, 検 索 結 果 一 覧 の URL か ら HTML フ ァ イ ル を 取 得 し, デ ー タ ベ ー ス (DB)と し て 保 存 す る. 次 に, DB に 格 納 さ れ た HTML フ ァ イ ル は, そ れ ぞ れ B)HTML タ グ 切 り 離 し 部 に 送 ら れ, フ ァ イ ル ご と に HTML タ グ を 切 り 離 さ れ た 文 字 列 の デ ー タ ベ ー ス (plaindb)と し て 出 力 さ れ る. そ の 後 plaindb は,C) 単 語 出 現 回 数 カ ウ ン タ ー に 送 ら れ る. 単 語 出 現 回 数 カ ウ ン タ ー は,plainDB 中 の 各 HTML フ ァ イ ル か ら 作 成 さ れ た 文 字 列 を plaintext と し て, 形 態 素 解 析 エ ン ジ ン に 送 り, 形 態 素 解 析 さ れ て 戻 っ て き た 文 書 ( segmentedtext) に 出 現 す る 名 詞 の 出 現 回 数 を 数 え 上 げ, 単 語 と 出 現 回 数 の 対 応 表 (DBTF)を 出 力 す る. 一 方,Query は HTML タ グ 切 り 離 し 部 に 送 ら れ,DB と 同 じ く,HTML タ グ を 切 り 離 さ れ, 単 語 出 現 回 数 カ ウ ン タ ー に 送 ら れ た 後, 単 語 と 出 現 回 数 の 対 応 表 (QueryTF)と し て 出 力 さ れ る. QueryTF と DBTF は, 同 じ タ イ ミ ン グ で D)TF-IDF 計 算 モ ジ ュ ー ル に 送 ら れ, そ れ ぞ れ の URL ご と に 区 切 ら れ た 単 語 と TF-IDF 値 の 対 応 表 (tf-idf)の 形 に さ れ る. そ し て, E) 類 似 度 計 算 リ ス ト 並 び 替 え モ ジ ュ ー ル で, tf-idf を 用 い て 特 徴 語 図 5 実 装 し た シ ス テ ム の 構 造 8

11 の 比 較 を 行 い,DB 内 の 各 ペ ー ジ の 見 本 デ ー タ と の 類 似 度 を 計 算 す る. 最 後 に, シ ス テ ム は 類 似 度 を 元 に, DB の 中 の URL を 類 似 度 の 高 い 順 に 並 べ 替 え, 推 薦 URL リ ス ト と し て 出 力 す る. 図 6 に, シ ス テ ム に Querykey と し て 電 子 レ ン ジ + 高 性 能 を, Query と し て 電 子 レ ン ジ の 選 び 方 比 較 ガ イ ド /EC ナ ビ 4 を 与 え た と き の ス ク リ ー ン シ ョ ッ ト を 示 す. 図 の 最 上 段 に 示 さ れ た ア ド レ ス が,Query の ア ド レ ス で, 推 薦 す る URL 以 下 8 件 が ペ ー ジ の 類 似 度 順 に 並 べ 替 え ら れ た 推 薦 ペ ー ジ リ ス ト, 推 薦 し な い URL 以 下 は 類 似 度 が 0 だ っ た ペ ー ジ リ ス ト と な っ て い る. Query は 目 次 と し て 代 表 的 な タ イ プ と 特 徴 や 商 品 選 び の ポ イ ン ト な ど の 語 が 含 ま れ た Web ペ ー ジ で あ る. ま た, 表 1 に は Query か ら 抽 出 し た 特 徴 語 の う ち TF-IDF 値 が 上 位 10 件 ま で の 語 に つ い て, TF, DF, TF-IDF を そ れ ぞ れ 計 算 し た 結 果 を 示 す. 表 は, 電 子 レ ン ジ の 選 び 方 を 知 る の に 必 要 な キ ー ワ ー ド で あ る タ イ プ 選 び 方 オ ス ス メ な ど を 抽 出 し て い る こ と を 示 し て い る. 図 6 シ ス テ ム の ス ク リ ー ン シ ョ ッ ト 4 9

12 表 1 Query か ら 抽 出 さ れ た 特 徴 語 ( 上 位 十 件 ) rank TF DF TF-IDF term コンベック タイプ 庫 加 熱 選 び 方 内 オススメ 代 表 チェック 商 品 10

13 4. 実 験 こ の 章 で は, シ ス テ ム の 有 効 性 を 確 認 す る 実 験 に つ い て 説 明 す る 実 験 方 法 実 験 は,5 つ の タ ス ク を 設 定 し,タ ス ク に 対 す る シ ス テ ム の 出 力 結 果 を 被 験 者 に 評 価 し て も ら う タ ス ク 本 タ ス ク で 設 定 し た 目 的 は, 質 問 内 容 に 対 し て 複 数 の 答 え が 存 在 し,そ れ ら を 総 合 的 に 収 集 す る た め の Web 検 索 で あ る.タ ス ク 内 容 は テ ー マ の 偏 り が 起 こ ら な い よ う に 主 観 で 選 択 し た. 以 下 に 5 つ の タ ス ク の 概 要 を 示 す. 1. 電 子 レ ン ジ の 性 能 の 比 較 ポ イ ン ト を 調 べ る た め, 電 子 レ ン ジ + 高 性 能 で 検 索 し た. 2. 大 和 郡 山 に あ る お い し い ラ ー メ ン の あ る 中 華 料 理 店 を 調 べ る た め, 中 華 + 大 和 郡 山 で 検 索 し た. 3. ゲ ー ム ソ フ ト フ ァ イ ナ ル フ ァ ン タ ジ ー XIII の 攻 略 サ イ ト を 探 す た め に, FF13 13 で 検 索 し た. 4. 映 画 AVATAR の 評 判 や 情 報 を 見 る た め に AVATAR で 検 索 し た. 5. 公 害 の 概 要 や そ の 害 に つ い て 調 べ る た め に, 公 害 で 検 索 し た 実 験 の 手 順 実 験 で は, 上 記 の 5 タ ス ク に つ い て, 各 タ ス ク の 説 明 文 と, Google で の 検 索 結 果 の 上 位 25 件 か ら エ ラ ー が 発 生 す る ペ ー ジ を 除 去 し た 検 索 結 果 の リ ス ト, 正 解 の 見 本 ペ ー ジ を 被 験 者 に 提 示 す る. そ し て, 提 示 し た URL が 各 タ ス ク の 検 索 目 的 に 当 て は ま る 有 用 な ペ ー ジ か, 当 て は ま ら な い 不 要 な ペ ー ジ か を 目 的 に 強 く 当 て は ま る 当 て は ま る 余 り 当 て は ま ら な い 全 く 当 て は ま ら な い の 四 段 階 で 回 答 し て も ら う. 被 験 者 は PC と Web の 利 用 経 験 が 3 年 以 上 あ る 10 人 ( 男 性 9 人, 女 性 1 人 ) で, 実 験 環 境 は 各 自 の PC(OS は す べ て Windows) 上 で, HTML デ ー タ の 閲 覧 が 可 能 な ブ ラ ウ ザ を 用 い て 行 っ た デ ー タ 被 験 者 実 験 で 収 集 し た ア ン ケ ー ト 結 果 の 例 を, 表 2 に 示 す. 表 2 に, あ る ひ と つ の タ ス ク で 検 索 結 果 に 出 現 し た ペ ー ジ の う ち 上 位 の も の ( 表 の 例 で は 22 ペ ー ジ )に 対 す る 被 験 者 ひ と り の ア ン ケ ー ト 結 果 を 示 す. 11

14 表 2 ア ン ケ ー ト 結 果 の 例 検 索 結 果 被 験 者 の 回 答 1 ページ 目 あまり 当 てはまらない 2 ページ 目 全 く 当 てはまらない 3 ページ 目 当 てはまる 4 ページ 目 あまり 当 てはまらない 5 ページ 目 全 く 当 てはまらない 6 ページ 目 当 てはまる 7 ページ 目 目 的 に 強 く 当 てはまる 8 ページ 目 当 てはまる 9 ページ 目 あまり 当 てはまらない 10 ページ 目 あまり 当 てはまらない 11 ページ 目 あまり 当 てはまらない 12 ページ 目 あまり 当 てはまらない 13 ページ 目 当 てはまる 14 ページ 目 全 く 当 てはまらない 15 ページ 目 全 く 当 てはまらない 16 ページ 目 全 く 当 てはまらない 17 ページ 目 目 的 に 強 く 当 てはまる 18 ページ 目 目 的 に 強 く 当 てはまる 19 ページ 目 当 てはまる 20 ページ 目 目 的 に 強 く 当 てはまる 21 ページ 目 目 的 に 強 く 当 てはまる 22 ページ 目 あまり 当 てはまらない 表 中 で は, 被 験 者 の 回 答 が 目 的 に 強 く 当 て は ま る 当 て は ま る な ら ば 被 験 者 が ペ ー ジ を 有 用 と 判 断 し た こ と を, あ ま り 当 て は ま ら な い 全 く 当 て は ま ら な い な ら ば 被 験 者 が ペ ー ジ を 不 要 と 判 断 し た こ と を あ ら わ し て い る 結 果 表 3 に 全 タ ス ク に お け る 被 験 者 の 回 答 と シ ス テ ム の 推 薦 結 果 の 集 計 結 果 を, 表 4 か ら 表 8 に 各 タ ス ク の 結 果 を 示 す. 表 3 か ら 表 8 に お い て は, 簡 略 化 の た め 被 験 者 の 回 答 は 目 的 に 強 く 当 て は ま る を 1, 当 て は ま る を 2, あ ま り 当 て は ま ら な い を 3, 全 く 当 て は ま ら な い を 4 と し て い る. 表 は, 4 2 の マ ト リ ク ス で, そ れ ぞ れ の セ ル は, 被 験 者 の 回 答 と シ ス テ ム 12

15 表 3 全 タ ス ク の デ ー タ の 集 計 被 験 者 の 回 答 全 タ ス ク 推 薦 す る 152 件 89 件 77 件 82 件 シ ス テ ム 推 薦 し な い 105 件 129 件 210 件 356 件 表 4 タ ス ク 1 の デ ー タ の 集 計 被 験 者 の 回 答 タ ス ク 推 薦 す る 27 件 17 件 16 件 20 件 シ ス テ ム 推 薦 し な い 9 件 25 件 33 件 73 件 表 5 タ ス ク 2 の デ ー タ の 集 計 被 験 者 の 回 答 タ ス ク 推 薦 す る 10 件 6 件 0 件 4 件 シ ス テ ム 推 薦 し な い 48 件 51 件 77 件 84 件 表 6 タ ス ク 3 の デ ー タ の 集 計 被 験 者 の 回 答 タ ス ク 推 薦 す る 47 件 13 件 6 件 14 件 シ ス テ ム 推 薦 し な い 0 件 3 件 11 件 116 件 表 7 タ ス ク 4 の デ ー タ の 集 計 被 験 者 の 回 答 タ ス ク 推 薦 す る 49 件 33 件 35 件 23 件 シ ス テ ム 推 薦 し な い 35 件 21 件 45 件 39 件 表 8 タ ス ク 5 の デ ー タ の 集 計 被 験 者 の 回 答 問 題 推 薦 す る 19 件 20 件 20 件 21 件 シ ス テ ム 推 薦 し な い 13 件 29 件 44 件 44 件 13

16 の 推 薦 結 果 に 対 応 す る ペ ー ジ が 何 件 あ っ た か を あ ら わ し て い る. 結 果 で, 被 験 者 が 有 用 で あ る と し た ペ ー ジ (1,2)を シ ス テ ム が 多 く 推 薦 し, 被 験 者 が 不 要 で あ る と し た ペ ー ジ (3,4)を シ ス テ ム が 推 薦 し て い な け れ ば,シ ス テ ム は 意 図 し た と お り に 動 作 し て い る と 言 え る. 動 作 の 確 認 の た め, 被 験 者 が 有 用 と し た ペ ー ジ を 推 薦 し た 件 数 と, 不 要 と し た ペ ー ジ を 推 薦 し な か っ た 件 数 の 合 計 を 正 答 数, 被 験 者 が 不 用 と し た ペ ー ジ を 推 薦 し た 件 数 と 有 用 と し た ペ ー ジ を 推 薦 し な か っ た 件 数 の 合 計 を 誤 答 数 と す る. 図 7 に シ ス テ ム 全 体 と 全 タ ス ク に つ い て タ ス ク ご と の 誤 答 数 と 正 答 数 の 割 合 を 100% 積 み 上 げ 棒 グ ラ フ で あ ら わ す. 図 7 か ら, 全 タ ス ク で 推 薦 の ほ ぼ 6 割 以 上 が 正 答 で あ る と わ か る.ま た,タ ス ク 3 で は 正 答 数 の 割 合 が 非 常 に 高 い と わ か っ た.こ の 結 果 は,シ ス テ ム が 有 用 な ペ ー ジ を 推 薦 で き て い る こ と が 示 唆 し て い る. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% システム タスク1 タスク2 タスク3 タスク4 タスク5 誤 答 数 正 答 数 図 7 各 タ ス ク ご と の 誤 答 数 と 正 答 数 の 割 合 14

17 5. 考 察 こ の 章 で は, 前 章 で の 実 験 結 果 に 対 し て 統 計 的 な 分 析 を 行 い,そ の 結 果 に つ い て 考 察 す る.ま ず 分 析 手 順 に つ い て 説 明 を 行 い,シ ス テ ム 全 体 の 場 合 と そ れ ぞ れ の タ ス ク の 場 合 の 結 果 に つ い て 考 察 を 加 え る 分 析 ま ず, 分 析 の 容 易 化 を 計 る た め, 前 章 で 示 し た 表 3 か ら 表 8 の デ ー タ を 1,2 と 3,4 で 有 用 と 不 要 の 二 つ に グ ル ー プ 化 し, 2 2 分 割 表 に ま と め る. 表 9 に ま と め た 後 の 例 を 示 す. そ し て 表 9 に あ る そ れ ぞ れ の 値 か ら, accuracy( 正 答 率 ), error( 誤 答 率 ), precision( 精 度 ), recall( 再 現 率 ), F1-value(F1 値 ) [ 7 ] の 5 つ の 値 を 求 め る. こ れ ら の 分 析 用 変 数 に つ い て, 表 10 に 示 し た A, B, C, D, N の 5 つ の 変 数 を 用 い て 説 明 す る. シ ス テ ム の 回 答 が ど の 程 度 被 験 者 の 回 答 と 一 致 し て い る か を 表 す 値 accuracy は, A, D, N よ り, accuracy = A+ D N (2) に よ っ て 求 め ら れ る.accuracy は 0~ 1 の 範 囲 を と り, 大 き け れ ば 大 き い ほ ど シ ス テ ム が 被 験 者 の 回 答 と 一 致 し て い る こ と を 示 す. 表 分 割 表 の 例 有 用 不 要 合 計 推 薦 する 推 薦 しない 合 計 表 10 分 析 用 変 数 の 算 出 方 法 良 い 悪 い 合 計 推 薦 する A B A+B 推 薦 しない C D C+D 合 計 A+C B+D N 15

18 シ ス テ ム の 回 答 が ど の 程 度 被 験 者 の 回 答 と 食 い 違 っ て い る か を あ ら わ す 値 error は, accuracy よ り, error=1 accuracy (3) に よ っ て 求 め ら れ る. error は 0~ 1 の 範 囲 を と り, 小 さ け れ ば 小 さ い ほ ど 食 い 違 っ た 回 答 が 少 な い こ と を 示 す. シ ス テ ム が 回 答 し た 解 答 の う ち 何 割 が 正 し い 答 え か を あ ら わ す 値 precision は, A, B よ り, precision = A A+ B (4) に よ っ て 求 め ら れ る. precision は 0~ 1 の 範 囲 を と り, 値 が 高 け れ ば 高 い ほ ど シ ス テ ム が 被 験 者 の 意 見 に 反 す る 結 果 を 推 薦 し て い な い こ と を 示 す. 被 験 者 が 有 用 と 判 断 し た ペ ー ジ の う ち 何 割 を シ ス テ ム が 推 薦 で き て い る か を あ ら わ す 値 recall は, A, C よ り, recall = A A+ C (5) に よ っ て 求 め ら れ る.recall は 0~ 1 の 範 囲 を と り, 値 が 高 け れ ば 高 い ほ ど シ ス テ ム が 被 験 者 の 望 む ペ ー ジ を 推 薦 し て い る こ と を 示 す. ま た,precision と recall は ト レ ー ド オ フ の 関 係 に あ る の で, 仮 に precision が よ い 値 で も recall が 極 端 に 低 い 場 合 や,recall が よ い 値 で も precision が 極 端 に 低 い 場 合 な ど が 考 え ら れ る.こ の た め,シ ス テ ム の 検 索 性 能 に つ い て 評 価 す る 指 標 と し て 本 研 究 で は F1-value を 用 い る. F1-value は precision と recall の 調 和 平 均 を と っ た 値 で, F1 value = precision 1 recall (6) に よ っ て 求 め ら れ る. F1-value は 0~ 1 の 範 囲 を と り, precision, recall が 両 者 と も に 高 い 場 合 に 高 い 値 を 示 す. ま た, F1-value は 高 け れ ば 高 い ほ ど 良 い. さ ら に,シ ス テ ム の 推 薦 結 果 の 有 効 性 を 統 計 的 に 確 認 す る た め,シ ス テ ム の 推 薦 結 果 と 被 験 者 の 回 答 の 間 に 関 連 性 が 見 ら れ る と い う 仮 説 を 立 て た.こ れ を 16

19 検 証 す る 為 に, 帰 無 仮 説 H0 と 対 立 仮 説 H1 を 立 て た. H0 と H1 を 以 下 に 示 す. H0:シ ス テ ム の 推 薦 結 果 と 被 験 者 の 回 答 の 間 に 関 連 性 は な い H1:シ ス テ ム の 推 薦 結 果 と 被 験 者 の 回 答 の 間 に 関 連 性 が な い と は い え な い 仮 説 の 検 証 に は, ピ ア ソ ン の χ 2 独 立 性 検 定 ( 以 下, χ 2 検 定 と す る )を 用 い, 前 述 の そ れ ぞ れ の タ ス ク に つ い て の 2 2 分 割 表 に 対 し て 検 定 を 行 っ た. χ 2 検 定 は, 2 2 分 割 表 に 対 し て, 縦 と 横 二 つ の 事 象 が 独 立 か ど う か を 検 定 す る 為 に 用 い ら れ る 手 法 で あ る [ 8 ]. 同 様 の 検 定 と し て は フ ィ ッ シ ャ ー の 正 確 確 率 検 定 や 二 項 検 定 な ど が あ る が,こ れ ら の 手 法 は 標 本 数 が 多 い 時 に 精 度 が 下 が る こ と が 知 ら れ て お り, 本 実 験 で は 標 本 数 が 多 い た め, χ 2 検 定 を 用 い る の が 適 切 と 判 断 し た. 表 11 に, 各 タ ス ク と シ ス テ ム 全 体 に つ い て の 分 析 結 果 と,χ 2 検 定 の 結 果 を 示 す. こ の 表 か ら, χ 2 検 定 は 各 タ ス ク と シ ス テ ム に つ い て, シ ス テ ム の 判 断 と 被 験 者 の 判 断 に は, 有 意 な 関 係 が あ る と わ か る.こ の 結 果 は, 提 案 シ ス テ ム が 推 薦 し た Web ペ ー ジ が, 被 験 者 に と っ て 有 用 で あ り,シ ス テ ム が 有 効 に 機 能 す る こ と を 示 し て い る 個 別 の 考 察 こ こ で は, 前 節 の 分 析 と 検 定 の 結 果 に 基 づ い て,シ ス テ ム と 各 タ ス ク に 関 し て 詳 細 な 考 察 を 加 え る シ ス テ ム シ ス テ ム 全 体 の 分 析 結 果 で は,precision は で, 推 薦 結 果 に 占 め る 正 解 デ ー タ の 割 合 は 60.3%で あ っ た.シ ス テ ム の 適 用 前 の 検 索 結 果 で は, 結 果 全 体 に 占 め る 正 解 デ ー タ の 割 合 は 39.6%(129/356)で あ る の で, precision に は 1.5 倍 の 向 上 が み ら れ る. 一 方, recall は で, 正 解 デ ー タ の 半 分 を 推 薦 し て い な い. 本 シ ス テ ム の 目 的 は,precision の 高 い 推 薦 を 実 現 す る こ と で あ り,recall は precision と ト レ ー ド オ フ の 関 係 に あ る た め, あ る 程 度 recall が 低 減 す る こ と は や む を 得 な い. ま た,χ 2 検 定 で は,p<0.00 で 有 意 な 関 連 が み ら れ,シ ス テ ム の 推 薦 と 被 験 者 の 回 答 に は 有 意 な 関 連 性 が 認 め ら れ た. シ ス テ ム は, 有 用 な ペ ー ジ を す べ て 抽 出 で き て い る わ け で は な い が,シ ス テ ム 適 用 前 の 結 果 に 比 べ 不 要 ペ ー ジ を 多 く 除 去 し て お り, 多 く の 検 索 結 果 か ら 有 効 な ペ ー ジ だ け を 抽 出 す る と い う 本 シ ス テ ム の 目 的 を 満 た し て い る. 今 後 は recall の 改 善 と precision の さ ら な る 向 上 が 必 要 で あ る. ま た, こ こ で は 比 較 対 象 が な い た め F1-value に つ い て は 議 論 し な い が, こ 17

20 表 11 分 析 と 検 定 の 結 果 シ ス テ ム タ ス ク 1 タ ス ク 2 タ ス ク 3 タ ス ク 4 タ ス ク 5 accuracy error precision recall F1-value χ 2 test * * * * * * * * 有 意 水 準 1%で 有 意 な 関 連 あ り * * 有 意 水 準 5%で 有 意 な 関 連 あ り の 後 に 示 す そ れ ぞ れ の タ ス ク に つ い て の 項 目 で,シ ス テ ム 全 体 の 動 作 と の 比 較 の た め に 用 い る タ ス ク 1( 電 子 レ ン ジ の 比 較 方 法 ) タ ス ク 1 で は,precision は で,タ ス ク 1 に お け る シ ス テ ム 適 用 前 の 検 索 結 果 に 比 べ て 1.55 倍 向 上 し た. precision 自 体 は シ ス テ ム 全 体 の 結 果 に 比 べ て 低 い が,precision の 向 上 の 面 か ら 見 る と 有 効 な 動 作 を し て い た.ま た, recall, F1-value も シ ス テ ム の 結 果 よ り 高 く, こ の タ ス ク で は シ ス テ ム の 結 果 よ り 良 い 結 果 が 出 て い る と わ か る.ま た,χ 2 検 定 で は,p<0.00 で 有 意 な 関 連 が み ら れ た. precision が 下 が っ て い る 理 由 と し て は,シ ス テ ム 適 用 前 の 検 索 結 果 で, 全 デ ー タ に 対 す る 正 解 デ ー タ の 割 合 が 小 さ か っ た こ と が あ げ ら れ る. シ ス テ ム が 特 徴 語 と し て 抽 出 し た 語 と し て は, 比 較 や 選 び 方 な ど 目 的 を あ ら わ す 語 か ら 特 徴 や 出 力, 容 量 な ど 比 較 す る 項 目 を あ ら わ す 語 ま で を 広 く 抽 出 し て お り,こ れ が 良 い 結 果 を 生 む 要 因 に な っ た と 考 え ら れ る タ ス ク 2(ラ ー メ ン 屋 の 探 索 ) タ ス ク 2 で は,precision は で,シ ス テ ム 適 用 前 の 検 索 結 果 に 比 べ て 1.94 倍 向 上 し た. こ れ は シ ス テ ム 全 体 の 結 果 に 対 し て も 大 き な 値 で あ り, シ ス テ ム は こ の タ ス ク に お い て precision の 面 で は よ い 動 作 を し て い る. ま た, χ 2 検 定 で は, p<0.00 で 有 意 な 関 連 が み ら れ た. し か し, recall は で, F1-value(0.237)と と も に 最 低 の 値 で あ る. recall が 極 端 に 低 い 原 因 と し て, 正 解 の 見 本 ペ ー ジ に 含 ま れ て い た, ひ ら が な 表 記 の ら ー め ん と い う 語 に 対 す る 誤 検 出 が あ げ ら れ る. こ の タ ス ク に お い て 重 要 と 思 わ れ る ら ー め ん と い う キ ー ワ ー ド が, 形 態 18

21 素 解 析 エ ン ジ ン に よ っ て ら ー と め ん と い う 二 つ の 形 態 素 に 分 割 さ れ た. 一 方, 検 索 結 果 に 出 現 し た,カ タ カ ナ 表 記 の ラ ー メ ン は そ の ま ま ひ と つ の 形 態 素 と し て 抽 出 さ れ て お り,そ の た め, 正 解 ペ ー ジ の ら ー め ん と 検 索 結 果 中 の ラ ー メ ン に 対 し て 類 似 度 の 算 出 が 行 わ れ な か っ た. 本 来 一 つ の 形 態 素 と し て 抽 出 さ れ る べ き 単 語 が, 複 数 の 形 態 素 に 分 割 さ れ る 問 題 は 日 本 語 形 態 素 解 析 に 広 く 見 ら れ, 改 善 に は 形 態 素 解 析 の 精 度 を 向 上 さ せ る か, 形 態 素 と し て 識 別 す る キ ー ワ ー ド の リ ス ト を 別 に 用 意 す る 必 要 が あ る. ま た,こ の 項 目 に よ る 正 解 デ ー タ の 取 り こ ぼ し は シ ス テ ム 全 体 の 分 析 に も 大 き な 影 響 を 与 え て お り, 全 タ ス ク で シ ス テ ム が 取 り こ ぼ し た 推 薦 す る べ き ペ ー ジ の う ち 半 数 近 く は こ の タ ス ク 2 で 取 り こ ぼ し た デ ー タ で あ る タ ス ク 3(ゲ ー ム ソ フ ト の 攻 略 法 ) タ ス ク 3 は, 総 て の タ ス ク の 中 で も っ と も 良 い 結 果 が 出 た 例 で, precision は で, シ ス テ ム 適 用 前 の 結 果 に く ら べ て 2.5 倍 と 大 き く 向 上 し て い た. ま た, recall も と, 正 解 デ ー タ の 取 り こ ぼ し が ほ と ん ど な か っ た. F1-value も 全 タ ス ク 中 で 最 大 の 値 (0.839)で, precision, recall 両 方 の 面 か ら 優 れ た 動 作 を し た こ と が わ か る.ま た,χ 2 検 定 で は,p<0.00 で 有 意 な 関 連 が み ら れ た. ユ ー ザ が 有 用 と し た ペ ー ジ や 正 解 の 見 本 ペ ー ジ か ら 抽 出 さ れ た 単 語 に は ゲ ー ム の 進 行 に 用 い ら れ る 章 や 攻 略 情 報 を あ ら わ す 攻 略, ゲ ー ム シ ス テ ム に 関 す る 地 図 鎧 な ど, 攻 略 ペ ー ジ 特 有 の 語 が 多 く 見 ら れ た. シ ス テ ム は こ れ ら の 単 語 が 含 ま れ な い 宣 伝 目 的 の ペ ー ジ や ゲ ー ム の ス ト ー リ ー に つ い て 解 説 す る レ ビ ュ ー ペ ー ジ な ど が 除 去 で き て お り,こ れ が precision 向 上 の 理 由 と 考 え ら れ る タ ス ク 4( 映 画 の 評 判 ) タ ス ク 4 で は, precision は で, シ ス テ ム 適 用 前 に 比 べ て 1.18 倍 の 向 上 が み ら れ た.こ れ は,シ ス テ ム の 平 均 か ら 見 る と 低 い 向 上 で あ る が,recall は と 比 較 的 高 い 値 を 示 し て お り,F1-value は シ ス テ ム の 平 均 よ り 高 い. ま た, accuracy は 全 タ ス ク 中 で 最 も 低 か っ た. accuracy が 最 低 で あ る の に F1-value が シ ス テ ム の 平 均 よ り 高 い 理 由 と し て は, 元 の 検 索 結 果 に 含 ま れ る 正 解 ペ ー ジ の 量 が 多 い こ と が 考 え ら れ る. 元 の 検 索 結 果 に 正 解 ペ ー ジ が 多 い と, ラ ン ダ ム 抽 出 に 近 い よ う な 推 薦 を 行 っ て も recall や precision が 高 い 値 を 示 す. し た が っ て, シ ス テ ム の 出 力 と し て は precision の 向 上 率 が 低 く, 望 ま し く な い 結 果 が 出 た が,F1-value は 高 く な っ て い る. ま た,precision の 向 上 率 が 低 か っ た 理 由 と し て は, 正 解 の 見 本 ペ ー ジ に 対 19

22 し て TF-IDF で 特 徴 語 抽 出 を 行 っ た 結 果 に 県 や さ ん, み た い な ど, ど の よ う な 文 章 で も 見 ら れ る 語 が 入 っ て い た こ と が 考 え ら れ る. こ の よ う に, 一 般 的 に 頻 出 す る 語 を 特 徴 語 と し て 抽 出 す る と, 特 徴 語 抽 出 の 質 が 低 下 す る た め, 通 常 は ス ト ッ プ ワ ー ド リ ス ト ( 特 徴 語 と し て カ ウ ン ト し な い 単 語 の リ ス ト )を 作 成 し て お く 事 が 多 い. 本 シ ス テ ム で も こ れ を 実 装 す る 事 で, 更 な る 性 能 の 改 善 を 望 め る タ ス ク 5( 公 害 の 調 査 ) タ ス ク 5 の precision は で, シ ス テ ム 適 用 前 と 比 べ て 1.25 倍 の 向 上 が 見 ら れ た が, シ ス テ ム の 平 均 と 比 べ る と 少 な い 値 だ っ た. recall も と 高 い 値 で は な く, そ れ に よ っ て F1-value も 平 均 を 下 回 る 値 に な っ て い る. こ の タ ス ク で precision が 低 か っ た 理 由 と し て は,タ ス ク で 用 い る 見 本 ペ ー ジ に Wikipedia の 記 事 を 選 ん だ こ と が 考 え ら れ る.こ の ケ ー ス で は,シ ス テ ム が Wikipedia 特 有 の 頻 出 語 で あ る ノ ー ト や 出 典 な ど の 単 語 を 特 徴 語 と し て 抽 出 し た た め,シ ス テ ム が 類 似 度 の 測 定 に 使 え る 有 効 な 単 語 が 少 な く な り, precision が 下 が っ た と 考 え ら れ る. こ の 動 作 は, 公 害 に 関 す る 特 徴 語 を 抽 出 し よ う と し た が, Wikipedia の 特 徴 語 が 抽 出 さ れ た と 解 釈 で き る た め, 今 後 は HTML タ グ の 解 析 な ど か ら, メ イ ン の 文 章 以 外 ( 他 ペ ー ジ へ の リ ン ク や メ ニ ュ ー 部 分 な ど )を 読 ま な い 工 夫 が 必 要 で あ る. ま た,デ ー タ ベ ー ス と し て 用 い ら れ た 検 索 結 果 の 多 く は 政 府 機 関 や 企 業 の 宣 伝 ペ ー ジ な ど で, 公 害 の 調 査 に 有 効 と 考 え ら れ る 資 料 や 事 例 を 掲 載 し た Web ペ ー ジ が わ ず か し か 結 果 に 含 ま れ て い な か っ た. 結 果 と し て, 関 係 な い 文 書 の 除 去 は 可 能 で も, 正 解 ペ ー ジ を 選 択 す る こ と が 出 来 な か っ た と 考 え ら れ る. 特 に, 企 業 の ペ ー ジ で は, 環 境 問 題 に 対 す る 自 社 の 取 り 組 み に つ い て, 公 害 に 関 す る 単 語 を 用 い て 解 説 し て い る ペ ー ジ も あ り,precision を 下 げ る 原 因 に な っ た と 考 え ら れ る ま と め 分 析 の 結 果, 今 回 作 成 し た シ ス テ ム は,シ ス テ ム 適 用 前 の 検 索 結 果 に 対 し て 1.5 倍 程 度 precision の 高 い 推 薦 リ ス ト を 作 成 で き て お り, 多 く の 検 索 結 果 か ら 有 効 な ペ ー ジ を 抽 出 す る と い う シ ス テ ム 本 来 の 目 的 を 満 た し て い る. し か し,タ ス ク 2 や タ ス ク 4,タ ス ク 5 の 分 析 に お い て は,い く つ か の 問 題 点 が 明 ら か に な っ た. タ ス ク 2 で は, ら ー め ん と い う 単 語 が 日 本 語 形 態 素 解 析 エ ン ジ ン に よ っ て ら ー と め ん に 分 解 さ れ, 推 薦 可 能 な ペ ー ジ が 著 し く 減 少 し た.こ れ は, 平 仮 名 表 記 の ら ー め ん が 形 態 素 解 析 エ ン ジ ン の 辞 書 に 登 録 さ れ て い な 20

23 か っ た こ と が 原 因 と 考 え ら れ る. こ の 問 題 は, 形 態 素 解 析 エ ン ジ ン の 辞 書 に 単 語 を 追 加 す る か, 別 な 辞 書 を 用 い る な ど の 方 法 で 改 善 を は か れ る. タ ス ク 4 で は 県 さ ん み た い な ど, 一 般 的 に ど ん な 文 書 で も 用 い ら れ る よ う な 単 語 を 特 徴 語 と し て 抽 出 し た た め, 関 連 性 の 低 い 文 書 を 推 薦 す る 問 題 が 起 き た. こ れ は, TF-IDF の ス コ ア リ ン グ の 問 題 で あ る が, ス ト ッ プ ワ ー ド リ ス ト の 作 成 や TF-IDF に よ る ス コ ア リ ン グ の 式 の 変 更 な ど に よ っ て 改 善 出 来 る. タ ス ク 5 で は, 検 索 結 果 に 含 ま れ る 有 用 な Web ペ ー ジ の 数 が 少 な く,precision が 下 が る 問 題 が み ら れ た.そ こ で, 今 後 の 研 究 で は 検 索 対 象 に す る ペ ー ジ の 数 に つ い て も 検 討 す る 必 要 が あ る. ま た, 今 回 は TF-IDF 法 を 用 い て 文 書 中 の 特 徴 語 の ス コ ア リ ン グ を 行 っ た. し か し, 特 徴 語 の 抽 出 ア ル ゴ リ ズ ム に は 他 に も 種 類 が あ り, TF-IDF 法 に つ い [ 7 て は 文 書 内 で の 単 語 の 出 現 回 数 ( TF)に 重 み を つ け す ぎ る と 言 う 見 方 ] も あ る. TF-IDF 法 以 外 の 特 徴 語 抽 出 ア ル ゴ リ ズ ム と し て は,TF-IDF の TF を 対 数 化 し た ア ル ゴ リ ズ ム や,ペ ー ジ の 長 さ を 考 慮 し た 計 算 式 な ど も あ る た め, 今 後 の 研 究 で は こ れ ら と 比 較 し て 考 察 を 行 え ば, シ ス テ ム の 性 能 向 上 に 繋 が る. 21

24 6. おわりに 本 研 究 で は, 複 数 の 正 解 ペ ー ジ を 持 つ 検 索 の 支 援 と, 既 存 の 検 索 に 関 す る 研 究 や シ ス テ ム の 問 題 点 の 解 決 を 目 的 と し, 問 題 点 の 解 決 の た め に は, TF-IDF と 形 態 素 解 析 に よ っ て,ユ ー ザ の 提 示 し た 見 本 ペ ー ジ に 類 似 し た Web ペ ー ジ を 推 薦 す る シ ス テ ム を 提 案, 実 装 し, 被 験 者 実 験 に よ る 有 効 性 の 確 認 を 行 っ た. 提 案 手 法 で は,ユ ー ザ の 提 示 し た 正 解 の 見 本 ペ ー ジ と 検 索 結 果 か ら, 形 態 素 解 析 と TF-IDF 法 を 用 い て 特 徴 語 を 抽 出 し, 検 索 結 果 を 正 解 の 見 本 ペ ー ジ と の 類 似 度 順 に 並 べ 替 え る. 提 案 シ ス テ ム で は, 検 索 キ ー ワ ー ド の 情 報 と 関 係 の な い ペ ー ジ の 推 薦 を 行 わ な い と い う 利 点 が あ り,こ れ に よ っ て 既 存 シ ス テ ム の 問 題 点 を 解 決 が 出 来 る.ま た, 広 範 囲 な 検 索 に 対 応 し た 既 存 研 究 が な い 点 に つ い て は, 分 野 を 絞 ら な い タ ス ク を 5 つ 設 定 し, 被 験 者 実 験 を 行 い シ ス テ ム の 評 価 を 試 み た. 被 験 者 実 験 の 結 果, 本 シ ス テ ム で は 複 数 の 正 解 ペ ー ジ の 存 在 が 予 想 さ れ る よ う な 検 索 に つ い て, 適 切 な 正 解 の 見 本 ペ ー ジ を 用 意 す れ ば, 正 解 ペ ー ジ を 5 割 程 度 見 落 と す か わ り に, も と の 検 索 結 果 に 比 べ て 1.5 倍 程 度 精 度 (precision)の 高 い 推 薦 リ ス ト を 提 示 で き る こ と が わ か っ た. シ ス テ ム は,Web 検 索 で の キ ー ワ ー ド に よ る 絞 り 込 み に な れ て い な い ユ ー ザ の 支 援 目 的 に 作 っ た も の で, 複 数 の 正 解 ペ ー ジ の 存 在 が 予 想 さ れ,な る べ く 多 く の 情 報 を 集 め た い 場 合 の 検 索 に 適 用 す る こ と で, 元 の 検 索 結 果 よ り 高 い 精 度 で 情 報 収 集 を 行 う 事 が で き る. 今 後 の 課 題 と し て, 本 研 究 で は, 実 験 に 著 者 が 主 観 で 定 め た タ ス ク を 用 い た. そ の た め, 広 範 囲 な 目 的 の 検 索 に つ い て, 網 羅 的 に 対 応 で き て い る か 客 観 的 に 評 価 で き な い と い う 問 題 が あ っ た. 今 後, 検 索 エ ン ジ ン の 有 効 性 確 認 用 の 文 書 セ ッ ト デ ー タ ベ ー ス で あ る NTCIR の テ ス ト コ レ ク シ ョ ン [ 9 ] [ 1 0 ] を 用 い た 実 験 を 行 う こ と で, よ り 有 効 性 の 高 い 評 価 が 可 能 と な る. ま た, 本 研 究 で は 日 本 語 形 態 素 解 析 の 限 界 に よ っ て 推 薦 が あ ま り 上 手 く 働 か な か っ た タ ス ク や,ス ト ッ プ ワ ー ド リ ス ト を 実 装 し て い な か っ た こ と に よ る 無 用 単 語 の 拾 い 上 げ な ど の 例 も 見 ら れ, 今 後 の 研 究 で は こ れ ら の 点 も 改 善 す る 必 要 が あ る. 22

25 謝 辞 本 論 文 の 執 筆 お よ び 研 究 を 進 め る に あ た っ て, 多 く の 方 に 多 大 な お 力 添 え を い た だ き ま し た.こ の 場 を 借 り て 感 謝 の 意 を 表 明 さ せ て い た だ き ま す.あ り が と う ご ざ い ま し た. 指 導 教 員 で あ る 上 野 秀 剛 助 教 に は,お 忙 し い 中, 研 究 の ス ケ ジ ュ ー リ ン グ か ら 論 文 の チ ェ ッ ク, 提 出 ま で, 様 々 な 方 面 か ら 丁 寧 で 的 確 な ご 指 導 を 頂 き ま し た. 厚 く 御 礼 申 し あ げ ま す. 査 読 教 員 で あ る 松 尾 賢 一 准 教 授 か ら は, 査 読 コ メ ン ト, 卒 研 発 表 会 の 両 方 で, 的 確 で 鋭 い ご 質 問 を 賜 り, 本 論 文 の 修 正 の 上 で い く つ も 気 づ か さ れ る 点 が あ り ま し た. 先 生 の ご 質 問 は 大 変 参 考 に な り ま し た. 厚 く お 礼 申 し 上 げ ま す. 本 研 究 の 中 間 発 表 会 で ご 質 問 く だ さ っ た 近 藤 勝 也 特 任 教 授 に は, 当 方 の 説 明 の 至 ら な い 点 を 厳 し く 指 摘 し て い た だ き,そ の 後 の 資 料 の 作 成 に つ い て 非 常 に 参 考 に な る 意 見 を 頂 き ま し た. あ り が と う ご ざ い ま す. ま た, 山 口 智 弘 教 授 に も, 同 発 表 会 で 質 問 を い た だ き ま し た.そ の 際 に は 類 似 分 野 か ら の 適 切 で 鋭 い ア ド バ イ ス を 賜 り, 論 文 の 構 成 を 決 め る 段 階 で ご 意 見 を 参 考 に さ せ て い た だ き ま し た. あ り が と う ご ざ い ま す. 同 研 究 室 の 先 輩, 同 輩 の 皆 様,な ら び に 情 報 工 学 科 5 年 ク ラ ス メ イ ト の 皆 様 や 専 攻 科 の 先 輩 方 に も, 励 ま し や 助 言 を 頂 き,ま た 相 談 も さ せ て も ら い ま し た. あ り が と う ご ざ い ま す. ま た, 研 究 の 進 行 に お い て, お 忙 し い 中 被 験 者 実 験 に ご 協 力 く だ さ っ た 皆 様, ま こ と に あ り が と う ご ざ い ま す. 23

26 参 考 文 献 [1] 総 務 省 情 報 通 信 白 書 ( 平 成 21 年 度 版 ) 図 表 [2] 中 島 悠, 土 方 嘉 徳, 西 田 正 吾 :" 検 索 経 験 と 領 域 知 識 の WWW 情 報 検 索 行 動 に 与 え る 影 響,"ヒ ュ ー マ ン イ ン タ フ ェ ー ス 学 会 論 文 誌, Vol.7, No.2, pp (2005). [3] 國 貞 暁, 山 本 け い 子, 田 村 哲 嗣, 速 水 悟 : " 要 約 情 報 の 類 似 度 を 用 い た WEB 検 索 支 援 シ ス テ ム," 人 工 知 能 学 会 2007 年 全 国 大 会, 3H7-1, [4] 長 尾 真 : " 言 語 の 機 械 処 理," 三 省 堂 (1984). [5] 工 藤 拓, 山 本 薫, 松 本 裕 治 : "Conditional Random Fields を 用 い た 日 本 語 形 態 素 解 析," 自 然 言 語 処 理 研 究 会 報 告 Vol.2004, No.47, pp.89-96(2004). [6]G. Salton, M.J.McGill: "Introduction to modern information retrieval," McGraw-Hill, New York(1983). [7] 北 研 二, 津 田 和 彦, 獅 子 掘 正 幹 : " 情 報 検 索 ア ル ゴ リ ズ ム," 共 立 出 版 (2002). [8] 山 田 剛 史, 杉 澤 武 俊, 村 井 潤 一 郎 : "R に よ る や さ し い 統 計 学 " オ ー ム 社 (2008). [9]Eguchi,K., Oyama,K., Aizawa,A., Ishikawa,H.: Overview of the Informational Retrieval Task at NTCIR-4 WEB; Proceedings of the Fourth NTCIR Workshop on Research in Information Access Technologies Information Retrieval, Question Answering and Summarization (2004). [10]Oyama,K., Eguchi,K., Ishikawa,H., Aizawa,A.: Overview of the NTCIR-4 WEB Navigational Retrieval Task 1; Proceedings of the Fourth NTCIR Workshop on Research in Information Access Technologies Information Retrieval, Question Answering and Summarization (2004). 24