Microsoft Word （江口様）再1.doc

Transcription

1 動 的 情 報 空 間 に 対 する 適 応 型 情 報 アクセスモデルに 関 する 研 究 江 口 浩 二 神 戸 大 学 大 学 院 工 学 研 究 科 准 教 授 1 はじめに 近 年,インターネット 上 でアクセス 可 能 な 情 報 は 増 加 の 一 途 をたどっており,とりわけブログに 代 表 され る CGM(Consumer Generated Media)の 普 及 にともなって 個 人 の 情 報 発 信 がさらに 容 易 になったことにより, 個 人 の 意 見 や 経 験 に 関 する 情 報 が 逐 次 大 量 に 生 成 されている. 人 間 の 処 理 能 力 をはるかに 超 えたこれらの 大 規 模 情 報 空 間 に 対 して, 利 用 者 の 要 求 内 容 に 応 じて 適 切 な 情 報 を 検 索 する 技 術 または 構 造 化 する 技 術 の 高 度 化 が 求 められている. 特 に, 個 人 の 意 見 や 経 験 に 関 する 情 報 は 大 量 の 情 報 に 埋 没 されがちで,これらを 効 果 的 に 検 索 する 手 段 が 要 求 されている. 本 研 究 では,(1) 個 人 の 意 見 に 関 する 情 報 を 検 索, 抽 出, 分 類 する 技 術 [1-5],(2) 従 来 手 法 では 軽 視 されてきた 語 間 依 存 性 を 考 慮 した Web 情 報 検 索 技 術 [6-8],ならびに,(3) 時 系 列 的 に 与 えられるテキスト 情 報 に 対 する 自 動 構 造 化 技 術 [9]に 着 目 した.これらは 互 いに 異 なる 側 面 を 捉 えてい るものの,これらを 技 術 要 素 とすることで,より 高 度 な 情 報 アクセスシステムが 実 現 される. 本 稿 では, 主 に, 意 見 に 関 する 情 報 を 検 索 し 抽 出 する 技 術 の 成 果 について 報 告 する. ここ 数 年, 非 構 造 なテキストにおける 書 き 手 の 意 見 を 肯 定 や 否 定 (または 中 立 )に 分 類 する, 意 見 分 類 や 意 見 極 性 分 類 と 呼 ばれる 研 究 分 野 に 注 目 が 集 まっている[10]. 意 見 分 類 を 文 書 レベル( 例 えば,[11,12])や 文 レベル( 例 えば,[13-15])で 行 う 手 法 が 開 発 されているが, 要 求 を 満 たすに 十 分 な 精 度 が 実 現 されている とは 言 い 難 い.したがって, 意 見 情 報 を 含 む 尤 もらしさにしたがって 文 書 または 文 をランキングする 技 術 は, 利 用 者 に 対 して 重 要 な 役 割 を 果 たすと 思 われる. 筆 者 らは, 所 与 の 人 物 名, 製 品 名 やイベント( 以 下, トピ ック と 総 称 する)に 関 して, 所 与 の 意 見 極 性 を 伴 う 情 報 をランキングする 初 めての 試 みとして, 確 率 的 生 成 モデルに 基 づく 手 法 を 開 発 し, 極 性 付 き 意 見 文 抽 出 の 実 験 において 有 効 性 を 示 した[1]. 2 関 連 研 究 テキストにおける 意 見 の 表 現 はトピックによって 異 なる. 例 えば,ある 選 挙 における 否 定 的 な 見 方 は 欠 陥 や 不 備 という 表 現 が 用 いられるかもしれないが,ある 政 治 家 に 対 する 否 定 的 な 見 方 は 無 謀 や 無 策 という 表 現 が 用 いられるかもしれない.また,Turney が 意 見 語 の 極 性 判 定 に 関 する 論 文 [16]で 言 及 して いるように, 意 見 極 性 もトピックやドメインに 依 存 する. 例 えば, unpredictable という 形 容 詞 は, 自 動 車 のレビューにおいては unpredictable steering のように 否 定 的 な 極 性 を 示 すことが 多 いのに 対 して, 映 画 評 においては unpredictable plot のように 肯 定 的 な 極 性 を 示 し 得 る. 筆 者 らの 意 見 検 索 モデルは, 確 率 的 生 成 モデルの 枠 組 みに 基 づき, 前 述 した 意 見 表 現 のトピック 依 存 性 を 考 慮 した 提 案 となっている. 本 モデルでは, 利 用 者 が 興 味 を 持 つトピックをクエリ 語 として 表 現 することを 仮 定 し,かつ, 利 用 者 が 何 らかの 方 法 でその 関 心 のある 意 見 極 性 を 指 定 することを 仮 定 している. 意 見 極 性 を 自 動 分 類 する 意 見 分 類 の 研 究 については,すでに 多 くの 研 究 がなされており[10],そのいくつ かでは 意 見 極 性 のトピック 依 存 性 について 検 討 されている.Nasukawa らの 研 究 グループ[17,18]は, 事 前 に 用 意 された 語 彙 集 を 用 いて, 所 与 の 製 品 名 の 肯 定 表 現 と 否 定 表 現 を 抽 出 している.Engstrom[19]は, 意 見 分 類 におけるトピック 依 存 性 の 影 響 を 調 査 し, 分 類 精 度 の 改 善 のため,その 影 響 を 軽 減 することを 試 みている. Wilson ら[20]は, 如 何 にコンテクストが 意 見 極 性 に 影 響 するかをフレーズレベルで 検 討 している.これらの 研 究 において 意 見 極 性 のトピック 依 存 性 に 着 目 されている 点 は, 筆 者 らの 研 究 と 共 通 しているものの, 筆 者 らがランキングを 伴 った 意 見 検 索 に 取 り 組 んでいるのに 対 して, 彼 らはそうでない. TREC Novelty Track では,2003 年 と 2004 年 に 意 見 に 関 係 するトピックが 一 部 用 意 されたものの,ほとん どの 参 加 グループでトピックのみに 焦 点 を 当 てたアプローチが 用 いられた[21,22]. 唯 一,Kim ら[23]が 意 見 文 検 索 に 特 化 した 手 法 を 提 案 した. 彼 らは, 所 与 のトピックに 関 する 意 見 文 を 発 見 するため, 意 見 に 関 連 す る 語 彙 に 基 づく 手 法 を 用 いたが, 意 見 極 性 を 区 別 していない( 以 下, 極 性 無 指 定 型 意 見 検 索 ).2006 年 に 始 まった TREC Blog Track でも,ブログのデータセットを 対 象 にしている 点 とブログポスト 単 位 すなわち 文 書 レベルで 評 価 が 行 われた 点 が 独 自 であるが, 上 記 の Novelty Track と 類 似 する 極 性 無 指 定 型 意 見 検 索 が 評 価 492

2 された[24]. 一 方, 筆 者 らは,それまでにない 試 みとして, 大 量 の 非 構 造 なテキストデータから, 所 与 のト ピックに 関 して 特 定 の 意 見 極 性 を 有 する 意 見 を 発 見 する 極 性 指 定 型 意 見 検 索 に 焦 点 を 当 てた[1].これは 言 い 換 えれば, に 関 する 否 定 的 な( 肯 定 的 な) 意 見 を 発 見 する タスクである.なお,この 目 的 で 開 発 され た 筆 者 らの 検 索 モデル[1]は,その 特 殊 なケースとして, 前 記 の 極 性 無 指 定 型 意 見 検 索 にも 適 用 できる. 以 下, 意 見 検 索 は, 特 に 断 らない 限 り, 極 性 指 定 型 意 見 検 索 を 指 すこととする. 3 意 見 の 確 率 的 生 成 モデル 3-1 定 義 まずは 本 稿 の 以 下 で 用 いる 定 義 についてまとめる. 文 の 集 合 w 1 w n を 確 率 的 に 生 成 するタスクを 考 える 1. 一 つの 文 w 1 w n は,ある 共 通 の 語 彙 V からサンプリングされたいくつかの 語 w i1 w in i から 成 る.i 番 目 の 文 の j 語 目 に 位 置 する 語 がトピック 語 であるか 意 見 語 であるかを 示 す 2 値 変 数 b ij {S, T}を 導 入 する.なお, 後 述 の 実 験 では,b ij は 人 手 で 付 与 される 場 合 ( 以 下,マニュアルアノテーション)と 自 動 で 付 与 される 場 合 ( 以 下, 自 動 アノテーション)を 想 定 する. ある 文 に 対 する 意 見 極 性 x i は,3 つの 値 {-1,0,+1}を 持 った 離 散 確 率 変 数 であるとし,それぞれ 否 定, 中 立, 肯 定 の 意 見 極 性 に 対 応 する. 以 下, 便 宜 上, 一 つの 文 を 3 組 {w t i, w s i, x i }で 表 すことがある.このとき,w t i, はトピック 語,w s i は 意 見 語 を 含 むこととする. 利 用 者 の 示 すクエリについてもまったく 同 様 に, 意 見 語,ト ピック 語, 所 望 の 意 見 極 性 値 の 3 組 {q t, q s, q x }で 表 現 する.p をユニグラム 言 語 モデル,すなわち, 語 彙 V に おける 各 々の 語 v に 対 して 正 の 実 数 p(v) [0, 1] を Σ v p(v)=1 となるよう 割 り 当 てる 関 数 とする.すべての 可 能 なユニグラム 言 語 モデルの 集 合 は 単 体 P で 表 すことができる. 同 様 に,p x は 3 つの 取 り 得 る 意 見 極 性 値 の 上 の 確 率 分 布,P x は 対 応 する 3 次 元 単 体 で 表 すことができる.このとき,2 つの 言 語 モデル p 1,p 2 と 意 見 極 性 モデル p x に,ある 確 率 π(p 1, p 2, p x )を 割 り 当 てる 確 率 質 量 関 数 を π: P P P x [0, 1] とする. 3-2 確 率 的 生 成 モデル 以 上 に 述 べた 定 義 を 用 いて,π()が 所 与 のものであるとき, 語 w i1 w im を 含 み, 意 見 極 性 x i を 伴 うような 新 たな 文 w i が, 以 下 の 手 順 にしたがって 生 成 されると 仮 定 する. (1) π(,, )から p t,p s,p x を 取 り 出 す. (2) 意 見 極 性 分 布 p x ( )から x i をサンプリングする. (3) j=1 m における 各 々の 位 置 において, (3-1) b ij =T のとき,p t ( )から w ij を 取 り 出 す. (3-2) b ij =S のとき,p s ( )から w ij を 取 り 出 す. この 手 順 のもと, 新 たな 文 w i1 w im が 観 測 される 確 率 は 以 下 のようにして 求 めることができる. (1) 式 における 総 和 は,すべての 取 り 得 る 言 語 モデル p t,p s の 対 に 対 して 繰 り 返 されるが,P P P x におけ る 有 限 部 分 集 合 に 非 零 の 確 率 を 割 り 当 てる 確 率 質 量 関 数 π()を 用 いることで, 複 雑 な 計 算 を 回 避 することがで きる.π()についてのノンパラメトリック 推 定 値 を 用 いることで,これを 実 現 する.この 推 定 値 は 観 測 値 の 組 の 集 合 C={w t i, w s i, x i : i=1..n}に 依 存 するが,これはどの 語 がトピック 語 (w t i)でどの 語 が 意 見 語 (w s i) であるか が 既 知 であるような 文 の 集 合 を 表 す.これらの 観 測 値 のそれぞれは, 以 下 に 定 義 するように, 確 率 分 布 の 組 P P P x の 空 間 上 の 一 点 p ti,p si,p xi に 対 応 する. (1) 1 本 稿 で 述 べる 手 法 は 文 のランキングだけでなく, 文 書 やパッセージのランキングにも 適 用 可 能 であるが, 便 宜 上, 文 を 情 報 単 位 に 想 定 して 議 論 する. 493

3 ここで,#(v, w t i)は, 語 v が 文 i のトピック 記 述 部 分 で 観 測 される 頻 度 を 表 し,#(w t i)は 文 i のトピック 記 述 部 分 を 構 成 する 語 の 総 数 を 表 す.c tv は,コレクション 中 のトピック 記 述 部 分 における 語 v の 相 対 頻 度 を 表 す. 同 様 の 定 義 は, 意 見 記 述 部 分 に 関 するパラメータ#(v, w s i),#(w s i)および c sv にも 適 用 される. 指 示 関 数 1 y は, 述 語 y が 真 であれば 1,そうでなければ 0 を 返 すものとする.メタパラメータλ t,λ s およびλ x は,それぞれト ピック, 意 見, 意 見 極 性 に 関 する 推 定 値 に 対 するディリクレ スムージング[25]の 量 を 決 定 し,これらの 値 は 訓 練 データを 用 いて 経 験 的 に 定 めることとする. 次 に,π(p t, p s, p x )を,その 引 数 p t, p s, p x が 観 測 p ti, p si, p xi に 対 応 するときに 確 率 質 量 1/n を 与 え,そうでな いときに 0 を 与 えるように 定 義 する. (2) (3) 式 は,トピック 言 語 モデル p t と 意 見 言 語 モデル p s が 実 際 の 観 測 において 共 起 する 場 合 に 限 り, 非 零 の 確 率 質 量 を 割 り 当 てるため, 両 モデル 間 の 経 験 的 な 依 存 性 を 表 現 していると 言 える. 3-3 提 案 モデルの 検 索 への 応 用 上 に 示 した 確 率 的 生 成 モデルは, 適 合 モデル(Relevance model)[26]の 発 想 を 独 自 に 拡 張 することで, 次 のように 意 見 検 索 に 応 用 することができる. 文 の 集 合 C と 利 用 者 から 与 えられたクエリ{q t, q s, q x }があると する. 利 用 者 の 情 報 ニーズのトピックに 関 する 適 合 モデルと 意 見 に 関 する 適 合 モデルを 推 定 し,コレクショ ン 中 でこれらの 適 合 モデルに 最 も 合 致 する 文 を 決 定 する.トピック 適 合 モデル R t と 意 見 適 合 モデル R s は, 以 下 のように 推 定 される.クエリ{q t, q s, q x }は(1) 式 で 定 義 した 確 率 分 布 からのランダムサンプルであると 仮 定 し, 各 々の 語 v に 対 して,さらに 一 語 のトピック 語 または 意 見 語 をサンプリングしたときに v が 観 測 される 尤 度 を 推 定 する. (3) 分 母 と 分 子 は(1) 式 にしたがって 計 算 され,(3) 式 および(2) 式 で 与 えられる 確 率 質 量 関 数 π()を 用 いる. 語 の 列 q に 語 v を 追 加 することを q v という 表 記 で 示 す. 訓 練 データを 用 いて 推 定 を 行 うが, 訓 練 データが 意 見 極 性 を 伴 う 場 合 と 意 見 極 性 を 伴 わない 場 合 を 想 定 する 2.トピック 適 合 モデルと 意 見 適 合 モデルを 推 定 したら, 次 にテストデータ 中 の 文 の 集 合 w に 対 して R t および R s に 対 する 類 似 度 に 従 って 各 文 のランキングを 行 う.こ のとき, 以 下 のようなクロス エントロピ[27]の 変 形 を 用 いて 文 のランキングを 行 う. (4) ここでの 総 和 は, 語 彙 中 のすべての 語 v に 及 ぶ.R t と R s は(4) 式 で 与 えられ,p t と p s は(2) 式 にしたがって 計 算 される. 重 み 付 けパラメータαによって, 最 終 的 なランキングにおけるトピックと 意 見 のバランスを 調 整 することができる.この 値 は 訓 練 データを 用 いて 経 験 的 に 定 める. (5) 4 意 見 検 索 タスク 4-1 タスクの 定 義 極 性 指 定 型 の 意 見 検 索 タスクを 2 通 りに 定 義 できる. 一 方 では 利 用 者 が 求 める 意 見 極 性 q x を 与 えるのに 対 して, 他 方 では 利 用 者 が 求 める 意 見 極 性 を 反 映 してシードワード q s を 提 示 する[1]. 前 者 は 意 見 極 性 分 布 x i を 要 求 するのに 対 して, 後 者 はそうでない. 2 訓 練 データが 意 見 極 性 値 x i を 含 まない 場 合,π(p t, p s, p x )=π(p t, p s )と 仮 定 し,p x (x i )を 定 数 値 と 見 なせばよい. 494

4 意 見 極 性 付 き 訓 練 データを 用 いるタスク: 入 力 : (1)トピック 語 集 合 q t,および,(2) 意 見 極 性 q x { -1, 1}. 出 力 : テストデータに 対 する 所 与 のトピックと 意 見 極 性 に 適 合 する 文 のランキングリスト. シードワードを 用 いるタスク: 入 力 : (1)トピック 語 集 合 q t,および,(2)シードワード 集 合 q s. 出 力 : テストデータに 対 する 所 与 のトピックと 意 見 極 性 に 適 合 する 文 のランキングリスト. 一 つ 目 のタスクの 場 合,(1) 式 で 示 した 一 般 的 なモデルにおいて q s を 空 文 字 列 と 仮 定 する.このとき, 対 象 データセットを,(i) 適 合 モデルを 構 築 するために 用 いる 訓 練 データ,(ii)モデルパラメータを 調 整 するために 用 いる 開 発 データ,(iii)クエリに 応 じて 文 を 検 索 する 対 象 として 用 いるテストデータに 三 分 割 する. 二 つ 目 の タスクの 場 合 は,(1) 式 で 示 した 一 般 的 なモデルにおいて q x と x i を 無 視 する.このとき, 対 象 データセットを, (i) 適 合 モデルを 構 築 し,モデルパラメータを 調 整 するために 用 いる 訓 練 データと,(ii)クエリに 応 じて 文 を 検 索 する 対 象 として 用 いるテストデータに 二 分 割 する. 本 稿 の 以 下 では, 紙 面 の 都 合 により, 主 にシードワー ドを 用 いるタスクについて 議 論 する. 意 見 極 性 付 き 訓 練 データを 用 いるタスクについては[1]を 参 照 されたい. これまで 極 性 指 定 型 意 見 検 索 について 述 べてきたが, 極 性 無 指 定 型 意 見 検 索 タスク[21,22,24]に 対 しては, シードワード q s を 選 ぶときに 特 定 の 意 見 極 性 を 反 映 するのでなく,すべての 意 見 極 性 に 対 して 典 型 的 な 語 を 含 めることで 対 応 することができる.この 点 において,(1) 式 で 定 義 したモデルは, 極 性 無 指 定 型 意 見 検 索 に 対 しても,また 極 性 指 定 型 意 見 検 索 に 対 しても 適 用 可 能 な 汎 用 的 な 意 見 モデルであると 言 える. 4-2 種 々の 検 索 モデル 比 較 のため, 提 案 モデルのほか, 種 々の 検 索 モデルを 考 える. lmtf: 標 準 的 な 言 語 モデルアプローチであるクエリ 尤 度 モデル(Query likelihood model)[28,29]を 用 いて, 非 分 割 の 対 象 データに 対 してトピック 語 q t で 検 索 する 方 法. lmtsf: クエリ 尤 度 モデルを 用 いて 非 分 割 の 対 象 データに 対 して q t と q s の 両 方 で 検 索 する 方 法. rmtf: トピック 語 q t と 非 分 割 の 対 象 データに 基 づいて 推 定 した 従 来 型 の 適 合 モデル[26]. rmtsf: q t と q s の 両 方 と 非 分 割 の 対 象 データに 基 づいて 推 定 した 従 来 型 の 適 合 モデル. slm: 3.3 で 述 べた 提 案 モデル. 本 節 で 述 べたモデルを 用 いた 5 の 実 験 で,(2) 式 におけるλ t およびλ s は,(4) 式 の 適 合 モデル R t,r s において はディリクレ 推 定 値 [25]すなわち#(w t i)/(#(w t i)+μ t ),#(w s i)/(#(w s i)+μ s )をそれぞれ 設 定 し,(5) 式 のランキングに おいては 0.9 に 固 定 した.ここで,μ t とμ s は,4.1 で 述 べたタスクにしたがって, 訓 練 データを 用 いて 経 験 的 に 定 めた.また,(5) 式 におけるモデルパラメータαについても 同 様 に 経 験 的 に 定 めた.(4) 式 の 適 合 モデル R t と R s の 推 定 [26]に 用 いたランク 付 き 文 書 の 数 についても 同 様 に 訓 練 データを 用 いて 経 験 的 に 定 めたが, 適 合 モデルに 用 いた 語 数 は 1000 に 固 定 した. 5 実 験 5-1 データセットと 評 価 指 標 筆 者 らの 意 見 検 索 モデルの 有 効 性 を 評 価 するため,MPQA Opinion Corpusversion 1.2 [20,30]を 使 用 した. 当 該 データセットは,187 の 異 なる 国 々の 2001 年 6 月 から 2002 年 5 月 までの 英 文 ニュース 記 事 を 含 んでおり, 535 文 書, 合 計 11,114 の 文 から 成 る.それらのニュース 記 事 の 大 部 分 は 10 の 異 なるトピックに 関 するもので あり,これらに 加 えて 多 様 なトピックのニュース 記 事 が 追 加 されている. 各 々のニュース 記 事 は, 意 見 など の 個 人 状 態 についてフレーズレベルでアノテーションが 付 与 されている. このデータセットにおいて,10 のトピックに 関 するトピック 適 合 性 は 文 書 レベルで 知 ることができるが, 文 レベルではラベル 付 けされていない.そこで, 適 合 文 書 に 含 まれるすべての 文 を,そのトピックに 適 合 す ると 仮 定 した 3.また, 上 記 のデータセットは,フレーズレベルで 意 見 極 性 のアノテーションが 付 与 されてい 3 これは 強 い 仮 定 であり,すべての 場 合 に 成 り 立 つわけでない. 詳 細 な 分 析 には,より 大 規 模 で 完 全 なデータセット 495

5 るが, 文 レベルで 明 示 的 に 意 見 極 性 のアノテーションがなされているわけではない.そこで, 各 々の 文 にお いて 最 も 強 い 意 見 強 度 を 伴 う 意 見 極 性 をもって,その 文 の 意 見 極 性 と 見 なした 4. クエリとして,10 トピックそれぞれのタイトル 部 分 をトピック 語 として 用 い, 肯 定 の 場 合 と 否 定 の 場 合 そ れぞれの 意 見 極 性 を 指 定 した.その 結 果, 実 験 のために 20 のクエリを 得 ることができた. 前 記 のようにして 得 られた 適 合 判 定 データは 文 レベルでは 不 完 全 なものであるため, 評 価 指 標 として 訓 練 段 階,テスト 段 階 と もに bpref [31]を 用 いた. 当 該 評 価 指 標 はある 程 度 不 完 全 な 適 合 判 定 に 対 しても 安 定 的 であることが 知 られて いる. 5-2 意 見 記 述 部 分 の 抽 出 (1)マニュアルアノテーション MPQA corpus はフレーズレベルで 意 見 情 報 のアノテーションが 付 与 されているため,これらのアノテーシ ョンを 用 いて,トピック 記 述 部 分 w t と 意 見 記 述 部 分 w s に 分 割 することができる.トピック 記 述 部 分, 意 見 記 述 部 分,クエリ 語 に 対 して Krovetz stemmer [32]を 適 用 し,さらに,5.3 の 検 索 実 験 のために 418 の 標 準 的 なストップワードを 除 去 した. (2) 自 動 アノテーション 意 見 記 述 部 分 の 自 動 抽 出 のため, 事 前 に 作 成 した 意 見 極 性 を 伴 う 語 のリストを 用 いて 意 見 語 を 検 出 した. この 段 階 ではトピック 依 存 性 は 考 慮 されていないが,3 と 4 で 述 べた 通 り, 意 見 モデルを 構 築 する 段 階 でト ピック 依 存 性 を 反 映 させることができる. 以 上 の 目 的 で,まず, 意 見 を 示 す 語 のリストを 用 意 した.Hatzivassiloglou ら[33]の 作 成 した 1336 語 からな る 肯 定 または 否 定 の 極 性 を 持 つ 形 容 詞 のリストを 用 いた.また,General Inquirer [34]から,3610 語 の 肯 定 ま たは 否 定 の 極 性 を 伴 った 意 見 に 関 する 語 彙 を 抽 出 した.これらのリストを 併 合 し,さらに,(1)と 同 じ 要 領 でステミングした 結 果, 最 終 的 に 3796 語 からなる 意 見 の 語 彙 を 得 た. 意 見 極 性 はときおり 言 語 構 造 によって 変 化 する. 例 えば, 否 定 表 現 はそれに 続 く 意 見 極 性 を 反 転 させる. 否 定 表 現 への 対 応 として, 文 中 において 意 見 語 から 文 頭 方 向 の 5 語 以 内 に 否 定 表 現 が 奇 数 回 見 つかった 場 合, good_neg のように 意 見 語 に _NEG を 付 与 した. 否 定 表 現 の 検 出 には, 事 前 に 用 意 した 否 定 表 現 リス トを 用 いた.これに 類 似 する 処 理 は[35,11]でも 用 いられている. 以 上 のように, 事 前 に 用 意 した 意 見 語 彙 を 用 い, 否 定 表 現 を 考 慮 して, 対 象 データから 意 見 記 述 部 分 を 自 動 抽 出 した. 意 見 適 合 モデルの 構 築 のために, 予 め 用 意 された 意 見 語 彙 の 極 性 情 報 を 用 いたわけではないこ とに 注 意 されたい. 5-3 実 験 実 験 のため,シードワードとして KAM,TUR および ORG の 3 種 類 のグループを 用 いた.それぞれのグル ープは, 以 下 のように 肯 定 極 性 を 持 つ 語 の 集 合 q s (+)と 否 定 極 性 を 持 つ 語 の 集 合 q s (-)から 成 る. KAM : q s (+) ={good}, q s (-)={bad}. TUR : q s (+)={good, nice, excellent, positive, fortunate, correct, superior}, q s (-) ={bad, nasty, poor, negative, unfortunate, wrong, inferior}. ORG : q s (+) ={support, demand, promise, want, hope}, q s (-)={refuse, accuse, criticism, fear, reject}. KAM と TUR はそれぞれ[36]と[37]で 用 いられたものである.ORG はニュース 記 事 に 頻 出 するであろう 意 見 語 として 筆 者 らが 独 自 に 作 成 したものである. が 要 求 されるが,それについては 今 後 の 課 題 とする. 4 ただし, 意 見 極 性 neutral と both について, 他 の 意 見 極 性 が 同 一 文 に 出 現 する 場 合 は 無 視 することとした. 496

6 表 1. マニュアルアノテーションを 使 用 した 場 合 の 実 験 結 果 Fraction KAM TUR ORG Model Bpref %chg1 %chg2 Bpref %chg1 %chg2 Bpref %chg1 %chg2 lmtf lmtsf rmtf rmtsf slm 表 2. 自 動 アノテーションを 使 用 した 場 合 の 実 験 結 果 Fraction KAM TUR ORG Model pref %chg1 %chg2 Bpref %chg1 %chg2 Bpref %chg1 %chg2 lmtf lmtsf rmtf rmtsf slm 以 下 のシードワードを 用 いる 実 験 では,これらのシードワードグループのそれぞれを 用 いて,4.1 に 示 し た 手 順 に 従 った. 実 験 に 際 しては,データセットを 2 つに 分 割 し,(i)50%を 訓 練 データ,(ii)50%をテストデ ータとして 用 いた.マニュアルアノテーションを 用 いた 実 験 結 果 と 自 動 アノテーションを 用 いた 実 験 結 果 を それぞれ 表 1 と 表 2 に 示 す. 表 中 の 評 価 値 は,bpref とともに,その lmtf,rmtf を 基 準 とした 改 善 率 をそれぞ れ %chg1, %chg2 として 示 している. マニュアルアノテーションを 用 いたとき, 表 1 に 示 されている 通 り, 筆 者 らの slm モデルは 有 効 であるこ とがわかる.とりわけシードワードグループ ORG を 用 いたとき,slm モデルはクエリ 尤 度 モデルに 比 して 61.2% 有 効 性 が 改 善 され, 従 来 型 の 適 合 モデルに 比 して 15.2% 改 善 された.これらいずれの 改 善 についてもウ ィルコクソン 符 号 順 位 検 定 (Wilcoxon signed-rank test)を 用 いて 統 計 的 に 有 意 であることが 確 認 されている. 他 のシードワードグループを 用 いた 場 合 でも,slm モデルはクエリ 尤 度 モデルより 49-56%, 従 来 型 適 合 モデ ルより 6-12% 良 好 な 結 果 を 得 た. 自 動 アノテーションを 用 いたときは, 表 2 にある 通 り,slm モデルはクエリ 尤 度 モデルより 46-48% 改 善 さ れ, 従 来 型 適 合 モデルより 4-6% 改 善 された. 従 来 型 適 合 モデルからの 改 善 については TUR と KAM を 用 いた 場 合 にのみ 統 計 的 有 意 性 が 認 められたものの,ORG を 用 いた 場 合 の 評 価 値 は 他 のシードワードを 用 いた 場 合 の 評 価 値 とほぼ 同 等 であった. 6 まとめ 筆 者 らは,より 高 度 な 情 報 アクセスシステムの 実 現 に 向 けた 要 素 技 術 として, 確 率 的 言 語 モデルの 枠 組 み に 基 づいた 汎 用 的 な 意 見 検 索 モデルを 提 案 した[1,5]. 本 提 案 は, 利 用 者 が 特 定 のトピックを 表 すクエリ 語 だ けでなく, 関 心 ある 意 見 極 性 q x {-1, 1}を 指 定 するか,またはその 意 見 極 性 を 反 映 したシードワード q s を 示 すことを 前 提 としている.この 目 的 のもと, 意 見 のトピック 依 存 性 を 考 慮 して, 意 見 適 合 モデルとトピック 適 合 モデルを 組 み 合 わせたモデルを 開 発 した. 提 案 手 法 の 前 提 となる 意 見 記 述 部 分 の 抽 出 のため, 実 験 では マニュアルアノテーションと 自 動 アノテーションを 用 いた. 実 験 の 結 果,いずれの 場 合 においても, 適 切 な シードワードを 与 えたとき, 筆 者 らのモデルによる 検 索 有 効 性 は 標 準 的 な 言 語 モデルアプローチのそれより も 有 意 に 改 善 された. 本 稿 では 提 案 モデルを 用 いて, 所 与 のトピックに 適 合 し, 所 与 の 意 見 極 性 に 合 致 した 文 を 発 見 する 実 験 を 行 ったが, 提 案 モデルは 原 理 的 に 任 意 の 長 さのテキストに 適 用 可 能 であるので, 文 書 レ ベルやパッセージレベルの 意 見 検 索 にも 応 用 できる.また, 筆 者 らのモデルは, 容 易 に, 極 性 無 指 定 型 意 見 検 索 に 応 用 できる. また, 筆 者 らは, 提 案 モデルを,2 の 関 連 研 究 で 触 れた TREC Blog Track における 極 性 無 指 定 型 意 見 検 索 に 適 用 した 検 討 を 行 った[2].さらに, 意 見 語 彙 の 対 話 型 構 築 を 実 現 する 手 法 を 提 案 した[3,4].これにより 構 築 された 意 見 語 彙 は, 前 述 の 意 見 検 索 モデルを 効 果 的 に 機 能 させる 上 で 重 要 と 考 える. 筆 者 らは,マルコフ 確 率 場 に 基 づく, 複 合 語 の 構 成 語 間 の 依 存 性 と 一 般 的 な 概 念 間 の 依 存 性 を 表 現 し,ウ 497

7 ェブなどの 大 規 模 で 不 均 質 かつ 不 定 形 なテキストデータに 対 して, 高 精 度 な 情 報 検 索 を 実 現 するクエリ 構 造 化 手 法 を 開 発 した[6-8].また, 時 系 列 的 に 与 えられる 文 書 情 報 に 対 する 自 動 構 造 化 を 目 的 として,トピック 構 造 を 考 慮 した Pointwise Kullback-Leibler divergence に 基 づく 語 の 重 みづけ 手 法 を 提 案 した[9].これらの 詳 細 は 紙 面 の 都 合 で 本 稿 では 割 愛 したが, 上 に 挙 げた 文 献 を 参 照 されたい. 参 考 文 献 [1] Eguchi, K. and Lavrenko, V.: Sentiment Retrieval using Generative Models, Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing (EMNLP 2006), Sydney, Australia, pp (2006). [2] Eguchi, K. and Shah, C.: Opinion Retrieval Experiments using Generative Models: Experiments for the TREC 2006 Blog Track, Proceedings of the 15th Text Retrieval Conference (TREC 2006), Gaithersburg, Maryland, USA (2006). [3] Bekkerman, R., Eguchi, K. and Allan, J.: Unsupervised Non-topical Classification of Documents, Technical Report IR-472, UMass CIIR (2006). [4] Bekkerman, R., Raghavan, H., Allan, J. and Eguchi, K.: Interactive Clustering of Text Collections According to a User-Specified Criterion, Proceedings of the 20th International Joint Conference on Artificial Intelligence (IJCAI-07), Hyderabad, India, pp (2007). [5] 江 口 浩 二, ヴィクター ラヴレンコ: 確 率 的 生 成 モデルを 用 いたブログにおける 意 見 検 索, 電 子 情 報 通 信 学 会 第 8 回 Webイン テリジェンスとインタラクション 研 究 会, No. WI , pp (2007). [6] Eguchi, K.: NTCIR-5 Query Expansion Experiments using Term Dependence Models, Proceedings of the 5th NTCIR Workshop on Evaluation of Information Retrieval, Question Anwering and Cross-Lingual Information Access, Tokyo, Japan (2005). [7] Eguchi, K. and Croft, W. B.: Boosting Relevance Model Performance with Query Term Dependence, Proceedings of the 15th ACM Conference on Information and Knowledge Management (CIKM 2006), Arlington, Virginia, USA, pp (2006). [8] Eguchi, K. and Croft, W. B.: Query Structuring with Two-stage Term Dependence in the Japanese Language, Information Retrieval Technology: Third Asia Information Retrieval Symposium, Singapore (Ng, H. T., Leong, M.-K., Kan, M.-Y. and Ji, D.(eds.)), LNCS 4182, Berlin Heidelberg, Germany, Springer, pp (2006). [9] Shah, C. and Eguchi, K.: Use of Topicality and Information Measures to Improve Document Representation for Story Link Detection, Advances in Information Retrieval: 29th European Conference on IR Research, Rome, Italy (Amati, G., Carpineto, C. and Romano, G.(eds.)), LNCS 4425, Berlin Heidelberg, Germany, Springer, pp (2007). [10] Shanahan, J., Qu, Y. and Wiebe, J.(eds.): Computing attitude and affect in text, Springer (2005). [11] Pang, B., Lee, L. and Vaithyanathan, S.: Thumbs up? Sentiment Classification using Machine Learning Techniques, Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing (EMNLP-2002), Philadelphia, Pennsylvania, USA, pp (2002). [12] Dave, K., Lawrence, S. and Pennock, D. M.: Mining the peanut gallery: Opinion extraction and semantic classification of product reviews, Proceedings of the 12th International Conference on the World Wide Web (WWW-03), Budapest, Hungary, pp (2003). [13] Hu, M. and Liu, B.: Mining and summarizing customer reviews, Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '04), Seattle, Washington, USA, pp (2004). [14] Kim, S.-M. and Hovy, E.: Determining the Sentiment of Opinions, Proceedings of the Conference on Computational Linguistics (COLING-04), Geneva, Czech Republic (2004). [15] Nigam, K. and Hurst, M.: Computing Attitude and Affect in Text: Theory and Applications, Springer, chapter: Towards a Robust Metric of Opinion (2005). [16] Turney, P. D.: Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, Pennsylvania, USA, pp (2002). [17] Nasukawa, T. and Yi, J.: Sentiment Analysis: Capturing Favorability using Natural Language Processing, Proceedings of the 2nd International Conference on Knowledge Capture (K-CAP-03), Sanibel Island, Florida, USA, pp (2003). [18] Yi, J., Nasukawa, T., Bunescu, R. and Niblack, W.: Sentiment Analyzer: Extracting Sentiments about a Given Topic using Natural Language Processing Techniques, Proceeding of the 3rd IEEE International Conference on Data Mining (ICDM-03), Melbourne, Florida, USA, pp (2003). [19] Engstrom, C.: Topic Dependence in Sentiment Classification, Master's thesis, University of Cambridge (2004). 498

8 [20] Wilson, T., Wiebe, J. and Hoffmann, P.: Recognizing Contextual Polarity in Phrase-Level Sentiment Analysis, Proceedings of Human Language Technologies Conference / Conference on Empirical Methods in Natural Language Processing (HLT/EMNLP 2005), Vancouver, Canada (2005). [21] Soboroff, I. and Harman, D.: Overview of the TREC 2003 Novelty Track, Proceedings of the 12th Text Retrieval Conference (TREC 2003), NIST Special Publication , pp (2003). [22] Soboroff, I.: Overview of the TREC 2004 Novelty Track, Proceedings of the 13th Text Retrieval Conference (TREC 2004), NIST Special Publication (2004). [23] Kim, S.-M., Ravichandran, D. and Hovy, E.: ISI Novelty Track System for TREC 2004, Proceedings of the 13th Text Retrieval Conference (TREC 2004), NIST Special Publication (2004). [24] Ounis, I., de Rijke, M., Macdonald, C., Mishne, G. and Soboroff, I.: Overview of the TREC 2006 Blog Track, Proceedings of the 15th Text Retrieval Conference (TREC 2006) (2006). [25] Zhai, C. and Lafferty, J.: A Study of Smoothing Methods for Language Models Applied to Ad Hoc Information Retrieval, Proceedings of the 24th Annual International ACM-SIGIR Conference on Research and Development in Information Retrieval, New Orleans, Louisiana, USA, pp (2001). [26] Lavrenko, V. and Croft, W. B.: Relevance Based Language Models, Proceedings of the 24th Annual International ACM SIGIR Conference, New Orleans, Louisiana, USA, pp (2001). [27] Zhai, C.: Risk Minimization and Language Modeling in Text Retrieval, PhD dissertation, Carnegie Mellon University, Pittsburgh, Pennsylvania, USA (2002). [28] Ponte, J. M. and Croft, W. B.: A language modeling approach to information retrieval, Proceedings of the 21st Annual International ACM-SIGIR Conference on Research and Development in Information Retrieval, Melbourne, Australia, pp (1998). [29] Song, F. and Croft, W. B.: A General Language Model for Information Retrieval, Proceedings of 8th International Conference on Information and Knowledge Management (CIKM'99), Kansas City, Missouri, USA, pp (1999). [30] Wiebe, J., Wilson, T. and Cardie, C.: Annotating Expressions of Opinions and Emotions in Language, Language Resources and Evaluation, Vol. 39, No. 2-3, pp (2005). [31] Buckley, C. and Voorhees, E. M.: Retrieval evaluation with incomplete information, Proceedings of the 27th Annual International ACM SIGIR Conference, Sheffield, United Kingdom, pp (2004). [32] Krovetz, R.: Viewing Morphology as an Inference Process, Proceedings of the 16th Annual International ACM SIGIR Conference, Pittsburgh, Pennsylvania, USA, pp (1993). [33] Hatzivassiloglou, V. and McKeown, K. R.: Predicting the semantic orientation of adjectives, Proceedings of 35th Annual Meeting of the Association for Computational Linguistics (ACL-97), Madrid, Spain, pp (1997). [34] Stone, P. J., Dunphy, D. C., Smith, M. S. and Ogilvie, D. M.: The General Inquirer: A Computer Approach to Content Analysis, MIT Press (1966). [35] Das, S. R. and Chen, M. Y.: Yahoo! for Amazon: Sentiment Parsing from Small Talk on the Web, Proceedings of European Finance Association Annual Conference (EFA 2001), Barcelona, Spain (2001). [36] Kamps, J. and Marx, M.: Words with attitude, Proceedings of the 1st International Conference on Global WordNet, Mysore, Indiana, USA, pp (2002). [37] Turney, P. D. and Littman, M. L.: Measuring praise and criticism: Inference of semantic orientation from association, ACM Transactions on Information Systems, Vol. 21, No. 4, pp (2003). 499

9 発 表 資 料 題 名 掲 載 誌 学 会 名 等 発 表 年 月 NTCIR-5 Query Expansion Experiments using Term Dependence Models Proceedings of the Fifth NTCIR Workshop Meeting on Evaluation of Information Access Technologies, pp Sentiment Retrieval using Generative Models Query Structuring with Two-stage Term Dependence in the Japanese Language Unsupervised Non-topical Classification of Documents Boosting Relevance Model Performance with Query Term Dependence Opinion Retrieval Experiments using Generative Models: Experiments for the TREC 2006 Blog Track Active Clustering of Text Collections According to a User-Specified Criterion 確 率 的 生 成 モデルを 用 いたブログにお ける 意 見 検 索 Use of Topicality and Information Measures to Improve Document Representation for Story Link Detection Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing, pp Information Retrieval Technology: Third Asia Information Retrieval Symposium, Vol.LNCS 4182, pp UMass CIIR Technical Report, No.IR-472 Proceedings of the 15th ACM International Conference on Information and Knowledge Management, pp Proceedings of the 15th Text Retrieval Conference Proceedings of the 12th International Joint Conference on Artificial Intelligence, pp 電 子 情 報 通 信 学 会 第 8 回 Web インテリジェンスとインタラ クション 研 究 会, No.WI , pp Advances in Information Retrieval: 29th European Conference on IR Research, Vol.LNCS 4425, pp