Web top-k TF-IDF Indri PRF 5 10 [7] Miyanishi TREC Microblog Track Indri (LM) 3 PRF (RM [8], EXRM [9], TBRM [4] [6]) PRF LM Miyanishi Tweet

Size: px

Start display at page:

Download "Web top-k TF-IDF Indri PRF 5 10 [7] Miyanishi TREC Microblog Track Indri (LM) 3 PRF (RM [8], EXRM [9], TBRM [4] [6]) PRF LM Miyanishi Tweet"

いおりやすこ
5 years ago
Views:

1 DEIM Forum 2015 G4-5 Web, GARKAVIJS,Viktors,, {lica,gvb,oyama}@nii.ac.jp ( SNS) Web Twitter Web Twitter Twitter TL Web Text Retrieval Conference (TREC) Web Track 2013 Ad Hoc Task TREC Twitter,, Twitter,, 1. Web PC Web Web Web Web Web Google Web 1 SNS (Social Network Services) Web Web 1 SNS SNS PRF Twitter TL PRF Web Text REtrieval Conference (TREC) 2013 Ad Hoc Task Twitter PRF 2. 1 Twitter Miyanishi PRF time-based [12] 2012 TREC Microblog Track Kim URL

2 Web top-k TF-IDF Indri PRF 5 10 [7] Miyanishi TREC Microblog Track Indri (LM) 3 PRF (RM [8], EXRM [9], TBRM [4] [6]) PRF LM Miyanishi Tweet selection Term selection 2 (TSF) [12] PRF Twitter Twitter TL PRF PRF Twitter Web ClueWeb Twitter Metzler Twitter 5 [11] Twitter Web Teevan Twitter social chatter ( ) social event ( ) Web navigational (Web ) [13] Twitter Web Twitter 2. 3 Borlund Interactive Information Retrieval (IIR) (SWT: Simulated Work Task) [1] [2] SWT Borlund test person 3 SWT [2] 1 (search statements) a b (a)(b) SWT test person SWT [1] Li 42 (real task) (simulated work task) sub-facet sub-facet Li 2 sub-faset Li SWT IIR sub-facet SWT [10] SWT TREC Web Track Twitter Twitter TL 3. Web Twitter PRF PRF Twitter TL PRF [ 1] Indri 5.6 Indri

k 1 Lavrenko [8] PRF PRF 4.2.1 PRF Kim [7] 5 10 0.5:0.5 Dirichlet smoothing ( =2500; Indri ) 4.

1 3 (baseline, ClueWeb12-PRFB, Twitter-PRFB) Twitter TL PRF (Twitter- PRFB) (baseline) Twitter

3 k 1 Lavrenko [8] PRF PRF PRF Kim [7] :0.5 Dirichlet smoothing ( =2500; Indri ) 4. Indri Stop Words 5 10 PRF SWT [1] [2] (baseline, ClueWeb12-PRFB, Twitter-PRFB) Twitter TL PRF (Twitter- PRFB) (baseline) Twitter TL PRF ClueWeb12 PRF (ClueWeb12-PRFB) TREC Twitter Twitter TL TL Twitter Inc. API (REST API, Streaming API) mention TL Web Twitter TL

ドバックをするための文書集合として用いた以下に取得した照の為のシステムである PRF は提案手法と条件をそろえる TL の属性について記すために検索結果上位５文書から 10 語を拡張クエリ語として Twitter ID twi twi フォローしている Twitter アカウント数

3 実験システム２ (Twitter-PRFB) Twitter のユーザ TL をフィードバックする文書として検索ツイートの取得期間 2014 年 5 月 26 日から 6 月 25 日するシステムである PRF を行うためにまずテストコレクまでションのクエリを用いて

ステム１と同様に５文書から 10 語選ぶように設定を行った文書の形式 Twitter API を使用して取得した JSON 形それ以外はベースラインシステムと同様とした式のデータをプログラムにより TRECTEXT 形式 (XML) 4.

4. 2. 2 ClueWeb12 開始 ClueWeb12 は Lemur Project が提供する Web ページのコレクションある ClueWeb12 は 2012 年 2 月 10 日から同年 5 月 10 日までに集められた英語の Web ページ 733,019,372 件

3 TREC Web Track 2013 Ad Hoc Task テストコレクション TL TREC TEXT TREC 2013 Web AdHoc タスクQuery 検索結果1 Indri PRF用文書５件/Query Track 2013, Ad Hoc Task

6 デフォルトの設定で IndriRunQuery という検索ク PRF用文書取得 TREC 2013 Web AdHoc タスクQuery PRF用パラメータファイル作成エリを実行するプログラムを動かしたものをベースラインとし Indri た主なデフォルト値は次の通りである取得件数

4 ドバックをするための文書集合として用いた以下に取得した照の為のシステムである PRF は提案手法と条件をそろえる TL の属性について記すために検索結果上位５文書から 10 語を拡張クエリ語として Twitter ID twi twi フォローしている Twitter アカウント数 642 人 2014 年 7 月 13 日現在設定したそれ以外はベースラインシステムと同様とした実験システム２ (Twitter-PRFB) Twitter のユーザ TL をフィードバックする文書として検索ツイートの取得期間 2014 年 5 月 26 日から 6 月 25 日するシステムである PRF を行うためにまずテストコレクまでションのクエリを用いて Twitter ユーザ TL から作成した検索取得した英語ツイートの件数 9,100 件用データセットを対象にクエリを用いて検索するツイートの重複したツイートは Twitter ユーザ TL をマージする際検索結果上位５位までを PRF を行うための文書とし実験シに排除済みステム１と同様に５文書から 10 語選ぶように設定を行った文書の形式 Twitter API を使用して取得した JSON 形それ以外はベースラインシステムと同様とした式のデータをプログラムにより TRECTEXT 形式 (XML) 4. 4 実験手順に変換して保存する提案手法に関する実験の手順は次の通りである [図 2] ClueWeb12 開始 ClueWeb12 は Lemur Project が提供する Web ページのコレクションある ClueWeb12 は 2012 年 2 月 10 日から同年 5 月 10 日までに集められた英語の Web ページ 733,019,372 件を含む Twitter TL取得注 2 ClueWeb12 は 2013 年の TREC Web Track, Ad TL保存 Hoc Task 注 3 で用いられた今回の実験はそのテストコレクションを用いて行うためこのデータセットを検索対象のデータセットとした TREC Web Track 2013 Ad Hoc Task テストコレクション TL TREC TEXT TREC 2013 Web AdHoc タスクQuery 検索結果1 Indri PRF用文書５件/Query Track 2013, Ad Hoc Task のテストコレクションを使用した次に実験用システムについて概要を説明するベースラインシステム (baseline) Indri 5.6 デフォルトの設定で IndriRunQuery という検索ク PRF用文書取得 TREC 2013 Web AdHoc タスクQuery PRF用パラメータファイル作成エリを実行するプログラムを動かしたものをベースラインとし Indri た主なデフォルト値は次の通りである取得件数 1,000 件疑似レレバンスフィードバック無クエリ言語 Indri Query Language スムージング: 凡例入力出力検索 TL(TREC TEXT) TL検索用パラメータファイル TL検索用パラメータファイル作成実験に使うクエリとその正解データについては TREC Web 4. 3 実験用システムユーザ TL PRF用パラメータファイル ClueWeb 12 TREC評価ツール検索結果２終了評価結果 Dirichlet smoothing 図2 (μ = 2500, μ はスムージングパラメータ 2500 は Indri 提案手法の処理手順のデフォルト値) 結果フォーマット TREC 1 作成したツイート取得用のプログラムにより取得した Twitter のツイート文書を JSON 形式から TRECTEXT 形式実験システム１ (ClueWeb12-PRFB) Indri 5.6 の PRF を使ったシステムであるフィードバックする文書は ClueWeb12 であるこのシステムは Twitter のユーザ TL をフィードバックする文書として検索した場合の比較対に変換する 2 IndriBuildIndex でインデックスを構築するその際 Krovetz stemmer を適用しストップワードは適用しない 3 インデックスされたツイート文書のデータセットをテストコレクションのクエリで検索する注 2 Lemur Project, The ClueWeb12 Dataset, Dataset Details, 4 検索結果上位 5 位までの文書を PRF 用の文書として Summary Statistics より引用 Web 検索用のパラメータファイルに実験用に作成したプログ (accessed ) ラムにて自動的に登録する注 3 TREC Web Track (accessed ) 5 作成したクエリパラメータファイルを用いて ClueWeb12 のデータセットを検索するクエリに対しては

5 6 7 t 8 ERR-IA@ ERR-IA (Intetnt Aware Expected Reciprocal Rank) TREC Web Track ERR [3] IA ERR [5] ERR-IA r R r r (R r = R(g)) g R i i R i R(g) R(g) := 2g 1 2 g max, g {0,..., g max} (1) R i := R(g i) (2) ERR [3] ERR := 5. n r=1 r 1 1 (1 R i )R r (3) r i=1 Twitter TL PRF R (version 3.1.2) TREC TREC Web Track Ad Hoc Task ERR-IA@10 [ 3] 5 PRF (0 ) 241 (1 ), 242 (4 ), 249 (1 ) t 95% (p < ) t baseline, ClueWeb12-PRFB, Twitter-PRFB t [ 4][ 1] Comparing of performance index: ERR IA@10 ERR IA@ ClueWeb12 baseline ClueWeb12 PRFB twitter_prfb 4 ERR-IA@10 [ 1] ERR-IA@10 baseline ERR IA@10 3 [ 2] PRF 0 ClueWeb12-PRFB 2 ERR-IA@10 Twitter-PRFB > baseline 214, 242, 248 Twitter-PRFB < baseline 205, 221, 240 Twitter-PRFB = baseline 216, 232, Twitter TL Twitter

6 Scatter Diagram of ERR ERR 提案手法 (Twitter-PRFB) ClueWeb12-PRFB baseline Query Numbers 3 ERR-IA@10 1 ERR-IA@10 t t p (p < ) ClueWeb12-PRFB vs. baseline Twitter-PRFB vs. baseline Twitter-PRFB vs. ClueWeb12-PRFB IT Health Care IT NASA [ 3] ERR-IA@10 t [ 3] Indri PRF 3 TREC 2013 Web Track TREC Bottom 25 topics [5] 214 capital gains tax rate Twitter TL 3 Top 25 topics 240 ( presidential middle names ) baseline Indri PRF 3(Key) baseline baseline ClueWeb12-PRFB 20 2(HRel) 3(Key) 1 2(Key) 0(Non) baseline ClueWeb12-PRFB 5 3(Key)

7 3 Twitter-PRFB > baseline Twitter-PRFB < baseline Twitter-PRFB = baseline baseline 0 1( ) ClueWeb12-PRFB 0 1( ) Twitter-PRFB 0 1( ) ( ) PRF 1 TL (1)PRF Twitter TL (2)PRF (3) PRF 6. 2 TREC Web Track 6-2(Junk) TREC ndeval -2 0(Non) [5] 0(Non; non relevant) 1(Rel; relevant) 2(HRel; highly relevant) 3(Key; Key page or site) 4(Nav; navigational page or site) (Non) 1(Rel) 2(HRel) 0(Non) TREC 20 TREC TREC ERR-IA baseline Twitter TL Twitter PRF TREC Web Track TL TL Twitter TL TL Twitter PRF TREC 2013 Web Track Ad Hoc Task 25 [1] Borlund, P.: Experimental components for the evaluation of interactive information retrieval systems, Journal of Documentation, Vol. 56, No. 1, pp (online), DOI /EUM (2000). [2] Borlund, P. and Ingwersen, P.: The development of a method for the evaluation of interactive information retrieval systems, Journal of Documentation, Vol. 53, No. 3, pp (online), DOI /EUM (1997). [3] Chapelle, O., Metlzer, D., Zhang, Y. and Grinspan, P.: Expected reciprocal rank for graded relevance, Proceeding of the 18th ACM conference on Information and knowledge

8 management - CIKM 09, New York, New York, USA, ACM Press, p.621 (online), DOI / (2009). [4] Choi, J. and Croft, W. B.: Temporal models for microblogs, Proceedings of the 21st ACM international conference on Information and knowledge management - CIKM 12, New York, New York, USA, ACM Press, p.2491 (online), DOI / (2012). [5] Collins-Thompson, K., Paul Bennett, Diaz, F., Clarke, C. L. A. and Voorhees, E. M.: TREC 2013 Web Track Overview, TREC 2013, (online), pubs/trec22/papers/web.overview.pdf (2013). [6] Keikha, M., Gerani, S. and Crestani, F.: Time-based relevance models, Proceedings of the 34th international ACM SIGIR conference on Research and development in Information - SIGIR 11, New York, New York, USA, ACM Press, p.1087 (online), DOI / (2011). [7] Kim, Y., Yeniterzi, R. and Callan, J.: Overcoming Vocabulary Limitations in Twitter Microblogs (2012). [8] Lavrenko, V. and Croft, W. B.: Relevance based language models, Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval - SIGIR 01, New York, New York, USA, ACM Press, pp (online), DOI / (2001). [9] Li, X. and Croft, W. B.: Time-based language models, Proceedings of the twelfth international conference on Information and knowledge management - CIKM 03, New York, New York, USA, ACM Press, p.469 (online), DOI / (2003). [10] Li, Y. and Hu, D.: Interactive retrieval using simulated versus real work task situations: Differences in sub-facets of tasks and interaction performance, Proceedings of the American Society for Information Science and Technology, Vol. 50, No. 1, pp.1 10 (online), DOI /meet (2013). [11] Metzler, D. and Cai, C.: USC/ISI at TREC 2011: Microblog Track, In Proceedings of TREC 2011, (online), update.pdf (2011). [12] Miyanishi, T., Seki, K. and Uehara, K.: Improving pseudorelevance feedback via tweet selection, Proceedings of the 22nd ACM international conference on Conference on information & knowledge management - CIKM 13, New York, New York, USA, ACM Press, pp (online), DOI / (2013). [13] Teevan, J., Ramage, D. and Morris, M. R.: #TwitterSearch: a comparison of microblog search and web search, Proceedings of the fourth ACM international conference on Web search and data mining - WSDM 11, New York, New York, USA, ACM Press, p. 35 (online), DOI / (2011).

DEIM Forum 2019 D3-5 Web Yahoo! JAPAN Q&A Web Web

DEIM Forum 2019 D3-5 Web Yahoo! JAPAN Q&A Web Web DEIM Forum 2019 D3-5 Web 565 0871 1 5 Yahoo! JAPAN 102 8282 1 3 E-mail: {nakamura.tatsuya,hara}@ist.osaka-u.ac.jp, sufujita@yahoo-corp.jp Q&A Web Web Q&A Web Web 1 Web Web Web [2], [3], [10] Web Web [8],