main.dvi

Size: px

Start display at page:

Download "main.dvi"

さみらちとく
4 years ago
Views:

1 DEIM Forum 2017 D ( ) F This paper presents techniques of retrieving know-how sites from the collection of Web pages. The proposed techniques are designed to discover the maximum possible amount of know-how knowledge from such collections of Web pages, where know-how knowledge is defined as text contents qualified as information source regarding specific domain of questions. Techniques in this paper primarily collect sites, spanning multiple topics as know-how sites by classifying Web pages aggregated by a topic model. Collected sites are manually verified to counter check whether the sites are truly supplemental know-how knowledge. Collecting Know-How Sites based on the Topic Distribution per Site Jiaqi LI,ChenZHAO, Youchao LIN, Mizuho BABA,TakehitoUTSURO, Yasuhide KAWADA, and Noriko KANDO Grad. Sch. of Systems and Information Engineering, University of Tsukuba, Tsukuba Japan Faculty of Engineering, Information and Systems, University of Tsukuba, Tsukuba Japan Logworks Co., Ltd. Tokyo , Japan National Institute of Informatics, Tokyo , Japan 1. Yahoo! [4] [4] [4] ( )

30 2. Yahoo! 5 (2004 4 1 2009 4 7 ) q d q q D q D q D q = {d 1 q,...,d k q } 1 3.

Search BOSS API 1 p s S(p) n fi fi o S(p) = s S fi p P(s,N) 4. 2. D q 3. D w D qw = D q [ Dw 1 http://developer.yahoo.

..,K) w P (w z n)(w V ) d z n P (z n d) (n =1,...,K) d d D z n(n =1,.

2 30 2. Yahoo! 5 ( ) q d q q D q D q D q = {d 1 q,...,d k q } 1 3. Google 100 1,000 1 S s S AND N p P(s, N) N =20 D w [ D w = P(s, N) s S Yahoo! Search BOSS API 1 p s S(p) n fi fi o S(p) = s S fi p P(s,N) D q 3. D w D qw = D q [ Dw (LDA; Latent Dirichlet Allocation) [1] LDA w V w(w V ) K z n (n =1,...,K) w P (w z n)(w V ) d z n P (z n d) (n =1,...,K) d d D z n(n =1,...,K) D(z n) n fi fi o D(z n)= d D fi z n = argmax P (z u d) z u (u=1,...,k) 5. dm x z i z j (i = j) d d URL u(d) u(d ) dm(u(d)) dm(u(d )) dm x 2 dm x i j i = j d D(z i) d D(z j) dm(u(d)) = dm(u(d )) = dm x (1) 2 u(d) = u(d )= dm(u(d)) = dm(u(d )) =

3 1 11, ,211 24,587 35, ,409 49,835 14, ,144 25,203 2 A B C D E (1) dm x D q D w D qw D w K =50 30 i) ii) iii) iv) (a) (5. (1)) (b) 1 z i d d dm x z i z i i d d D(z i) d = d (2) dm(u(d)) = dm(u(d )) = dm x (c) 1 (a) (b) dm x 1 2 (a) (b) 1 (c) 1 10% D qw 51.5% D qw 49.8% A :

4 図 2 ノウハウサイト候補のドメインの評価結果 (クエリフォーカス: 就活結婚および花粉症 ) 図 3 ノウハウサイト候補のドメインの評価結果 (クエリフォーカス: 就活 ) いては著者らの主催によりほぼ同様の仕様で Task Mining 7. 関連研究 Task も実施された本研究においても Task Mining Task で関連研究として [2] ではクエリを実現するためのサブタス用いられたクエリリストおよび評価手順 [3] のもとで本論文クの収集方式において行為を表す動詞表現の形式を用いる方式の提案手法を適用する方式の可能性を検討する必要があると考注 3 を提案している 2014 年 12 月に開催された NTCIR-11 におえられるただし Task Mining Task のタスク設定ではクエリを実現するためのサブタスク群を動詞表現の形式で出力す注 3 ることにとどまっておりノウハウ知識そのものは収集の対象

図 4 ノウハウサイト候補のドメインの評価結果 (クエリフォーカス: 結婚 ) 図 5 ノウハウサイト候補のドメインの評価結果 (クエリフォーカス: 花粉症 )

サイトであるという結果が得られたウサイトでありこの点において上記の関連研究とは大きく異なっている 8.

トピックモデルを適用しドメインの単位を対象としてノウハウサイトを収集する手法を提案したそして各トピックの確率上位 30 件のウェブページを対象とした場合において提案方文

Journal of Machine Learning Research, Vol. 3, pp. 993 1022, 2003.

[3] Y. Liu, R. Song, M. Zhang, Z. Dou, T. Yamamoto, M. Kato, H. Ohshima, and K. Zhou.

5 図 4 ノウハウサイト候補のドメインの評価結果 (クエリフォーカス: 結婚 ) 図 5 ノウハウサイト候補のドメインの評価結果 (クエリフォーカス: 花粉症 ) として扱われていないこれに対して本研究において収集式によって収集されたドメインのうちの半数が有用なノウハウの対象となるのはウェブページ群の形式で表現されたノウハサイトであるという結果が得られたウサイトでありこの点において上記の関連研究とは大きく異なっている 8. おわりに本論文ではあるクエリフォーカスについてウェブからノウハウサイトを収集する手法として検索エンジンサジェストを索引として収集したウェブページ文書集合に対してトピックモデルを適用しドメインの単位を対象としてノウハウサイトを収集する手法を提案したそして各トピックの確率上位 30 件のウェブページを対象とした場合において提案方文献 [1] D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, Vol. 3, pp , [2] 加藤龍, 大島裕明, 山本岳洋, 加藤誠, 田中克己. タスクの汎化と特化に着目した Web からのタスク検索. 第 6 回 DEIM フォーラム論文集, [3] Y. Liu, R. Song, M. Zhang, Z. Dou, T. Yamamoto, M. Kato, H. Ohshima, and K. Zhou. Overview of the NTCIR-11 IMine task. In Proc. 11th NTCIR Workshop Meeting, pp. 8 23, [4] 守谷一朗, 井上祐輔, 今田貴和, 聶添, 宇津呂武仁, 河田容英, 神門典子. 質問回答事例および検索エンジンサジェストを用いたノウハウ知識の相補的収集. 第 7 回 DEIM フォーラム論文集,

6 PR 6 A 7 A

7 8 A

main.dvi

main.dvi DEIM Forum 2018 J7-3 305-8573 1-1-1 305-8573 1-1-1 305-8573 1-1-1 () 151-0053 1-3-15 6F URL SVM Identifying Know-How Sites basedonatopicmodelandclassifierlearning Jiaqi LI,ChenZHAO, Youchao LIN, Ding YI,ShutoKAWABATA,