untitled

Size: px

Start display at page:

Download "untitled"

ほだかのあき
4 years ago
Views:

1 DEIM Forum 2019 C () F QA,,,, Detecting and Analysing Chinese Web Sites for Collecting Know-How Knowledge Wenbin NIU, Yohei OHKAWA,ShutoKAWABATA,ChenZHAO,TianNIE, Takehito UTSURO, and Yasuhide KAWADA Grad. Sch. of Systems and Information Engineering, University of Tsukuba, Tsukuba Japan Faculty of Engineering, Information and Systems, University of Tsukuba, Tsukuba Japan Logworks Co., Ltd. Tokyo , Japan 1. [7] [7] ( ) 5 60% % [7] 1 [7] 2 1 doc2vec [3] 2https://

2 1 1 ( 1 ) AND QA

表 1 ノウハウサイト候補のドメインに対する評価基準ドメインそのものがノウハウ知識を提示する個別ページへのリンクを一覧するページである A群ドメインのトップからノウハウ知識ドメインそのものノウハウ知識を提示する個別ペーを提示する個別ページへのリンクを

ノウハウ知識を提示する個別ページへのリンクを一覧するページが存在しないノウハウ知識を提示する個別ページが存在するノウハウ知識を提示する個別ページが存在しない B群 C群 D群 E群図 2 中国語検索エンジン百度における検索エンジンサジェストの例図

com/) 図3 A 群ドメインそのものがノウハウ知識を提示するのノウハウサイトの例 ( wed114 結婚ネット http://www.wed114. cn/) 図 5 A 群ドメインそのものがノウハウ知識を提示するの商用サイトの例 ( 58 同城 http://www.

3 表 1 ノウハウサイト候補のドメインに対する評価基準ドメインそのものがノウハウ知識を提示する個別ページへのリンクを一覧するページである A群ドメインのトップからノウハウ知識ドメインそのものノウハウ知識を提示する個別ペーを提示する個別ページへのリンクをがノウハウ知識をジへのリンクを一覧するページが一覧するページに容易に辿り着ける提示する個別ペー存在するドメインのトップからノウハウ知識ジへのリンクを一を提示する個別ページへのリンクを覧するページでは一覧するページには容易に辿り着けないないノウハウ知識を提示する個別ページへのリンクを一覧するページが存在しないノウハウ知識を提示する個別ページが存在するノウハウ知識を提示する個別ページが存在しない B群 C群 D群 E群図 2 中国語検索エンジン百度における検索エンジンサジェストの例図 4 A 群ドメインそのものがノウハウ知識を提示するの QA サイトの例 ( 百度知道図3 A 群ドメインそのものがノウハウ知識を提示するのノウハウサイトの例 ( wed114 結婚ネット cn/) 図 5 A 群ドメインそのものがノウハウ知識を提示するの商用サイトの例 ( 58 同城おけるトピック分布を分析するさらにノウハウを多く掲載するサイト群に対して文献 [7] と同等の素性を用いることによりノウハウを多く掲載する中国語ウェブサイトの自動同定精度の評価を行う 2. 検索エンジンサジェストを用いたウェブページの収集 2. 1 検索エンジンサジェスト各検索エンジン会社においてはウェブ利用者による検索ログが蓄積されている多くのウェブ利用者が検索したクエリのうち特に高い関心が持たれた語を抽出することにより検索エンジンサジェストとして提示するサービスを提供しているここで検索エンジンサジェストとして提示された語はクエリフォーカスに対して AND 検索の形で二つ目以降に入力した語を情報源として抽出したものである本論文では検索エンジンサジェストにはウェブ利用者の関心事項が反映されていると考えて検索エンジンサジェストの収集を行った特に中国でよく使用される検索エンジン百度を用いてクエリフォーカス結婚を対象に検索エンジンサジェストの収集を行った

3 QA 15 14 16 20 65 6 A (https://wenku.baidu.com/) 2. 2 300 3,000 300 () () 537 ( 2) 2. 3 ( AND AND ) 20 20,478 ( 2) 3. 3. 1 1 (LDA; Latent Dirichlet Allocation) [1] LDA GibbsLDA++ 3 K 10 80 K =60LDA α β GibbsLDA++ 3http://gibbslda.

4 3 QA A ( , () () 537 ( 2) 2. 3 ( AND AND ) 20 20,478 ( 2) (LDA; Latent Dirichlet Allocation) [1] LDA GibbsLDA++ 3 K K =60LDA α β GibbsLDA++ 3http://gibbslda.sourceforge.net/ α =60/Kβ =0.1 Gibbs 2, LDA z n (n = 1,...,K) w P (w z n)(w V ) d z n P (z n d) (n =1,...,K) z n D(z n) { } D(z n)= d D z n = argmax P (z u d) z u (u=1,...,k) 3. 3 [4] [4] A B C D E A B C D E [4] ( 7) [4] [4] A E 2 A B C 4.

2 A B C ABC 537 20,478 60 556 21 16 28 65 ( 6) 7 3. 5. 7 1 2 QA 3 4 wed114 ( 3) 4 QA QA ( 4) 5 58 ( 5) 6 4http://www.wed114.cn/ 5https://zhidao.

5 2 A B C ABC , ( 6) QA 3 4 wed114 ( 3) 4 QA QA ( 4) 5 58 ( 5) 6 4http:// 5https://zhidao.baidu.com/ 6http:// T T t( T ) t P (t) p( P (t)) S(p) t S(t) S(t) = S(p) p P (t) t S(t) t S(p) p P (t) 7https://wenku.baidu.com/

6 t P (t) P (t) 5. 3, p( P (t)) z(p) p z(p) = argmax P (z u p) z u (u=1,...,k) t( T ) t p z(p) z(t) z(t) = p P (t) { z(p) } t z(t) z(t) t S(t) http://index.baidu.com/ R 2 ABC 65 ( 3 65 ) conf c T (conf > = c) T (conf > = c) R (conf > = c) (conf > = c) (conf > = c)= R T (conf > = c) R (conf > = c)= R T (conf > = c) T (conf > = c) () 7. ( K = 60) QA 8. [2]

7 (a) () (b) () () 8 () [6] [2] [5] LDA [7] [4] SVM 9. [1] D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, Vol.3, pp , [2],,,,,.. 8 DEIM, [3] Q. Le and T. Mikolov. Distributed representations of sentences and documents. In Proc. 31st ICML, pp , [4],,,,,,.. 9 DEIM, 2017.

8 5 /A B C / / A C C B A A ID QA wed [5],,,,,,.. 7 DEIM, [6] T. Nie, Y. Ding, C. Zhao, Y. Lin, T. Utsuro, and Y. Kawada. Clustering search engine suggests by integrating a topic model and word embeddings. In Proc. 18th SNPD, pp , [7] Y. Ohkawa, S. Kawabata, C. Zhao, W. Niu, Y. Lin, T. Utsuro, and Y. Kawada. Identifying tips Web sites of a specific query based on search engine suggests and the topic distribution. In Proc. 3rd ABCSS, pp , 2018.

untitled

untitled DEIM Forum 2019 B3-3 305 8573 1-1-1 305 8573 1-1-1 ( ) 151-0053 1-3-15 6F word2vec, An Interface for Browsing Topics of Know-How Sites Shuto KAWABATA, Ohkawa YOUHEI,WenbinNIU,ChenZHAO, Takehito UTSURO,and