untitled

Size: px

Start display at page:

Download "untitled"

よしじろうこうだ
4 years ago
Views:

1 DEIM Forum 2019 B ( ) F word2vec, An Interface for Browsing Topics of Know-How Sites Shuto KAWABATA, Ohkawa YOUHEI,WenbinNIU,ChenZHAO, Takehito UTSURO,and Yasuhide KAWADA Grad. Sch. of Systems and Information Engineering, University of Tsukuba, Tsukuba Japan Faculty of Engineering, Information and Systems, University of Tsukuba, Tsukuba Japan Logworks Co., Ltd. Tokyo , Japan 1. Yahoo! OKWAVE [8] ( ) [9] SVM (Support Vector Machine) [9] 2.

2 D(z n) { } D(z n)= d D z n = argmax P (z u d) z u (u=1,...,k) 1 ( ) ( 1) 4 Google 100 () 10 1,000 AND AND Google Custom Search API (LDA; Latent Dirichlet Allocation) [1] LDA w K LDA z n(n =1,...,K) w P (w z n)(w V ),, d z n P (z n d) (n =1,...,K) d z n P (z n d) (n =1,...,K) P (z n d) d z n 1 AND d S(d) (d D(z n)) z n S(z n) z n D(z n) d ( D(z n)) S(z n) S(z n)= d D(z n) S(d) z n S(z n) s ( S(z n)) s d ( D(z n)) D(s, z n) z n f(s, z n) { } D(s, z n)= d D(z n) s S(d) f(s, z n)= D(s, z n) z n f(s, z n) [2] Wikipedia word2vec [7] 2 3 d S(d) z n f(s, z n) s(d) d s(d) = argmax f(s, z n) s S(d) ( z n = argmax P (z u d)) z u (u=1,...,k) d d s(d) s(d ) sim(v(d),v(d )) = v(s(d)) v(s(d )) v(s(d)) v(s(d )) d d

2 ( ) 1 923 627 11,840 50 81 50 978 841 12,880 50 55 39 855 694 6,947 50 53 29

> = θ lbd z n D(z n) ( 4 ) [2] 4. [5] [5] 30 ( 3) 4 θ lbd 0.

3 2 ( ) , , , , θ lbd { D i(z n)= d D(z n) d D i(z n), } sim(v(d),v(d )) > = θ lbd z n D(z n) ( 4 ) [2] 4. [5] [5] 30 ( 3) 4 θ lbd [5] dm x z i z j (i = j) d d URL u(d) u(d ) dm(u(d)) dm(u(d )) dm x ( ) i, j, i = j, d D(z i), d D(z j) dm(u(d)) = dm(u(d )) = dm x dm x 6 i) ii) iii) iv) 5 S 2 A B C R 6 u(d) = u(d )= dm(u(d)) = dm(u(d )) =

4 仮説複数トピックにまたがって出現するドメインノウハウサイトのドメインとみなす図 3 ノウハウサイト候補の選定ノウハウ記事へのリンク図 4 ノウハウサイト例 (クエリフォーカス就活の例) 履歴書 Do ( のノウハウの一覧が参照できる可能性が低いと仮定し複数のトピックにまたがるドメインが上記 i) iv) のいずれかに該当する場合にはそのドメインを除外するそして以上の一連の条件を満たすドメインの集合をノウハウサイト候補の集合 S とするクエリフォーカス就活および結婚における参照用ノウハウサイトの例を図 4 および図 5 にそれぞれ示す 5. ノウハウサイト候補群閲覧インタフェース 5. 1 概要前節の手順によって選定されたノウハウサイト候補群を閲覧するためのインタフェースを作成する. インタフェースの画面例を図 6 に示すトップページでは各ノウハウサイト候補におこえるノウハウの話題の分布を俯瞰するため各サイトにおけるトピックの有無を表形式で表示する (図 6 におけるマス目の色の有無が各トピックにおけるウェブページの有無を示す) 各ドメイン

5 ノウハウ記事へのリンク図 5 ノウハウサイト例 (クエリフォーカス結婚の例) 結婚レシピ ( (ノウハウサイト候補群) ④ 図 6 ノウハウサイト候補群閲覧インタフェース(クエリフォーカス就活の例) dmx のウェブページ集合を D(dmx ) とすると各ドメインに含まれるトピックの集合 Z(dmx ) は次式で定義される Z(dmx ) = zn d D(dmx ), zn = argmax zu (u=1,...,k) P (zu d) 本インタフェースでは文献 [9] において SVM(Support Vec-

6 2 A B C D E tor Machine) SVM ( 1) ( 2) ( 3) ( 4) 6 Do ( 1) 8 ( 2) 6. S 7 Google Custom Search API 8 3 SVM r θ Sr θ ( S) R Sr θ R () 7 7 S 81 R 50 SVM R 7 ( ) [1] API

7 3 ( ) Jobweb Jobrass Do , , , , d P (z n d) z n P (z n d) ( 0.3 ) [6,10] URL K ,640 1,731 1, ,189 1,272 1, ,733 1, t ( 1%) 1 ( 1%) [3] [8] [3] Yahoo LDA

8 [4] [3,8,9] [4] (a) (b) (c) (d) 1 8 [9] [1] D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, Vol.3, pp , [2],,,,.. 10 DEIM, [3],,,,,.. 8 DEIM, [4],,,.. 32, [5],,,,,,.. 9 DEIM, [6],,,,.. 33, [7] T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean. Distributed representations of words and phrases and their compositionality. In Proc. 26th NIPS, pp , [8],,,,,,.. 7 DEIM, [9] Y. Ohkawa, S. Kawabata, C. Zhao, W. Niu, Y. Lin, T. Utsuro, and Y. Kawada. Identifying tips Web sites of a specific query based on search engine suggests and the topic distribution. In Proc. 3rd ABCSS, pp , [10],,,,,,.. 25, 2019.

untitled

untitled DEIM Forum 2019 C1-2 305-8573 1-1-1 305-8573 1-1-1 () 151-0053 1-3-15 6F QA,,,, Detecting and Analysing Chinese Web Sites for Collecting Know-How Knowledge Wenbin NIU, Yohei OHKAWA,ShutoKAWABATA,ChenZHAO,TianNIE,