DEIM Forum 2019 C3-5 tweet

Size: px

Start display at page:

Download "DEIM Forum 2019 C3-5 tweet"

そよさかいざわ
4 years ago
Views:

1 DEIM Forum 2019 C3-5 tweet c515029@ns.kogakuin.ac.jp, cm17051@ns.kogakuin.ac.jp, aki@cc.kogakuin.ac.jp Twitter tweet tweet tweet BoW Doc2vec SVM tweet 1. Twitter, SNS,, Twitter tweet [1] Twitter Twitter tweet tweet tweet tweet tweet tweet tweet tweet [2] tweet [3 8] [3] [4] tweet Wikipedia tweet Harada [5] Apple.inc tweet tweet Latent Dirichlet Allocation(LDA) Twitter LDA 1tweet 1 tweet tweet [6] tweet [7]

2 tweet [8] χ tweet tweet [3 8] tweet API tweet tweet Bag of Words (3. 2 ) Support Vector Machine(SVM) (3. 4 ) Doc2Vec (3. 3 ) 3 tweet Bag of Words tweet tweet SVM tweet Doc2Vec 1tweet tweet 3. 1 Twitter Streaming API [9] tweet Streaming API tweet tweet 1% tweet tweet(bot ) 70 tweet 70 tweet tweet tweet tweet tweet tweet tweet tweet tweet T train c tweet n tweet (1) T train := {t c i i {n}} (1) tweet T train tweet tweet T test tweet k (2) T test := {t c n+i i {k}} (2) T train T test MeCab [10] mecab ipadic NEologd [11] T train T test Bag of Words(BoW) BoW m BoW {w 1,, w m} tweet t c i (3) [12] t c i = (v i1,, v ij,, v im) (3) v ij : t c i w j 1 < = i < = n, 1 < = j < = m t c i BoW t c i T train T test Yahoo! Yahoo! Twitter

3 tweet t 1,, t n 人手で分類 Wに関するtweet t 1,, t l W に関するtweet t l+1,, t n 形態素解析テスト tweet t n+1,, t n+k コサイン類似度算出 cos(t, T test ) No S W > S W S W < S W W : 任意の単語 ( 名詞 ) W : W との同綴異義語 S W : W に関する tweet のコサイン類似度の合計 S W : W に関する tweet のコサイン類似度の合計 Yes Yes W に関するテスト tweet t n+1,, t n+k 3 W に関するテスト tweet t n+2,, t n+k 2 各テキストデータ ( 学習用 ) テスト tweet 集合 t n+1 t n+k 2 コサイン類似度算出 Doc2Vec による tweet のベクトル化 No No S W > S W S W < S W Yes Yes Doc2Vec Wに関するテストtweet t n+1,, t n+k 3 W に関するテストtweet t n+2,, t n+k 2 W,W 以外に関するテストtweet t n+3,, t n+k BoW ベクトル化 tweet 集合, テストtweet 集合 T{t 1,, t n },T test {t n+1,, t n+k } 1 No BoW W,W 以外に関するテスト tweet t n+3,, t n+k 1 学習フェーズテキストデータラベル付けされたテキストデータラベル付けされた BoW ベクトル化テキストデータ分類された BoW ベクトル化テスト tweet t m 0,0,, 0 〇,, t m+k 1 0,0,, 1 〇 SVM の分類モデル作成 Yahoo! 分類フェーズテスト tweet t m,,t m+k BoW ベクトル化テスト tweet t m 0,1,, 0,, t m+k 1,1,, 1 作成された SVM による分類分類された BoW ベクトル化テスト tweet t m+1 0,1,, 0,, t m+k 0,1,, 1 Yahoo! p A (4) 3 SVM A := {a i i {p}} (4) BoW 3. 2 Bag of Words cos(x, y) (5) x i y i i cos(x, y) = x y m x y = i=1 xiyi m i=1 xi2 (5) m i=1 yi2 α(0 < α < 1) tweet W tweet W W tweet tweet T train tweet tweet t( T test) b(c) := {t c i T train cos(t, t c i ) > = α} (6) b(c) tweet t tweet t c i α tweet T test tweet t c(t i) := 1 b(c) arg max c t c i b(c) cos(t, t c i ) (7) α S W S W tweet t S W = S W tweet 3. 3 Doc2Vec Doc2Vec 2 gensim Doc2Vec [15] tweet T test tweet 3. 2 (5) tweet α 3. 2 (6) (7) tweet 3. 4 Support Vector Machine Support Vector Machine(SVM) [13] 3 tweet T test SVM 3. 2 tweet T train Yahoo! Beautiful- Soup [14] tweet SVM tweet T train A A 3

4 各値におけるコサイン類似度の個数各値におけるコサイン類似度の個数の割合 tweet SVM tweet BoW tweet T test tweet tweet 4. 2 tweet T train T test T train T test tweet 1 tweet tweet tweet MeCab mecab ipadic NEolodg BoW SVM scikit learn LinearSVC [16] C = 1.0 Yahoo! Doc2Vec N = 300 () window=8 3 tweet 2 tweet T train T test BoW tweet BoW tweet tweet 1tweet 4. 3 T train tweet tweet tweet α % % % % % % 40.00% % % % % 0~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~1.0 コサイン類似度羽生善治と羽生結弦羽生善治同士羽生結弦同士羽生善治と羽生結弦羽生善治同士羽生結弦同士 4 tweet tweet tweet tweet tweet tweet α BoW 5 tweet T test 0.01 tweet 6 tweet tweet T test 7 tweet tweet T test Doc2Vec Doc2Vec 3 7 α= SVM SVM 8 12 T train A A T train tweet T test

1 T train T test T train T test 10 1 10 31

5 1 T train T test T train T test tweet tweet BoW () BoW () 7 BoW ( ) 6 BoW ( ) 3 T train Doc2Vec

6 4 A Doc2Vec A Doc2Vec A SVM T train SVM T train Doc2Vec T train SVM ( ) () ( ) 50 0 () T train Doc2Vec ( ) () ( ) () T train SVM A SVM SVM T test BoW BoW tweet tweet 9 tweet tweet tweet tweet 1 tweet tweet tweet 9 tweet SPECIAL tweet tweet

7 13 14 A T train Doc2Vec T train Doc2Vec T train Doc2Vec ( ) () ( ) () A Doc2Vec A Doc2Vec Doc2Vec Doc2Vec T train A Doc2Vec Doc2Vec tweet 3 6 tweet tweet Doc2Vec 1tweet 1 Doc2Vec 5. 3 SVM tweet tweet T train A T train T train tweet 96% A tweet 100% tweet tweet tweet tweet tweet 100% tweet T train tweet 100% SVM tweet

8 分類精度 Bow-cos SVM Doc2Vec 分類方法及び教師データ 8 BoW 8 tweet 4. 4 tweet tweet 2 BoW tweet SVM Doc2Vec NLC , pp , 2016 [3] Skip gram, Vol. 24, No. 2, pp , 2017 [4] DEIM Forum 2018 B3 2 [5] Tomohiko Harada, Kazuhiko Tsuda, Classifying homographs in Japanese social media texts using a user interest model, Procedia Computer Science, Vol. 35, pp , 2014 [6] NLVol. 2003, No. 23, pp , Mar. 23, 2003 [7] Vol. 36, No. 10, pp , Oct [8], Vol. 42, No. 3, pp , Mar [9] GET statuses/sample, en/docs/tweets/sample-realtime/api-reference/ get-statuses-sample Jan. 9,2019 [10] MeCab: Yet Another Part of Speech and Morphological Analyzer, Jan. 9,2019 [11] mecab-ipadic-neologd : Neologism dictionary for MeCab, Jan. 9,2019 [12], Vol. 36, No. 8, pp , Aug., 1995 [13] Support Vector Machines, stable/modules/svm.html, Jan. 9,2019 [14] Beautiful Soup, BeautifulSoup/, Jan. 9,2019 [15] models.doc2vec - Doc2vec paragraph embeddings, https: //radimrehurek.com/gensim/models/doc2vec.html, Jan. 9,2019 [16] sklearn.svm.linearsvc, modules/generated/sklearn.svm.linearsvc.html, Jan. 9, tweet tweet 70 tweet [1] OMNICORE, Twitter by the Numbers: Stats, Demographics & Fun Facts, twitter-statistics/, Jan. 2,2019. [2]

DEIM Forum 2019 D3-5 Web Yahoo! JAPAN Q&A Web Web

DEIM Forum 2019 D3-5 Web Yahoo! JAPAN Q&A Web Web DEIM Forum 2019 D3-5 Web 565 0871 1 5 Yahoo! JAPAN 102 8282 1 3 E-mail: {nakamura.tatsuya,hara}@ist.osaka-u.ac.jp, sufujita@yahoo-corp.jp Q&A Web Web Q&A Web Web 1 Web Web Web [2], [3], [10] Web Web [8],