研究の背景 Twitter では実況書き込みが行われている実況書き込みは野球中継などでも行われている

Size: px

Start display at page:

Download "研究の背景 Twitter では実況書き込みが行われている実況書き込みは野球中継などでも行われている"

あつひろゆのもと
5 years ago
Views:

1 プロ野球の実況ツイートを対象としたマルチラベル分類日本大学文理学部情報システム解析学科尾崎研究室山田慎也

2 研究の背景 Twitter では実況書き込みが行われている実況書き込みは野球中継などでも行われている

3 これらをまとめるサイトが欲しい Twitter の実況書き込みを利用したスポーツ映像の要約 ( 小林尊志, 野田雅文, 出口大輔, 高橋友和, 井手一郎, 村瀬洋 /2011) ツイートを用いたいた野球野球の Live システムの研究 (Hogun Park, Sun-Bum Youn, Geun Young Lee, Heedong Ko/2011) 第一歩としてツイートの分類が最低限必要

4 分類ラベル実際のツイートをのツイートを見てみるとみると例 1 澤村投手続投かボールのキレも落ちてきているがリリーフ陣が疲れてるから仕方ないか傷を広げないでほしい頑張れ! 澤村投手続投リリーフ陣が疲れてるボールのキレも落ちてきている頑張れ! 状況解説応援

5 例 2 バカかてめえゲッツーとか腹立つわバカかてめえゲッツーとか腹立つわ野次状況感想一つのツイートには複数の内容が含まれる一つのツイートに複数のラベルを割り当てる ( タグ付け ) 今回使用するラベル状況解説感想応援野次その他

6 研究の背景試合の実況実況ツイートをツイートを集め分類分類するするとユーザーの意見意見考え感想感想が分かるというわけで実際に自分の手で振り分けてみました

7 データについて Twitter4J を利用データセットは野球野球のデータをのデータを使用収集期間収集期間は 2013 年 5 月 14 日から 6 月 20 日の間に行われた 2013 年度日本生命セパセパ交流戦交流戦の読売ジャイアンツジャイアンツの全 24 試合を対象 24 試合 13 勝 10 敗 1 分け.565 交流戦順位 3 位巨人 3 5 ロッテ巨人 5 4 ロッテ巨人 7 2 西武巨人 2 1 西武巨人 3 7 日本ハム巨人 1 2 日本ハム巨人 1 2 楽天巨人 10 4 楽天巨人 3 2 オリックス巨人 5 5 オリックス巨人 0 5 ソフトバンク巨人 2 3 ソフトバンク巨人 3 4 ロッテ巨人 2 3 ロッテ巨人 1 5 西武巨人 7 3 西武巨人 4 1 日本ハム巨人 4 2 日本ハム巨人 5 3 楽天巨人 3 5 楽天〇巨人 7 1 オリックス巨人 3 0 オリックス〇巨人 6 1 ソフトバンク巨人 11 3 ソフトバンク

8 ラベル数の内訳総ツイート数 46,912 ツイートラベル数が 1: 63.9% ラベル数が 2: 35.0% ラベル数が3 : 1.1% ラベル数が1: 解説状況などラベル数が2: 解説と状況状況と感想などラベル数が3: 解説と状況と感想解説と感想と野次など解説が一番多一番多い

9 機械学習を使うにはデータを属性ベクトルで表す文字数はそのツイートの文字数頻出用語は収集したツイートから作成選手名の有無野球用語の有無感情語の有無応援用語の有無野次用語の有無今回使用する属性文字数選手名感情語野次用語頻出用語野球用語応援用語判定にはそれぞれ辞書を作成し用いた使用した辞書選手名辞書野球用辞書感情語辞書応援用語辞書野次用語辞書頻出用語辞書標準の IPA 辞書

10 例ロペスロペスロペスロペスナイスナイスナイスナイスヒットヒットヒットヒット!!! クソクソクソクソ!! 誉めるところ全く誉めるところ全く誉めるところ全く誉めるところ全くないないないないムカつくムカつくムカつくムカつくわ選手名選手名選手名選手名応援用語応援用語応援用語応援用語野球用語野球用語野球用語野球用語が判定判定判定判定されるされるされるされる野次用語野次用語野次用語野次用語感情語感情語感情語感情語の属性属性属性属性が判定判定判定判定されるされるされるされる

11 分類について分類ある事例事例に対し, その事例事例が属するラベルをするラベルを決定決定するする問題単一ラベル分類各事例を一つのラベルに分類まだいける! がんばれ! マルチラベル分類各事例を複数のラベルに同時に分類澤村投手続投かボールのキレも落ちてきているがリリーフ陣が疲れてるから仕方ないか傷を広げないでほしい頑張れ! 応援のみ状況解説応援

12 Problem Transformation 問題を複数複数の単一単一ラベル問題へとへと変換変換する問題変換変換に基づくづく手法 Gjorgji Madjarov ら (2012) An extensive experimental comparison of methods for multi-label learning Pattern Recognition マルチラベル分類 Algorithm Adaptation 既存アルゴリズムの拡張を伴うアルゴリズム適応に基づくづく手法 Rakel PPT BR RPC CLR ML-KNN BP-MLL MMP PCT

13 評価基準マルチラベル分類での分類精度の評価に関して大きく 2 つのカテゴリが提案されている Gjorgji Madjarov ら (2012) An extensive experimental comparison of methods for multi-label learning Pattern Recognition 事例に基づく評価基準事例ごとに評価値を算出しその平均を求める 2 ラベルに基づく評価基準ラベル毎に評価値を算出してから平均を求めるラベル毎の集計後に評価値を算出する

14 1 事例に基づくづく評価基準 tweet 解説状況感想 1 2 0/1 1/0 3 事例 ( 今回は tweet) にラベルが存在しているかいないか実際に予測感想その他 1/1 1/1 0/1 0/0 1/0 0/0 0/0 0/0 0/0 1/1 F 値再現率適合率ハミングロス精度実際 :0 2 3 実際 :1 2 予測 :1 予測 :0 2 左 : 実際 / 右 : 予測 1 1 適合率 : 2 1 再現率 : 和平均値調F それぞれ平均を出している 2 3

15 2 ラベルに基づくづく評価基準左 : 実際 / 右 : 予測 tweet 解説状況感想感想その他 1/0 1/1 0/1 0/0 0/1 1/0 1/0 0/0 0/0 0/0 0/0 1/1 Micro Macro MacroF 値 Macro 再現率 Macro 適合率 MicroF 値 Micro 再現率 Micro 適合率それぞれ平均を出している実際 :1 2 実際 :0 2 適合率 : 調再現率 : 3 :1 :0 和平均予測 F 値

16 実験について実験の目的 1 手法間 ( アルゴリズム間 ) の比較 - ライブラリ Mulan を使用 2 どのくらいの学習データが必要適切なのか - 直前 N 試合による比較と累積による比較をする比較をする

17 例 1 直前 N 試合による比較 N=3 の時直前 3 試合 (1,2,3 試合目 ) を使い4 試合目を予測直前 3 試合 (2,3,4 試合目 ) を使い 5 試合目を予測直前 3 試合 (21,22,23 試合目 ) を使い 24 試合目を予測

18 例 2 累積 (1~N 試合 ) による比較累積 3 試合 (1,2,3 試合目 ) を使い4 試合目を予測累積 4 試合 (1 2,3,4 試合目 ) を使い 5 試合目を予測累積 23 試合 (1,2,,23 試合目 ) を使い 24 試合目を予測

19 これら 2 つの手法 ( アルゴリズム ) と 11 個の評価値を使って分類を行うでは結果を見てみましょう

20 累積による比較 0.80 Rakel ML-KNN F 値 Micro F 値 Macro F 値 F 値 MicroF 値はあまり差がないが MacroF 値は Rakel の方が大きい

21 直前 N 試合による比較 F 値 microf 値 macrof 値直前 1 試合 52.8% 52.4% 19.9% 直前 2 試合 52.4% 51.4% 19.3% 直前 3 試合 52.2% 51.0% 19.0% 直前 4 試合 52.6% 51.3% 18.6% 直前 5 試合 52.3% 51.1% 18.5% 直前 6 試合 51.5% 50.1% 17.4% 直前 7 試合 51.3% 50.0% 16.7% 直前 8 試合 51.6% 50.5% 17.3% 直前 9 試合 51.4% 50.4% 17.1% 直前 10 試合 51.6% 50.4% 17.2% 全体的にあまり数値が高くない特に macrof 値が低いという結果になった

22 ラベル別の結果 N 評価値解説実況感想応援野次その他 1 再現率 91.0% 30.3% 5.1% 0.9% 6.7% 15.2% 1 適合率 68.7% 30.7% 16.8% 3.8% 17.8% 22.5% 1 F 値 77.6% 22.8% 5.4% 1.3% 6.4% 11.9% 2 再現率 91.3% 26.5% 3.4% 0.4% 6.1% 14.9% 2 適合率 67.8% 35.6% 19.6% 15.6% 21.2% 23.1% 2 F 値 77.4% 20.4% 4.7% 0.8% 5.5% 14.3% 3 再現率 91.4% 24.8% 3.3% 0.2% 4.2% 15.9% 3 適合率 68.1% 38.0% 16.1% 5.6% 21.9% 20.3% 3 F 値 77.5% 20.1% 4.7% 0.3% 5.2% 14.8% 4 再現率 93.2% 22.3% 2.4% 0.7% 5.4% 12.9% 4 適合率 67.8% 31.9% 16.3% 10.3% 23.7% 21.0% 4 F 値 78.0% 19.5% 3.6% 0.9% 6.2% 11.9% 5 再現率 93.2% 22.1% 1.8% 0.1% 5.0% 11.3% 5 適合率 66.8% 27.4% 16.7% 2.1% 25.3% 21.9% 5 F 値 77.4% 18.9% 2.8% 0.2% 6.2% 12.6% 解説はとてもよく当たるが応援は全く当たらない

23 ー結論生のデータをのデータをのデータをのデータを自分自分自分自分で振り分けデータセットをデータセットをデータセットをデータセットを作ったったったった自動分類自動分類自動分類自動分類を試みたみたみたみた考察辞書作成辞書作成辞書作成辞書作成があまりうまくいかずがあまりうまくいかずがあまりうまくいかずがあまりうまくいかずよいよいよいよい結果結果結果結果を得られなかったられなかったられなかったられなかったのではないかのではないかのではないかのではないか手法間手法間手法間手法間ではではではでは差があまりないがあまりないがあまりないがあまりない評価基準評価基準評価基準評価基準ではではではでは MacroF MacroF MacroF MacroF 値が極端極端極端極端に低かったかったかったかった今後の課題対戦対戦対戦対戦チームチームチームチームごとごとごとごとに比較比較比較比較するするするするまとめサイトにする際視覚化を行う

そのチームの選手に魅力があると感じる (1: 全く思わない~10: 非常に思う ) 1 位ソフトバンク位ソフトバンク位巨人位ヤクルト位広島位楽天

そのチームの選手に魅力があると感じる (1: 全く思わない~10: 非常に思う ) 1 位ソフトバンク位ソフトバンク位巨人位ヤクルト位広島位楽天チームの成績チーム選手を構成する項目の各チームの評価平均値とランキング近年そのチームは優秀な成績をおさめている (1: 全く思わない~10: 非常に思う ) 1 位ソフトバンク 8.55 2.06 1 位ソフトバンク 8.21 1.90 1 位楽天 8.21 2.30 2 位ヤクルト 7.37 2.14 2 位巨人 7.54 1.67 2 位巨人 7.97 1.66 3 位日本ハム

研究の背景 Twitter では 実況書き込み が行われている実況書き込みは野球中継などでも行われている

研究の背景 Twitter では実況書き込みが行われている実況書き込みは野球中継などでも行われている