テキストマイニングの登場テキストデータのような定性データは大量のデータを分析することで安定した傾向が見いだせますが人手で大量のテキストデータを分析することは現実的にはほとんど不可能でしたテキストマイニングの登場によって大量のデータを統一的な視点基準から少ない労力で分析することが

Size: px

Start display at page:

Download "テキストマイニングの登場テキストデータのような定性データは大量のデータを分析することで安定した傾向が見いだせますが人手で大量のテキストデータを分析することは現実的にはほとんど不可能でしたテキストマイニングの登場によって大量のデータを統一的な視点基準から少ない労力で分析することが"

ゆたかえいさか
5 years ago
Views:

2 テキストマイニングの登場テキストデータのような定性データは大量のデータを分析することで安定した傾向が見いだせますが人手で大量のテキストデータを分析することは現実的にはほとんど不可能でしたテキストマイニングの登場によって大量のデータを統一的な視点基準から少ない労力で分析することが可能になりましたテキストマイニングは世の中で流行っている話題や人々のニーズや不満を定量的に把握する手段として徐々に使われ始めています 2

3 テキストマイニングの主な基盤技術自然言語処理 - 形態素解析構文解析統計解析 - 多変量解析仮説検定データマイニング - 分類器予測器 3

4 テキストマイニングの内側テキストマイニングの処理は前処理と後処理に大別できます前処理テキストデータならではの処理 - 語の切り出しと集計 - これが面倒後処理多変量解析やデータマイニングと同じ処理 - 集計データの統計処理 - 従来の手法が流用できます 4

5 テキストデータの特徴 (1/4) 語彙や表現の揺れ漢字仮名カタカナ大文字と小文字全角と半角誤字新語が多い - 内閣総理大臣と首相 - 打ち合わせと打合せ - インタフェースとインタフェイス - 税金と血税 - スナナレもしドラ - ドコモと DoCoMo とｄｏｃｏｍｏ 5

6 テキストデータの特徴 (2/4) 日本語は文法も曖昧 - クロールで泳いでいる彼女を見た - 望遠鏡で泳いでいる彼女を見た - プールで泳いでいる彼女を見た - 先生とお酒を飲む - ビールとお酒を飲む 6

7 テキストデータの特徴 (3/4) 語の境界に曖昧性がある - そこではきものをぬげそこで/はきもの/を/ぬげそこでは/きもの/を/ぬげうなぎ文 - ぼくはウナギだこんにゃく文 - こんにゃくは太らない 7

8 テキストデータの特徴 (4/4) 意味の文脈依存性 - 学校で遊ぶこのときの学校は場所としての学校 - 学校が談話を発表したこのときの学校は法人的側面を表す 8

9 形態素解析形態素解析は自然言語で書かれた文章を語形態素に分割する処理のことです Chasen (奈良先端大) MeCab (工藤拓氏) JUMAN (京都大学) が公開しているオープンソースのソフトウェアが有名です新聞記事を対象とした場合の精度は99%以上ですが話し言葉を対象とすると精度は下がりますそれでも十分実用的な精度です常に新しい言葉が生まれているので未知語辞書に載っていない語問題はなかなかやっかいです 9

10 形態素解析の実行例親譲りの無鉄砲で子供の時から損ばかりしているを MeCab にかけた結果です親譲り名詞,一般,*,*,*,*,親譲り,オヤユズリ,オヤユズリの助詞,連体化,*,*,*,*,の,ノ,ノ無鉄砲名詞,一般,*,*,*,*,無鉄砲,ムテッポウ,ムテッポーで助詞,格助詞,一般,*,*,*,で,デ,デ子供名詞,一般,*,*,*,*,子供,コドモ,コドモの助詞,連体化,*,*,*,*,の,ノ,ノ時名詞,非自立,副詞可能,*,*,*,時,トキ,トキから助詞,格助詞,一般,*,*,*,から,カラ,カラ損名詞,一般,*,*,*,*,損,ソン,ソンばかり助詞,副助詞,*,*,*,*,ばかり,バカリ,バカリし動詞,自立,*,*,サ変スル,連用形,する,シ,シて助詞,接続助詞,*,*,*,*,て,テ,テいる動詞,非自立,*,*,一段,基本形,いる,イル,イル記号,句点,*,*,*,*,,, 10

11 機能語と内容語語は助詞や助動詞といった機能語と名詞形容詞動詞副詞といった内容語に大別できます機能語はそれ単体では意味を持たない語なので文章の内容を理解する際の助けにはなりません内容語は名称性質動作状況など文章の内容の一部を表しているので内容を理解する際の助けになりますしかし名詞と結びつかないと意味が特定できない場合が多いですしたがって名詞は必須で分析の目的に応じて形容詞副詞動詞を用いることが多いです 11

12 未知語について形態素解析器の辞書に登録されていない語は未知語として出力されます未知語の品詞推定は研究レベルでは実装されていますがまだ実用レベルには達していません未知語は単なるゴミであることも多いのですが世の中の流行を反映した新しい語例えば婚活や H1N1 などが含まれていることもあるので油断なりませんなので取り敢えず未知語は分析対象に加えて不便があれば臨機応変に対応することが多いです 12

13 構文解析構文解析は語と語の係り受け関係を分析する処理のことです CaboCha (工藤拓氏) KNP (京都大学) が公開しているオープンソースのソフトウェアが有名です新聞記事を対象とした場合でも精度は80%くらいですが確からしい結果だけを利用すれば十分使えます特定の語と関係する語例えば美味しいの係り受け先などを見たいときなど用途を限定した場合にも十分使えます 13

14 構文解析の実行結果親譲りの無鉄砲で子供の時から損ばかりしているを CaboCha にかけた結果です親譲りの-D 無鉄砲で D 子供の-D 時から---D 損ばかり-D している 14

15 の紹介形態素解析は分かった構文解析も分かったそれでどうすればいいのという皆さんの心の声に答えるためにを作りましたはテキストデータを形態素解析器構文解析器にかけてその分析結果を読み込んで集計し CSVファイルを出力するフリーウェアですはテキストマイニングの前処理に特化していますのでここまでしか行いません後処理はみなさんの使い慣れたソフトウェアに読み込ませて好きなように分析してもらいたいと思っています 15

16 のスクリーンショット (1/2) 16

17 のスクリーンショット (2/2) 17

18 の特徴 (1/4) CSV 形式のタグ付きテキストを読み込みます 18

19 の特徴 (2/4) キーワード同義語不要語を指定できます 19

20 の特徴 (3/4) 品詞係り受け解析閾値英文の設定もできます 20

21 の特徴 (4/4) 6種類の出力ファイルを提供します 21

22 のインストール Windows版とMac OSX版 10.5以降があります形態素解析を実行するためのソフトウェア MeCabを別途インストールする必要があります構文解析を行うときは CaboCha もインストールします詳細はをご覧ください Mac OSX版はOS内蔵のMeCabを使いますので MeCabを別途インストールする必要はありませんから ttm.exe をダウンロードするだけで本体のインストールは終わりです 22

23 サンプルデータ test.csv 三浦麻子先生のゼミに所属する16名男女8名ずつの大学生が三浦先生ってどんな人という質問に対して自由に記述した文章からDLできます 23

24 test.csv の内容 24

25 分析条件次の条件でで test.csv を分析してみましょう - 出力する品詞は名詞形容詞 - オプションファイルは設定せず - 出現頻度/出現件数の最小値は 0 25

26 test_ttm1.csv 語のタグ別集計出現頻度 26

27 test_ttm2.csv 語のタグ別集計出現件数 27

28 test_ttm3.csv 語タグのクロス集計出現頻度 28

29 test_ttm4.csv 語タグのクロス集計出現件数 29

30 test_ttm5.csv 語語のクロス集計出現件数 30

31 test_ttm6.csv テキスト語のクロス集計出現件数 31

32 を使ってみます統計解析のフリーソフトウェアです形態素解析や構文解析を行うパッケージもありますいろんな人が便利な関数やパッケージを公開している (2009年6月17日現在 CRANには1849ものパッケージが登録されていますのでコレ一つで大抵のことはできますデータマイニングのパッケージもありますたくさんの書籍が出版されているのでマニュアルも充実しています 32

33 test_ttm5.csvを編集 2行目と2列目を削除 33

34 共起グラフの描画 34

36 キーワード 36

37 データマイニングのフリーソフトウェアです GUIなので操作も簡単代表的なデータマイニングのアルゴリズムはほとんど使えます最近はKNIMEやRapidMinerといったデータマイニングのフリーソフトウェアもあります 37

38 test_ttm6.csvを編集 2行目と1列目を削除 38

41 おまけテキストデータの収集ソフト TTC (TinyTweetCrawler) TWC (TinyWebCrawler) 41

42 まとめテキストマイニング前処理多変量解析 or データマイニングテキストマイニングは語や表現の揺れが大きいのでそれを如何に吸収するかが重要になります前処理さえ済めばあとはRやWekaといった各自の得意な土俵に持ち込んで勝負すればいいのですテキストマイニング恐るるに足らず 42

43 宣伝人文社会科学のためのテキストマイニング松村真宏三浦麻子著誠信書房 (2009) 2,520円目次第1章第2章第3章第4章第5章第6章第7章序 TTMと関連ソフトウェアのインストール TTMによるテキストデータの分析 Rを併用したテキストデータの統計解析 Wekaを併用したテキストデータのデータマイニングテキストマイニングの応用事例テキストマイニングの基盤技術 43

1. はじめに 2

点予測と能動学習を用いた効率的なコーパス構築形態素解析における実証実験京都大学情報学研究科 Graham NEUBIG 1 1. はじめに 2 形態素解析べた書きの文字列を意味のある単位に分割し様々な情報を付与品詞基本形読み発音等を推定農産物価格安定法を施行した価格 / 名詞 / 価格 / かかく / かかく安定 / 名詞 / 安定 / あんてい / あんてー法 / 接尾辞 /