(TokyoCL2016semiseg.pptx)

Size: px

Start display at page:

Download "(TokyoCL2016semiseg.pptx)"

みいかうづき
5 years ago
Views:

1 条件付確率場とベイズ階層言語モデルの統合による半教師あり形態素解析持橋大地統計数理研究所藤井遼道本龍博報堂 ( 株 ) 研究開発局 daichi@ism.ac.jp TokyoCL 第 5 回勉強会 ( 水 )

2 不自然言語の解析! 従来の新聞記事コーパスでは扱えない言語データが増えている ( 口語, 新語, 新表現,...) Twitter Blog 全部人手で辞書登録...?

3 話し言葉の解析 CSJ 話し言葉コーパスの一部何て言うんでしょうねその当時はそう思われていたっていうことを全部ドラマにしちゃうっていうところそういうところとかが面白くて凄く見てたんですけど最初の方は凄くまともで緋色の研究とか四人の署名とかそういうのから始まってたんですけどそれはもうとにかく原作に沿っててこういうこれこれホームズってこれっていうのが見たくて私はずっと見てます見てましたで凄くこれは何か NHK が放送されてる時から...! 多数の口語表現 ( そいで, ってさぁ, ちゃって...) 無数のバリエーションが存在! ロボティクスでの音声認識や音声言語科学のために長期的にきわめて重要

4 教師なし形態素解析 ( 持橋 +, ACL2009)! 生の文字列だけから, 階層ベイズで単語を学習モデル : NPYLM (Nested Pitman-Yor LM) 1 神戸では異人館街の二十棟が破損した 2 神戸では異人館街の二十棟が破損した 10 神戸では異人館街の二十棟が破損した 50 神戸では異人館街の二十棟が破損した 100 神戸では異人館街の二十棟が破損した 200 神戸では異人館街の二十棟が破損した

5 NPYLM: 文字 - 単語 HPYLM の階層化 PY は PY 会 PY PY PY が彼が教会が単語 HPYLM! HPYLM-HPYLM の埋め込み言語モデルつまり階層 Markov モデル臨教国時文字 HPYLM! 文字 HPYLM のは, 文字数分の 1 (euc なら 1/6879)

6 NPYLM as a Semi-Markov model BOS この東京都の EOS の都の京都の! Semi-Markov HMM (Murphy 02, Ostendorf 96) の教師なし学習 +MCMC 法! 状態遷移確率 (n グラム ) を超精密にスムージング

7 教師なし! 半教師あり学習 " 教師なし学習は低頻度語, 人間の基準に弱い阪急桂駅, 首都グロズヌイ歌う! 歌う, 静かな! 静かな " 生成と識別モデルの結合確率モデル : JESS-CM 識別モデル生成モデル重みも学習 joint probability model embedding style semisupervised conditional model ( 鈴木 + ACL08/09) 現在世界最高性能の半教師あり学習 CRF/HMM, CRF/Naive Bayes など

8 JESS-CM について! 識別モデルと生成モデルの積 : 両方の制約を満たすものに高い確率! 対数線形モデルの形で書けるただし

9 JESS-CM の学習アルゴリズム! EM アルゴリズムを固定しを最適化 CRF の場合 L-BFGS で勾配法を固定しを最適化 HMM の場合 Forward-Backward NPYLM の場合 Forward filtering-backward sampling (Forward-Backward からのサンプリング )

10 JESS-CM on CRF/HMM ( 鈴木 +, ACL2008) ^ she has a cat $ CRF + HMM! 同じグラフィカルモデル上で, パスのコストを重みつきで足し合わせる "CRF と HMM を交互に学習 ( 教え合う )! NPYLM の場合は? (Semi-Markov)

11 NPYLM as a Semi-Markov model BOS この東京都の EOS の都の京都の! Semi-Markov HMM (Murphy 02, Ostendorf 96) の教師なし学習 +MCMC 法! 状態遷移確率 (n グラム ) を超精密にスムージング

12 Semi-Markov CRF (NIPS 2004) を適用? ^ そのインターナショナルホテル!! Semi-Markov CRF は数語のチャンク ( 例 : NE) をまとめるもの! 膨大なメモリ (1GB"20GB)! ( 教師あり学習の ) 精度 : 高々 95% 単語のみ文字レベルの情報なし

13 Markov CRF!"Semi-Markov LM の学習 ^ この東京都の $ CRF の NPYLM 都の京都の # どうやって 2 つの違うモデルを統合するか?

14 CRF!NPYLM " Andrew+ (EMNLP 2006) で既出易しい CRF!semi-Markov CRF の変換 " NPYLM では前向き確率を計算 t までの文字列のうち最後の k 文字が単語の確率... CRF から対応するポテンシャルが求まるこれをと書く 1 この東京都の 1= 単語の先頭, 0= 単語の継続 0 t-k t

15 CRF!NPYLM (2) " 次式で前向き確率を計算 ( バイグラムの場合 ) semi-markov モデル上で単語列に対応するポテンシャルがちょうど 1 回ずつ CRF から取り込まれる. " 後向きサンプリングはこれまでと同様

16 NPYLM!CRF (0) " CRF の学習に必要な Gradient の計算これから " 教師データのラベルペア (y t,y t-1 ) に対する周辺確率が必要

17 NPYLM!CRF (1) Markov Semi-Markov 1 0 " Semi-Markov のノードは Markov では V 字型のパスに対応している p( 単語 )= " z t =1: 単語の先頭 z t =0: 単語の内部

18 NPYLM!CRF (2) " CRF の計算に必要なもの : Markov モデルの各パスの重みたとえば " どうやって求める?! 周辺化すればよい!

19 NPYLM!CRF (3) " パス確率の周辺化 = ノード確率の和 CRF のパスの重み =NPYLM のノードの周辺確率の和

20 NPYLM!CRF (4) Markov Semi-Markov 1 0 " Semi-Markov (NPYLM) のノードの周辺確率 : Forward-Backward で計算

21 NPYLM!CRF (5) Markov Semi-Markov 1 0 " に対する勾配は Semi-Markov 側で直接求める

22 モデル統合のまとめ! NPYLM の学習は CRF からの重みを入れて普通に Forward filtering-backward sampling! CRF の学習は勾配法を使うが gradient の計算に必要な Markov モデルの各パスの周辺確率は実は Semi-Markov モデル上で計算結局 Semi-Markov モデル上でモデル統合していることに相当する

23 実装! 確率的最適化 ADF で学習 (Xu+ 2014)! {B,I} の 2 状態より {B,E,I} の 3 状態が性能がよい {B,E,I} の可能なすべての遷移について NPYLM からの周辺化確率を計算! 計算時間 : 1 日 ~1 週間くらい ( データ量に線形 ) 共同研究で計算可能な程度に高速化された負の二項分布の GLM( 内海 & 持橋, ACL2015) を使って各文字位置で可能な最大単語長を予測

24 実験! 中国語 : SIGHAN Bakeoff 2005 MSR ( 新聞記事 )! 日本語 : 日本語 Twitter しょこたんブログ! 他にもやっていますが未発表なので省略

25 実験 (2)! 京大コーパス + 日本語 Twitter 10 万文

26 実験 (3)! 京大コーパス + しょこたんブログ (4 万文 )

27 しょこたんブログの単語! 頻度 2 以上の単語をランダムに抽出!"""" 2 #$% 2 &'()*+, 2 -./ /3/ / / 12 :;< 2 =,>: 3?+, CDEF 2 GH 47 IJ 17 0K6L082 3 M," 11 N1OP 3 II+I 7 QRS 4 T 12 UU 2 VWX 29 Y 31 Z[[ 55 \]^F 85 _` 3 apbc 2 defgn 3 hi 34 lm= 2 nr> 6 op" 26 q" 10 a" 85 LaQua 7,r,r 7 0k6s.-6tu kvw777 2 x>y+p 3 =># 3 zk{0 }/ 2 ~ 3 3 % 6 ;Wƒ : 2

28 SIGHAN Bakeoff 2005! 中国語単語分割の標準データセット新聞記事のため, 半教師あり学習の目的とはやや異なるが...! データ : MSR Asia 87k+ Chinese Gigaword 500k モデル CRF (2 ラベル ) CRF (3 ラベル ) NPYL M Sun [ADF+CRF] NPYCR F (2 ラベル ) NPYCRF (3 ラベル ) Token F 値 OOV 再現率 N/A IV 再現率 N/A 改善しているが, 大きな改善にはもっとデータ量が必要 ( 計算は計画中 )

29 中国語の分割例! NPYLM と CRF のいい所取りができた例 / できなかった例人名や日付をどうするかは人の基準に依存するテストデータの基準も一様でない (100% は出ない )

30 まとめ! CRF と教師なし形態素解析を組み合わせた半教師あり形態素解析 JESS-CM 法の枠組で教え合う Semi-Markov( 単語 )<->Markov( 文字 ) の情報相互変換! 人手の基準を守りつつ未知語を完全に自動的に認識! 研究課題 : 品詞はどうするか? ACL2015 の話で原理的には可能だが計算量がかなり多い

条件付確率場とベイズ階層言語モデルの統合による半教師あり形態素解析

条件付確率場とベイズ階層言語モデルの統合による半教師あり形態素解析 * NTT daichi@cslab.kecl.ntt.co.jp 2011 2011-3-10(Fri), PDF : http://chasen.org/~daiti-m/paper/nlp2011semiseg.pdf, (,,,...) Twitter Blog... (Brain damaged!) CSJ... (,,...) ( +, ACL2009), : NPYLM (Nested