NLP プログラミング勉強会 5 HMM による品詞推定自然言語処理プログラミング勉強会 5 隠れマルコフモデルによる品詞推定 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1

Size: px

Start display at page:

Download "NLP プログラミング勉強会 5 HMM による品詞推定自然言語処理プログラミング勉強会 5 隠れマルコフモデルによる品詞推定 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1"

たかとしみつだ
4 years ago
Views:

1 自然言語処理プログラミング勉強会 5 隠れマルコフモデルによる品詞推定 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1

2 品詞推定文 X が与えられた時の品詞列 Y を予測する Natural language processing ( NLP ) is a field of computer science JJ -LRB- -RRB- VBZ DT IN 予測をどうやって行うか 2

3 タグ付けの確率モデル文が与えられた場合最も確率の高いタグ列を計算 Natural language processing ( NLP ) is a field of computer science JJ LRB RRB VBZ DT IN argmax P (Y X ) Y これをどうやってモデル化 3

4 系列に対する生成モデルベイズ則で確率を分解 P ( X Y ) P(Y ) argmax P (Y X )=argmax P (X ) Y Y =argmax P ( X Y ) P(Y ) Y 前の品詞と次の品詞の関係を考慮単語と品詞の関係を考慮 natural はたぶん形容詞 (JJ) 名詞 () が限定詞 (DET) に続く 4

5 隠れマルコフモデル (HMM) 5

6 品詞推定のための (HMM) 品詞品詞の遷移確率 2-gram モデルとほぼ一緒品詞単語の生成確率 I+ 1 P (Y ) i=1 PT (y i y i 1 ) I P (X Y ) 1 P E ( x i y i ) PT(JJ <s>) * PT( JJ) * PT( ) <s> JJ LRB natural language processing ( PE(natural JJ) * PE(language ) * PE(processing ) RRB... nlp )... </s> 6

7 タグ付きコーパスからの HMM 学習コーパス中の頻度を数え上げ natural language processing ( nlp ) c(jj natural)++ <s> c(<s> JJ)++ c( language)++ JJ c(jj )++ is LRB RRB VB </s> 文脈の頻度で割ることで確率を求める PT(LRB ) = c( LRB)/c() = 1/3 PE(language ) = c( language)/c() = 1/3 7

8 学習アルゴリズム # 入力データ形式は natural_jj language_ make a map emit, transition, context for each line in file previous = <s> # 文頭記号 context[previous]++ split line into wordtags with for each wordtag in wordtags split wordtag into word, tag with _ transition[previous+ +tag]++ # 遷移を数え上げる context[tag]++ # 文脈を数え上げる emit[tag+ +word]++ # 生成を数え上げる previous = tag transition[previous+ </s> ]++ # 遷移確率を出力 for each key, value in transition split key into previous, word with print T, key, value/context[previous] # 同じく生成確率を出力 T ではなく E を付与 8

9 平滑化 2-gram モデルで平滑化を用いた PLM(wi wi-1) = λ PML(wi wi-1) + (1-λ) PLM(wi) HMM 遷移確率タグの数は少ないので平滑化は不要 PT(yi yi-1) = PML(yi yi-1) HMM 生成確率未知語を扱うために平滑化が必要 PE(xi yi) = λ PML(xi yi) + (1-λ) 1/N 9

10 品詞推定の探索 10

11 マルコフモデルを使った品詞推定やはらビタビアルゴリズムを利用重要だと言っただろう品詞推定の探索グラフの形は 11

12 HMM 品詞推定のグラフ品詞推定の探索グラフの形 natural 0:<S> language processing ( nlp ) 1: 2: 3: 4: 5: 6: 1:JJ 2:JJ 3:JJ 4:JJ 5:JJ 6:JJ 1:VB 2:VB 3:VB 4:VB 5:VB 6:VB 1:LRB 2:LRB 3:LRB 4:LRB 5:LRB 6:LRB 1:RRB 2:RRB 3:RRB 4:RRB 5:RRB 6:RRB 12

13 HMM 品詞推定のグラフ各パスは品詞列を表す natural 0:<S> <s> language processing ( nlp ) 1: 2: 3: 4: 5: 6: 1:JJ 2:JJ 3:JJ 4:JJ 5:JJ 6:JJ 1:VB 2:VB 3:VB 4:VB 5:VB 6:VB 1:LRB 2:LRB 3:LRB 4:LRB 5:LRB 6:LRB 1:RRB 2:RRB 3:RRB 4:RRB 5:RRB 6:RRB JJ LRB RRB 13

14 復習ビタビアルゴリズムのステップ前向きステップ各ノードへたどる確率の計算負の対数尤度がもっとも低くなるパス後ろ向きステップパスの復元単語分割とほとんど同じ 14

15 前向きステップ文頭文頭記号 <S> から１単語目への遷移と１単語目の生成の確率 natural 0:<S> 1: best_score[ 1 ] = -log PT( <S>) + -log PE(natural ) 1:JJ best_score[ 1 JJ ] = -log PT(JJ <S>) + -log PE(natural JJ) 1:VB best_score[ 1 VB ] = -log PT(VB <S>) + -log PE(natural VB) 1:LRB best_score[ 1 LRB ] = -log PT(LRB <S>) + -log PE(natural LRB) 1:RRB best_score[ 1 RRB ] = -log PT(RRB <S>) + -log PE(natural RRB) 15

16 前向きステップ中間前の品詞を全部比べてこれまでのパス遷移生成を全て考慮した最短パスを利用 natural language 1: 2: 1:JJ 2:JJ 1:VB 2:VB 1:LRB 2:LRB 1:RRB 2:RRB best_score[ 2 ] = min( best_score[ 1 ] + -log PT( ) + -log PE(language ), best_score[ 1 JJ ] + -log PT( JJ) + -log PE(language ), best_score[ 1 VB ] + -log PT( VB) + -log PE(language ), best_score[ 1 LRB ] + -log PT( LRB) + -log PE(language ), best_score[ 1 RRB ] + -log PT( RRB) + -log PE(language ),... ) best_score[ 2 JJ ] = min( best_score[ 1 ] + -log PT(JJ ) + -log PE(language JJ), best_score[ 1 JJ ] + -log PT(JJ JJ) + -log PE(language JJ), best_score[ 1 VB ] + -log PT(JJ VB) + -log PE(language JJ), 16...

17 前向きステップ文末文末記号への遷移を考慮して終わり science I: I:JJ I:VB I:LRB I+1:</S> best_score[ I+1 </S> ] = min( best_score[ I ] + -log PT(</S> ), best_score[ I JJ ] + -log PT(</S> JJ), best_score[ I VB ] + -log PT(</S> VB), best_score[ I LRB ] + -log PT(</S> LRB), best_score[ I ] + -log PT(</S> RRB),... ) I:RRB 17

18 実装モデル読み込み make a map for transition, emission, possible_tags for each line in model_file split line into type, context, word, prob possible_tags[context] = 1 # 可能なタグとして保存 if type = T transition[ context word ] = prob else emission[ context word ] = prob 18

19 実装前向きステップ split line into words I = length(words) make maps best_score, best_edge best_score[ 0 <s> ] = 0 # <s> から始まる best_edge[ 0 <s> ] = NULL for i in 0 I-1: for each prev in keys of possible_tags for each next in keys of possible_tags if best_score[ i prev ] and transition[ prev next ] exist score = best_score[ i prev ] + -log PT(next prev) + -log PE(word[i] next) if best_score[ i+1 next ] is new or < score best_score[ i+1 next ] = score best_edge[ i+1 next ] = i prev # 最後 </s> に対して同じ操作を行う 19

20 実装後ろ向きステップ tags = [ ] next_edge = best_edge[ I+1 </s> ] while next_edge!= 0 <s> # このエッジの品詞を出力に追加 split next_edge into position, tag append tag to tags next_edge = best_edge[ next_edge ] tags.reverse() join tags into a string and print 20

21 演習問題 21

22 演習問題 train-hmm と test-hmm を実装テスト入力 test/05-{train,test}-input.txt 正解 test/05-{train,test}-answer.txt data/wiki-en-train.norm_pos を使ってモデルを学習し data/wiki-en-test.norm に対して品詞推定を行う品詞推定の性能を評価して報告 script/gradepos.pl data/wiki-en-test.pos my_answer.pos 上級編精度を向上させる方法を考える 22

NLP プログラミング勉強会 4 単語分割自然言語処理プログラミング勉強会 4 - 単語分割 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1

NLP プログラミング勉強会 4 単語分割自然言語処理プログラミング勉強会 4 - 単語分割 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1 自然言語処理プログラミング勉強会 4 - 単語分割 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1 単語分割とは日本語や中国語タイ語などは英語と違って単語の間に空白を使わない単語分割を行う単語分割は単語の間に明示的な区切りを入れる単語分割を行う 2 必要なプログラミング技術 : 部分文字列文字列の一部からなる部分文字列を作る方法 $./my-program.py

NLP プログラミング勉強会 5 HMM による品詞推定 自然言語処理プログラミング勉強会 5 隠れマルコフモデルによる品詞推定 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1

NLP プログラミング勉強会 5 HMM による品詞推定自然言語処理プログラミング勉強会 5 隠れマルコフモデルによる品詞推定 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 1