概要単語の分散表現に基づく統計的機械翻訳の素性を提案既存手法の FFNNLM に CNN と Gate を追加 dependency- to- string デコーダにおいて既存手法を上回る翻訳精度を達成

Size: px

Start display at page:

Download "概要単語の分散表現に基づく統計的機械翻訳の素性を提案既存手法の FFNNLM に CNN と Gate を追加 dependency- to- string デコーダにおいて既存手法を上回る翻訳精度を達成"

りえかみこ
6 years ago
Views:

1 Encoding Source Language with Convolu5onal Neural Network for Machine Transla5on Fandong Meng, Zhengdong Lu, Mingxuan Wang, Hang Li, Wenbin Jiang, Qun Liu, ACL- IJCNLP 2015 すずかけ読み会奥村高村研究室博士二年上垣外英剛

2 概要単語の分散表現に基づく統計的機械翻訳の素性を提案既存手法の FFNNLM に CNN と Gate を追加 dependency- to- string デコーダにおいて既存手法を上回る翻訳精度を達成

3 SMT のデコード目的言語を一方向の順序で生成日本語を英語に翻訳する事は難しい Japanese is difficult to translate Into English.

4 デコードの問題点 NP 困難問題全ての候補列挙出来ない近似探索枝刈りのためのスコアが必要スコア翻訳途中の情報で計算出来る事が望ましい

5 対数線形モデルスコアは対数線形モデルの形で表現される事が多い翻訳が導出される確率 P (d) / Y i i(d) i 素性素性の重み今回はディープラーニングに基づいた素性を提案する話

6 NEURAL NETWORK に基づく素性

7 先行研究 NNJM(Delvin et al., 2014) 目的言語の単語の予測確率を素性に使用対象単語目的言語の単語系列原言語の対応単語の周辺語 ctor for対応する単語は単語アライメントに基づく target word the, using a 3-word target history and a 5-w 5). Here, the inherits its affiliation from money because th 周辺単語は固定幅のWindowで決定 he number in each box denotes the index of the word in the c nsistent across samples, but the absolute ordering does not affec 単語アライメント h, which we define as 20,000 likelihood as: elihood of aforvalidation set isusing a 3-word target history and a 5-word soure Context vector target word the,

8 Feed Forward Neural Network Language Model (Bengio et al., 2003) 目的単語の予測確率は FFNNLM で求める i-th output = P(w t = i context) softmax most computation here tanh C(w t n+1 ) C(w t 2 ) C(w t 1 ) Table look up in C Matrix C shared parameters across words SoXmax の計算が遅い Delvin et al., 2014 では近似により高速化 w t n+1 w t 2 index for index for index for w t 1

9 今回の手法既存手法にCNNとGateを追加固定幅のContext Windowを使用しない手法は二種類 tagcnn incnn

10 tagcnn 先行研究と同じく単語アライメントを使用 CNN Encoder p(e n 1(S, {a(e n )}), {e} n 1 n k ) (e ( ({e} )) {e} 対象単語原言語の文生成された目的言語対象単語に対応する原言語の単語先行研究との違い対応する原言語の単語をウィンドウの決定ではなく tag 付けして特別な入力として扱う

11 incnn 単語アライメントを使用しない { } { } p(e n 2(S, h({e} n 1 1 n k )), {e}n n k ) { } 対象単語原言語の文生成された目的言語 CNN Encoder 生成された目的言語の Embedding

12 CNN Encoder Convolu5on Layer と Gate により構成 Convolu5on Ga5ng Ga5ng Convolu5on Zero padding 入力単語は 40 単語で固定

13 CNN Encoder Convolu5on と Gate により構成 Convolu5on Ga5ng Ga5ng Convolu5on Zero padding 入力単語は 40 単語で固定

14 Layer 1 Window size 3 Layer 0 から入力されたベクトルを畳み込む Layer 0 は word embedding を行うシグモイド関数を活性化関数として使用以降の畳み込み層も同様

15 CNN Encoder Convolu5on と Gate により構成 Convolu5on Ga5ng Ga5ng Convolu5on Zero padding 入力単語は 40 単語で固定

16 Layer 2 Window size 2 の Gate Layer 1 から入力されたベクトルの加重和を出力 (3, 4, 5, 6) (3, 4, 5) (4, 5, 6)

17 CNN Encoder Convolu5on と Gate により構成 Convolu5on Ga5ng Ga5ng Convolu5on Zero padding 入力単語は 40 単語で固定

18 Layer- 3 Layer 2 の出力に対して畳み込みを行う Window size は 3

19 Convolu5on & ga5ng CNN Encoder の構成図 Convolu5on Ga5ng Ga5ng Convolu5on Zero padding 入力単語は 40 単語で固定

20 Layer- 4 Layer- 3 から出力された全てのノードのベクトルの重み付き和を出力あるノードからの入力 Layer- 4 の出力!(z (3) i )=e w> g z (3) i / X j 4 is given Pi!(z(3) )z (3) i i e w> g z (3) j,

21 tagcnn 対象単語との関係は 1,0 のビットで表現 Layer 1 Layer 0 x (AFF) i =[x > i 1] >, x (NON-AFF) j =[x > j 0] >. 関係あり関係なし

22 incnn 目的言語のembeddingはlayer1の全ノードに入力 Layer 1 目的言語の Embedding ẑ t =[h({e} n 1 n k ), x> t, x > t+1, x > t+2] >. h({e} n 1 n k ), Through lay- は活性化関数にシグモイドを用いたDNNで学習

23 実験 Dependency- to- stringのデコーダを使用言語対は中国語 - 英語訓練データ LDC 22 万文対開発データ NIST MT 文対テストデータ MT 文対 MT 文対

24 先行研究との比較先行研究と比較し翻訳精度が向上 Systems MT04 MT05 Average Moses Dep2Str BBN-JM (Devlin et al., 2014) CNN (generic) 36.12* 33.07* tagcnn 36.33* 33.37* incnn 36.92* 33.72* tagcnn + incnn 36.94* 34.20* 35.57

25 tagcnn への係り受け情報の追加単語が Head かの情報を追加単語アライメント組み合わせることで精度が向上 Systems MT04 MT05 Average Dep2str tagcnn tagcnn dep

26 Max- pooling との比較 Layer- 2 の Gate を max- pooling で置き換えた場合と比較 Gate を用いた方が精度が高い Systems MT04 MT05 Average Dep2Str incnn incnn-2-pooling incnn-4-pooling incnn-8-pooling

27 まとめ CNN と Gate を用いて NNJM を改良提案手法は中国語 - 英語翻訳に dependency- to- string デコーダにおいて翻訳精度が向上単語アライメントを用いなくとも高い精度で翻訳が可能な事を示した

28 疑問 Delvin et al., 2014 ではデコードのために素性を高速化遅いと考えられている NNLM をデコーダの素性として動かした事が大きな貢献今回の手法は計算時間には触れていない

Mimehand II[1] [2] 1 Suzuki [3] [3] [4] (1) (2) 1 [5] (3) 50 (4) 指文字, 3% (25 個 ) 漢字手話 + 指文字, 10% (80 個 ) 漢字手話, 43% (357 個 ) 地名漢字手話 + 指文字, 21

Mimehand II[1] [2] 1 Suzuki [3] [3] [4] (1) (2) 1 [5] (3) 50 (4) 指文字, 3% (25 個 ) 漢字手話 + 指文字, 10% (80 個 ) 漢字手話, 43% (357 個 ) 地名漢字手話 + 指文字, 21 1 1 1 1 1 1 1 2 transliteration Machine translation of proper names from Japanese to Japanese Sign Language Taro Miyazaki 1 Naoto Kato 1 Hiroyuki Kaneko 1 Seiki Inoue 1 Shuichi Umeda 1 Toshihiro Shimizu

概要 単語の分散表現に基づく統計的機械翻訳の素性を提案 既存手法の FFNNLM に CNN と Gate を追加 dependency- to- string デコーダにおいて既存手法を上回る翻訳精度を達成

概要単語の分散表現に基づく統計的機械翻訳の素性を提案既存手法の FFNNLM に CNN と Gate を追加 dependency- to- string デコーダにおいて既存手法を上回る翻訳精度を達成