_DeepLearning.key

Size: px

Start display at page:

Download "_DeepLearning.key"

さやなあくや
5 years ago
Views:

1 応用編 : C++ によるニューラル機械翻訳モデル東京大学鶴岡研 D2 江里里口瑛子

2 自己紹介江里里口瑛子 ( えりぐちあきこ ) 鶴岡研究室博士後期課程 2 年年お茶茶の水女女子大学東京大学 tokyo.ac.jp/~ eriguchi/ 研究興味 : ニューラル機械翻訳, トピックモデル

3 本日の内容応用編 : C++ によるニューラル機械翻訳モデルアテンションに基づくニューラル機械翻訳モデル句句構造へのアテンションに基づくニューラル機械翻訳モデル ( 最近の研究成果 ) Backpropagation

4 アテンションに基づくニューラル機械翻訳モデル

5 ニューラル翻訳以前の統計的機械翻訳対訳コーパス (x, y) から翻訳ルールを学習 y = argmax y p θ (y x) = argmax y p θ (x y)p(y) [Noisy- Channel Model (Shannon, 1948)] x: I saw a girl 翻訳モデル言語モデル y:

6 ニューラル翻訳 : Encoder- Decoder モデル 2 言語間の系列列変換として直接モデル化 2 つの RNN による可変長系列列ベクトル変換 (Cho et al., 2014; Sutskever et al., 2015) 対訳コーパスから翻訳モデル p θ (y x) を最大化一部言語対 ( 英仏英独 ) で SOTA (Luong et al., 2015a; Luong et al., 2015b) p(y 3 = x, y 1, y 2 ) R d the moon sets <eos>

7 アテンションに基づくニューラル機械翻訳モデル (ANMT) デコード時各エンコーダ h i への注目度度合い αj(i) を同時学習 s j s j+1 代表的な ANMT 論論文 αj Neural Machine Translation by Jointly Learning to Align and Translate (Bahdanau et al., 2015) h 1 h 2 the moon h Tx Effective Approaches to Attention- based Neural Machine Translation (Luong et al., 2015b) AttentionDeep Learning (NLP) Attention ( ()

8 Q: 2 つのモデルは何処が違う? context vector (Bahdanau et al., 2015) (Luong et al., 2015b)

9 ベースライン ANMT 実装 1 日目 : Backpropagation のための微分計算モデルの式商の微分各パラメータの勾配を計算

10 ベースライン ANMT 実装 2 日目 : 求めた微分計算に従い実装 (Forward path of attention) (Backward path of attention) ~ s j = W s s j + b; j (i) の計算 ; context j = i j (i)h(i); ~ s j += W c context j ; j (i);

11 実装のための参考資料料 1 日目 : Backpropagation のための微分計算検算 matrixcookbook ( hwolkowi/matrixcookbook.pdf) 2 日目 : 求めた微分計算に従い実装検算 Eigen ライブラリメモ ( kana/dl/pdf/pdf- eigennote.pdf) Gradient Checking (double でピッタリ合うと嬉しい!)

12 最近の成果 : 句句構造へのアテンションに基づくニューラル機械翻訳モデル Tree- to- Sequence Attentional Neural Machine Translation Akiko Eriguchi, Kazuma Hashimoto and Yoshimasa Tsuruoka ( ACL2016)

13 最近の NMT 研究動向 Chracter- based モデルマルチタスクモデル (Montréal, Stanford) (Stanford, Google) Agreement- based モデル (CMU, China) 大規模語彙対応 (Montréal) 構文構造に基づくモデル ( 本研究 ) 英日翻訳への適用

14 英日翻訳は何が難しいのか?

15 文は単語の系列列ベクトルではなく句句ベクトルから構成句句構造に従い左右の子隠れ層から親隠れ層を算出 (Tree- LSTM) (Tai et al., 2015) h Node = f (h Left, h Right, x=0) h Leaf = f (h Left =0, h Right =0, x)

16 提案手法 : 系列列 + 木エンコーダ the Tree- LSTM, a generalization of LSTMs vanilla LSTM と Tree- LSTM 間で (c, h) を共有 (Tai et al., 2015)

17 Tree- to- Sequence ANMT モデル

18 予備実験エンコーダでの逆順入力力は必ずしも最適でない提案手法 > 順方向入力力 > 逆順入力力

19 WATʼ 15 英日翻訳タスク RIBES スコアで state- of- the- art モデルと同等 RIBES: 語順も考慮 ( 英日間で人手判断との相関が高い ) (Isozaki et al., 2010) with CPU (multi- thread) Sequential ANMT with GPU Baseline (SMT)

20 翻訳例例 1

21 句句へのアテンション A of B B の? B のまでが出力力されているときデコーダはどのような単語を予測するか? その際のアテンションは? 入力力側の句句構造 : (A (of B)) 単語 Aだけでなく句句 (A (of B)) もまたデコーダ隠れ層との類似度度スコアが高くなるデコーダ隠れ層に of B の対応語句句入力力があるため

22 BLEU スコアにおけるとりこぼし同義語がわりと柔軟に翻訳されている課題 : 自動評価指標におけるとりこぼしを解消アクティブ活性バージョン版女女女女性 2 次に比例例二乗に比例例

23 翻訳例例 2 The characteristics of r5 version of this software, instruction manual, and design document were summarized. Reference: このソフトウェアの R5 バージョンの特徴, 利利用マニュアルと設計文書をまとめた Translation: このソフトウェアの R5 版の特性, 命令令マニュアル, 設計文書についてまとめた

24 翻訳例例 3 A case (85- year- old female) with dissecting aneurysm of the aorta of the *UNK* A type with a unique form (de *UNK* ii type) is experienced. Reference: 特異異な形態を示した StanfordA 型 (De Bakey II 型 ) の解離離性大動脈りゅうの 1 例例 ( 女女 85 歳 ) を経験した Translation: A 型 (de *UNK* II 型 ) の大動脈の解離離性動脈りゅうの 1 例例 (85 歳女女性 ) を経験した

25 翻訳例例 4 A photocurrent signal is produced using light of 420nm, which is directly proportional to the square of radiation intensity. Reference: 420nm の光により, 光強度度の 2 次に比例例した光電流流信号が発生する Translation: 光電流流信号は 420nm の光を用いて生成され, それは放射強度度の二乗に比例例する

26 おまけ : アテンションにおける曲者類似表現の繰り返しでアテンションループにはまる In addition, forms of 3 kinds of MCP which the FUJITSU VLSI developed: Flip- chip + wire bonding consolidation of 4 chip variety, package stack type, logic memory + memory consolidation were introduced. 解決策 : 学習不不足 / 生成候補を極端に増やす

27 モデルの実装 forward path 式の決定 ( モデル構築 ) backward path 式の計算 ( 微分 )

28 モデルの実装 forward path 式の決定 ( モデル構築 ) backward path 式の計算 ( 微分 )

29 モデルの実装勾配計算の流流れをイメージする今回 : 山に雨が降降って最後に川を流流れる

30 モデルの実装山に雨が降降って最後に川を流流れる Attention 関連の勾配計算ルートからリーフへ勾配を流流す系列列に沿って勾配を流流す

31 まとめ応用編 : C++ によるニューラル機械翻訳モデルアテンションに基づくニューラル機械翻訳モデル句句構造へのアテンションに基づくニューラル機械翻訳モデルコード : 感想モデルの構築も大事勾配計算 (for Backpropagation) はもっと大事 Backpropagation を理理解するとモデルも実装も理理解が爆発的に進む Backpropagation がすべて

_AAMT/Japio特許翻訳研究会.key

_AAMT/Japio特許翻訳研究会.key 2017/02/10 D2 ( ) 2015 3 2015 4 ~ 2016 8~11 : 2016 11 ( )!? 11 Google+ = = ( + ) (NMT) 1 ( ) Google (Wu et al., 2016) NMT news test 2013 BLEU score ( ) (: http://homepages.inf.ed.ac.uk/rsennric/amta2016.pdf)