PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

がんましどり
5 years ago
Views:

1 Chinese Zero Pronoun Resolution with Deep Neural Networks Chen Chen and Vincent Ng 紹介する人 : 萩行正嗣 ( ウェザーニューズ )

2 Anaphoric Zero Pronoun Resolution の用語 Zero pronoun (ZP): ゼロ代名詞省略された代名詞 ( ここでは ) 現実世界の何らかの Entity を指すものと定義 Anaphoric zero pronoun (AZP): 照応性のあるゼロ代名詞文中に指す先 ( 先行詞 ) のあるゼロ代名詞 Antecedent: 先行詞 ( ゼロ ) 代名詞が指す文中の表現 (mention) # referent といった場合表現でなく指す実体を意味することもある先行詞照応 (refer) ゼロ代名詞 [ 俄罗斯 ] 作为米洛舍夫维奇一贯的支持者,*pro* 曾经提出调停这场政治危机 ([Russia] is a consistent supporter of Milošević, *pro* has proposed to mediate the political crisis.) 実際の文では *pro* の部分は何もない

3 AZP Resolution のサブタスク AZP identification 文中から AZP を探す 2step になっている Extracting candidate ZPs (ZP detection): ルールベース (VP の前を集めてくる ) Anaphoricity determination: AZP かそれ以外かを SVM などで二値分類正解の構文木で F-score:0.601 システムで 0.361( 本論文 appendix より ) 以降の Chen & Ng の研究はこの手法を使っている [Chen & Ng 13] の時より数字がよくなっている AZP Resolution AZP の antecedent を先行詞から選ぶ ZP は情報を持たないので単複性別などの手掛りがなく難しい先行詞候補は ZP の 2 文以内にある NP 全て ( 英語の照応解析の場合先行詞候補の範囲を決めるなどのタスクもある )

4 先行研究 Supervised learning: [Zhao & Ng 07]: 照応解析の Mention pair モデルをゼロに適用 [Kong & Zhou 10]: Tree-kernel で ZP detection Anaphoricity determination AZP resolution の 3 タスク全てをやった [Chen & Ng 13]: [Zhao & Ng 07] の素性を増やした + 既に解いた AZP の情報 Unsupervised learning: [Chen & Ng 14b]: 照応解析を教師なしの EM で回した結果をゼロに適用 [Chen & Ng 15]: ゼロ照応解析だけの教師なし EM Gold AZP Gold parse tree System AZP Gold parse tree System AZP System parse tree 教師あり [Zhao & Ng 07] [Kong & Zhou 10] [Chen & Ng 13] 教師なし提案手法 [Chen & Ng 14b] [Chen & Ng 15] [Chen & Ng 16]

5 提案手法のポイント先行研究 Feature engineering( というか生成モデル ) の設計が大変素性の独立性がないと悪影響 [Chen & Ng 14b][Chen & Ng 15] では Lexical な素性を使っていない教師あり [Zhao & Ng 07][Chen & Ng 13] では Lexical feature が有効尤度を最大化してるけど F 値などの評価尺度と関連してるか分からない提案手法 Deep leaning AZP resolution の複雑な関係 (hidden) を表現できる Lexical な情報をいい感じに扱える Ranking-base の教師あり学習従来の教師あり AZP resolver は classification-based 素性ベースの手法 Lexical な素性 ( 教師なしで学習 ) と手作りの素性を両方使える

6 提案手法 ( ネットワーク構成 ) 類似度が高いものを先行詞として選ぶゼロ代名詞先行詞候補

7 学習事例の作成学習の効率化のため各 AZP に対して先行詞候補を 4 つに絞る 1 つは正しい先行詞残りの 3 つは先行詞候補のうち salience が高いもの Salience の計算は g m = 4, role m = SUBJECTIBE 2, role m = OBJECTIBE 1, role m = OTEHRS decay m = 0.5 dis_sentence(m,z)

8 Embedding Features Word2vec を固定で使う OntoNotes 5.0 で学習 100 次元 x e z : AZP の embedding 素性 2 つのベクトルを結合する AZP の直前の単語のベクトル AZP を項に持つ動詞のベクトル x e c i : 先行詞候補の embedding 素性 c i の主辞のベクトルをそのまま使う

9 Hand-Crafted Features AZP と先行詞候補の統語的関係を表現 x h z : AZP に関連する素性 Syntactic features: 13 種類例えば z が IP 節の最初の gap か? z の次の語が NP または VP 中の動詞か? Other features: 6 種類例えば z は文の最初の gap か? z の文法役割 (SUBJECT, OBJECT, OTHERS) x h c i : 先行詞候補に関連する素性 Syntactic features: 12 種類例えば c は副詞的名詞句時相名詞句代名詞または NE か? Distance features: 4 種類例えば c と z の間の文数 Other features: 2 種類例えば c はテキストの headline に含まれるか? 両方 50 次元なのは最後に 0 を埋めているだけ

10 Inference Salience score が高い 4 つの先行詞候補のうち P(c i z, Λ) ( cos 類似度 ) が高いものを先行詞として選ぶ選ばれた 4 つに正しい先行詞がある保証はない AZP と ( 正しい ) 先行詞が離れ過ぎていることがあるゼロで出現が続く場合など [Chen and Ng 13] AZP resolution は文頭から順番に実行 AZP の部分 (gap) に選択された先行詞を埋めて以降の解析ではそこに先行詞があるものとして扱うもとの先行詞より近い位置にあるとみなせる

11 実験設定 CoNLL OntoNotes 5.0: 6 ジャンルのテキスト Broadcast News, Newswire, Broadcast Conversation, Telephone Conversation, Web Blog, Magazine Hyperparameter: Training の 20% を使って調整 Baseline: [Chen & Ng 15] ( 教師なし AZP resolution) 3 つの設定で比較正解のAZP + 正解の構文木システムのAZP+ 正解の構文木システムのAZP+ システムの構文木

12 実験結果

13 実験結果分析 [ 陈水扁 ] 在登机前发表简短谈话时表示,[ 台湾 ] 要站起来走出去... *pro* 也希望此行能把国际友谊带回来 Baseline が [ 台湾 ] を選択した理由 [ 台湾 ] が Salience が最も高く AZP にも近い提案手法が [ 陈水扁 ] を選択した理由学習データ中に人名が希望の項の AZP の先行詞となった例が多数 [ 陈水扁 ] と上記の人名の embedding が似ていた学習データ中には希望の項の AZP の先行詞としては [ 陈水扁 ] は出ていなかった [ 我 ] 前一会精神上太紧张...*pro* 现在比较平静了 [I] was too nervous a while ago.... *pro* am now calmer. 提案手法では lexical な情報は AZP の前の単語と AZP を項に取る単語先行詞候補の単語の embedding のみ節の sentence embedding などが有効かもしれない Baseline 提案手法

14 まとめと感想まとめ Deep learning ベースの手法で中国語のゼロ照応解析に取り組んだ Lexical な素性 (embedding) と Syntactic な素性を組み合わせた State-of-the-art を上回った (F 値 ) 感想 Hand-crafted feature だけでも従来の機械学習ベースを上回ってる! DL 部分に Syntactic な構造が入ればもっと良くなりそう Embedding は先行詞候補側も用言の情報を使うとよさそうゼロ代名詞の前の単語の Embedding は効いているのだろうか Training と Inference でモデルが違う ( 先に解いたゼロ代名詞の扱い ) のが気になる先行詞候補の Salience による絞り込みがかなり heuristic なのでその精度が知りたい AZP の判定が問題の対象外になっているが分けて解くのがいいのか?

(NICT) ( ) ( ) (NEC) ( )

(NICT) ( ) ( ) (NEC) ( ) (NICT) ( ) () (NEC) ( ) ! Paraphrase (Paraphrasing) l l ! l h"p://paraphrasing.org/bib- cat.html l 12 50 l 640 (2014 6)! l l l l l l ! [ ] 2! [ ] ( )! :............ 1 2 1 = 2 = ! [ ]! [ ]! :............