自然 言語処理理分野における ディープラーニングの現状 渡邉陽太郎郎東北北 大学 大学院情報科学研究科 IBIS2013 企画セッション 2: ディープラーニング 2013/11/12

Transcription

1 自然 言語処理理分野における ディープラーニングの現状 渡邉陽太郎郎東北北 大学 大学院情報科学研究科 IBIS2013 企画セッション 2: ディープラーニング 2013/11/12

2 NLP におけるディープラーニング 言語モデルの構築 言語解析 ( 構造予測 ) RBM (Minh and Hinton 2007) Feed-forward Deep NN (Bengio et al., 2003, Arisoy et al., 2012) Recurrent NN (Mikolov et al., 2010) 語彙意味論論 分布意味論論 Feed-forward Deep NN (Collobert et al., 2008, 2011) (Huang et al., 2012) 分散表現の学習 (Dinu et al., 2013) (Wang and Manning 2013) (Mansur et al., 2013) (Yang et al., 2013) Recursive Neural Networks Autoencoders (Socher et al., 2011, 2012, 2013) 言語の構成性のモデル化 構成的意味論論 2

3 自然 言語処理理分野でディープラーニングを導 入するモチベーション 分散表現 (Distributed Representation) Ø 単語やフレーズを固定 長のベクトルで表現 Ø 単語やフレーズの持つ 言語的な性質を含み 類似する単語が類似したベクトルを持つよう学習 言語の構成性のモデル化 Ø 句句や 文の意味を それを構成する単語の合成により得る 表現学習 (Representation Learning) Ø 素性エンジニアリングを最 小限に マルチタスク学習 Ø あるタスクから得られるパラメータを別のタスクに利利 用 3

4 目次 言語処理理分野におけるディープラーニング Deep NNに基づく構造予測 Ø 言語解析のための統 一的フレームワーク 言語モデル 単語の分散表現 Deep NNを 用いた 言語の構成性のモデル化 言語処理理でディープアーキテクチャは必要か? まとめ 4

5 NLP の構造予測問題 The luxury auto maker last year sold 1,214 cars in the U.S. 品詞タ グ付け 基本句句 チャン キング 固有表 現抽出 DT NN NN NN JJ NN VBD CD NNS IN DT NNP B-NP I-NP I-NP E-NP B-NP E-NP B-VP B-NP E-NP S-PP B-NP E-NP B-ORG I-ORG I-ORG E-ORG O O O O O O B-LOC E-LOC 意味役 割付与 PRED - B-A1 E-A1 S-A B-A0 I-A0 I-A0 I-A0 B-AM-TMP - B-A1 I-A1 B-AM-LOC PRED 単語列列に対して 適切切な系列列を出 力力する Ø 条件付確率率率場 (Lafferty+ 2011), 構造化パーセプトロン等 Ø 各タスクごとに素性を 人 手で設計し モデルを構築することが 一般的 5

6 Deep NN での単語の表現 方法 : 分散表現 (Distributed Representation) 従来の表現 方法 f(x) タスクによっては 数百万 数千万次元 表現の汎化 -1:auto -1:NN +1:last +1:JJ The cat is walking in the bedroom A dog was running in the bedroom Ø 同 一のカテゴリの単語 (cat-dog, walking-running, the-a) を類似した単語とみなしたい 固定 長の低次元ベクトルとして単語を表現 Ø 次元数 :e.g. 50, 100, 300, 500, Ø 単語が持っている意味のある側 面が共通していれば ベクトルの要素の 一部が類似して欲しい 6

7 A Unified Architecture for NLP (Collobert et al., 2008, 2011) NLP タスクを統 一的に扱う多層 NN Ø 品詞タグ付け 基本句句のチャンキング 固有表現抽出 意味役割付与 言語モデル 限定された特徴量量 Ø 単語 先頭が 大 文字かどうかなど 表現学習 Ø 畳み込みで周辺 文脈を考慮 プーリングで必要な情報を選択

8 Deep NN を 用いたマルチタスク学習 Ø 単語の分散表現 その下の隠れ層のパラメータを複数タスク間で共有 v 一 方のタスクで得られた情報を別のタスクに 用いる 8

9 言語モデルの学習 (Collobert et al., 2008) luxury auto? last year Negative exampleをサンプリング ( 擬似負例例 ) Ø Contrastive Estimation (Smith and Eisner 2005) ランキングに基づく学習 Ø 損失関数 : X x2x X w2d max{0, 1 f (x)+f (w (x) )} f (x) f (x (w) ) hard tanh hard tanh luxury auto maker last year luxury auto player last year 別の単語に置換 9

10 言語モデル学習結果 各クエリ単語についてユークリッド距離離の 高い上位 10 件の単語を 見見ると 国 神 ゲーム機 色 イベント ( 打つ, 壊す, 削る ) 単位 類似した意味を持つ単語が近い場所に集まっている 10

11 マルチタスク学習結果 (Collobert and Weston 2008) 意味役割付与タスクで評価 マルチタスク学習でエラーレート低下 言語モデルとの組み合わせで最も良良い性能 限られた特徴量量で state-of-the-art な性能を達成 Ø 表現学習の結果 SENNA: 11

12 畳み込み +Max Pooling による効果 意味役割付与タスクでの振る舞い Ø Max Pooling Layer で選択された値に対応する単語を頻度度をカウント Ø 注 目している述語が異異なると 選ばれる値が異異なる 12

13 Deep NN を利利 用するメリット 素性抽出の時間を削減可能 Ø 従来 手法では 特徴ベクトルの作成には 特徴として利利 用する 文字列列を抽出 ID に変換する必要がある Ø Deep NN は単語情報 (+α) を 見見て対応するベクトルを lookup するだけ システムの使 用メモリと解析スピード 13

14 目次 言語処理理分野におけるディープラーニング Deep NNに基づく構造予測 言語モデル 単語の分散表現 Ø Feed-forward Deep NN, Recurrent NN Ø 言語モデルの 比較 学習語の分散表現に関する調査 Deep NNを 用いた 言語の構成性のモデル化 言語処理理でディープアーキテクチャは必要か? まとめ 14

15 言語モデル The luxury auto maker last year? 過去の履履歴から次の単語を予測 (word prediction) ˆP (w T 1 )= TY t=1 ˆP (w t w t 1 1 ) ˆP (w t w t 1 1 ) ˆP (w t w t 1 Ø Bigram model: P ( sold year ) Ø Trigram model: p ( sold last year ) t n+1 ) 15

16 Feed-forward NN Language Model (Bengio et al., 2003, Schwenk 2007, Arisoy et al., 2012) 各単語の分散表現 c =(c j n+1,c j n+2,...,c j 1 ) c j-n+1 c j-n+2 U V 過去何単語 見見るかは事前に決定する必要がある c j-1 d = tanh(uc) softmax: o = Vd p i = exp(o i ) P N r=1 exp(o r) = p(w j = i h j ) 16

17 Recurrent Neural Network Language Model (Mikolov et al., 2010) 各単語の word representation が保持された 行行列列 注 目している単語だけ 1 になっているベクトル s(t) =f(uw(t)+ws(t 1)) U W V y(t) =g(vs(t)) softmax を適 用して確率率率化 過去の履履歴 ( 文脈 ) を保持しているベクトル ( 直前の s の値 ) Feed- forward NN- based LM よりも広いコンテキストを 見見ることができる 17

18 Feed-forward (Deep) Neural Networks vs. Recurrent Neural Networks (Arisoy et al., 2012) Feed- forward NN は隠れ層を増やすことで性能向上 分散表現を 大きくするとパープレキシティ低下 Recurrent NN の 方がパフォーマンスが良良い 18

19 学習された分散表現に どの程度度の情報が含まれているのか? 学習された分散表現の表現能 力力調査 (Chen et al. 2013) 分散表現を 入 力力として SVM で分類 高いものでは 90% 近く またはそれを上回る性能を達成 学習された分散表現に単語の持つ性質が含まれている 19

20 分散表現を 用いて類推の問題を解く (Mikolov et al. 2013) 構 文に関する類推問題 形容詞 <good better> <rough -?> 名詞 <year years> <law -?> 動詞 <see sees> <return -?> 性別の関係 kings king + queen queens 20

21 目次 言語処理理分野におけるディープラーニング Deep NNに基づく構造予測 言語モデル 単語の分散表現 Deep NNを 用いた 言語の構成性のモデル化 Ø Recursive Neural Networksとその拡張 Ø 言語解析への応 用例例 言語処理理でディープアーキテクチャは必要か? まとめ 21

22 単語はベクトル表現を得られる ではフレーズは? x 2 France Australia Italy grey ? the country of my birth green blue scratch punch smash x 1 構成性原理理 (principle of compositionality) Ø 句句や 文の意味 ( ベクトル ) は それを構成する単語と合成 手続きにより決定される 句句や 文の分散表現はどう得たら良良いのか? Ø 何らかの合成関数を 用いて同 一のベクトル空間にマップする 22

23 Recursive Neural Networks (Goller and Küchler 1996; Socher+ 2011) 句句や 文の意味表現を構成的に得る 一 手法として提案 Ø 2 つのベクトルを組み合わせて 1 つの新たなベクトルを得る Ø 同 一の次元数を持つので 単語と句句 文が 比較可能に 合成 方法 Ø 子ベクトルをパラメータ 行行列列 W と活性化関数を 用いて合成 Ø 合成後のベクトルも 合成前のベクトルと同じ次元数 再帰的な適 用が可能 23

24 RNN (Recursive AE) 応 用 : 換 言認識識 (Socher+ 2011) Autoencoder の学習 : 新聞記事 ( 数万分程度度 ) を利利 用 評価 : MSR 言い換えコーパス 限られた特徴量量で state-ofthe-art な性能を達成 24

25 MV-RNN: Matrix-Vector RNN (Socher et al., 2012) Ø 単語や句句の表現ごとに振るまいを変えられるように RNN を拡張 ベクトルと 行行列列を 用いて単語や句句を表現 Ø ベクトル : どういう意味を持つか 行行列列 : 意味をどう変更更するか 25

26 SU-RNN: Syntactically Untied RNN (Socher et al., 2013) 確率率率的 文脈 自由 文法 (PCFG) とモデルと識識別モデルの組合せ 構 文カテゴリを考慮したパラメータの分割 Ø 構 文カテゴリ : 冠詞, 形容詞, 名詞, 動詞, etc. Ø カテゴリの違いによる振る舞いを捉える 構 文カテゴリを考慮しない RNN と 比較して 大幅な性能改善 26

27 RNTN: Recursive Neural Tensor Network (Socher et al., 2012) 同 一のテンソル V と 行行列列 W を合成時に使 用 Ø パラメータの指数的増加の防 止 テンソルによる合成 Ø 一つのテンソル層のスライスが 入 力力ベクトルに関するある特定の重み付けをした合成に対応 Ø 2 つの特徴ベクトル間の組み合わせを直接考慮 27

28 RNTN 応 用 : 句句 文の評価極性分類 (Socher et al., 2013) タスク Ø 単語と構 文 木の中間ノードに対して 極性付与 Ø 5 値 : positive++, positive, neutral, negative, negative++ RNN, MV-RNN と 比較して 高い性能 Ø 極性の反転には 入 力力ベクトルの様々な組み合わせを考慮して合成することが有効 28

29 目次 言語処理理分野におけるディープラーニング Deep NNに基づく構造予測 言語モデル 単語の分散表現 Deep NNを 用いた 言語の構成性のモデル化 言語処理理でディープアーキテクチャは必要か? まとめ 29

30 単語の分散表現を得る Deep NN よりも優れた Log-linear モデルの出現 Log-linear モデル : Skipgram (Mikolov et al., 2013) Ø 隠れ層無し Ø ポテンシャル関数は 入 力力と出 力力の単語ベクトルの内積 p(w O w I )= exp(v0 w O v wi ) P W w=1 exp(v0 w v wi ) 30

31 国 + 属性 = 対応する名詞 各クエリと類似度度の近いベクトル vec( ある国の 首都 ) vec( 国 ) = vec( 首都 ) 各国で類似したベクトルが得られている 単語の持つ意味がベクトルに反映されている 31

32 Deep NN のような 非線形モデルは 従来 手法と 比較してどの程度度優れているのか? 非線形アーキテクチャの NLP タスクにおける有効性を調査 (Wang and Manning 2013) Ø Deep NN (2 層 tanh なし tanh あり ) と Conditional Random Fields (CRFs) (Lafferty+ 2001) を 比較 CRF Linear NN Non-linear NN 32

33 CRF と Deep NN でのポテンシャル関数計算 The luxury auto maker last year T f(x) T tanh( T f(x)) f(x) :auto -1:NN +1:last +1:JJ 低次元連続値 ベクトル tanh 観測から得られる 高次元離離散ベクトル CRF luxury auto maker year last Deep NN 33

34 複数タスクでの CRF と Deep NN との性能 比較 (Wang and Manning 2013) 特徴ベクトルが 高次元離離散ベクトルの場合 CRF 多層 NN 固有表現抽出 dev 固有表現抽出 test 固有表現抽出 out- of- domain 1 固有表現抽出 out- of- domain 2 特徴ベクトルが低次元連続値ベクトルの場合 (Collobert の word representation を利利 用 ) CRF 多層 NN 従来 手法の性能に劣劣る 固有表現抽出 dev 固有表現抽出 test 固有表現抽出 out- of- domain 1 固有表現抽出 out- of- domain 2 34

35 複数タスクでの CRF と Deep NN との性能 比較 (Wang and Manning 2013) 高次元離離散ベクトルと低次元連続値ベクトルを 組み合わせた場合 CRF 高次元離離散 CRF 高次元離離散 + 低次元連続 多層 NN 低次元連続 多層 NN 低次元連続 + 高次元離離散 固有表現抽出 dev 固有表現抽出 test 固有表 現抽出 OOD1 固有表 現抽出 OOD2 双 方のタイプの特徴ベクトルを組み合わせることで性能向上 35

36 言語処理理におけるディープラーニング現状のまとめ Deep NN アーキテクチャ Ø 言語モデルは 一定の成果が出ている Ø 言語解析は従来 手法 (e.g. CRF) からの 大幅な改善はない 分散表現 (Distributed Representation) Ø 離離散ベクトルとの組み合わせは有効 Ø 意味的な類推は 面 白い結果が出つつある 表現学習 (Representation Learning) Ø 言語処理理タスクで必要な特徴は画像や 音声と 比較すると単純 それほど旨味は無さそう? v 1 単語 >>> 1 ピクセル 言語の構成性のモデル化 Ø Recursive NN は強 力力なフレームワーク Ø 深い 言語処理理への応 用の可能性を秘めている 36

37 言語処理理におけるディープラーニング今後の発展 良良い分散表現の学習 方法について Ø 効率率率的かつ優れた表現を得るフレームワークの調査 Ø 分散表現を 用いた意味関係の類推 フレーズレベルの類義性判定 Ø A prevents B ó A reduces the risk of B Ø 限定された品詞の組み合わせでは成果が出つつある (Tsubaki et al., 2013) マルチモーダル Ø 例例 : 画像とテキスト 37

38 まとめ 言語処理理分野におけるディープラーニング Ø 構造予測 : Multi-layer NN + Convolution Ø 言語モデル 分散表現 : 多層 NN, Recurrent NN Ø 言語の構成性の表現 : Recursive NN 現状 Ø 性能 面では従来の 言語解析技術と 比較して良良い性能が得られているとは 言い難い Ø 分散表現を 用いた意味レベルの演算 構成的な意味計算は 面 白い結果が出つつある 今後 Ø 効率率率的かつ良良質な分散表現の学習 方法 Ø フレーズレベルの意味関係の推論論 Ø マルチモーダル 38