5 Basis Expansions and Regularization 5.3 Filtering and Feature Extraction 5.4 Smoothing Splines Degrees of Freedom and Smoother Matrices

Size: px

Start display at page:

Download "5 Basis Expansions and Regularization 5.3 Filtering and Feature Extraction 5.4 Smoothing Splines Degrees of Freedom and Smoother Matrices"

たつぞうかいじ
4 years ago
Views:

1 Learnng to Generate wth Memory Chongxuan L, Jun Zhu, Bo Zhang 2016/07/16 ICML 読み会奈良先端科学技術大学院大学中村研 D2 品川政太朗 1/24

2 はじめに何の論文? Neural Turng Machne や Memory Networks で用いられている外部メモリを深層生成モデル (DGMs) に導入どこがすごいか抽象度の低い特徴は階層が上がるにつれて落ちる情報だが外部メモリにそれらの情報を保持しておくことによって精度を向上どう評価したか密度推定データ生成欠損値代入タスクで性能の向上を示した論文を読んだ動機本来落ちるはずの情報を外部メモリによって補償する発想が面白く応用範囲も広そうだった 2/24

3 深層生成モデル (DGMs) の問題点高い階層の層にいくほど情報が落ちる ( 抽象度の高い特徴 = 落ちなかった重要な情報 ) 逆にこの抽象度の高い特徴からデータの生成を行う場合, 落ちた情報はどう補償されるのか適当な情報によって補償される欠落する情報を外部メモリに保持しておくことで補償される情報をコントロールしたい 3/24

4 外部メモリを導入している先行研究 End-To-End Memory Networks [Sukhbaatar, S, 2015] 回答用の知識 Embed matrx 知識データベース c 1 c c n C x 1 x 2 x n 検索用の知識 p = softmax m u o = p c a = softmax W o + u m 1 m m n A クエリ u B q 記憶質問回答の一連のプロセスを end-to-end で学習させることができる 4/24

5 あとで出てくる提案モデル ( 単層部分の抜き出し ) クエリ q u h g をもとに知識に検索をかけ, 読みだした知識と組み合わせて次の層の変数 h out を出力 o 事前に用意されてる知識がない? 5/24

一般化した提案生成モデルの挙動層ごとの潜在変数を上から順に z L, z L 1,, z 0 ( ただし z 0 は生成データ )

μ l = g l z l+1 ; M l I h l l = zl+1 の中身 I h l 1 l I = φ l (I hl ; M

6 一般化した提案生成モデルの挙動層ごとの潜在変数を上から順に z L, z L 1,, z 0 ( ただし z 0 は生成データ ) とすると z L ~N 0, I z L 1 ~P L 1 μ L 1 z 0 ~P 0 μ 0 = x μ L 1 = g L 1 z L ; M L 1 μ 0 = g 0 z 1 ; M 0 P 0 は生成するデータ次第 P 1,, P L 1 はガウス分布分散についてはおそらく σ = exp μ を前提としてる? μ l = g l z l+1 ; M l I h l l = zl+1 の中身 I h l 1 l I = φ l (I hl ; M l 1) l I h l 2 l I = φ l 1 (I hl ; l 2) Ml μ l = h 0 l = φ h 1 (0) l ; M l スロット数 d s n s 次元外部メモリ M l I l 枚 6/24

7 さらに h l I l 1 = φ hl I l ; M l (I l 1) の中身 h out = φ h n ; M とおくとややこしいので便宜的に変更 h g = φ h n ; W g, b g h g = f g h n ; W g, b g h a = f a h g ; A, b a h m = f m h a ; M h out = f c h g, h m ; C 7/24

8 具体例潜在変数層 1 つ (L = 1), メモリ枚数 2 枚 (I 1 = 2) の場合 h 3 = z~n μ z, σ z h 2 g = f g W 2 g h b g h 2 a = f a A 2 h 2 g 2 + b A h 2 m = M (2) 2 h a h 2 = f c h 2 g, h 2 m ; C f a はシグモイド関数かソフトマックス関数 ( 実験ではソフトマックス ) f c h g 2, h m 2 ; C = h g 2 + h m 2 とするのが素直だが Ladder Network[Rasmus 2015] を参考に別の関数を使う次で説明 8/24

9 f c についてここの φ も前のとは違います h = f c h g, h m ; C = φ a + b 1 c ただし a = a 1 + a 2 h m + a 3 h g + a 4 h g h m c = σ c 1 + c 2 h m + c 3 h g + c 4 h g h m ( は要素ごとの積 ) 最終的に学習の対象になるのは 9/24

10 変分オートエンコーダの学習 h 2 の教師は h 2 h 1 の教師は h 1 10/24

11 エンコーダによる潜在変数の推論 h 3 = z~n μ z, σ z h (3) = φ V (2) h 2 + b r 2 = μ z σ z = exp( μ z ) h (2) = φ V (1) h 1 + b r 1 h (1) = φ V (0) h 0 + b r 0 h (0) = x 11/24

12 変分下限と目的関数変分下限変分下限 = E q z x;θr log p x z; θ g KL q z x; θ r p z; θ g 目的関数対数尤度? 正則化項変分下限は最大化したいのでここは多分マイナス? local reconstructon error (Ladder Network [Rasmus 2015] に倣ったらしい ) 12/24

13 実験設定 MNIST( 手書き文字認識 ) 訓練用 50000, 確認用 10000, テスト用 x28 pxel/ 画像 OCR-letters( 光学文字認識 ) 訓練用 32152, 確認用 10000, テスト用 x8 pxel/ 画像分布に Bernoull 分布を仮定 Frey faces datasets x20 pxel/ 画像以下の学習手法について比較 VAE: 普通の変分オートエンコーダ分布に Gaussan 分布を仮定 f a にソフトマックスを使うという話と矛盾付録 Dを除くとあったので Dのみソフトマックス IWAE[Burda 2015]: 重要度重みを考慮した対数尤度の推定 MEM-VAE: 外部メモリ付き VAE f a と f c にそれぞれ sgmod 関数と element-wse MLP を用いる MEM-IWAE: 外部メモリ付き IWAE 13/24

14 Theano 最適化手法 :Adam(β 1 = 0.9, β 2 = 0.999, ε = 10 4 ) ミニバッチサイズ :100 学習率は 1000epoch の間 10 3 に固定次の 2000epoch の間 1epoch ごとに現在の学習率にをかける φ = Relu λ 1 = 0.1, λ 2 = 0.1(Ladder Network に倣った ) n 1 s +n 2 s = 100 実験では (70: 30) になるようにした初期値 a 3, c 3 : ones vector sze a 1,2,4, b 1, c 1,2,4 : zeros vector sze エンコーダの活性化関数とデコーダの f g, f c の中身の φ 14/24

15 実験結果 ( 密度推定 ) MNIST,OCR 重点サンプル (Importance Sample) を {1,5,50} 個だけ用いて学習 IS 1 MNIST:1,000 重点サンプル OCR:100,000 重点サンプルでテスト 5 50 対数尤度 ( 高いほどよい ) 外部メモリを使った方がよい結果 15/24

16 メモリ機構の効果 MEN-VAE はほぼ同じパラメータ数の VAE よりもよい VAE MEM-VAE VAE,VAE-MEM IS VAE 過学習はしていなかった ( らしい ) /24

17 メモリ機構の効果メモリが受け持っている情報オリジナル M 1 だけメモリ除外 2 層ともメモリ除外 h m = ones としてメモリの影響を阻害した生成結果メモリを除外すると画像がおかしくなるメモリが詳細な情報を保存している 17/24

18 外部メモリの可視化 (MNIST) 各クラスごとに h a を平均して正規化上図の相関係数をみると 1 層目は 1,4,7,9 2 層目は 3,5,8 に反応している 1 層目 : 縦横 2 層目 : カーブに反応して情報を補完 18/24

19 文字に最も反応するメモリスロットの可視化各クラスで h a のテストに対する平均が高い順にスロットを並べる上位 3 スロットを 1 他を 0 としたときに生成される画像 19/24

100 に分割 200 素子の隠れ層と 100 素子の潜在変数層 n s (1) = 20 ミニバッチ test log

20 ランダム生成赤枠はボランティアがつけたラベル付けできなかった画像 VAE はミニバッチ 10 の方が見た目が鮮明だったらしい MNIST は同じ実験設定 Frey faces は訓練データ 1865 テストデータ 100 に分割 200 素子の隠れ層と 100 素子の潜在変数層 n s (1) = 20 ミニバッチ test log densty VAE nats MEM- VAE nats nats nats 20/24

21 欠損値代入タスク ( 画像修復タスク ) MSE による比較欠損値の修復の方法欠損部分はランダムな値で初期化欠損画像を入力して生成した出力を次の入力とする MNISTで実験ノイズの種類 RECT-12 中心 12x12 pxelを欠損 RAND-0.6 各ピクセルを確率 0.6で欠損 HALF 左半分を欠損 [Rezende 2014] これを 100epoch 繰り返す欠損してないピクセルも変動してしまうので非欠損ピクセルを固定で BP するのもあり? 21/24

22 欠損データの修復 MNIST データの半分をノイズで欠損させて復元させる VAE vs MEM-VAE 赤枠は自分が正しく推定できなかったが相手が正しく推定できたもの ( 少ない方が優秀 ) ( 赤枠はボランティアによる ) MEM-VAE の方が正しく推定できていると主張すべてのデータについて赤枠の数を数えてない? 22/24

23 その他エンコーダの最上層一コ手前で線形 SVM にかけて MNIST で分類タスクをしてみると VAE:97.90% MEM-VAE:98.03% よってエンコーダ側に外部メモリが影響を及ぼしているわけではない ( つまりデコーダ側の情報を補完する機能を持っている ) と主張している 23/24

24 まとめ外部メモリの導入によって深層生成モデルの性能は向上するデータセットは簡単なものについてしか行われていない評価方法に一部疑問が残る ( 図 4, 図 5とか ) 先行研究と違い外部メモリの知識はあらかじめ用意されたものではなく学習で獲得されるものリカレントに拡張できれば文生成などへの応用が考えられる以上を踏まえて外部メモリも画像のスタイルのようなものを獲得している? 本質的に VAE とは違うのか?VAE との使い分けはできるのだろうか? 24/24

25 おまけ : 査読者のコメント集 ( 一部抜粋 )( 査読者 1: いくつものデータセットで実験している DRAW と比べてほしい論文は素晴らしいが性能の向上はわずかもっと実験のパラメータ数を増やして実験してみてほしい DRAW と比べると SoTA にはほど遠いこの論文を良くするとしたらメモリ M が何なのかを説明できる研究をするのが良い外部メモリは役に立つように見えるが実際に何の役に立つのかより複雑なモデルをより速く訓練するのに役立つなどあるのか査読者 2: クリアで再実装が可能そうであるがコードが公開されていない現在は公開中 VAE や IWAE はメモリ付きと比べてそもそも自由パラメータが少ない同じにしてもメモリ付きの方が優れているのかリバッタルで解決査読者 3: よく説明されていてわかりやすい外部メモリは生成モデルに簡単に導入可能であり重要性が高いデータセットが簡単過ぎるのですくなくとも CIFAR10 で実験を MEM-VAE は VAE よりも生成できるバリエーションが少なく見えるもっと挑戦的な難しいデータセットで実験をしてほしい 25/24

Variational Auto Encoder

Variational Auto Encoder nzw 216 年 12 月 1 日 1 はじめに深層学習における生成モデルとして Generative Adversarial Nets (GAN) と Variational Auto Encoder (VAE) [1] が主な手法として知られている. 本資料では,VAE を紹介する. 本資料は, 提案論文 [1] とチュートリアル資料 [2]