IPSJ SIG Technical Report Vol.2017-CVIM-207 No /5/10 GAN 1,a) 2,b) Generative Adversarial Networks GAN GAN CIFAR-10 10% GAN GAN Stacked GAN Sta

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2017-CVIM-207 No /5/10 GAN 1,a) 2,b) Generative Adversarial Networks GAN GAN CIFAR-10 10% GAN GAN Stacked GAN Sta"

えつみふじつぐ
4 years ago
Views:

1 1,a) 2,b) Generative Adversarial Networks CIFAR-10 10% Stacked Stacked 8.9% CNN 1. ILSVRC Convolutional Neural Network(CNN) [3] Stacked [4] 1 2 a) y.kono@chiba-u.jp b) kawa@faculty.chiba-u.jp Adversarial Examples Adversarial Examples [5] 1 Adversarial Examples Adversarial Examples x r l l f(x) = l x + r r f(x + r) = l x + r [0, 1] m r D(x, l) D(x, l) c D(x, l) loss f Minimize c r +loss f (x + r, l) (1) subject to x + r [0, 1] m c 2017 Information Processing Society of Japan 1

3 BatchNormalization ReLU LeakyReLU [7] ReLU Tanh [3] 2.4 Stacked Stacked [4] Deep Neural Network(DNN) Stacked 3. CNN 3.

2 1 Adversarial Exmaples [5] 2 CIFAR-10 dataset 2.2 Adversarial Exmaples [1,5] G(z) D(x) D(x) G(z) D(x) Generative Adversarial Network() [6] 2.3 BatchNormalization ReLU LeakyReLU [7] ReLU Tanh [3] 2.4 Stacked Stacked [4] Deep Neural Network(DNN) Stacked 3. CNN 3.1 The CIFAR-10 dataset [8] CIFAR-10 80Million Tiny Images [pixel] RGB airplane, automobile, bird, cat, deer, dog, frog, horse, ship, truck c 2017 Information Processing Society of Japan 2

情報処理学会研究報告 (a) 幾何変形 (b) 深層畳み込みで生成し (c) 深層畳み込みで生成した TP データた FP データ (d) Stacked で生成した (e) Stacked で生成した TP データ FP

2 生成方法各クラス 500 枚のトレーニング用データを元のデータセットとして用い幾何変形と深層畳み込みで各クチャンネルの画像を出力として得る今回は生成器識別器ともに 100 エポック学習させる 3.2.3 Stacked

段重ねでクラス 500 枚の画像を生成する各手法で生成した例を図それぞれ逆畳み込み層 4 層と全結合層からなる上段の生 3 に示す成器は 50 次元の一様乱数を下段の生成器は 16 次元の一 3.2.

エポック学習させる行う今回は特に画像の切り抜き及び拡大を用いてデータ拡張を行う具体的には以下のような方法で画像を生成する 32 32[pixel] の画像からランダムに 24 24[pixel] の画像を切り出す 24

3 データの選別深層畳み込み及び Stacked で画像を生成した際に学習に用いたデータ画像からかけ離れた画像が生成されることが起こるそれらの画像を用いて CNN で学習を行うと分類正解率の低下を招く恐れがあるそこで

3 情報処理学会研究報告 (a) 幾何変形 (b) 深層畳み込みで生成し (c) 深層畳み込みで生成した TP データた FP データ (d) Stacked で生成した (e) Stacked で生成した TP データ FP データ図 3 各手法で生成したデータの一例 3.2 生成方法各クラス 500 枚のトレーニング用データを元のデータセットとして用い幾何変形と深層畳み込みで各クチャンネルの画像を出力として得る今回は生成器識別器ともに 100 エポック学習させる Stacked を用いた画像生成ラス 500 枚の画像を生成するさらに深層畳み込みエンコーダは畳み込み 1-プーリング 1-畳み込み 2-プーよりも精細な画像を生成できる Stacked を用い各リング 2-全結合層-出力からなる生成器は 2 段重ねでクラス 500 枚の画像を生成する各手法で生成した例を図それぞれ逆畳み込み層 4 層と全結合層からなる上段の生 3 に示す成器は 50 次元の一様乱数を下段の生成器は 16 次元の一幾何変形様乱数を入力とし 32 32[pixel] 3 チャンネルの画像を画像の切り抜き拡大平行移動などの幾何変形や輝度値変化彩度変化などの画像加工を用いてデータ拡張を出力として得る今回は生成器識別器ともに 200 エポック学習させる行う今回は特に画像の切り抜き及び拡大を用いてデータ拡張を行う具体的には以下のような方法で画像を生成する 32 32[pixel] の画像からランダムに 24 24[pixel] の画像を切り出す 24 24[pixel] の画像を 32 32[pixel] の画像に拡大する深層畳み込みを用いた画像生成 3.3 データの選別深層畳み込み及び Stacked で画像を生成した際に学習に用いたデータ画像からかけ離れた画像が生成されることが起こるそれらの画像を用いて CNN で学習を行うと分類正解率の低下を招く恐れがあるそこで画像を生成する際に CIFAR-10 データセットで事前学習済みの CNN を用いて画像の識別を行いラベルとクラスが今回のネットワーク構造は生成器が 4 層の逆畳み込み層一致した画像と一致しなかった画像を出力する一致したと全結合層識別器が 4 層の畳み込み層と全結合層からな画像セットを True Positive(TP) データ一致しなかったる 100 次元の一様乱数を入力として 32 32[pixel] 3 画像セットを False Positive(FP) データと表記する c 2017 Information Processing Society of Japan 3

TP(True Positive) CNN ଈȅ FP(False Positive) 4 TP FP 500 10000 CNN 4 4. Stacked 4.

3 1 CNN 2 2 Method CIFAR-10 FPTP 1 5000 4 FP 5000 5000 15000 FPTP 2500 5000 2 10 4.

4 TP(True Positive) CNN ଈȅ FP(False Positive) 4 TP FP CNN 4 4. Stacked CNN 2 2 Method CIFAR-10 FPTP FP FPTP CIFAR % Stacked +TP % 8.9% Stacked +TP 1.0% Stacked +TP TP FP TP CNN FP TP Stacked TP FP Stacked Stacked Stacked Stacked c 2017 Information Processing Society of Japan 4

5 1 CNN CIFAR % TP FP Stacked CNN Stacked 3 JSPS JP16K Method FP TP (%) CIFAR-10 Stacked [5] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian J. Goodfellow, and Rob Fergus. Intriguing properties of neural networks. CoRR, Vol. abs/ ,, [6] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Advances in neural information processing systems, pp , [7] Andrew L Maas, Awni Y Hannun, and Andrew Y Ng. Rectifier nonlinearities improve neural network acoustic models. In Proc. ICML, Vol. 30, [8] Alex Krizhevsky and Geoffrey Hinton. Learning multiple layers of features from tiny images [1] Ian J. Goodfellow, Jonathon Shlens, and Christian Szegedy. Explaining and harnessing adversarial examples. CoRR, Vol. abs/ ,, [2] Leon Sixt, Benjamin Wild, and Tim Landgraf. Rendergan: Generating realistic labeled data. CoRR, Vol. abs/ ,, [3] Alec Radford, Luke Metz, and Soumith Chintala. Unsupervised representation learning with deep convolutional generative adversarial networks. CoRR, Vol. abs/ ,, [4] Xun Huang, Yixuan Li, Omid Poursaeed, John E. Hopcroft, and Serge J. Belongie. Stacked generative adversarial networks. CoRR, Vol. abs/ ,, c 2017 Information Processing Society of Japan 5

Haiku Generation Based on Motif Images Using Deep Learning Koki Yoneda 1 Soichiro Yokoyama 2 Tomohisa Yamashita 2 Hidenori Kawamura Scho

Haiku Generation Based on Motif Images Using Deep Learning 1 2 2 2 Koki Yoneda 1 Soichiro Yokoyama 2 Tomohisa Yamashita 2 Hidenori Kawamura 2 1 1 School of Engineering Hokkaido University 2 2 Graduate