自己紹介名前 : 竹田卓也年齢 : 20 歳 ( 大学生 ) 経歴 : 人工知能歴 1ヶ月プログラミング歴 5 年くらい言語 : PythonとかJavaとかGoとか趣味 : オンラインオフラインゲーム 2

Size: px

Start display at page:

Download "自己紹介名前 : 竹田卓也年齢 : 20 歳 ( 大学生 ) 経歴 : 人工知能歴 1ヶ月プログラミング歴 5 年くらい言語 : PythonとかJavaとかGoとか趣味 : オンラインオフラインゲーム 2"

りえこしの
5 years ago
Views:

1 リカレントニューラルネットワークの概要と動作原理竹田卓也後援 : ドワンゴ 1

2 自己紹介名前 : 竹田卓也年齢 : 20 歳 ( 大学生 ) 経歴 : 人工知能歴 1ヶ月プログラミング歴 5 年くらい言語 : PythonとかJavaとかGoとか趣味 : オンラインオフラインゲーム 2

3 アウトライン Feed forward neural network Recurrent neural network Elman network Echo state network 別のアプローチ Time delay neural network まとめとか 3

4 アウトラインスライド中では適時用語を略しますリカレントニューラルネットワーク RNN エコーステートネットワーク ESN バックプロパゲーション BP などなどのでよろしくお願いします... m( )m 4

5 アウトライン Feed forward neural network Recurrent neural network Elman network Echo state network 別のアプローチ Time delay neural network まとめとか 3

6 Feed forward neural network データの長さが決まっている ( 静的な ) 場合に使われるニューラルネットワーク入力層出力層バックプロパゲーションで誤差を求め重みを変更することによって学習を行う 5

7 バックプロパゲーション以前の勉強会で説明済みですがおさらいを少しだけバックプロパゲーションとはリンクが繋がっているニューロンにおいて後方に誤差を伝播させるという考え方出力層ニューロンの誤差 = ( 正解 ) - ( 現在の出力値 ) 後方に誤差を伝播させる = バックプロパゲーション参考 : 第 1 回ディープラーニング勉強会大澤さんのスライド 6

8 Feed forward neural network 時系列データなど動的なデータを扱うのは困難例 ) 音声データからの音素の認識や文法解析など普通の学習データ A B C D E F データがそれぞれ独立している FFNN で学習可能!! 時系列データデータに時間的相関がある FFNN では困難... 7

9 時系列データへのアプローチ時系列データ t の時の状態が t+1 の時の状態に影響を及ぼすこれまでの状態を保持しながら学習出力層 t 影響内部状態をもたせる 8 t+1 入力層

10 アウトライン Feed forward neural network Recurrent neural network Elman network Echo state network 別のアプローチ Time delay neural network まとめとか 3

11 Recurrent neural network Recurrent Neural network の登場既存のニューラルネットワークの方法を拡張して時系列データを扱えるようにする RNN の種類 Elman network / Jordan network Echo state network / Bi-direction RNN Long short term memory network 等たくさんある 9

12 アウトライン Feed forward neural network Recurrent neural network Elman network Echo state network 別のアプローチ Time delay neural network まとめとか 3

13 Elman network Elman network 内部状態を持ったニューラルネットワークとして提唱文法解析を行うモデルとして作られた出力層の結合を持つ出力層入力層文脈層入力層フィードフォワードニューラルネット 11 エルマンネットワーク

14 Elman network 時系列を順序通りに反映できる全体を見ると静的なネットワークとして見ることができる出力層出力層出力層出力層入力層入力層入力層入力層 t = 1 t = 2 t = 3 t = T Elman network の時間ごとの発展 12

15 Elman network FFNN と同じように BP が使えるのでパラメータを調節できるただし FFNN の時は出力入力に対して誤差が伝播するのに対し Elman network では時間を遡るように誤差が伝播していくこのような BP を BPTT(Back propagation through time) と呼ぶ出力層出力層出力層出力層入力層入力層入力層入力層 t = 1 t = 2 t = 3 t = T 13

16 Elman network の学習例単語予測課題入力された単語の次にくるのにふさわしい単語を予測する限られたデータから学習時制の一致や性数主語などで変化する単語も考慮入力出力入力出力 boy who boys who hears see walks hear 14

17 Elman network の弱点出力層入力層 t = 1 t = 2 t = 3 t = T 重みが時系列の数だけ掛けられるので誤差逆伝播法の勾配が大きくなりすぎたり消失したりするなので長すぎる時系列データには向かない 16

18 アウトライン Feed forward neural network Recurrent neural network Elman network Echo state network 別のアプローチ Time delay neural network まとめとか 3

19 Echo state network 生物の脳は最初は重み付けなどされておらず学習することで接続が形成されるならば始めは重み付けをせずデータ適用が終わった後に計算を行おうという方法 Step1: データ適用 Step2: 重み計算入力層出力層出力層 21

20 ESN へのデータの適用 (Step1) ランダムに接続したニューロンをとして用意し時系列データを適用する時系列データ入力層のニューロンは他ののニューロンと相互に影響を及ぼしながら状態を更新してゆく時系列が反映されている 22

21 ESN での重みの計算 (Step2) データの適用で得た各ニューロンの反応状態を教師データと線形回帰して重み付けを行う出力層各ニューロンの時系列の反応データが出力データと合うように重み付けを行う 23

22 ESN の学習例入力が周波数出力がその周波数を持つサイン波のデータを学習させる画像 : 24

23 ESN の特徴速い!! 25

24 アウトライン Feed forward neural network Recurrent neural network Elman network Echo state network 別のアプローチ Time delay neural network まとめとか 3

25 別のアプローチ Elman network や ESN はに前回までの情報を持たせるという方法を取っていた時系列パターンを FFNN に展開する方法もあるデータに時系列のパターンを持たせる 26

26 アウトライン Feed forward neural network Recurrent neural network Elman network Echo state network 別のアプローチ Time delay neural network まとめとか 3

27 Time delay neural network Time delay による時系列データの学習ある時間範囲のデータを全て入力する入力 3 入力 2 入力 1 Elman network の入力構造 27 入力 1 入力 2 入力 3 TDNN の入力構造

28 Time delay neural network 入力層のみの TDNN の例入力層に 7 文字の英語文字列を入力し 4 文字目の発音を出力させる例 )_A_CAT_ から C の発音である [k] を出力出力層出力 [k] 普通の FFNN として学習できる _ A _ C A T _ TDNN の入力層への入力 28

29 Time delay neural network と出力層での TDNN 出力層でも時間的な認識ができる時間軸にずれがあるような複雑なデータにも対応できる入力 ( 時系列データ ) ディレー 0 ディレー 1 ディレー 2 ディレー 0 ディレー 1 ディレー 2 29 出力層ディレー 0 ディレー 1 ディレー 2

30 Time delay neural network 出力層での TDNN の例日本語の音素 ( 時間軸にずれのあるデータ ) を解析する例 ) いきおいという発話を i / ki / o / i に分割学習データや 3 つの i の発話の長さがそれぞれ異なる解析する発話データ 30

31 Time delay neural network 時間的な差異があるパターンを学習するためで差異を吸収する仕組みを作るではディレーを増やすことによって反応できるニューロンを増やし長さが違うパターンでも反応できるようにする音声データ第 1 ディレー 0 ディレー 1 ディレー 2 第 2 ディレー 0 ディレー 1 ディレー 2 ディレー 3 ディレー 4 要約パターンの引き伸ばし 31 出力層ディレー 0 ディレー 1 ディレー 2 ディレー 3 ディレー 4 ディレー 9

32 アウトライン Feed forward neural network Recurrent neural network Elman network Echo state network 別のアプローチ Time delay neural network まとめとか 3

33 まとめ時系列データをニューラルネットワークに適用するために RNNでは内部状態を持たせて過去のデータを反映 TDNNでは時間軸を展開してFFNNに適用するアプローチが取られてきた RNN ではを拡張することで既存の NN に時系列データを適用する試みが行われているしかし絶対にこれって言えるような学習方法は存在しないのでいろいろな方法を知っていると良い 32

34 ご清聴ありがとうございました

35 Hopfield network Hopfield network 連想記憶のモデルに使われる具体的にノイズの入った画像から元画像を出力 ( 連想 ) するなどの用途に使われている想起の回数が増えれば元の画像に近くなる入力層出力層がなくのみでは各ニューロンが全てのニューロンと結合している各ニューロンの状態は2 値 17

36 Hopfield network Hopfield network の学習データをに入れてから各ニューロンへの重みを計算する他のニューロンとの関係を重みとして学習する学習データ

37 Hopfield network Hopfield network での連想何かデータが入力された場合次の手順を繰り返すことで学習したデータを連想させることができる任意のニューロンを選択するその他のニューロンについて重みや状態から学習したパターンとの差異を計算する計算結果によって選択したニューロンを調節する青白青 +1 青入力パターン -1-3 しきい値 =0 +1 学習データとの差異を計算 19 >-0 : 青に =-0 : そのまま <-0 : 白に青白白青学習データを連想

38 Hopfield network Hopfield network の学習例学習して入力すると 5,000 回想起 10,000 回想起 100,000 回想起参考 : 20

Slide 1

ハンズオン受講の為の準備講座これから始める人の為のディープラーニング基礎講座村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation 1 機械学習とディープラーニングの関係 AGENDA ディープラーニングとは? ニューラルネットワークの構造ディープラーニングの学習とは畳み込みニューラルネットワーク午後に予定しているハンズオンの為の基礎講座ディープラーニングをこれから始める方を対象に基礎概念や用語の解説を行います

自己紹介 名前 : 竹田卓也 年齢 : 20 歳 ( 大学生 ) 経歴 : 人工知能歴 1ヶ月プログラミング歴 5 年くらい 言語 : PythonとかJavaとかGoとか 趣味 : オンライン オフラインゲーム 2

自己紹介名前 : 竹田卓也年齢 : 20 歳 ( 大学生 ) 経歴 : 人工知能歴 1ヶ月プログラミング歴 5 年くらい言語 : PythonとかJavaとかGoとか趣味 : オンラインオフラインゲーム 2