Slide 1

Size: px

Start display at page:

Download "Slide 1"

かおりかいて
5 years ago
Views:

1 ハンズオン受講の為の準備講座これから始める人の為のディープラーニング基礎講座村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation 1

2 機械学習とディープラーニングの関係 AGENDA ディープラーニングとは? ニューラルネットワークの構造ディープラーニングの学習とは畳み込みニューラルネットワーク午後に予定しているハンズオンの為の基礎講座ディープラーニングをこれから始める方を対象に基礎概念や用語の解説を行います

3 機械学習とは?

4 機械学習とディープラーニングの関係機械学習ニューラルネットワークディープラーニング

5 分類 (Classification) と回帰 (Regression) 分類問題の例機械学習とは? 画像に写っているのが猫か犬の画像か推論する回帰問題の例 N 社の 1 ヶ月後の株価を予想する

6 分類 (Classification) と回帰 (Regression) 機械学習とは? 分類問題回帰問題犬猫分類も回帰もデータの法則を見つけて関数近似する必要がある

7 分類問題の例機械学習とは? 正常例 ) 正常と異常に分類する事を考える赤 : 異常青 : 正常 x2 Y = αx + β 異常 x1

8 分類問題の例機械学習とは? 例 ) 正常と異常に分類する事を考える赤 : 異常青 : 正常 x2 異常正常複雑な関数近似が必要になる x1

9 ディープラーニング手法による分類の例学習が進むにつれて分離が上手くいくようになる

10 ディープラーニングとは 1

11 様々な分野でディープラーニングを応用インターネットとクラウド医学と生物学メディアとエンターテイメントセキュリティと防衛機械の自動化画像分類音声認識言語翻訳言語処理感情分析推薦癌細胞の検出糖尿病のランク付け創薬字幕ビデオ検索リアルタイム翻訳顔検出ビデオ監視衛星画像歩行者検出白線のトラッキング信号機の認識

12 人工ニューラルネットワーク単純で訓練可能な数学ユニットの集合体ニューラルネットワーク全体で複雑な機能を学習隠れ層入力層出力層十分なトレーニングデータを与えられた人工ニューラルネットワークは入力データから判断を行う複雑な近似を行う事が出来る

13 ディープラーニングの恩恵ディープラーニングとニューラルネットワークロバスト性一般性特徴量の設計を行う必要がない特徴は自動的に獲得される学習用データのバラつきの影響を押さえ込みながら自動的に学習していく同じニューラルネットワークのアプローチを多くの異なるアプリケーションやデータに適用する事が出来るスケーラブルより多くのデータで大規模並列化を行う事でパフォーマンスが向上する

14 トレーニング : 犬ディープラーニングのアプローチエラー猫蜜穴熊モデル犬猫アライグマ認識 : 犬モデル

15 ニューラルネットワークの構造 ( 多層パーセプトロン )

16 人工ニューロン神経回路網をモデル化神経回路網人工ニューロン y w 1 w 2 w 3 x 1 x 2 x 3 スタンフォード大学 cs231 講義ノートより y=f(w 1 x 1 +w 2 x 2 +w 3 x 3 ) F(x)=max(,x)

17 人口ニューロンニューラルネットワークの構造人工ニューロンを組み合わせ多層ニューラルネットワークを構成可能入力層のサイズは 3 入力層のサイズは N

18 多層パーセプトロン (3 層 ) ニューラルネットワークの構造入力層隠れ層出力層重み重み x 1 w 1 11 w 2 11 z 1 w 1 12 y 1 w 2 21 w 1 21 w 2 12 x 2 z 2 w 1 22 w 2 22 w 1 31 y 2 w 2 13 x 3 w 1 32 w 2 23 z 3

19 多層パーセプトロン (3 層 ) ニューラルネットワークの構造入力層隠れ層出力層重み重み x 1 w 1 11 w 2 11 z 1 w 1 12 y 1 w 2 21 w 1 21 w 2 12 x 2 z 2 w 1 22 w 2 22 w 1 31 y 2 w 2 13 x 3 w 1 32 w 2 23 z 3

20 多層パーセプトロンニューラルネットワークの構造入力データ出力データ x 1 w 1 11 w 2 11 z 1 w 1 12 y 1 w 2 21 w 1 21 w 2 12 x 2 z 2 w 1 22 w 2 22 w 1 31 y 2 w 2 13 x 3 w 1 32 w 2 23 z 3

21 多層パーセプトロンニューラルネットワークの構造 x 1 w 1 11 w 2 11 z 1 x 2 w 1 12 w 1 21 w 1 22 y 1 w 2 21 w 2 12 w 2 22 z 2 x 1 x 2 x 3 w 1 11 w 1 21 w 1 12 w 1 22 w 1 31 w 1 32 = y 1 y 2 w 1 31 y 2 w 2 13 x 3 w 1 32 w 2 23 z 3

22 多層パーセプトロンニューラルネットワークの構造 x 1 w 1 11 w 2 11 z 1 w 1 12 y 1 w 2 21 x 2 w 1 21 w 1 22 w 2 12 w 2 22 z 2 y 1 y 2 w 2 11 w 2 12 w 2 13 w 2 21 w 2 22 w 2 23 = z 1 z 2 z 3 w 1 31 y 2 w 2 13 x 3 w 1 32 w 2 23 z 3

23 多層パーセプトロンニューラルネットワークの構造 x 1 w 1 11 w 2 11 z 1 w 1 12 y 1 w 2 21 x 2 w 1 21 w 2 12 z 2 x W 1 W 2 = z w 1 22 w 2 22 w 1 31 y 2 w 2 13 x 3 w 1 32 w 2 23 z 3

24 重み係数の調整ニューラルネットワークの構造 x 1 w 1 11 w 2 11 出力 z 1 教師データ t 1 出力 z と正解ラベル t の誤差を計算し出力が正解ラベルに近づくように重み W 1 と W 2 を調整 w 1 12 y 1 w 2 21 x 2 w 1 21 w 2 12 z 2 t 2 ディープラーニングの学習 w 1 22 w 2 22 w 1 31 y 2 w 2 13 x 3 w 1 32 w 2 23 z 3 t 3

25 勾配降下法

26 勾配降下法誤差逆伝播の仕組み誤差 E 現在値から減少させる最適解に近づけるには? 最適解現在値重み w

27 勾配降下法誤差逆伝播の仕組み最適解に近づけるには? 誤差 E 現在値から増加させる現在値最適解重み w

28 勾配降下法誤差逆伝播の仕組み誤差 E 傾きが負なら最適解より小さい傾きが正なら最適解より大きい w n 最適解 w m 重み w

29 勾配降下法誤差逆伝播の仕組み誤差 E 最適解 ( ゴール ) w n+2 w n+1 w n 重み w

30 学習率 (Learning Rate) 誤差 E 誤差逆伝播の仕組み最適解 ( ゴール ) w n w n-1 w n w w 重み w

31 学習率 (Learning Rate) 誤差 E 誤差逆伝播の仕組み重みの更新量は学習率 (Learning Rate) で調整更新量 w n w n-1 w 1 w 重み w

32 勾配降下法の注意点誤差 E 誤差逆伝播の仕組みスタートゴール局所解重み w

33 勾配降下法の注意点誤差 E 誤差逆伝播の仕組みスタートゴール最適解重み w

34 誤差逆伝播法

35 順伝播 (forward propagation) 誤差逆伝播法入力レイヤー 1 レイヤー 2 レイヤー N 出力正解ラベル x w y x[n] x y w w[n][m] x w y[m] y 1 dog ロス関数 1 cat 39

36 逆伝播 (backward propagation) 誤差逆伝播法入力レイヤー 1 レイヤー 2 レイヤー N 出力正解ラベル x w w y x w w y x w w y 1 dog ロス関数 1 cat y x y x y error 4

37 重みの更新誤差逆伝播法入力レイヤー 1 レイヤー 2 レイヤー N 出力正解ラベル x w w y x w w y x w w y 1 dog ロス関数 1 cat y x y x y error 41

38 ミニバッチ誤差逆伝播法入力レイヤー 1 レイヤー 2 レイヤー N 出力正解ラベル x w y x w y x y dog cat w cat human tiger dog monkey lion w w w ロス関数 y x y x y error 42

39 ディープラーニングの学習の流れ

40 訓練データと検証データディープラーニングの学習データを訓練データ (training data) と検証データ (validation data) に分割する収集したデータ訓練データ (training data) 重みの更新 ( 学習 ) に使用検証データ (validation data) 汎化性能の確認に使用

41 訓練データによる重みの更新ディープラーニングの学習訓練データをニューラルネットワークに与え正解ラベルと出力結果の誤差が無くなるように重み W の更新を繰り返す訓練データ正解は犬猫犬検証データ熊狸

42 訓練データによる重みの更新ディープラーニングの学習訓練データをニューラルネットワークに与え正解ラベルと出力結果の誤差が無くなるように重み W の更新を繰り返す訓練データ正解に近づくように各層の重みを更新する猫犬検証データ熊狸

43 学習ループ訓練データと検証データの役割すべての訓練データを用いて重み更新を行う + すべての検証データで汎化性能を確認 1 エポック (epoch) と呼ぶ訓練データ検証データ検証データで現在の汎化性能を確認 ( 重みの更新には使用しない ) 猫犬熊狸

44 学習時の性能の確認訓練データと検証データの役割各エポックで訓練データをニューラルネットワークに与えた際の間違い率と検証データを与えた際の間違い率を確認しながら学習を進める必要があるエラー数 validation エラー数 validation 学習成功学習失敗 ( 過学習 ) training エポック training エポック

45 畳み込みニューラルネットワーク 5

46 畳込みニューラルネットワーク (CNN) 画像認識画像分類で使われる高い認識精度を誇るアルゴリズム畳込み層で画像の特徴を学習目的顔認識トレーニングデータ 1, 万 ~1 億イメージネットワークアーキテクチャ 1 層 1 億パラメータラーニングアルゴリズム 3 エクサフロップスの計算量 GPU を利用して 3 日畳込み層全結合層 51

47 52 畳込み層ピクセル値 (src) 畳み込みカーネルピクセル値 (dst) カーネルの中心の値はソースピクセル上に置かれているソースピクセルはフィルタを自身の積の値に更新される

48 まとめ 53

49 Appendix. NVIDIA Deep Learning Labs エヌビディアが提供する AWS 上でのディープラーニング自主学習コース書籍 ( 日本語 ) 深層学習 ( 機械学習プロフェッショナルシリーズ )/ 岡谷貴之イラストで学ぶディープラーニング / 山下隆義

50 Thank you!

AGENDA ディープラーニングとは Qwiklab/Jupyter notebook/digits の使い方 DIGITS による物体検出入門ハンズオン

ハンズオンラボ2 DIGITS による物体検出入門村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation 1 AGENDA ディープラーニングとは Qwiklab/Jupyter notebook/digits の使い方 DIGITS による物体検出入門ハンズオンディープラーニングとは機械学習とディープラーニングの関係