ディープラーニングの現在 AGENDA ディープラーニング SDK NVIDIA DIGITS ディープラーニングフレームワーク / ディープラーニングの基礎

Size: px

Start display at page:

Download "ディープラーニングの現在 AGENDA ディープラーニング SDK NVIDIA DIGITS ディープラーニングフレームワーク / ディープラーニングの基礎"

あきみみょうだに
5 years ago
Views:

1 エヌビディアが加速するディープラーニング ~ 進化するニューラルネットワークとその開発方法について ~ ディープラーニングソリューションアーキテクト兼 CUDA エンジニア村上真奈

2 ディープラーニングの現在 AGENDA ディープラーニング SDK NVIDIA DIGITS ディープラーニングフレームワーク / ディープラーニングの基礎

3 ディープラーニングの現在

4 人工知能にとって驚くべき一年マイクロソフトスーパーディープネットワーク Deep Speech 2 二つの言語を一つのネットワークで AlphaGo 世界チャンピオンを倒すマイクロソフトとグーグルが画像認識で人間を超えるバークレーのブレット全てのロボットを一つのネットワークで新コンピューティングモデルがポップカルチャーにも

5 様々な分野でディープラーニングを応用インターネットとクラウド医学と生物学メディアとエンターテイメントセキュリティと防衛機械の自動化画像分類音声認識言語翻訳言語処理感情分析推薦癌細胞の検出糖尿病のランク付け創薬字幕ビデオ検索リアルタイム翻訳顔検出ビデオ監視衛星画像歩行者検出白線のトラッキング信号機の認識

6 ディープラーニングを加速する 3 つの要因 DNN ビッグデータ GPU The GPU is the workhorse of modern A.I.

7 機械学習ソフトウェア反復フォワードプロパゲーション木トレーニング猫バックワードプロパゲーション亀犬亀から犬へ計算の重み付けを更新学習済みモデル推論 ( インファレンス ) 猫

8 ディープラーニング SDK

9 ディープラーニング SDK ディープラーニングを加速するディープラーニングライブラリ物体検出音声認識言語翻訳推薦エンジン感情分析画像分類コンピュータビジョンボイス & オーディオ自然言語処理ディープラーニングフレームワーク cudnn cublas cusparse cufft NCCL GIE ディープラーニング CUDA 数学ライブラリマルチ GPU 間通信インファレンス

10 ディープラーニング SDK ディープラーニングを加速するディープラーニングライブラリ GPU で高速化されたディープラーニングのアプリケーションを設計開発する為の強力な開発ツールおよびライブラリ NVIDIA GPU の為の高速なディープラーニング環境を保障最新のディープラーニングアルゴリズムを GPU に最適化した状態で提供ディープラーニングアプリケーションを簡単に構築 cudnn cublas cusparse cufft NCCL GIE ディープラーニング CUDA 数学ライブラリマルチ GPU 間通信インファレンス

11 NVIDIA CUDNN 最新はバージョンは 5.1RC GPU 上でディープニューラルネットワークの計算を高速に行う為のプリミティブ群ディープニューラルネットワークの学習の高いパフォーマンスを発揮 Caffe CNTK Tensorflow Theano Torch Chainer などディープラーニングフレームワークを高速化バージョンアップ毎にパフォーマンスが向上 NVIDIA は cudnn のリリースの度により多くの操作ができるような機能拡張をおこなっており同時に計算速度も向上させている UC バークレー Caffe リードデベロッパー Evan Shelhamer developer.nvidia.com/cudnn

12 NVIDIA CUDNN ディープラーニング計算の為の高速なプリミティブ群畳込み以外にもプーリングソフトマックス活性化 batch normalization テンソルのトランスポーズなどディープラーニングの順伝播逆伝播でよく使われるレイヤータイプ計算手法をサポートリカレントニューラルネットワーク (LSTM/GRU/RNN) をサポートマルチスレッド化が容易なコンテクストベースの API 以下の OS と GPU の組み合わせで仕様が可能 Windows(7/10),Linux(x64,power8/ARM),MacOS Pascal/Maxwell/Kepler 世代の GPU, Tegra K1 および Tegra X1

13 cudnn 5 のアップデート Pascal 世代 GPU, リカレントニューラルネットワーク, パフォーマンスの向上 Torch 上で LSTM リカレントニューラルネットワークの計算を 6 倍高速化パフォーマンスの向上 : VGG GoogleNet ResNets のような 3x3 畳み込み層を持つネットワークの高速化 3 次元畳み込み Pascal 世代の GPU の為の FP16 ルーティンの追加 Bilinear Spatial Transformer / ドロップアウト追加 5.9x char-rnn RNN レイヤーの速度向上 2.8x DeepSpeech 2 RNN レイヤーの速度向上 Performance relative to torch-rnn ( DeepSpeech2: Char-rnn: 14

14 cudnn 5.1 ディープラーニング計算の為の高速なプリミティブ群 3x3 と 5x5 の畳込みの順伝播および逆伝播計算の為の新しい Winograd アルゴリズムが追加 CUDNN_CONVOLUTION_FWD_ALGO_WINOGRAD_NONFUSED CUDNN_CONVOLUTION_FWD_ALGO_WINOGRAD_NONFUSED FP16の順伝播逆伝播計算のパフォーマンスの向上 CUDA8.0のサポート 15

7 倍高速にこの 3 年間で 60 倍学習が高速に Alexnet training throughput on: cudnn 4 + K40 vs. cudnn 5.

15 Speed-up of training vs. cudnn v4 Speed-up of images/sec vs K40 in 2013 cudnn 5.1 パフォーマンス 3x3 のコンボリューション層をもつネットワークの学習が 2.7 倍高速にこの 3 年間で 60 倍学習が高速に Alexnet training throughput on: cudnn 4 + K40 vs. cudnn 5.1 RC + M40 on Torch and Intel Xeon Haswell Single-socket 16-core E GHz Turbo CPU: 1xE5-2680v3 12 Co 2.5GHz 128GB System Memory, Ubuntu M40 bar: 8xM40 GPUs in a node. P100: 8xP100 NVLink-enabled 16

16 DL 学習を加速する CUDA ライブラリ cufft 高速フーリエ変換用ライブラリ cublas 密行列演算ライブラリ cusparse 疎行列演算ライブラリ cusparse 17

17 Iterations/s CUDA8:nvGraph グラフ解析の高速化の為のライブラリシングル GPU (24GB M40) で 25 億エッジのグラフ探索 25 nvgraph: 4 倍の速度向上多岐に渡るアプリケーションの高速化が可能ページランク最短経路探索ワイド経路探索 Core Xeon E5 nvgraph on K40 検索ロボティックス経路探索 IP ルーティング 10 推薦エンジン電力ネットワークプランニングチップデザイン / 半導体 5 ソーシャル広告の配置物流 & サプライチェーンプランニング交通状態に敏感なルーティング 0 developer.nvidia.com/nvgraph ページランク on Wikipedia 84 M link dataset 18

18 NCCL(NVIDIA Collective Collection Library) ディープラーニング SDK マルチ GPU 集合通信ライブラリ最新リリースはv all-gather, reduce, broadcast など標準的な集合通信の処理をバンド幅が出るように最適化シングルプロセスおよびマルチプロセスで使用する事が可能 19

19 NCCL(NVIDIA Collective Collection Library) NCCL の集合通信処理 20

20 NCCL パフォーマンス Bandwidth at different problem sizes (4 Maxwell GPUs) Broadcast All-Reduce All-Gather Reduce-Scatter 21

HTTP (~10ms) データセンターにおける GPU インファレンスエンジン画像分類オブジェクト検知音声認識 --- 32 ビット 16

21 GPU インファレンスエンジンディープラーニングにおける最高の推論パフォーマンス高性能なフレームワークで GPU 上の推論エンジンを容易に開発するディープラーニングによる推論を用いた製品展開のためのソリューショントレーニング済みネットワークターゲット GPU に対して推論エンジンの性能を最適化 HTTP (~10ms) データセンターにおける GPU インファレンスエンジン画像分類オブジェクト検知音声認識ビット 16 ビット演算を用いた推論エンジン Hyperscale, ADAS, Embedded 向け developer.nvidia.com/gpu-inference-engine 22

ターゲットプラットフォームに対するオートチューニング最適なテンソルレイアウトの選択

22 GPU インファレンスエンジンニューラルネットワークの最適化トレーニング済みのニューラルネットワークネットワークレイヤの融合 Concatenationレイヤの除去カーネル特殊化ターゲットプラットフォームに対するオートチューニング最適なテンソルレイアウトの選択バッチサイズのチューニング最適化された推論エンジン developer.nvidia.com/gpu-inference-engine 23

23 GPU インファレンスエンジン GoogleNet パフォーマンス BATCH=1 M4 TX1 TX1 FP16 GIE 3.7 ms 13.9 ms 16.5ms (N=2) Caffe 15 ms 33 ms n/a BATCH=16 M4 TX1 TX1 FP16 GIE 39 ms 164 ms 99 ms Caffe 67 ms 255 ms n/a Jetson TX1 HALF2 column uses fp16 developer.nvidia.com/gpu-inference-engine 26

24 DIGITS

25 NVIDIA DIGITS GPU で高速化されたディープラーニングトレーニングシステム学習データの作成モデルの作成学習過程の可視化モデルのテスト Test Image

26 NVIDIA DIGITS GPU で高速化されたディープラーニングトレーニングシステム手元の PC から Web ブラウザでアクセス可能なディープラーニングトレーニングシステムユーザーインターフェースデータセットの作成学習モデルの作成学習過程の可視化レイヤーの可視化画像分類と物体検出の為の DNN のデザインと可視化の機能を提供 Chainer Theano Torch NVCaffe cudnn, cublas NVIDIA が最適化したフレームワークで高速に学習が可能ハイパーパラメータチューニングを強力にサポート学習 CUDA DL 学習のジョブを簡単にスケジューリングリアルタイムに accuracy と loss を監視 GPU HW GPU マルチ GPU GPU クラスタクラウド様々な学習データフォーマットフレームワークに対応

27 DIGITS 4 画像分類だけでなく様々な DL ワークフローに対応 DIGITS4 RC は 7 月公開予定物体検出の学習に対応顔や人やその他のオブジェクトを検出するニューラルネットワークを学習する機能を提供ハイパーパラメータチューニング機能の強化バッチサイズおよび学習率の複数値指定に対応モデルの認識精度を向上させる為のチューニングが容易に

28 物体検出 DIGITS 4 の新しい機能リモートセンシングインテリジェントビデオアナリシス ADAS システム医療診断

29 ハイパーパラメータチューニング機能強化 DIGITS 4 の新しい機能 [ 指定学習率の数 ]x[ 指定バッチサイズ数 ] のジョブが一度に投入可能ハイパーパラメータチューニング時に必要な手間を軽減一度に複数のジョブ投入が出来る

30 DIGITS ダウンロード developer.nvidia.com/digits github.com/nvidia/digits

31 ディープラーニングフレームワーク

32 ディープラーニングフレームワーク GPU で高速化されているディープラーニングフレームワークが多数存在ディープラーニングフレームワーク

33 ディープラーニングフレームワーク Caffe Torch7 Theano TensorFlow Chainer インターフェース C++/Python/Matlab Lua/C Python C/C++/Python Python cudnn ライセンス BSD-2 BSD BSD Apache 2.0 MIT マルチ GPU (1 ノード ) モデルの柔軟性 CNN RNN #2033 RBM 備考高速 Caffe Model Zoo 多数のアルゴリズムをサポート自動微分自動微分 TensorBoard Define by Run CuPy

34 ディープラーニングの基礎

35 NVIDIA ディープラーニング学習コース NVIDIA ディープラーニングインスティチュートディープラーニングの為の自習型のクラスハンズオンラボ講義資料講義の録画を公開ハンズオンラボは日本語で受講可能 1. ディープラーニング入門 2. 画像分類の為のDIGITS 入門 3. Caffe 入門 4. Theano 入門 5. Torch 入門

36 qwiklabs:aws を用いた自主学習ラボ手元の PC に GPU が搭載されていなくても OK に多数のラボを公開ディープラーニング入門は無料日本語で受講可能無料のアカウントを作る必要あり

37 qwiklabs:aws を用いた自主学習ラボ qwiklabs を日本語で受講するには? の右上のアカウント設定を選択言語日本語 (Japanese) を選択すると日本語で講座を受講可能に日本語 (Japanese) を選択

38 qwiklabs:aws を用いた自主学習ラボ手元の PC に GPU が搭載されていなくても OK ディープラーニング入門は無料日本語で受講可能

39 ディープラーニングとは? ディープラーニング入門 AGENDA Caffe Theano Torch7 DIGITS

40 ディープラーニングとは?

41 人工ニューロン神経回路網をモデル化神経回路網人工ニューロン y w 1 w 2 w 3 x 1 x 2 x 3 スタンフォード大学 cs231 講義ノートより y=f(w 1 x 1 +w 2 x 2 +w 3 x 3 ) F(x)=max(0,x)

42 人工ニューラルネットワーク単純で訓練可能な数学ユニットの集合体ニューラルネットワーク全体で複雑な機能を学習隠れ層入力層出力層十分なトレーニングデータを与えられた人工ニューラルネットワークは入力データから判断を行う複雑な近似を行う事が出来る

43 ディープラーニングの恩恵ロバスト性一般性特徴量の設計を行う必要がない特徴は自動的に獲得される学習用データのバラつきの影響を押さえ込みながら自動的に学習していく同じニューラルネットワークのアプローチを多くの異なるアプリケーションやデータに適用する事が出来るスケーラブルより多くのデータで大規模並列化を行う事でパフォーマンスが向上する

44 従来型の機械学習を用いた認識人間が設計した特徴量を使用 Rowデータ特徴抽出分類検出結果 SVM, shallow neural net, HMM, shallow neural net, Speaker ID, speech transcription, Clustering, HMM, LDA, LSA Topic classification, machine translation, sentiment analysis

45 トレーニング : 犬ディープラーニングのアプローチエラー猫蜜穴熊モデル犬猫アライグマ認識 : 犬モデル

46 Caffe

47 CAFFE CIFAR10 を用いた学習飛行機自動車鳥猫鹿犬蛙馬船トラックの 10 個の分類ピクセルの 6 万枚のカラー画像から成るデータセット

48 layer { } name: "conv1" type: "Convolution" bottom: "data" top: "conv1" param { lr_mult: 1 } param { lr_mult: 2 } convolution_param { num_output: 32 pad: 2 kernel_size: 5 stride: 1 } CAFFE ネットワーク定義ファイル ( 例 ) 使用するネットワークの定義を行うレイヤーの数や各レイヤーのタイプレイヤータイプ毎のパラメータなどを記述

49 CAFFE # トレーニングとテストに使用するネットワークの定義 net: "examples/cifar10/cifar10_quick_train_test.prototxt" # テストイテレーション数 test_iter: 100 # 500 トレーニングイテレーション毎にテスト test_interval: 500 # 学習率モーメンタム base_lr: momentum: 0.9 weight_decay: # 学習率のポリシー lr_policy: "fixed" # 100 イテレーション毎に表示 display: 100 # イテレーション最大数 max_iter: 4000 ソルバー定義ファイル ( 例 ) トレーニングの際に使用するパラメーターのリスト DNN トレーニングアルゴリズムに渡される

50 CAFFE 学習の実行以下のコマンドで学習を開始./build/tools/caffe train --solver=examples/cifar10/cifar10_quick_solver.prototxt Caffe コマンド学習時は train を指定ソルバー定義

51 Theano

52 THEANO MNIST を用いた学習 0 から 9 の数字の手書き文字画像データ 28x28 ピクセル 7000 枚のグレースケール画像からなるデータセット

THEANO MNIST を用いた学習 : 実行結果 Optimization complete. Best validation score of 98.

53 THEANO MNIST を用いた学習 : 実行結果 Optimization complete. Best validation score of % obtained at iteration 6630, with test performance % 可視化すると 1 万回反復してトレーニングしている間に重みが変化している事が分かる最終的に分類精度は 98% を超える

54 Torch7

55 TORCH7 リカレントニューラルネットワーク (RNN) を使ったテキスト生成 Torch ベースの RNN を用いたテキスト生成シェークスピアトルストイオバマ大統領のスピーチ原稿作成者 Linux カーネルのソースコード作成者のいずれかのスタイルでテキストを生成

56 TORCH7 実行結果 :Style=obama Michelle, another defining place meant on the only time from the United States is a few years we're continued here to live up to balance on Ukraing; from Iraq. Let me took off in, loans and the people of Hawaii will justify just like a two. One of what reform can t act as we can. Part of all the rights of somebody as so they described another accomplishine between 15- year believe. So the quiet Republican orgence of broadband new majuri with our head, a leader American had train and making '

57 TORCH7 実行結果 :Style=linux CPU_DEBUG + this_cpu->expect->state = PM_SUSPEND_MAX); } static inline void torture_ops_trace_trace_clock(struct ring_buffer_event *event) { u64 rw = (struct cgroup_subsys_state *css &&!LOCK_RMODED & fail); return ret; } static void perf_string_print(struct timespec user *, bin_niveltist Clock_vidch, struct pid_namespace *ns, unsigned int idx) { unsigned long flags = a; if (handler_nid) return NULL; if (atomic_dec_and_test(&jiffies)) put_futex_key := when allocate_st

58 NVIDIA ディープラーニング学習コース NVIDIA ディープラーニングインスティチュートディープラーニングインスティチュートで今後公開予定のコース 1. TensorFlow 入門 2. Chainer 入門 3. CNTK 入門 4. DIGITS 中級講座

59 参考ディープラーニングフレームワーク関連サイトディープラーニング学習コース ( 学習コース / 講義資料録画 ) ( ハンズオンラボ ) Caffe ( 公式 ) Torch ( 公式 ) Theano ( 公式 ) TensorFlow ( 公式 ) Chainer ( 公式 ) (Jupyter Notebook) CNTK ( 公式 )

60 THANK YOU

Slide 1

ハンズオン受講の為の準備講座これから始める人の為のディープラーニング基礎講座村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation 1 機械学習とディープラーニングの関係 AGENDA ディープラーニングとは? ニューラルネットワークの構造ディープラーニングの学習とは畳み込みニューラルネットワーク午後に予定しているハンズオンの為の基礎講座ディープラーニングをこれから始める方を対象に基礎概念や用語の解説を行います

ディープラーニングの現在 AGENDA ディープラーニング SDK NVIDIA DIGITS ディープラーニング フレームワーク / ディープラーニングの基礎

ディープラーニングの現在 AGENDA ディープラーニング SDK NVIDIA DIGITS ディープラーニングフレームワーク / ディープラーニングの基礎