Slide 1

Size: px

Start display at page:

Download "Slide 1"

わんどみやのじょう
4 years ago
Views:

1 ディープラーニング最新動向と技術情報なぜ GPU がディープラーニングに向いているのかエヌビディアディープラーニングソリューションアーキテクト兼 CUDAエンジニア村上真奈

2 ディープラーニングとは AGENDA なぜ GPU がディープラーニングに向いているか NVIDIA DIGITS 2

3 ディープラーニングとは 3

4 Google I/O 2015 基調講演ディープラーニングのおかげでわずか一年で音声認識の誤認識率が 23% から 8% に下がりました自動写真整理とインテリジェント写真検索によってまさに探していたイメージを見つけることができます文脈を理解し自然言語処理言語翻訳によってユーザーに即座に返事ができるのですスンダルピチャイグーグル上級副社長 Google now 5

5 ディープラーニングによって加速するAI競争 IMAGENET Accuracy Rate 100% Traditional CV Deep Learning 90% 80% 70% IBM Watson Achieves Breakthrough in Natural Language Processing Facebook Launches Big Sur Baidu Deep Speech 2 Beats Humans Google Launches TensorFlow Toyota Invests $1B in AI Labs Microsoft & U. Science & Tech, China Beat Humans on IQ 60% 50% 40% 30% 20% 10% 0%

6 ディープラーニングの開発環境が増加大学 BIG SUR TENSORFLOW WATSON CNTK TORCH CAFFE THEANO MATCONVNET MOCHA.JL PURINE スタートアップ CHAINER DL4J KERAS OPENDEEP MINERVA MXNET* SCHULTS LABORATORIES VITRUVIAN NVIDIA GPU プラットフォーム *U. Washington, CMU, Stanford, TuSimple, NYU, Microsoft, U. Alberta, MIT, NYU Shanghai 7

7 幅広いディープラーニングの応用例応用分野顔場所物体認識検索の50%は音声か画像になるだろう Andrew Ng, Baidu 音声認識および翻訳自然言語処理ビデオ検索および分析インデキシングおよび検索レコメンデーションエンジンコンピュータビジョン自動運転 8

8 ディープラーニング事例シーンセグメンテーションとシーン分類 Farabet, PAMI B. Zhou et al. NIPS 14 10

9 ディープラーニング事例絵画様式認識と模倣 11

10 ディープラーニング事例ビデオ中の活動認識 Google/Stanford 12

11 ディープラーニングの事例画像ノイズ除去および高解像度化 Eigen, ICCV 2010 Dong et al, ECCV

ディープラーニングの事例エンドツーエンド音声認識 Baidu system is significantly simpler than traditional speech recognition systems, which rely on laboriously engineered

12 ディープラーニングの事例エンドツーエンド音声認識 Baidu system is significantly simpler than traditional speech recognition systems, which rely on laboriously engineered processing pipelines. Deep speech does not need hand-designed components to model background noise, speaker variation etc, but instead directly learns them 14

13 ディープラーニングの事例曲調をベースとした音楽のリコメンデーション音楽のスペクトログラムを入力タグ出力 15

14 ディープラーニングの事例言語理解 Stanford NLP Group 16

15 ディープラーニングの事例ゲームプレイ Google DeepMind 17

16 なぜ GPU がディープラーニングに向いているか 18

17 ディープラーニングを加速する 3 つの要因 DNN ビッグデータ GPU The GPU is the workhorse of modern A.I. 19

18 機械学習ソフトウェア反復フォワードプロパゲーション木トレーニング猫バックワードプロパゲーション亀犬亀から犬へ計算の重み付けを更新学習済みモデル推論猫 21

19 多量なトレーニングデータと多数の行列演算典型的なネットワーク例目的顔認識トレーニングデータ 1,000万 1億イメージネットワークアーキテクチャラーニングアルゴリズム 10 層 30 エクサフロップスの計算量 10 億パラメータ GPU を利用して30日 22

20 DL トレーニングシステム DL アプリケーション DL フレームワーク Caffe Theano Torch Chainer Tensor Flow GPUs 23

21 DL トレーニングシステム DL アプリケーション DL フレームワーク Caffe Theano Torch Chainer Tensor Flow cublas, cudnn GPUs 24

22 データサイエンティスト R&D サイクル Test Idea Code クリティカルパス : Idea が沸いてから Test が完了するまでサイクルを速く回すことが重要 Train 25

23 データサイエンティスト R&D サイクル Idea Test Code Train 時間がかかる GPU の利用 26

24 ディープラーニング SDK ディープラーニングの開発を強力にサポートディープラーニング SDK DIGITS cudnn cusparse cublas NCCL 27

25 DL 学習を加速する CUDA ライブラリ cudnn ディープラーニング用ライブラリ cublas 密行列演算ライブラリ cusparse 疎行列演算ライブラリ cusparse 28

y 2 A 11 A 21 A 31 A 12 A 22 A 32 A 13 A 23 A 33 α A 24 A 25 +

26 cusparse: 疎行列演算ライブラリ自然言語処理向け機能拡張 NVIDIA cusparse 密行列 x 疎ベクトル cusparse<t>gemvi() y = α op(a) x + β y ( 例 ) テキスト内の単語の出現頻度 y 1 y 2 A 11 A 21 A 31 A 12 A 22 A 32 A 13 A 23 A 33 α A 24 A 25 + β y 3 A 14 A 34 A 15 A y 1 y 2 y 3 密ベクトル密行列疎ベクトル 29

27 CNN: コンボリューショナルニューラルネットワーク LeNet5 [LeCun et al.,1998] 全結合層畳込み層 cublas cudnn 30

m=n=k=4096, transpose=no, side=right, fill=lower cublas 6.

28 密行列演算ライブラリ : cublas GPU 向け行列演算ライブラリ (BLAS 完全準拠 ) DL で使われるのは単精度の行列積 (SGEMM) cublas 6.5 on K40m, ECC on, input and output data on device. m=n=k=4096, transpose=no, side=right, fill=lower cublas 6.5 on K40m, ECC ON, input and output data on device. MKL on Intel IvyBridge single socket 12 -core E GHz 31

29 cudnn: ディープラーニング用ライブラリ最新はバージョン 4 (2015/12~) ディープニューラルネットワークの為の GPU プリミティブ群 Caffe, Torch, Theano, Chainer, Tensor-Flow 等の主要ディープラーニングフレームワークが採用以下の OS をサポート ( 現在 ) Windows Linux(x64/ARMv7/ARM64/Power8) Mac OSX Android(ARMv7/ARM64) 32

cudnn 4 (2015/12~) 学習の高速化畳み込み演算のアルゴリズムに2D FFT tilingを追加 Batch Normalization 処理の追加 normalizationfoward 関数 normalizationbackward 関数の追加 NHWC

30 cudnn 4 (2015/12~) 学習の高速化畳み込み演算のアルゴリズムに2D FFT tilingを追加 Batch Normalization 処理の追加 normalizationfoward 関数 normalizationbackward 関数の追加 NHWC format support 4d-Tensor の入力形式が追加畳み込み演算の FP16 サポート (Tegra X1 only) Convolution の計算を FP16 に対応推論処理部の高速化 convolutionfoward の batchsize=1 の場合の最適化 33

31 cudnn Algorithms 多種多様なアルゴリズム CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_GEMM CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_PRECOMP_GEMM CUDNN_CONVOLUTION_FWD_ALGO_GEMM CUDNN_CONVOLUTION_FWD_ALGO_DIRECT CUDNN_CONVOLUTION_FWD_ALGO_FFT CUDNN_CONVOLUTION_FWD_ALGO_FFT_TILING 34

32 cudnn APIs 畳み込み演算 cudnnconvolutionforward() cudnnconvolutionbackward[bias Filter Data]() 活性化 cudnnactivationforward() cudnnactivationbackward() プーリング cudnnpoolingforward() cudnnpoolingbackward() ソフトマックス cudnnsoftmaxforward() cudnnsoftmaxbackward() 35

33 Performance cudnn: 性能向上ディープラーニング SDK 6 5 Caffe Performance M40+cuDNN3 M40+cuDNN4 4 3 AlexNet [A. Krizhevsky et al.,2012] 2 1 K40 K40+cuDNN1 0 11/2013 9/2014 7/ /2015 AlexNet training throughput based on 20 iterations, CPU: 1x E5-2680v3 12 Core 2.5GHz. 128GB System Memory, Ubuntu

34 GPU による性能向上 CNN における学習時間バッチサイズ学習時間 (CPU) 学習時間 (GPU) GPU/CPU 比 64 画像 64s 7.5s 8.5X 128 画像 124s 14.5s 8.5X 256 画像 257s 28.5s 9.0X ILSVRC12でSupervisionが使用したモデル 7 層 5 層の畳み込みと2 層の全結合 ReLU プーリングドロップアウト正規化 Caffeを使用 20 反復のトレーニング時間デュアル 10 コア Ivy Bridge CPU 1 Tesla K40 GPU CPU: Intel MKL BLAS ライブリを活用 GPU: CUDA 行列ライブラリ (cublas) を使用 37

35 DIGITS 38

36 DIGITS3 Deep Learning SDK Web ベースのディープラーニング GPU トレーニングシステムユーザーインターフェース学習 Chainer データセットの作成 Theano Torch 学習モデルの作成 NVCaffe 学習過程の可視化レイヤーの可視化 cudnn, cublas CUDA DIGITS(UI/Server) ディープラーニングの学習テストを簡単に行う為の UI 別マシンから DIGITS を操作する為のサーバ機能 NVCaffe BVLC/caffe( 本家 ) からフォーク最新の CUDA ライブラリを使用エヌビディア GPU に最適化 GPU HW GPU マルチ GPU GPU クラスタクラウド 39

37 DIGITS3 Deep Learning SDK Torch7 に対応 cudnn4 を使った学習 / 推論 HDF5 形式のデータセットのサポート学習データセットのブラウジング機能 LMDB 形式の学習データの中身を確認出来る機能が追加ジョブマネージメント機能の強化現在実行中のジョブ一覧を分かりやすく表示する機能が追加学習結果比較用ブラウザ学習済みモデルを Accuracy や Loss 率など幾つかの項目でソートしたり分析できる画面が追加 40

5x 0.0x 1-GPU 2-GPUs 4-GPUs DIGITS 2 performance vs.

38 DIGITS2: マルチ GPU による学習の高速化自動的にマルチ GPU にスケールして学習マルチ GPU にスケールする事で従来より高速に学習する事が可能 2.5x 2.0x 1.5x 1.0x 0.5x 0.0x 1-GPU 2-GPUs 4-GPUs DIGITS 2 performance vs. previous version on an NVIDIA DIGITS DevBox system 41

39 DL のアプリケーション開発を支援学習データセットの作成学習モデルの作成学習過程の可視化学習済みモデルのテスト 42

40 DIGITS DEMO 43

41 DIGITS download developer.nvidia.com/digits github.com/nvidia/digits 44

42 エヌビディアが加速するディープラーニングフレームワーク音声認識画像分析自然言語処理エンドユーザアプリケーション DIGITS ディープラーニングフレームワーク (Caffe, Chainer, Torch, Theano,Tensor-Flow) 高度に最適化された cudnn ライブラリ CUDA プログラミングツールキット GPU ハードウェア 45

43 Thank you!

Slide 1

GPU コンピューティング研究会ディープラーニングハンズオン講習エヌビディア合同会社ディープラーニングソリューションアーキテクト兼 CUDA エンジニア村上真奈追記ハンズオンのおさらいを後日行いたい方へ MNIST データセットは以下からダウンロードする事が可能です (gz 形式 ) http://yann.lecun.com/exdb/mnist/ 下記スクリプトでも簡単にデータをダウンロード可能です