ディープラーニングの最新トレンドとエヌビディアの最新GPU

Transcription

1 ディープラーニング最新事情報ならびにその進化を支える NVIDIA の GPU と戦略 エンタープライズ事業部事業部長 井﨑武士

2 創業 1993 年 共同創立者兼 CEO ジェンスン フアン (Jen-Hsun Huang) 1999 年 NASDAQ に上場 (NVDA) 1999 年に GPU を発明その後の累計出荷台数は 1 億個以上 218 会計年度の売上高は 97 億ドル 社員は世界全体で 12, 人 約 7,3 件の特許を保有 本社は米国カリフォルニア州サンタクララ 2

3 ディープラーニングの目覚しい進化 1% 9% 8% 従来 CV 手法 IMAGENET 正答率 ディープラーニング 7% 6% 量子化学を用いる手法で 5 年かかっていた新薬候補の選別を 8 分で実現 X 線画像読影診断で肺がんの検出率が読影診断医の 1.5 倍 217 年 5 月 WannaCry の攻撃を顧客エンドポイントで 1% 防御 5% 4% 3% 2% 1% % みずほ証券が株価のトレードに Deep Learning を導入 FANUC がピッキングロボットで 8 時間の学習で 9% の取得率を達成 DeepMind の AlphaGo が囲碁で世界チャンピオンを越える

4 ディープラーニング現状と今後

5 ディープラーニングの現状 1. 一部の基本タスクにおける精度競争は落ち着きつつある 基本タスクの効率化などにシフト より難しいタスクでの精度競争は継続中 2. 応用的 組み合わせ的な方向への進化が加速 画像 + 自然言語のような組み合わせ 生成系やより高度な処理への拡張 HPC との融合 5

6 エラー率 (%) 32 認識系タスクの精度推移 (non deep) 26% 画像認識 21(non deep) 2-3% 音声認識 % % % % % % % % % Human: 5% 前後 6

7 子供の成長問題 AI が検知 Detecting growth-related problems in children requires calculating their bone age. But it s an antiquated process that requires radiologists to match X-rays with images in a 195s textbook. Massachusetts General Hospital, which conducts the largest hospital-based research program in the United States, developed an automated bone-age analyzer built on the NVIDIA DGX-1. The system is 99% accurate and delivers test results in seconds versus days 7

8 電子機器製造における活用 Foxconn NVIDIA 産業電子機器製造 ユースケースアセンブリ 回路基板 実装技術 (SMT) 問題品質検査マニュアルな作業作業者によるばらつき 8

9 電子機器製造における活用 Foxconn NVIDIA 参考データ正常品 コンポーネント欠落品データ 1-2 個のコンポーネントが未実装 不具合箇所特定 9

10 半導体製造における AI 活用 リソグラフィーによる不良個所検出 ゴール : イールド改善のための OPC 後のリソグラフィーにおけるホットスポット検出 Challenges: 極小なサイズの特徴点 (<2 nm) 複雑化するレイアウトパターン データ不均衡 ( 希少なホットスポットデータ ) Approach: CNN-based Deep Learning 結果 vs. 最高水準現行技術 : 従来技術と比較して 24% の平均遅延改善 ICCAD 212 を超えるパフォーマンス 手作業不要な機能 Imbalance Aware Lithography Hotspot Detection: A Deep Learning Approach; H. Yang et al, CUHK & ASML Brion 1

11 社会インフラ検査 不具合検出とメンテナンス Goal: 不具合検出と原因診断 Challenges: ほとんどラベルの無い膨大なデータ スピードと精度が要求される 既存技術は労働集約型機能を使用しており 特殊技能が要求される Motivation: 米国では橋の検査に毎年 2 兆円を超える投資が必要 Deep Active Learning for Civil Infrastructure Defect Detection and Classification, C. Feng et al, Mitsubishi Electric Research Laboratories (MERL) 11

12 OPTIX 5. AI DenoisingとMotion BlurのSDKを提供 12

13 13

14 NVIDIA DGX-1, TESLA GPU, JETSON TX-1 により加速する NTT DOCOMO の AI 開発 AI コンシェルジュがあなたに合うファッションアイテムを見つけてくれる タクシーの需要予測 AI エンジンがドライバーにどこでお客さんが多く待っているかを教えてくれる 写真のバックアップクラウドが瞬時に写真を取り出せる AI カメラが素晴らしい写真を撮るガイドをしてくれる GPU ジョブ管理システム 14

15 Deep Compression Song Han PhD student, Stanford University 15

16 DENSE NET Gao Huang, Cornell University Dense Connection を導入前層出力の再利用により省メモリ 高速化を実現 16

17 DENSENET と RESNET の比較 17

18 PSP NET Hengshuang Zhao The Chinese Univeristy of Hong Kong ADE2K での結果 PASCAL VOC 212 での結果 18

19 LIP READING Joon Son Chung et al, Department of Engineering Science, University of Oxford. Google DeepMind Lip Reading WAS: Watch, Attend&Spell LAS: Listen, Attend & Spell WLAS: Watch, Listen, Attend & Spell CL: Curriculum Learning SS: Scheduled Sampling BS: Beam Search 19

20 AI FACIAL ANIMATION アニメーションの生成を 8% 高速に ビデオ配信中 : Audio-Driven Facial Animation by Joint End-to-End Learning of Pose and Emotion, TERO KARRAS et.al, NVIDIA 2

21 Generative Adversarial Network

22 STACKGAN 22

23 23

24 PROGRESSIVE GROWING OF GAN Tero Karras, NVIDIA

25 Progressive Growing of GAN 25

26 AI と HPC の融合 PRINCETON & ITER: PARTICLE PHYSICS 9% Accuracy for Fusion Sustainment UIUC & NCSA: MULTI-MESSENGER ASTROPHYSICS 5,X LIGO Signal Processing LIGO Detection of Gravitational Waves 26

27 NVIDIA の GPU

28 ディープラーニングを加速する 3 要因 アルゴリズム ビッグデータ GPU TORCH THEANO MOCHA.JL CAFFE MATCONVNET PURINE 日々 3.5 億イメージがアップロード 1 時間に 2.5 兆件の顧客データが発生 TFLOPS NVIDIA GPU x86 CPU 1. MINERVA MXNET* 1 分間に 1 時間のビデオがアップロード

29 畳込み層と全結合層 畳込み層で画像の特徴を学習 全域的な特徴は全結合層 目的物体認識 顔認識 トレーニングデータ 1, 万 ~1 億イメージ ネットワークアーキテクチャ AlexNet 1 層 ラーニングアルゴリズム 3 エクサフロップスの計算量 GPU を利用して 3 日 212 年 畳込み層 全結合層 29

30 全結合層と畳み込み層 3

31 入力 全結合層 (FULLY CONNECTED LAYER) 重み w[nx][ny] 出力 行列ベクトル積 計算量 : 2 * output nodes (Ny) * input nodes (Nx) w[nx][ny] x[nx] y[ny] x = X[Nx] y[ny] 行列 ベクトル 31

32 入力 全結合層 (FULLY CONNECTED LAYER) 重み W[Nx][Ny] ミニバッチで行列積に 出力 計算量 : 2 * output nodes (Ny) * input nodes (Nx) * batch size (Nb) W[Nx][Ny] X[Nb][Nx] Y[Nb][Ny] x = X[Nb][Nx] Y[Nb][Ny] 行列 行列 32

33 畳込み層 (CONVOLUTIONAL LAYER) 入力 重みコンボリューションカーネル -4-8 出力 計算量 : 2 * output width * output height * kernel width * kernel height コンボリューションカーネルの係数と 入力ピクセルを掛け 足し合わせた値を出力とする 33

34 入力出力畳込み層 (CONVOLUTIONAL LAYER) 計算量 : 2 * output width * output height * kernel width * kernel height * input channels * output channels * batch size 重み

35 なぜ GPU が使われるのか 学習で時間のかかるのは 畳込み層と全結合層 どちらも 積和演算の塊とみなすことができる ( 行列乗算 ) D = A * B + C これを高速に実行できるチップが 学習に適切 cublas 今 最もこれに適切なのは GPU 35

36 NVIDIA CUDNN CNN, RNN で良く使われる処理をライブラリとして提供 主要 DL フレームワークが採用 : TensorFlow, MXNet, PyTorch, 様々な条件向けに性能チューニング 例 : Convolution 層 : 複数アルゴリズムから適切なものを選択 GEMM IMPLICIT_GEMM DIRECT FFT WINOGRAD developer.nvidia.com/cudnn 36

37 トレーニングの加速 37

38 複雑化 巨大化するモデル 15 ExaFLOPS 8.7 Billion パラーメタ 7 ExaFLOPS 6 Million パラメータ 2 ExaFLOPS 3 Million パラメータ Microsoft ResNet Baidu Deep Speech Google NMT 38

39 複雑化 巨大化するモデル 計算パワーは もっと必要 15 ExaFLOPS 1GPU で 1 年以上 7 ExaFLOPS 1GPU で 1 ヶ月弱 2 ExaFLOPS 1GPU で 2.5 ヶ月 Microsoft ResNet Baidu Deep Speech Google NMT 39

40 Tesla V1 AI と HPC のための大きな飛躍 Tensor コアを搭載した Volta アーキテクチャ 21 億トランジスタ TSMC 12nm FFN 815mm CUDA コア 7.8 FP64 TFLOPS 15.7 FP32 TFLOPS 125 Tensor TFLOPS 総レジスタファイル 2MB 16MB キャッシュ 9 GB/s の 16GB HBM2 3 GB/s NVLink 4

41 新開発 Tensor コア CUDA Tensor 演算命令及びデータフォーマット 4x4 行列処理配列 D[FP32] = A[FP16] * B[FP16] + C[FP32] ディープラーニングに最適化 アクティベーション入力重み入力出力結果 41

42 Tesla V1 搭載 NVIDIA DGX-1 AI 研究に必須の道具 96 Tensor TFLOPS Tesla V1 8 基 NVLink ハイブリッドキューブ TITAN X で 8 日かかる計算が 8 時間に CPU サーバー 4 台分の性能がワンボックスに 42

43 NVIDIA DGX ステーションパーソナル DGX 48 Tensor TFLOPS Tesla V1 4 基 NVLink 全結合 3 つの DisplayPort 15W 水冷 43

44 NVIDIA GPU CLOUD AI と HPC のあらゆる環境とすべての開発者へ 開発者の時間を節約複雑な DL と HPC のソフトウェア環境構築から開発者を開放 様々なプラットフォームに対応オンプレの DGX システムからクラウドサービスが提供する GPU インスタンスに至るまですべての環境でコンテナを利用可能 最新の環境性能確認を NVIDIA が行い 月次でアップデート NVIDIA GPU Cloud は GPU で最適化されたディープラーニングのフレームワーク HPC アプリケーション ランタイムライブラリ CUDA をコンテナ化し すぐに動作可能な状態で無償提供 44

45 本当に 計算パワーは もっと必要なのか? アプリケーションに依存 深層学習の用途 IT 分野からミッションクリティカル分野に拡大 ミッションクリティカル分野では より高い精度が必要 例 : 自動運転 99% の正解率で十分? 45

46 自動運転に必要なもの Localization Semantic Segmentation Object Detection Planning 46

47 本当に 計算パワーは もっと必要なのか? アプリケーションに依存 深層学習の用途 IT 分野からミッションクリティカル分野に拡大 ミッションクリティカル分野では より高い精度が必要 例 : 自動運転 99% の正解率で十分? もっとモデル精度向上の必要なアプリがある Question: もっと精度を上げるにはどうすればよいのか 47

48 モデル精度向上には 教師データ増が有効 Chen Sun et al., Revisiting Unreasonable Effectiveness of Data in Deep Learning Era, 217 深層学習の成功の要因 ( 画像処理系 ) 大規模な教師データ NN モデルの多層化 大容量化 計算パワーの増大 Q: 教師データをもっと増やしたら何が起きるのか ImageNet: 12 万枚の画像 JFT-3M: 3 億枚の画像 ( ラベルは noisy) 48

49 モデル精度向上には 教師データ増が有効 Chen Sun et al., Revisiting Unreasonable Effectiveness of Data in Deep Learning Era, 217 教師データサイズと認識精度の関係 Object detection (ResNet-11) 左 :COCO, 右 :PASCAL VOC 27 モデルサイズと認識精度の関係 Object detection (COCO) ResNet-5/11/152 Better Better 教師データサイズの指数に比例して精度向上 モデルサイズ増で精度向上ただし大量の教師データ必要 49

50 どれぐらいの教師データが必要なのか 自動運転向けのデータ収集状況から推測 シナリオ 1 シナリオ 2 データ収集車 データ収取期間 1 年 (25 日 ) 8 時間 / 日 1.5 年 (375 日 ) 1 時間 / 日 データ量 (1 台 ) 1 TB / 時間 1.5 TB / 時間 総データ量 2 PB 733 PB 利用率 圧縮率.5%.1% 教師データ量 1 TB 733 TB 5

51 WAYMO S FLEET REACHES 4 MILLION SELF- DRIVEN MILES 4 million miles (Waymo s fleet) 2.5 billion miles (Simulation) (*) Google 51 社より引用

52 推定トレーニング時間 自動運転向けのデータ収集状況から推測 DGX-1 (8x P1) シナリオ 1 シナリオ 2 教師データ量 1 TB 733 TB エポック数 3 5 トレーニング時間 (*) AlexNet 12 MB/s 1. ヶ月 1. 年 ResNet5 224 MB/s 5.2 ヶ月 5.3 年 Inception V3 152 MB/s 7.6 ヶ月 7.7 年 (*) DGX-1 (P1 8GPU) 使用時の推定値 計算パワーはもっと必要 52

53 ANNOUNCING NVIDIA NVIDIA SATURNV WITH WITH VOLTA VOLTA 4 PetaFLOPS Peak FP64 Performance 66 PetaFLOPS DL FP16 Performance 66 NVIDIA DGX-1 Server Nodes 53

54 どうやってトレーニング時間を短縮するか 単体 (1 ノード, 1GPU) のスピードを上げる 現在の主流は 単精度 (FP32) によるトレーニング より精度の低い演算器を使う ( 半精度 FP16) 多数のノード /GPU を使う 大量のノードを使って 一つのトレーニング時間を短縮する 54

55 16 ビット演算でトレーニング高速化 55

56 GPU の FP16 演算ユニット Volta Tensor Core Tensor Core FP16 FP16 FP16 FP32 + FP32 FP32 P1 V1 FP16 2 TFLOPS 12 TFLOPS FP32 1 TFLOPS 15 TFLOPS 56

57 FP16 でモデル精度は維持できるのか? FP16 の問題 1-bit 5-bit 1-bit ダイナミックレンジが狭い (2-14 から 2 15 ) 勾配が消失する ウェイトが更新されない 57

58 FP16 で精度を維持する方法 Mixed Precision Training docs.nvidia.com/deeplearning/sdk/mixed-precision-training/index.html 2 つのテクニック ウェイトの管理 更新に FP16 と FP32 の両方を使う Forward, Backward 中は FP16 を使用 Update は FP32 を使用 ロス スケーリング 更新処理の時間比率はわずか ロス値をスケールアップし 勾配消失を緩和 ウェイト更新直前に 勾配値をスケールダウン 58

59 FP32 ウェイト更新とロス スケーリング Forward Backward 損失関数 誤差 Update 勾配 勾配 勾配 勾配 勾配 勾配 勾配 Update のときに FP32 ウェイトを更新し 更新後に FP16 ウェイトを作成する Backward 直前に誤差をスケールアップし ( 例 :1 倍 ) Update 直前に勾配をスケールダウンする ( 例 :1/1 倍 ) 59

60 FP16 で精度を維持する方法 Mixed Precision Training docs.nvidia.com/deeplearning/sdk/mixed-precision-training/index.html FP16 でも FP32 モデルとほぼ同じ精度 主要な DL フレームワークで利用可能 NVCaffe, Caffe2 MXNet, PyTorch TensorFlow, Theano Microsoft Cognitive Toolkit Chainer Better 6

61 Tensor Core による性能向上 P1 FP32, V1 FP32 vs. V1 Tensor Core Resnet5 x Conv, 1x1, 64 BN ReLU Conv, 3x3, 64 BN ReLU Conv, 1x1, 256 BN + ReLU (*) Chainer 3..rc1+ と CuPy 2..rc1+ を使用 61

62 Tensor Core による性能向上 P1 FP32, V1 FP32 vs. V1 Tensor Core ImageNet, Resnet5, Batch:128 Time per iteration [ms] P1 FP32 57 ms V1 FP32 36 ms V1 Tensor Core 197 ms 約 3 倍 Conv BN Relu Cupy_* Misc. (*) Chainer 3..rc1+ と CuPy 2..rc1+ を使用 62

63 マルチノードでトレーニング高速化 63

64 マルチノード トレーニング ( 分散学習 ) 多数の演算ノード GPU を使って学習を加速 モデル精度を下げずに 学習時間を短縮するテクニックの研究開発 ホットトピック Better Facebook, Google, Microsoft, Baidu, PFN, (*) Priya Goyal, et al., Facebook, Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour 64

65 マルチノード トレーニング ( 分散学習 ) 多数の演算ノード GPU を使って学習を加速 モデル精度を下げずに 学習時間を短縮するテクニックの研究開発 ホットトピック Better Facebook, Google, Microsoft, Baidu, PFN, P1 (8) P1 (256) KNL (72) Xeon (16) P1 (124) (*) 65

66 データ並列とモデル並列 データ並列 モデル並列 GPU2 GPU2 GPU1 GPU1 データセットを分割する 各 GPU は 分割後の別サブデータセットを担当 GPU 間のデータ交換量少ない モデルを分割する 各 GPUは 分割後の別サブモデルを担当 GPU 間のデータ交換量多い 66

67 データ並列 : 同期更新と非同期更新 同期更新 非同期更新 GPU1 GPU2 GPU3 Forward Backward Update Gradients Exchange Forward Backward Update Forward Backward Update GPU1 GPU2 GPU3 Forward Backward Forward Backward Forward Backward パラーメータサーバ 67

68 非同期更新の問題 : Staleness 非同期更新 同期更新 Jianmin Chen at el., Revisiting Distributed Synchronous SGD, 217 過去モデルで計算した勾配で 最新モデルを更新 Better Better ワーカー数を冗長に設定 : N + b N ワーカーから勾配が届いたら 残りの b ワーカーを待たずに モデル更新 外乱の少ないHomogeneousな環境であ 68 れば b = でも問題ない?

69 データ並列 + 同期更新の課題 スケーラビリティ ImageNet, ResNet5, 32 バッチ /GPU 精度 : モデル精度が低下する ノード数増 バッチサイズ増 Better Facebook: 8K バッチ (256GPU) まで維持 PFN: 32K バッチ (124GPU) まで維持 性能 : 勾配交換の時間が増加する 124GPU: 2 割以上が通信時間 (*) Priya Goyal, et al., Facebook, Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour 69

70 データ並列 + 同期更新の課題 スケーラビリティ ImageNet, ResNet5, 32 バッチ /GPU 精度 : モデル精度が低下する ノード数増 バッチサイズ増 Facebook: 8Kバッチ (256GPU) まで維持 PFN: 32Kバッチ (124GPU) まで維持 性能 : 勾配交換の時間が増加する 124GPU: 2 割以上が通信時間 Better (*) 7

71 モデル精度を維持しつつ バッチサイズを増やす Samuel L. Smith, et al., Don t Decay the Learning Rate, Increase the Batch Size, 217 ラーニングレートの低下と バッチサイズの増加は SGD 的に等価 Noise scale: Better ε: ラーニングレート B: バッチサイズ 数十 epoch 経過したら ラーニングレートを下げる代わりに バッチサイズを増やせば良い 71

72 勾配交換の通信量を減らす Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training, 217? 99% 以上の勾配は 交換しなくても問題ない? 72

73 NVIDIA NCCL Multi-GPU and Multi-node Collective Communication Primitives マルチ GPU マルチノード対応 深層学習用通信ライブラリ ノード内 PCIe, NVLINK ノード間 TPC/IP, InfiniBand All-gather All-reduce Broadcast Reduce Reduce-scatter 73

74 NVIDIA NCCL Multi-GPU and Multi-node Collective Communication Primitives Better Better 74

75 最後に

76 日本ディープラーニング協会 本協会は ディープラーニングを中心とする革新的な技術による日本の産業競争力の向上を目指す そのため ディープラーニングを事業の核とする企業および有識者が中心となり 人材育成 資格試験 産業活用促進 公的機関や産業への提言 国際連携 社会との対話など 産業の健全な発展のために必要な活動を行う 76

77 アカデミックサポートプログラム 77

78 GPU Hardware Grant Program 研究促進のための GPU 無償提供プログラム ディープラーニング ロボティクス CAE などの学術研究支援として 下記の GPU を無償で提供しています 提供対象 :Titan XP, Jetson TX2, Quadro P5 < 申請方法 > 以下のページから申込みしてください 申請は英語です GPU を利用する研究テーマ どのように GPU を利用するかを明記してください 申請者の論文リスト CV も頂戴しています 申請は 高等教育機関の教員および研究員に限ります ( 企業の方 学生の方はお申込みいただけません ) 申請者あたり 1 枚 / 年です 78

79 GPU Educators Kit 教員のための講義ツール 演習環境提供 深層学習 ロボティクス コンピュータサイエンスの授業用マテリアル ( スライド 実習 サンプルコード ) を無償で提供 NVIDIA と下記の大学の共同で作成 ディープラーニング ( ニューヨーク大学 Yann LeCun 教授 ) ロボティクス ( カリフォルニア工科大学 John Seng 教授 ) Accelerated computing( イリノイ大学 Wen-Mei Hwu 教授 ) < 取得方法 > Request Teaching Kit をクリック Join now をクリック 申込フォームに記入 承認通知後 ダウンロード 79

80 ニューヨーク大学 Yann LeCun 教授による 機械学習及びディープラーニングの理論 及び Torch, PyTorchベースの演習を目的としたの教育用マテリアル < 内容 > 授業用スライド ( 次頁シラバス参照 ) テスト 演習 ニューヨーク大学 Yann LeCun 教授による機械学習 ディープラーニング理論および Torch, PyTorch ベースの演習を行うことができる教育者用マテリアル ( 英語 ) NVIDIA のディープラーニング演習コース (DLI) AWS Educate の無償クレジットも提供 < 内容 > 授業用スライド (.ppt) シラバス次頁参照実習用サンプルコード (Bitbucket 上に公開 ) 理解度確認テスト (.pdf) <GPU 提供 > 1.NVIDIAが提供するディープラーニングセルフ演習コース (DLI) 受講用チケットを提供 ( 上限あり ) DLI セルフ受講コース 2.AWS Educateのクレジットを提供教育者向け $2 学生向け $125(1 人まで ) AWS Educate 8

81 入手方法 1. 右記のサイトにアクセス 2. Join Now をクリック 3. 必要情報を入力 4. 数日以内に Accept メール Bitbucket のアカウント登録メールが届く 5. 右記のサイトにサイドアクセス ログイン 6. ログイン 7.Member area をクリック 8. ダウンロードページからダウンロードできます 4 の登録完了後にログインすると Join now から Member area に表示がかわります 81

82 Teaching Kit 利用条件 Teaching kit の登録 ダウンロード 利用は 教育関係者に限ります 本 Teaching Kit のコンテンツを 教育以外の商用目的で利用することはできません 82

83 Deep Learning Institute(DLI) ディープラーニングを演習を通して学ぶためのトレーニングプラットフォーム エヌビディアが有償で提供しているディープラーニングのハンズオンセミナー Deep Learning Institute(DLI) は これまでに世界中で 1 万人以上が受講している演習プログラムです この DLI を 学生の皆さんに無償で受けていただけけるプログラムが始まりました 海外ではすでに オックスフォード大学 カリフォルニア大学ロサンゼルス校 香港工科大学 アリゾナ州立大学などで導入され DLI が開講されています 基礎編応用分野ごとの応用編 講師付ハンズオン セルフトレーニング DLI Ambassador 募集 学生の皆さんに DLI を無償で受講いただくためには 学内等で講師をしていただく先生方に アンバサダー となっていただく必要があります 学内でディープラーニングの授業 演習を広げたいとお考えの教育機関関係者の方は お気軽にお問い合わせください 83

84 演習プログラムの特長 84

85 ハンスオントレーニング Image Classification with TensorFlow: Radiomics - 1p19q Chromosome Status Classification Deep Learning for Genomics using DragoNN with Keras and Theano Keras,TensorF low python Keras,Theano python(matplot ) Kerasの使い方 ( バックエンドはTensorFlow) CNNの基礎 Kerasを用いたCNNネットワークの定義方学習 / 推論法と学習 Kerasの使い方 ( バックエンドはTheano) 画像分類の応用として Kerasのライブラリである学習 / 推論 DragonNNを使い ディープラーニングを用いたゲノミクス ( 遺伝子学 ) 解析にチャレンジする 難易度タイトル日本語フレームワーク必要知識学習 / 推論概要難易度 1 ( はじめての方向け ) DIGITS,nvcaffe DIGITS(UIあり ) ベースでコマンドラインからの操作なし DLを用いた画像分類 ニューラルネットワークの最適化のワークフローを学べる 初心者お勧め Image Classification with DIGITS あり google protobuf 学習 / 推論 Applications of Deep Learning あり Caffe,Torch,T Caffe,Torch,Theanoの大まかな使い方 ディープラーニング初心者向けの簡単な説明が主だが 一部 python,lua 学習 / 推論ソースコードを確認しながら進める 5 分ショートコース 座学とセットで2 時間セッションにするこ with Caffe, Theano and Torch heano とも可能 DIGITS,nvcaffe れを用いて学習 Image Classification using DIGITS を先に受講することを推奨 DLによる画像分類を応用して 信号処理をしてみる スペクトグラム画像 ( 信号から画像を生成 ) し そ Signal Processing using DIGITS google protobuf 学習 / 推論難易度 2 ( 初心者向け /DLのHello worldとpythonの基礎が分かる方 ),CNNとは何であるかを理解している方 DIGITS,nvcaffe 前に受講することを推奨 FCNを用いた物体検出のワークフローや学習時の注意点を学ぶ GUIあり ImageSegmentationより Object Detection with DIGITS あり google protobuf 学習 / 推論線形回帰などの基礎的な部分からニューラルネットワークまでTFでの組み方を学ぶ マルチGPU 学習 Exploring TensorFlow on GPUs TensorFlow python(numpy) 学習 / 推論コードの書き方も説明あり Neural Network Deployment with caffe,tensorr C++/python 推論推論特化ハンズオン DIGITS caffe(python interface) TensorRTを用いた推論の実現手段を学ぶ DIGITS and TensorRT T 難易度 3 ( 中級者向け /DLの基礎が分かり アプリケーション応用など具体的な体験を希望される方) 医療画像をテーマにFCN(Full Convolutional NeuralNetwork) による領域分割方法およびチューニング Image Segmentation with あり TensorFlow python(numpy) 学習 / 推論方法を学ぶ TensorFlowの使い方についてもハンズオンあり ObjectDetectionのあとに受講すること TensorFlow を推奨 Medical Image Segmentation DIGITS,nvcaffe protobuf 追加されている caffeのpython layer 機能の説明あり python,google 内容は Image Segmentation with TensorFlow とほぼ同様で 転移学習の効果を確認する内容が あり学習 / 推論 Using DIGITS Modeling Time Series Data with EHR( 電子健康記録 ) データとディープラーニング (RNN) を用いて 患者の重症度を予測する RNNと Recurrent Neural Networks in あり Keras,Theano python(pandas) 学習 / 推論 LSTMの基礎知識があると良い Introduction to RNNs の後に受講するとを推奨 Keras Introduction to RNNs あり Torch 番外編 Image creation using Generative Adversarial Networks in Tensorflow and DIGITS Deep Learning Workflows with TensorFlow, MXNet and NVIDIA- Docker あり DIGITS, TensorFlow Lua&python(nu mpy) python, TensorFlow あり - docker - 時系列データを扱う為のRNNの特性を学ぶ 2 進数の加算と言語処理をテーマとして扱う Luaと学習 / 推論 python(numpy) の理解が必須 CNN 系のラボの後に受講することを推奨 敵対的生成ネットワーク (GAN) を用いた 画像生成を体験する はじめにMNISTデータセットで GAN 学習 / 推論の学習と画像生成を試す その後 CelebAデータセットで学習済みのモデルを用いて 顔画像の生成や属性編集などにトライする dockerおよびnvidia-dockerの基礎 Linuxのターミナル操作が出来る事が前提 DLの環境構築でデファクトとなりつつあるdocker 上でGPUを効率よく活用する方法および docker 上での85 DLワークフローを体験する

86