Jetson and Azure ハンズオン

Size: px

Start display at page:

Download "Jetson and Azure ハンズオン"

れいなやなぎしま
5 years ago
Views:

1 DLLAB Japan Tour 2019 AI と IoT が出合う日 : IoT 編エヌビディア合同会社

(NGC) DIGITS コンテナイメージ Azure VM でコンテナ実行 Wi-Fi 参加者のコンピューター SSH 接続 2

2 本日の全体像 USB メモリ jetson-inference のビルド用ファイルなど Jetson TX2 開発者キット Jetson でビルド / 実行 VNC/SSH 接続 jetsoninference GitHub NVIDIA GPU Cloud (NGC) DIGITS コンテナイメージ Azure VM でコンテナ実行 Wi-Fi 参加者のコンピューター SSH 接続 2 Azure VM NC6 (Tesla K80 搭載 ) ILSVRC12 データセット ( サブセット ) Azure BLOB Storage

3 今日のお題 - Two Days to a Demo + Azure Azure 上の GPU 搭載 VM でトレーニング Jetson TX2 で推論 3

4 準備 4

Jetson を起動してログイン貸し出し / 即売の Jetson はユーザー名

5 Jetson の起動ログイン画面サイズ設定 1. USB ハブを介して下記のデバイスを接続キーボードマウス USB メモリ 2. HDMI ケーブルで 7 インチモニタを接続電源は USB ハブではなくテーブルタップから 3. Jetson を起動してログイン貸し出し / 即売の Jetson はユーザー名パスワードともに nvidia 4. 画面の解像度を 1024 x 600 に設定 Dot by Dot にしないと見づらいため解像度の設定は Displays から 5

6 Jetson の力を解き放つデフォルトでは 2 つの CPU コアが無効 & CPU/GPU クロックに制限がかかっていますこれを有効化最大化します 1. Jetson にログインして次のコマンドを実行 $ cd $ sudo nvpmodel -m 0 $ sudo./jetson_clocks.sh 2. 正しく設定できたことを確認 $ sudo nvpmodel -q [sudo] password for nvidia: NV Power Mode: MAXN 0 Jetpack インストール直後のおまじない MAXN になっていれば成功 Jetson を再起動した場合 jetson_clocks.sh は再度実行が必要 6

7 Jetson の IP アドレスを取得 1. Jetson で次のコマンドを実行 $ ip a s wlan0 grep inet inet /24 brd scope global dynamic wlan0 inet6 fe80::6e84:497b:8009:4ead/64 scope link ここで調べて IP アドレスを後ほど VNC あるいは SSH の接続先に指定します 7

8 Jetson の操作方法直接 or SSH or VNC 備え付けの小型モニタで直接操作しても構いませんが PC から SSH や VNC で Jetson に接続すれば大きな画面で操作できますし Jetson のスクリーンショットを PC に保存して作業ログを取ることなども簡単です SSH 接続のツールは Tera Term や MobaXTerm 等使い慣れたもので結構です MobaXTerm で SSH 接続 8 VNC Viewer で接続

9 VNC Viewer での接続方法 (1/2) 1. Jetson のデスクトップで Desktop Sharing を検索して開く 2. Allow other users to control your desktop を有効化 3. Jetson のデスクトップでターミナルを開いて次のコマンドを実行 $ gsettings set org.gnome.vino require-encryption false 9

PC VNC Viewer での接続方法 (2/2) 1. PC に VNC Viewer をインストール Download VNC Viewer https://www.realvnc.

10 PC VNC Viewer での接続方法 (2/2) 1. PC に VNC Viewer をインストール Download VNC Viewer 2. PC で VNC Viewer を起動し Jetson へ接続 1. VNC Server フィールドに Jetson の IP アドレスを入力 2. Name フィールドには適切な名前を設定 10

11 以降の作業場所をつくる Jetson のホームディレクトリには jetson_clocks.sh や tegrastats など重要なファイルがいくつもあります作業中に誤ってこれらを削除しないためにもホームディレクトリで直接作業せず作業用のディレクトリを一段作っておきます 1. Jetson にログインして次のコマンドを実行 $ rm -rf ~/handson $ mkdir ~/handson 以降の Jetson での作業は基本的にこの ~/handson ディレクトリ配下で行います 11

12 Jetson で推論デモプログラムを試す 12

13 jetson-inference とは Jetson 上で次のタスクを試すことができるオープンソースプロジェクト Image Classification ( 画像分類 ) Object Detection ( 物体検出 ) Image Segmentation ( 画像セグメンテーション ) 推論最適化ランタイムの TensorRT を使った高速な推論を簡単に実行できる 13

14 jetson-inference のインストール本来 jetson-inference はソースからビルドする必要がありますが本日は時間の都合上ビルド済みのファイルを使います 1. 配布された USB メモリが Jetson に接続されていることを確認してから次のコマンドを実行 $ cd ~/handson $ tar zxvf /media/nvidia/jetson/jetson-inference.tar.gz 推論サンプルプログラムは ~/handson/jetson-inference/build/aarch64/bin/ に展開されます 14

推論サンプルプログラムの実行画像分類 (Image Classification) コンソール版 jetson-inference にはいくつかの学習済みモデルとそれを使う推論サンプルプログラムが含まれますまず画像分類を行うプログラムを試してみましょう形式 : imagenet-console { 入力画像ファイル } { 出力画像ファイル } 入力画像ファイルを画像分類し

15 推論サンプルプログラムの実行画像分類 (Image Classification) コンソール版 jetson-inference にはいくつかの学習済みモデルとそれを使う推論サンプルプログラムが含まれますまず画像分類を行うプログラムを試してみましょう形式 : imagenet-console { 入力画像ファイル } { 出力画像ファイル } 入力画像ファイルを画像分類し推論結果を書き込んで出力します実行例 : $ cd ~/handson/jetson-inference/build/aarch64/bin/ $./imagenet-console orange_0.jpg output_0.jpg 既存の orange_0.jpg を受け取って output_0.jpg を生成します 15

$./imagenet-camera googlenet # GoogLeNet で推論 $.

16 推論サンプルプログラムの実行画像分類 (Image Classification) カメラ版 imagenet-camera は Jetson のカメラから画像を受け取りリアルタイムに推論を実行します $ cd ~/handson/jetson-inference/build/aarch64/bin/ $./imagenet-camera googlenet # GoogLeNet で推論 $./imagenet-camera alexnet # AlexNet で推論 16

17 クラウド側での学習 17

18 ここではクラウド側にフォーカス NVIDIA GPU Cloud (NGC) まずは Azure 上で GPU 推論情報を送信搭載 VM を作成 DIGITS コンテナイメージ Azure VM でコンテナ実行 Azure VM NC6 (Tesla K80 搭載 ) 18 ILSVRC12 データセット ( サブセット ) Azure BLOB Storage

19 PC Azure Cloud Shell の実行 GPU 搭載 VM を作成するために Azure Cloud Shell を実行します Azure ポータル ( の上部にあるをクリックし Bash を選択しますこれは初回のみ 19

20 PC Azure GPU VM の起動 1. Azure Cloud Shell 上に VM 作成スクリプトをダウンロードして実行します $ wget $ chmod +x new-ngcvm.sh $./new-ngcvm.sh このスクリプトは westus2 ( 米国西部 2) リージョンに NC6 インスタンスを 1 台起動し DIGITS のために 5000/tcp ポートを開けます NC6 インスタンスは NVIDIA Tesla K80 GPU を 1 基 ( 正確には K80 を構成している 2 基の GPU の内 1 基 ) 搭載しています 20

21 Microsoft Azure N シリーズ GPU インスタンス Tesla K80, M60, P40, P100, V100 名称 CPU コア数メモリ GPU RDMA NV GB Tesla M60 半分 (GPU 1 基 ) NV GB Tesla M60 1 枚 (GPU 2 基 ) NV GB Tesla M60 2 枚 (GPU 4 基 ) NC GB Tesla K80 半分 (GPU 1 基 ) NC GB Tesla K80 1 枚 (GPU 2 基 ) NC GB Tesla K80 2 枚 (GPU 4 基 ) NC24r GB Tesla K80 2 枚 (GPU 4 基 ) InfiniBand 21

22 NVIDIA GPU 製品のおおまかな一覧 Fermi (2010) Kepler (2012) Maxwell (2014) Pascal (2016) Volta (2017) Turing (2018) HPC 用 M2070 K80 データセンタ & クラウド Tesla DL 用 GRID 用 K2 K520 M6 M40 M60 M10 P4 P40 P6 P100 V100 T4 プロフェッショナルグラフィックス Quadro 6000 K6000 M6000 P5000 GP100 GV100 RTX 8000 RTX 6000 ゲーミング GeForce GTX 580 GTX 780 GTX 980 GTX 1080 TITAN X TITAN V TITAN RTX RTX 2080 Ti 22

Microsoft Azure N シリーズ GPU インスタンス Tesla K80, M60, P40, P100, V100 名称 CPU コア数メモリ GPU RDMA NC6 v2 6 112 GB Tesla P100 x 1 - NC12

Tesla P40 x 1 - ND12 12 224 GB Tesla P40 x 2 - ND24 24 448 GB Tesla P40 x 4 - ND24r 24 448 GB Tesla P40 x 4 InfiniBand NC6 v3

23 Microsoft Azure N シリーズ GPU インスタンス Tesla K80, M60, P40, P100, V100 名称 CPU コア数メモリ GPU RDMA NC6 v GB Tesla P100 x 1 - NC12 v GB Tesla P100 x 2 - NC24 v GB Tesla P100 x 4 - NC24r v GB Tesla P100 x 4 InfiniBand ND GB Tesla P40 x 1 - ND GB Tesla P40 x 2 - ND GB Tesla P40 x 4 - ND24r GB Tesla P40 x 4 InfiniBand NC6 v Tesla V100 x 1 - NC12 v Tesla V100 x 2 - NC24 v Tesla V100 x 4 - NC24r v Tesla V100 x 4 InfiniBand 23

24 PC GPU 搭載 VM ができあがったら以下の情報が表示されるのでどこかに保存しておくと便利です SSH 接続の際に使用するホスト名 (FQDN) DIGITS に接続する際の URL ハンズオン終了後に環境を削除するためのコマンド表示される情報の例 FQDN: nvd westus2.cloudapp.azure.com USERNAME: nvidia PASSWORD: jetsontx2!!! DIGITS URL: 24

25 VM ができたら DIGITS コンテナを起動 NVIDIA GPU Cloud (NGC) NGC の DIGITS コンテナイメージを取得して実行 DIGITS コンテナイメージ Azure VM でコンテナ実行 Azure VM NC6 (Tesla K80 搭載 ) 25 ILSVRC12 データセット ( サブセット ) Azure BLOB Storage

26 PC 作成した GPU 搭載 VM にログイン 1. MobaXTerm 等のツールで VM へ SSH 接続 SSH 接続先ユーザー名パスワード VM 作成時に表示された FQDN nvidia jetsontx2!!! ( びっくりマークは 3 回 ) VM の FQDN がわからなくなったらポータルで確認してコピーも可能 26

27 学習データをストレージからコピー ILSVRC2012 データセットの約 1/10 を抜粋した縮小版データセットを Azure ストレージに用意してあります 1. 次のコマンドを実行してダウンロードし ~/data に展開 $ wget $ mkdir ~/data $ tar zxvf 12_classes_19286.tar.gz -C ~/data # -C の C は大文字 27

28 NGC の DIGITS イメージからコンテナを起動 1. 以下のコマンドでコンテナを起動 $ docker run --runtime=nvidia -d -p 5000:5000 -v ~/data:/data nvcr.io/nvidia/digits:18.10 初回は起動に 5 分ほどかかります最新のイメージは NC インスタンスでは動作しませんそのためタグを指定します -v オプションによって先ほどデータを展開したホストの ~/data ディレクトリがコンテナの /data にマップされます -p オプションによってホストの 5000 番ポートがコンテナの同じく 5000 番にマップされます 28

可視化ツール数々のパートナーアプリケーション数週間ではなく数分でイノベーションを生み出すソフトウェア環境を構築するための複雑な作業を

29 NVIDIA GPU CLOUD GPU 対応アプリケーションの総合カタログ数十種類の GPU 対応アプリケーションイメージ各種ディープラーニングフレームワークサードパーティの HPC アプリケーション NVIDIA の HPC 可視化ツール数々のパートナーアプリケーション数週間ではなく数分でイノベーションを生み出すソフトウェア環境を構築するための複雑な作業を大幅に軽減しますあらゆる環境からアクセス Volta あるいは Pascal 世代 GPU を搭載した PC NVIDIA DGX Systems 製品群そして複数のクラウドサービスプロバイダ 29

30 NVIDIA DIGITS GPU で高速化されたディープラーニングトレーニングシステム学習データの作成モデルの作成学習過程の可視化モデルのテスト 30

31 NVIDIA DIGITS GPU で高速化されたディープラーニングトレーニングシステムユーザーインターフェースデータセットの作成学習モデルの作成学習過程の可視化レイヤーの可視化画像分類と物体検出の為の DNN のデザインと可視化の機能を提供 Theano TensorFlow Torch NVCaffe cudnn, cublas NVIDIA が最適化したフレームワークで高速に学習が可能ハイパーパラメータのチューニングを強力にサポート学習 CUDA 学習のジョブを簡単にスケジューリングリアルタイムに accuracy と loss を監視 GPU HW GPU マルチ GPU GPU クラスタクラウド様々な学習データフォーマットフレームワークに対応 31

32 PC コンテナが起動したら DIGITS にアクセスこのようにプロンプトが戻ってくればコンテナ起動完了 Digest: sha256:28ed527eebfd01ea1b7e08b5229aba233f38f33da5a4d1c572d46b a Status: Downloaded newer image for nvcr.io/nvidia/digits:18.10 dcaeba19192ed437e0eaa4dd9109b21a2e3516c302f892c21cc00cc3ebeebc89 $ PC あるいは Jetson のブラウザから DIGITS の URL にアクセスこの URL は VM 作成完了時に表示されたものでユーザー毎に違いますコンピューター名.westus2.cloudapp.azure.com:5000/ 32

33 補足 : コンテナにログインしたいときは? なおコンテナにログインして中を見たいときはコンテナでシェルを実行すれば OK 1. まず docker ps コマンドでコンテナ ID を確認して $ docker ps CONTAINER ID IMAGE コンテナ ID COMMAND CREATED STATUS PORTS NAMES dcaeba19192e nvcr.io/nvidia/digits:18.10 "/usr/local/bin/nvid " 28 minutes ago Up 27 minutes :5000->5000/tcp, 6006/tcp epic_elion 2. コンテナでシェルを実行 $ docker exec -it コンテナ ID /bin/bash root@dcaeba19192e:/workspace# hostname ここはコンテナの中 dcaeba19192e 33

34 NVIDIA DIGITS の画面構成左上の DIGITS をクリックすると常に最初の画面に戻れます (Models タブがクリックされた状態に ) Datasets タブ学習用のデータセットの作成に使います Models タブニューラルネットワークの学習を実行するのはこちら 34

35 ILSVRC2012 のサブセットで学習 ILSVRC2012 の 1000 クラスデータセットは 100GB 程度ありハンズオンの時間の中ではデータセットを作成することすらままなりません先ほど BLOB ストレージからコピーしてコンテナにマッピングしたのはクラス数を 12 クラスに統合し 2 万枚弱をランダムに抜き出した ILSVRS2012 のサブセットです 35

36 PC データセットの作成 Datasets タブを選択後 New Dataset > Images から Classification を選択初回だけログインを求められるのでユーザー名を入力 ( 英数小文字 ) 36

PC データセットの作成 1. Image Type : Color 2. Image Size : 256 x 256 3.

37 PC データセットの作成 1. Image Type : Color 2. Image Size : 256 x Training Images: /data/12_classes_ Group Name: ImageNet 5. Dataset Name: 12_classes 6. Create ボタンを押す ( データセット作成に 3 分程度 ) 37

38 PC データセットを眺めてみる 1. Explore the db ボタンをクリック 38

39 PC モデルの作成 1. 左上の DIGITS をクリックして HOME 画面に戻る 1. クリックしてホーム画面へ 2. Models タブを選択後 New Model > Images から Classification を選択 2. ここを選択 39

Standard Networks: GoogLeNet 5. GroupName: ImageNet 6.

40 PC モデルの作成 1. Select Dataset: 12_classes ( 先ほど作成したやつ ) 2. Training epochs: 1 ( とりあえず ) 3. Subtract Mean: Pixel 4. Standard Networks: GoogLeNet 5. GroupName: ImageNet 6. Model Name: 何か適当に 7. Create をクリック (1 epoch に 3 分ぐらい ) 40

41 PC 学習経過の確認学習率損失関数の値 ( ロス ) 41

42 PC テスト用画像で推論してみる配布した USB スティックの images フォルダにテスト用の画像がいくつかありますこれを Upload image のところに指定して Classify One をクリックします 42

43 認識結果の確認 1 エポックだとまだまだですね 43

44 PC トレーニング済みモデルを試す配布した USB メモリの models フォルダにトレーニング済みのモデルが何種類か入っています 1. Pretrained Models タブを選択 2. Upload Pretrained Model を選択 3. Upload Tar or Zip Archive を選択あらかじめ準備しておいたものがこちらに方式 4. USB メモリの models フォルダから一つ選択 44

45 100 エポック回すとこんな感じ 45

46 PC もう一度モデルを作る 1. 先ほどのモデルを開き Clone Job で複製すると簡単です 2. Pretrained Networks から先ほど取り込んだ学習済みモデルを選択します 46

47 誤差 E 学習率に留意してください重みの更新量を調整する係数誤差 E 学習率が大きすぎると最適解付近を往復学習率が小さすぎると学習の進みが遅い w n+1 w n+2 w n 重み w w n w n+1 w n+2 47

48 Jetson での推論処理 48

49 PC 学習済みモデルのダウンロードこの作業は Jetson あるいは PC 上で行います 1. DIGITS へアクセス 2. モデルの学習結果が表示される画面の下部にある Download Model をクリック 3. Jetson でダウンロードした場合は ~/Downloads ディレクトリへ保存されます 4. PC でダウンロードした場合は USB メモリ経由あるいは SSH を使って Jetson の ~/Downloads ディレクトリへコピーします 49

50 学習済みモデルを使った推論処理この作業は Jetson 上で行います 1. ダウンロードしたモデルの.tar.gz ファイルを展開 ( 下記は一例です緑部分を適切に置き換えてください ) $ cd ~/handson/jetson-inference/build/aarch64/bin/ $ tar zxvf ~/Downloads/ dfe_epoch_3.0.tar.gz 2. モデルを指定して imagenet-console を実行 $./imagenet-console orange_0.jpg output_0.jpg --prototxt=deploy.prototxt --model=snapshot_iter_1353.caffemodel --labels=labels.txt --input_blob=data --output_blob=softmax 50

51 ハンズオン環境の後片付け 1. [ 貸し出し機のみ ] Jetson のハンズオンディレクトリを削除 $ cd $ rm -rf ~/handson $ rm -rf ~/Downloads/* 2. Azure の Cloud Shell ( スライド 21 を参照 ) で次のコマンドを実行 $ az group delete --name jetsonazure --yes GPU 搭載 VM とその関連リソース ( ディスクや NIC 等 ) がすべて削除されます 51

Jetson and Azure ハンズオン

Jetson and Azure ハンズオン DLLAB Japan Tour 2019 AI と IoT が出合う日 : IoT 編 @ 名古屋 2019/02/25 エヌビディア合同会社本日の全体像 USB メモリ jetson-inference のビルド用ファイルなど Jetson TX2 開発者キット SSH 接続 Jetson でビルド / 実行 jetsoninference GitHub NVIDIA GPU Cloud (NGC)