第 1 回ディープラーニング分散学習ハッカソン <ChainerMN 紹介 + スパコンでの実法 > チューター福圭祐 (PFN) 鈴脩司 (PFN)

Size: px

Start display at page:

Download "第 1 回ディープラーニング分散学習ハッカソン <ChainerMN 紹介 + スパコンでの実法 > チューター福圭祐 (PFN) 鈴脩司 (PFN)"

めぐのうづき
4 years ago
Views:

1 第 1 回ディープラーニング分散学習ハッカソン <ChainerMN 紹介 + スパコンでの実法 > チューター福圭祐 (PFN) 鈴脩司 (PFN)

2 2

3 Chainer: A Flexible Deep Learning Framework Define-and-Run Define-by-Run Define Define by Run Model definition Computational graph Ca Gradient function Model definition Run Training data Computational graph Gradient function Training data Computational graph Gradient function Caffe2, TensorFlow etc. 3 PyTorch, TensorFlow(Eager Execution) etc.

ChainerMN: Distributed Training with Chainer Bundled with Chainer (from Chainer v5) Enables multi-node distributed deep learning using NVIDIA NCCL2 Features Scalable: Near-linear scaling with

4 ChainerMN: Distributed Training with Chainer Bundled with Chainer (from Chainer v5) Enables multi-node distributed deep learning using NVIDIA NCCL2 Features Scalable: Near-linear scaling with hundreds of GPUs Flexible: Even GANs, dynamic NNs, and RL are applicable Distributed Training with ChainerMN Forward Backward Optimize Forward Backward All- Reduce Optimize Forward Backward 4 Optimize

5 CHAINER 活事例

6 Achievement on MN-1a: ImageNet in 15 minutes Time [min] Training time of ResNet-50 (90 epochs) on ImageNet arxiv: Extremely Large Minibatch SGD: Training ResNet-50 on ImageNet in 15 Minutes 2017 Nov 2018 July 2018 Nov 2018 Nov 11

7 Achievement on MN-1b: PFDet in OIC

bounding boxes, 1.7 million images 454 competitiors Approx.

8 Achievement on MN-1b: PFDet in OIC 2018 Google AI Open Images - Object Detection Track Competition using Largest-class image dataset 12 million bounding boxes, 1.7 million images 454 competitiors Approx. 500GB (annotated subset) Object detection: much harder than object recognition task 13

9 Achievement on MN-1b: PFDet in OIC 2018 We won the 2 nd position (0.023% diff to the 1st) 14

10 Opensourcing PFDet: Technical report is already on arxiv: arxiv:

11 PFN の計算環境

12 MN-1: An in-house supercomputer MN-1a (Sep. ʻ17~) 1024 NVIDIA Tesla P100 InfiniBand FDR Peak 9.3 Peta FLOPS (SP) #227 in Top500 Nov MN-1b (July. ʻ18~) 512 NVIDIA Tesla V100 32GB InfiniBand EDR Peak 56 Peta (tensor) Flops Targeting Exa FL ops by

13 CHAINER プログラムを秒速で MN 化する順

14 ChainerMN の動作の概要 ChainerMN は MPI という通信ライブラリの上に構築されています (MPI= 並列計算で標準的に使われる通信ライブラリ ) 要点 mpiexec というコマンドで起動する ( 後述 ) 基本的にサーバー / クライアントという概念はない ( 全プロセスが互いに対等 ) 個々のプロセスは Rank というプロセス番号を持つ (0 N-1) すべてのプロセスが同じプログラムを実する ( ただし Rank によって条件分岐することが可能 ) 19

15 device = chainer.cuda.get_device_from_id(device).use() optimizer = chainer.optimizers.adam() これだけの変更で ( 最限の )MN 化! import chainermn comm = chainermn.create_communicator('pure_nccl') device = comm.intra_rank chainer.cuda.get_device_from_id(device).use() optimizer = chainermn.create_multi_node_optimizer( chainer.optimizers.adam(), comm) if comm.rank == 0: # LogReport などを代表一人だけが出力するようにする trainer.extend( ) 20

16 MN 化のその後まずは秒速 MN 化でReedbush 上で動作確認をしましょうその後やること : scatter_dataset ( プロセス間で学習データに重複が無いように分割 ) evaluatorの並列化 ( 現在はrank 0だけのevaluationの結果が記録される ) Multi node BN ( 必要に応じて ) 21

17 普段どうやって学習を実していますか? ( フレームワークによらず ) 1. 研究室 / 社クラスタ 2. クラウド (AWS etc.) 3. スパコン 22

18 Reedbush スパコンにおける Chainer の使いスパコンは普通の計算機と環境が ( すこし ) 違います主な違い : 計算機の種類が計算ノードとログインノードに分かれている計算実するためにジョブスケジューラと呼ばれるソフトウェアを使う必要がある計算ノードからはインターネット環境にアクセスできない計算ノードからは HOME もえない 23

19 Reedbush スパコンにおける Chainer の使いスパコンは普通の計算機と環境が ( すこし ) 違います主な違い : 計算機の種類が計算ノードとログインノードに分かれている計算実するためにジョブスケジューラと呼ばれるソフトウェアを使う必要がある計算ノードからはインターネット環境にアクセスできない計算ノードからは HOME もえない 24

20 Reedbush スパコンにおける Chainer の使いなので以下のことを実しておく必要がありますインターネットからダウンロードの必要があるものはあらかじめログインノード上でダウンロードしておく Lustreという共有ファイルシステムを事実上のHOMEとして使う PythonモジュールもLustre 上にインストールする環境変数に気をつける (non-interactive 環境になるため ) ジョブスクリプトと呼ばれるものを書く必要がある 25

21 Reedbush スパコンにおける Chainer の使い使い説明 : 26

22 Reedbush スパコンにおける Chainer の使い 27

23 Reedbush スパコンにおける Chainer の使い id ng コマンドでグループ名 $USER 環境変数 ( あるいは id nu コマンド ) でユーザー名がわかる 28

24 Reedbush スパコンにおける Chainer の使い好きなエディタで env.sh の内容を作成して /lustre/$(id ng)/$user/env.sh として保存しましょう ( 完全コピペで OK) 29

25 Reedbush スパコンにおける Chainer の使い 30

26 Reedbush スパコンにおける Chainer の使い cupy ではなく cupy cuda91 を使いましょうきちんとバージョンを指定しましょう 31

27 Reedbush スパコンにおける Chainer の使い 32

28 Reedbush スパコンにおける Chainer の使い 33

29 34

30 ジョブを投げるたびに調整するところ必要がなければ触らない 35 あなたのプログラム

31 Reedbush スパコンにおける Chainer の使い #PBS l select=2:mpiprocs=2:ompthreads=1 ノード数 =2 ノードあたりの GPU 数 =2 2x2=4GPU で実ノードあたりの GPU 数は増やせないので 2 で固定がおすすめノード数を変更することで全体の GPU 数を調整開発デバッグ中は 1x2 もしくは 2x2 くらいがおすすめ 36

32 Reedbush スパコンにおける Chainer の使いおまじない mpiexec x PYTHONUSERBASE python./train_mnist.py g communicator pure_nccl 引数はスクリプトの書きによるがコミュニケーターは pure_nccl がおすすめ ( というかプログラムに書いてしまっても良い ) 37

33 38

GTC Japan, 2018/09/14 得居誠也, Preferred Networks Chainer における深層学習の高速化 Optimizing Deep Learning with Chainer

GTC Japan, 2018/09/14 得居誠也, Preferred Networks Chainer における深層学習の高速化 Optimizing Deep Learning with Chainer Chainer のミッション Deep Learning とその応用の研究開発を加速させる環境セットアップが速いすぐ習熟素早いコーディング実験の高速化結果をさっと公開論文化

第 1 回ディープラーニング分散学習ハッカソン <ChainerMN 紹介 + スパコンでの実 法 > チューター福 圭祐 (PFN) 鈴 脩司 (PFN)

第 1 回ディープラーニング分散学習ハッカソン <ChainerMN 紹介 + スパコンでの実法 > チューター福圭祐 (PFN) 鈴脩司 (PFN)