Fujitsu Standard Tool

Size: px

Start display at page:

Download "Fujitsu Standard Tool"

くにひとしもかさ
5 years ago
Views:

LSI とシステムのワークショップ 2017 2017 年 5 月 16 日 Deep

1 LSI とシステムのワークショップ年 5 月 16 日 Deep Learning 向け高効率化技術について富士通研究所コンピュータシステム研究所池敦 0

2 アウトラインはじめに背景富士通のAIへの取り組みについて富士通 Zinrai ディープラーニング Deep Learning 向け高効率化技術 Deep Learningとは Deep Learning 向け高効率化技術とは富士通のDeep Learning 向け高効率化技術 1

3 はじめに背景富士通の AI への取り組みについて富士通 Zinrai ディープラーニング 2

4 コンピュータの進化 Computations per second per computer 昨年は ENIAC が登場して 70 年の節目この 70 年間コンピュータはムーアの法則半導体の集積率は 1.5 年で 2 倍にを維持したまま長足に進化 1.E+12 1.E+09 1.E+06 ENIAC, 1946 U.S. federal government 2x / 1.5 years 1.E+03 ENIAC 1.E

5 ( ご参考 ) 富士通コンピュータの進化富士通はコンピュータの歴史と共に発展してきましたスパコン VPP-500 (1992) PRIMEHPC FX10 (2011) メインフレーム M-190 (1976) VP-100 (1982) M-780 (1985) M-1800 (1990) DS90 (1991) GS21 (2002) PRIMEQUEST (2005) SPARC M10 (2013) サーバ FACOM100 (1954) FACOM (1965) OAYSYS100 (1980) FM TOWNS (1989) FM V (1993) PC スマホ ( ユビキタス ) Arrows (2011) 4

ムーアの法則とマイクロプロセサのトレンド 2005 2025 しかしついにムーアの法則 ( フリーライド ) の終焉が目前にムーアの法則に従い順調に進化電力消費が制限にムーアの法則の終焉 10 9 10 8 10 7 10 6 マイクロプロセサのトレンド r

6 ムーアの法則とマイクロプロセサのトレンドしかしついにムーアの法則 ( フリーライド ) の終焉が目前にムーアの法則に従い順調に進化電力消費が制限にムーアの法則の終焉マイクロプロセサのトレンド r (CAGR) # of Cores Year Source: Estimated based on Stanford, K. Rupp 6

7 IoT のインパクト一方新たな変化が IoT から 2020 年には 500 億台のデバイスが接続される ( 総務省 ) 一方現 1.5 兆個のデバイスの 99.4% はインターネットに未接続 (Cisco 社 ) 今後あらゆるものが IoT で結ばれると大量のデータが常時生成される真にビッグデータの時代が一気に到来すると予想 < 出典 > IHS Technology / 総務省平成 27 年情報通信白書 8

8 データ爆発データ量 IoT などが生成するデータ量が爆発的に増大 (= データ爆発 ) 中でも非構造化データの増加が顕著にデータをそのまま貯めるのではなくその場で情報に換えさらに知識知能へと昇華させていく新しいコンピューティングが必要 1 ZB 40 ZB 1 YB データの量は爆発的に増大する : 2020 年までに 40 セッタハイト 2030 年までに 1 ヨッタハイトデータ爆発コンピューティングの変化 : データ処理から知能処理へ 1 ZB= YB=10 24 非構造化データ SoE データ (IoT センサー ) 構造化データ SoR データ ( 業務データ RDB) 現在 2020 Year 知識情報 < 出典 > 9

ムーアの法則半導体の集積度は 18 か月ごとに倍になるニーズとのギャップ 10 4 10 3 10 2 10 1 1 20nm 40nm 90nm

9 従来 ICT システムの限界汎用 CPU の電力効率性能 [ 相対値 ] 2002 年 2025 年データ量ムーア則の終焉を迎えると汎用 CPU の進化は停止へ従来 ICT の延長ではデータ爆発のニーズに対応できないムーア則が CPU 規模と性能向上を駆動電力制約により性能向上が減速終焉へムーアの法則半導体の集積度は 18 か月ごとに倍になるニーズとのギャップ nm 40nm 90nm 10nm 180nm 250nm 350nm Year 現在 < 出典 > Stanford, K. Rupp を元に推測 10

10 新しいコンピューティングアーキテクチャ従来の性能指標の延長ではなく処理の特性に特化し進化させたアーキテクチャ ( ドメイン指向 ) が必要に処理の特性に特化ムーア則の限界 Approximate Computing ニューラルコンヒューティンク ( 推論処理 ) 汎用コンピューティング量子コンピューティング脳型コンピューティングアクセラレータニューラルコンピューティング ( 学習処理 ) スーパーコンピュータ従来の処理性能指標 11

その中で Deep Learning に注目知能処理画像検索ドメイン指向大量データ解析暗号化攻撃検知制御

11 ドメイン指向コンピューティング扱う問題ドメインを絞り込んだドメイン指向コンピューティングにより性能を提供するのが富士通の考えるコンピューティングの方向性知能処理もその一つでありその中で Deep Learning に注目知能処理画像検索ドメイン指向大量データ解析暗号化攻撃検知制御圧縮目的に応じた専用ハードウェアドメイン指向コンピューティング大量画像から目的の画像を瞬時に検索する技術部分画像検索を FPGA を用い CPU の 50 倍の速度 12

12 富士通の AI への取り組みについて富士通の提唱する AI 基盤先端医療 Fintech 知識ベースサイバー攻撃対策ネットワーク自動制御クラウド運用管理ものづくり自動車ロボティクス自動分析自動意思決定予測最適化リアルタイム分析知識ネットワーク感性メディア処理ソーシャル数理データ統合人の感情特性モテル化感情感性理解 AI 基盤を加速するエンジン開発機械学習 Deep Learning 自然言語理解脳科学社会受容性 Zinrai プラットフォーム < 出典 > 13

13 Zinrai プラットフォームサービスを支えるテクノロジースパコンからスマホまで保有する富士通ならではの技術を結集し大規模処理からエッジまで誰でも使える AI を提供速く広く使いやすく Zinrai プラットフォームサービス Zinrai ディープラーニング AI 技術 HPC クラウド AI ソリューション SE SI コンサルプロセッサ冷却オンプレエッジスマホ < 出典 > 14

14 Zinrai ディープラーニング速く世界最速クラスの学習処理能力を提供 DL フレームワーク GPU GPU GPU GPU GPU GPU GPU GPU Node 0 GPU GPU GPU GPU 高速フレームワーク Distributed Caffe 高速なノード並列性能富士通の並列化チューニング技術高速なノード単体性能 8GPU/Node 最速最新の GPU NVIDIA Tesla P100 採用 < 出典 > 15

15 Zinrai ディープラーニング広く広く柔軟な提供形態クラウドサービスオンプレミスエッジデバイスまで広くサポートクラウドと同様な操作性と拡張性を持つオンプレミス商品の提供エッジAIに対して学習済モデル配信と再学習機能を提供エッジ AI HPC 学習モデル配信データ収集先端 AI 技術 Zinrai ディープラーニング ( クラウドサービス ) 並列化技術 GPU OSS フレームワーク支援ツールオンプレ HPC < 出典 > 16

Zinrai ディープラーニング使いやすく使いやすい 3 つの理由 1. すぐに使える学習環境の提供 2. 学習状況が一目でわかるダッシュボード DL フレームワーク OS ハード Zinrai ディープラーニングハードソフト垂直統合検証済構築済 3. AI 適用範囲を広げる技術 1. 実データシミュレーションによる入力データ作成技術 2.

16 Zinrai ディープラーニング使いやすく使いやすい 3 つの理由 1. すぐに使える学習環境の提供 2. 学習状況が一目でわかるダッシュボード DL フレームワーク OS ハード Zinrai ディープラーニングハードソフト垂直統合検証済構築済 3. AI 適用範囲を広げる技術 1. 実データシミュレーションによる入力データ作成技術 2. 時系列データの学習技術 3. ニューラルネットワークのパラメータ自動最適化技術 4. グラフデータの学習技術 (Deep Tensor) < 出典 > 17

17 AI 適用範囲を広げる技術 1:Deep Tensor 18

18 AI 適用範囲を広げる技術 2: 時系列データ分類目的技術 Deep Learning 適用対象データ種の拡張 IoT 時系列データの分類の高精度化富士通独自のトポロジカルデータ解析と DeepLearning を組合せ時系列データ富士通 Deep Learning フレームワーク提供アプリケーションユビキタスウェアジャイロセンサー加速度センサーなど生体データ脳波心拍データなど音 / 振動データ変換時系列データ Deep Learning トポロジカルデータ解析時系列データを分類 Class A Class B 疾病診断 / 予測行動分類 / 認識介護補助金融データ株価経済指標など時系列データ Deep Learning 分析畳み込みニューラルネットワーク Class C 故障診断 / 予測経済解析 / 予測効果ジャイロセンサからの行動推定や脳波データからの状態推定で既存手法に比べ約 20~25% 精度向上 ( 約 85% 達成 ) 21

19 富士通の AI のコンセプトジンライ語源 : 疾風迅雷 ( すばやくはげしいこと ) 名前に込めた想い : 人の判断行動をスピーディにサポートすることで企業社会の変革をダイナミックに実現させる 22

20 Deep Learning 向け高効率化技術 Deep Learning とは Deep Learning 向け高効率化技術とは富士通の Deep Learning 向け高効率化技術 23

21 ニューラルネットワーク入力層出力層入力層隠れ層 ( 中間層 ) 出力層 x 1 w 11 y 1 x 1 w 1 w 21 w 12 w 22 x 2 w 2 q y 1 x i w 13 w 14 w 23 y j w 3 y 1 = f( w i x i θ w 24 w 25 x 3 i ) w 15 w 26 x n w 16 y m 脳には多数のニューロン ( 神経細胞 ) が存在し各ニューロンは他の多数のニューロンからの信号を受け取りまた多数のニューロンへと信号を送信ニューラルネットワーク (NN) は脳の仕組みをコンピュータで模倣したもので上図のように複数の入力に重みを掛けそれらを足し合わせて閾値と比べある出力関数を掛けて出力それを多層に並べることでネットワークを構築し複雑な表現が可能この多層 ( 深層 )NN を用いた機械学習をディープラーニング ( 深層学習 ) と呼ぶ 24

22 ニューラルネットワークの学習認識 forward x 1 w 11 y 1 t 1 w 21 w 12 w 22 w 13 x i w 14 w 23 y j t j w 15 w 24 w 25 x n 入力 w 16 w 26 y m 出力 t m 学習 backward NN は作成した段階では重み w はランダムな値を持つ ( 自分で設定した場合は除く ) ため入力にデータを与えても出力から適切な値が出るとは限らないそこで何らかの方法を用いて重み w を調整し希望する出力が得られるようにしてやる必要がありこれを行うのが学習 : 誤差逆伝播法 25

23 ニューラルネットワークの学習サイクルニューロン層 3 認識結果重みパラメタ勾配情報重みパラメタ勾配情報 (w) ( E) 差分学習処理サイクル data 差分 Forward ニューロン層 2 重みパラメタ勾配情報 Backward data 差分 Update ニューロン層 1 入力層 data 重みパラメタ勾配情報 label ( 正解 ) このサイクルを何回も繰り返し適切な重みを自動で取得ストレージ data / label < 出典 >MPI を用いた Deep Learning 処理高速化の提案 : 山崎雅文 ( 富士通研究所 ):GTC Japan2016 テクニカルセッションプログラム 26

24 Deep Learning 向け高効率化技術高効率化とはシステム資源を s れぞれ効率的に使うこと以降では下記 6 つの技術をご紹介ネットワーク並列実行並べて一気に高速化 1 2 データ並列モデル並列プロセサプロセサ効率化ドメイン特化し無駄を排除 5 6 処理に応じた精度専用プロセサ (DLU) メモリメモリ効率化無駄なメモリ利用を削ぎ落す 3 4 メモリ効率化 Caffe 高速 Pruning 27

仮説提案現状 DNN の検証評価フェーズには非常に長い時間がかかっている分析実装多数の GPU

25 12 並列実行ディープラーニング技術が様々なアプリケーションへ拡大画像認識音声認識自然言語処理医療金融自動車ロボットディープニューラルネットワーク (DNN) 開発の現状仮説提案現状 DNN の検証評価フェーズには非常に長い時間がかかっている分析実装多数の GPU を利用して高速化したい検証評価 1 個の GPU で数週間必要課題複数ノードの GPU では一部の DNN しか処理性能がスケールしない 29

26 補足 : 用語説明 Caffe Berkeley Vision and Learning Center(BVLC) が中心となって開発を進めている OSS の DL フレームワーク Convolution Neural Network(CNN) を利用した画像認識を得意とするノード内 GPU 並列化は可能だがノード間 GPU 並列化は ( 現在の所 ) 未対応 MPI(Message Passing Interface) 並列コンピューティングを利用するために標準化された規格及び実装複数の CPU が情報をバイト列からなるメッセージとして送受信し協調動作 Reduce と Allreduce Reduce y0 y1 y2 y3 f(y0,y1,y2,y3) f(y0,y1,y2,y3) f(y0,y1,y2,y3) f(y0,y1,y2,y3) Allreduce 31

27 複数のコンピュータで並列化 ( データ並列 ) 3 層目差分 1 7 ノード 1 ノード 2 ノード差分差分 7 < 出典 > シンポ _ 富士通.pdf ノード 4 差分 7 4 ノードで並列学習 Forward Backward All-reduce Update 2 層目 MPI の All-reduce 処理で集約し更新用データを計算 1 層目を終えたら次の 1 を開始 32

28 複数ノードで行う学習処理の課題 Allreduce 処理が加わる事で GPU が動作しない時間が発生重みパラメタの要素数が多い場合大きくなるノード数の増加に伴い大きくなる集約処理によるオーバヘッド GPU Forward Backward Update CPU All-reduce 時間基本的なアイディア集約処理時間を他の GPU 処理時間に隠蔽集約処理時間や更新時間を短縮 < 出典 >MPI を用いた Deep Learning 処理高速化の提案 : 山崎雅文 ( 富士通研究所 ):GTC Japan2016 テクニカルセッションプログラム 33

29 Backward 処理時間への隠蔽方法各層の Backward 処理が終わるごとに層単位で All-reduce 処理を開始する各層のForward 処理各層のBackward 処理 All-reduce 処理 Update 処理 Backward 処理と All-reduce 処理を並列に実行することで高速化隠蔽前隠蔽後 GPU L1 L2 L3 L3 L2 L1 CPU CPU L3 L2 L1 < 出典 >MPI を用いた Deep Learning 処理高速化の提案 : 山崎雅文 ( 富士通研究所 ):GTC Japan2016 テクニカルセッションプログラム 34

30 Allreduce 細分化による並列化方法集約処理を細分化して実行パラメータをレイヤー単位で一括して送るのではなくある程度のデータ量毎に複数に分ける CPU が受け取ったデータを複数スレッドで処理各層のForward 処理各層のBackward 処理 All-reduce 処理 Update 処理細分化前細分化後 All-reduce にかかる時間を短縮することで高速化 GPU CPU CPU < 出典 >MPI を用いた Deep Learning 処理高速化の提案 : 山崎雅文 ( 富士通研究所 ):GTC Japan2016 テクニカルセッションプログラム 35

31 Forward 処理時間への隠蔽方法 Update 処理を分割 Forward 処理の開始を層ごとに判定各層のForward 処理各層のBackward 処理 All-reduce 処理 Update 処理層単位で Update 処理すべての層の All-reduce 処理の完了前に次の Forward 処理を開始することで高速化 GPU L3 L2 L1 L1 L2 CPU L3 L1 L2 < 出典 >MPI を用いた Deep Learning 処理高速化の提案 : 山崎雅文 ( 富士通研究所 ):GTC Japan2016 テクニカルセッションプログラム 36

32 評価 : Distributed Caffe ( 当社比 ) 複数 GPU 使用時の 1 GPU 使用時に対する学習時間の高速化率 1.8 倍高速化 27 倍高速化 ( スループットでは 61 倍 ) 評価環境条件 Tesla K20X GPU を 64 GPU (1 ノードあたり 1GPU) まで使用 1 ノードあたりミニバッチサイズ 64 固定正解率が 45% に至るまでに必要な時間を求めたもの < 出典 > シンポ _ 富士通.pdf 37

33 1998 ~ Memory Size [GB] 3 メモリ効率化 :GPU メモリ使用量の課題ニューラルネットの規模は年々急速に拡大 GPU の高速な演算性能を活用するには一連の演算に使用するデータを可能な限り GPU の内部メモリに格納する必要あり GPU Memory Size NN Size(Batch=8) ~16GB 程度 CPU-GPU 間バンド幅は GPU 内バンド幅より小さい GPU メモリ容量はホストメモリ容量より小さい 10 サーバ LeNet AlexNet ResNet VGGNet ホスト CPU DRAM ( 数百 GB) アクセラレータ PCI-E GPU 32GB/s 720GB/s DRAM( 約 10GB) Year 注 ) バッチサイズ 8 の場合 HDD GPU が搭載しているメモリ量が小さいため高速に学習できるニューラルネットの規模が制限 < 出典 > シンポ _ 富士通.pdf 40

34 学習におけるメモリ使用量学習時に GPU のメモリ使用量が増加する Forward 認識結果 5 中間データ中間データ重みデータ ' Backward 6 誤差正解と比較 3 層目重みデータ重みデータの誤差 2 層目 1 層目重みデータ ' 重みデータ ' 中間誤差データ重みデータの誤差中間誤差データ重みデータの誤差重みを更新するための重みデータの誤差と誤差を前層に伝えるための中間誤差データを計算重みデータ中間データに加えて誤差データを確保入力データ 1 と 2 3 と 4 はそれぞれ独立に演算可能基本的なアイディア 2 種類の誤差データ計算の独立性に着目メモリ領域の再利用によりメモリ使用量を削減 41 < 出典 > シンポ _ 富士通.pdf

35 Deep Learning のメモリ効率化技術方法ニューラルネットの構造を解析しより大きなメモリ領域を再利用するように演算順序とメモリ配置をスケジューリング 2 層目 1 層目 Forward 認識結果 5 3 層目重みデータ大きさを比較大きさを比較重みデータ ' 2 中間データ重みデータ ' 4 中間誤差データ中間データ 5 重みデータ ' Backward 6 正解と比較誤差 1 中間誤差データ 6 重みデータの誤差 3 重みデータ > 中間データの層 (Fully-connected 層など ) では重みデータ領域を上書きしてメモリ使用量を削減中間データ > 重みデータの層 (Convolution 層など ) では中間データ領域を上書きしてメモリ使用量を削減入力データ 42 < 出典 > シンポ _ 富士通.pdf

36 学習時のメモリ使用量実験条件 : ネットワーク名 :VGG-11 ミニバッチサイズ :128 入力画像 :ImageNet 学習反復回数 :250,000 回進捗 : 精度メモリ消費量経過時間学習速度反復回数 43 学習の反復回数 vs. 精度

37 評価 : メモリ効率化 Caffe 同じニューラルネット (VGGNet) を使用し同条件で比較 40% メモリ使用量削減精度は変わらず 45 < 出典 > シンポ _ 富士通.pdf

38 実験条件 : ネットワーク名 :VGG-16 ミニバッチサイズ : 64( 従来版 ) vs. 128(Mem. 削減版 ) 入力画像 :ImageNet 学習反復回数 :140,000 回 46

39 評価 : メモリ効率化 Caffe 削減したメモリ領域を活用してミニバッチサイズを 2 倍に拡大 4% 学習精度向上 48 < 出典 > シンポ _ 富士通.pdf

40 4 メモリ効率化 : 従来の NW 圧縮技術ニューラルネットの結合係数の小さいものは0に丸め込み疎行列化する ( 接続の切断に相当 ) x 1 x 2 x n w 21 w 22 w 1n ニューロン w 2n w 11 w 12 y 1 y 2 シナプス ( 重みデータ ) Y1=f(X1xW11+X2xW12+X3*W13) Y2=f(X1xW21+X2xW22+X3*W23) [ Y1 Y2 ] w11 w12 w13 [ w21 w22 w23 ] x1 [ x2] x3 GPU や DLU は行列演算を得意としており密行列が疎行列になった事による速度向上効果は少ない x 1 x 2 x n 0 w 22 w 1n ニューロン 0 w 11 0 y 1 y 2 シナプス ( 重みデータ ) [ Y1 Y2 ] w [ 0.1 w22 0 ] x1 [ x2] x3 w [ 0 w22 0 ] 49

41 ネットワーク列縮退技術 ( 高速 Pruning) ニューラルネットの結合係数の行列を列単位で結合の必要度合いを評価し列単位で圧縮する ( ニューロンの削減に相当 ) ニューロンニューロン x 1 x 2 x n w 21 w 22 w 1n w 2n w 11 w 12 y 1 y 2 シナプス ( 重みデータ ) Y1=f(X1xW11+X2xW12+X3*W13) Y2=f(X1xW21+X2xW22+X3*W23) [ Y1 Y2 ] w11 w12 w13 [ w21 w22 w23 ] x1 [ x2] x3 x 1 x 2 x n w w 11 w 12 y 1 y 2 シナプス ( 重みデータ ) 列単位で評価 [ Y1 Y2 ] w [ 0.1 w22 0 ] x1 [ x2 w x1 0.1 w22 [ x2] ネットワーク列縮退技術により行列のサイズを小さくする事で演算数自体を削減でき高速化更にメモリ削減も実現 w 21 ] x3 50

42 5 メモリ効率化 : 処理に応じた精度技術人の脳に近い認識を行うには膨大なパラメータが必要 DNN パラメータ数 LeNet 7M AlexNet 80M VGG M RezNet 58M 人の脳 150,000M パラメータ数 LeNet 数字認識 AlexNet 画像認識 VGG 画像認識 ResNet 画像認識人の脳パラメータの学習には多くの計算リソースを必要とする電力効率に優れた低消費電力な DL 学習プロセッサが必要出典 : 出典 : 52

43 処理に応じた精度技術整数演算を基に DL の学習プロセスに特化してビット幅を削減した独自の数値表現ネットワークの層ごとに小数点位置を自動的に最適化する演算アルゴリズムを導入することで演算器のビット幅や学習結果を記録するメモリのビット幅を削減して電力効率を向上させる回路技術を開発演算コアによる演算精度の向上統計情報を用いた小数点位置の最適化 59

6 ディープラーニング向けプロセッサ :DLU 提供 2018 年度 ~ スパコン京

大規模ニューラルネットワーク処理が可能 < 出典 >http://www.fujitsu.

44 6 ディープラーニング向けプロセッサ :DLU 提供 2018 年度 ~ スパコン京の開発技術を投入 TM DLU (Deep Learning Unit) DLU の特徴 Deep Learning 用独自アーキテクチャ徹底した省電力設計目標 : 他社比約 10 倍の電力あたり性能大規模並列 : スパコンのインタコネクト技術適用大規模ニューラルネットワーク処理が可能 < 出典 > 61

45 まとめ富士通の AI 取り組み :Human Centric AI Zinrai AI サービスを加速させる Zinrai プラットフォームサービスを提供 Zinrai プラットフォームサービスを支える Zinrai ディープラーニング : 速く広く使いやすく適用技術を広げる上流技術 2 つ Deep Learning の高効率化技術並列実行技術 1 データ並列と 2 モデル並列メモリ効率化技術 3 メモリ効率化 Caffe と 4Pruning 技術プロセサ高効率アーキ 5 処理に応じた精度選択と 6 専用プロセサ (DLU) 63

46 64

Slide 1

ハンズオン受講の為の準備講座これから始める人の為のディープラーニング基礎講座村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation 1 機械学習とディープラーニングの関係 AGENDA ディープラーニングとは? ニューラルネットワークの構造ディープラーニングの学習とは畳み込みニューラルネットワーク午後に予定しているハンズオンの為の基礎講座ディープラーニングをこれから始める方を対象に基礎概念や用語の解説を行います