インテル FPGA の Deep Learning Acceleration Suite とマイクロソフトの Brainwave を HW 視点から比較してみる

Transcription

1 インテル FPGA の Deep Learning Acceleration Suite とマイクロソフトの Brainwave を HW 視点から比較してみる インテル株式会社プログラマブル ソリューションズ事業本部シニア テクノロジー スペシャリスト 竹村幸尚 DA22

2 FPGA とは

3 汎用アクセラレーターとしての FPGA

4 なぜ FPGA アクセラレーションか FPGA の性能向上

5 CPU 対 FPGA 命令 命令 命令 データ 命令 データ 命令 命令 CPU 命令 FPGA FPGA: 空間計算 CPU: 時間的計算

6 FPGA アーキテクチャー : 基本エレメント FPGA の基本エレメント

7 FPGA アーキテクチャー : 基本エレメント 基本エレメント 1-bit configurable operation 1-bit register (store result) Configured to perform any 1-bit operation: AND, OR, INV, XOR, etc.

8 FPGA アーキテクチャー : インターコネクト 基本エレメントはフレキシブルなインターコネクト ( 配線 ) に囲まれている

9 FPGA アーキテクチャー : インターコネクト カスタム回路は基本エレメントを接続することで実現できる

10 FPGA アーキテクチャー : カスタム回路 16-bit add 32-bit sqrt Your custom 64-bit bit-shuffle and encode

11 FPGA アーキテクチャー : メモリーブロック addr data_in メモリーブロック 20 Kb data_out

12 FPGA アーキテクチャー : メモリーブロック addr data_in メモリーブロック 20 Kb data_out 沢山の小型キャッシュ 大型キャッシュ

13 FPGA アーキテクチャー : 浮動小数点演算器 data_in data_out

14 FPGA アーキテクチャー : ルーティング

15 FPGA アーキテクチャー : 再構成可能な I/O

16 Project Brainwave

17 FPGA の取り組み Catapult v1 Ignite Catapult v Catapult v0 スケール v1 本番展開

18 Hardware Microservices on FPGAs [MICRO 16] Routers Hardware acceleration plane Deep neural networks SQL CPU QPI CPU FPGAs Web search ranking SDN offload Web search ranking FPGA CPUs Traditional software (CPU) server plane QSFP 40Gb/s QSFP QSFP 40Gb/s ToR

19 DNN のためのシリコンレベルの選択肢 DNN Processing Units Contr ol Unit (CU) Register s CPUs Arithmet ic Logic Unit (ALU) GPUs Soft DPU (FPGA) Hard DPU ASICs 柔軟性 効率性 BrainWave Baidu SDA Deephi Tech ESE Teradeep Etc. Cerebras Google TPU Graphcore Groq Intel Nervana Movidius Wave Computing Etc.

20 Project BrainWave l0 l1 ネットワークスイッチ l0 Instruction Decoder & Ctrl f f f FPGA f f f Neural FU Pretrained DNN モデル CNTK などで スケーラブルな DNN ハードウェアマイクロサービス BrainWave Soft DPU

21 BrainWave Stack Pretrained DNN モデルをソフト DPU にコンパイルするためのフレームワーク中立の連合コンパイラとランタイム 狭精度 DNN 推論のための適応型 ISA 変化目まぐるしい AI アルゴリズムをサポートする柔軟性と拡張性 BrainWave Soft DPU マイクロアーキテクチャ高精度 低遅延バッチに最適 FPGA 上でモデルパラメータを完全に永続化するオンチップメモリは 多数の FPGA にまたがってスケーリングすることにより 大規模なモデルをサポート Intel の FPGA をスケールする HW マイクロサービスに展開 [ マイクロ ' 16]

22 500x500 マトリックス MatMul x500 マトリックス Add500 Add dim ベクトル 分割 Sigmoid x500 マトリックス MatMul500 MatMul500 MatMul500 Sigmoid concat Add x500 マトリックス 分割 Add dim ベクトル Brainwave コンパイラとランタイム Caffe モデル CNTK モデル Tensorflow モデル フロント ポータブル IR グラフスプリッタとオプティマイザ FPGA0 FPGA1 トランスフォーム IRs ターゲットコンパイラ ターゲットコンパイラ ターゲットコンパイラ CPU-CNTK FPGA CPU- カフェ 展開パッケージ FPGA ハードウェアマイクロサービス

23 一般的なシナリオ N ウェイトカーネル 出力前のアクティベーション入力アクティベーション = = O(N 3 ) data O(N 4 K 2 ) compute O(N 2 ) data O(N 2 ) compute

24 従来の高速化アプローチ : ローカルのオフロードとストリーミング DRAM で初期化されたモデルパラメータ 2xCPU FPGA

25 従来の高速化アプローチ : ローカルのオフロードとストリーミング DRAM で初期化されたモデルパラメータ 2xCPU FPGA

26 バッチ処理による HW 使用率の向上 ハードウェア利用 (%) バッチサイズ FPGA

27 バッチ処理による HW 使用率の向上 ハードウェア利用 (%) 99 回目待ち時間 最大許可遅延 バッチサイズ バッチサイズ バッチ処理により HW の使用率が向上するが 待ち時間は増加

28 バッチ処理による HW 使用率の向上 ハードウェア利用 (%) 99 回目の待ち時間 最大許可遅延 バッチサイズ バッチサイズ バッチ処理により HW の使用率が向上するが 待ち時間が増加

29 代替 : " 永続的な " ニューラルネット 2xCPU FPGA

30 代替 : " 永続的な " ニューラルネット 観測 2xCPU

31 代替 : " 永続的な " ニューラルネット 2xCPU

32 代替 : " 永続的な " ニューラルネット 2xCPU

33 解決方法 : データセンター規模での永続化

34 Inter-Layer パイプラインの並列処理 LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM 2 CPU 2 CPU 2 CPU 2 CPU 2 CPU 2 CPU 2 CPU 2 CPU

35 NPU

36 Matrix Vector Unit FPGA MVU カーネル

37 インテル OpenVINO ツールキット

38 ディープラーニング トポロジーの推論処理 head 1 インデックスの特徴ベクトル イメージ サイズの変更 / クロップ イメージ ニューラルネット 本体 ほとんどの計算は ここで実行される 特徴 head 2 タグ 物体検出 前処理 画像認識 : CNN (ResNet) 音声認識 言語翻訳 head 10 後処理

39 OpenVINO ツールキット概要 User program Algorithms OpenVINO Toolkit Libraries Inference Engine Pre-trained DL models OpenCV OpenVX Intel OVX Kernel Extensions Tools Model Optimizer ディープラーニングデプロイメント ツールキット 画像処理 画像処理とディープ ラーニングを使用した画像認識をサポートインテル アーキテクチャに最適化された ヘテロジニアス対応ライブラリ

40 推論エンジン共通 API (C++) ディープ ラーニング デプロイメント ツールキット 全インテル アーキテクチャーで訓練済のモデルをデプロイ可能 CPU GPU FPGA など 最良の実行となるよう最適化 ユーザーによる検証と調整が可能 全デバイスで使いやすいランタイム API CPU プラグイン Caffe* TensorFlow* MxNet* モデル オプティマイザー IR.xml.bin ロード 推論 GPUプラグイン FPGAプラグイン ONNX* 所定のターゲットを変換 最適化 Myriad プラグイン

41 再掲 :Brainwave コンパイラとランタイム Caffe モデル CNTK モデル Tensorflow モデル フロント ポータブル IR グラフスプリッタとオプティマイザ トランスフォーム IRs ターゲットコンパイラ CPU-CNTK ターゲットコンパイラ FPGA ターゲットコンパイラ CPU- カフェ 展開パッケージ FPGA ハードウェアマイクロサービス

42 OpenVINO における FPGA 実装

43 DDR DDR インテル FPGA DLAS の機能 一般的なトポロジーに向けた CNN アクセラレーション エンジン グラフ ループ アーキテクチャー AlexNet GoogleNet LeNet SqueezeNet VGG16 ResNet Yolo SSD LSTM など ソフトウェア デプロイメント FPGA のコンパイルは不要 ランタイムでのリコンフィグレーションが可能 カスタマイズされたハードウェア開発 パラメーターを使用したカスタム アーキテクチャーの作成 OpenCL フローを使用したカスタム プリミティブ 特徴マップキャッシュ 畳み込み PE アレイ クロスバー prim prim prim カスタム メモリー読み取り / 書き込み コンフィグレーション エンジン

44 DLA アーキテクチャー : 高パフォーマンス設計 FPGA 上で最大限の並列化を実現 Filter Parallelism ( プロセッシング エレメント ) Input-Depth Parallelism Winograd Transformation Batching Feature Stream Buffer Filter Cache FPGA ビットストリームを選択 Data Type / Design Exploration Primitive Support Convolution / Fully Connected 特徴マップキャッシュ 畳み込み PE アレイ ReLU クロスバー Norm ReLU Max Pool 実行 ストリーム バッファー メモリー読み取り / 書き込み コンフィグレーション エンジン Norm DDR DDR DDR DDR MaxPool

45 Conv ReLu Norm MaxPool Fully Conn. AlexNet Graph ストリーム バッファー Convolution / Fully Connected ReLU Norm MaxPool ブロックはランタイムでリコンフィグレーションおよびバイパスが可能

46 Conv ReLu Norm MaxPool Fully Conn. AlexNet Graph 出力 ストリーム バッファー 入力 Convolution / Fully Connected ReLU Norm MaxPool ブロックはランタイムでリコンフィグレーションおよびバイパスが可能

47 Conv ReLu Norm MaxPool Fully Conn. AlexNet Graph 入力 ストリーム バッファー出力 Convolution / Fully Connected ReLU Norm MaxPool ブロックはランタイムでリコンフィグレーションおよびバイパスが可能

48 Conv ReLu Norm MaxPool Fully Conn. AlexNet Graph 出力 ストリーム バッファー 入力 Convolution / Fully Connected ReLU ブロックはランタイムでリコンフィグレーションおよびバイパスが可能

49 Conv ReLu Norm MaxPool Fully Conn. AlexNet Graph 入力 ストリーム バッファー出力 Convolution / Fully Connected ReLU ブロックはランタイムでリコンフィグレーションおよびバイパスが可能

50 Conv ReLu Norm MaxPool Fully Conn. AlexNet Graph 出力 ストリーム バッファー 入力 Convolution / Fully Connected ReLU MaxPool ブロックはランタイムでリコンフィグレーションおよびバイパスが可能

51 Conv ReLu Norm MaxPool Fully Conn. AlexNet Graph 入力 ストリーム バッファー出力 Convolution / Fully Connected ReLU ブロックはランタイムでリコンフィグレーションおよびバイパスが可能

52 Conv ReLu Norm MaxPool Fully Conn. AlexNet Graph 出力 ストリーム バッファー 入力 Convolution / Fully Connected ReLU ブロックはランタイムでリコンフィグレーションおよびバイパスが可能

53 Conv ReLu Norm MaxPool Fully Conn. AlexNet Graph 入力 ストリーム バッファー出力 Convolution / Fully Connected ブロックはランタイムでリコンフィグレーションおよびバイパスが可能

54 アーキテクチャー詳細 DDR DDR ring interconnect Input Reader Filter Reader Output Writer 1 Bias Reader Output Writer 2 PE Sequencer Stream Buffer PE Feeder MaxPool Norm ReLU PE 1 PE 2 PE 3 PE 23 Convolution/ 全結合 (1D systolic array of 24 PEs) PE 24

55 余談 :Systolic Array feeder PE PE PE PE feeder PE PE PE PE feeder PE PE PE PE feeder PE PE PE PE Load A Arria PE Load B Drain C feeder feeder feeder feeder drain drain drain drain DDR4

56 フィルター並列処理 ( 出力深度 ) Convolution の効率的な並列処理 外部 DDR FPGA ダブルバッファー On-Chip RAM フィルター (on-chip RAM) 並列畳み込み 同じ Convolution 層の異なるフィルターが別のプロセッシング エレメント (PE) で並列的に処理されます ベクトル演算 特徴マップの深度全体 PE アレイ ジオメトリーは 既定のトポロジーのハイパーパラメーターにカスタマイズ可能です 56

57 Winograd 変換 より少ない乗算で畳み込みを実行します FPGA 上でより多くの畳み込みを可能にします 6 つの入力特徴エレメントと 3 つのフィルター エレメントを必要とします 標準的な畳み込みには 12 回の乗算が必要です 変換された畳み込みに必要な乗算は 6 回です ストリーム バッファー Winograd 変換 Convolution / Fully Connected ReLU Norm MaxPool Winograd 変換

58 フィーチャ キャッシュ 特徴データはオンチップにキャッシュ 並列処理エレメントのデイジーチェーンにストリームされる ダブルバッファー 畳み込みとキャッシュの更新が同時進行 1つのサブグラフの出力が他のサブグラフの入力に 不必要な外部メモリーへのアクセスを解消 ダブルバッファーオンチップ RAM ストリーム バッファー サイズ

59 フィルター キャッシュ フィルター ウェイトは 各プロセッシング エレメントにキャッシュ プリフェッチをサポートするためにダブルバッファーを使用 1 つのセットが出力特徴マップの計算に使用されている間 別のセットがプリフェッチされる DDR Conv DDR Conv

60 DLA アーキテクチャーの選択 必要条件を満たす最適な FPGA イメージを選択 必要に応じてカスタムの FPGA イメージを作成

61 異なるトポロジーに対するサポート 機能とパフォーマンスはトレードオフ 特徴マップキャッシュ 特徴マップキャッシュ 畳み込み PE アレイ メモリー読み取り / 書き込み vs 畳み込み PE アレイ クロスバー メモリー読み取り / 書き込み クロスバー ReLU Norm MaxPool コンフィグレーション エンジン SoftMax Reshape LRN Concat Flatten ReLU Norm Permute MaxPool コンフィグレーション エンジン

62 サポートされるプリミティブとトポロジー プリミティブ batch norm concat flatten max pool relu, leaky relu lrn normalization average pool scale softmax inner product permute prelu reshape detection output conv priorbox fully connected eltwise bias group conv depthwise conv local conv sigmoid elu power crop proporal slice depthwise conv roi pooling dilated conv tanh deconv トポロジー AlexNet GoogleNet v1 SSD ResNet18 SSD ResNet50 ResNet101 SqueezeNet SSD VGG16 Tiny Yolo LeNet サポート有 リクエストに応じてサポート有 将来的にサポートを予定

63 精度を下げてデザインを検討してみる パフォーマンスと精度はトレードオフ 精度を下げることで より多くの処理が並列的に実行可能 より小さい浮動小数点形式を使用するための ネットワークの再トレーニングは不要 FP11 は INT8/9 よりもメリットがある 再トレーニング不要 より良いパフォーマンス 精度の損失が少ない FP16 FP11 FP10 FP9 FP8 Sign 指数 5ビット 仮数 10ビット Sign 指数 5ビット 仮数 5ビット Sign 指数 5ビット 仮数 4ビット Sign 指数 5ビット 仮数 3ビット Sign 指数 5ビット 仮数 2ビット

64 経験 ツール Intel Nervana Cloud and Appliance Intel Nervana Deep Learning Studio OpenVINO Toolkit フレームワーク Mlib BigDL ライブラリ Intel Distribution for Python* Intel Data Analytics Acceleration Library (DAAL) Intel Nervana Graph Intel Math Kernel Library (Intel MKL, MKL-DNN) ハードウエア Compute CPU, igpu, VPU, FPGA, Future *Other names and brands may be claimed as the property of others. Memory and Storage Networking

65 法的注意事項および免責条項 本資料に記載されている情報は 開発中の製品 サービス プロセスに関するものです ここに記載されているすべての情報は 予告なく変更されることがあります インテルの最新の予測 スケジュール 仕様 およびロードマップをご希望の方は インテルの担当者までお問い合わせください インテル テクノロジーの機能と利点はシステム構成によって異なり 対応するハードウェアやソフトウェア またはサービスの有効化が必要となる場合があります 詳細については intel.com を参照するか OEM や販売店にお問い合わせください 絶対的なセキュリティーを提供できるコンピューター システムはありません テストでは 特定のシステムでの個々のテストにおけるコンポーネントの性能を文書化しています ハードウェア ソフトウェア システム構成などの違いにより 実際の性能は掲載された性能テストや評価とは異なる場合があります 購入を検討される場合は ほかの情報も参考にして パフォーマンスを総合的に評価することをお勧めします 性能やベンチマーク結果について さらに詳しい情報をお知りになりたい場合は ( 英語 ) を参照してください インテル テクノロジーの機能と利点はシステム構成によって異なり 対応するハードウェアやソフトウェア またはサービスの有効化が必要となる場合があります 実際の性能はシステム構成によって異なります 絶対的なセキュリティーを提供できるコンピューター システムはありません 詳細については 各システムメーカーまたは販売店にお問い合わせいただくか を参照してください 本資料は ( 明示されているか否かにかかわらず また禁反言によるとよらずにかかわらず ) いかなる知的財産権のライセンスも許諾するものではありません OpenCL および OpenCL ロゴは Apple Inc. の商標であり Khronos の許可を得て使用しています Intel インテル Intel ロゴ Intel Inside Intel Inside ロゴ Arria Avalon Cyclone Nios Stratix は アメリカ合衆国および / またはその他の国における Intel Corporation またはその子会社の商標です * その他の社名 製品名などは 一般に各所有者の表示 商標または登録商標です 2018 Intel Corporation. 無断での引用 転載を禁じます