PPT Template

Size: px

Start display at page:

Download "PPT Template"

さみらひろなが
5 years ago
Views:

世界最大のインフラストラクチャー Norway East / West 開設発表 https://azure.microsoft.

4 世界最大のインフラストラクチャー Norway East / West 開設発表 China North / East 提供開始 updates West Europe での Availability Zones 提供開始

5 54 100K REGIONS WORLDWIDE MILES OF FIBER AND SUBSEA CABLE EDGE SITES ExpressRoute Partners

8 The world s first globally distributed database service

10 A car is running A man is cutting a piece of meat A man is performing on a stage A man is riding a bike A man is singing A panda is walking A woman is riding a horse A man is flying in a field

14 変わるシステムアーキテクチャーデータ通信アルゴリズムをもとにした開発からデータと AI による学習モデル化による実装への変革データ収集分析を前提としたサービスの増加単一データから多種多様なデータの総合的活用へ課題はシングルデータリポジトリの不在セキュリティとデータ通信の避けられない連携

15 リアルタイム AI Recurrent Neural Networks 深層学習により得られた大きな進歩画像処理機械翻訳音声認識 QA 他課題はオンラインサービスにおける運用展開そしてスケーラビリティ y t-1 y t y t+1 h t-1 h t h t+1 h t-1 h t h t+1 x t-1 x t x t+1 Convolutional Neural Networks

17 17

19 Client Cloud Training Humans GPUs Inference ASICs?

20 Homogeneity Efficiency (ASICS)

21 DRAM コントローラ USB コントローライーサネットコントローラ DSP スライス RAM RAM DSP スライス

22 Catapult v1 Ignite Catapult v Catapult v0 スケール v1 本番展開

23 1U rack-mounted x 10Ge ports 3 x16 PCIe slots 1 Intel Westmere cores ( sockets)

24 Stratix V 8GB DDR3 PCIe Gen3 x8

25 10Gb Ethernet Links Top Of Rack Switch (TOR) Server 1 DTWS FPGA S0 Server 48 DTWS FPGA S0 Server DTWS FPGA S0 Server 47 DTWS FPGA S0 Server 3 DTWS FPGA S0 Server 46 DTWS FPGA S0 Server 4 DTWS FPGA S1 Server 45 DTWS FPGA S1 FPGA Torus Server 3 DTWS FPGA S Server 6 DTWS FPGA S Server 4 DTWS FPGA S Server 5 DTWS FPGA S

FE FFE DTS Stream Preprocessing FSM Feature Transmission Network Control/Data Tokens Distribution latches FFE [1][3] FFE [1][] FFE [1][1] FFE [1][0] FFE [0][3] FFE [0][] FFE [0][1] FFE [0][0] DTT

26 FE FFE DTS Stream Preprocessing FSM Feature Transmission Network Control/Data Tokens Distribution latches FFE [1][3] FFE [1][] FFE [1][1] FFE [1][0] FFE [0][3] FFE [0][] FFE [0][1] FFE [0][0] DTT [3][11] DTT [3][10] DTT [3][9] DTT [3][8] DTT [3][7] DTT [3][6] DTT [3][5] DTT [3][4] DTT [3][3] DTT [3][] DTT [3][1] DTT [3][0] DTT [][11] DTT [][10] DTT [][9] DTT [][8] DTT [][7] DTT [][6] DTT [][5] DTT [][4] DTT [][3] DTT [][] DTT [][1] DTT [][0] DTT [1][11] DTT [1][10] DTT [1][9] DTT [1][8] DTT [1][7] DTT [1][6] DTT [1][5] DTT [1][4] DTT [1][3] DTT [1][] DTT [1][1] DTT [1][0] DTT [0][11] DTT [0][10] DTT [0][9] DTT [0][8] DTT [0][7] DTT [0][6] DTT [0][5] DTT [0][4] DTT [0][3] DTT [0][] DTT [0][1] DTT [0][0] FE0 89 Non-BodyBlock Features 34 State Machines 55 % Utilization FE1 55 BodyBlock Features 0 State Machines 45 % Utilization Scheduling Logic Registers Constants FFE 1 Inst. FFE n Inst. Compression Thresholds Local ALU DSP DSP Basic Tile Basic Tile Complex ALU Ln,, div Basic Tile Basic Tile FFE: 64 cores / chip threads DTT: 48 DTT tiles/chip 40 tree processors 880 trees/chip

28 Catapult v Mezzanine カード WCS Gen 4.1 ブレードと NIC と Catapult FPGA [ISCA 14, HotChips 14, MICRO 16]

30 パフォーマンス数万 TOP での低ロットサイズでの効果的な推論スループット超低遅延による最新の DNN の提供や GPU と比較して 10 倍以上単一の DNN サービスで多くの FPGA に拡張柔軟性急速に進化する ML への対応 CNN LSTM MLP 強化学習特徴抽出デシジョンツリーなど推論に最適化された数値精度カスタム値複数化極小精密ネットより大きいより速いモデルのための更なる圧縮スケールマイクロソフトは FPGA に対して世界最大のクラウド投資人工知能の容量を複数の Exa-Ops で FPGA ファブリック上で強力な DNN サービスプラットフォーム

31 l0 l1 ネットワークスイッチ l0 Instruction Decoder & Ctrl f f f FPGA f f f Neural FU Pretrained DNN モデル CNTK などでスケーラブルな DNN ハードウェアマイクロサービス BrainWave Soft DPU

32 Routers Hardware acceleration plane Deep neural networks SQL QPI FPGAs Web search ranking SDN offload Web search ranking FPGA s Traditional software () server plane QSFP 40Gb/s QSFP QSFP 40Gb/s ToR

33 500x500 マトリックス MatMul x500 マトリックス Add500 Add dim ベクトル分割 Sigmoid x500 マトリックス MatMul500 MatMul500 MatMul500 Sigmoid concat Add x500 マトリックス分割 Add dim ベクトル Caffe モデル CNTK モデル Tensorflow モデルフロントポータブル IR グラフスプリッタとオプティマイザ FPGA0 FPGA1 トランスフォーム IRs ターゲットコンパイラターゲットコンパイラターゲットコンパイラ -CNTK FPGA - カフェ展開パッケージ FPGA ハードウェアマイクロサービス

34 N ウェイトカーネル出力前のアクティベーション入力アクティベーション = = O(N 3 ) data O(N 4 K ) compute O(N ) data O(N ) compute

35 DRAM で初期化されたモデルパラメータ x FFPGA

36 DRAM で初期化されたモデルパラメータ x FPGA

37 ハードウェア利用 (%) バッチサイズ FPGA

38 ハードウェア利用 (%) 99 回目待ち時間最大許可遅延バッチサイズバッチサイズバッチ処理により HW の使用率が向上するが待ち時間は増加

39 ハードウェア利用 (%) 99 回目の待ち時間最大許可遅延バッチサイズバッチサイズバッチ処理により HW の使用率が向上するが待ち時間が増加

40 x FPGA

41 x 観測

42 x

43 x

45 LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM

46 LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM

47 LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM

50 FPGA MVU カーネル

51 Microsoft 製 FPGA ボード戦争と平和露英訳 Wikipedia 英西訳

52 Configurable Cloud compute layer Reconfigurable compute layer Converged network

54 Host SmartNIC 1 VM 10Gbps 時代 (Host は >100Gbps 以上 ) SDN Security AI/MLS NIC ASIC FPGA

インテル FPGA の Deep Learning Acceleration Suite とマイクロソフトの Brainwave を HW 視点から比較してみる

インテル FPGA の Deep Learning Acceleration Suite とマイクロソフトの Brainwave を HW 視点から比較してみるインテル株式会社プログラマブルソリューションズ事業本部シニアテクノロジースペシャリスト竹村幸尚 DA22 FPGA とは汎用アクセラレーターとしての FPGA なぜ FPGA アクセラレーションか FPGA の性能向上 CPU 対