Notices and Disclaimers This document contains information on products, services and/or processes in development. All information provided here is sub

Transcription

1 インテル Xeon プロセッサー スケーラブル ファミリーおよび深層学習向けインテル Xeon Phi プロセッサー ( 開発コードネーム Kinghts Mill) のアーキテクチャー インテル株式会社ソフトウェア技術統括部シニア アプリケーション エンジニア堀越将司

2 Notices and Disclaimers This document contains information on products, services and/or processes in development. All information provided here is subject to change without notice. Contact your Intel representative to obtain the latest forecast, schedule, specifications and roadmaps. Intel technologies features and benefits depend on system configuration and may require enabled hardware, software or service activation. Learn more at intel.com, or from the OEM or retailer. No computer system can be absolutely secure. Tests document performance of components on a particular test, in specific systems. Differences in hardware, software, or configuration will affect actual performance. Consult other sources of information to evaluate performance as you consider your purchase. For more complete information about performance and benchmark results, visit Cost reduction scenarios described are intended as examples of how a given Intel-based product, in the specified circumstances and configurations, may affect future costs and provide cost savings. Circumstances will vary. Intel does not guarantee any costs or cost reduction. Statements in this document that refer to Intel s plans and expectations for the quarter, the year, and the future, are forward-looking statements that involve a number of risks and uncertainties. A detailed discussion of the factors that could affect Intel s results and plans is included in Intel s SEC filings, including the annual report on Form 10-K. The products described may contain design defects or errors known as errata which may cause the product to deviate from published specifications. Current characterized errata are available on request. No license (express or implied, by estoppel or otherwise) to any intellectual property rights is granted by this document. Intel does not control or audit third-party benchmark data or the web sites referenced in this document. You should visit the referenced web site and confirm whether referenced data are accurate. Intel, the Intel logo, Intel Optane and Xeon are trademarks or registered trademarks of Intel Corporation or its subsidiaries in the united states and other countries. * Other names and brands may be claimed as the property of others Intel Corporation Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 2

3 Legal Disclaimer & Optimization Notice INFORMATION IN THIS DOCUMENT IS PROVIDED AS IS. NO LICENSE, EXPRESS OR IMPLIED, BY ESTOPPEL OR OTHERWISE, TO ANY INTELLECTUAL PROPERTY RIGHTS IS GRANTED BY THIS DOCUMENT. INTEL ASSUMES NO LIABILITY WHATSOEVER AND INTEL DISCLAIMS ANY EXPRESS OR IMPLIED WARRANTY, RELATING TO THIS INFORMATION INCLUDING LIABILITY OR WARRANTIES RELATING TO FITNESS FOR A PARTICULAR PURPOSE, MERCHANTABILITY, OR INFRINGEMENT OF ANY PATENT, COPYRIGHT OR OTHER INTELLECTUAL PROPERTY RIGHT. Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. Copyright 2015, Intel Corporation. All rights reserved. Intel, Pentium, Xeon, Xeon Phi,, VTune, Cilk, and the Intel logo are trademarks of Intel Corporation in the U.S. and other countries. Optimization Notice Intel s compilers may or may not optimize to the same degree for non-intel microprocessors for optimizations that are not unique to Intel microprocessors. These optimizations include SSE2, SSE3, and SSSE3 instruction sets and other optimizations. Intel does not guarantee the availability, functionality, or effectiveness of any optimization on microprocessors not manufactured by Intel. Microprocessor-dependent optimizations in this product are intended for use with Intel microprocessors. Certain optimizations not specific to Intel microarchitecture are reserved for Intel microprocessors. Please refer to the applicable product User and Reference Guides for more information regarding the specific instruction sets covered by this notice. Notice revision # Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice.

4 Agenda Intel Xeon Scalable Processor Overview Skylake-SP CPU Architecture Knights Mill CPU Architecture 2017 Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 4

5 インテル Xeon プロセッサー E7 最高レベルのメモリー搭載容量と高度な RAS 機能を備え ミッション クリティカル アプリケーションに対応したスケールアップ システム向けプロセッサー インテル Xeon プロセッサー E5 さまざまな用途のアプリケーション向けに電力あたり性能と価格あたり性能の両方に優れた最適なシステムを実現するプロセッサー Brickland プラットフォーム E7 v3 E7 v4 Grantley-EP プラットフォーム E5 v3 E v4 (4S) E5 v3 E v4 Purley プラットフォーム Skylake Cascade Lake インテル Xeon PLATINUM インテル Xeon GOLD インテル Xeon SILVER インテル Xeon BRONZE Skylake-SP マイクロアーキテクチャーで革新的なコンバージド プラットフォームを実現 5

6 この 10 年で最大規模となるプラットフォームの進化を実現する 機能 データセンター向けに強化を施した Skylake マイクロアーキテクチャー あたり 32 DP flops 性能を実現するインテル AVX-512 キャッシュ階層をデータセンター向けに最適化 - ごとに 1MB L2 キャッシュとノンインクルーシブ L3 キャッシュ インテル Xeon プロセッサー E v4 インテル Xeon スケーラブル プロセッサー ソケットあたりの数最大 22 最大 28 ソケットあたりのスレッド数最大 44 スレッド最大 56 スレッド ラストレベル キャッシュ () 最大 55 MB 最大 38.5 MB ( ノンインクルーシブ ) QPI/UPI 転送速度 (GT/s) 2 本の QPI 9.6 GT/s 最大 3 本の 10.4 GT/s PCIe* レーン数 / コントローラー / 転送速度 (GT/s) 搭載可能メモリー 40 / 10 / PCIe* 3.0 ( GT/s) 4 本のメモリー チャネルで ( チャネルごとに ) 最大 3 本の RDIMM LRDIMM または 3DS LRDIMM をサポート 新しいメッシュ インターコネクト アーキテクチャー 拡張されたメモリー サブシステム 拡張された IO 性能 新しいインテル UltraPath インターコネクト ( インテル UPI) 48 / 12 / PCIe 3.0 ( GT/s) 6 本のメモリー チャネルで ( チャネルごとに ) 最大 2 本の RDIMM LRDIMM または 3DS LRDIMM をサポート 最大メモリー転送速度最大 2400 MHz 最大 2666MHz インテル Speed Shift テクノロジー セキュリティーおよび仮想化環境を強化 (MBE PPK MPX) オプションとしてインテル Omni-Path ファブリック ( インテル OPA) を統合 6 本の DDR4 メモリー チャネルをサポート DDR4 DDR4 DDR4 DDR4 DDR4 DDR4 1 ソケットあたり最大 48 レーンの PCIe* 3.0 をサポート 共有 L3 キャッシュ Omni-Path HFI 2-3 本の UPI をサポート DMI3 UPI UPI UPI Omni-Path TDP (W) 55W-145W 70W-205W 6

7 2 ソケット構成 4 ソケット構成 8 ソケット構成 LBG LBG SKL インテル UPI SKL SKL SKL SKL SKL DMI LBG ** 3x16 PCIe* 1x100G インテル OP Fabric x4 3x16 PCIe* 1x100G インテル OP Fabric LBG LBG SKL SKL SKL SKL (2 ソケットで 2 本の UPI 構成と 2 ソケットで 3 本の UPI 構成の場合 ) DMI LBG 3x16 PCIe* SKL SKL (4 ソケットで 2 本の UPI 構成と 4 ソケットで 3 本の UPI 構成の場合 ) 2 ソケットで 2 本の UPI 構成から 8 ソケット構成まで幅広くサポートするインテル Xeon スケーラブル プロセッサー DMI LBG SKL 3x16 PCIe* LBG SKL 7

8 相対性能 E v4 Baseline OLTP Brokerage Brokerage Firm OLTP Two-tier SAP SD* (Linux) Enterprise Sales and Distribution (Linux) Java* Business Ops Maximum jops Server-side Java SPECint*_rate_base200 6 General Integer App Throughput Infrastructure Application virtualization Server Virtualization 2017 Intel Corporation. 無断での引用 転載を禁じます Technical Compute App Throughput SPECfp*_rate_base2006 STREAM* - Triad Memory Bandwidth OLTP Database Performance HammerDB* HPC Molecular Dynamics LAMMPS DPDK L3 Packet Forwarding Network L3 Packet Forwarding Black-Scholes FSI Options Pricing Intel Distribution for LINPACK LINPACK Throughput (2 ソケットサーバーで ) 相対性能の平均 1 で 1.65 倍の性能向上を実現 Higher is better 平均 1.65 倍 ノード 2 ソケット構成のインテル Xeon プロセッサー E5-26xx v4 ("Broadwell-EP 2S") 1 ノード 2 ソケット構成のインテル Xeon スケーラブルプロセッサー Geomean based on Normalized Generational Performance (estimated based on Intel internal testing of OLTP Brokerage, SAP SD 2-Tier, HammerDB, Server-side Java, SPEC*int_rate_base2006, SPEC*fp_rate_base2006, Server Virtualization, STREAM* triad, LAMMPS, DPDK L3 Packet Forwarding, Black-Scholes, Intel Distribution for LINPACK. Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more information go to Intel does not control or audit the design or implementation of third party benchmark data or Web sites referenced in this document. Intel encourages all of its customers to visit the referenced Web sites or others where similar performance benchmark data are reported and confirm whether the referenced benchmark data are accurate and reflect performance of systems available for purchase. Configuration: see page 9, 10

9

10 VEC INT フロントエンド ロード バッファー ストア バッファー ポート 0 ポート 1 ALU シフト JMP 2 FMA ALU シフト DIV 32KB L1 I$ プリデコード Inst Q ALU LEA MUL FMA ALU シフト リオーダー バッファー ポート 5 ALU LEA FMA ALU シャッフル 分岐予測ユニット ポート 6 ALU シフト JMP 1 ロードデータ 2 ロードデータ 3 スケジューラー ポート 4 ストアデータ 1MB L2$ デコーダーデコーダーデコーダー μop キャッシュ アロケート / リネーム / リタイア ポート 2 ロード /STA 5 6 ポート 3 ロード /STA メモリー コントロール フィルバッファー ポート 7 32KB L1 D$ μop キュー STA インオーダー OOO メモリー アウトオブオーダー ウィンドウインフライト ロード + ストアスケジューラー エントリーレジスター 整数 + FP アロケーション キュー L1D BW (B/Cyc) ロード + ストア Broadwell uarch L2 ユニファイド TLB 4K + 2M:1024 Skylake uarch / スレッド K + 2M:1536 1G:16 分岐予測の改善 デコーダーのスループット向上 そして ILP を向上させるためのより大きいウィンドウ スケジューラー 実行エンジンの改善 divide/sqrt のスループットとレイテンシーの改善 ロード / ストア帯域幅の向上 ロード / ストアバッファーの深化 およびプリフェッチの改良 サーバー製品固有の強化 : インテル AVX-512 ( ごとに 2 FMA) より大きな 1MB MLC 2017 Intel Corporation. 無断での引用 転載を禁じます 10

11 512 ビット幅ベクトル 32 のオペランドレジスター 8 の 64b マスク レジスター 組込みブロードキャスト 組込みラウンディング マイクローアーキテクチャー Skylake 命令セット インテル AVX-512 & FMA SP FLOP / サイクル DP FLOP / サイクル Haswell / Broadwell インテル AVX2 & FMA Sandybridge インテル AVX (256b) 16 8 Nehalem SSE (128b) 8 4 インテル AVX-512 の命令の種類 AVX-512-F AVX-512-VL AVX-512-BW AVX-512 基本インストラクション ベクトル長直交性 : 512 以下のベクトルサイズで動作する能力 512 ビットバイト / ワードのサポート AVX-512-DQ 追加の D/Q/SP/DP の命令 ( 変換 超越的サポートなど ) AVX-512-CD コンフリクト検出 : 潜在的なアドレス コンフリクトによるループをベクトル化する際に使用 並列データ処理に強力な命令セット 2017 Intel Corporation. 無断での引用 転載を禁じます 11

12 VEC INT Skylake-SP Skylake-SP core builds on Skylake core with features architected for data center usage Intel AVX-512 implemented with Port 0/1 fused to a single 512b execution unit Port 5 is extended to full 512b to add second FMA outside of Skylake core L1-D load and store bandwidth doubled to allow up to 2x64B load and 1x64B store Additional 768KB of L2 cache added outside of Skylake core Port 0 Port 1 Port 5 Port 6 Extended AVX ALU Shift JMP 2 FMA ALU Shift DIV ALU LEA MUL FMA ALU Shift ALU LEA FMA ALU Shuffle ALU Shift JMP 1 Skylake Extended L2 Skylake-SP : Optimized for Data center Workloads 2017 Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 12

13 動作周波数 AVX2 AVX512 非 AVX AVX2 非 AVX インテル AVX 実行時の動作周波数 Non-AVX インテル AVX2 ライト / ヘビー インテル AVX-512 ライト / ヘビーのコードごとで異なるターボ周波数の制限が存在 各の周波数はワークロードに応じて動的に判定 混合ワークロード Non-AVX_Turbo AVX2_Turbo AVX512_Turbo コードの種類 SSE AVX2-Light (FP & int-mul なし ) All の周波数の制限 Non-AVX All Turbo Non-AVX_Base AVX2_Base AVX512_Base AVX2-Heavy (FP & int-mul) AVX512-Light (FP & int-mul なし ) AVX2 All Turbo AVX512-Heavy (FP & int-mul) AVX512 All Turbo AVX512 AVX2 非 AVX AVX-512 を使用する場合の AVX2 を使用する場合の AVX を使用しない場合の 2017 Intel Corporation. 無断での引用 転載を禁じます 13

14 SSE4.2 GFLOP/GHz に 正規化 GFLOP システム電力 周波数 SSE4.2 GFLOP/ ワット に正規化 インテル AVX-512 の性能効率 LINPACK 性能 SSE4.2 AVX AVX2 AVX512 GFLOPs Power (W) Frequency (GHz) 6.00 GFLOP / ワット SSE4.2 AVX AVX2 AVX GFLOP / GHz SSE4.2 AVX AVX2 AVX512 インテル AVX-512 で性能効率が大幅に向上 出典 (2017 年 6 月 ):Xeon Platinum 8180 ターボ対応 UPI = 10.4 SNC1 CPU あたり 6x32GB DDR DPC 1 台でインテル内部で計測 パフォーマンス テストで使用されるソフトウェアおよびワークロードは インテル マイクロプロセッサーのみのパフォーマンス用に最適化されている可能性があります SYSmark や MobileMark などのパフォーマンス テストは 特定のコンピューター システム コンポーネント ソフトウェア 操作 および機能を使用して測定されます これらの要因のいずれかが変更されると 結果が異なる場合があります ほかの製品と組み合わせた場合の当該製品のパフォーマンスを含め 購入予定を完全に評価する場合の補助として ほかの情報およびパフォーマンス テストも調べる必要があります 2017 Intel Corporation. 無断での引用 転載を禁じます 14

15

16 Broadwell EX 24 ダイ Skylake-SP 28 ダイ QPI QPI Link Link R3QPI QPI Agent PCI-E PCI-E PCI-E PCI-E X16 X16 X8 X4 (ESI) Ux PCU CB DMA R2PCI IOAPIC IIO 2x UPI x 20 PCIe* * x 16 PCIe x 16 DMI x 4 CBDMA On Pkg PCIe x 16 1x UPI x 20 PCIe x 16 U D P N CHA / SF/ SKX SKX SKX SKX SKX SKX U P D N D N U P MC CHA / SF/ MC U P D N D N U P SKX SKX SKX SKX U P D N D N U P CHA / SF/ U P D N D N U P SKX SKX SKX SKX SKX SKX U P D N D N U P CHA / SF/ U P D N D N U P SKX SKX SKX SKX SKX SKX U D P N CHA / SF/ UP DN SKX SKX SKX SKX SKX SKX DDR Home Agent Mem Ctlr DDR DDR Home Agent Mem Ctlr DDR CHA キャッシュおよびホーム エージェント ; SF スヌープフィルター ; Last Level ; SKX Skylake サーバー ; UPI インテル UltraPath インターコネクト 帯域幅の増加とレイテンシー低減を担保しながら拡張性を実現 2017 Intel Corporation. 無断での引用 転載を禁じます 16

17 3x DDR x DDR Skylake-SP Die Configurations XCC Die with 28 s 6x6 Mesh topology 5 rows of core and 2 memory controllers, one on each side of die All IOs at the top 3 x16 PCIe Gen3 stacks 1 x16 PCIe for MCP use Up to 3 Intel UPI ports 2x UPI x 10.4GT /s 2x UPI x 20 PCIe* x 16 PCIe x 16 DMI x 4 CBDMA MC 1x16 /2x8/4x4 8GT /s 1x16 /2x8/4x4 8GT /s x4 DMI On Pkg PCIe x 16 1x UPI x 10.4GT /s 1x UPI x 20 PCIe x 16 1x16 /2x8/4x4 8GT /s MC CHA Caching and Home Agent ; SF Snoop Filter ; Last Level ; Skylake -SP ; UPI Intel UltraPath Interconnect 2017 Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 17

18 3x DDR x DDR Caching and Home Agent (CHA) を分散 2x UPI x GT / s 1 x 16 / 2 x 8 / 4 x 4 8 GT / s 1 x 16 / 2 x 8/ 4 x 4 8GT / s x 4 DMI 1 x 16 / 2x 8 / 4 x 4 8 GT / s インテル UPI キャッシュおよびホーム エージェントは 各 バンクごとに分散 2x UPI x 20 PCIe* x 16 PCIe x 16 DMI x 4 CBDMA MC PCIe x 16 MC 前世代では QPI ホーム エージェントは少数でした 分散 CHA の利点 メモリー コントローラーの大規模なトラッカー構造を排除し より多くのリクエストをインフライトで受け付けながら それらを同時に処理します ホーム エージェントから へのインタラクションを排除し メッシュのトラフィックを軽減します 先にスヌープを起動することによってレイテンシーを短縮し 異なるスヌープモードが必要となる局面を未然に防ぎます 分散 CHA アーキテクチャーにより 高い帯域幅が維持され レイテンシーが低下 2017 Intel Corporation. 無断での引用 転載を禁じます 18

19 前世代のアーキテクチャー 共有 L3 キャッシュあたり ( インクルーシブ ) Skylake-SP アーキテクチャー 共有 L3 キャッシュあたり 1.375MB ( ノンインクルーシブ ) L2 キャッシュ ( 占有 256KB) L2 キャッシュ ( 占有 256KB) L2 キャッシュ ( 占有 256KB) L2 キャッシュ ( 占有 1MB) L2 キャッシュ ( 占有 1MB) L2 キャッシュ ( 占有 1MB) 共有 L3 キャッシュがインクルーシブからノンインクルーシブに変更 : インクルーシブ ( 前世代のアーキテクチャー ) L3 キャッシュは L2 キャッシュの全てのラインのコピーを持つ ノンインクルーシブ (Skylake アーキテクチャー ) L2 キャッシュのラインが L3 キャッシュに存在しているとは限らない Skylake-SP のキャッシュ階層はデータセンター向けに構築 2017 Intel Corporation. 無断での引用 転載を禁じます 19

20 Lower is better Performance Relative Change in L2 and L3 Misses Per Instruction for SPECint*_rate 2006 from Broadwell-EP to Skylake-SP Relative L2 MPI Relative L3 MPI Skylake-SP cache hierarchy significantly reduces L2 misses without increasing L3 misses compared to Broadwell-EP Source as of June 2017: Intel internal measurements on platform with Xeon Platinum 8180, Turbo enabled, UPI=10.4, SNC1, 6x32GB DDR per CPU, 1 DPC, and platform with E v4, Turbo enabled, 4x32GB DDR4-2400, RHEL 7.0. Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit Copyright 2017 Intel Corporation Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 20

21 Lower is better Performance Relative Change in L2 and L3 Misses Per Instruction for SPECfp*_rate 2006 from Broadwell-EP to Skylake-SP Relative L2 MPI Relative L3 MPI Skylake-SP cache hierarchy significantly reduces L2 misses without increasing L3 misses compared to Broadwell-EP Source as of June 2017: Intel internal measurements on platform with Xeon Platinum 8180, Turbo enabled, UPI=10.4, SNC1, 6x32GB DDR per CPU, 1 DPC, and platform with E v4, Turbo enabled, 4x32GB DDR4-2400, RHEL 7.0. Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit Copyright 2017, Intel Corporation Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 21

22 Lower is better LATENCY (NS) Performance CPU CACHE LATENCY Broadwell-EP Skylake-SP Skylake-SP L2 cache latency has increased by 2 cycles for a 4x larger L2 L 1 C A C H E L 2 C A C H E L 3 C A C H E ( A V G ) Skylake-SP achieves good L3 cache latency even with larger core count Source as of June 2017: Intel internal measurements on platform with Xeon Platinum 8180, Turbo enabled, SNC1, 6x32GB DDR per CPU, 1 DPC, and platform with Intel Xeon E v4, Turbo enabled, without COD, 4x32GB DDR4-2400, RHEL 7.0. latency measurements were done using Intel Memory Latency Checker (MLC) tool. Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit Copyright 2017, Intel Corporation Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 22

23 3X DDR x DDR メモリー サブシステム 2x UPI 10.4GT/s 2x UPI x20 PCIe* x16 PCIe x16 DMI x4 CBDMA MC 1x16/2x8/4x4 8GT/s 1x16/2x8/4x4 8GT/s x4 DMI 1x16/2x8/4x4 8GT/s PCIe x16 MC メモリー コントローラー (IMC) を 2 個搭載し IMC ごとに 3 チャネルをサポート 1 ソケットにつき合計 6 メモリー チャネル 1 チャネルあたり 2 本の DIMM をサポートし 最大 DDR4-2666MHz のメモリーをサポート RDIMM LRDIMM および 3DS-LRDIMM のサポート 1 ソケットあたり最大 1.5TB のメモリー搭載容量 (2 DPC で 128GB DIMM を使った場合 ) インテル Xeon プロセッサー E5 v4 と比較して ソケットあたりのメモリー帯域幅が最大 60% 増加 のミスによるレイテンシーを軽減するために XPT プリフェッチおよび D2C/D2K をサポートすることで のキャッシュミスによるレイテンシーを軽減 アダプティブ ダブル デバイス データ コレクション (ADDDC) を使用した新しいメモリー デバイスの障害検出とリカバリー スキームを導入 メモリー帯域幅と容量が大幅に向上 2017 Intel Corporation. 無断での引用 転載を禁じます 23

24 3xDDR xDDR Sub-NUMA Cluster (SNC) 前世代でクラスター オン ダイ (COD) をサポート済み 2x UPI x20 PCIe* x16 PCIe x16 DMI x 4 CBDMA On Pkg PCIe x16 1x UPI x20 PCIe x16 SNC では COD での機能を改善しながら同様のローカリゼーションのメリットを提供 2 分割の SNC モードでも 1 本の UPI キャッシュ エージェントのみ必要 DDR4 DDR4 DDR4 MC MC DDR4 DDR4 DDR4 リモートクラスター内でメモリアクセスに必要なレイテンシーは小さく UPI フローを使う必要はなし のキャパシティーは 2 クラスタモードでより効率的に利用され での回線の重複はなし SNC ドメイン 0 SNC ドメイン Intel Corporation. 無断での引用 転載を禁じます 24

25 Memory Performance Bandwidth-Latency Profile Source as of June 2017: Intel internal measurements on platform with Xeon Platinum 8180, Turbo enabled, UPI=10.4, SNC1/SNC2, 6x32GB DDR4-2400/2666 per CPU, 1 DPC, and platform with E v4, Turbo enabled, 4x32GB DDR4-2400, RHEL 7.0. Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more information go to Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 25

26 Lower is better LATENCY (NS) Memory Performance to Memory Latency 220 NUMA - Local NUMA - Min Remote NUMA - Max Remote UMA - Min UMA - Max Intel Xeon E v4, DDR4-2400, Dir+OSB Intel Xeon E v4, DDR4-2400, Home Snp Intel Xeon E v4, DDR4-2400, COD Intel Xeon Platinum 8180, DDR Intel Xeon Platinum 8180, DDR4-2666, SNC2 Source as of June 2017: Intel internal measurements on platform with Xeon Platinum 8180, Turbo enabled, UPI=10.4, 6x32GB DDR4-2666, 1 DPC, and platform with E v4, Turbo enabled, 4x32GB DDR4-2400, RHEL 7.0. Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more complete information visit Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 26

27 Skylake-SP Architecture Summary New Architectural Innovations for Data Center Up to 60% increase in compute density with Intel AVX-512 Improved performance and scalability with Mesh on-chip interconnect L2 and L3 cache hierarchy optimized for data center workloads Improved memory subsystem with up to 60% higher memory bandwidth Faster and more efficient Intel UPI interconnect for improved scalability Improved integrated IO with up to 50% higher aggregate IO bandwidth Increased protection against kernel tampering and user data corruption, cache, memory and IO improvements for increased virtual machine performance Enhanced power management and RAS capability for improved utilization of resources 2017 Intel Corporation. All rights reserved. Intel and the Intel logo are trademarks of Intel Corporation or its subsidiaries in the U.S. and/or other countries. *Other names and brands may be claimed as the property of others. For more complete information about compiler optimizations, see our Optimization Notice. 27

28

29 30

30 What is Knights Mill? First Intel product targeted specifically at Deep Learning training workloads Up to 4x DL Peak performance over Xeon Phi 7200 Series 1 Built on top of 2 nd generation Intel Xeon Phi TM processor Improved efficiency Optimized for scale-out Enhanced variable precision Flexible, high capacity memory Knights Mill 1 Intel internal estimate: Performance estimate wrt Xeon Phi 7290 SKU SGEMM. Performance Calculation= AVX freq X s X Flops per X Efficiency 31

31 Knights Mill New Intel Processor for Deep Learning Designed for Deep Learning AI on IA No PCIe ttleneck otable host processor Bypass Memory Wall otable Host CPU High flop density Special deep learning Instructions Raise Memory Ceiling 32

32 Knights Mill exploits all 3 4 levels of parallelism TLP (thread level parallelism) ILP (instruction level parallelism) DLP (data level parallelism) PLP (pipeline level parallelism) Many core architecture on high performing mesh interconnect 4-way SMT 2-way superscalar OOO execution 512-bit SIMD (AVX-512) *New* Variable Precision support (VNNI) *New* Quad FMA instructions 33

33 N-depth New Deep Learning ISA: Quad FMA FP32 Mnemonic Format Description V4FMADDPS zmm1 {k1}, zmm2+3, m128 Quadruple packed single-precision multiply and add S4 FMA4 * + SIMD S4 FMA4 * +... V4 V4 source block of 4 zmm sources Memory operand packing 4 scalars (4x32) FMA3 * S3 V3 + FMA3 * S3 V3 + V4FMADDPS zmm4 {k1}, zmm0+3, m128 for i=0..15 zmm4.fp32[i] = zmm4.fp32[i] + zmm0.fp32[i]*m128.fp32[0] + zmm1.fp32[i]*m128.fp32[1] + zmm2.fp32[i]*m128.fp32[2] + zmm3.fp32[i]*m128.fp32[3] S1..4 S2 FMA2 * FMA1 * V2 S1 V1 + + RES S1..4 S2 FMA2 * FMA1 * V2 S1 V1 + + RES 34

34 An Example: Using Quad FMA on Matrix Multiply [rax] [rbx] zmm0 zmm1 zmm2 zmm8 zmm3 A B C 8x zmm8 [i] = zmm8[i] + mem[0] * zmm0[i] + mem[1] * zmm1[i] + mem[2] * zmm2[i] + mem[3] * zmm3[i] VMOVAPS zmm0, [rbx] VMOVAPS zmm1, [rbx+64] VMOVAPS zmm2, [rbx+128] VMOVAPS zmm3, [rbx+192] V4FMADDPS zmm8, zmm0..3, [rax] V4FMADDPS zmm9, zmm0..3, [rax+64] V4FMADDPS zmm10, zmm0..3, [rax+128] V4FMADDPS zmm11, zmm0..3, [rax+...] V4FMADDPS zmm12, zmm0..3, [rax+...] V4FMADDPS zmm13, zmm0..3, [rax+...] V4FMADDPS zmm14, zmm0..3, [rax+...] V4FMADDPS zmm15, zmm0..3, [rax+...] 8x 35

35 Variable Precision: What is VNNI-16? Vector Neural Network Instructions Variable precision Inputs: 16-bit INT Outputs: 32-bit INT Variable precision is best of both worlds Same operations/instruction as half precision 2x OPS vs Single Precision Similar output precision for optimal training convergence 31 bits of INT32 vs 24 bits of mantissa in FP32 The obvious trade-off is the associated overhead on handling dynamic range in software (fixed precision) src0 [31:0] src1 [31:16] [15:0] src2 [31:16] [15:0] Final add with or without saturation 16b * * 32b 16b 32b + 16b 32b 32b 16b 36

36 QVNNI = QFMA + VNNI 16b a1 b1 32b c0 16b a0 b0 Instruction Format Description VP4DPWSSD zmm1 {k1}, zmm2+3, mem128 Quadruple INT16 to INT32 horizontal MAC c0=c0+a0*b0+a1*b1 32b VP4DPWSSDS zmm1 {k1}, zmm2+3, mem128 Quadruple INT16 to INT32 horizontal MAC with signed saturation Example VP4DPWSSD zmm4 {k1}, zmm0+3, m128 for i=0..15 zmm4.int32[i] = zmm4.int32[i] + (zmm0.int16[2*i]*m128.int16[0] + zmm0.int16[2*i+1]*m128.int16[1]) + (zmm1.int16[2*i]*m128.int16[2] + zmm1.int16[2*i+1]*m128.int16[3]) + (zmm2.int16[2*i]*m128.int16[4] + zmm2.int16[2*i+1]*m128.int16[5]) + (zmm3.int16[2*i]*m128.int16[6] + zmm3.int16[2*i+1]*m128.int16[7]) 37

37 Knights Mill Fetch ISA: SSE, AVX, AVX512-F Double Precision stack 1 VPU port/core (512b) MS Decode 2 instr 2 uops RAT/Alloc 2 cracked uops Single Precision/VNNI stack 2 stacked FMAs per port IEC MEC VPU alu alu ld L1 port L1 port vld vld DP S P S P S P st vst S P 38

38 Intel Xeon Phi 7200 Series vs. Knights Mill: Port Comparisons FMA 1 pass 512bits FMA 1 pass FMA 1 pass 512bits QFMA 2 passes 512bits DP/SP * S1 V1 + RES 512bits DP/SP * S1 V1 + RES S2 S1 SP/VNNI1 * V2 SP/VNNI0 * bits DP * + S2 S1 SP/VNNI1 * V2 SP/VNNI0 * + + V1 RES S1 V1 RES V1 RES P0 P1 0.5x DP P0 P1 2x SP 4x VNNI 39

39 Quad FMA Double-pumped Execution (*) (*) Included for illustration purposes, not intended as an exact recreation of KNM pipeline stages The life of a Single-precision FMA instruction in Knights Mill Fetch DEC RAT SCHED AGU MEM WB SCHED RF EXE0 EXE1 EXE2 WB The life of a Single-precision QFMA instruction in Knights Mill SCHED AGU MEM WB 1 st FMA stack 2 nd FMA stack SCHED RF EXE0 EXE1 EXE2 EXE3 EXE4 EXE5 1 st FMA stack 2 nd FMA stack 1 st pass 2 nd pass SCHED RF EXE0 EXE1 EXE2 EXE3 EXE4 EXE5 WB 40

40 Efficiency of double-pumped execution High front end power IQ FEC 2 FMA 1 fetch/rename 1 load (1 scalar) 1 FMA Reduce front end power IQ FEC 2 QFMA 1 fetch/rename 1 load (4 scalars) 4 FMAs (2 FMAs per pass) Power 100% 80% RSV 2 RAT 2 2 RSV Power 80% Reduced efficiency at 1x flops Power 80% 50% RSV 2 2 RAT 2 RSV Power 100% 80% High efficiency at 2x flops MEC FMA ROB FMA MEC FMA FMA ROB FMA FMA 41

41