SMG Field Computex 2011 New Category Update

Transcription

1 Intel Software Developer Day インテル マイクロアーキテクチャー SandyBridge* 向けワークロードの最適化 2011 年 7 月 15 日インテル株式会社ソフトウェア & サービス統括部シニア アプリケーション エンジニア菅原清文 Sandy Bridge 開発コード名 1

2 内容 Sandy Bridge* ワークロード最適化 マイクロアーキテクチャー概要 既存のコードにおけるパフォーマンス ガイドライン メモリーアクセス 実行 フロントエンド Sandy Bridge 開発コード名 2

3 グラフィックス ユニット マイクロアーキテクチャー概要 C0 (HT0,1) Cn (HT0,1) L1I L1D L2 C LLC0 リング L1I L1D L2 C LLCn システム エージェント メモリー 3

4 メイン プラットフォームの派生 モバイルとデスクトップ 1 ソケット プロセッサー チップセット ( 開発コード名 Cougar Point ) 2 メモリーチャンネル コア数 LLC (MB) グラフィックスプラットフォーム QC-MB 4 8 GT2 Huron River DC-MB 2 4 GT2 Huron River QC-DT 4 6 GT1 Sugar Bay DC-DT 2 3 GT1 Sugar Bay : 開発コード名 4

5 メイン プラットフォームの派生 サーバーとワークステーション EX/EP/EN ではソケット数, チャンネル数, DIMM の数, PCIe レーン数, QPI リンク数が異なる EP と EN: 2/1 QPI チャンネル, 768/384GB メモリー グラフィックスなし 名称最大ソケット数コア / ソケット LLC SNB EX 4 8, 6 20, 16, 15, 12 SNB EP 2 8, 6, 4 20, 15, 10 SNB EN 2 8, 6, 4 20, 15, 10 SNB EN 1S SNB WS 1S 1 6, 4 15, 10 : Sandy Bridge ( 開発コード名 ) 5

6 インテル アドバンスト ベクトル エクステンション ( インテル AVX) 32 バイト浮動小数点ベクトル拡張 8 個の 4 バイト ( 単精度 ) 浮動小数点要素を操作 4 個の 8 バイト ( 倍精度 ) 浮動小数点要素を操作 新しい 16 個の 32 バイト YMM レジスター (XMM レジスターの拡張 ) 16 バイトの浮動小数点および整数ベクトル拡張 非破壊ソース NDS SRC2 と DEST は異なる ロード + op はアライメントされていないアドレスをアクセスできる コードサイズを縮小 少ない μops ( マイクロオペレーション ) インテル AVX における バイトの移行はコストなし 32 バイトのインテル AVX インテル ストリーミング SIMD 拡張命令 ( インテル SSE) 間の移行は高価 6

7 システム エージェント アービター = リングを経由して I/O (PCIe と DMI) とメモリーをアクセスする メモリー グラフィックスそして I/O インターフェイスをチップに統合 : メモリー コントローラー 2 チャンネルでそれぞれ 2 つの DIMM を搭載可能 データレート : サイクルごとに 8 バイト 1066MHz 1333MHz および 1600MHz 最大 32 GB の容量 PCIe コントローラー DMI コントローラー GFX ディスプレイ インターフェイス PCIe I/O DMI FDI ディスプレイ アービター メモリーコントローラー DDR3 リング 7

8 リングとラストレベル キャッシュ (LLC) コア GT キャッシュブロック そしてシステム エージェントはリングに接続される 各コアとキャッシュブロックのリング インターフェイスは 32 バイト / サイクルの転送能力を持つ リングとキャッシュブロックはコアと同じ周波数で動作する キャッシュブロック : 論理回路と LLC データ配列 アドレス空間はキャッシュブロックに一様に分配される LLC は高レベルのキャッシュでインクルーシブ どのコアが各キャッシュラインを保持しているか記録 PCIe I/O ディスプレイ コアコアコアコア DMI アービター C C C C C 大きな GT FDI LLC LLC LLC LLC メモリーコントローラー DDR3 8

9 アンコア 32K 命令キャッシュ BPU レガシーデコードパイプライン MSROM デコード済命令キャッシュ 256K L2 キャッシュ μop キュー リネーム / リタイア コア パイプライン 32K データキャッシュ ロードストア ( アドレス ) 2 3 ストアデータ フロントエンド 整数 OOO* MMX/SSE AVX 下位 スケジューラー INT / SSE / X87 レジスタースタック 実行 X87 AVX 上位 キャッシュ OOO = out of order 9

10 フロントエンド レガシー パイプライン : 命令フェッチと μops へのデコード デコード済命令キャッシュに格納 デコード済命令キャッシュ : 利用頻度の高い μops のキャッシュ MSROM 4 μops より長い命令を格納 μops はデコード済命令キャッシュもしくはデコーダーからフェッチされ μop キューへ格納される LSD: 小さな μops のループはキューから取り込む μops がデコード済み命令キャッシュから提供された場合のみ マイクロフュージョン ロード / ストア + op を 1 の μop に融合 マクロフュージョン 2 の連続した命令 1 μop CMP/TEST/ADD/SUB/INC/DEC + JCC 32K 命令キャッシュ レガシーデコードパイプライン MSROM μop キュー BPU デコード済命令キャッシュ 10

11 デコード済み命令キャッシュの内容 セット : セットは 8-way 1 つの way: 1 つの way は次の内容を保持できる : 6 μops 完全な命令 2 の分岐 1 非条件分岐 1 MSROM は 1 way を消費 長い即値を伴う μops は 2-way 消費 11

12 デコード済み命令キャッシュ 32 セット 8-way 1-way は 6 のエントリー すべての命令は 32 バイト境界に配置されたチャンク 最大 3 の way を消費 32 バイトに配置されたチャンクは最大 18 の μops を保持 複数の μops で構成される命令は way にまたがって格納できない way 中に 2 の分岐を格納可能 非条件分岐は way の最後の μop 長い命令 (MSROM) は way 全体を消費 マイクロフュージョンされた μops ( ロード / ストア +op) は 1 に扱う マクロフュージョンされた対の命令は 1 の μop として扱う 64 バイト即値を伴う μops は 即値を保持するため 2 のスロットを利用 SMT の場合 : 各スレッドは半分のセットを利用 12

13 OOO リネーム μops はバックエンドでインオーダーにリソースを割り当てられる ROB RS ロードバッファー ストアバッファー 各サイクルで最大 4 μops を割り当て 集成されていない μops (base + index を伴うストア / ロード +op) は 2 の割り当て / リタイアスロットを利用 マイクロフュージョンされた μop は 1 の割り当て / リタイアスロットを利用するが 2 の RS および ROB エントリーを利用 LSD ループのサイクル割り当てを終わらせて分岐 割り当て時の実行 : ゼロ イディオム NOP VZEROUPPER FXCHG リネーム / リタイア スケジューラー INT / SSE / X87 レジスタースタック 13

14 OOO と実行 μops は RS から OOO 実行のためディスパッチされる サイクルごとに各ポートで 1 μop ポート 演算 ポート 2 3 ロードとストアアドレス ポート 4 ストアデータ レジスターは 3 スタックを保持 整数 SSE/SIMD (INT + FP) x87 インテル AVX 下位と SSE インテル AVX 上位と x87 実行が完了するとデータはスタックへ書き戻される ポートごとに 1 の μop がライトバックできる ロードストア ( アドレス ) 整数 MMX/SSE AVX 下位 X87 AVX 上位 2 3 ストアデータ リネーム / リタイア スケジューラー INT / SSE / X87 レジスタースタック 異なるレイテンシーの μops は 同じスタック上のライトバック ポートを共有できない 異なるスタックであれば μops は衝突しない 14

15 メモリーコントローラー アービター 32K L1D 32K L1I 32K L1D 32K L1I 256K L2 256K L2 キャッシュ構造 ラストレベル キャッシュ データ位置最適なレイテンシー ( サイクル ) 最適なバンド幅 ( コアごとのサイクル ) L1 データキャッシュ 4 * 2 x 16 バイト L2 キャッシュ 12 1 x 32 バイト LLC x 32 バイト 利用可能な他のコアの L2 と L1 データキャッシュ 43 クリーンヒット 60 ダーティーヒット 15

16 L1 データキャッシュ 倍のロードバンド幅 : 各サイクルで 2 ロードと 1 ストアをサービス可能 アドレス変換 : サイクルごとに 2 ロードと 1 ストア サイクルの最適なロード レイテンシー 書き込みレジスターの型とアドレッシング モードに依存 アドレッシング モード base+index[+offset] データ型 Base+offset>=2048 Base+offset<2048 整数 5 4 MMX SSE 128 ビット AVX 6 5 X ビット AVX

17 ロード遅延 キャッシュミス キャッシュライン分割 アドレス衝突 : ストアアドレスもしくはデータが丌明 4K エリアス ロードバンク衝突 書き込み後の読み込み (RAW) 衝突 : ストアもしくは置き換え操作 17

18 ハードウェア プリフェッチ L1D プリフェッチャー DCU ストリーム プリフェッチャー : 最も最近読み込まれた前方アクセスによってトリガーされる 次のキャッシュラインを読み込み IP プリフェッチャー IP ごとのストライドバイトのロードを検出 前方もしくは後方 2K バイトまでのストライド 次の推測されたアドレスをプリフェッチ プリフェッチ ミスは要求されたミスよりも優先順位が低い ロードされたデータを処理すると 有効なプリフェッチが可能になる L1D プリフェッチャーは L2 プリフェッチャーを早期に起動する 18

19 L2 プリフェッチャー 特殊なプリフェッチャー フェッチされたキャッシュラインは すべてペアとなるキャッシュラインもプリフェッチする (128 バイト境界 ) ストリーマー : より積極的 L1D のロードとストアをモニターし そしてハードウェア プリフェッチ要求と L1I へコードフェッチ要求を行う 同一の 4K バイトページ内でのみプリフェッチ可能 L2 参照ごとに 2 のプリフェッチ要求を引き起こす 前方の 20 キャッシュラインをプリフェッチ可能 1 コアあたりの目立った要求数を動的に調整 要求が多ければ あまり遠くないデータを LLC のみへプリフェッチする キャッシュラインが遠くにあれば LLC のみへプリフェッチする 4K ページあたり 1 前方 1 後方の 32 ストリームまでを維持する 19

20 SMT ITLB 4K ページ ITLB 大きなページデコード済命令キャッシュ μop キュー ROB ロードおよびストアバッファー 分割複製分割複製分割分割 その他の主要なプロセッサー リソースは共有される いくつかの共有リソースは スレッドごとに最小に保たれる さらに多くの内部リソースが分割もしくは複製される リソースは分割され スレッドの C ステートが変化したときに再結合される デコード 割り当て リタイアの各ステージでは スレッドに仕事があるなら各サイクルごとにスイッチする 20

21 GT グラフィック プロセシング ユニット 最新のマイクロアーキテクチャーと製造技術の利点をグラフィックスに生かす 高い動作周波数 優れた集積密度 低消費電力 メモリーアクセスの高いバンド幅と低い遅延を実現 GT1/2: 6/12 EU > 1.5x の性能 ビデオ H/W アクセラレーターを含む これまでグラフィックスのワークロードは CPU 性能を超えるワークロードにより要求されたが 大きな可能性を残している Sandy Bridge シングルコアの周波数は 多くのグラフィックス ワークロードの要求を満たす 電力と周波数の別々のプレーン 21

22 電力 Intel SpeedStep テクノロジーの拡張 P ステート コアがアクティブな状態 P0 最大のターボ周波数 P1 プロセッサーによって保証された周波数 ( 定格 ) Pn 最小の周波数 最大の電力保存 インテル ターボ ブースト テクノロジーのワークロード OS が P0 を選択すると プロセッサーは性能を最大化するため P1 と P0 間の変遷を制御する プロセッサー利用率が低い場合 OS が P1 から Pn 周波数に制御する C ステート アイドル状態 C0 コアはアクティブ C1 コアはアイドル C3 Deeper スリープ C6/C7 AC/DC における Deep スリープ Deeper C ステートでは C0 復帰への長い遅延を要する 電力ステートは 連続した実行の間に変化を引き起こす場合がある 22

23 Sandy Bridge* マイクロアーキテクチャーにおける電力 P ステート アクティブ状態 インテル ターボ ブースト テクノロジー P1 と P0 間の大きなスパン 各アクティブなコアへより高い周波数をブースト 熱容量の余地を利用し プロセッサーが冷えているかアイドルである場合 プロセッサーの TDP ( システムの TDP 内で ) 内で 僅かの間 ( 数秒 ) ブースト 高い電力ワークロードの保護 1 周波数ユニットの減少 単独のインテル AVX 命令の利用を避ける インテル AVX コードブロックを利用 C ステート アイドル状態 C7 ステートの間 LLC はフラッシュされる Sandy Bridge マイクロアーキテクチャーで実装 自動格さげ : 履歴が Deeper C ステートがより低エネルギーであることを示す場合 コア C6/C7 を C3 へ格下げする アルゴリズムを改善 格下げなし : 自動格下による長期の状態の後 もとの Deeper C ステートへ戻る Sandy Bridge 開発コード名 23

24 内容 Sandy Bridge* ワークロード最適化 マイクロアーキテクチャー概要 既存のコードにおけるパフォーマンス ガイドライン メモリーアクセス 実行 フロントエンド Sandy Bridge 開発コード名 24

25 一般的な指標 目的 : 1 つのスレッドで CPU 性能を 100% 引き出す イベントにより大部分の問題を検知できる 問題の影響を求める 通常 CPU_CLK_UNHALTED.THREAD のイベント数で割る 個別に指定できなければ 問題の中には IACA もしくはコードの調査でのみ判別できるものがある コード変換の中には Sandy Bridge* マイクロアーキテクチャーでは性能が向上するが Nehalem*/Westmere* もしくはインテル Atom マイクロアーキテクチャーではペナルティーが生ずるものがある 1 つのバイナリーを双方で実行する場合 異なるコードパスを利用 IACA : Sandy Bridge, Nehalem, Westmere 開発コード名 25

26 パフォーマンス モニター イベントには 3 のカテゴリーがある 固定イベント : clockticks 命令リタイア 参照 clockticks プログラム可能イベント 多くのイベント : 同時に 4/8 個をカウント可能 (HT on/off) ペナルティーやリタイアの距離によってスキッドする ( 滑る ) プリサイスイベント ツール プログラム可能イベントのサブグループ イベントを引き起こした命令の後に実行された命令を正確にポイント 同時に 4 のイベントをカウント可能 インテル VTune Amplifier update 2 以降 (Windows Linux) PTU b472 パッチ (Windows Linux) 26

27 ボトルネックの領域 μops は発行されたか? No 割り当てストール? Yes μop はリタイアしたか? No Yes No Yes FE 依存 BE 依存 誤った投機 リタイア バックエンドはストールしていない フロントエンドがサイクルあたり 4 以下の μops を供給 メモリーアクセス 実行 ディスパッチそして割り当てがボトルネック 命令の投機実行を復帰する必要がある リタイアの成功 経路の長さがサイクルを消費 27

28 ボトルネックの領域 どの領域がサイクルを消費しているか 次のレシオで判断 BE 依存 =1 - (FE 依存 + リタイア + 丌正な投機 ) メモリーの問題 実行の問題 丌正な投機 =(UOPS_ISSUED.ANY-UOPS_RETIRED.RETIRE_SLOTS) / N FE 依存 =IDQ_UOPS_NOT_DELIVERED.CORE / N リタイア = UOPS_RETIRED.RETIRE_SLOTS / N 主要なパイプラインの幅が 4 スロットあるため : N = 4 * CPU_CLK_UNHALTED.THREAD 28

29 Sandy Bridge* マイクロアーキテクチャー固有のボトルネック メモリー 実行 丌正な投機 フロントエンド Sandy Bridge 開発コード名 29

30 バックエンド遅延の原因 BE 依存 =1 - (FE 依存 + リタイア + 丌正な投機 ) ロード遅延 RESOURCE_STALLS.LB / CPU_CLK_UNHALTED.THREAD ストア遅延 RESOURCE_STALLS.SB / CPU_CLK_UNHALTED.THREAD それ以外 メモリー サブシステムもしくは実行の問題を調査 30

31 データ局所性の問題 一般的な原因 全体のデータセットが巨大 データ構造が希薄 データ構造の一部を読み込み 多次元配列の読み込み 非ストライドアクセスなど データのランダムアクセス ランダムに配置されたデータベース ストアミス 多次元配列への書き込み 出力バッファーの利用 どのように見つけるか? データの局所性がパフォーマンス上の問題か評価する データをキャッシュもしくはメモリーから読み込むコードの位置を特定する 31

32 ロード遅延 原因の特定 MEM_LOAD_UOPS_RETIRED.L1_HIT_PS MEM_LOAD_UOPS_RETIRED.L2_HIT_PS MEM_LOAD_UOPS_RETIRED.L3_HIT_PS MEM_LOAD_UOPS_LLC_HIT_RETIRED.XSNP_HIT_PS MEM_LOAD_UOPS_LLC_HIT_RETIRED.XSNP_HITM_PS MEM_LOAD_UOPS_MISC_RETIRED.LLC_MISS_PS MEM_LOAD_UOPS_RETIRED.HIT_LFB_PS ロード遅延の見積もり 最適なロード遅延による各ソースからの複数のロード データロードの原因 総サイクルから比率 (%) を求める 正確さに务る : ロードは同時に行われる L1D からのロードを除外する 見積もりは正確ではない LLC のミス ペナルティーは 200 を想定 次のケースでは 原因を特定するためロード遅延イベントを利用する : インテル AVX の 256 ビット ロードは 単に L1D ヒットもしくは LFB ヒットとして見える LFB ヒット 直前のロードや H/W プリフェッチに起因するロード. 未知のペナルティー 32

33 キャッシュライン置き換えを解析 時にキャッシュラインの置き換え (eviction) は HW プリフェッチャーやストアに起因する ロード要求によるものではないこともある 置き換えの主要な原因となるコード領域を特定する必要がある 長い遅延をもたらすロード以下のレベルの置き換えを探す 例 : 遅延が L2 にヒットするロードが原因である場合 ソース中の L1 データキャッシュの置き換えを調査する 最も L1D 置き換えを行うブロックや関数 ロードミスとストアミスの検知に有効 プロセス全体における L1D の置き換え 33

34 キャッシュライン置き換えを解析 L2 ヒット : L1D の置き換えが発生する場所を特定 LLC ヒット : L2 の置き換えが発生する場所を特定 LLC ミス : LLC の置き換えが発生する場所を特定 34

35 他のメモリー階層に関する遅延 ロードがストアと衝突 アライメントされていないデータ 大きなデータの疎らなアクセスもしくはランダムアクセス 近すぎるソフトウェア プリフェッチ LD_BLOCKS.STORE_FORWARD * 13 LD_BLOCKS.DATA_UNKNOWN LD_BLOCKS_PARTIAL.ADDRESS_ALIAS * 5 MEM_UOPS_RETIRED.SPLIT_LOADS_PS * 5 MEM_UOPS_RETIRED.SPLIT_STORES_PS /cycles>0.01 OTHER_ASSISTS.AVX_STORE_PS * 150 DTLB_LOAD_MISSES.STLB_HIT * 7 DTLB_LOAD_MISSES.WALK_DURATION DTLB_LOAD_MISSES.WALK_COMPLETED DTLB_STORE_MISSES.WALK_DURATION LOAD_HIT_PRE.SW_PREFETCH 35

36 L1 データキャッシュのスループット 可能性 : サイクルごとに L1 データキャッシュから 2 の要素を読み込む int buff[buff_size]; int sum = 0; for (i=0; i<buff_size; i++){ sum += buff[i]; } 36

37 L1 データキャッシュのスループット xor eax, eax pxor xmm0, xmm0 lea rsi, buff loop_start: paddd xmm0, [rsi] paddd xmm0, [rsi+16] paddd xmm0, [rsi+32] paddd xmm0, [rsi+48] paddd xmm0, [rsi+64] paddd xmm0, [rsi+80] paddd xmm0, [rsi+96] paddd xmm0, [rsi+112] add eax, 32 cmp eax, BUFF_SIZE jl loop_start xor eax, eax pxor xmm0, xmm0 pxor xmm1, xmm1 lea rsi, buff loop_start: paddd xmm0, [rsi] paddd xmm1, [rsi+16] paddd xmm0, [rsi+32] paddd xmm1, [rsi+48] paddd xmm0, [rsi+64] paddd xmm1, [rsi+80] paddd xmm0, [rsi+96] paddd xmm1, [rsi+112] add eax, 32 cmp eax, 3200 jl loop start sum_partials: // sum the 4 elements of xmm0 // 7 instructions sum_partials: // sum the 4 elements of xmm0/1 // 8 instructions 37

38 L1 データキャッシュのスループット コードのスピードアップ コード 1: コードはサイクルあたり 1 ロードに制限コード 2: コードはサイクルあたり 2 ロードを許可 Nehalem* 要素ごとのサイクル Sandy Bridge* 要素ごとのサイクル Sandy Bridge* スピードアップ x x コード 2 のスピードアップ x なぜ 2 倍のスピードアップを達成できない? Port 5 を圧迫 : 各反復は 4 の加算を port 5 で実行し port 1 で jcc を実行スピードアップの制限 : 8 / 4.5 = 1.75 L1D キャッシュからサイクルごとに 2 の要素をロード Sandy Bridge, Nehalem 開発コード名 38

39 ロード遅延 リンクリスト インデックスを利用 id = Node[id].next_id; loop: shl rbx, 6 mov rbx, [rcx+rbx+0x20] dec rax cmp rax, -1 jne loop ポインターを利用 Node = Node->pNext; loop: mov rdx, [rdx] dec rax cmp rax, -1 jne loop インデックスを利用した要素あたりのサイクル数ポインターを利用した要素あたりのサイクル数 Nehalem* Sandy Bridge* スピードアップ 1.21x 1.44x ポインターはインデックスより遅延が短いポインターはより多くの空間を必要とするかもしれない Sandy Bridge, Nehalem 開発コード名 39

40 ロード遅延 メモリーへのレジスター退避を避ける loop: IACA_START mov rdx, [rsp+0x18] movdqa xmm0, [rdx] movdqa xmm1, [rsp+0x20] pcmpeqd xmm1, xmm0 pmovmskb eax, xmm1 test eax, eax jne end_loop movzx rcx, [rbx+0x60] add [rsp+0x18], 0x10 add rdi, 0x4 movzx rdx, di sub rcx, 0x4 add rsi, 0x1d0 cmp rdx, rcx jle loop IACA_END IACA( インテル アーキテクチャー コード アナライザー ) スタティック コード解析 : - コードを実行しない 実データは必要ない - すべての条件分岐はフォールスルー - 考察 - データの依存性と実行遅延 - 割り当てのスループット - 実行のスループット モデル : - スループット : ループ間 - 遅延 : 1 回の反復 iaca.exe -arch SNB -analysis THROUGHPUT -graph g.dot regspill.exe 40

41 レジスターの退避 オフセットの更新はループ反復間の依存性を引き起こす rdx には 2 つの役割があるため レジスターはメモリーへ退避される 赤 クリティカル パス上の命令 : サイクルの削減はパスの遅延減少に貢献 41

42 ロード遅延 メモリーへのレジスター退避を避ける 問題 : 汎用レジスターの数が十分ではない 解決策 : レジスターを退避し再利用する 一般的 : メモリーへ退避 loop: (1) mov rdx, [rsp+0x18] movdqa xmm0, [rdx] movdqa xmm1, [rsp+0x20] pcmpeqd xmm1, xmm0 pmovmskb eax, xmm1 test eax, eax jne end_loop movzx rcx, [rbx+0x60] (2) add [rsp+0x18], 0x10 add rdi, 0x4 movzx rdx, di sub rcx, 0x4 add rsi, 0x1d0 cmp rdx, rcx jle loop 最良 :XMM レジスターへ退避 movq xmm4, [rsp+0x18] mov xmm5, 0x10 loop: (1) movq rdx, xmm4 movdqa xmm0, [rdx] movdqa xmm1, [rsp+0x20] pcmpeqd xmm1, xmm0 pmovmskb eax, xmm1 test eax, eax jne end_loop movzx rcx, [rbx+0x60] (2) paddq xmm4, xmm5 add rdi, 0x4 movzx rdx, di sub rcx, 0x4 add rsi, 0x1d0 cmp rdx, rcx jle loop 42

43 ロード遅延 メモリーへ退避しない Sandy Bridge* Nehalem* コード 1: メモリーへ退避する場合の反復ごとのサイクル数コード 2: XMM レジスターへ退避する場合の反復ごとのサイクル数 スピードアップ 1.95x 1.46x XMM へのレジスター退避は メモリーへの退避より高速 Sandy Bridge, Nehalem 開発コード名 43

44 実行ストール PARTIAL_RAT_STALLS.ANY_CYCLES OTHER_ASSISTS.AVX_TO_SSE_PS * 70 OTHER_ASSISTS.SSE_TO_AVX_PS * 70 ARITH.FPU_DIV_ACTIVE FP_ASSIST.ANY_PS UOPS_DISPATCHED_PORT.PORT_[0-5] FP_ASSIST.SIMD_*_PS * 130 FP_ASSIST.X87_*_PS * 130 PARTIAL_RAT_STALLS.SLOW_LEA_WINDOW PARTIAL_RAT_STALLS.REG_MERGE_UOP PARTIAL_RAT_STALLS.FLAGS_MERGE_UOP PARTIAL_RAT_STALLS.MUL_SINGLE_UOP 44

45 LEA Load Effective Address 2 のレジスターと即値を加算し ソースを変更しない使い方 : 非破壊 add 操作 3 の要素を 1 命令で加算 少ない数の乗数 例 : eax*5 == lea ebx, [eax+eax*4] 問題 : 低速な LEA 3 サイクル 3 の完全なソースオペランドを持つ場合 : base index offset Base と index レジスターを使用し Base が EBP RBP もしくは R13 である場合 RIP 相対アドレスモードを利用する場合 16 ビット アドレスモードを利用する場合 検出 PARTIAL_RAT_STALLS.SLOW_LEA_WINDOW 拡張 : 他の LEA は 1/0.5 サイクルの遅延 / スループット 45

46 LEA コード例 An = (An-1 + An-2 + K) mod MOD loop1: mov edi, esi lea esi, [esi+edx+k] and esi, 0xFF mov edx, edi dec ecx jnz loop1 loop1: mov edi, esi; lea edx, [edx+k] lea esi, [esi+edx] and esi, 0xFF; mov edx, edi; dec ecx; jnz loop1; Sandy Bridge Nehalem 低速 LEA を利用した反復あたりのサイクル数 高速 LEA を利用した反復あたりのサイクル数 スピードアップ 低速な LEA を利用せず高速な LEA を利用 Sandy Bridge インテル マイクロアーキテクチャー Sandy Bridge Nehalem インテル マイクロアーキテクチャー Nehalem Nehalem マイクロアーキテクチャーにおいて 低速な LEA を避けるためコードを変更すると より悪いパフォーマンスになることがある 46

47 SSE2 浮動小数点の精度とパフォーマンスの拡張 1/2 背景 : 最初に例外について 事前操作 : NaN ゼロ除算 デノーマル操作 事後操作 : 丌正確な結果 オーバーフローとアンダーフロー 2 番目に MXCSR のマスク 例外がマスクされているとユーザー例外ハンドラーは呼び出されない デノーマルやアンダーフローが発生するとマイクロコードのアシストが必要となる (16 バイトベクトルごとに ~ サイクル ) 3 番目に MXCSR の DAZ と FTZ ビット 精度の低下 : デノーマルはゼロ アンダーフローはゼロにフラッシュされる 入力値がデノーマルであれば例外ビットは報告されない ( アンダーフロー例外フラグは設定される ) パフォーマンスの拡張 : アシストコードは実行されない 47

48 SSE2 浮動小数点の精度とパフォーマンスの拡張 2/2 Sandy Bridge* マイクロアーキテクチャーは 大部分のデノーマル入力とアンダーフロー出力を透過に扱う ADD MUL DIV D2S で有効 DAZ や FTZ なしで計算を正確に ほとんどの場合 アシストコードなしで通常の計算速度 S2D と FSQRT では変化なし ADD MUL SP MUL DP DIV SP DIV DP D2S アシストの減少 95% 55% 89% 45% 71% 94% アシストのペナルティーを軽減 : 16 もしくは 32 バイトベクトルごとに サイクル DAZ と FTZ なしに SSE2 浮動小数点演算を行うことを考える Sandy Bridge 開発コード名 48

49 マクロフュージョンの拡張 2 の命令を 1 の μop に統合 最初のソース / デスティネーション オペランドがレジスター 2 番目のソースオペランド ( 必要なら ) が次の何れ : 即値 レジスターもしくは非 RIP 相対メモリー 実行にバウンドするコードで μops とサイクルを節約 リスク : Port 5 への高い依存性 (IACA で識別 ) 命令 TEST AND CMP ADD SUB INC DEC JO/JNO Y Y N N N N N JC/JB/JAE/JNB Y Y Y Y Y N N JE/JZ/JNE/JNZ Y Y Y Y Y Y Y JNA/JBE/JA/JNBE Y Y Y Y Y N N JS/JNS/JP/JPE/JNP/JPO Y Y N N N N N JL/JNGE/JGE/JNL/JLE/JNG/JG/JNLE Y Y Y Y Y Y Y 49

50 高速ローテーション ROL Reg1, imm8 は 次と等価 SHLD Reg1, Reg1, imm8 50

51 高速ローテーション ROL imm SNB* NHM* μops 数 2 1 port 0,5;0,5 0,5 遅延 2 1 スループット SHLD imm SNB NHM μops 数 1 2 port 0,5 0,1,5;1 遅延 1 4 スループット Sandy Bridge, Nehalem 開発コード名 51

52 ローテーションの利用例 コード例 for i from 16 to 79 do s0 := (w[i-15] right-rotate 7) xor (w[i-15] right-rotate 18) xor (w[i-15] right-shift 3) s1 := (w[i-2] right-rotate 17) xor (w[i-2] right-rotate 19) xor (w[i-2] right-shift 10) w[i] := w[i-16] + s0 + w[i-7] + s1 end 検出 : サイクルカウントが増加する場所を調査 コード 1: ROL を利用したループ反復のサイクル数コード 2: SHLD を利用したループ反復のサイクル数 Sandy Bridge* Nehalem* スピードアップ 1.21x 0.7 Sandy Bridge では SHLD を利用する Nehalem では ROL を利用する Nehalem では SHLD は ROL より遅い Sandy Bridge, Nehalem 開発コード名 52

53 パーシャル フラグ ストールを最小限にする 2 の 1024 ビット数値の総和 (128 バイト ) carry = 0; for (i=0; i < 16; i++) C[i] = SUM(A[i], B[i], &carry) キャリーを AL に保持 lea rsi, [A] lea rdi, [B] xor rax, rax mov rcx, 16 loop: add rax, [rsi] adc rax, [rdi] mov [rdi], rax setc al movzx rax, al add rsi, 8 add rdi, 8 dec rcx jnz loop キャリーを EFLAG に保持 lea rsi, [A] lea rdi, [B] xor rax, rax mov rcx, 16 loop: mov rax, [rsi] adc rax, [rdi] mov [rdi], rax lea rsi, [rsi+8] lea rdi, [rdi+8] dec rcx jnz loop 53

54 パーシャル フラグ ストールを最小限にする コード 1: キャリーを AL に保持した反復あたりのサイクル数コード 2: キャリーを EFLAG に保持した反復あたりのサイクル数 Sandy Bridge* スピードアップ 1.6x 0.43 Nehalem* Nehalem* のコード 1 をベースにしたスピードアップ x x 条件的にフラグを更新する命令 (CL のシフトなど ) の前に フラグへの書き込みのみを行う命令 (INC DEC SET CL など ) を利用してはならない パーシャル フラグ ストールのペナルティーは少ない注意してコードを変更する Sandy Bridge, Nehalem 開発コード名 54

55 投機によるストールの影響 投機の悪影響 (Bad_Speculation) ペナルティーの見積もり Bad_Speculation =(UOPS_ISSUED.ANY - UOPS_RETIRED.RETIRE_SLOTS) / N BR_MISP_RETIRED.ALL_BRANCHES 予測ミスした分岐を検出予測ミスした分岐を特定する必要がある MACHINE_CLEARS.MEMORY_ORDERING * 50 LD_BLOCKS_PARTIAL.ADDRESS_ALIAS MACHINE_CLEARS.SMC * 50 55

56 マシンクリア マシンクリア : パイプラインのフラッシュ + ストアバッファー排出 メモリーの一義化の失敗 進行中のロードの無効化をスヌープ 自己修正コード (SMC) メモリーの一義化の失敗 先行するストアとロードの衝突 部分的 ( パーシャル ) なアドレスのエリアス (4K エリアス ) による偽り 4K エリアスによるマシンクリア LD_BLOCKS_PARTIAL.ADDRESS_ALIAS > MACHINE_CLEARS.MEMORY_ORDERING 56

57 メモリーの一義化の失敗によるマシンクリア パーシャル アドレス エリアス (4K エリアス ) によるメモリー順序付けのためのマシンクリアは マシンクリアの元になるメモリー一義化の失敗のヒントとなる マシンクリアが頻繁に発生するアプリケーションの例 57

58 フロントエンドのストール : デコード済命令キャッシュの問題 最後に解析 : 多くのフロントエンド ストールは メモリーと実行ストールに隠れている FE_Bound =IDQ_UOPS_NOT_DELIVERED.CORE / N コードがデコード済み命令キャッシュに入りきらない IDQ.DSB_UOPS/(IDQ.DSB_UOPS+IDQ.MITE_UOPS + IDQ.MS_UOPS) < 0.7 多くの μops がレガシー デコード パイプラインからやってくるなら なぜデコード済み命令キャッシュに入りきらないか調べるため スタティック解析を行う デコード済み命令キャッシュとレガシー デコード パイプラインの切り替え DSB2MITE_SWITCHES.PENALTY_CYCLES 他の低速な uop の排出 分岐する命令のシーケンスなど IDQ_UOPS_NOT_DELIVERED.CYCLES_LE_3_UOP_DELIV.CORE 58

59 フロントエンドのストール : レガシー パイプラインの問題 FE_Bound =IDQ_UOPS_NOT_DELIVERED.CORE / N 16 ビット命令を利用している ILD_STALL.LCP 2 4 μops で構成される命令 ILD_STALL.IQ_FULL / IDQ.MITE_UOPS 他の低速な uop の排出 SSE 命令など IDQ_UOPS_NOT_DELIVERED.CYCLES_LE_3_UOP_DELIV.CORE コードが命令キャッシュと ITLB に入りきらない ICACHE.MISSES / INST_RETIRED.ANY > 0.01 OTHER_ASSISTS.ITLB_MISS_RETIRED_NP / INST_RETIRED.ANY >

60 デコード済み命令キャッシュからレガシー デコード パイプラインへの切り替え 問題 : ホットなコードの一部はデコード済み命令キャッシュにあり 一部はレガシー パイプラインから供給される 2 のパイプの切り替えには遅延が生じる 検出 : DSB2MITE_SWITCHES.PENALTY_CYCLES 問題の解決 : RMW 命令を同じ機能を持つ 2 か 3 の命令に置き換える 密なコード領域を 2 の 32 バイトチャンクに収まるように割り当てる 複数の NOP 命令を挿入してコードを広げる この方法は割り当てと実行のため μops を追加するかもしれないことに注意する 60

61 密な RMW 命令はデコード済み命令キャッシュに入らない可能性がある 2 の 1024 ビット値の総和 (128 バイト ) lp: // 最後の反復からのキャリーを加算 add eax, [rsi] adc [rdi], eax // RMW mov eax, [rsi+4] adc [rdi+4], eax // same with offset + 8 // same with offset + 12 // 次の反復のキャリーを保持 setc al movzx eax, al add rsi, 16 add rdi, 16 dec ecx jnz lp lp: // 最後の反復からのキャリーを加算 add eax, [rsi] adc eax, [rdi] // RM mov [rdi],eax // W mov eax, [rsi+4] adc eax, [rdi+4] mov [rdi+4],eax // same with offset + 8 // same with offset + 12 // 次の反復のキャリーを保持 setc al movzx eax, al add rsi, 16 add rdi, 16 dec ecx jnz lp 61

62 密な RMW 命令はデコード済み命令キャッシュに入らない可能性がある Sandy Bridge* 反復ごとのサイクル数 スピードアップ コード 1: μops をアライメントすることで 一部はレガシー デコード パイプラインから来る コード 1: すべての μops をアライメントすることで デコード済み命令キャッシュとループ ストリーム ディテクター (LSD) に収まる コード 2: すべての μops はデコード済み命令キャッシュに収まる コードがフロントエンドに依存するなら それらがデコード済み命令キャッシュに収まることを確実にする Sandy Bridge 開発コード名 62

63 まとめ Sandy Bridge* ワークロード最適化 マイクロアーキテクチャー概要 既存のコードにおけるパフォーマンス ガイドライン メモリーアクセス 実行 フロントエンド Sandy Bridge 開発コード名 63

64 64 バックアップ

65 L1 データキャッシュのバンク衝突 L1D キャッシュの構造 32K バイト 4 way セット アソシアティブ キャッシュライン : 16 バンクの 64 バイト 定義 異なるセットの同じバンクへの 2 の同時ロード間 キャッシュに収まっているデータのロードとストア間 ロードとキャッシュライン間の置き換え 検出 ロード帯域に依存するコードでものみ価値がある 問題解決 ロード操作の再配置 バッファーの移動 65

66 ロードのバンク衝突 xor rcx, rcx lea r11, A lea r12, B lea r13, C 異なるセットの同じバンクからのロード xor rcx, rcx lea r11, A lea r12, B lea r13, C 異なるバンク loop: lea esi, [rcx*4] movsxd rsi, esi mov edi, [r11+rsi*4] add edi, [r12+rsi*4] mov r8d, [r11+rsi*4+4] add r8d, [r12+rsi*4+4] int A[128]; int B[128]; int C[128]; mov r9d, [r11+rsi*4+8] add r9d, [r12+rsi*4+8] mov r10d, [r11+rsi*4+12] add r10d, [r12+rsi*4+12] loop: lea esi, [rcx*4] movsxd rsi, esi for (i=0;i<128;i+=4){ C[i]=A[i]+B[i]; C[i+1]=A[i+1]+B[i+1]; C[i+2]=A[i+2]+B[i+2]; C[i+3]=A[i+3]+B[i+3]; } mov edi, [r11+rsi*4] mov r8d, [r11+rsi*4+4] add edi, [r12+rsi*4] add r8d, [r12+rsi*4+4] mov r9d, [r11+rsi*4+8] mov r10d, [r11+rsi*4+12] add r9d, [r12+rsi*4+8] add r10d, [r12+rsi*4+12] mov [r13+rsi*4], edi inc ecx mov [r13+rsi*4+4], r8d mov [r13+rsi*4+8], r9d mov [r13+rsi*4+12], r10d cmp ecx, LEN jb loop inc ecx mov [r13+rsi*4], edi mov [r13+rsi*4+4], r8d mov [r13+rsi*4+8], r9d mov [r13+rsi*4+12], r10d cmp ecx, LEN jb loop 66

67 バンク衝突 Sandy Bridge* コード 1: バンク衝突が起こる反復のサイクル数 8 コード 2: バンク衝突が起こらない反復のサイクル数 7 スピードアップ 1.14 コードがロードのバンド幅に依存する場合のみ バンク衝突を解決する Sandy Bridge 開発コード名 67

68 Shift-CL SHL reg, CL は 3 の μops (0,5;0,5;0,5) を持つ 遅延の増加 少なくても 2 サイクル Port 0 と 5 を圧迫 PSLL 命令で置き換えられることもある 2 μops ports 1,5;0 検出 : サイクルカウント数が増加するコードを調査 68

69 Shift-CL loop_1: mov eax, [rsi+4*rdx] mov ecx, [rdi+4*rdx] shl eax, cl add ebx, eax dec rdx jnz loop_1 loop_1: movd xmm0, [rsi+4*rdx] movd xmm1, [rdi+4*rdx] pslld xmm0, xmm1 movd eax, xmm0 add ebx, eax dec rdx jnz loop_1 DEC + JNZ の結合は DEC を port 5 で実行される オリジナル : port 5 の圧迫により依存するロードは遅延する コード 1: Shift CL を利用した反復のサイクル数 コード 2: PSLL を利用した反復のサイクル数 Sandy Bridge* スピードアップ 1.15 Shift CL の実行が遅ければ PSLL で置き換える Sandy Bridge 開発コード名 69

70 スピードアップとゲイン 実行時間 ( シリアル ) 実行時間 (N スレッド ) シリアル T1 T2 T3 T4 ゲイン 実行時間 ( シリアル / N) 4T 最適 潜在的ゲイン スピードアップ = 実行時間 ( シリアル ) / 実行時間 (N スレッド ) ゲイン % = 1 実行時間 (N スレッド ) / 実行時間 ( シリアル ) 70 さらなる潜在的ゲイン = (N スピードアップ ) / N 70

71 ステップ 2: N スレッドの実行に影響するコンポーネントを特定 N* 実行サイクル = 演算サイクル + 同期サイクル + Σ( アイドル時間 ) 注目するモジュール計算モジュールのサイクルを集積 同期の基盤モジュール 解析ツールで同期基盤モジュールを選択し そのサイクル数を集積 演算モジュール 同期関数のサイクル数を加算 ロック時間を計算 さらに : スピニング ロック API 呼び出し 71 注目する必要のないプロセス 総実行時間 * N 解析されたプロセスのサイクル数 71

72

73 最適化に関する注意事項 インテル コンパイラー 関連ライブラリーおよび関連開発ツールには インテル製マイクロプロセッサーおよび互換マイクロプロセッサーで利用可能な命令セット ( SIMD 命令セットなど ) 向けの最適化オプションが含まれているか あるいはオプションを利用している可能性がありますが 両者では結果が異なります また インテル コンパイラー用の特定のコンパイラー オプション ( インテル マイクロアーキテクチャーに非固有のオプションを含む ) は インテル製マイクロプロセッサー向けに予約されています これらのコンパイラー オプションと関連する命令セットおよび特定のマイクロプロセッサーの詳細は インテル コンパイラー ユーザー リファレンス ガイド の コンパイラー オプション を参照してください インテル コンパイラー製品のライブラリー ルーチンの多くは 互換マイクロプロセッサーよりもインテル製マイクロプロセッサーでより高度に最適化されます インテル コンパイラー製品のライブラリー ルーチンの多くは 互換マイクロプロセッサーよりもインテル製マイクロプロセッサーでより高度に最適化されます インテル コンパイラー製品のコンパイラーとライブラリーは 選択されたオプション コード およびその他の要因に基づいてインテル製マイクロプロセッサーおよび互換マイクロプロセッサー向けに最適化されますが インテル製マイクロプロセッサーにおいてより優れたパフォーマンスが得られる傾向にあります インテル コンパイラー 関連ライブラリーおよび関連開発ツールは 互換マイクロプロセッサー向けには インテル製マイクロプロセッサー向けと同等レベルの最適化が行われない可能性があります これには インテル ストリーミング SIMD 拡張命令 2( インテル SSE2) インテル ストリーミング SIMD 拡張命令 3( インテル SSE3) ストリーミング SIMD 拡張命令 3 補足命令 (SSSE3) 命令セットに関連する最適化およびその他の最適化が含まれます インテルでは インテル製ではないマイクロプロセッサーに対して 最適化の提供 機能 効果を保証していません 本製品のマイクロプロセッサー固有の最適化は インテル製マイクロプロセッサーでの使用を目的としています インテルでは インテル コンパイラーおよびライブラリーがインテル製マイクロプロセッサーおよび互換マイクロプロセッサーにおいて 優れたパフォーマンスを引き出すのに役立つ選択肢であると信じておりますが お客様の要件に最適なコンパイラーを選択いただくよう 他のコンパイラーの評価を行うことを推奨しています インテルでは あらゆるコンパイラーやライブラリーで優れたパフォーマンスが引き出され お客様のビジネスの成功のお役に立ちたいと願っております お気づきの点がございましたら お知らせください 改訂 #