Microsoft PowerPoint - MATE2010Inoue.pptx

Transcription

1 3 次元積層が可能にする 次世代マイクロプロセッサ アーキテクチャ 九州大学井上こうじ u.a.jp) 1

2 More Than Moore を目指して なぜ 3 次元積層なのか? 2

3 半導体も 2D から 3D の世界へ! 複数のダイを同一パッケージに集積 ダイ間を貫通ビア (Through Silion Via:TSV) で接続 Wire bonding (WB) 3D staking (System in Pakage or SiP) TSV Pakage on Pakage (POP) 3D staking Soure: Yuan Zie, 3D IC Design/Arhiteture, Coolhips Speial Session, 2009 RF Analog DRAM Proessor Multi Level 3D IC Sensor IO 3

4 3 次元積層デバイス の時代が到来 ISSCC 09 Image Sensor(MIT) Photo SRAM for SoCs(NEC) ( ) Soure: EMC-3D Tehnial Symposium Photo SRAM+Multiore(Keio Univ.) ) 8Gb 3D DRAM(Samsung) U. Kang et al., 8Gb DDR3 DRAM Using Through Silion Via Tehnology, ISSCC 09. H. Saito et al., A Chip Staked Memory for On Chip SRAM RihRih SoCs and Photo Photo Proessors, ISSCC 09. V. Suntharalingam et al., A 4 Side Tileable Bak Illuminated 3D Integrated Mpixel CMOS Image Sensor, ISSCC 09. K. Niitsu et al., An Indutive Coupling Link for 3D Integration of a 90nm CMOS Proessor and a 65nm CMOS SRAM, ISSCC 09. 4

5 3 次元積層の うれしさ ~ 配線長削減による高性能 / 低消費電力化 ~ 送受信モジュール間の物理的な距離を短縮 長い配線の負荷容量 を TSV 負荷容量 に置換え 得に, グローバル配線において効果大 (mm um) フットプリント面積を削減 クロック信号や電源ラインなどの配線長を削減 2 次元実装 IC 5

6 3 次元積層の うれしさ ~ 高いオンチップメモリバンド幅の実現 ~ 面と面の接続によるバンド幅拡大 Intel: 80 個のプロセッサ コア +SRAM 間 1) 1TB/S のバンド幅で接続 HRI: プロセッサ + カスタム回路 +SDRAM 2) プロセッサーカスタム回路間 :1,056 個のTSVで接続 カスタム回路 -SRAM 間 :278 個の TSV で接続 メモリ ウォール問題 の有望な解決策 1) インテル : ve/releases/ orp_b.htm 2) 日経マイクロデバイス2008 年 2 月 性能向 上比 Perfet L2ahe (100% ヒット ) 1MB L2 ahe Cholesky プロセッサコア数 6

7 3 次元積層の うれしさ ~ 異種ダイの積層による高機能化 ~ 製造プロセスの異なるダイを低コストで積層 従来の SiP TSV を用いることでダイ間を高バンド幅で接続可能 従来にない新しい応用の可能性 SRAM/DRAM 以外の選択肢 ( 例 : 不揮発性メモリの積層など ) 7

8 マイクロプロセッサ発展の歴史を振り返る インテグレーションがもたらすマイクロプロセッサの進化 8

9 インテグレーション が可能にした マイクロプロセッサの進化 Intel 4004 (1971) Intel 486 (1989) Photo Photo 2,300 個のトランジスタを 数値演算コプロセッサと 集積 キャッシュメモリを集積 Intel Pentium D (2005) Intel Test Chip (2007) Photo 2 個のプロセッサコアを 1つのパッケージに集積 Photo 80 個のプロセッサコアを 1 つのダイに集積 出展 : html, Sale/1421.htm 9

10 インテグレーションが成功するには? マイクロプロセッサのお仕事は? プログラム ( ソフトウェア ) を 効率よく 実行 インテグレーションの効果を発揮するには? ソフトウェアの特性を考慮する事が重要 成功例 : キャッシュメモリの場合 Program メモモリアドレス Proessor Cahe 時間 多くのプログラムは メモリ参照の時間 / 空間局所性 が有る!! 頻繁に参照されるメモリ領域をキャッシュメモリに保存 10

11 3 次元積層の利点と欠点 3 次元積層プロセッサに関する4つの素朴な疑問 11

12 素朴な疑問その 1 ~ 大容量キャッシュ積層は本当に得策か?~ 平均メモリアクセス時間 :AMAT L1キャッシュのアクセス時間 [] L1キャッシュミスの割合 L2キャッシュのアクセス時間 [] L2キャッシュミスの割合 主記憶のアクセス時間 [] AMAT L1 L1 L 2 L 2 HT MR ( HT MR MMAT ) DRAM スタック法の効果 (?) 32MB DRAM Cahe ベースプロセッサ (2 次元実装 ) DRAMスタック法 (3 次元実装 ) 12

13 大容量化による L2 ミス削減効果は アプリによって異なる! L2 Miss Rate es [%] Oean LU Sensitive! FFT Sensitive! Insensitive! Sensitive! 20 Cholesky FMM 10 Barnes WaterSpatial Raytrae 0 2MB 4MB 8MB 16MB 32MB 64MB 128MB L2 Size Insensitive! Insensitive! 13

14 その結果, メモリ性能が低下することも! メモリ性能向上率 3.0 大容量 DRAM の3 次元積層 従来の 2 次元実装 2.5 Oean Cholesky L2キャッシュ L2キャッシュミス率の削減率アクセス時間の増加 [points] [] 性能向上性能低下 14

15 素朴な疑問その 2 ~ 高メモリバンド幅の活用は本当に得策か?~ マイクロプロセッサと主記憶の 1 チップ化 キャッシュ - 主記憶間のデータ転送能力が劇的に向上 ミス ペナルティの増加を伴う事無くラインサイズ ( ブロックサイズ ) を拡大可能 平均メモリアクセス時間 = キャッシュヒット時間 + ミス率 ミスペナルティミスペナルティ = DRAM アクセス時間 + ラインサイズ / バンド幅 DRAM Main Memory Mem. BW: LineSize: MissPenalty: Mem. BW: LineSize: MissPenalty: 15

16 ラインサイズ拡大効果はアプリによって異なる!( 性能が低下することも!) 高オンチップメモリバンド幅を積極活用するには? キャッシュ ラインサイズ ( ブロックサイズ ) を拡大 その効果は? アプリケーションが有する メモリ参照の空間局所性の度合い に大きく依存 Btt Better Miss Ra ate B L1D$ 16KB (%) hydro2d s alvinn Line Size [byte] Miss Ra ate B L1D$ KB (%) 099.go 134.perl Line Size [byte] 16

17 素朴な疑問その 3 ~ 主記憶の積層は本当に得策か?~ 3 次元積層 LSIの問題点はチップ温度上昇 チップ温度は消費電力に依存 消費電力はプロセッサの動作周波数に依存 プロセッサの最大動作周波数はチップ温度制約により決定 と仮定すると DRAM Main Memory Tem. : Freq. : Mem. Stall: Tem. : Freq. : Mem. Stall: 17

18 アプリ特性によっては 3D 化により性能 が低下する場合がある! mf(highly ( Memory Intensive) ) 動作周波数 2D: 約 2.9GHz 3D: 約 2.5GHz 平均命令実行時間 2D: 約 2.5 3D: 約 06(B 0.6(Better) ) twolf(less Memory Intensive) 動作周波数 2D: 約 2.8GHz 3D: 約 24GHz 2.4GHz 平均命令実行時間 2D: 約 0.35 (Better) 3D: 約 0.41 G. L. Loi, B. Agrawal, N. Srivastava, S. Lin, T. Sherwood, and K. Banerjee, A Thermally Aware Performane Analysis of Vertially Integrated (3 D) Proessor Memory Hierarhy, DAC

19 素朴な疑問その 4 ~ 主記憶を積層して L2$ は必要か?~ L2( ( ラストレベル ) キャッシュ導入の狙いは主記憶アクセス回数の削減 主記憶のオンチップ化により効果減 (!?) 現在のプロセッサでは L2 面積 全コア面積 L2 面積を用いてコア数を増加可能と仮定すると Staked Main Memory Staked Main Memory TLP : TLP : Freq. : Freq. : Mem. A.: Mem. A.: 19

20 アプリが有する並列性とメモリ性能依存性により適切な構成は異なる! K 8 =0.5( 全実行時間の50% がメモリストール ) K 8 =0.1( 全実行時間の10% がメモリストール ) F=0 F0.7 相対実行行時間 性能低下 相対実行行時間 F=0.95 相対実行行時間 ベース :L2 未搭載 8 コア (1.0) コア数削減による L2 搭載 相対実行時間 N=8( 最大コア数が 8) の場合

21 次世代 3Dマイクロプロセッサへの道 アプリケーション実行の振舞いの変化に適応する! ~HYBRID CACHE ARCHITECTURE~ 21

22 素朴な疑問その 1( 再 ) ~ 大容量キャッシュ積層は本当に得策か?~ 平均メモリアクセス時間 :AMAT L1キャッシュのアクセス時間 [] L1キャッシュミスの割合 L2キャッシュのアクセス時間 [] L2キャッシュミスの割合 主記憶のアクセス時間 [] AMAT L1 L1 L 2 L 2 HT MR ( HT MR MMAT ) DRAM スタック法の効果 (?) 32MB DRAM Cahe ベースプロセッサ (2 次元実装 ) DRAMスタック法 (3 次元実装 ) 22

23 着目するソフトウェア特性 ( その 1) ~L2 ミス削減効果はアプリによって異なる ~ L2 Miss Rate es [%] Oean LU Sensitive! FFT Sensitive! Insensitive! Sensitive! 20 Cholesky FMM 10 Barnes WaterSpatial Raytrae 0 2MB 4MB 8MB 16MB 32MB 64MB 128MB L2 Size Insensitive! Insensitive! 23

24 着目するソフトウェア特性 ( その 2) ~L2 ミス削減効果は実行中にも変化する ~ L1 ミスペナルルティ [] Oean MB(12) 32MB(60) 適したキャッシュ容量 : 大適したキャッシュ容量 : 小 区間 (300) L1ミスペナルティ =HTL2+MRL2 MMAT 24

25 ハイブリッド キャッシュ ~3 次元積層 DRAM を適応的に活用する!~ ハイブリッド キャッシュ アーキテクチャの特徴キテクチャの特徴 異なる 2 種類の動作モードをサポート アプリケーションの要求メモリ容量に応じて動作モードを選択! 高性能化と低消費電力化を同時に達成可能! 動作モード SRAM キャッシュ動作モード : 小容量 & 高速 DRAMキャッシュ動作モード : 大容量 & 低速 32MB L2 Cahe (DRAM) Small llbut tfirst SRAM Slow but tlarge DRAM L2 Cahe Mode L2 Cahe Mode 32MB L2 Cahe 32MB L2 Cahe (DRAM) (DRAM) Cahe (SRAM) 2MB L2 Core(s) + L1(s) (A) 2D SRAM L2 Cahe (Base) L2 Tag (SRAM) Core(s) + L1(s) (B) 3D L2 DRAM Cahe 2MB L2 Cahe Core(s) (SRAM) + L1(s) L2 Tag (SRAM) (C) 3D Proposed Hybrid Cahe 橋口慎哉, 小野貴継, 井上弘士, 村上和彰, 3 次元 DRAM プロセッサ積層実装を対象としたオンチップ メモリ アーキテクチャの提案と評価, 情報処理学会研究報告, Vol ARC 183, No.16, 2009 年 4 月. Core(s) + L1(s) 25

26 どの程度, 性能向上を期待できるのか? 常に3 次元積層 DRAMをL2 キャッシュとして活用 MAT) 性能向上上比 (1/A 2D BASE 3D HYBRID STATIC D CONV 3D HYBRID DYNAMIC DYNAMIC 適切な動作モードは既知実行中もモード切替を実施適切な動作モードは既知実行中はモード切替無し Better ベンチマークプログラム 26

27 次世代 3Dマイクロプロセッサへの道 アプリケーション実行の振舞いの変化に適応する! ~VARIABLE LINE SIZE CACHE ARCHITECTURE~ 27

28 素朴な疑問その 2( 再 ) ~ 高メモリバンド幅の活用は本当に得策か?~ マイクロプロセッサと主記憶の 1 チップ化 キャッシュ - 主記憶間のデータ転送能力が劇的に向上 ミス ペナルティの増加を伴う事無くラインサイズ ( ブロックサイズ ) を拡大可能 平均メモリアクセス時間 = キャッシュヒット時間 + ミス率 ミスペナルティミスペナルティ = DRAM アクセス時間 + ラインサイズ / バンド幅 DRAM Main Memory Mem. BW: LineSize: MissPenalty: Mem. BW: LineSize: MissPenalty: 28

29 着目するソフトウェア特性 ( その 1) ~ 最適ラインサイズはアプリによって異なる ~ 高オンチップメモリバンド幅を積極活用するには? キャッシュ ラインサイズ ( ブロックサイズ ) を拡大 その効果は? アプリケーションが有する メモリ参照の空間局所性の度合い に大きく依存 Btt Better Miss Ra ate B L1D$ 16KB (%) hydro2d s alvinn Line Size [byte] Miss Ra ate B L1D$ KB (%) 099.go 134.perl Line Size [byte] 29

30 着目するソフトウェア特性 ( その 2) ~ 最適ラインサイズは実行中にも変化する ~ 16KB Diret Mapped Cahe w/ 128B Lines Cahe 128B ブロックのロード Cahe プロセッサが 2 つの 32B ブロックを参照 Cahe 128B ブロックの追出し Ref. Sublines == 2 高い空間局所性 低い空間局所性 30

31 可変ラインサイズ キャッシュ ~ 高メモリバンドを適応的に活用する!~ プログラム特性に応じて DRAM ーキャッシュ間データ転送量 ( ラインサイズ ) を自動調整 メモリ参照の空間局所性の度合いを静的もしくは動的にモニタリング ラインサイズを動的もしくは静的に決定 SRAM Cahe SRAM Cahe SRAM Cahe DRAM 高高 必要となるメモリバンド幅消費するエネルギー 動的可変ラインサイズ キャッシュ :K. Inoue, K. Kai, and K. Murakami, ``Dynamially Variable Line Size Cahe Exploiting High On Chip Memory Bandwidth of Merged DRAM/Logi LSIs, HPCA 5, 静的可変ラインサイズ キャッシュ :T. Ono, K. Inoue, K. Murakami, and K. Yoshida, Reduing On Chip DRAM Energy via Data Transfer Size Optimization, IEICE Tran. on Eletronis, 低低 31

32 ) d AMAT ess Time) Normalized e. Mem. A N (Ave y) d AMAE ess Energy Normalized Mem. A N (Ave. どの程度, 高性能化と低消費エネルギー化を実現できるのか? KB Fix128 (Diret) 16KB Fix128 (4way) 32KB Fix128 (Diret) 16KB D VLS (Diret) Bette r Better ダイレクトマップ方式の高速アクセス 128B ラインサイズによるプリフェッチ効果 ラインサイズ縮小による競合ミス回避 ミス率改善によるオフチップアクセス回数削減 小ラインサイズにより活性化 DRAMバンクを削減 32

33 次世代 3 次元積層プロセッサを目指して ~ 集積, 協調, そして適応する!!~ 3 次元集積を前提としたアーキテクチャの再構築 デバイス / アーキテクチャ技術の協調で互いの問題を解消 プログラム実行ならびにデバイス状態の変化に適応 アプリケーションプログラム プロセッサ アーキテクチャ (+ コンパイラ ) 3 次元実装デバイス 33

34 実装からアプリケーションレベルまでの統合的な技術開発が必要!! 応用技術 (On Line 画像処理など ) 入力チャネル dlg dlg2 dlg Data Loalization Group P 33 dlg3 出力チャネル プログラミング技術 (API 標準化, Tuningなど ) コンパイラ /OS 技術 ( 自動並列化, VMなど ) アーキテクチャ技術 (CPU/ メモリ構成, NOCなど ) 回路設計技術 (Sub Threshold 回路など ) Program Program Program Program Staked Main Memory Many Core Aelerator X+ X Y+ Y CORE FIFO FIFO FIFO FIFO FIFO ARBITER GRANT 3) パケットを出力チャネルへ転送 5x5 CROSSBAR X+ X Y+ Y CORE 半導体製造 / 実装技術 (3 次元積層など ) 34

35 謝辞 本研究は, 一部,NEDO 若手グラント エネルギー効率の最大化を目的とした適応型 3 次元マイクロプロセッサ アーキテクチャの研究 による. 35