Microsoft PowerPoint - GPGPU実践基礎工学（web）.pptx

Size: px

Start display at page:

Download "Microsoft PowerPoint - GPGPU実践基礎工学（web）.pptx"

みずきたかはし
6 years ago
Views:

1 シングルコアとマルチコア長岡技術科学大学電気電子情報工学専攻出川智啓

2 今回の内容前々回の授業の復習 CPUの進化半導体集積率の向上 CPUの動作周波数の向上 + 複雑な処理を実行する回路を構成 ( 前々回の授業 ) マルチコア CPU への進化均一不均一なプロセッサコプロセッサ, アクセラレータ 210

3 コンピュータの歴史世界初のデジタルコンピュータ 1944 年ハーバードMark I 機械式リレーを採用世界初の汎用コンピュータ 1946 年 ENIAC 軍事用に開発 ( ミサイルの弾道計算など ) 300FLOPS 金融や株取引にも利用が拡大様々な用途に利用できるようコンピュータを設計 211

4 スーパーコンピュータ様々な用途に利用できるようコンピュータを設計設計が複雑化 1970 年代には性能が停滞科学技術計算に特化して性能を高めたコンピュータ Cray 1 世界初のスーパーコンピュータ日本製スーパーコンピュータ日立, 富士通,NEC が製造たびたび世界トップの性能を達成 212

5 スーパーコンピュータの性能 TOP500 スーパーコンピュータの世界ランキング 6 月と11 月に更新次の発表は11 月 16~21 日 (New Orleans, LA) の Supercomputing Conferenceで日本のスーパーコンピュータもたびたび世界一に数値風洞 SR2201( 東大 ) CP PACS( 筑波大 ) 地球シミュレータ前期トップのコンピュータから 5 倍の性能向上,2 年半にわたって首位京 213

6 TOP500 List(2015, Jun.) 計算機名称 ( 設置国 ) アクセラレータ実効性能 [PFlop/s] / ピーク性能 [PFlop/s] 消費電力 [MW] 1 Tianhe 2 (China) Intel Xeon Phi 33.9/ Titan (U.S.A.) NVIDIA K20x 17.6/ Sequoia (U.S.A.) 17.2/ K computer (Japan) 10.5/ Mira (U.S.A.) 8.59/ Piz Daint (Switzerland) NVIDIA K20x 6.27/ Shaheen II(Saudi Arabia) 5.54/ Stampede (U.S.A.) Intel Xeon Phi 5.17/ JUQUEEN (Germany) 5.01/ Vulcan (U.S.A.) 4.29/

7 理論ピーク性能と実効性能 Floating Point Operations Per Second 1 秒あたりに浮動小数演算を何回実行できるか理論ピーク性能プロセッサの数 ( プロセッサ上に実装された演算器の数 ) や動作周波数から求める理論的な速度全ての機能が全て同時に使えればという理論的な値実効性能 ( 実行性能 ) ある問題に対してプログラムを実行したときに得られた性能プログラムの中で行っている計算 ( 浮動小数点演算 ) の回数を数え, プログラムの実行にかかった時間を測定して割り算 215

8 理論ピーク性能と実効性能 Floating Point Operations Per Second 1 秒あたりに浮動小数演算を何回実行できるかなぜ浮動小数点演算だけ? 整数の加算はアドレス計算 ( プログラムカウンタなど ) で頻繁に使うので高速になるよう設計浮動小数点演算と比較すると整数演算の影響は非常に小さい影響が小さくないシステムは使い物にならない 216

9 CPU の理論性能公式 FLOPS = 1 コアの演算性能 [?] コア数 [Core] CPU の動作周波数 [Hz=Clock/sec] 1 コアの演算性能 =1 度に発行出来る浮動小数点演算命令単位は [Floating Point Operations/Clock /Core] 性能の評価には動作周波数だけでなく,1 コアが 1 クロックで発行できる命令数が重要 217

10 代表的な CPU の理論性能 Pentium 1コアあたりの演算性能 1 コア数 1 動作周波数 ( 最高 ) 300M 1 Floating Point Operations/clock/core 1 core 300M clock/s = 300M flop/s 218

11 代表的な CPU の理論性能 Pentium II 1コアあたりの演算性能 1 コア数 1 動作周波数 ( 最高 ) 450M 1 Floating Point Operations/clock/core 1 core 450M clock/s = 450M flop/s 219

12 代表的な CPU の理論性能 Pentium III 1 コアあたりの演算性能 1.5 コア数 1 動作周波数 ( 最高 ) 1.4G 初の SSE 命令搭載 1.5 Floating Point Operations/clock/core 1 core 1.4G clock/s = 2.1G flop/s 220

13 代表的な CPU の理論性能 Pentium 4 1コアあたりの演算性能 2 コア数 1 動作周波数 ( 最高 ) 3.8G 2 Floating Point Operations/clock/core 1 core 3.8G clock/s = 7.6G flop/s 221

14 代表的な CPU の理論性能 Core 2 Duo 1コアあたりの演算性能 4 コア数 2 動作周波数 ( 最高 ) 3.33G 4 Floating Point Operations/clock/core 2 core 3.33G clock/s = 26.64G flop/s Core 2 Quad 1コアあたりの演算性能 4 コア数 4 動作周波数 ( 最高 ) 3.2G 4 Floating Point Operations/clock/core 4 core 3.2G clock/s = 51.2G flop/s 222

15 代表的な CPU の理論性能 Core i7 (Nehalem) 1コアあたりの演算性能 4 コア数 4 動作周波数 ( 最高 ) 3.2G 4 Floating Point Operations/clock/core 4 core 3.2G clock/s = 51.2G flop/s Core i7 (Sandy Bridge) 1コアあたりの演算性能 8 コア数 6 動作周波数 ( 最高 ) 3.5G AVX 命令を搭載 8 Floating Point Operations/clock/core 6 core 3.5G clock/s = 168G flop/s 223

16 代表的な CPU の理論性能 Core i7 (Haswell) 1 コアあたりの演算性能 16 コア数 4 動作周波数 ( 最高 ) 3.5G AVX2 命令 16 Floating Point Operations/clock/core 4 core 3.5G clock/s = 224G flop/s 224

17 CPU の性能向上 FLOPS = 1 コアの演算性能コア数 CPU の動作周波数 1 コアの演算性能の向上演算器 ( トランジスタ ) の増加様々な機能を追加パイプライン処理スーパースカラ実行分岐予測等コア数の増加トランジスタの増加 CPU の動作周波数回路の効率化や印可電圧の向上動作周波数の向上に注力 ( ほぼ全ての処理が速くなる ) 225

18 CPU の性能の変化 Intel の予告 (Intel Developer Forum 2003) 2007 年頃には 10GHz に達するより引用 226

19 CPU の性能の変化 2004 年頃からクロックが停滞より引用

20 CPU の性能向上 * * 姫野龍太郎, 絵でわかるスーパーコンピュータ, 講談社 (2012) 電子回路の構成部品機械式リレー真空管トランジスタ IC (Integrated Circuit) LSI (Large Scale Integrated Circuit) 集積率が上昇製造技術の進歩による配線の細線化 250nm 180nm 130nm 90nm 65nm 45nm 32nm 22nm 10nm まではなんとかなりそう 3 次元構造へ集積できるトランジスタ数の増加抵抗の低下による消費電力低減 228

21 CPU の性能向上 * * 姫野龍太郎, 絵でわかるスーパーコンピュータ, 講談社 (2012) 製造技術の進歩による配線の細線化 1. 集積できるトランジスタ数の増加同じ面積に集積できるトランジスタ数が増加複雑な回路を構成 2. プロセッサの処理速度の向上抵抗が線幅に比例して減少し, 消費電力が低下減少した電力を周波数向上に利用 1 秒あたりに 0 と 1 を切り替える回数 ( 動作周波数 ) を増加 ( トランジスタスイッチング速度, 消費電力等のキーワードで Googling) 229

22 ムーアの法則 * インテルの共同設立者ムーアによる経験則半導体の集積率は1 年で倍になる後に 18ヶ月で2 倍に修正 *Moore, G.E., Electronics, Vol.38,No.8(1965). ムーアの法則 230

23 CPU の性能向上の限界製造技術の進歩による配線の細線化抵抗が線幅に比例して減少し, 消費電力が低下減少した電力を周波数向上に利用細線化により絶縁部分も狭小化漏れ電流が発生し, 消費電力が減少できない駆動する電力を上げると発熱量も増加空冷の限界に到達動作周波数が停滞 231

24 ポラックの法則 * * ポラックの法則 2 倍のトランジスタを使っても, プロセッサの性能はその平方根倍 (1.4 倍 ) 程度にしか伸びない消費電力は 2 倍, 性能は 1.4 倍一つの CPU に複数のプロセッサ ( コア ) を搭載消費電力を上げずに理論的な性能を倍にプログラムの作り方に工夫が必要 232

25 CPU の性能向上ムーアの法則性能向上半導体回路の細線化動作周波数向上消費電力が低下低下分の電力をトランジスタのスイッチングに利用 233

26 CPU の性能向上ムーアの法則性能向上半導体回路の細線化 2 倍のトランジスタを使っても性能は 1.4 倍程度にしか伸びない絶縁部が狭くなり漏れ電流が発生, 電力が低下しない動作周波数向上消費電力が低下消費電力の増加によって発熱量が増加, 空冷の限界低下分の電力をトランジスタのスイッチングに利用 234

27 CPU の性能向上ムーアの法則性能向上半導体回路の細線化コア数の増加 2 倍のトランジスタを使っても性能は 1.4 倍程度にしか伸びない絶縁部が狭くなり漏れ電流が発生, 電力が低下しない動作周波数向上消費電力が低下消費電力の増加によって発熱量が増加, 空冷の限界低下分の電力をトランジスタのスイッチングに利用 235

28 CPU の性能向上 FLOPS = 1 コアの演算性能コア数 CPU の動作周波数 1 コアの演算性能の向上演算器 ( トランジスタ ) の増加コア数の増加トランジスタ数の増加 CPU の動作周波数回路の効率化や印可電圧の向上コンパイラの最適化を利用複数のコアを使うようにプログラムを書かないと速くならない劇的な性能向上は期待できない 236

29 マルチコア化による高速化処理を N 個に分割して各コアが処理を分担実行時間が 1/N に高速化されると期待資源 1 資源 2 資源 3 資源 4 シングルコア CPU 資源 1 資源 2 資源 3 資源 4 資源 1 資源 2 資源 3 資源 4 マルチコア CPU 処理時間 237

30 疑似的なマルチコア Hyper Threading Technology 一つの物理 CPUを複数のCPUに見せる技術 CPU 内のレジスタやパイプラインの空きを利用 10~20% 程度の高速化資源 1 資源 2 資源 3 資源 4 シングルコア CPU Hyper Threading Technology 資源 1 資源 2 資源 3 資源 4 処理時間 238

31 マルチコア CPU の種類均一 ( ホモジニアス,Homogeneous) なプロセッサ一つの CPU の中に, 同じ構造を持ったコアを複数持つ全てのコアが同じ性能を持つプログラムの並列化が容易不均一 ( ヘテロジニアス,Heterogeneous) なプロセッサ一つの CPU の中に, 異なる構造を持った数種類のコアを持つ複雑な処理が得意なコア ( 少数 ) と簡単な処理が得意なコア ( 多数 ) を持つそれぞれのコアを意識したプログラミングが必要 239

32 マルチコア CPU 均一 (Homogeneous) なプロセッサ Intel Core シリーズ AMD Phenom シリーズ富士通 SPARC シリーズ 240

33 マルチコア CPU の厳密な呼び方 * 現在コアと呼んでいるのは, シングルコア CPU そのもの厳密な定義に沿えば, マルチコア CPU は一つのチップに複数の CPU を搭載マルチコア CPU マルチコアチップ * 小柳義夫, 中村宏, 佐藤三久, 松岡聡, 計算科学別巻スーパーコンピュータ, 岩波書店,

34 マルチコア CPU 不均一 (Heterogeneous) な CPU Cell Broadband Engine 1 個の汎用プロセッサと 8 個の演算用プロセッサの組合せ AMP APU (Accelerated Processing Unit) CPU と GPU を統合 Intel Core i シリーズ ( 第 2 世代以降 ) GPU を搭載 242

35 コプロセッサ, アクセラレータコンピュータの特定の機能や処理能力を向上させるハードウェア CPU で行っていた処理を専用ハードウェアが担当動画像のエンコードデコード等コンピュータシミュレーションでは CPU の代わりに計算を実行するハードウェアを指す画像処理装置 (Graphics Processing Unit) メニーコアプロセッサ (Intel Xeon Phi, PEZY SC) 243

36 メニーコアプロセッサ Intel Xeon Phi OS を搭載しており, 接続しているワークステーションとは独立して動かすことが可能 61 コア CPU(1GHz), メモリ 8GB の Linux サーバ理論演算性能 ( 単精度 ) 約 1 TFLOPS CPU からの制御が必要なアクセラレータとは異なるアーキテクチャが Intel CPU と同じであるため, コンパイルし直すだけで動作する新モデルを投入予定 * 72 コア, メモリ 16GB 理論演算性能 3.0 TFLOPS * 244

37 メニーコアプロセッサ PEZY SC 株式会社 PEZY Computing の 1,024 コアの低消費電力型メニーコアプロセッサ 1024 コア, 動作周波数 733MHz 理論演算性能単精度 3.0 TFLOPS 倍精度 1.5 TFLOPS 日本の次世代スーパーコンピュータに搭載 245

38 GPU 画像処理を行う専用パーツを数値計算用に利用グラフィックス処理に特化した演算器 ( コア ) を搭載一つのコアは低性能並列処理で全体の処理を高速化 GPGPU (General Purpose computing on GPU) グラフィックス処理用の専用チップである GPU(Graphics Processing Unit) を一般的な目的 (General Purpose) に利用 GPU を科学計算に利用することを特に GPU Computing と呼ぶ 246

39 コプロセッサ, アクセラレータ万能的な能力を求められるCPUとは異なり, 専用の役割だけをこなす性能あたりのパフォーマンスが高い消費電力, 体積, 購入額 best second best System Effective Speed [Gflops] Cost/speed [$/Gflops] Power/speed [Watt/Gflops] Size/speed [liter/gflops] Xeon E5430 (Dual Quad Core) PLAYSTATION GeForce 9800GTX MDGRAPE 成見哲, 濱田剛, 小西史一, アクセラレータによる粒子法シミュレーションの加速, 情報処理,50(2),pp (2009). 247

今回の内容 GPU の発展 GPU のアーキテクチャ CPU の発展性能の変化シングルコアからマルチコア GPU の応用例 6

GPGPU の歴史と応用例長岡技術科学大学電気電子情報工学専攻出川智啓今回の内容 GPU の発展 GPU のアーキテクチャ CPU の発展性能の変化シングルコアからマルチコア GPU の応用例 6 GPU(Graphics Processing Unit) とは画像処理専用のハードウェア具体的には画像処理用のチップチップ単体では販売されていない PCI Ex カードで販売 ( チップ単体と区別せずに