PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

みいかさだい
5 years ago
Views:

1 PC クラスタワークショップ in 神戸日立のテクニカルコンピューティングへの取り組み 211/2/18 株式会社日立製作所中央研究所清水正明 1 目次日立テクニカルサーバラインナップ日立サーバラインナップ GPU コンピューティングへの取り組み 4 SC 1 日立展示 2 1

1-1 日立テクニカルサーバ : History & Future Almost 3 Years of Super Computing Development Vector S-81 First Japanese vector supercomputer S-82

SR8 First commercially available distributed memory parallel processor Vector-Scalar Combined type First HPC machine with combined

2 GFlops of node peak performance with POWER5+ processor (Model K2) PC Server HA8 Series SR16 Over 3-4 times node peak performance with

original chipset and server for Itanium processor. '82 '85 '9 '95 ' 5 1 POWER6 is a trademark of IBM corporation.

2 1-1 日立テクニカルサーバ : History & Future Almost 3 Years of Super Computing Development Vector S-81 First Japanese vector supercomputer S-82 Single CPU peak performance 3 GFlops Scalar Parallel (MPP type) SR221 S-38 Single CPU peak performance 8 GFlops (fastest in the world) SR8 First commercially available distributed memory parallel processor Vector-Scalar Combined type First HPC machine with combined vector & scalar processing SR GFlops of node peak performance with POWER5+ processor (Model K2) PC Server HA8 Series SR16 Over 3-4 times node peak performance with POWER6 processor HA8-tc/RS425 High Performance Server for Cluster System Petaflop computer '96 Hitachi started development of Hitachi s original chipset and server for Itanium processor. '82 '85 '9 '95 ' 5 1 POWER6 is a trademark of IBM corporation. POWER5+ is a trademark of IBM corporation 日立テクニカルサーバラインアップ PC クラスタからスカラ SMP までラインアップ拡充最新 POWER7 TM プロセッサ 32way 搭載 SR16 Xeon TM 2 ソケットプロセッサ今後の最新 cpu にも対応予定 Xeon TM 2.93HGz 12way (1U DP サーバ ) HA8/RS21 PC クラスタ SR16 XM1 モテルスカラ SMP クラスタ POWER7 TM 3.3GHz 32way 空冷モデル 4 2

3 1-3 SR16XM1 の紹介電力性能比価格性能比に優れた POWER7 搭載の SR16 シリーズ次世代機第一弾日立開発製造 : IBM 社との戦略的アライアンスに基づく日立開発製造の POWER7 搭載サーバ EP8/75 と共通プラットフォーム電力性能比の向上 : SR16 モデル L1/L2 と同等の 32way SMP 構成を POWER7 4 ソケットで実現ノード消費電力は約 1/3 に大幅に削減抜群の価格性能比 : POWER7 の圧倒的な性能と戦略的な価格付けにより価格競合力を強化! 日立開発製造機 SR16/XM1 中規模 SMP ノードクラスタ : SR シリーズのコンセプトを受継ぐデザイン中規模 SMP ノードのクラスタシステムによりスループット指向の中規模システムに最適 5 2 日立サーバラインアップブレードサーバラックマウントサーバ 6 3

2-1 BladeSymphony ラインアップブレードサーバを核にストレージネットワーク管理ソフトウェアを一体化した統合サービスプラットフォーム BladeSymphony 各製品充実のラインナップで用途に応じた製品を提供仮想化環境やソリューションを含めたシステム提供も可能ターゲットブレードサーバ部ストレージ部ネットワーク部 Web3 階層統合システム,

Hyper-V TM ミドルウェア BladeSymphony システム管理ソフトウェア主要 ISV ソフトウェアプラットフォームソリューション / サポートサービス 7 2-2 ハイエンドモデル BS2/BS2fx 高性能高信頼志向のシステム向け仮想化による集約高速処理に適応した性能拡張性 - サーバブレード間 SMP 接続 (64cores MAX メモリ 1TBMAX) -

4 2-1 BladeSymphony ラインアップブレードサーバを核にストレージネットワーク管理ソフトウェアを一体化した統合サービスプラットフォーム BladeSymphony 各製品充実のラインナップで用途に応じた製品を提供仮想化環境やソリューションを含めたシステム提供も可能ターゲットブレードサーバ部ストレージ部ネットワーク部 Web3 階層統合システム, 大規模データベース等ハイエンドモデル BS2 BS2fx Hitachi Storage Solutions CommuniMax PC サーバ統合データセンター中小規模の部門サーバ小型高集積モデル BS32 SMS1 BR16E BR16S BR2 ロードバランサ AX25 サーバ仮想化日立サーバ仮想化機構 Virtage VMware ESX Windows Server 28 Hyper-V TM ミドルウェア BladeSymphony システム管理ソフトウェア主要 ISV ソフトウェアプラットフォームソリューション / サポートサービスハイエンドモデル BS2/BS2fx 高性能高信頼志向のシステム向け仮想化による集約高速処理に適応した性能拡張性 - サーバブレード間 SMP 接続 (64cores MAX メモリ 1TBMAX) - I/O スロット拡張装置 (64 スロット MAX) 日立サーバ仮想化機構 Virtage 標準搭載 (*1) メインフレームの高信頼高可用化技術を継承業界最高レベルの高効率電源 - CSCI Gold 基準適合, 8 PLUS GOLD 認証取得 (*2) 基幹システムの長期安定稼働を支援 - E タイプハードウェア長期保守対応 - ロングライフサポートサービス 7 年 /1 年 (*3) 標準サーバブレード高性能サーバブレード NEW fx 仮想統合を実現する高信頼スケーラブルブレードサーバスケールアウト *1:Essentialモデル *2: 電源負荷 5% 時の変換効率 92% を実現最大 8ブレード /1U *3:BS2 Eタイプにて提供 8 4

2-3 小型高集積モデル BS32 より軽くより小さく高密度実装を追求幅広い用途に対応する高集積省電力ブレードサーバ高さ6U( 約 27cm) に最大 1ブレード搭載可能最大重量約 98kg/ シャーシの軽量設計用途に応じた多彩なサーバブレードをラインアップ日立サーバ仮想化機構 Virtageに対応 (*1) 高効率電源 (CSCI Silver 基準適合,8 PLUS

5 2-3 小型高集積モデル BS32 より軽くより小さく高密度実装を追求幅広い用途に対応する高集積省電力ブレードサーバ高さ6U( 約 27cm) に最大 1ブレード搭載可能最大重量約 98kg/ シャーシの軽量設計用途に応じた多彩なサーバブレードをラインアップ日立サーバ仮想化機構 Virtageに対応 (*1) 高効率電源 (CSCI Silver 基準適合,8 PLUS SILVER 認証取得 (*2)) ハードウェア長期保守対応 ( ロングライフサポートサービス :7 年 ) 標準サーバブレード SAN 専用サーバブレード HDD 拡張サーバブレード PCI 拡張サーバブレードロードバランサブレード *1:PCI 拡張サーバブレード Virtage モデルで提供 *2: 負荷 5% 時の変換効率 89% 以上を実現 (4Processor) (2Processor) HA8/TS2 出荷開始時期 :21/11/3 (1Processor) HA8/SS1 出荷開始時期 :21/11/3 Xeon(X567/E564/E562/E553) RAID 追加機能 2.5 型 HDD 15krpm 追加 3.5 型 2TB SATA HDD 追加動的パワーキャッピング SSD Core i3-54/pentium G695 RAID 追加機能 3.5 型 2TB SATA HDD 追加 HA8 ラインアップ HA8/RS44 出荷開始時期 :21/11/3 HA8/RS22 出荷開始時期 :21/11/3 HA8/RS21 出荷開始時期 :21/11/3 HA8/RS11 出荷開始時期 :21/11/3 HA8/TS1 出荷開始時期 :21/11/3 Xeon(X756/X755/E754 /E752) RAID 追加機能 2.5 型 HDD 容量アップ SSD ロングライフサポート ENERGY STARモテル Xeon(X568/X567/E564/E556/L563/E5 53) CPU 追加 RAID 追加機能 2.5 型 HDD 15krpm 追加 3.5 型 2TB SATA HDD 追加動的パワーキャッピング SSD AC2V 低電圧メモリ Xeon(X567/E564/E562/L563/E55 3) CPU 追加 RAID 追加機能 2.5 型 HDD 15krpm 追加 3.5 型 2TB SATA HDD 追加動的パワーキャッピング SSD AC2V 低電圧メモリ Xeon(X348/X347/X346/X34 3) Core i3-54/pentium G695 CPU 追加 RAID 追加機能 3.5 型 2TB SATA HDD 追加 Xeon(X348/X347/X346/X34 3) Core i3-54/pentium G695 CPU 追加 RAID 追加機能 3.5 型 2TB SATA HDD 追加 1 5

6 3 3 GPU コンピューティングへの取り組み日立の GPGPU への取り組み HPC システムとアプリケーションの性能日立の GPGPU への取組み (1) 計算科学を用いた研究開発分野で GPU 利用が拡大中研究所を中心に技術交流会を定期的に開催 < 利用分野 ( 検討中含む )> 原子炉炉心解析火力原子力発電の蒸気タービン流れ解析ボイラ燃焼効率解析粒子線治療シミュレーション材料物性ナノシミュレーション機械 ( 熱流体, 構造, 振動 ) 電磁場ライフサイエンス金融 ( 実効金利計算 ) 他 12 6

3-2 日立の GPGPU への取組み (2) GPGPU 技術に関し学術系 ~ 産業系アプリの先行評価提案中 (1) 分子動力学 (2) 電磁場解析 (3) 医用画像処理 (4)

補正分割単位 =16x16 魚眼レンズ画像を平面図に変換 286 秒 faster.12 秒従来 GPGPU 加速率 = 約 8 倍 18.2 秒従来 GPGPU 約 5.6 倍 5.

6 秒従来 GPGPU 約 18 倍学術系産業系 13 3-3 GPGPU の性質と日立の取り組み GPGPU 性質 : アプリによって加速率に大差投資判断が難しい日立取組 :

7 3-2 日立の GPGPU への取組み (2) GPGPU 技術に関し学術系 ~ 産業系アプリの先行評価提案中 (1) 分子動力学 (2) 電磁場解析 (3) 医用画像処理 (4) 監視画像処理領域サイズ ; 12x12x7A カットオフ半径 ; 5.2A 近傍の分子リストの作成処理 time 8.12 秒 faster X Z マクスウェル方程式による 3 次元解析 94.5 秒 Y 給電面ダイポールアンテナ faster 複数医用画像の重ね合せ位置決定 78 秒 CT 画像 1 CT 画像 2 faster 対象画像サイズ =XGA(124x768) 補正分割単位 =16x16 魚眼レンズ画像を平面図に変換 286 秒 faster.12 秒従来 GPGPU 加速率 = 約 8 倍 18.2 秒従来 GPGPU 約 5.6 倍 5.7 秒従来 GPGPU 約 14 倍 15.6 秒従来 GPGPU 約 18 倍学術系産業系 GPGPU の性質と日立の取り組み GPGPU 性質 : アプリによって加速率に大差投資判断が難しい日立取組 : 業務アプリを解析し投資前に加速率を評価可能にアプリ (1)~(4) の加速率比較 ; 16 [ 倍 ] x8 (1) 分子動力学 x5.6 (2) 電磁場解析 x14 x18 (3) 医用 (4) 監視画像画像我々のアプリはどの程度加速するの? 日立取組み例 ; 流体アプリの事前評価 time 従来 66.4 秒ボトルネック解析 - アクセス解析 - データ配置最適化 22.4 秒次改善本実装実装見込み事前評価により高精度に加速率を算出! 7.35 秒 8.96 秒 14 7

8 3-4 社内には GPU ユーザ多数利用技術最適化技術も蓄積中ソリューションメニューも整備 ( 事前評価からサポート ) GPU 対応製品 (PCIe x8,x16 搭載 ) HA8 他販売中 GPU 搭載した大規模クラスタ (HPC システム ) 検討中 15 3 GPU コンピューティングへの取り組み日立の GPGPU への取り組み HPC システムとアプリケーションの性能

9 3-5 システムバランスとアプリケーションの性能アプリケーションの実効性能 ( 効率 ) を以下の 2 点から定量評価 node (1) ピーク演算性能に対するメモリバンド幅 [Byte/flop] (2) ピーク演算性能に対するネットワークバンド幅 [Byte/flop] Memory CPU core CPU core Inter-node Network Example of high performance sever (1),(2) の数値を変化させて実効性能への影響を見る ( シミュレーション ) アプリケーションが求めるシステムバランスを求める評価アプリケーション 4 種類の並列アプリについて評価を実施並列化スキームとプロセス間通信パターンは以下の通り No. Application Calculation method Partition type 1 Ab initio MD FFT, DGEM Band Energy 1 2 Structural Calculation Finite Element Method 3-Dim. space 2 3 Atmosphere Difference Method 2-Dim. 3 4 Ocean Difference Method 2-Dim. 3 Type Partition Communication Pattern MPI function 1 X MPI_allreduce (MPI_sum) z y 2 x MP_send, MPI_recv MP_send, MPI_recv MPI_allreduce(MPI_sum) z y 3 x 18 9

10 CPU time ratio% CPU time ratio% 3-7 メモリバンド幅と演算性能のバランス ( メモリバンド幅 GB/s) / ( 演算性能 GFlop/s) >.4[Byte/flop] CPU time ratio becomes lower..2 ~.4[Byte/flop] Better to keep more than 1. [Byte/flop] ab initio MD Structural Calculation Atmosphere Ocean Memory throughput/calculation performance[byte/flop] ネットワーク性能と演算性能のバランス ( ネットワークバンド幅 GB/s) / ( 演算性能 GFlop/s) >.2 [Byte/flop] The ratio of the communication time depends on the application. Better to keep more than.2 [Byte/flop] Communicatin throughput/ Computation performance[byte/flop] ab initio MD Structural Calculation Atmosphere Ocean グラフは Memory throughput/calculation performance[byte/flop] =.4 の場合 2 1

11 Throughput throughput[gb/s] [GB/s] 3-9 アプリケーションの要請 ( メモリバンド幅 GB/s) / ( 演算性能 GFlop/s) >.4[Byte/flop] ( ネットワークバンド幅 GB/s) / ( 演算性能 GFlop/s) >.2 [Byte/flop] マルチ GPU システムのバランス ( メモリバンド幅 GB/s) / ( 演算性能 GFlop/s) =.25[Byte/flop] ( ネットワークバンド幅 GB/s) / ( 演算性能 GFlop/s) =.4 [Byte/flop] 実際にアプリケーションの性能はどうなるか? GPU システムでのアプリの性能推定演算時間 : GPU システムの B/F より実効効率を計算サーバのメモリ周波数を変化させて実行時間を測定実行時間を CPU 時間とデータ転送時間に分解メモリ周波数 F Ma (high) F Mb (low) CPU time data transfer time メモリバンド幅の影響実行時間通信時間 : PC クラスタで並列実行して通信プロファイルを取得個々の通信に対して通信量から通信時間をグラフから求める data size [B] 22 11

12 性能 ( 比 ) 性能 ( 比 ) 3-11 Ocean の並列性能 [ 推定 ] 同じ規模の問題を x 方向 y- 方向の順で分割を繰り返す strong scaling 1 プロセスのメモリ使用量が GPU に収まる最小の並列数を基準 ( グラフのプロセス数 ( 比 )=1) プロセス数 ( 比 )=1 のメモリ使用量 2.6GB S25 で利用可能な最大値プロセス数 ( 比 )=1 のときの通信時間全実行時間の 9.4% 演算効率は B/F から推測 3.3% 1 Ocean の性能 1% 9% 1 1 並列効率 := ( 実効性能 /Ideal) Ideal 1 プロセス実行からの加速 8% 7% 6% 5% 4% 1 3% 2% 1% プロセス数 ( 比 ) % Ocean の並列性能 [ 推定 ] の改善 [1] 通信アルゴリズムによる対策隣接通信する境界面を多層化して通信回数を削減 [2] 資源増強による対策さらに InfiniBannd を追加して 2 方向の隣接間通信を同時実行 7 Ocean の性能通信対策 [2] プロセス数 ( 比 ) 通信対策 [1] オリジナル 24 12

13 性能 ( 比 ) 3-13 Atmospher の並列性能 [ 推定 ] プロセス数 ( 比 )=1 のメモリ使用量 1.8GB 演算効率は B/F から推測 3.8% プロセス数 ( 比 )=1 のとき通信時間は 16% 7 6 Atmoshere 並列性能 [ 推定 ] 通信対策 [2] 通信対策 [1] オリジナルプロセス数 ( 比 ) [1] 通信アルゴリズムによる対策隣接通信する境界面を多層化して通信回数を削減 [2] 資源増強による対策さらに InfiniBannd を追加して 2 方向の隣接間通信を同時実行まとめ : マルチ GPU システムとアプリの性能マルチ GPU システムの特徴 ( メモリバンド幅 GB/s) / ( 演算性能 GFlop/s) =.25[Byte/flop] メモリ性能バランスは PC サーバよりやや低め効率は良い (8%) ( ネットワークバンド幅 GB/s) / ( 演算性能 GFlop/s) =.4 [Byte/flop] ネットワーク性能が相対的に低く見えるレイテンシ > 2μs GPU Direct はデータ長 > 16KB で効果大アプリケーションの並列実行性能 GPU のメモリを最大に使用した weak scaling ではネットワークの弱さは目立たない strong scaling でのスケーラビリティ劣化は早い今回の評価では 16GPU で約 1 倍加速以後急速に劣化 strong scaling でのスケーラビリティを保つには努力が必要演算に隠蔽できれば良い転送データ長が大きい場合はパイプライン化転送データ長が小さい場合は通信回数の削減演算数が増えても通信回数削減を検討 (shadow 領域の多層化など ) 26 13

14 4 SC 1 日立展示日立ブース SC1 11/15-11/18 NewOrleans 28 14

15 4-2 次世代サーバボード PC 関連 3 15

16 GPU 関連

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション PC クラスタシンポジウム日立のテクニカルコンピューティングへの取り組み 2010/12/10 株式会社日立製作所中央研究所清水正明 1 目次 1 2 3 日立テクニカルサーバラインナップ日立サーバラインナップ GPU コンピューティングへの取り組み 4 SC10 日立展示 2 1-1 日立テクニカルサーバ : History & Future Almost 30 Years of Super