PC クラスタシステムへの富士通の取り組み 富士通株式会社株式会社富士通研究所久門耕一 29 年度に富士通が提供する ( した ) 大規模クラスタ 今年度はCPUとしてメモリバンド幅がNehalem, QDR- IB( 片方向 4GB/s) などPCクラスタにとって期待できる多くのコモディティコンポーネントが出現 これら魅力ある素材を使ったシステムとして 2つのシステムをご紹介 理化学研究所様 RICC(Riken Integrated Cluster of Cluster) 特徴 : Nehalem1+1(w/GPU) ノードクラスタ 上位スイッチのバンド幅を1/5に絞り コスト圧縮スケジューラによりバンド幅有効利用のジョブ割付 124 ノード超並列 合計 1156 ノード 1 ノード多目的 1/5FBB IB Ethernet 日本原子力研究開発機構様新スパコンシステム特徴 : ブレードサーバ BX9 と内蔵 QDR-InfiniBand による PC クラスタ 32 ノード多目的 1
理化学研究所様新スパコンシステム 29 年 8 月から稼働開始 Riken Integrated Cluster of Cluster (RICC) 超並列 PC クラスタ (96.TFLOPS 12TB メモリ ) PRIMERGY RX2S5 1 ノード (8 コア ) 多目的 PC クラスタ (1 ノード 8 コア w/ GPU) 多目的 PC クラスタ [MDGRAPE-3 接続用 ] (32 ノード 256 コア ) 大容量メモリ計算機 (239GFLOPS 512GB メモリ ) 管理者システム管理利用状況確認 Ethernet 系ネットワーク 計算系ネットワーク SPARC Enterprise M9 ETERNUS2 利用者ターミナル /Web PRIMERGY RX2S5 ネットワーク機器等 フロントエンド システム 磁気ディスク装置 (55TB) アーカイブ装置 (4PB) 2 日本原子力研究開発機構様新スパコンシステム概要 21 年 3 月稼動予定 次世代コード開発部 FX1 32 ノード 12TFLOPS 4.6TB メモリ 大規模並列演算部 PRIMERGY BX9 2,157 ノード 2TFLOPS 5TB メモリ 119+1 シャーシ 共用メモリ型演算サーバ SPARC Enterprise M9 1.9TFLOPS 384GB メモリ 25TB 122.4TF 以上なら国内最速システムになる?(= 効率 62% 以上なら ) InfiniBand スイッチ ギガビットイーサネットスイッチ 磁気ディスク装置 ETERNUS4 M6 磁気ディスク装置 [ 物理容量 : 1.2PB] I/O ノード SPARC Enterprise M9(2 台 ) 1PB LAN ETERNUS DX8 (36 台 ) 磁気テープライブラリ装置 ETERNUS LT27(2 台 ) 3
29 年度大規模スパコン商談 合計 75 ノード 53TFlopw 4 ミッドレンジを重視するため PC クラスタビジネス推進室を設置 (29.12.21) ~ 数千ノード ~1ノード程度 ~3ノード程度 ~8ノード程度 ハイエンド市場 ミッドレンジ市場 ハイエンド市場においては 当社は国内トップの実績 民間企業での CAE 利用を中心にミッドレンジ市場が高成長 ミッドレンジ市場に本格参入 PC クラスタのエキスパートによる専任組織化 ハイエンド市場で培った高度なノウハウを裾野へ拡大 おすすめモデルによる簡単導入 OSS などを活用した新たなサービス提供 FTS( 富士通テクノロジーソリューション ) との連携によるグローバル展開 5 All Rights Reserved, Copyright 21 FUJITSU FUJITSU LIMITED LIMITED 29
ブレードサーバ PRIMERGY BX9 1U に 18 ノード搭載可能大規模クラスタや 部門間サーバ集約などに最適なブレードサーバ 業界最高クラスの実装効率と設置性 18 ブレード (2CPU/ ブレード ) /1U シャーシ 高効率部品の採用による低電力設計 新静音ファンの開発による高い静粛性を実現 最先端の HPC 向け仕様 Intel Xeon55 シリーズ (Nehalem) を 2 ソケット搭載 InfiniBand QDR(4GB/s) をメザニンカードで搭載 1Gb シリアル通信可能な高品質ハ ックフ レーンで接続 内蔵 36 ポート SW により外部 18 ポート出力 数シャーシまでの小中規模クラスタを外部 SW レスで構築可能 高信頼設計 ECC メモリ (SDDC 対応 ) RAID ディスク 冗長電源 リモート管理機能等 SDDC (Single Device Data Correction) 6 PRIMERGY BX9 BX92 S1 サーバブレード SX94 S1 ストレージブレード 理研システム新システムの性能 (LINPACK) 29 年 6 月 4 位 132 ノード (8256 コア ) 87.89TF(9.83%) 国内 PC クラスタ一位 ( 発表時 ) 富士通研開発の DGEMM を用い 事業部が HPL をチューニング 29 年 11 月 47 位 1131 ノード (948 コア ) 97.94TFlops(92.36%) Nehalem のターボモードを使い単体性能向上 Nehalem のターボモードとは CPU に熱的余裕があるときに コアクロック周波数を自動で上げ性能を向上させる Nehalem CPU の機能 どのぐらいよくなる? 性能は増加するが 電力も増加 どのぐらい増える? 7
周波数と性能電力の関係 ( 姫野 )BMT ターボモード時の実効周波数は不明 性能から見て 1ステップ分 (3.6GHz 相当 ) 向上 電力は性能向上以上に増加 その理由は? Nehalemの低消費電力性は アイドル時のクロック停止とパワーゲーティング (C6ステート) による ( 逆に言うとC6に入らないと電力はあまり減らない ) CPU Voltage[mV] 12 Watt 1 8 6 4 2 45 4 35 3 25 2 15 1 5 実行時消費電力 CPU 周波数とコア電圧 クロック固定のアイドル時消費電力 姫野 BMT 性能 Idle 1.57 1.73 1.86 2 2.13 2.26 2.39 2.53 2.66 2.79 2.93 Turbo CPU Frequency [GHz] Disabled Power (W) 8 335 (+16.1%) 4 359 1.6 1.73 1.86 2. 2.13 2.26 2.4 2.53 2.66 2.8 2.93 Turbo CPU Freq (GHz) PCクラスタワークショップin 京都 (21 年 2 月 19 日 ) 8 Idle 11.56 Himeno Enabled 12.25 389 Linpack TurboBoost 増分 Disabled Enabled 増分 GFLOPS (+6.%) 86.57 88.7 (+2.5%) 381 (+6.1%) 14 12 1 6 2 GFLOPS GPU 搭載 PC クラスタの課題 GPU CPU NIC NIC CPU GPU GPU メモリ メインメモリ メインメモリ GPU メモリ CPU だけ利用する PC クラスタでのクラスタ間データ転送 メインメモリ (CPU) NIC NIC (CPU) メインメモリ GPU を使う PC クラスタでのクラスタ間データ転送 GPU メモリ (GPU) (CPU) メインメモリ (CPU) NIC NIC (CPU) メインメモリ (CPU) (GPU) GPU メモリ GPUクラスタでは GPU 演算性能は高い が レイテンシは長い 計算時間 通信時間 Embarrassingly Parallelでないと 並列効果が出にくい 通信と計算のオーバラップによる通信時間隠蔽も限界 9
GPU himenobmt on RICC himenobmt のように 通信が多いプログラムでも 大きな問題 (XXL) を解けば性能は出る 1 理研新システム (RICC) ジョブ実行率状況 1/1-1/3-1/5-1/7-1/9-1/11-1/13-1/15-1/17-1/19-1/21-1/23-1/27-21 1/29-21 1/31-23 11/2-23 11/4-23 11/6-23 11/8-23 11/1-23 11/12-23 1 9 8 7 6 5 4 3 2 1 正式運用移行期間 新システム (RICC) は 21/1/1 に正式運用移行 全クラスタのノードをメタジョブスケジューラで統一管理 ユーザ間フェアシェア 連成実行 順序実行 リソース指定 ( メモリ量 GPU, その他 ) 従来のメタジョブスケジューラをマルチコア用に改良 コア ソケット ノード単位と局所性を保ちながら 空間 + 時間軸上で割付 高効率に実行 特定 rank だけメモリ量を増大させる割り当ても可能 超大規模並列ジョブ (2 コア以上 ) 実行前の稼働率低下防止が今後の課題 バックフィルできるジョブが十分には見つからない node512 node256 node64 node16 node4 node1 socket core 11
理研新システム (RICC) ジョブ実行率状況 1 9 8 7 6 5 4 3 2 1 1/27-5 1/29-5 新システム (RICC) は 21/1/1 に正式運用移行 全クラスタのノードをメタジョブスケジューラで統一管理 ユーザ間フェアシェア 連成実行 順序実行 リソース指定 ( メモリ量 GPU, その他 ) 従来のメタジョブスケジューラをマルチコア用に改良 コア ソケット ノード単位と局所性を保ちながら 空間 + 時間軸上で割付 高効率に実行 特定 rank だけメモリ量を増大させる割り当ても可能 超大規模並列ジョブ (2 コア以上 ) 実行前の稼働率低下防止が今後の課題 バックフィルできるジョブが十分には見つからない 1/31-7 11/2-7 node512 node256 node64 node16 node4 node1 socket core 12 おわりに 今後 HPC 計算は学術的計算 技術計算だけでなく 社会のあらゆる活動を支える基盤技術になると考えています 富士通は BX9のようなコモディティであるシステム素材をベースに コンパクトで高性能なHPCシステムの提供を行っていきます また 高性能演算ルーチンの開発 新たなGPUの利用技術の開発 構築運用管理の簡素化と高効率化を図る管理システムの提供を行ってゆきたいと思います 13
14