Microsoft PowerPoint 知る集い（京都）最終.ppt

Transcription

1 次世代スパコンについて知る集い 配布資料 世界最高性能を目指すシステム開発について ー次世代スパコンのシステム構成と施設の概要 - 平成 22 年 1 月 28 日 理化学研究所次世代スーパーコンピュータ開発実施本部横川三津夫

2 高性能かつ大規模システムの課題と対応 演算性能の向上 CPU のマルチコア化,SIMD( ベクトル化 ) 機構 主記憶へのアクセス頻度の削減 - CPU 性能とメモリアクセス性能のギャップ ( メモリウォール ) レジスタ数増, ソフトウェア制御可能なキャッシュ ( セクタキャッシュ ) の導入 消費電力の削減 CPU の適切な動作周波数の選択直接ネットワークの採用 実運用に耐えられる安定動作可能なシステムの提供 ECC 機構などエラー修正に考慮したシステム設計単一障害を回避する冗長性あるネットワーク構成使いやすい利用環境の提供 2010/1/28 次世代スパコンについて知る集い 配布資料 1

3 次世代スーパーコンピュータの概要 2010/1/28 次世代スパコンについて知る集い 配布資料 2

4 理用 制御用ネットワークグローバルIOネットワーク管システム構成概要 制御用サーバ群 構成, 制御 管理用サーバ群 ジョブ管理ユーザ管理 計算ノード群 計算ノード数 (CPU 数 ): コア数 : 総メモリ量 : 8 万以上 64 万以上 1PB 以上 6 次元メッシュ / トーラス結合 ローカルファイルシステム群グローバルIOネットワークグローバルファイルシステム フロントエンドサーバ インターネット 2010/1/28 次世代スパコンについて知る集い 配布資料 3

5 計算ノード群の構成 計算ノード数 (CPU 数 ): 8 万以上コア数 : 64 万以上 ピーク演算性能 :10PFLOPS 以上 メモリ総容量 : 1PB 以上 ( ノード当り 16GB) ネットワーク : ユーザービューは 3 次元トーラス帯域 : 3 次元の正負各方向にそれぞれ 5GB/s x 2( 双方向 ) 理論ピーク ケーブル : 約 200,000 本, 約 1200km SPARC64 TM VIIIfx 5GB/s x 双方向 ( 理論ピーク ) z 5GB/s x 双方向 ( 理論ピーク ) ノード CPU: 128GFLOPS (8cores) Core Core SIMD(4FMA) Core SIMD(4FMA) Core SIMD(4FMA) Core SIMD(4FMA) Core SIMD(4FMA) Core16GFlops SIMD(4FMA) Core16GFlops 16GFlops SIMD(4FMA) 16GFlops SIMD(4FMA) 16GFlops 16GFlops 16GFLOPS 16GFlops L2$: 5MB ( 理論ピーク ) 64GB/s MEM: 16GB 5GB/s x 双方向 5GB/s x 双方向 ( 理論ピーク ) 5GB/s x 双方向 ( 理論ピーク ) y x ( 理論ピーク ) 5GB/s x 双方向 3 次元トーラスのイメージ 提供 : 富士通 ( 株 ) 2010/1/28 次世代スパコンについて知る集い 配布資料 4

6 プロセッサ構成 8 コア構成, 各コア 256 本の浮動小数点レジスタを備えたスーパースカラ方式 SIMD 拡張 ( 積和演算器 2 個 x 2 セット ) コア当り 16GFLOPS,CPU 当り 128GFLOPS コア共有の 2 次キャッシュ (5MB,10way) ハードウェアバリア機構プリフェッチ機構セクタキャッシュ機能 ( 次ページ ) データ供給能力レジスタ L1 キャッシュ間 :4B/FLOP L1 キャッシュ L2 キャッシュ間 :2B/FLOP L2 キャッシュ 主記憶間 :0.5B/FLOP CPU 性能 128GFLOPS(16GFLOPSx8 コア ) コア数 浮動小数点演算器構成 ( コア当り ) キャッシュ構成 8 個 仕 様 提供 : 富士通 ( 株 ) 22.7mm x 22.6mm 760 M トランジスタ消費電力 :58W( 水冷,30 時 ) 積和演算器 :2 2 個 (SIMD) 逆数近似演算器 :2 2 個 (SIMD) 除算器 :2 個比較器 :2 個ビジュアル演算器 :1 個 浮動小数点レジスタ (64 ビット ):256 本グローバルレジスタ (64 ビット ):188 本 1 次命令キャッシュ :32KB(2way) 1 次データキャッシュ :32KB(2way) 2 次キャッシュ :5MB(10way) コア間共有 メモリバンド幅 より詳細な情報は, SPARC64 TM VIIIfx Extensions を参照のこと 64GB/s(0.5B/F) 2010/1/28 次世代スパコンについて知る集い 配布資料 5

7 セクタキャッシュとは? 再利用性のあるデータを選択的にキャッシュに残す仕組みソフトウェアによる配置が可能 各セクタの way 数は, コンパイラがループ毎に自動決定 キャッシュ セクタ 0 セクタ 1 L1,L2 キャッシュそれぞれに制御可能 ディレクティブによる指示も検討 プログラムのデータ 再利用性のないデータ 再利用性のあるデータ 再利用性のあるデータを含むプログラム例 do j=1,n do i=1,n a(i) = a(i) + b(i,j) enddo enddo 2010/1/28 次世代スパコンについて知る集い 配布資料 6

8 システム利用環境 OS:Linux をベースとしたオペレーティングシステム POSIX 規格に準ずるコマンド群を提供 大規模分散ファイルシステム (2 階層のファイルシステム ) ファイルステージング機能ジョブ実行前にファイルサーバから IO ノードへファイルを転送 ( ステージイン ) ジョブの出力ファイルを IO ノードからファイルサーバへ転送 ( ステージアウト ) ファイル共有機能 バッチジョブを主体としたジョブ実行環境デバッグ用に会話型環境を用意 ( 予定 ) Web ブラウザターミナル ユーザ端末 リモートログイン ログイン, ファイル操作, コンパイル, デバッガ操作, ジョブ投入 操作等 フロントエンド サーバ Web ポータルコンソール 統合開発環境 (IDE) コンパイラ デバッガ プロファイラ ジョブ投入 制御デバッガ操作 ジョブ管理ノード 計算ノード並列ジョブ並列ジョブデバッガ並列ジョブ アクセス I/O グローバルファイルステージング ローカルファイル 2010/1/28 次世代スパコンについて知る集い 配布資料 7

9 バッチジョブ実行時の処理の流れ ジョブ投入 ( ジョブ記述, ステージング記述等を指定 ) ステージイン ( グローバルファイルからローカルファイルにデータを移動 ) ジョブを実行 ( ローカルファイルのデータを利用 ) ステージアウト ( ローカルファイルからグローバルファイルにデータを移動 ) ローカルファイル JOB 実行 JOB 終了 デジローカルョデジローカルデローカルデーファイルブーョ出出ファイルファイルタ用デブーージョブ実行ジョタ力力用タタデ出グローバルグローバルーブグローバルグローバルー力ファイルファイルタ用ファイルファイルタ使用するノード数, 時間, ステージングファイル等は ジョブスクリプトに記述 ジョブ投入 スケジューラ スケジューラ スケジューラ スケジューラ 本体システム 本体システム 本体システム 本体システム ジョブ状態表示で確認 2010/1/28 次世代スパコンについて知る集い 配布資料 8

10 プログラム言語, コンパイラ Fortran 2003,XPFortran,C,C++ GNU C/C++ 拡張仕様 4 倍長精度演算をサポート :IEEE754R 及び double-double 形式 SPARC64 TM VIIIfx の機能を有効活用するコンパイラ機能 SIMD 機構の活用自動ベクトル化を応用した SIMD 命令を自動生成 IF 文を含むループの SIMD 化 ( マスク付き SIMD 化 ) 大容量レジスタ ( 倍精度浮動小数点 256 本 ) の有効活用セクタキャッシュの利用セクタキャッシュを考慮したプリフェッチ命令の自動生成セクタキャッシュをユーザが意識して利用するためのディレクティブ自動並列化マルチスレッド化, パイプライン並列化機能 2010/1/28 次世代スパコンについて知る集い 配布資料 9

11 ライブラリ及びプログラム開発支援環境 MPI ライブラリ (MPI-2.1 に対応 ) 低レイテンシ 高スループットの実現トポロジ構成を意識した集団通信関数を提供 Bcast /Allgather /Alltoall /Allreduce インターコネクトのハードウェアバリア機構を用いたハードバリア / リダクション演算の活用 数値計算 / 科学技術計算ライブラリシステムにチューニングされた BLAS,LAPACK,SSL II( 富士通製科学技術計算用ライブラリ ),FFTW を提供 開発支援ソフトウェアデバッガ :DWARF2 対応性能解析ツール : デバッグツール, プロファイラ,MPI トレーサ等の連携 2010/1/28 次世代スパコンについて知る集い 配布資料 10

12 プログラミングモデル スレッド並列 + プロセス並列のハイブリッド型を推奨コア内 : コンパイラによる逐次最適化,SIMD 化 CPU 内 : スレッド並列 ( 自動並列化,OpenMP) CPU 間 : プロセス並列 (MPI,XPFortran) フラット型も可能 コア内 : 逐次最適化,SIMD 化 ( 主にコンパイラ ) CPU 内 : スレッド並列 ( 細粒度並列,OpenMP) CPU 間 : プロセス並列 (MPI, または XPFortran) CPU CPU CPU CPU core core core core core core core core メモリ メモリ メモリ メモリ 2010/1/28 次世代スパコンについて知る集い 配布資料 11

13 システム開発の状況 LSI 開発 (45nm 半導体プロセス ) 試作機が完成. ハードウェア及びソフトウェアの試験を実施中. CPU システムボード ICC トーラス ネットワーク用 LSI 提供 : 富士通 ( 株 ) 2010/1/28 次世代スパコンについて知る集い 配布資料 12

14 プロセッサ及びシステムの比較 ベンダ チップ名 プロセスルール (nm) 理論性能 (GFLOPS) キャッシュ容量 (MB) 消費電力 (W) ワット当たりの性能 Fujitsu SPARC64VIIIfx IBM Power Intel Xeon W AMD Opteron 8439SE ベンダ システム名 Linpack 性能 (PFLOPS) CPU 数 ネットワーク構成 Fujitsu 次世代スパコン 10( 目標値 ) 8 万以上 3 次元トーラス 2012 年完成予定 IBM BlueWaters 6-8? 2 万 5 千以上ツリー? 2011 年完成予定 IBM Sequoia (BlueGene/Q) 20( 理論性能 ) 10 万以上 3 次元トーラス 2011 年完成予定 Cray XT5(Jaguar) 万 5 千以上 3 次元トーラス 2009 年 11 月度 世界一 備考 2010/1/28 次世代スパコンについて知る集い 配布資料 13

15 次世代スーパーコンピュータ施設について 2010/1/28 次世代スパコンについて知る集い 配布資料 14

16 次世代スーパーコンピュータ施設 兵庫県神戸市中央区港島南町 7 丁目 ( ポートアイランド第 2 期内 ) ポートアイランド南駅より徒歩約 1 分,JR 新神戸駅から 25 分 神戸 東京 450km (280miles) west from Tokyo 2010/1/28 次世代スパコンについて知る集い 配布資料 15

17 建屋イメージ 正面 計算機棟 延床面積 約 10,500m2 建築面積 約 4,300m2 構 造 鉄骨造り地上 3 階地下 1 階 研究棟 延床面積 約 9,000m2 建築面積 約 1,800m2 構 造 鉄骨造り地上 6 階地下 1 階 北西から研究棟側を見る 2010/1/28 次世代スパコンについて知る集い 配布資料 16

18 施設の建設風景 ( 平成 22 年 1 月 18 日 ) 研究棟 計算機棟 熱源機械棟 特高施設 研究棟 計算機棟 居室居室居室居室居室居室空調機械室等 計算機室空調機械室居室空調機械室 計算機筐体空調機計算機室グローバルファイルシステム空調機 2010/1/28 次世代スパコンについて知る集い 配布資料 17

19 施設内部 次世代スパコン設置フロア ( 計算機棟 3 階 ) フリーアクセス架台 冷却施設 ( 熱源機械棟 ) 太陽光発電パネル ( 屋上 ) 研究棟 2010/1/28 次世代スパコンについて知る集い 配布資料 18

20 システムアソフトウェア(グランドチャレンジプリケーション)施設開発日程 現在 平成 18 年度 (2006) 平成 19 年度 (2007) 平成 20 年度 (2008) 平成 21 年度 (2009) 平成 22 年度 (2010) 平成 23 年度 (2011) 平成 24 年度 (2012) 概念設計詳細設計試作 評価 製造 性能チューニング 次世代ナノ統合シミュレーション 開発 製作 評価 実証 次世代生命体統合シミュレーション 開発 製作 評価 実証 計算機棟 設計 建設 研究棟 設計 建設 2010/1/28 次世代スパコンについて知る集い 配布資料 19