Microsoft PowerPoint - 5-重谷.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - 5-重谷.ppt"

まいかたつざわ
4 years ago
Views:

1 理化学研究所スーパーコンピュータシステム RICC について理化学研究所情報基盤センター重谷隆之これまでの理研スーパーコンピュータシステム ~1994 年 2 月 : メインフレーム (FUJITSU M シリーズなど ) 1994 年 2 月 ~: ベクトル計算機 (Fujitsu VPP500) 1999 年 2 月 ~: ベクトル計算機 (Fujitsu VPP700E) 2004 年 3 月 ~: RSCC :PC クラスタ + ベクトル計算機 + 専用計算機の複合システム 2009 年 8 月 ~: RICC:PC クラスタ + 専用計算機 +GPGPU

PC クラスタに関する理研での取り組み 2000 年デスクトップ PC CPU: Pentium III

(100Mbps) 2001 年デスクトップ PC CPU: Pentium4 1.

(100Mbps) 2001 年ラックマウント 4U CPU: Pentium 4 1.

:217.6 GFLOPS 大規模 PC クラスタ 2004 年 RSCC CPU: Xeon 3.

4 TFLOPS 2001 年 Score III CPU: Pentium III 933MHz

2 PC クラスタに関する理研での取り組み 2000 年デスクトップ PC CPU: Pentium III 450MHz 1CPU 8 ノード Interconnect : Fast Ethernet x 1 (100Mbps) 2001 年デスクトップ PC CPU: Pentium4 1.5GHz 1CPU 8 ノード Interconnect : Fast Ethernet x 1 (100Mbps) 2001 年ラックマウント 4U CPU: Pentium 4 1.7GHz 1CPU 64 ノード Interconnect : Myrinet 2000 Peak :217.6 GFLOPS 大規模 PC クラスタ 2004 年 RSCC CPU: Xeon 3.06GHz 2CPU 1024 ノード Interconnect : InfiniBand Peak:12.4 TFLOPS 2001 年 Score III CPU: Pentium III 933MHz 2CPU 512 ノード Interconnect : Myrinet 2000 (2.0Gbps) Peak:955.4 GFLOPS 2004 年 AIST スーパークラスタ CPU: Opteron 2.0GHz 2CPU, Itanium2 1.3GHz 4CPU Xeon 3.06GHz 2CPU Interconnect : Myrinet GbE Peak:14.6TFLOPS

3 2009 年 6 月まで運用していた RSCC RIKEN Super Combined Cluster システム構成スカラ + ベクトル + 専用機の複合システム入出力機器システム間接続 1 ギガビット毎秒のネットワークを使いグリッド接続スカラ部 12.4 テラフロップス MD-GRAPE3: 64 テラフロップス追加 (07 年 ) 特徴世界初のスカラ + ベクトル + 専用機複合システム計算機センターでPCクラスタを採用日本で初めてグリッド技術を全面的に採用した計算機センター利用者に利用計算機を意識させない世界最大規模日本で最速のPCクラスタ Top500リスト(2004 年 6 月 ) 第 7 位高性能で低コストベクトル部 0.28 テラフロップス産業技術大賞文部科学大臣賞受賞 2005 年 4 月次世代スーパーコンピュータ開発のテストベッドとして使用 RSCC の狙い 1. スーパーコンピュータの既成概念に縛られずコスト性能比の良い計算機をメインの計算機に 2. 新たな利用者の獲得実験データ処理バイオインフォマティックスに適したシステムとし理研内の新たな利用者を取り込む Grid Computing Web 技術を用いてそれまで計算機センターのシステムに不慣れな研究者でも簡単に使えるシステムを構築フリーソフトが多数利用できる計算機システムとすること 3. 従来の利用者も利用できる環境は維持

RSCC システム開発と主な成果主なプレス発表電子の磁石の強さを 1 兆分の 1

不規則系の臨界現象における理論手法の構築の第一歩 - LINPACK 性能で世界 7 位導入

金属表面で起こる分子の選択的分解反応と表面拡散運動の可視化に成功 H16.3 H16.6 H17.

4 RSCC システム開発と主な成果主なプレス発表電子の磁石の強さを 1 兆分の 1 の精度まで計算汚い物質中の電子が持つ美しい対称性共形不変性を世界で初めて実証 - 不規則系の臨界現象における理論手法の構築の第一歩 - LINPACK 性能で世界 7 位導入産業技術大賞文部科学大臣賞受賞素粒子の世界の真空エネルギーをコンピュータで計算金属表面で起こる分子の選択的分解反応と表面拡散運動の可視化に成功 H16.3 H16.6 H17.4 H18.4 H18.10 H19.4 H20.4 H21.4 テスト運用 (3 ヶ月間 ) 通常運用メタジョブスケジューラの開発導入ライフサイエンス 2% Bio ポータルの開発 RSCC との接続 RSCC 以前の利用者数数 ( 研究分野 ) AMBER ポータルの開発 MDGRAPE-3 の導入ライフサイエンス分野の増加ライフサイエンス 41% 利用者の研究分野の割合 2009 年 8 月に運用開始した RIKEN Integrated Cluster of Clusters (RICC)

大容量メモリ計算機を単一の高速ネットワークで接続したクラスタオブクラスタ研究者容量 10 倍 I/O 性能 12 倍実験データテープアーカイブ装置 HPSS (4PB) 2009

5 倍超並列 PC クラスタ 1024Nodes(8192core) ノード性能 :93.

5 RICC の狙い 1. 次世代スーパーコンピュータに向けたアプリケーション開発環境の整備大規模並列に対応するために 8000コア超の大規模並列ジョブ実行を推進システムソフトウェア ( ジョブスケジューラ ) の機能強化 2. 新しいトレンド :GPGPUアクセラレータへの挑戦 GPGPUアクセラレータを導入利用を推進 RICC の概要システム構成超並列 PC クラスタ +GPU クラスタ + 専用機クラスタ + 大容量メモリ計算機を単一の高速ネットワークで接続したクラスタオブクラスタ研究者容量 10 倍 I/O 性能 12 倍実験データテープアーカイブ装置 HPSS (4PB) 2009 年導入時点の TOP500 リストで世界 40 位日本で 3 位 PC クラスタシステムでは日本最速演算性能 :8.5 倍メモリI/O 性能 :2.5 倍超並列 PC クラスタ 1024Nodes(8192core) ノード性能 :93.0GFLOPS, 12GB(mem), 500GB(hdd),DDR IB 1 * 導入時最新の CPU を採用した日本初の大規模 PC クラスタ (8192 コア ) 多目的 PCクラスタ 100Nodes(800core) 9.3テラフロップス + GPGPUアクセラレータ 93.3TFLOPS GPGPUの利用を容易にするためのビジュアルプログラミング環境を日本 IBMと共同で開発中容量 27 倍 I/O 性能 10 倍磁気ディスク装置 (550TB) 大容量メモリ計算機 0.24 テラフロップス 512GB メモリ *1 プロセスで 500GB 以上のメモリを利用可能専用機クラスタ 3TFLOPS + MDGRAPE-3 64 テラフロップス * 理研で開発した分子動力学専用計算機を接続メモリ容量 2 倍

RICC の主な特徴 8000core 超を同時に使えるインターコネクト (InfiniBand) 構成 RSCC ではサブクラスタごと各サブクラスタ間は GbE で接続メタジョブスケジューラの機能の充実フェアシェア機能バックフィル機能マルチコアシステムでの効率的なジョブ管理リソース管理ネットワークトポロジと利用方針を踏まえたノードアロケーション管理数万の単一 CPU

6 RICC の主な特徴 8000core 超を同時に使えるインターコネクト (InfiniBand) 構成 RSCC ではサブクラスタごと各サブクラスタ間は GbE で接続メタジョブスケジューラの機能の充実フェアシェア機能バックフィル機能マルチコアシステムでの効率的なジョブ管理リソース管理ネットワークトポロジと利用方針を踏まえたノードアロケーション管理数万の単一 CPU 利用ジョブのスケジューリングに対応システム緒元理論性能設置面積 ( テープアーカイブ装置 & 保守スペース除く ) 重量消費電力 ( ピーク ) 発熱量 RSCC 12.6TFLOPS 約 40m2約 24t 約 660kVA 約 550Mcal/h RICC 107.7TFLOPS + 64TFLOPS (MDGRPAE) TFLOPS (GPU;SP) 約 47 m2 約 40t 約 850kVA 約 710Mcal/h

7 マシン室写真超並列 PC クラスタ増設した空調機多目的 PC クラスタ (GPGPU 搭載 ) MDGRAPE-3 クラスタ & 大容量メモリ計算機 RICC 運用状況

8 超並列 PC クラスタの利用率 RICC RSCC 04 年 3 月 04 年 4 月 04 年 5 月 04 年 6 月 04 年 7 月 04 年 8 月 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 09 年 8 月 09 年 9 月 09 年 10 月 09 年 11 月 09 年 12 月 10 年 1 月テスト運用本運用稼働率低下 ( ファイルシステム障害緊急保守定期保守 ) 特別週末運用のためのジョブ絞り込み研究分野ごとの利用者数 VPP700/RSCC との比較 VPP700 RSCC 研究分野の割合ライフサイエンス物理学工学化学脳科学天文学情報工学 RICC % 20% 40% 60% 80% 100% VPP700( 2004 年 2 月末 ) RSCC(2009 年 6 月末 ) と RICC(2010 年 1 月末 ) の登録ユーザーの研究分野による分類比較 VPP700 と比べると研究分野ではライフサイエンスが大幅に増大

9 研究分野ごとの利用時間割合 RSCC 利用時間の研究分野別割合 (2008 年 3 月 ) 情報工学, 脳科学, 0.8% 化学, 1.8% 2.1% ライフサイエン工学, 2.4% ス, 12.4% 物理学, 12.3% 原子核高エネルギー物理学, 68.1% システム利用時間における次世代スパコン関係プロジェクトの割合従来からの利用, 68% RICC 利用時間の研究分野別割合 (2010 年 1 月 ) 工学, 2.7% 物理学, 4.9% 脳科学, 0.8% 化学, 7.8% 原子核高エネルギー物理学, 41.5% 天文学, 0.1% 情報工学, 4.3% ライフサイエンス, 38.0% 次世代スパコン関係, 32% RICC ハードウェア故障発生件数 RICC システムハード障害発生件数アーカイブシステムネットワーク関連磁気ディスク関連フロントエンド計算機大容量メモリ計算機多目的 PC クラスタ (MDGRAPE-3) 多目的 PC クラスタ超並列 PC クラスタ年 8 月 2009 年 9 月 2009 年 10 月 2009 年 11 月 2009 年 12 月 2010 年 1 月予防交換を除いたクラスタの平均故障率は約 3.5 台 / 月 RSCC:5 年間の平均故障率は約 3.4 台 / 月

10 大規模並列ジョブのための週末運用高い稼働率のため通常運用中に大規模並列ジョブの実行は困難大規模並列ジョブをある程度まとめて特別週末運用時間を設けて対応 2010 年 1 月から開始 (1ヶ月に2 週末 ) 予定してジョブを絞り込むため一般のジョブは実行時間を短く設定週末運用前後の利用率推移利用率 (%) /26 18:00 1/27 0:00 1/27 6:00 1/27 12:00 1/27 18:00 1/28 0:00 1/28 6:00 1/28 12:00 1/28 18:00 絞込み期間 1/29 0:00 1/29 6:00 1/29 12:00 1/29 18:00 日時 1/30 0:00 1/30 6:00 1/30 12:00 1/30 18:00 1/31 0:00 1/31 6:00 1/31 12:00 1/31 18:00 2/1 0:00 2/1 6:00 2/1 12:00 2/1 18:00 2/2 0:00 週末運用開始 GPGPU の利用促進に向けて

GPU プログラムの問題 LU 分解のオリジナルプログラム ( 一部 ) GPGPU 版プログラム ( 一部 ) void kerneld( const Matrix<T, Z, C>& blockb, const Matrix<T, R, Z>& blockc, const Matrix<T, R, C>& blockd, Matrix<T, R, C>& result) { struct

str(""); /* To make the code simpler, input matrix is copied to the output one first */ for(i = 0; i < R; i++) // row for(j = 0; j < C; j++) // column result.elementat(i, j) = blockd.

11 GPU プログラムの問題 LU 分解のオリジナルプログラム ( 一部 ) GPGPU 版プログラム ( 一部 ) void kerneld( const Matrix<T, Z, C>& blockb, const Matrix<T, R, Z>& blockc, const Matrix<T, R, C>& blockd, Matrix<T, R, C>& result) { struct timeval tvs, tve; std::stringstream ss; int i, j, k; gettimeofday(&tvs,null); ss << tvs.tv_sec << "." << tvs.tv_usec << " kerneld" << R << " start." << std::endl; std::cerr << ss.str(); ss.str(""); /* To make the code simpler, input matrix is copied to the output one first */ for(i = 0; i < R; i++) // row for(j = 0; j < C; j++) // column result.elementat(i, j) = blockd.elementat(i, j); void kerneld( Matrix<float,MATRIX_SIZE,MATRIX_SIZE>* blockd, Matrix<float,MATRIX_SIZE,MATRIX_SIZE>* blockb, Matrix<float,MATRIX_SIZE,MATRIX_SIZE>* blockc, Matrix<float,MATRIX_SIZE,MATRIX_SIZE>* result); extern "C" void* udoplu_d(void* parm) { uspade_udop_parm_t* uparm = (uspade_udop_parm_t*)parm; std::string blockdparm = " :10003"; std::string blockbparm = " :10001"; std::string blockcparm = " :10002"; std::string resultparm = " :10004"; } /* Main loop of submatrix calculation */ for (i = 0; i < R; i++) // row for (k = 0; k < Z; k++) // column or row for (j = 0; j < C; j++) // column blockb.elementat(k, j) * blockc.elementat(i, k); gettimeofday(&tve,null); ss << tve.tv_sec << "." << tve.tv_usec << " kerneld" << R << " finish." << std::endl; tve.tv_usec -= tvs.tv_usec; tve.tv_sec -= tvs.tv_sec; if( tve.tv_usec < 0 ){ tve.tv_usec += ; tve.tv_sec--; } ss << tve.tv_sec << "." << tve.tv_usec << " kerneld" << R << " used." << std::endl; std::cerr << ss.str(); ss.str(""); result.elementat(i, j) += for (std::map<std::string, std::string>::const_iterator it = uparm->parms.begin(); it!= uparm->parms.end(); it++) { size_t pos; while ( (pos = blockdparm.find(it->first))!= std::string::npos ) blockdparm.replace(pos, it->first.length(), it->second); while ( (pos = blockbparm.find(it->first))!= std::string::npos ) blockbparm.replace(pos, it->first.length(), it->second); while ( (pos = blockcparm.find(it->first))!= std::string::npos ) blockcparm.replace(pos, it->first.length(), it->second); while ( (pos = resultparm.find(it->first))!= std::string::npos ) resultparm.replace(pos, it->first.length(), it->second); } InSocketPort<Matrix<float,MATRIX_SIZE,MATRIX_SIZE> > blockdport(blockdparm); InSocketPort<Matrix<float,MATRIX_SIZE,MATRIX_SIZE> > blockbport(blockbparm); InSocketPort<Matrix<float,MATRIX_SIZE,MATRIX_SIZE> > blockcport(blockcparm); OutSocketPort<Matrix<float,MATRIX_SIZE,MATRIX_SIZE> > resultport(resultparm); Matrix<float,MATRIX_SIZE,MATRIX_SIZE> blockd; Matrix<float,MATRIX_SIZE,MATRIX_SIZE> blockb; Matrix<float,MATRIX_SIZE,MATRIX_SIZE> blockc; Matrix<float,MATRIX_SIZE,MATRIX_SIZE> result; while ( uparm->active ) { if ( uparm->active ) blockdport.receive(blockd); if ( uparm->active ) blockbport.receive(blockb); if ( uparm->active ) blockcport.receive(blockc); struct timeval tv_st, tv_ed; gettimeofday(&tv_st, NULL); if ( uparm->active ) kerneld( &blockd, &blockb, &blockc, &result); gettimeofday(&tv_ed, NULL); printf("kernel fired!! (at %f in msec, %f [msec] to process kernel) n", (double)tv_ed.tv_sec * (double)tv_ed.tv_usec / 1000, (double)(tv_ed.tv_sec - tv_st.tv_sec - 1) * (double)( tv_ed.tv_usec - tv_st.tv_usec) / 1000); } if ( uparm->active ) resultport.send(result); return NULL; } GPGPU アプリケーション開発環境 RIVER (Riken IBM Visual Programming EnviRonment) GPGPUは高速だがその性能を引き出すには高度なプログラムのスキルが必要だれでも使えるように初心者向けのビジュアルプログラミング環境を日本 IBMと共同で開発中部品ライブラリの中の部品を組み合わせるだけでプログラミングが可能ノード並列もサポート予定連立一次方程式の前処理プロセス :LU 分解の例

LU 分解の測定結果 (10 並列 ) All Rights Reserved, Copyright (c) RIKEN 2009- RIVER の現状と今後ポイントは

13 RICC の現状と今後 8000 並列超の並列性能のテスト運用開始直後から高い利用率特別週末運用の実施 GPGPU の利用促進をして CPU から GPU へ誘導 RIVER の開発応用分野を開拓する必要今後はスペースよりも電力空調能力が問題に PC クラスタ + アクセラレータは電力性能比向上の 1 つの解ノードやラック単位だけでなくコンピュータルーム全体として効率の良い冷却方式の検討が必要

Microsoft PowerPoint - SS研200911姫野_最新.ppt

Microsoft PowerPoint - SS研200911姫野_最新.ppt 3.5 世代 PCクラスタを中核とする理研 RICC: その狙いと現状今後理化学研究所情報基盤センター内容 PCクラスターの歴史 Top500の新たな潮流 GPGPUの特徴第二世代 PCクラスタ :RSCCの狙いとその結果第 3.5 世代 PCクラスタ :RICCの狙いと現状今後 PC クラスターの歴史と最近の潮流 PC クラスタヒストリー第一世代 :Beowulf 型個人第二世代