大規模連携実証実験報告 大学 研究機関 6 機関をつないだ現実の運用を考えた実証評価 Manabu Higashida manabu@cmc.osaka-u.ac.jp 2008/06/06 NAREGIミドルウェアで100TFLOPS 級のグリッド環境を構築できるか!? 動き出したサイエンスグリッド NAREGI 研究リソース共有の世界を広げるミドルウェアを公開 平成 20 年 5 月 9 日付けプレスリリースより抜粋
NAREGI 100T Project Phase 2: 3/27 時点のノード構成 大阪大学東京工業大学 NII 分子科学研究所 Osaka Univ. Grid CA CA/RA UMS Portal RENKEI-Osaka Host cert UMS/VOMS GSIC-VOS Portal User cert NAREGI CA CA/RA UMS/VOMS RENKEI-Naregi Portal RA VO1 UMS/VOMS Portal VOMS 連携 rcs IS NAS 名古屋大学 内部利用 portal / /cdas IS-NAS IS-NAS vo1 利用 dpca064 dpca128 dpcb064 dpcb128 dpcc128 dpcd048 dpcd049 dpcd057 sr11k CDAS/GVM S 松岡研内 S&E pbg2043 png1051 九州大学 dpc.kyushu 遊休 (Linux) (Solaris) sng0001 (sx) png1054 pfg1005 (Linux) Engines Engines Engines Fact Sheet 1: 管理ノード構成 Phase 1 / Phase 2 SINET3 接続 グリッド認証局 ポータル NAS IS CDAS 大阪大学 10Gbps 東京工業大学 4Gbps - 2007 年 8 月 九州大学 - - - - - - NII/NAREGI 1Gbps 1 分子科学研究所 2008 年 1 月 1Gbps - - 名古屋大学 2008 年 3 月 1Gbps - 2 2 2 2 ヶ所 4 ヶ所 4 ヶ所 3 ヶ所 5 ヶ所 1 NII/NAREGIに/RCS (NAREGIv1の予約サービス機能) を設置 2 名古屋大学の管理ノードは 学内サービス向けの設定のまま 以下を連携用に追加設定
Fact Sheet 2: 計算ノード構成 アーキテクチャ OS スケジューラノード数 TFLOPS gridvms1.hpc.cmc SX 8R SUPER UX NEC NQS II 1 0.3 大阪大学 gridvms2.hpc.cmc x86 Linux NEC NQS II 8 0.4 gridvms3.hpc.cmc x86 Linux NEC NQS II 450 16.8 東京工業大学 tggn vms2.grp.gsic x86+clearspeed Linux Sun GridEngine 120 18.9 九州大学 dpc.kyushu.grid x86 Linux PBS Pro 0.1 NII/NAREGI 分子科学研究所 名古屋大学 pbg2043 SX 8 SUPER UX NEC NQS II 2 0.2 pfg1005, png1051, png1053, png3000 dpca064.grid, dpca128.grid, dpcb064.grid, dpcb128.grid, dpcc128.grid, dpcd048.grid, dpcd049.grid, dpcd057.grid x86 Linux PBS Pro 14 0.1 x86 Linux PBS Pro 278 3.4 sr11k.grid POWER5 AIX LoadLeveler 32 3.5 naregi4.cc x86 Linux PBS Pro 6 0.2 ngrd1.cc SPARC Solaris Parallelnavi 2 0.3 44.1 各拠点の実情に合わせた多様な資源の提供を受けた連携
遊休時利用PCクラスタ NEC Express 5800 56Xd Not Yet Installed 450 nodes 16.4 TFLOPS 10.0 TB 18.3 TFLOPS 1.0 TB s 10Gbp 1 node 5.3 TFLOPS 3.0 TB NEC SX 8R 8 nodes 6.1 TFLOPS 2.0 TB Total: 46.1 TFLOPS, 16.0 TB 阪大CMCの大規模システム構成 Local Authentication CA/RA Grid LDAP NAREGI Grid Middleware β2 VOMS UMS (CMC (CMC Proprietary) Proprietary) Server Server for for PC Cluster PC Cluster MyProxy Grid Portal MyProxy+ Server Server for for SX SX IS NAS user Server Server for for PC Cluster PC Cluster frontend login Kerberos KDC Local Scheduler: NEC NQS II w/jobmanipulator w/gridschedulemaster 遊休時利用PCクラスタ 遊休時利用PCクラスタ NEC NEC Express 5800 Express 5800 56Xd 56Xd 16.4 TFLOPS 10.0 TB 18.3 TFLOPS 1.0 TB Gbps 10 10Gbps NEC SX 8R 5.3 TFLOPS 3.0 TB 6.1 TFLOPS 2.0 TB NAREGI M/Wの各コンポーネントと阪大CMCの構成との位置関係
6 months 6 months 100TFLOPS 集まらなかったのは
Webサービスのメッセージ交換による状態推移をすべて記録 今回の連携に参加したクラスタ群 : 3/26 16:14:28 時点で 17クラスタ 887ノード Webサービスのメッセージ (SOAP Envelope) を解析するためのオプション 上記のうち 阪大 CMCの遊休時利用型クラスタ (449ノード) の予約マップ How Works: モニタツールによる監視 東工大 TSUBAME 120 ノードの予約マップ このテストジョブがわだかまっていて 本当に動かしたいジョブが実行できない Out of Service Wed Mar 26 21:54:00 Wed Mar 27 09:00:00 How Works: モニタツールによる監視
IS による利用統計情報 資料協力 : 九州大学青柳研究室 資料協力 : 大阪大学レーザーエネルギー学研究センター ( 平成 19 年度 CSI 委託事業報告交流会発表予定資料より抜粋 )
VO ドメイン RENKEI Osaka RENKEI Osaka RENKEI Osaka vo1 PKI ドメイン NII/NAREGI 認証局阪大 CMC 認証局 RO 6 拠点 九州大学 大阪大学 名古屋大学 分子科学研究所 東京工業大学 NII/NAREGI グリッド認証局と仮想組織 VO: Virtual Organization RO: Real Organization PKI: Public Key Infrastructure Registration Agency 構想に向けて
CSI グリッド網 ( 各大学との接続 ) SINET3 L3 VPN: CSI GRID 分子研 同志社 ( 知的 SD) 阪大 クラスタ 3 関大 東大 SR8K 情報研 北大 Catalyst 6506 SW Foundry RX 4 SX PGLab ルータ SW SX Catalyst 6506 CISCO 2520.201 CSI GRID 九大 同志社 ( 高野研 ) SW 京大 Catalyst 4006 名大 Catalyst 4506 東工大?? SW 東北大 SX Catalyst 3750 九工大 Latency: 1 byte MPI_Send+MPI_Recv Intel MPI 3.0 GridMPI 2.0rc1 (YAMPI 1.0) 2 processes Case 1 Case 2 Case 3 Case 1 Case 2 Case 3 0.94us 10.26us 63.32us 2.95us 12.28us 68.24us 転送バッファサイズによる遅延の影響の比較 1GB 128KiB 遅延 7,630trans. 1 ミリ秒 12 ミリ秒 200 ミリ秒 10Mbps 800 秒 0.1 秒 807 秒 892 秒 2,326 秒 100Mbps 80 秒 0.01 秒 88 秒 172 秒 1,606 秒 1,000Mbps 8 秒 0.001 秒 16 秒 100 秒 1,534 秒 10,000Mbps 0.8 秒 0.0001 秒 8 秒 92 秒 1,527 秒 1GB 16MiB 遅延 60trans. 1 ミリ秒 12 ミリ秒 200 ミリ秒 10Mbps 800 秒 13 秒 800 秒 801 秒 812 秒 100Mbps 80 秒 1.3 秒 80 秒 81 秒 91 秒 1,000Mbps 8 秒 0.13 秒 8 秒 8.7 秒 20 秒 10,000Mbps 0.8 秒 0.013 秒 0.9 秒 1.5 秒 13 秒
Collaboration Tools 夢のグリッド の実現に向けて