IPSJ SIG Technical Report Vol.2014-HPC-144 No /5/26 ES2 1,a) 1,b) 1,c) (ES2) The system architecture and operation results of the Earth Simulato

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2014-HPC-144 No /5/26 ES2 1,a) 1,b) 1,c) (ES2) The system architecture and operation results of the Earth Simulato"

ありおきいなおか
4 years ago
Views:

ES2 1,a) 1,b) 1,c) (ES2) The system architecture and operation results of the Earth Simulator (ES2) Ken ichi Itakura 1,a) Hitoshi Uehara 1,b) Toshiyuki Asano 1,c) Abstract: This paper describes the

1 ES2 1,a) 1,b) 1,c) (ES2) The system architecture and operation results of the Earth Simulator (ES2) Ken ichi Itakura 1,a) Hitoshi Uehara 1,b) Toshiyuki Asano 1,c) Abstract: This paper describes the system architecture and operation results for five year of the Earth Simulator (ES2) which is operated by Japan Agency for Marine-Earth Science and Technology (JAMSTEC). we show the evaluation of the operating efficiency of the whole system and the execution situation of a user request based on the kind of the track record data for five years which are outputted in the real operation. 1. (JAMSTEC) [1] NEC SX-9/E (ES2 ) ES ES ES2 ES2 1 JAMSTEC a) itakura@jamstec.go.jp b) uehara@jamstec.go.jp c) asanot@jamstec.go.jp 1 ES2 Fig. 1 ES2 System Outline 2.1 ES2 160 Fat-Tree 102.4GFLOPS 8 128GB TFLOPS 20TB c 2014 Information Processing Society of Japan 1

2 32 4 D3-10 (300GB 15krpm * 72, RAID5 *8 D3-10 (SATA 750GB 7200rpm * 113 RAID6 *26 2 Fig.

2 NQSII ES2 Network Queuing System II(NQSII) 3 ES2 L S 2 L S L S CPU L CPU 3 ES2 Fig.

2 D3-10 (300GB 15krpm * 72, RAID5 *8 D3-10 (SATA 750GB 7200rpm * 113 RAID6 *26 2 Fig Storage System Outline 2 Fat-Tree GB/sec HOME DATA 1.5PB TB 3TB 2.2 NQSII ES2 Network Queuing System II(NQSII) 3 ES2 L S 2 L S L S CPU L CPU 3 ES2 Fig. 3 Queuing System on ES2 ( 1 ) ( 2 ) ( 3 ) ( 4 ) ( 5 ) (1) (2) (3) (4) c 2014 Information Processing Society of Japan 2

1 5 Table 1 Node Usage in 5 years H21 72.75% 10.09% 9.59% 1.48% 6.08% H22 86.40% 5.61% 0.81% 0.73% 6.45% H23 84.62% 6.45% 3.94% 1.41% 3.58% H24 82.43% 8.94% 4.79% 0.67% 3.17% H25 82.96% 6.59% 0.35% 0.

3 1 5 Table 1 Node Usage in 5 years H % 10.09% 9.59% 1.48% 6.08% H % 5.61% 0.81% 0.73% 6.45% H % 6.45% 3.94% 1.41% 3.58% H % 8.94% 4.79% 0.67% 3.17% H % 6.59% 0.35% 0.90% 9.19% Fig. 4 Node Usage FY2013 ES2 1 (S/L): S L : : : (S/L): S L (S/L): S L Web ID L L L L S S CPU S S CPU pre-run post-run rerun hold delete I/O GFLOPS GOPS L 48 3TB 1.5TB ES ES c 2014 Information Processing Society of Japan 3

2 ES2 NQSII 1 9,000 2013/4/1 2014/3/31 1 L 92,530

5GB 75GB 65%ES2 12 6000 4000 2000 0 Stage IN (B) 6 Fig.

4 ES ES2 Fig. 5 Node Usage in 5 years 15% ES2 NQSII 1 9, /4/1 2014/3/31 1 L 92,530 77,202 12/1 12/ L 2.5GB 75GB 63% 2.5GB 75GB 65%ES Stage IN (B) 6 Fig. 6 Histgram of Stage-in data amount L 25GB 500GB 92% TAT 9 10 c 2014 Information Processing Society of Japan 4

5 情報処理学会研究報告 ᗘ (B/sec) 䝸䜽䜶䝇䝖㔞(B) Stage OUT 䝕䞊䝍㔞 (B) 図 7 1.E+05 ステージアウトのデータ量ヒストグラム図 9 Fig. 7 Histgram of Stage-out data amount 1.E+10 1.E+11 1.E+12 1.E+13 ステージインのデータ量と転送速度の関係 Fig. 9 Data amount v.s. transfer speed in Stage-in ᗘ (B/sec) 䝸䜽䜶䝇䝖 1.E E E E E+01 㔞(B) L 䝽䞊䜽䝕䝇䜽ᐉゝ (B) 1.E+00 1.E+00 1.E+01 1.E+02 図 10 図 8 L 系ワークデスク使用量ヒストグラム 1.E+03 1.E+04 1.E+05 1.E+10 1.E+11 1.E+12 1.E+13 ステージアウトのデータ量と転送速度の関係 Fig. 10 Data amount v.s. transfer speed in Stage-out Fig. 8 Histgram of work disk usage in L batch requests の評価は各運用機関の中で運用主体者とメーカユーザ送速度の関係ステージアウトのデータ量と転送速度の関が一体となって行われておりアカデミックな報告として係を示すどちらの場合でもデータ量が少ない場合にははあまり例がないここでは本論文で示したような実シファイル I/O に必要となる固定のオーバーヘッド時間が支ステムのジョブ履歴情報がジョブ管理システムの改良やシ配的となり転送時間が数秒の単位で固定となる現在のステム評価に利用されている例を示したいリクエスト単位で収集する統計データは秒単位で丸められまず宇野らは [2] においてジョブスケジューリングているため 1 秒から 10 秒未満の時間のリクエストが集中の方式をソフトウェアシミュレーションによって解析しする傾向があり図で左側の部分にすじ状の分布となって特にファイルステージングにおけるファイルアクセス競合現れるデータ転送量が十分ある場合には転送スピードによって帯域が減少した場合のスケジューリングに及ぼすは 10MB/sec から 100MB/sec で行われている但し特影響を検討しているこの時には実際の京コンピューにステージインの場合に数 MB/sec しか出ていないケースタの運用を考慮しつつ複数のタイプのジョブミックスをも多く見られる ES2 のステージングファイルはユーザが想定して評価を行っているユーザ層が等しいようなシスジョブスクリプトに明記しその記述に従ってデータ転送テムの検討では実システムのジョブミックスを利用するこが行われる実際には図 2 のクラスタ内にある IOCS と呼とも十分に検討できるばれる Linux ワークステーションが HOME DATA 領域次に Wong らは [3] において ESP(Eﬀective System と WORK 領域の間でコピー処理を行う各ストレージ領 Performance) test というシステムレベルでの大型計算機域内でのコンフリクトが起きている可能性がありユーザの性能評価をする手法を提案しているここでは単純なのジョブスクリプトに無駄が無いかコンサルティングをプログラムの計算性能だけでなくジョブハンドリングの行っていく必要がある効率やシステムのシャットダウンブートアップの時間も 5. 関連研究直接的に大型計算機の運用結果に基づいたシステム構成 c 2014 Information Processing Society of Japan 含めて評価する取り組みとなっているここでもシステムを評価するにあたり実運用のジョブミックスを用いることは重要と考えられておりそのようなデータは貴重だと 5

6 6. ES2 5 ES2 [1] :, Vol45, NO.2,, Feb. 15, [2] :, 12-HPC-136(22),, Oct. 4, [3] Adrian Wong, Leonid Oilker, William Kramer, Teresa Kaltz and David Bailey: System Utilization Benchmark on the Cray and IBM SP The 6th Workshop on Job Scheduling Strategies for Parallel Processing, April 19, c 2014 Information Processing Society of Japan 6

1重谷.PDF

1重谷.PDF RSCC RSCC RSCC BMT 1 6 3 3000 3000 200310 1994 19942 VPP500/32PE 19992 VPP700E/128PE 160PE 20043 2 2 PC Linux 2048 CPU Intel Xeon 3.06GHzDual) 12.5 TFLOPS SX-7 32CPU/256GB 282.5 GFLOPS Linux 3 PC 1999