地球シミュレータ開発の現状平成 14 年 2 月 22 日横川三津夫地球シミュレータ研究開発センター 1

Size: px

Start display at page:

Download "地球シミュレータ開発の現状平成 14 年 2 月 22 日横川三津夫地球シミュレータ研究開発センター 1"

さゆりにかどり
4 years ago
Views:

1 地球シミュレータ開発の現状平成 14 年 2 月 22 日横川三津夫地球シミュレータ研究開発センター ESRDC@JAERI 1

2 地球シミュレータ計画の背景地球規模の複雑な諸現象の理解, 予測の必要性地球温暖化異常気象エルニーニョエルニーニョ,, 冷夏冷夏,, 暖冬暖冬,, 豪雨豪雨,, 豪雪豪雪,, 干ばつ干ばつ地殻活動地震地震,, 火山活動火山活動大気汚染酸性雨酸性雨,, オゾンホールオゾンホール 2

3 地球変動現象の解明予測研究開発の推進数値シミュレーション地球シミュレータの開発応用ソフトウェアの開発一体的に推進基礎研究地球変動モデルの研究 ( 地球フロンティア研究システム ) 観測システム地球観測によるデータ収集, 解析地球観測衛星 TRMM 海洋観測研究船みらい目標気候変動予測冷夏暖冬などを予測大気組成変動予測大気中微量物質の組成の解明とその変動を予測水循環予測 1km メッシュ気象学の確立集中豪雨豪雪予測多雨渇水等の予測生態系変動予測気候変動酸性雨等による植生の生態系の変化を予測地球温暖化予測 10~100 年単位での気候変動を予測海面水位の上昇を予測地球内部変動メカニズムの解明地球内部変動を超長期でシミュレーション ESRDC@JAERI 3

地球シミュレータの開発目標気象気候シミュレーションの解像度 ( 格子間隔 ) モデル現在地球シミュレータ地域モデル大循環モデル (AGCM) 20-30 km 50-100 km ~1km 5-10km 経度, 緯度方向 : 4000 x 2000,

4 地球シミュレータの開発目標気象気候シミュレーションの解像度 ( 格子間隔 ) モデル現在地球シミュレータ地域モデル大循環モデル (AGCM) km km ~1km 5-10km 経度, 緯度方向 : 4000 x 2000, 鉛直方向 : 数 10 時間ステップ : 現在の1/10 程度 Cray C90 で AGCM シミュレーションを実施した場合の実効処理速度 ( 約 4-6 ギガフロップス ) の 1000 倍の実効処理速度 ( 約 5 テラフロップス ) ESRDC@JAERI 4

5 地球シミュレータの開発スケジュール平成 9 年度平成 10 年度平成 11 年度平成 12 年度平成 13 年度ハードウェア概念設計基本設計要素技術設計要素技術試作詳細設計本体製作現在完成運用管理用ソフトウェア基本, 詳細設計プログラム作成等周辺機器整備地球シミュレータ建屋, 付帯設備運用 ESRDC@JAERI 5

6 理論最大性能地球シミュレータの性能の位置づけ 100TFLOPS 10TFLOPS 1TFLOPS 100GFLOPS 10GFLOPS 1GFLOPS 民間により開発国の指導により開発日本米国 S-810/20 SX-3 VP2600 YMP SX-2 XMP ASCI XX( 予 ) 地球シミュレータ ( 予 ) ASCI Q( 予 ) ASCI White VPP5000 SR8000F1 ASCI B.P SX-5 ASCI B.M ASCI R T3E SP2 CP-PACS PACS SR8000 SX-4 SR2201 NWT VPP700 Paragon CM-5 T3D SP 2 VPP500 T90 S3800/480 C90 100MFLOPS 10MFLOPS 1970 Cray- ILLIAC-IV IV 75APU ( 年 ) 高速計算機性能の推移 ESRDC@JAERI 6

7 地球シミュレータの模型カートリッジテープライブラリシステム磁気ディスク装置等結合ネットワーク (65 筐体 ) 計算ノード (320 筐体 ) 65m (71yd) 空調機電気室 50m (55yd) 免震装置 ESRDC@JAERI 7

8 計算プロセッサ計算プロセッサ計算プロセッサ計算プロセッサ計算プロセッサ計算プロセッサ地球シミュレータの全体構成総計算ノード数 : 640 総プロセッサ数 : 5120 ピーク性能 : 主記憶容量 : 40TFLOPS 10TB 計算プロセッサのピーク性能 : 8GFLOPS 計算ノードのピーク性能 : 64GFLOPS 計算ノードの主記憶容量 : 16GB 結合ネットワーク (Full Crossbar Switch: 12.3GB/s x 共有メモリ 16GB 共有メモリ 16GB 共有メモリ 16GB 計算プロセッサ計算プロセッサ計算プロセッサ#7 #1 #0 #7 #1 #0 #7 #1 #0 計算ノード #0 計算ノード #1 計算ノード #639 ESRDC@JAERI 8

9 ベクトル処理部主記憶アクセス制御部計算プロセッサ (AP) の構成ベクトルユニット :8セット 6 種のベクトルパイプライン 256 要素のベクトルレジスタ : 72 個 256ビットのマスクレジスタ : 17 個主記憶アクセス制御部スカラユニット 4-ウェイスーパースカラ 64KB 命令キャッシュ 64KB データキャッシュ 128 個の汎用レジスタ 1 チップ LSI: 8Gflops x 8 ユニットロード / ストアスカラ処理部命令キャッシュテータキャッシュマスクレジスタベクトルレジスタスカラレジスタヒット列ヘクトル論理演算器ベクトル論理演算器ベクトル乗算演算器ベクトル加減算演算器ベクトル除算演算器整数演算器浮動少数点演算器 0.15µm CMOSテクノロジ + 銅配線 20.79mm x 20.79mm 5,700 万トランジスタ 5185 ピンクロック周波数 500MHz(1GHz) 消費電力 135W(Typ.) ESRDC@JAERI 9

10 計算プロセッサ (AP) パッケージの実装イメージ沸騰型ヒートシンククロックコネクタ計算プロセッサ用 LSI ビルドアップ基板 139mm 118mm MMU 用コネクタ給電コネクタ 10

11 計算ノード (PN) の構成結合ネットワーク計算プロセッサ #0 計算プロセッサ #1 計算プロセッサ #2 計算プロセッサ #7 リモートアクセス制御機構 (RCU) 入出力フロセッサ (IOP) Bandwidth : 32GB/s 主記憶ユニット #0 主記憶ユニット #1 主記憶ユニット #2 主記憶ユニット #3 主記憶ユニット #4 主記憶ユニット #5 主記憶ユニット #6 主記憶ユニット #29 主記憶ユニット #30 主記憶ユニット #31 共有メモリ (MS) 16GB ESRDC@JAERI 11

12 主記憶ユニット (MMU) パッケージの実装イメージヒートシンクメモリ制御用 LSI メモリ素子給電コネクタクロックコネクタ 125mm AP,RCU 用コネクタ 147mm ビルドアップ基板 12

13 主記憶ユニット主記憶ユニット 32計算 32計算結合ネットワーク (IN) 部結合ネットワーク接続の構成クロスバ制御部 #0,#1 データパス部 #0 データパス部 #1 データパス部 # GB/s bi-directional bandwidth リモートアクセス制御機構リモートアクセス制御機構フロセッサフロセッサ計算ノード #0 計算ノード #639 13

14 筐体実装及びケーブル接続のイメージ ( 制御用 ) ( デ - タ用 ) 計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノード計算ノードクロスバ制御部クロスバ制御部データパス部データパス部データパス部データパス部データパス部データパス部データパス部データパス部データパス部データパス部 128 台,64 筐体電気ケーブル : =83,200 本計算ノード 640 台,320 筐体 ESRDC@JAERI 14

15 計算ノード筐体 (320 台 ) 結合ネットワーク筐体 (65 台 ) 200cm 140cm 100cm 120cm 130cm ESRDC@JAERI 15

16 計算ノード筐体の比較 NEC SX-4 1ノードピーク性能 64Gflops 主記憶容量 16GB 消費電力最大約 90kVA 空冷地球シミュレータ 1ノードピーク性能 64Gflops 主記憶容量 16GB 消費電力最大約 8kVA 空冷約 100c 140c 約 16

17 周辺機器との接続インターネットファイアウォール telnet/ftp 会話型 2 ノード S 系 14 ノード S 系 L 系結合ネットワーク (IN) L 系 624 ノード L 系 WS GWS 3D 基幹 LAN Gigabit Ethernet ユーザディスク 225TB システムディスク 450TB データ転送 LAN ログインサーバファイルサーバカートリッジテープライブラリ (CTL) (1.5PB) 持込テープ用 ESRDC@JAERI 17

18 システムソフトウェアオペレーティングシステム UNIX (NEC SX シリーズ SUPER-UX) 科学技術計算用高速ファイルシステム並列ファイルシステム ( MPI_IO, HPF ) プログラミング環境 Fortran90, C, C++ 自動ベクトル化. 自動並列化 MPI2, OpenMP, HPF2 Program analyzer + Tuning tools Parallel debugger ESRDC@JAERI 18

19 3 階層のプログラミングモデル結合ネットワーク並列処理 : HPF MPI 並列処理 : 自動並列 OpenMP HPF MPI CPU CPU CPU 共有メモリ CPU 共有メモリ共有メモリベクトル処理 CPU CPU CPU CPU 計算ノード ESRDC@JAERI 19

20 バッチジョブ処理 ( ジョブスケジューラ ) ログインサーバ会話型ノード大規模ジョブ L 系ノー J1 ノード数ジョブリクエスト投入 (qsub コマンド ) j2 J2 J3 j1 j3 時刻 S 系ノー CPU 数単一受付キュー小規模ジョブ時刻 ESRDC@JAERI 20

21 地球シミュレータ用ジョブスクリプトジョブスケジューラへの指示行を記述実行するシステム (S 系またはL 系 ) の選択必要な計算機資源の宣言使用ノード数 (L 系 )/ 使用 CPU 数 (S 系 ) 計算時間 ( 経過時間 )(L 系 ) 使用ディス容量 (L 系 ) 使用するファイルの宣言 #!/bin/sh ##ES system=l,pn=64,elapse=4h ##ES disk=sfs,totalsize=512gb ##ES file=. ##ES file=. mpirun a.out ESRDC@JAERI 21

22 地球シミュレータ施設の位置神奈川県横浜市金沢区海洋科学技術センター横浜研究所東京横浜地球シミュレータ施設 22

23 海洋科学技術センター横浜研究所シミュレータ研究棟シミュレータ棟冷却施設棟交流棟情報技術棟スーパーコンピュータ棟地球情報館フロンティア研究棟情報研修棟 23

24 地球シミュレータ施設シミュレータ研究棟冷却施設棟シミュレータ棟 24

25 地球シミュレータ施設 ( 航空写真 ) ESRDC@JAERI 25

26 シミュレータ棟 ( 平成 12 年 12 月竣工 ) ESRDC@JAERI 26

27 シミュレータ棟の特徴的構造建物と独立した避雷塔 : 高さ 24m 鉄骨構造 2 階建, 免震構造 65m 50m, 最高部約 17m リターンダクトアルミめっき鋼板による電磁シールド床, 壁, 天井 : 導電性材料基礎部分にアラミド繊維補強筋免震積層ゴム (11 個 ) による絶縁 ESRDC@JAERI 27

28 空調機 14 万m3 /h 24 台 ( うち 2 台予備機 ) ESRDC@JAERI 28

29 シミュレータ棟見学室 29

30 シミュレータ棟計算機設置スペース照明 : ライトガイド方式ライトチューブ : 直径 255mm,44m,19 本光源 : 1kW のハロゲンランプ, 平均照度 : 300 ルクス ESRDC@JAERI 30

31 計算ノード結合ネットワーク間ケーブル敷設作業 ( 平成 13 年 2 月 ~ 平成 13 年 5 月 ) ESRDC@JAERI 31

32 計算ノード結合ネットワーク間ケーブル敷設完了 ( 平成 13 年 5 月 ) ESRDC@JAERI 32

33 地球シミュレータ設置開始 ( 平成 13 年 9 月 ) ESRDC@JAERI 33

34 地球シミュレータ ( 平成 14 年 1 月 ) ESRDC@JAERI 34

35 地球シミュレータ設置完了 ( 平成 14 年 1 月 ) ESRDC@JAERI 35

36 ノード間データ転送性能 (MPI-2) 11.63GB/ 3.16GB/ 36

37 まとめ開発はほぼスケジュールどおり. 目標性能は達成できる見込み. 地球シミュレータセンター ( 佐藤哲也センター長 ) は海洋科学技術センターの組織として一元化運用上の問題はたぶん山積み. 応用プログラムの準備もまだまだ. ESRDC@JAERI 37

スライド 1

スライド 1 計算科学が拓く世界スーパーコンピュータは何故スーパーか学術情報メディアセンター中島浩 http://www.para.media.kyoto-u.ac.jp/jp/ username=super password=computer 講義の概要目的計算科学に不可欠の道具スーパーコンピュータがどういうものかなぜスーパーなのかどう使うとスーパーなのかについて雰囲気をつかむ内容スーパーコンピュータの歴史を概観しつつ

地球シミュレータ開発の現状 平成 14 年 2 月 22 日 横川三津夫 地球シミュレータ研究開発センター 1

地球シミュレータ開発の現状平成 14 年 2 月 22 日横川三津夫地球シミュレータ研究開発センター 1