東大センターのスパコン 2 基の大型システム,6 年サイクル (?) FY Yayoi: Hitachi SR16000/M1 IBM Power TFLOPS, 1152 TB T2K To

Transcription

1 Reedbush-U の概要 ログイン方法 東京大学情報基盤センタースーパーコンピューティング研究部門

2 東大センターのスパコン 2 基の大型システム,6 年サイクル (?) FY Yayoi: Hitachi SR16000/M1 IBM Power TFLOPS, 1152 TB T2K Tokyo 140TF, 3153TB Oakleaf-FX: Fujitsu PRIMEHPC FX10, SPARC64 IXfx 1513 PFLOPS, 150 TB メニーコア型大規模スーパーコンピュータ JCAHPC: 筑波大 東大 Oakforest-PACS Fujitsu, Intel KNL 25PFLOPS, 919M3TB BDEC System 50+ PFLOPS (?) Post OFP 100+ PF? データ解析 シミュレーション融合スーパーコンピュータ Oakbridge-FX TFLOPS, 1854 TB 長時間ジョブ実行用演算加速装置付き並列スーパーコンピュータ Reedbush, HPE Broadwell + Pascal 1593 PFLOPS Reedbush-L HPE 1543 PFLOPS Oakbridge-II Intel/AMD/P9 CPU only 5-10 PFLOPS Big Data & Extreme Computing

3 3 Now operating 4 (or 6)systems!! Oakleaf-FX (Fujitsu PRIMEHPC FX10) PF, Commercial Version of K, Apr.2012 Mar.2018 Oakbridge-FX (Fujitsu PRIMEHPC FX10) TF, for long-time use (up to 168 hr), Apr.2014 Mar.2018 Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal)) Integrated Supercomputer System for Data Analyses & Scientific Simulations Jul.2016-Jun.2020 Our first GPU System, DDN IME (Burst Buffer) Reedbush-U: CPU only, 420 nodes, 508 TF (Jul.2016) Reedbush-H: 120 nodes, 2 GPUs/node: 1.42 PF (Mar.2017) Reedbush-L: 64 nodes, 4 GPUs/node: 1.43 PF (Oct.2017) Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL)) JCAHPC (U.Tsukuba & U.Tokyo) 25 PF, #7 in 49 th TOP 500 (June.2017) (#1 in Japan) Omni-Path Architecture, DDN IME (Burst Buffer)

4 JPY (=Watt)/GFLOPS Rate 4 Smaller is better (efficient) System Oakleaf/Oakbridge-FX (Fujitsu) (Fujitsu PRIMEHPC FX10) Reedbush-U (SGI) (Intel BDW) Reedbush-H (SGI) (Intel BDW+NVIDIA P100) Oakforest-PACS (Fujitsu) (Intel Xeon Phi/Knights Landing) JPY/GFLOPS

5 Work Ratio 5

6 6 Research Area based on CPU Hours FX10 in FY.2015 (2015.4~2016.3E) Engineering Earth/Space Material Energy/Physics Information Sci5 Education Industry Bio Economics Oakleaf-FX + Oakbridge-FX

7 7 Research Area based on CPU Hours FX10 in FY.2016 (2016.4~2017.3E) Engineering Earth/Space Material Energy/Physics Information Sci5 Education Industry Bio Social Sci5 & Economics Oakleaf-FX + Oakbridge-FX

8 8 Research Area based on CPU Hours Reedbush-U in FY.2016 (2016.7~2017.3E) Engineering Earth/Space Material Energy/Physics Information Sci5 Education Industry Bio Social Sci5 & Economics

9 9 ポスト T2K:Oakforest-PACS 年 12 月 1 日稼働開始 8,208 Intel Xeon/Phi (KNL), ピーク性能 25PFLOPS 富士通が構築 TOP 500 #7 (#1 in Japan), HPCG #5 (#2) (June 2017) 最先端共同 HPC 基盤施設 (JCAHPC: Joint Center for Advanced High Performance Computing) 筑波大学計算科学研究センター 東京大学情報基盤センター

10 10 Now operating 4 (or 6)systems!! Oakleaf-FX (Fujitsu PRIMEHPC FX10) PF, Commercial Version of K, Apr.2012 Mar.2018 Oakbridge-FX (Fujitsu PRIMEHPC FX10) TF, for long-time use (up to 168 hr), Apr.2014 Mar.2018 Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal)) Integrated Supercomputer System for Data Analyses & Scientific Simulations Jul.2016-Jun.2020 Our first GPU System, DDN IME (Burst Buffer) Reedbush-U: CPU only, 420 nodes, 508 TF (Jul.2016) Reedbush-H: 120 nodes, 2 GPUs/node: 1.42 PF (Mar.2017) Reedbush-L: 64 nodes, 4 GPUs/node: 1.43 PF (Oct.2017) Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL)) JCAHPC (U.Tsukuba & U.Tokyo) 25 PF, #7 in 49 th TOP 500 (June.2017) (#1 in Japan) Omni-Path Architecture, DDN IME (Burst Buffer)

11 東大センターのスパコン 2 基の大型システム,6 年サイクル (?) FY Yayoi: Hitachi SR16000/M1 IBM Power TFLOPS, 1152 TB T2K Tokyo 140TF, 3153TB Oakleaf-FX: Fujitsu PRIMEHPC FX10, SPARC64 IXfx 1513 PFLOPS, 150 TB メニーコア型大規模スーパーコンピュータ JCAHPC: 筑波大 東大 Oakforest-PACS Fujitsu, Intel KNL 25PFLOPS, 919M3TB BDEC System 50+ PFLOPS (?) Post OFP 100+ PF? データ解析 シミュレーション融合スーパーコンピュータ Oakbridge-FX TFLOPS, 1854 TB 長時間ジョブ実行用演算加速装置付き並列スーパーコンピュータ Reedbush, HPE Broadwell + Pascal 1593 PFLOPS Reedbush-L HPE 1543 PFLOPS Oakbridge-II Intel/AMD/P9 CPU only 5-10 PFLOPS Big Data & Extreme Computing

12 12 これまで GPU 導入の事情 CUDA によるプログラミング : 複雑 2,000 人を超えるユーザー 今回 OpenACC OpenMP と類似したインタフェース : 使いやすいが性能悪かった 昨今の性能向上,CUDA とそれほど大きな差がなくなった NVIDIA 研究者との共同研究,Atomic 演算 HW サポート等 データ科学, 深層学習 (Deep Learning) 従来の計算科学, 計算工学分野とは異なった分野の新規ユーザー開拓が急務 : 電気代 = 負担金 東京大学ゲノム医科学研究機構 東京大学病院 医療画像処理への深層学習適用

13 13 Reedbush (1/2) データ解析 シミュレーション融合スーパーコンピュータシステム システム構成 運用 :SGI Reedbush-U (CPU only) Intel Xeon E5-2695v4 (Broadwell-EP, 2.1GHz 18core,) x 2 ソケット (1.210 TF), 256 GiB (153.6GB/sec) InfiniBand EDR, Full bisection BW Fat-tree システム全系 : 420 ノード, TF Reedbush-H (with GPU) CPU メモリ :Reedbush-U と同様 NVIDIA Tesla P100 (Pascal 世代 GPU) ( TF, 720GB/sec, 16GiB) x 2 / ノード InfiniBand FDR x 2ch, Full bisection BW Fat-tree 120 ノード, TF(CPU) PF(GPU)= 1.42 PF

14 Reedbush って何? L'homme est un roseau pensant. Man is a thinking reed. 人間は考える葦である Blaise Pascal ( ) Pensées (Blaise Pascal)

15 Reedbush (2/2) データ解析 シミュレーション融合スーパーコンピュータシステム 15 ストレージ / ファイルシステム 並列ファイルシステム (Lustre) 5.04 PB, GB/sec 高速ファイルキャッシュシステム : Burst Buffer (DDN IME (Infinite Memory Engine)) SSD: TB, 450 GB/sec 電力, 冷却, 設置面積 空冷, 378 kva( 冷却除く ) < 90 m 2 データ解析 Deep Learning 向けソフトウェア ツールキット OpenCV, Theano, Anaconda, ROOT, TensorFlow, Torch, Caffe, Chainer, GEANT4

16 計算ノード : PFlops Reedbush-U (CPU only) TFlops CPU: Intel Xeon E v4 x 2 socket (Broadwell-EP 2.1 GHz 18 core, 45 MB L3-cache) Mem: 256GB (DDR4-2400, GB/sec) SGI Rackable C2112-4GP3 InfiniBand EDR 4x 100 Gbps /node 420 Reedbush-H (w/accelerators) TFlops CPU: Intel Xeon E v4 x 2 socket Mem: 256 GB (DDR4-2400, GB/sec) GPU: NVIDIA Tesla P100 x 2 (Pascal, SXM2, TF, Mem: 16 GB, 720 GB/sec, PCIe Gen3 x16, NVLink (for GPU) 20 GB/sec x 2 brick ) SGI Rackable C1102-PL1 Dual-port InfiniBand FDR 4x 56 Gbps x2 /node 120 InfiniBand EDR 4x, Full-bisection Fat-tree GB/s 並列ファイルシステム 5.04 PB Lustre Filesystem DDN SFA14KE x GB/s 高速ファイルキャッシュシステム 209 TB DDN IME14K x6 管理サーバー群 Login node UTnet ユーザ ログインノード x6 Mellanox CS port + SB7800/ port x 14

17 Reedbush-H ノードのブロック図 メモリ 128GB DDR4 DDR4 DDR4 DDR4 76.8GB/s Intel Xeon E v4 (Broadwell- EP) G3 x GB/s QPI QPI 76.8GB/s 15.7 GB/s 15.7 GB/s Intel Xeon E v4 (Broadwell-EP) G3 x16 DDR4 DDR4 DDR4 DDR4 76.8GB/s メモリ 128GB PCIe sw PCIe sw IB FDR HCA G3 x16 NVIDIA Pascal 20 GB/s NVLinK NVLinK 20 GB/s G3 x16 NVIDIA Pascal IB FDR HCA EDR switch EDR

18 18 Reedbush-U へのログイン

19 ログイン方法 19 鍵による認証について 公開鍵認証を用います センター発行のパスワード (8 桁 ) はログインには使い ません 19

20 ログイン方法 20 パスワード (8 桁 ) は何に使うのか?? 鍵を登録するために使います 鍵を作った人が本当にセンターの利用者であることを確認するために必要です マニュアル閲覧のために使います 著作権上の問題でマニュアルは利用者のみへの公開となります 鍵を用いて SSH の Port Forwarding をすることもできます 20

21 ログイン方法 21 手順 鍵の生成 鍵の登録 ログイン 21

22 鍵の生成 (UNIX, Mac, Cygwin) UNIX(MNc を含む ) 系システムと Cygwin では OpenSSH を使います 鍵の生成コマンド $ ssh-keygen t rsn 最初に鍵の保存場所を聞かれます 何も入力せずにリターンしてください 次にパスフレーズを聞かれます 必ず入力してください もう一度パスフレーズを入力したら完了です 22

23 鍵の生成 (UNIX, Mac, Cygwin) >$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/guestx/.ssh/id_rsa): Enter passphrase (empty for no passphrase):( 自分の好きなパスワード ) Enter same passphrase again: Your identification has been saved in /home/guestx/.ssh/id_rsa. Your public key has been saved in /home/guestx/.ssh/id_rsa.pub. The key fingerprint is: >$ cd ~/.ssh >$ ls -l total 12 -rw rw-r--r-- 1 guestx guestx 1743 Aug 23 15:14 id_rsa 1 guestx guestx 413 Aug 23 15:14 id_rsa.pub >$ cat id_rsa.pub 文字列出力 23

24 24 Reedbush-U への公開鍵登録

25 ユーザ名の確認 本講習会でのユーザー名 利用者番号 : t00xxx~ 利用グループ : gt00 ここで 00xxx~ は数字 25

26 Reedbush-U への公開鍵の登録 以下へアクセスする httpst//reedbush- ユーザ名とパスワードを聞かれるので センター発行のユーザ名とパスワードを入力 注意 : 記載パスワードは そのままでは NG Password 26

27 ポータル画面 ( ログイン前 ) センターから配られた利用者番号とパスワードを入れる 27

28 言語の変更 ChNnge LNnguNge で日本語に変更できます JNpNnese (JA_JP.UTF-8) を選んで ChNnge を押す 終わったら ブラウザで再読み込み 1. ここをクリック 3. ここをクリック 2. ここを選択 28 講習会 : ライブラリ利用 [RB]

29 鍵の登録 1. 左側メニューの 公開鍵アップロード をクリックする 2. 公開鍵を追加 をクリックし 画面に 公開鍵をカットアンドペーストする 3. 作成 ボタンを押す 29 講習会 : ライブラリ利用 [RB]

30 ポータル画面 ( 言語変更後 ) ここをクリック 30 講習会 : ライブラリ利用 [RB]

31 ポータル画面 ( 公開鍵登録 ) 公開鍵をペースト 31 講習会 : ライブラリ利用 [RB] ペースト後クリック

32 ポータル画面 ( 公開鍵登録成功 ) ペーストした鍵が表示されていれば OK 32 講習会 : ライブラリ利用 [RB]

33 33 スパコンへのログイン ファイル転送 基本コマンド

34 Reedbush へログイン ターミナルから 以下を入力する $ ssh reedbush.cc.u-tokyo.nc.jp -l tyyxxx $ ssh tyyxxx@reedbush.cc.u-tokyo.nc.jp -l はハイフンと小文字の L tyyxxx は利用者番号 ( 数字 ) 接続するかと聞かれるので yes を入れる 鍵の設定時に入れた自分が決めたパスワード ( パスフレーズ ) を入れる 成功すると ログインができる 34

35 Reedbush における注意 ログインするとホームディレクトリ (/home/gt00/t001xx) にいます /home ファイルシステムは容量が小さく ログインに必要なファイルだけを置くための場所です /home に置いたファイルは計算ノードから参照できません ジョブの実行もできません 計算に必要なファイルは /lustre ファイルシステムに移動 (mv) させてください ホームディレクトリ : /home/gt00/t00xxx cd コマンドで移動できます Lustre ディレクトリ : /lustre/gt00/t00xxx cdw コマンドで移動できます 35

36 PC のファイルを Reedbush に置く ターミナルから 以下を入力する $ scp./n.f90 tyyxxx@reedbush-u.cc.u-tokyo.nc.jp: tyyxxx は利用者番号 ( 数字 ) tyyxxx は 利用者番号を入れる PC のカレントディレクトリにある N.f90 を Reedbush 上のホームディレクトリに置く ディレクトリごと置くには -r を指定 $ scp -r./samp tyyxxx@reedbush-u.cc.u-tokyo.nc.jp: PC のカレントディレクトリにある SAMP フォルダを その中身ごと Reedbush 上のホームディレクトリに置く 36

37 Reedbush のデータを PC に取り込む ターミナルから 以下を入力する $ scp tyyxxx@reedbush-u.cc.u-tokyo.nc.jp:~/n.f90./ tyyxxx は利用者番号 ( 数字 ) tyyxxx は 利用者番号を入れる Reedbush 上のホームディレクトリにある N.f90 を PC のカレントディレクトリに取ってくる ディレクトリごと取ってくるには -r を指定 $ scp -r tyyxxx@reedbush-u.cc.u-tokyo.nc.jp:~/samp./ Reedbush 上のホームディレクトリにある SAMP フォルダを その中身ごと PC のカレントディレクトリに取ってくる 37

38 UNIX 備忘録 emncs の起動 : emncs 編集ファイル名 ^x ^s (^ は control) : テキストの保存 ^x ^c : 終了 ( ^z で終了すると スパコンの負荷が上がる 絶対にしないこと ) ^g : 訳がわからなくなったとき ^k : カーソルより行末まで消す 消した行は 一時的に記憶される ^y : ^k で消した行を 現在のカーソルの場所にコピーする ^s 文字列 : 文字列の箇所まで移動する ^M x goto-line : 指定した行まで移動する 38

39 UNIX 備忘録 rm ファイル名 : ファイル名のファイルを消す rm *~ : test.c~ などの ~ がついたバックアップファイルを消す 使う時は慎重に *~ の間に空白が入ってしまうと 全てが消えます ls : 現在いるフォルダの中身を見る cd フォルダ名 : フォルダに移動する cd.. : 一つ上のフォルダに移動 cd ~ : ホームディレクトリに行く 訳がわからなくなったとき cnt ファイル名 : ファイル名の中身を見る mnke : 実行ファイルを作る (MNkefile があるところでしか実行できない ) mnke clenn : 実行ファイルを消す (clenn が MNkefile で定義されていないと実行できない ) 39

40 UNIX 備忘録 less ファイル名 : ファイル名の中身を見る (cnt では画面がいっぱいになってしまうとき ) スペースキー : 1 画面スクロール / : 文字列の箇所まで移動する q : 終了 ( 訳がわからなくなったとき ) cp ファイル名フォルダ名 : ファイルをコピーする mv ファイル名フォルダ名 : ファイルを移動させる 40