Microsoft PowerPoint - RBU-introduction-J.pptx

Size: px

Start display at page:

Download "Microsoft PowerPoint - RBU-introduction-J.pptx"

めぐのみねむら
5 years ago
Views:

1 Reedbush-U の概要ログイン方法東京大学情報基盤センタースーパーコンピューティング研究部門

2 東大センターのスパコン 2 基の大型システム,6 年サイクル (?) FY Hitachi SR11K/J2 IBM Power TFLOPS, 16.4TB Hitachi HA8000 (T2K) AMD Opteron 140TFLOPS, 31.3TB Yayoi: Hitachi SR16000/M1 IBM Power TFLOPS, 11.2 TB Oakleaf FX: Fujitsu PRIMEHPC FX10, SPARC64 IXfx 1.13 PFLOPS, 150 TB Oakbridge FX TFLOPS, 18.4 TB メニーコア型大規模スーパーコンピュータ JCAHPC: 筑波大東大 Oakforest PACS Fujitsu, Intel KNL 25PFLOPS, 919.3TB BDEC System 50+ PFLOPS (?) Big Data & Extreme Computing 2 データ解析シミュレーション融合スーパーコンピュータ Reedbush, SGI Broadwell + Pascal 1.93 PFLOPS Peta K 長時間ジョブ実行用演算加速装置付き並列スーパーコンピュータ GPU Cluster PFLOPS Post K?

3 We are now operating 5 systems!! Yayoi (Hitachi SR16000, IBM Power7) 54.9 TF, Nov.

2012 Mar.2018 Oakbridge FX (Fujitsu PRIMEHPC FX10) 136.

2018 Reedbush (SGI, Intel BDW + NVIDIA P100 (Pascal)) Integrated Supercomputer System for

2017), DDN IME (Burst Buffer) Additional GPU Cluter (Oct.2017): 4x64+ GPU s, 1.

3 3 We are now operating 5 systems!! Yayoi (Hitachi SR16000, IBM Power7) 54.9 TF, Nov Oct Oakleaf FX (Fujitsu PRIMEHPC FX10) PF, Commercial Version of K, Apr.2012 Mar.2018 Oakbridge FX (Fujitsu PRIMEHPC FX10) TF, for long time use (up to 168 hr), Apr.2014 Mar.2018 Reedbush (SGI, Intel BDW + NVIDIA P100 (Pascal)) Integrated Supercomputer System for Data Analyses & Scientific Simulations 1.93 PF, Jul.2016 Jun.2020 Our first GPU System (Mar.2017), DDN IME (Burst Buffer) Additional GPU Cluter (Oct.2017): 4x64+ GPU s, 1.40+PF Oakforest PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL)) JCAHPC (U.Tsukuba & U.Tokyo) 25 PF, #6 in 48 th TOP 500 (Nov.2016) (#1 in Japan) Omni Path Architecture, DDN IME (Burst Buffer)

4 利用率 80+% Average Oakleaf-FX + Oakbridge-FX 4

5 利用ノード時間積による利用分野 5 FX10(Oakleaf/Oakbridge-FX): FY.2015 グループ + 教育 + 企業 +HPCI 学内 :47%, 学外 :53% Engineering Earth/Space Material Energy/Physics Information Sci. Education Industry Bio Economics

6 ポスト T2K:Oakforest-PACS http://www.cc.u-tokyo.ac.

6 6 ポスト T2K:Oakforest-PACS 年 12 月 1 日稼働開始 8,208 Intel Xeon/Phi (KNL), ピーク性能 25PFLOPS 富士通が構築 TOP 500 #6 (#1 in Japan), HPCG #3 (#2), Green 500 #6 (#2) (November 2016) 最先端共同 HPC 基盤施設 (JCAHPC: Joint Center for Advanced High Performance Computing) 筑波大学計算科学研究センター東京大学情報基盤センター

7 7 We are now operating 5 systems!! Yayoi (Hitachi SR16000, IBM Power7) 54.9 TF, Nov Oct Oakleaf FX (Fujitsu PRIMEHPC FX10) PF, Commercial Version of K, Apr.2012 Mar.2018 Oakbridge FX (Fujitsu PRIMEHPC FX10) TF, for long time use (up to 168 hr), Apr.2014 Mar.2018 Reedbush (SGI, Intel BDW + NVIDIA P100 (Pascal)) Integrated Supercomputer System for Data Analyses & Scientific Simulations 1.93 PF, Jul.2016 Jun.2020 Our first GPU System (Mar.2017), DDN IME (Burst Buffer) Additional GPU Cluter (Oct.2017): 4x64+ GPU s, 1.40+PF Oakforest PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL)) JCAHPC (U.Tsukuba & U.Tokyo) 25 PF, #6 in 48 th TOP 500 (Nov.2016) (#1 in Japan) Omni Path Architecture, DDN IME (Burst Buffer)

8 東大センターのスパコン 2 基の大型システム,6 年サイクル (?) FY Hitachi SR11K/J2 IBM Power TFLOPS, 16.4TB Hitachi HA8000 (T2K) AMD Opteron 140TFLOPS, 31.3TB Yayoi: Hitachi SR16000/M1 IBM Power TFLOPS, 11.2 TB Oakleaf FX: Fujitsu PRIMEHPC FX10, SPARC64 IXfx 1.13 PFLOPS, 150 TB Oakbridge FX TFLOPS, 18.4 TB メニーコア型大規模スーパーコンピュータ JCAHPC: 筑波大東大 Oakforest PACS Fujitsu, Intel KNL 25PFLOPS, 919.3TB BDEC System 50+ PFLOPS (?) Big Data & Extreme Computing 8 データ解析シミュレーション融合スーパーコンピュータ Reedbush, SGI Broadwell + Pascal 1.93 PFLOPS Peta K 長時間ジョブ実行用演算加速装置付き並列スーパーコンピュータ GPU Cluster PFLOPS Post K?

9 9 何故, 東大情報基盤センターは GPU を導入してこなかったか? CUDAによるプログラミング : 複雑 2,000 人を超えるユーザー非常に優れたユーザーとは言え,CUDA を勉強してもらうのはなかなか大変そのような背景もあり, ポスト T2K(Oakforest-PACS) については 2010 年夏の段階で既に Intel Xeon Phi の最新機種を使用することを決めていた

OpenACC 専門家の情報基盤センターへの加入 (2016 年 1 月 ) データ科学, 深層学習 (Deep Learning)

10 10 今回 GPU を入れる気になった理由 OpenACC OpenMP と類似したインタフェース : 使いやすいが性能悪かった昨今の性能向上,CUDA とそれほど大きな差がなくなった NVIDIA 研究者との共同研究,Atomic 演算 HW サポート等 OpenACC 専門家の情報基盤センターへの加入 (2016 年 1 月 ) データ科学, 深層学習 (Deep Learning) 従来の計算科学, 計算工学分野とは異なった分野の新規ユーザー開拓が急務 : 電気代 = 負担金東京大学ゲノム医科学研究機構東京大学病院医療画像処理への深層学習適用

11 11 Reedbush (1/2) データ解析シミュレーション融合スーパーコンピュータシステムシステム構成運用 :SGI Reedbush-U (CPU only) Intel Xeon E5-2695v4 (Broadwell-EP, 2.1GHz 18core,) x 2 ソケット (1.210 TF), 256 GiB (153.6GB/sec) InfiniBand EDR, Full bisection BW Fat-tree システム全系 : 420 ノード, TF Reedbush-H (with GPU) CPU メモリ :Reedbush-U と同様 NVIDIA Tesla P100 (Pascal 世代 GPU) ( TF, 720GB/sec, 16GiB) x 2 / ノード InfiniBand FDR x 2ch, Full bisection BW Fat-tree 120 ノード, TF(CPU)+ 1.15~1.27 PF(GPU)= 1.30~1.42 PF

12 Reedbush って何? L'homme est un roseau pensant. Man is a thinking reed. 人間は考える葦である Blaise Pascal ( ) Pensées (Blaise Pascal)

13 Reedbush (2/2) データ解析シミュレーション融合スーパーコンピュータシステム 13 ストレージ / ファイルシステム並列ファイルシステム (Lustre) 5.04 PB, GB/sec 高速ファイルキャッシュシステム : Burst Buffer (DDN IME (Infinite Memory Engine)) SSD: TB, 450 GB/sec 電力, 冷却, 設置面積空冷, 378 kva( 冷却除く ) < 90 m 2 データ解析 Deep Learning 向けソフトウェアツールキット OpenCV, Theano, Anaconda, ROOT, TensorFlow, Torch, Caffe, Chainer, GEANT4

14 計算ノード : PFlops Reedbush-U (CPU only) TFlops CPU: Intel Xeon E v4 x 2 socket (Broadwell-EP 2.1 GHz 18 core, 45 MB L3-cache) Mem: 256GB (DDR4-2400, GB/sec) SGI Rackable C2112-4GP3 InfiniBand EDR 4x 100 Gbps /node 420 Reedbush-H (w/accelerators) TFlops CPU: Intel Xeon E v4 x 2 socket Mem: 256 GB (DDR4-2400, GB/sec) GPU: NVIDIA Tesla P100 x 2 (Pascal, SXM2, TF, Mem: 16 GB, 720 GB/sec, PCIe Gen3 x16, NVLink (for GPU) 20 GB/sec x 2 brick ) SGI Rackable C1102-PL1 Dual-port InfiniBand FDR 4x 56 Gbps x2 /node 120 InfiniBand EDR 4x, Full-bisection Fat-tree GB/s 並列ファイルシステム 5.04 PB Lustre Filesystem DDN SFA14KE x GB/s 高速ファイルキャッシュシステム 209 TB DDN IME14K x6 管理サーバー群 Mellanox CS port + SB7800/ port x 14 Login node UTnet ユーザログインノード x6

15 Reedbush H ノードのブロック図メモリ 128GB DDR4 DDR4 DDR4 DDR4 76.8GB/s Intel Xeon E v4 (Broadwell EP) G3 x GB/s QPI QPI 76.8GB/s 15.7 GB/s 15.7 GB/s Intel Xeon E v4 (Broadwell EP) G3 x16 DDR4 DDR4 DDR4 DDR4 76.8GB/s メモリ 128GB PCIe sw PCIe sw IB FDR HCA G3 x16 NVIDIA Pascal 20 GB/s NVLinK NVLinK 20 GB/s G3 x16 NVIDIA Pascal IB FDR HCA EDR switch EDR

16 ログイン方法 16 鍵による認証について公開鍵認証を用いますセンター発行のパスワード (8 桁 ) はログインには使いません 16

17 ログイン方法 17 パスワード (8 桁 ) は何に使うのか?? 鍵を登録するために使います鍵を作った人が本当にセンターの利用者であることを確認するために必要ですマニュアル閲覧のために使います著作権上の問題でマニュアルは利用者のみへの公開となります鍵を用いて SSH の Port Forwarding をすることもできます 17

18 ログイン方法 18 手順鍵の生成鍵の登録ログイン 18

19 鍵の生成 (UNIX, Mac, Cygwin) UNIX(Mac を含む ) 系システムと Cygwin では OpenSSH を使います鍵の生成コマンド $ ssh-keygen t rsa 最初に鍵の保存場所を聞かれます何も入力せずにリターンしてください次にパスフレーズを聞かれます必ず入力してくださいもう一度パスフレーズを入力したら完了です 19

20 鍵の生成 (UNIX, Mac, Cygwin) >$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/guestx/.ssh/id_rsa): Enter passphrase (empty for no passphrase):( 自分の好きなパスワード ) Enter same passphrase again: Your identification has been saved in /home/guestx/.ssh/id_rsa. Your public key has been saved in /home/guestx/.ssh/id_rsa.pub. The key fingerprint is: >$ cd ~/.ssh >$ ls -l total 12 -rw rw-r--r-- 1 guestx guestx 1743 Aug 23 15:14 id_rsa 1 guestx guestx 413 Aug 23 15:14 id_rsa.pub >$ cat id_rsa.pub 文字列出力 20

21 Reedbush-U への公開鍵の登録 User ID Password (8 文字 ) 公開鍵アップロードを選択公開鍵を Cut & Paste Password 21

22 22

23 Login 23 Login $ ssh reedbush-u.cc.u-tokyo.ac.jp l t210xx (or) $ ssh t210xx@reedbush-u.cc.u-tokyo.ac.jp Directory $ /home/gt21/t210xx login -> small $ cd /lustre/gt21/t210xx please use this directory Copying Files $ scp <file> t210**@reedbush.cc.u-tokyo.ac.jp:~/. $ scp r <dir> t210**@reedbush.cc.u-tokyo.ac.jp:~/. Public/Private Keys are used Passphrase, not Password 23

24 Please check schedule of maintenance Last Friday of each month other non-regular shutdown

25 If you have any questions, please contact KN (Kengo Nakajima) Do not contact ITC support directly. 25

東大センターのスパコン 2 基の大型システム,6 年サイクル (?) FY Yayoi: Hitachi SR16000/M1 IBM Power TFLOPS, 1152 TB T2K To

Reedbush-U の概要ログイン方法東京大学情報基盤センタースーパーコンピューティング研究部門 http://www.cc.u-tokyo.ac.jp/ 東大センターのスパコン 2 基の大型システム,6 年サイクル (?) FY 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 2 Yayoi: Hitachi SR16000/M1 IBM Power-7