Oakforest-PACS 利用の手引き 2 ノートパソコンの設定 : 公開鍵の生成登録

Size: px

Start display at page:

Download "Oakforest-PACS 利用の手引き 2 ノートパソコンの設定 : 公開鍵の生成登録"

あきみたけはな
5 years ago
Views:

1 Oakforest-PACS 利用の手引き 1 お試しアカウント付き並列プログラミング講習会 Oakforest-PACS 利用の手引き東京大学情報基盤センター

2 Oakforest-PACS 利用の手引き 2 ノートパソコンの設定 : 公開鍵の生成登録

3 Oakforest-PACS 利用の手引き 3 鍵の作成 1. ターミナルを起動する 2. 以下を入力する $ ssh-keygen t rsa 3. 鍵ファイルの保存先を聞かれるのでリターンを押す 4. 鍵を使うためのパスワードを聞かれるのでセンターのパスワードではない自分の好きなパスワードを入れる ( パスフレーズとよぶ ) 5. もう一度上記のパスフレーズを入れる 6. 鍵が生成される

4 Oakforest-PACS 利用の手引き 4 鍵の利用 (1/2) 1. 生成した鍵は以下に入っている.ssh/ 2. 以下を入力する $ cd.ssh/ 3. 以下を入力するとファイルが見える $ ls id_rsa id_rsa.pub known_hosts 4. ここで以下のファイルを区別する id_rsa : 秘密鍵 id_rsa.pub : 公開鍵この公開鍵の収納ディレクトリを覚えておく ( 後で使います )

5 Oakforest-PACS 利用の手引き 5 Oakforest-PACS (OFP) への公開鍵の登録 Web ブラウザで登録用ページにアクセスするユーザ名とパスワードを聞かれるのでセンターから発行されたユーザ名とパスワードを入れる注意 : 記載されたパスワードそのままではNG!

6 Oakforest-PACS 利用の手引き 6 センター発行のパスワードの意味表示されている文字列の奇数番号 ( ) の文字列をつなぎ合わせたものが本当のパスワード例 :P9aesWsbw6oZrrd5 -> Password

7 Oakforest-PACS 利用の手引き 7 ポータル画面 ( ログイン前 ) センターから配られた利用者番号とパスワードを入力する

8 Oakforest-PACS 利用の手引き 8 パスワード変更最初のログイン時にパスワード変更を求められるので新しいパスワードを入力してください

9 Oakforest-PACS 利用の手引き 9 鍵の登録 1. 左側メニューの SSH 公開鍵登録をクリックする 2. 登録方式でファイルアップロードをクリックしファイルを選択ボタンを押して公開鍵を選ぶ 3. 登録ボタンを押す

10 Oakforest-PACS 利用の手引き 10 ポータル画面ここをクリック

11 Oakforest-PACS 利用の手引き 11 ポータル画面 ( 公開鍵登録 ) ~/.ssh/id_rsa.pub RSA であることを確認指定後クリック

12 Oakforest-PACS 利用の手引き 12 ポータル画面 ( 公開鍵登録 : 別のやり方 ) 公開鍵をペースト cat ~/.ssh/id_rsa.pub ペースト後クリック

13 Oakforest-PACS 利用の手引き 13 スパコンへのログイン

14 Oakforest-PACS 利用の手引き 14 Oakforest-PACS へログインターミナルから以下を入力する $ ssh ofp.jcahpc.jp -l txxxxx -l はハイフンと小文字のL txxxxx は利用者番号接続するかと尋ねられるので yes を入力する鍵の設定時に入れた自分が決めたパスワード ( パスフレーズ ) を入力する成功するとログインができる

15 Oakforest-PACS 利用の手引き 15 Oakforest-PACS のデータを PC に取り込むターミナルで scp コマンドを使う $ scp txxxxx@ofp.jcahpc.jp:~/a.f90./ txxxxx は利用者番号 OFP 上のホームディレクトリにある a.f90 を PC のカレントディレクトリに取ってくるディレクトリごと取ってくる場合は -r を指定する $ scp -r txxxxx@ofp.jcahpc.jp:~/samp./ OFP 上のホームディレクトリにある SAMP フォルダをその中身ごと PC のカレントディレクトリに取ってくる

16 Oakforest-PACS 利用の手引き 16 PC のファイルを Oakforest-PACS に置く同様にターミナルで scp コマンドを使う $ scp./a.f90 txxxxx@ofp.jcahpc.jp: txxxxx は利用者番号 PC のカレントディレクトリにある a.f90 を OFP 上のホームディレクトリに置くディレクトリごと置くには -r を指定する $ scp -r./samp txxxxx@ofp.jcahpc.jp: PC のカレントディレクトリにある SAMP フォルダをその中身ごと OFP 上のホームディレクトリに置く

17 Oakforest-PACS 利用の手引き 17 Emacs の Tramp 機能によるファイル操作 ( 必要な人のみ ) emacs が自分のパソコンに入っている人は Tramp 機能による遠隔ファイルの操作も可能 OFP の秘密鍵を SSH に登録する emacs を起動ファイル検索モードにする ^x ^f (^ は control) Find file: の現在のパス名部分を消し以下を入力する (txxxxx は自分のログイン ID にする ) Find file:/ssh:txxxxx@ofp.jcahpc.jp: パスフレーズを入れるとローカルファイルのように OFP 上のファイルが編集できる

18 Oakforest-PACS 利用の手引き 18 GUI によるファイル操作 ( 主に Windows ユーザ向け ) FileZillaやWinSCPを使えば手元のパソコンとOFP 間のファイル転送をGUI 操作で行うことができる FileZilla Download Filezilla Client からダウンロードサイトマネージャにてプロトコルをSFTPに設定ログオンの種類を鍵ファイルにする (Putty 形式の公開鍵ファイルが必要 puttygenによって変換すると良い ) WinSCP プロトコルをSFTPまたはSCPに設定するホスト設定画面の設定からSSH- 認証を選び秘密鍵を指定する (OpenSSH 形式 Putty 形式の両方に対応 )

19 Oakforest-PACS 利用の手引き 19 Oakforest-PACS における注意 /home ファイルシステムは容量が小さくログインに必要なファイルだけを置くための場所です /home に置いたファイルは計算ノードから参照できませんジョブの実行もできません転送が終わったら /work ファイルシステムに移動 (mv) してくださいまたは直接 /work ファイルシステムを指定して転送してくださいホームディレクトリ : /home/txxxxx cd コマンドで移動できます Work ディレクトリ : /work/gt00/txxxxx

20 Oakforest-PACS 利用の手引き 20 UNIX 備忘録 (1/3) emacs の起動 : emacs 編集ファイル名 ^x ^s(^ は control): テキストの保存 ^x ^c : 終了 ( ^z で終了しないことするとスパコンの負荷が上がるため絶対にしないこと ) ^g : 作業の取消 ( 訳がわからなくなったときにも ) ^k : カーソルより行末まで消す消した行は一時的に記憶される ^y :^k で消した行を現在のカーソルの場所にコピーする ^s 文字列 : 文字列の箇所まで移動する ( 検索機能 ) ^M x goto-line: 指定した行まで移動する

21 Oakforest-PACS 利用の手引き 21 UNIX 備忘録 (2/3) rm ファイル名 : ファイル名のファイルを消す rm *~ : test.c~ などの ~ がついたバックアップファイルを消す使う時は慎重に *~ の間に空白が入ってしまうと全て消えます ls : 現在いるフォルダの中身を見る cd フォルダ名 : フォルダに移動する cd.. : 一つ上のフォルダに移動する cd ~ : ホームディレクトリに移動する cat ファイル名 : ファイルの中身を表示する make : 実行ファイルを作る (Makefileに適切な記述が必要) make clean : 実行ファイルを消す (clean がMakefileで定義されている必要がある )

22 Oakforest-PACS 利用の手引き 22 UNIX 備忘録 (3/3) less ファイル名 : ファイル名の中身を見る ( スクロール操作が可能なため 1 画面では収まらない場合に便利 ) スペースキー : 1 画面スクロール / q : 文字列の箇所まで移動 : 終了

23 Oakforest-PACS 利用の手引き 23 スパコン上でのプログラムの実行ジョブの実行形態と実行方法について

24 Oakforest-PACS 利用の手引き 24 Oakforest-PACS スーパーコンピュータシステムでのジョブ実行形態以下の 2 通りがありますインタラクティブジョブ実行 PC での実行のようにコマンドを入力して実行する方法スパコン環境ではあまり一般的でないデバック用大規模実行はできない講習会アカウントではバッチジョブ実行のみ最大 16 ノード 15 分まで OFP では以下に限定 1 ノード (68 コア ):2 時間まで 16 ノード (1,088 コア ):10 分までバッチジョブ実行バッチジョブシステムに処理を依頼して実行する方法実行させたい処理をファイル ( ジョブスクリプト ) で指示するスパコン環境で一般的大規模実行用 OFP では最大 2048 ノード (139,264 コア )(24 時間 )

25 Oakforest-PACS 利用の手引き 25 Oakforest-PACSスーパーコンピュータシステムでのジョブ実行形態 (2) 2 つの異なるメモリモードを用意 Flat モード MCDRAM と DDR4 メモリを個別にアクセス可能 Cache モード MCDRAM は DDR4 メモリのキャッシュとして働く各ジョブキューには -flat, -cache をそれぞれ用意講習会アカウントでは Flat モードだけが使えます

26 Oakforest-PACS 利用の手引き 26 インタラクティブ実行のやり方コマンドラインで以下を入力 1 ノード実行用 $ pjsub --interact g gt00 L rg=interactive- {flat,cache},elapse=01:00 16 ノード実行用コマンドは改行せず 1 行で入力すること $ pjsub --interact g gt00 L rg=interactive- {flat,cache},node=16,elapse=01:00 インタラクティブ用のノードがすべて使われている場合資源が空くまでログインできません講習会アカウントでは使えません

27 Oakforest-PACS 利用の手引き 27 コンパイラの種類とインタラクティブ実行およびバッチ実行 OFPではコンパイラはバッチ実行インタラクティブ実行で共通に使えます例 ) Intelコンパイラ Cコンパイラ : icc, mpiicc (Intel MPIを使う場合 ) Fortran90コンパイラ : ifort, mpiifort (Intel MPIを使う場合 ) KNL 向け最適化 : -xmic-avx512 ログインノードやプレポスト用ノードで実行する可能性もある場合 : -axmic-avx512

28 Oakforest-PACS 利用の手引き 28 バッチ処理とはスパコン環境では通常はインタラクティブ実行 ( コマンドラインで実行すること ) はできませんジョブはバッチ処理で実行しますバッチキュージョブの依頼バッチ処理システムがジョブを取り出す実行ユーザスパコン

29 Oakforest-PACS 利用の手引き 29 バッチキューの設定のしかた OFP でのバッチ処理は富士通のバッチシステムで管理されています以下主要コマンドを説明しますジョブの投入 :pjsub < ジョブスクリプトファイル名 > 自分が投入したジョブの状況確認 :pjstat 投入ジョブの削除 :pjdel < ジョブ ID> バッチキューの状態を見る :pjstat --rsc バッチキューの詳細構成を見る :pjstat --rsc -x 投げられているジョブ数を見る :pjstat -b 過去の投入履歴を見る :pjstat -H 同時に投入できる数 / 実行できる数を見る :pjstat --limit

30 Oakforest-PACS 利用の手引き 30 ジョブスクリプトの例実行させたい処理によって各項目の内容は異なります #!/bin/bash #PJM -L rscgrp=lecture-flat #PJM -L node=2 #PJM --mpi proc=4 #PJM --omp thread=16 #PJM -L elapse=0:01:00 #PJM -g gt00 リソースグループ名 :lecture-flat 利用ノード数 MPIプロセス数プロセスあたりのスレッド数実行時間制限 :1 分 mpiexec.hydra n ${PJM_MPI_PROC}./a.out プログラムを実行利用グループ名 :gt00

31 Oakforest-PACS 利用の手引き 31 本お試し講習会でのキューグループ名本演習中のキュー名 : tutorial-flat 最大 15 分まで最大ノード数は16ノード (1088コア) まで本演習時間以外 (24 時間 ) のキュー名 : lecture-flat 利用条件は演習中のキュー名と同様グループ名 :gt00

32 Oakforest-PACS 利用の手引き 32 pjstat --rsc の実行画面例使えるキュー名 ( リソースグループ ) $ pjstat --rsc RSCGRP STATUS NODE regular-cache ---- small-cache [ENABLE,START] 3846 `---- medium-cache [ENABLE,START] 3846 regular-flat ---- small-flat [ENABLE,START] 3846 `---- medium-flat [ENABLE,START] 3846 interactive-cache ---- interactive_n1-cache [ENABLE,START] 100 `---- interactive_n16-cache [ENABLE,START] 100 interactive-flat ---- interactive_n1-flat [ENABLE,START] 100 `---- interactive_n16-flat [ENABLE,START] 100 debug-cache [ENABLE,START] 234 debug-flat [ENABLE,START] 234 prepost [ENABLE,START] 12 現在使えるかノードの利用可能数

33 Oakforest-PACS 利用の手引き 33 pjstat --rsc -x の実行画面例 $ pjstat --rsc -x RSCGRP STATUS MIN_NODE MAX_NODE MAX_ELAPSE REMAIN_ELAPSE MEM(GB) PROJECT regular-cache ---- small-cache [ENABLE,START] :00:00 48:00:00 82 pz0105 `---- medium-cache [ENABLE,START] :00:00 48:00:00 82 pz0105 regular-flat ---- small-flat [ENABLE,START] :00:00 48:00:00 96 pz0105 `---- medium-flat [ENABLE,START] :00:00 48:00:00 96 pz0105 interactive-cache ---- interactive_n1-cache [ENABLE,START] :00:00 02:00:00 82 pz0105 `---- interactive_n16-cache [ENABLE,START] :10:00 00:10:00 82 pz0105 interactive-flat ---- interactive_n1-flat [ENABLE,START] :00:00 02:00:00 96 pz0105 `---- interactive_n16-flat [ENABLE,START] :10:00 00:10:00 96 pz0105 debug-cache [ENABLE,START] :30:00 00:30:00 82 pz0105 debug-flat [ENABLE,START] :30:00 00:30:00 96 pz0105 prepost [ENABLE,START] :00:00 06:00: pz0105 使えるキュー名 ( リソースグループ ) 現在使えるかノードの実行情報課金情報 ( 財布 ) 実習では 1 つのみ

34 Oakforest-PACS 利用の手引き 34 pjstat --rsc -b の実行画面例 $ pjstat --rsc b RSCGRP STATUS TOTAL RUNNING QUEUED HOLD OTHER NODE regular-cache ---- small-cache [ENABLE,START] `---- medium-cache [ENABLE,START] regular-flat ---- small-flat [ENABLE,START] `---- medium-flat [ENABLE,START] interactive-cache ---- interactive_n1-cache [ENABLE,START] `---- interactive_n16-cache [ENABLE,START] interactive-flat ---- interactive_n1-flat [ENABLE,START] `---- interactive_n16-flat [ENABLE,START] debug-cache [ENABLE,START] debug-flat [ENABLE,START] prepost [ENABLE,START] 使えるキュー名 ( リソースグループ ) 現在使えるかジョブの総数実行しているジョブの数待たされているジョブの数ノードの利用可能数

Reedbush 利用の手引き 2 ノートパソコンの設定 : 公開鍵の生成登録ネットワーク環境に接続してから行ってください

Reedbush 利用の手引き 1 お試しアカウント付き並列プログラミング講習会 Reedbush 利用の手引き東京大学情報基盤センター Reedbush 利用の手引き 2 ノートパソコンの設定 : 公開鍵の生成登録ネットワーク環境に接続してから行ってください Reedbush 利用の手引き 3 鍵の作成 1. ターミナルを起動する 2. 以下を入力する $ ssh- keygen t rsa

Oakforest-PACS 利用の手引き 2 ノートパソコンの設定 : 公開鍵の生成 登録

Oakforest-PACS 利用の手引き 2 ノートパソコンの設定 : 公開鍵の生成登録