スパコン使用方法 ( イメージ ) 1 ゲートウェイノード (gw.ddbj.nig.ac.jp) にログインする 2qlogin を実行しインタラクティブノードにログインする 3qlogin したホストからジョブを UGE に投入する 4UGE は負荷の低いノードでジョブを実行する 5 ジョブ実行

Transcription

1 2012/5/10 スパコン利用者説明会 - 基本的な使用方法 -

2 スパコン使用方法 ( イメージ ) 1 ゲートウェイノード (gw.ddbj.nig.ac.jp) にログインする 2qlogin を実行しインタラクティブノードにログインする 3qlogin したホストからジョブを UGE に投入する 4UGE は負荷の低いノードでジョブを実行する 5 ジョブ実行結果を lustre のホームディレクトリに出力する 6 ジョブ実行結果を確認する 1 Job Job Job gateway 1 台 (active-stanby) 外部との通信専用 2 業務用 8 台 研究用 8 台インタラクティブ専用 3 4 業務用 81 台 研究用 208 台バッチ専用 6 Result Result Result Result Result 5 1

3 スパコンへのログイン 1 ログインするにはユーザ名とパスワードが必要である ログインには ssh 接続が可能なターミナルエミュレータを使用する ターミナルエミュレータは putty や TeraTerm など様々なフリーソフトが存在する (Mac は標準添付 ) Windows の例として TeraTerm を紹介する 2

4 スパコンへのログイン 2 Windows からログインする Tera Termを使用する P4 Mac からログインする ターミナルを使用する P8 3

5 スパコンへのログイン 3 Tera Term を使用する 1Tera Termを実行し ホスト欄にgw.ddbj.nig.ac.jpを入力する サービスはSSHを選択する 選択後 OKボタンを押下する 4

6 スパコンへのログイン 3 Tera Term を使用する 2 ユーザ名とパスワードを入力し OK ボタンを押下する セキュリティのためチェックを入れない 5

7 スパコンへのログイン 3 Tera Term を使用する 3 ログイン完了 6

8 スパコンへのログイン 3 Tera Term を使用する 4 画面転送を可能にするため 設定 SSH 転送を選択し リモートの (X) アプリケーションをローカルの X サーバに表示する にチェックを入れる 7

9 スパコンへのログイン 4 ターミナルを使用する 1ターミナルを開きssh ( ユーザ名 )@gw.ddbj.nig.ac.jpと入力し Enterボタンを押下する 8

10 スパコンへのログイン 4 ターミナルを使用する 2 パスワードを入力し Enter ボタンを押下する 9

11 スパコンへのログイン 4 ターミナルを使用する 3 ログイン完了 10

12 画面転送について スパコン上の画面を閲覧するにはトンネリングする必要がある Windows では Xming というフリーソフトを使用することで可能である Mac ではログインの際に ssh X とオプション指定することで可能である ( 別途インストールが必要になる場合もある ) 11

13 ログイン時の注意 パスワードを 4 回間違えるとアカウントがロックされログインできなくなります ロックされた場合は最終ページに記載のスパコン SE 問い合わせ先にご連絡下さい 12

14 ユーザのホームディレクトリ ログイン完了後は ユーザのホームディレクトリがカレントディレクトリとなる < 確認例 > ~]$ pwd /home/lect01 ホームディレクトリは lustre に作成され 全ホストで共有されているため 基本的にはどのホストからでもアクセス可能である 自分が使用している lustre を確認するには ls コマンドにオプション -l を使用する < 確認例 > ~]$ ls l /home/lect01 lrwxrwxrwx 1 root root 22 2 月 16 16: /home/lect01 -> /lustre1/home/lect01 使用している lustre が表示される lect01 は lustre1 を使用している 13

15 パスワード変更方法 使用コマンド : passwd 初回ログイン後はすぐにパスワードを変更する 変更するには passwd コマンドを使用する < 実行例 > [lect01@gw ~]$ passwd Changing password for user lect01. Current Password: 現在のパスワードを入力 New password: 新しく設定したいパスワードを入力 強度の弱いパスワードは使用できません 設定できるパスワードの主な条件として 全体で8 文字以上かつ小文字 1 文字以上 大文字 1 文字以上 数字 2 文字以上を含む必要がある < 良い例 > 7Udk9dfG JdslP3dL < 悪い例 > ( 数字のみ ) taro0221 ( 大文字が無い 想像しやすい ) 14

16 スパコンへのデータ転送 1 データ転送には SCP や SFTP を利用する方法と Aspera を利用する方法がある (FTP は利用できない ) 1SCP SFTPの特徴 セキュアなデータ転送が可能である WindowsではWinSCP 等のフリーソフトを利用する Macでは標準搭載機能である 2Asperaの特徴 データ転送がSFTPと比べて高速である Aspera Connect( 無償 ) をインストールして使用する 15

17 スパコンへのデータ転送 2 Windowsからのデータ転送 1SFTPを利用する WinSCPを使用する P18 2Asperaを利用する AsperaConnectを使用する Web UIを使用する P20 コマンドプロンプトを使用する P23 16

18 スパコンへのデータ転送 3 Macからのデータ転送 1SCPを利用するターミナルから転送する P26 2Asperaを利用する AsperaConnectを使用する Web UIを使用する P20 ターミナルを使用する P24 17

19 スパコンへのデータ転送 4 WinSCP を使用する 1WinSCPを実行し セッションを選択する ホスト名欄に gw.ddbj.nig.ac.jpを入力する ユーザ名およびパスワードを記入する プロトコルはSFTPを選択し ログインボタンを押下する 18

20 スパコンへのデータ転送 4 WinSCP を使用する 2 左に自分のシステム 右にスパコンのホームディレクトリが表示される 転送したいデータをドラッグ & ドロップすることで転送される 19

21 スパコンへのデータ転送 5 Aspera Connect を使用する (Web UI) 1 ブラウザを開き にアクセスする ユーザ名とパスワードを入力し OK ボタンを押下する 20

22 スパコンへのデータ転送 5 Aspera Connect を使用する (Web UI) 2ログイン後 スパコンのホームディレクトリが表示される 初回接続時はInstall Nowボタンを押下しAspera Connectをインストールする 21

23 スパコンへのデータ転送 5 Aspera Connect を使用する (Web UI) 3 Aspera Connect インストール後 Upload File ボタンを押下し 転送したいファイルを選択するとスパコンへデータが転送される 22

24 スパコンへのデータ転送 6 Aspera Connect を使用する ( コマンドプロンプト ) 1Web UIと同様の手順でAspera Connectをインストールする コマンドプロンプトを開き (Aspera Connectのインストールパス ) bin ascp.exe -P ( 転送するデータのパス ) ( ユーザ名 )@ascp.ddbj.nig.ac.jp:( ホームディレクトリ以下の転送先のパス ) と入力する パスワードを入力すると転送が開始される < 実行例 > ( コマンドプロンプト ) Windows7 の場合 C: Users lect01> C: Users lect01 AppData Roaming Aspera Aspera Connect bin ascp.exe -P C: Users lect01 Desktop test.txt lect01@ascp.ddbj.nig.ac.jp:test.txt /home/lect01/test.txtにデータ転送 lect01@ascp.ddbj.nig.ac.jp's password: test.txt 100% 0 00:00 23

25 スパコンへのデータ転送 7 Aspera Connect を使用する ( ターミナル ) 1Web UIと同様の手順でAspera Connectをインストールする ターミナルを開き (Aspera Connectのインストールパス )/Resources/ascp -P ( 転送するデータパス ) ( ユーザ名 )@ascp.ddbj.nig.ac.jp: ホームディレクトリ以下の転送先のパス ) と入力する パスワードを入力すると転送が開始される < 実行例 > ( ターミナル ) lect%./library/application Support/Aspera Connect.app/Contents/Resour ces/ascp -P /test.txt lect01@ascp.ddbj.nig.ac.jp:test.txt lect01@ascp.ddbj.nig.ac.jp's password: test.txt 100% 0 00:00 /home/lect01/test.txt にデータ転送 24

26 スパコンへのデータ転送 Aspera Connect のオプション 以下に Aspera 転送のオプションを示す WebUI 使用時は Aspera Connect の Preferences から設定可能である -T データの暗号化を行わない 転送速度は向上するが セキュリティは低 下する -l < 転送速度上限 > データ転送速度の上限を設定する デフォルトは 10M(b/s) となっている 回線速度を上回る転送速度を設定した場合 パケットロスが大量に発生し 転送効率が大幅に低下するため適切な転送速度を設定する必要がある 上限は 1G(b/s) < 例 > ascp -l 100M -P [ ユーザ名 ]@ascp.ddbj.nig.ac.jp:[ 転送先パス ] [ 転送するデータ ] 25

27 スパコンへのデータ転送 8 ターミナルを使用する 1 ターミナルを実行し scp ( 転送するデータのパス ) ( ユーザ名 )@gw.ddbj.nig.ac.jp: ( データを置くパス ) と入力する パスワードを入力するとデータが指定したパスに転送される 26

28 クオータ状況確認方法 使用コマンド : lfs quota u ( ユーザ名 ) /( 使用している lustre) ユーザの使用できるディスク容量は制限されている ( クオータ ) 自分のクオータ情報は quota コマンドで確認できる 一般研究用ユーザは 1TB まで使用可能 大規模利用申請により 1TB 以上の使用が可能となる 業務用ユーザは制限無く利用可能である < 実行例 > [lect01@gw ~]$ lfs quota -u lect01 /lustre1 Disk quotas for user lect01 (uid 654): Filesystem kbytes quota limit grace files quota limit grace /lustre 現在の使用量 (kbytes) 使用できる最大量 (kbytes) 27

29 バックアップ /home/( ユーザ名 )/backup/ 以下のみが差分バックアップされる 現在は毎日バックアップされるが 今後ユーザ数が増えた際にはバックアップ頻度が変更となる可能性がある バックアップは利便性向上のためのサービスであり データ保護を保障するものではありません データを失っても責任は負いかねます 重要なデータは自分のパソコン等 スパコン外への定期的なバックアップをお願いします 28

30 リストア手順 バックアップからリストアする方法を示す 1 スパコンにログインする 2qlogin と入力して Enter を押下する 3rdiff-backup l /backup/( ユーザ名 )/ と入力して Enter を押下する バックアップの取得状況を確認する 4 リストアを実施する場合は rdiff-backup -restore-as-of ( バックアップの日付 ) /backup/( ユーザ名 )/./restore/ と入力して Enter を押下する < 実行例 > [lect01@gw ~]$ qlogin -bash-4.1$ rdiff-backup -l /backup/lect01/ Found 0 increments: Current mirror: Mon Mar 12 08:15: W3C 日付形式に変換 -bash-4.1$ rdiff-backup --restore-as-of T08:15:05 /backup/lect01/./restore/ -bash-4.1$ 29

31 ユーザへのお願い事項 パスワードの管理を厳重にお願いします 自分のアカウントを他人に貸し出さないで下さい パスワード漏えいの疑いがある場合は 早急に最終ページ記載のスパコン SE 問い合わせ先までご連絡下さい 30

32 問い合わせ先 不明点またはご意見等があれば下記にお問い合わせ下さい 遺伝研スパコンSEチーム 居室 :w202 内線 : upercom-intro.html 31

33 変更履歴 変更日付 変更内容 2012/03/21 新規作成 2012/05/10 Aspera 転送のオプション追加 フリーソフトのインストール削除 32