更新履歴 版数日付更新内容作成者 初版 2014/05/18 第 2 版 2016/04/08 l 3.1. ポートの開放 で 600/udp への l incoming を 600/udp からの incoming へ訂正 Globus Toolkit のバージョンを から 6.0 へ

Transcription

1 文書番号 :HPCI-ST HPCI 共用ストレージ 利用マニュアル クライアント導入編 2018/09/06

2 更新履歴 版数日付更新内容作成者 初版 2014/05/18 第 2 版 2016/04/08 l 3.1. ポートの開放 で 600/udp への l incoming を 600/udp からの incoming へ訂正 Globus Toolkit のバージョンを から 6.0 へ更新 l Gfarm のバージョンを から l へ更新 Gfarm2fs のバージョンを から へ更新 第 3 版 2017/10/24 l Gfarm のインストール 4 で gfarm2.conf を HPCI 情報共有 CMS ページ からダウンロードする手順に変更 l Gfarm のバージョンを から l へ更新 Gfarm2fs のバージョンを から へ更新 第 4 版 2018/08/22 l Gfarm のバージョンを へ更新 l l l l Gfarm2fs のバージョンを へ更新 バージョンアップ手順を最終節へ移動 ポートの開放に表を追加 ローカルユーザーアカウント作成手順を訂 正 第 5 版 2018/09/06 l 3.1 節にサーバーの IP アドレスに関する記 l 述を追加 節に証明書失効リストの定期更新に 関する記述を追加 環境変数 GLOBUS_GSSAPI_NAME_COMPATIBILI TY の設定を追加 l 5.3 節の gfhost コマンドのオプションを lv から lvu へ変更 2

3 3

4 目次 1. はじめに 動作要件 導入 設定 ポートの開放 クライアント導入 OS インストール 必要なパッケージ nscd インストール 時刻の同期 Globus Toolkit インストール Gfarm インストール gfarm2fs インストール 運用管理 ローカルユーザアカウント作成 注意事項 利用確認 代理証明書の発行 gfstatus コマンドによる確認 gfhost コマンドによる確認 mount.hpci コマンドによる確認 保守 証明書と失効リストの更新 バージョンアップ手順

5 1. はじめに 本書は 利用者が HPCI 共用ストレージのクライアントを導入するための手順を解説した 文書です 本書に掲載されているコマンドターミナル画面において 太字の部分は実際に入力してい ただくコマンドを表しています またコマンドプロンプトが # の場合は root $ の場 合は一般ユーザを意味しています 5

6 2. 動作要件 クライアントとして Unix/Linux 系の各種 OS が使用可能ですが 本書では CentOS 6(64 ビット版 ) を前提に解説しますので 他のバージョンや OS の場合は適宜読み替えてくだ さい CentOS (The Community ENTerprise Operating System) 6

7 3. 導入 設定 3.1. ポートの開放 クライアントにおいて以下の通信ができるようにポートを開放し 必要に応じてネットワ ークを設定してください ü 601/tcp への outgoing( メタデータサーバとの通信 ) ü 600/tcp への outgoing( ストレージサーバとの通信 ) ü 600/udp への outgoing( ストレージサーバとの通信 ) ü 600/udp からの incoming( ストレージサーバとの通信 ) source destination IP アドレスポート番号 IP アドレスポート番号 protocol 用途 クライアント ephemeral メタデータサーバ 601 tcp メタデータアクセス クライアント ephemeral ストレージサーバ 600 tcp データアクセス クライアント ephemeral ストレージサーバ 600 udp health check 要求 ストレージサーバ 600 クライアント ephemeral udp health check 応答 ephemeral は Linux では /sbin/sysctl net.ipv4.ip_local_port_range コマンドで確認 設定できるポート番号の範囲で Linux では通常 32768~61000 です メタデータサーバおよびストレージサーバの IP アドレスとしては 任意のアドレスを設定してください あるいはサーバの IP アドレスを限定したい場合は 共用ストレージ運用チームまで HPCI ヘルプデスク ( ) 経由でお問い合わせください 7

8 3.2. クライアント導入 OS インストールコンパイラなどの開発ツールを含めてインストールしてください OS インストール時に開発ツールをインストールしなかった場合は OS 起動後に root 権限で以下のコマンドを実行して開発ツールをインストールしてください # yum groupinstall 'Development Tools' また root 権限で以下のように実行して OS やインストールされているパッケージを最新の 状態にしてください # yum update 必要なパッケージクライアントのインストールに必要なパッケージをインストールします # yum install openssl-devel postgresql-devel # yum install fuse fuse-devel # yum install wget nscd インストールネームサービスキャッシュデーモン nscd をインストールして OS の起動とともに実行されるように設定してください nscd が起動していない場合 Gfarm ファイルシステムをマウントするコマンド gfarm2fs の動作が遅くなることがあるためです # yum install nscd # service nscd start # chkconfig nscd on 時刻の同期クライアントを含む Gfarm ファイルシステムを構成するホスト ( ノード ) 間で時刻がずれていると正常に動作しなくなる可能性があります ntp(network Time Protocol) などを利用して時刻を合わせるように設定してください 8

9 Globus Toolkit インストール 1 以下のサイトから Globus Toolkit をダウンロードして インストールします なお 本書ではバージョン 6.0 を使用します # yum install lsb # rpm Uvh globus-toolkit-repo-latest.noarch.rpm # yum install globus-gssapi-gsi-devel pkgconfig # yum install globus-proxy-utils globus-common-progs 2 信頼できる CA の設定 /etc/grid-security/certificates ディレクトリに HPCI 認証局の自己証明書 signing policy ファイル 失効リストをおきます # mkdir -p /etc/grid-security/certificates # cd /etc/grid-security/certificates # wget # wget # wget && mv hpcica.crl `openssl crl in hpcica.crl noout hash`.r0 この最後の 2 行 hpcia.crl の取得と mv は失効リストの更新処理です cron に登録する 等の方法で 失効リストが期限切れになる前に定期的に失効リストを更新してください 3 環境変数 GLOBUS_GSSAPI_NAME_COMPATIBILITY の設定ユーザーの環境変数 GLOBUS_GSSAPI_NAME_COMPATIBILITY に 値 HYBRID が初期設定されるようにします CentOS の場合 以下の 2 ファイルを設定するとよいでしょう ファイル /etc/profile.d/globus.sh: export GLOBUS_GSSAPI_NAME_COMPATIBILITY=HYBRID ファイル /etc/profile.d/globus.csh: setenv GLOBUS_GSSAPI_NAME_COMPATIBILITY HYBRID この設定を反映するためにログアウトして再度ログインしてください 9

10 10

11 Gfarm インストール 1 以下のサイトから Gfarm のソースファイルをダウンロードします なお 本書ではバージョン (gfarm tar.gz) を使用します 2 任意のユーザ (root である必要はない ) でコンパイルした後 root 権限でインストールします $ tar zxf gfarm tar.gz $ cd gfarm $./configure --sysconfdir=/etc --enable-xmlattr --with-globus $ make $ su Password: # make install # exit 3 Gfarm のコマンドがインストールされる /usr/local/bin が実行パスに含まれてい ることを確認してください 4 以下のサイトから最新の gfarm2.conf ダウンロードし /etc/gfarm2.conf に設置してください # wget farm2.conf # chmod 644 gfarm2.conf # cp -a gfarm2.conf /etc/gfarm2.conf 11

12 gfarm2fs インストール 1 以下のサイトから gfarm2fs のソースファイルをダウンロードします なお 本書ではバージョン (gfarm2fs tar.gz) を使用します 上記 URL で示されるページでは 上部に Download gfarm-2.x.x.tar.gz のように表示されますが その下のディレクトリ以下にある gfarm2fs tar.gz をダウンロードしてください 2 任意のユーザ (root である必要はない ) でコンパイルした後 root 権限でインストールします $ tar zxf gfarm2fs tar.gz $ cd gfarm2fs $./configure --with-gfarm=/usr/local --disable-acl $ make $ su Password: # make install # exit 3 fusermount コマンドのモードを変更します 一般ユーザで実行できるように root 権限でモードを変更します # chmod o+x /bin/fusermount 12

13 4. 運用管理 4.1. ローカルユーザアカウント作成 ローカルユーザそれぞれについて以下を行います ここでは次のような表記を用います Taro Yamada Taro HPCI-ID 対象ローカルユーザーの氏名 対象ローカルユーザーのアカウント名 対象ユーザーの HPCI-ID Gfarm ファイルシステムのユーザは クライアントに (OS の ) ローカルアカウントが必 要です 未作成の場合は root 権限で例えば以下を行います (useradd の man ページ参照 ) # useradd -c Taro Yamada m taro ローカルアカウントのユーザ名は HPCI-ID と同じである必要はありません 次に mount.hpci コマンドのためのマウントポイントとして /gfarm 以下にユーザごとのディレクトリを作成し 所有者を変更します これにはまず 5.1 代理証明書の発行 ~ 5.2 gfstatus コマンドによる確認 を実行しておき そのユーザ権限で以下のコマンドを実行して gfgroup コマンドの結果を保存します この gfgroup コマンドの実行は一度だけでよく ローカルユーザ毎に行う必要はありません $ gfgroup l > /tmp/gfgroup.out 次に各ローカルユーザ毎に root 権限で以下を実行し マウントポイントを作成します for g in `grep HPCI-ID /tmp/gfgroup.out awk F: '{ print $1 }'` do mkdir p /gfarm/$g && chmod 755 /gfarm/$g mkdir p /gfarm/$g/taro && chown taro /gfarm/$g/taro done これにより mount.hpci コマンドで HPCI 共用ストレージを各ユーザの権限でマウント できるようになります なおユーザの参加する HPCI 課題が追加された場合 そのユーザ について gfgroup コマンド実行以降の手順の再実施が必要です 注意事項各ユーザのマウントポイント以下に ユーザが誤って Gfarm ファイルシステムをマウントせずに直接ファイルを作成し ルートパーティションをあふれさせてしまう可能性があります これを防ぐために /gfarm を別パーティションにしてユーザごとにクォータによる使用量制限を設定することをお勧めします 13

14 5. 利用確認 5.1. 代理証明書の発行 をアクセスし 代理証明書をダウンロードします 保存先 は /tmp/x509up_u`id -u` パミッションは 0600 とします $ chmod 600 /tmp/x509up_u`id -u` 代理証明書が正しく保存されているかどうかは grid-proxy-info コマンドで確認できます 5.2. gfstatus コマンドによる確認 gfstatus コマンドにより メタデータサーバへの接続状況を確認することができます $ gfstatus user config file : /home/taro/.gfarm2rc system config file: /etc/gfarm2.conf hostname : host.domain canonical hostname: not available global username: HPCI-ID local username: taro local home dir: /home/taro credential name: /C=JP/O=NII/OU=HPCI/CN=Taro%40Yamada[HPCI-ID] gfmd server name: ms-0.aics.riken.jp gfmd server port: gfhost コマンドによる確認 gfhost コマンドにより ファイルシステムノードへの接続状況を確認することができます $ gfhost lvu 0.01/0.03/0.03 g i386-fedora3-linux 2 linux-1.example.com 600 0( ) 0.00/0.00/0.00 g i386-fedora3-linux 2 linux-2.example.com 600 0( ) -.--/-.--/ i386-fedora3-linux 2 linux-3.example.com 600 0( ) 0.00/0.02/0.00 x i386-redhat8.0-linux 1 linux-4.example.com 600 0( ) 0.10/0.00/0.00 g sparc-sun-solaris8 1 solaris-1.example.com 600 0( ) x.xx/x.xx/x.xx - sparc-sun-solaris8 1 solaris-2.example.com 600 0( )... 14

15 ここで 左端の数字の並びは各ノードのロードアベレージ ( 負荷 ) を示します これが -.--/-.--/-.-- と表示される場合は ストレージサーバプログラム gfsd が正しく 起動していないことを示しており x.xx/x.xx/x.xx と表示される場合はそのノードに 接続できないこと ( ホスト停止 ネットワーク障害 600/udp がフィルタリングされてい るなど ) を示しています 左から 2 番目の文字は認証を示しており ここが G g s のいずれかであれば そのノードが利用可能であることを示しています なお G は GSI 認証および暗号化 g は認証処理のみ GSI で認証後は保護のない生データ (gsi_auth) s は共有鍵認証 (sharedsecret) x は認証失敗 - は認証を試みなかったことを示します その他の出力内容の詳細は gfhost の man ページを参照してください 5.4. mount.hpci コマンドによる確認 mount.hpci コマンドにより HPCI 共用ストレージをマウントし ファイル操作が可能であるか確認します $ mount.hpci timeleft : 118:22:52 (4.9 days) Mount GfarmFS on /gfarm/hp.../taro $ cd /gfarm/hp.../taro $ echo a > a $ ls a $ cd / $ umount.hpci 15

16 6. 保守 6.1. 証明書と失効リストの更新 インストールした HPCI 認証局の失効リストは証明書の期限とは無関係に定期的に更新す る必要があります 以下の操作を毎週実行するようにしてください # cd /etc/grid-security/certificates # wget # mv hpcica.crl `openssl crl in hpcica.crl noout hash`.r0 16

17 7. バージョンアップ手順 1 各々のユーザの権限でマウントしている Gfarm ファイルシステムをアンマウントしま す $ umount.hpci 2 Globus Toolkit は 節と同様な手順の再実行で Gfarm は 節と同様の手順 で gfarm2fs は 節と同様の手順でインストールして既存のファイルを上書きし ます 3 各々のユーザの権限でマウントし直します $ mount.hpci 17