Copyright National Institute of Informatics, Japan. All rights reserved. This file or a portion of this file is licensed under the terms of

Transcription

1 NAREGI Middleware 導入手引書 V 年 10 月 国立情報学研究所

2 Copyright National Institute of Informatics, Japan. All rights reserved. This file or a portion of this file is licensed under the terms of the NAREGI Public License, found at If you redistribute this file, with or without modifications, you must include this notice in the file.

3 J2SSH Library This product includes software developed by SSHTools ( openssl This product includes software developed by the OpenSSL Project for use in the OpenSSL Toolkit ( This product includes cryptographic software written by Eric Young This product includes software written by Tim Hudson MyProxy This product includes software developed by Computing Services at Carnegie Mellon University ( This product includes software developed by the NetBSD Foundation, Inc. and its contributors. mod-ssl This product includes software developed by Ralf S. Engelschall for use in the mod_ssl project ( NetBSD libnbcompat This product includes software developed by the NetBSD Foundation, Inc. and its contributors. glite/glite Security Utilities This product includes software developed by The EU EGEE Project ( VOMS/VOMS C API This product includes software developed by the EU DataGrid ( aica This product includes software developed by Akira Iwata Laboratory,Nagoya Institute of Technology in Japan ( Xerces Java Parser, XML Security This product includes software developed by the Apache Software Foundation (

4 登録商標または商標について Java は 米国 Sun Microsystems, Inc. の米国およびその他の国における登録商標または商標です Linux は Linus Torvalds 氏の米国およびその他の国における登録商標または商標です AppArmor opensuse は米国 Novell, Inc. の米国およびその他の国における商標です PBS Professional は 米国 Altair Grid Technologies,LLC の商標です AIX LoadLeveler は米国 International Business Machines Corporation の商標です Globus Toolkit は 米国シカゴ大学の商標です その他 記載されている会社名 製品名は各社の登録商標または商標です x

5 はじめに 本書は NAREGI Middleware の導入手引書です NAREGI Middleware( 以下 NAREGI ミドルウェア ) は 超高速コンピュータ網形成プロジェクト (National Research Grid Initiative: 通称 NAREGI) において開発されたソフトウェアです NAREGI ミドルウェアは 分散した計算資源を管理するだけでなく 利用環境やプログラミング環境をも含めた 統合グリッド環境を提供いたします NAREGI ミドルウェアを構成する多くのコンポーネントは WSRF(Web Services Resource Framework) に準拠した Web サービスとして実装されています NAREGI ミドルウェアは これらコンポーネントを連携動作させ より使い易く より高度なグリッド環境を実現しています NAREGIミドルウェアについての詳細は をご覧ください 本書の対象読者本書は NAREGI ミドルウェアの導入作業や運用保守を実施される方 利用される方を対象としています ドキュメント体系 NAREGI ミドルウェアのドキュメントは 次の分冊構成を取っています NAREGI Middleware 機能説明書 NAREGI ミドルウェア全体の機能概要について説明しています NAREGI Middleware 導入手引書 ( 本書 ) NAREGI ミドルウェア全体を通しての動作条件や rpm パッケージを用いたインストール方法について説明しています NAREGI Middleware 使用手引書 ( 管理者編 ) インストール後の NAREGI ミドルウェア全体を通して運用するにあたり 必要な事項について説明しています NAREGI ミドルウェア各サービス個々の運用に関する詳細は 後述の NAREGI ミドルウェア AG および UG を参照してください NAREGI Middleware 使用手引書 ( 利用者編 ) インストール後の NAREGI ミドルウェア各サービスを利用するにあたり 主に GUI を持つサービスについて操作方法を説明しています NAREGI ミドルウェア各サービスの操作詳細については 後述の NAREGI ミドルウェア UG を参照してください 管理者ガイド NAREGI Middleware AG(Administrator Guide) NAREGI ミドルウェア各サービスの管理者向け使用手引書です サービスを構成するコンポーネントごとに分冊構成を取っています i

6 利用者ガイド NAREGI Middleware UG(User Guide) NAREGI ミドルウェア各サービスの利用者向け使用手引書です サービスを構成するコンポーネントのうち 利用者向け機能を持つコンポーネントごとに分冊構成を取っています 重要 NAREGI ミドルウェア V1.1 の最新情報 ( サポートする OS バージョンなど ) については Readme を参照ください ii

7 目次 はじめに... i 1. 導入にあたって VO の設計 VO 構成の種別 単一 VO 内のノード構成例 ノード別コンポーネントの主な機能 動作環境 推奨ハードウェア環境 サポート OS とローカルスケジューラ 前提ソフトウェア NAREGI ミドルウェアの導入 ( 単一 VO) 事前準備および確認事項 構成情報の設定 OS のインストールと設定 ホスト名について アカウントの作成 ローカルスケジューラの導入 NAREGI インストーラの取得と導入 NAREGI インストーラの取得 NAREGI インストーラの導入 NAREGI インストーラの起動 旗艦ノードの OS 更新 旗艦ノードへのセキュリティパッチ適用 ノード構成の設定 管理ノード構成情報の設定 GridVM 計算ノード構成情報の設定 全ノードの OS 更新 全ノードへのセキュリティパッチ適用 証明書の取得 CA の構築と証明書発行準備 登録局構築と証明書発行準備 ホスト証明書の発行...49 iii

8 2.6.4 ユーザ証明書の発行 ホスト証明書の配置 前提ソフトウェアパッケージのインストール Globus までの共通前提ソフトウェアのインストール UMS および VOMS の導入と設定 ( 手動 ) 環境変数の設定 UMS の導入 既存パッケージ (MySQL, tomcat) の確認 Java のインストール VOMS の導入 MyProxy のインストール セキュアログインシェルスクリプトの展開 証明書の設定 MySQL 設定 テンプレートファイルの編集 VO の作成と設定 VO 登録アカウントの確認 PluS のインストール NAREGI ミドルウェアパッケージのインストール NAREGI ミドルウェアのインストール NAREGI サービスの起動と停止 サービスの起動と停止 IS handle 作成 インストールの終了 VO 内共有ディレクトリの作成 VO ごとの共有ディレクトリの作成 DataGrid(DG) のインストール 事前準備 DG ノード構成情報の設定 DG ノードの OS 更新 DG ノードのホスト証明書の配置 前提ソフトウェアパッケージのインストール DataGrid のインストール DataGrid サービスの起動 GridRPC フロントエンドノードの構築 NAREGI ミドルウェアのテスト iv

9 3. 複数 VO の構築 RCS とは 複数サイトの計算資源を共有する VO の作成 連携用 VO の作成 Portal ノードでの設定 LRPS の設定 grid-mapfile へのノード登録 ルート証明書の交換 ユーザ用 grid-mapfile の設定 NAREGI デーモンの再起動 動作確認 設定方法 SS の停止 設定方法 gridss-mkconf の実行 SS の起動 アンインストール NAREGI ミドルウェアの更新 (CentOS の場合 ) 事前準備 UMS および VOMS の更新 設定ファイルの編集 NAREGI インストーラの更新 アプリケーションの更新 IS handle 再設定 サービスの停止 古い IS handle からスキーマの削除 サービスの起動 IS-handle の置換 CA RA サーバプロセスの起動確認 起動確認 CA RA サーバプロセスの起動 SSL 通信への対応 SS ノード用ホスト証明書の発行 ホスト証明書の入れ替え v

10 5.8 UMS ホスト証明書の配置 ( 付録 ) 環境変数 ( 付録 ) ユーザ資産の移行 サービス別ユーザ資産移行方法 DG RMS AMS SBC Mediator GridMPI ( 付録 ) NAREGI ミドルウェア導入事前設定手順例 構成情報 Cent OS のインストールと設定 インストール後の設定 サービスの追加 不要サービスの削除 停止 ntp の設定 アカウントの作成と設定 テストアカウントの作成と設定 インストールアカウントの作成と設定 VOMS アカウントの作成 PBS Professional のインストールと動作確認 rsh の設定 PBS Professional のインストール ( 付録 ) GridRPC フロントエンドノードの構築 ノードの構築 OS のインストールと設定 開発環境の導入 NAREGI コンポーネントのインストール ホスト証明書の配置 ユーザごとの設定 ジョブの実行 vi

11 1. 導入にあたって 本章では NAREGI ミドルウェアの動作に必要となる前提条件や注意事項 そして VO (Virtual Organization) の構成について説明します VO および NAREGI ミドルウェアを構成する各コンポーネントの機能概要については NAREGI Middleware 機能説明書 を参照ください 1.1 VOの設計 NAREGI ミドルウェアを導入する前に VO の設計を行います VOは人的資源と計算資源から構成されます 計算資源はさらに管理ノードと計算ノードから構成されます 管理ノード 計算ノードの詳細については 単一 VO 内のノード構成例 を参照ください VO 構成の種別 VO の作成にあたっては NAREGI ミドルウェアの資源管理 情報サービス データ管理等を行う管理ノードを VO ごとに構築します (1) 単一 VO 単一 VO は 1つのノード群上に VO を1つ作成します NAREGI ミドルウェアでは この構成が基本構成となります VO1 管理ノード 計算ノード 図 単一 VO 構成例 (2) 複数 VO 複数 VOは 原則としてVOごとに管理ノード群を作成します ( (2-1) 複数 VOでVO ごとの管理ノード ) ただし 例外として1つの管理ノードに対して複数のVOを作成することができます ( (2-2) 複数 VOで管理ノードを共有 ) 1

12 (2-1) 複数 VOでVOごとの管理ノード複数の VO を構築する際は VO ごとに管理ノード群を構築するのが基本になっています 各 VO は個別の計算資源を利用することは勿論 資源を共有することも可能です 大規模なグリッド環境構築に向いています VO1 VO2 管理ノード 管理ノード 計算ノード 計算ノード 図 複数 VO で管理ノードが VO ごとの構成例 (2-2) 複数 VOで管理ノードを共有 VO 管理者が同一の場合など 複数の VO で1つの管理ノード群を共有することも可能です ただし 管理ノードに負荷が集中する場合があるので留意ください VO 管理者は VO メンバーのユーザ登録 変更 削除や資源の選択を行います VO1 管理ノード VO2 計算ノード 計算ノード 図 複数 VO で管理ノードを共有する構成例 2

13 1.1.2 単一 VO 内のノード構成例管理ノードと計算ノードの構成例を以下に示します 図中の GridVM クラスタは GridVM 管理ノード 1 台につき 1 台以上の GridVM 計算ノードをもちます その GridVM クラスタの構成が1つ以上と IS-CDAS ノードが 1 台の構成 ( または IS-MCDAS ノードと IS-SCDAS ノードの1 組 ) をセルドメインとしています セルドメインもまた1 つ以上存在します 構成例のうち NAREGI ミドルウェア環境を構築する際の必須ノードは 旗艦ノード UMS ノード Portal ノード IS-NAS ノード IS-CDAS ノード ( セルドメインごとに必要 ) SS ノード GridVM 管理ノードおよび GridVM 計算ノードです GridVM 管理ノードと GridVM 計算ノードのノード数は 各センターの運用形態により異なります 認証局 (CA) ノード 登録局 (RA) ノード DG-DGUFT ノード DG-Gfarm-VO ノード および GridRPC フロントエンドノードは 運用形態によって必要となります 旗艦ノード NAREGI インストーラ 認証局 (CA) ノード (*5) CA DG-DGUFT ノード (*3) DataGrid UFT UMS ノード IS-NAS ノード 登録局 (RA) ノード (*5) Gfarm file system glite VOMS(*1) IS-NAS RA DG-Gfarm-VO ノード (*3) UMS Portal ノード MyProxy(*2) Portal Renewal Service GridPSE WFT GVS SP IS SS Client DataGrid UI 管理ノード計算ノード IS-MCDAS LRPS IS-SCDAS (*1) glitevoms は NAREGI ミドルウェアには含まれません (*2) MyProxy は NAREGI ミドルウェアには含まれません (*3) DataGrid を使用する場合に必要です (*4) GridRPC を使用する場合に必要です (*5) すでに運用されている CA から発行された証明書を利用する場合は不要です NAREGI ミドルウェア rpm パッケージ同梱の CA を利用する場合は 旗艦ノードと同一ノードになります SBC SS ノード SS Renewal Service Gfarm Client GridRPCフロントエント ノート (*4) Gfarm-DSI GridRPC GridMPI GridVM 管理ノード GridVM Scheduler LRPS IS-CDASノード IS-MCDAS IS-RUS IS-SCDAS Gfarm metadata Gfarm file system セルト メインセルト メイン GridVM クラスタ GridVM クラスタ GridVM 計算ノード GridVM 計算ノード GridVM 計算ノード GridVM Engine GridVM Engine GridVM Engine GVS PV GVS PV GVS PV SS Client SS Client SS Client SBC SBC SBC Mediator Mediator Mediator GridRPC GridRPC GridRPC GridMPI GridMPI GridMPI 図 標準ノード構成例 なお以下の各ノード間は IP リーチャブルである必要があります 管理ノード間 3

14 管理ノードと GridVM 管理ノード GridVM 管理ノードと Grid 計算ノード ノード別コンポーネントの主な機能ノードごとの役割について説明します (1) 旗艦ノード NAREGI ミドルウェアを rpm パッケージを用いてインストールする場合に必要なノードです (2) CAノード RAノード認証局 (CA:Certificate Authority) ソフトウェア 登録局 (RA:Registration Authority) ソフトウェアが搭載されるノードです 証明書はすでに運用されている認証局より取得してください この際 本ノードは不要となります NAREGI ミドルウェアの rpm パッケージに含まれる NAREGI-CA を用いる場合は 評価 研究用の簡易的な証明書を発行することが出来ます この際 CA ノードおよび RA ノードは旗艦ノードと同一ノードになります (3) UMSノード VO 管理を行う VOMS(VO Membership Service) 機能とユーザ管理を行う UMS(User Management Server) 機能から成ります VOMS は VO 作成と削除 VO 管理者の登録 VO ユーザの登録などを行いますが ユーザは意識する必要はなく VO 管理者において管理されます UMS はユーザ証明書の発行要求や管理などのユーザ管理機能を持っています (4) Portalノードユーザが Web ブラウザで NAREGI ミドルウェアにサインオンする際は このノード上の Web サーバにアクセスすることになります Portal PSE(Problem Solving Environment) WFT(WorkFlow Tools) GVS SP(Grid Visualization System Service Provider) IS(Information Service) SS(Super Scheduler) client Renewal Service の各コンポーネントが搭載されたノードです Globus Toolkit に含まれる MyProxy も導入されます My Proxy は CA から発行されたユーザ証明書の公開鍵と秘密鍵よりユーザ証明書の有効期間内で短い期間のプロキシ証明書を作成します これによりてシングルサインオンの実現や認証が必要なノードへのアクセスが可能となります データグリッド ( 以下 DG) コンポーネントを利用する際は DG-UI のサブコンポーネントが搭載され 転送ジョブの一覧や共有ファイルシステムの使用状況を画面 4

15 上から確認できます (5) IS-NASノード管理ノード上に配置され IS-NAS(Node Aggregator Service) IS-MCDAS(Monitoring Celldomain Aggregator Service) IS-LRPS(Local Resource Provider Service) のサブコンポーネントが搭載されます IS-NAS サブコンポーネントは VO 単位で情報集約を行います IS-MCDAS LRPS サブコンポーネントによって SS および PSE からの情報を受けて IS-NAS に情報を集約しジョブ状態情報収集の役割も担います LRPS は 計算ノードにもありますが管理ノードでは SS から登録されるジョブの情報を収集します (6) IS-CDASノード計算ノード上に配置され IS-MCDAS と IS-SCDAS ノードに分けることも可能です その時 IS-MCDAS ノードには IS-MCDAS IS-RUS のサブコンポーネントが搭載され IS-SCDAS ノードには IS-SCDAS サブコンポーネントが搭載されます IS-SCDAS サブコンポーネントは 現在参照可能な情報に加えて過去履歴情報の参照が可能です IS-RUS サブコンポーネントは 資源利用記録を収集します (7) SSノード SS コンポーネントが搭載されているノードです DG コンポーネントを利用する際は Gfarm Client コンポーネントも導入されます SS は ジョブ要求に応じた計算資源の確保 他のコンポーネント間でジョブ要求の仲介 ジョブの予約および管理 ある1つのジョブに対し複数のマシン資源を要求するメタスケジューラ機能などを提供します SSはVOごとに構築が必要となり 複数のSSを構成する場合には複数 SS 用のRCS (Reservation Cache Service) を設定する必要があります RCSについては 3.1 RCS とは を参照してください (8) GridVMノード (GridVM 管理ノード およびGridVM 計算ノード ) GridVM ノードは SS からのジョブ要求に対してローカルスケジューラでスケジューリングを行い ジョブの実行を行う GridVM コンポーネントが搭載されています GridVM 管理ノードと GridVM 計算ノードが含まれます GridVM 管理ノードには GridVM Scheduler および IS-LRPS サブコンポーネントが搭載されています GridVM Scheduler は GridVM 計算ノードの制御を行います GridVM 計算ノードには GridVM Engine およびその他のコンポーネントが搭載され NAREGI ミドルウェアの計算ノードとして動作します GridVM 管理ノードは GridVM Engine サブコンポーネントを搭載することにより自ら計算ノードとして動作が可能ですが負荷が高くなるのでご注意ください 5

16 本ノードには予約ジョブ ( 予め計算資源の利用時間を予約するジョブ ) と非予約ジョブの混在も可能です ただし予約ジョブの方が優先度が高いため 予約ジョブ投入時に実行中の非予約ジョブはキャンセルされます ( ローカルスケジューラが PBS Professional の場合 ) 非予約ジョブ実行を保証する環境を確保するには GridVM Scheduler の設定で予約不可とした GridVM 計算ノードを準備されることをお勧めします サポートするジョブの種類については NAREGI Middleware 機能説明書 ジョブの種類 を参照ください (9) DG-DGUFTノード およびDG-Gfarm-VOノード DGのサブコンポーネントであるDataGridUFT Gfarm-GSI Gfarm metadata serverが搭載されたノードです 図 1.1-4では Gfarm file systemもそれぞれのノードに搭載されています DGUFTは共有ファイルの登録 更新 削除などファイル管理を行うアクセス管理機能を持ちます Gfarm-VOはNAREGIミドルウェア上での共有ファイルの割当て配置および使用容量を統一的に管理する資源管理機能を持ちます DG を用いると グリッド環境上における共有空間の中で大容量のディスクの確保を行いメタデータ ( 情報を付加したデータ ) として登録が可能となります また ワークフローに基づいてファイルをジョブの割当てノードにステージング ( データ転送 ) を行います (10) GridRPCフロントエンドノード NAREGI ミドルウェアから GridRPC を使用する際に必要になるノードです GridRPC および GridMPI コンポーネントが搭載されます 6

17 1.2 動作環境 推奨ハードウェア環境標準ノード構成において NAREGI ミドルウェアが動作するにあたり 推奨するハードウェア環境は次の通りです コンポーネント単位の推奨ハードウェア構成は コンポーネントごとの管理者ガイドを参照ください 表 推奨ハードウェア環境 ( ノードタイプごと ) 対象ノード メモリ 空きディスク容量 CPU 旗艦ノード (*1) 1GB 以上 10GB 以上 IA-32 CA ノード RA ノード 128MB 以上 10MB+10KB/ 証明書 IA-32 UMS ノード 512MB 以上 10GB 以上 IA-32 Portal ノード 2GB 以上 100GB 以上 IA-32 IS-NAS ノード 3GB 以上 (*4) 30GB 以上 IA-32 IS-CDAS ノード 3GB 以上 (*4) 30GB 以上 IA-32 SS ノード 2GB 以上 30GB 以上 IA-32 2GB 以上 10GB 以上 AMD64 Opteron Power4+ IA-32 AMD64 Opteron 1GB 以上 30GB 以上 Power4+ GridVM 管理ノード (*2) 1GB 以上 10GB 以上 GridVM 計算ノード (*3) DG ノード (DG-DGUFT ノード DG-Gfarm-VO ノード ) GridRPC フロントエンドノード (*3) IA-32 1GB 以上 10GB 以上 IA-32 1GB 以上 30GB 以上 IA-32 (*1) rpm パッケージによりインストールを行う場合 旗艦ノード ( インストールを代表して行うノード ) は パッケージをダウンロードするために最大 3.5GB のディスク容量が必要になります ダウン ロードをプロキシ経由で行う場合は プロキシサーバも同様のスペックを必要とします また インストール作業は一般ユーザ権限 ( インストールユーザ ) で行うため ディスククォータ (disk-quota) が設定されている場合はリミットが 3.5GB 以上に設定されている必要があります イ ンストールユーザについては 2.1.1(4) を参照してください (*2) GridVM 管理ノードでは 必須ソフトウェアである Globus Toolkit および Tomcat のメモリ ディス ク要件も満たす必要があります (*3) GridVM 計算ノードおよび GridRPC フロントエンドノードでは メモリ / 空きディスク容量は動作 アプリケーションの要件に依存します (*4) MCDAS と SCDAS を別ノードとする場合は 2GB サポートOSとローカルスケジューラ推奨ノード構成において NAREGI ミドルウェアが動作するにあたり サポートする OS およびローカルスケジューラは下表の通りです 7

18 表 サポートする OS とローカルスケジューラ ( ノードタイプごと ) 対象ノード OS ローカルスケジューラ UMS ノード Scientific Linux 旗艦ノード CA,RA ノード Portal ノード IS-NAS ノード IS-CDAS ノード SS ノード DG-DGUFT ノード DG-Gfarm-VO ノード GridVM 管理ノード GridVM 計算ノード GridRPC フロントエンドノード CentOS 5.x (5.1 以上 ), opensuse 10.3, RHEL 5 (*1), SUSE ES 10 (*1) RHEL 5 PBS Professional 9.1 (*2) opensuse 10.3 Sun Grid Engine v6.0 + Plus 1.0 (*3) AIX5.2 LoadLeveler V3.2 (*4) CentOS 5.x (5.1 以上 ) (*1) PBS Professional 9.1 (*2) SUSE ES 10 (*1) Sun Grid Engine v6.0 + Plus 1.0 (*3) RHEL 5 PBS Professional 9.1 (*2) opensuse 10.3 Sun Grid Engine v6.0 + Plus 1.0 (*3) AIX5.2 LoadLeveler V3.2 (*4) CentOS 5.x (5.1 以上 ) (*1) PBS Professional 9.1 (*2) SUSE ES 10 (*1) Sun Grid Engine v6.0 + Plus 1.0 (*3) CentOS 5.x (5.1 以上 ) (*1) 正式サポート OS ではなく 動作実績のある OS です (*2) CPU は IA-32 (*3) CPU は AMD64 Opteron (*4) CPU は Power 前提ソフトウェア NAREGI ミドルウェアの動作に必要となる前提ソフトウェアは rpm パッケージに よるインストール実施と同時に導入されます (rpm 未対応コンポーネントを除く ) 8

19 2. NAREGI ミドルウェアの導入 ( 単一 VO) 本章では rpmパッケージを用いたnaregiミドルウェアの導入方法について 表 標準ノード構成例 に準じて説明します rpmパッケージによらない導入方法については NAREGI ダウンロードサイトよりソースプログラムを入手いただいたうえ ソースプログラム同梱のドキュメントを参照ください なおrpmバイナリパッケージ版はGNUコンパイラ (gcc/g77) で作成されています GridMPI や GridRPC SBC Mediator コンポーネントにおいてIntel コンパイラや Myrinet/MX 他を使用される場合はソースファイルから導入が必要となりますのでご注意ください 導入にあたっては GridMPIコンポーネントはソースプログラム同梱のREADMEおよび を GridRPCコンポーネントはソースプログラム同梱のoverview.htmlおよびinstall.htmlを SBCコンポーネントは 管理者ガイド NAREGI Middleware SBC(Synchronous Data Transfer Library) を Mediatorコンポーネントは 管理者ガイド NAREGI Middleware Mediator を参照ください NAREGI ミドルウェアの導入は次の順序で行います かぎ括弧内は説明している節番号です なお 旗艦ノードとはインストールを代表して行うノードです 1. 事前準備および確認事項 NAREGIインストーラの取得と導入 旗艦ノードのOS 更新 ノード構成の設定 全ノードのOS 更新 証明書の取得 前提ソフトウェアパッケージのインストール UMSおよびVOMSの導入と設定 ( 手動 ) NAREGIミドルウェアパッケージのインストール NAREGIサービスの起動と停止 IS handle 作成 インストールの終了 VO 内共有ディレクトリの作成 DataGrid(DG) のインストール 2.15 (DataGridを利用する場合に実施) 15. GridRPCフロントエンドノードの構築 2.16 (GridRPCを利用する場合に実施 ) 9

20 2.1 事前準備および確認事項ここでは NAREGI ミドルウェアのインストールを開始する前の準備や確認事項につ いて説明します 構成情報の設定 (1) インストールディレクトリ NAREGI ミドルウェアは /usr/naregi 配下にインストールされます (2) 環境変数 NAREGIミドルウェアが動作するにあたって必要な環境変数は rpmパッケージによるインストール実施時に設定されます 設定される環境変数は 6 環境変数 を参照ください (3) 設定情報 次の各設定情報について 事前に設定値を決定しておきます 表 事前に決定する設定情報 設定情報 設定値 ( 例 ) 備考 VO 名 rpmtest 認証局 DN /C=JP/O=naregi/OU=togo CA 名 naregica ホスト証明書 /C=JP/O=naregi/OU=togo/CN=host/ ホスト名 ホスト証明書 DN は 認証局 DN とホスト名より自動的に決定されます ユーザ証明書 /C=JP/O=naregi/OU=togo/CN= ユーザ名 ユーザ証明書 DN は 認証局 DN とユーザ名より自動的に決定されます (4) アカウント情報 rpmを用いたインストールにおいて使用する / 作成されるユーザアカウントは次の通りです 管理者による事前作成が 必要 とあるアカウントは 予め作成しておく必要があります 作成手順および作成時の注意事項については アカウントの作成 を参照ください 10

21 表 アカウント情報 アカウント種別 アカウント名 管理者による事前作成 (*1) ユーザ証明書の発行 (*2) インストールアカ installuser 必要 しない ウント ( 全ノードに作成 すでに NIS 管理されているアカウントの場合は作成不要 ) VOMS 管理者アカ voms 必要 発行する ウント (UMS ノードのみに作成 ) NAREGI システム globus 不要 (*3) 発行する アカウント NAREGI システム portal 不要 (*3) しない アカウント テストアカウント naregiuser 必要 (UMS ノード GridVM 管理兼計算ノード GridVM 計算ノード DG-DGUFT ノード (*4) DG-Gfarm-VO ノード (*4) に作成 ) 発行する (*1) ノードについては2.1.1(5) を参照ください (*2) ユーザ証明書の発行は で実施します (*3) globus アカウントは UMS ノード以外のノードに portal アカウントは Portal ノードに NAREGI インストーラが各々自動作成します (*4) Gfarm medata server コンポーネント以外のコンポーネントが存在する DG ノード は テストアカウントの作成が必要です (5) ノード構成 NAREGI ミドルウェアをインストールする際の標準ノード構成例は次の通りです 表 標準ノード構成例 No. ホスト名 (*1) IP アドレス ノードタイプ ノード種別 1 naregi-portal Portal 管理ノード 2 naregi-ss SS 管理ノード 3 naregi-isnas IS-NAS 管理ノード 4 naregi-iscdas IS-CDAS 計算ノード 5 naregi-gvms GridVM 管理兼 計算ノード GridVM 計算 6 naregi-gvmc GridVM 計算 計算ノード 7 naregi-cara CA/RA 兼旗艦 旗艦ノード 8 naregi-ums UMS(*2) 管理ノード 9 naregi-dguft DGUFT 10 naregi-gfarm Gfarm 11 naregi-rpcfe GridRPC フロントエンド (*2) 11

22 (*1) FQDN は ホスト名.naregi.org (*2) NAREGI ミドルウェア rpm パッケージ未対応のため手動インストールを行います それぞれ 2.8 UMSおよびVOMSの導入と設定 ( 手動 ) および 2.16 GridRPCフロントエンドノードの構築 を参照ください OSのインストールと設定各ノードにOSをインストールします サポートOSのバージョンは1.2.2 サポートOS とローカルスケジューラを参照ください 次項以降の説明例では UMSノードは Scientific Linux その他のノードはCentOS 5.2 を用いています なお OSセキュリティパッチはrpmパッケージのインストール実施中に適用します ( 旗艦ノードへのセキュリティパッチ適用および 全ノードへのセキュリティパッチ適用 ) インストールするノードには できるだけ必要最小限のパッケージを導入し NAREGI ミドルウェアが動作するために必要なパッケージを後から補うようにしてください 各ノードのネットワークの設定 NIS の設定 ( アカウントを NIS 管理する場合 ) NFS の設定 ( テストアカウントの登録 ) ntp 等による全ノード時刻同期の設定は rpm パッケージのインストール前に実施しておく必要があります OSのインストールと設定手順の例は 8 ( 付録 ) NAREGIミドルウェア導入事前設定手順例 の 8.1 構成情報 から 8.3 インストール後の設定 を参照ください なお opensuse を使用される場合は syslogd を動作させるために予め AppArmor ( セキュリティツール ) を無効にしておきます # /sbin/chkconfig boot.apparmor off # /sbin/chkconfig --list boot.apparmor boot.apparmor 0:off 1:off 2:off 3:off 4:off 5:off 6:off off になっていることを確認 設定後はノードの再起動を行います ホスト名について NAREGI ミドルウェアをインストールするノードのホスト名は FQDN で設定されている必要があります 全てのノードで hostname コマンドを実行し FQDN が正しく設定されていることを確認ください # hostname naregi-portal.naregi.org portal ノードの例 12

23 opensuse 環境では ドメイン名が付かないホスト名が既定で設定されています このため opensuse を使用される場合は起動スクリプトを編集し ホスト名に FQDN が設定されるようにする必要があります /etc/rc.d/init.d/boot.localnet をエディタで編集し 次の変更を行ってください 編集 後 マシンの再起動を行い ホスト名が FQDN であることを確認してください # vi /etc/rc.d/init.d/boot.localnet hostname ${XHOSTNAME%%.*} hostname ${XHOSTNAME} %%.* の部分を削除する なお ローカルスケジューラに Sun Grid Engine を使用する場合は ホスト名の長さ が 24 文字以下になるよう設定する必要があります アカウントの作成 2.1.1(4) で決定した各アカウントのうち 事前作成が必要なものを作成します 作成手順の例は 8 ( 付録 ) NAREGIミドルウェア導入事前設定手順例 の 8.4 アカウントの作成と設定 を参照ください ローカルスケジューラの導入 (1) ローカルスケジューラの導入 GridVM 管理ノード および GridVM 計算ノードにローカルスケジューラを導入します 次項以降の説明例では PBS Professional が導入されることを想定しています NAREGIミドルウェアがサポートするローカルスケジューラおよびバージョンは を参照ください ローカルスケジューラの導入方法および設定については 各ローカルスケジューラ付属の説明書を参照してください なおPBS Professionalの導入および設定については 8 ( 付録 ) NAREGIミドルウェア導入事前設定手順例 の 8.5 PBS Professionalのインストールと動作確認 を参照ください また Sun Grid Engine の導入後には GridVM 管理ノードおよび GridVM 計算ノードにおいて reporting ファイルへの出力情報の設定をしておく必要があります # qconf -mconf 13

24 reporting_params accounting=true reporting=true joblog=true flush_time=00:00:15 sharelog=00:00:00 reporting_params の accounting reporting joblogの値をすべて =true に変更 Sun Grid Engine へジョブ投入 実行が可能な状態にしておきます ジョブの作成方 法等に関してはSun Grid Engineインストールガイドを参照してください なおPluSのイ ンストールは 2.9 PluS のインストール で行います (2) ganglia が導入済の場合 すでに Ganglia を導入されている場合は port 番号が重複しないようにする必要が あります なお NAREGI ミドルウェアでインストールされる Ganglia(naregi-ganglia) は "8649" 番 port を使用します 既存 Ganglia のインストール情報については 計算機セ ンターの管理者に確認ください naregi-ganglia の port 番号の変更は GridVM 管理ノードおよび GridVM 計算ノード において次の手順で行います 以下の例において /usr/naregi は NAREGI ミドルウェア のインストールディレクトリです naregi-gvms1 ~]$ vi /usr/naregi/etc/gmond.conf 設定ファイル中の port=8649 部分を編集 (3 箇所 ) 14

25 2.2 NAREGIインストーラの取得と導入 NAREGIインストーラの取得 NAREGI ダウンロードサイトから NAREGI インストーラを取得し展開します (CentOS の場合 ) [installuser@naregi-cara ~]$ lftpget h/naregi-utils cent5.28.noarch.rpm ダウンロードサイトから NAREGI インストーラを取得 (opensuse の場合 ) [installuser@naregi-cara ~]$ lftpget oarch/rpms.osuse10/naregi-utils osuse10.28.noarch.rpm [installuser@naregi-cara ~]$ lftpget oarch/naregi-apt lorg3.2-0osuse10.0.i586.rpm [installuser@naregi-cara ~]$ lftpget oarch/naregi-apt lorg3.94a-0osuse10.0.x86_64.rpm ダウンロードサイトから NAREGI インストーラを取得 NAREGIインストーラの導入旗艦ノード上に NAREGI インストーラをインストールし起動することを確認します インストールは rpm コマンドを利用します (CentOS の場合 ) [installuser@naregi-cara ~]$ sudo rpm -Uvh naregi-utils cent5.23.noarch.rpm NAREGIインストーラのインストール (rpmパッケージを取得したディレクトリで実行 ) (opensuse の場合 ) [installuser@naregi-cara ~]$ sudo rpm -Uvh naregi-utils osuse10.14latest.noarch.rp m [installuser@naregi-cara ~]$ sudo rpm -Uvh naregi-apt lorg3.2-0osuse10.0.i586.rpm NAREGIインストーラのインストール (rpmパッケージを取得したディレクトリで実行 ) NAREGI インストーラの起動 [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-install.sh NAREGI インストーラの起動 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### 15

26 ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9) : 以降 NAREGI インストーラの指示に従い 対話的にインストールを行います 16

27 2.3 旗艦ノードのOS 更新 旗艦ノードへのセキュリティパッチ適用 NAREGI インストーラは 旗艦ノードから他ノードに対してインストールを行いま す 従って まず旗艦ノードの OS のセキュリティパッチを適用します ~]$ /usr/naregi/sbin/nrg-install.sh NAREGI インストーラの起動 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9) : 1 OS update (this node) ( 本例では 1) を選択 Your input : 1 OK? [Y/n]: sudo Defaults setting. ssh Defaults setting. [1] OS update (this node) 1. appling security update check naregi-globus installation... NOTE: yum affairs... ( 略 ) * Note : To complete kernel update, you have to reboot! Reboot now? [Y/n]: Y Y もしくはリターン入力 17

28 reboot!!!!!!!!! date : Fri Apr 11 08:34:58 JST 2008 [1] OS update (this node) complete ( 略 ) リブート開始を指示後 旗艦ノードから一旦ログアウトし セキュリティパッチが適用された状態で旗艦ノードが再起動されるまでお待ちください 旗艦ノードの起動後 再度旗艦ノードにログインしてください 18

29 2.4 ノード構成の設定 管理ノード構成情報の設定 NAREGI インストーラを起動しノード構成設定 ( メニューの 2) を選択し 管理ノ ードの情報設定 ( メニューの 1) を選択します 以下 管理ノード ( 計算ノード以外 ) の情報設定 ( ホスト名 IP アドレス ホスト証明書 DN) を順次行います 管理ノード および計算ノードについては 2.1.1(5) を参照してください (1) ノード構成設定画面の表示 [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-install.sh NAREGIインストーラの起動 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9) : 2 setup NAREGI nodes information ( 本例では2) を選択 Your input : 2 OK? [Y/n]: (2) 管理ノード情報設定メニューの表示 [2] setup NAREGI nodes information setup NAREGI nodes information

30 --- Select NAREGI node config (1) node config (2) VM node config (0) exit Select NAREGI node config (0-2): (3) 認証局 DN 情報の設定と CA( 認証局 ) RA( 登録局 ) の設定 証明書発行を行う認証局 (CA) の DN を設定します すでに運用されている認証局か ら取得した証明書を利用する場合は CA/RA ノードを構築しない ( n を選択 ) とする必 要があります setup NAREGI nodes information Select NAREGI node config (1) node config (2) VM node config (0) exit Select NAREGI node config (0-2):1 node config ( 本例では 1) を選択 Your input : 1 OK? [Y/n]: [2]-(1) NAREGI node configration ### NAREGI node setting ### ## DN subject ## DN subject [/C=JP/O=naregi/OU=mylab]: /C=JP/O=naregi/OU=togo 予め決定した DN を入力 Your settings: DN subject : /C=JP/O=naregi/OU=togo Setting is correct? [Y/n]: Do you need CA/RA? 1. yes You can issue trial certificate files for all the hosts of this site, globus user and Job submit test user. Build CA/RA and issue certificate files at section [4]. Note: CA/RA are built on this node. 2. no You already have official certificate files 20

31 for all the hosts/users of this site. Extract the certificate files from tar archives at section [4]. Do you need CA/RA? [Y/n]: NAREGIミドルウェアrpmパッケージ同梱のCAから発行した証明書を利用する場合は y ( デフォルト ) すでに運用されているCAから発行された証明書を利用する場合は n を選択する ## CA ## CA node IP : CA node host name : naregi-cara.naregi.org CA DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-cara.naregi.org ## RA ## RA node IP : RA node host name : naregi-cara.naregi.org RA DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-cara.naregi.org (4) UMS のノード情報設定 ## UMS ## UMS node IP [ ]: UMS node host name [ums.hoge.org]: naregi-ums.naregi.org UMSノードのIPアドレスとノード名を入力 UMS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-ums.naregi.org]: Your settings: UMS node : naregi-ums.naregi.org UMS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ums.naregi.org Setting is correct? [Y/n]: (5) IS -NAS のノード情報設定 ## ISNAS ## ISNAS node IP [ ]: ISNAS node host name [isnas.hoge.org]: naregi-isnas.naregi.org ISNASノードのIPアドレスとノード名を入力 ISNAS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org]: 21

32 Your settings: ISNAS node : naregi-isnas.naregi.org ISNAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org Setting is correct? [Y/n]: (6) IS -CDAS のノード情報設定 ## ISMCDAS ## Celldomain name [Celldomain1]: デフォルトから変更の必要がなければ空送信 ( リターンキー ) で次へ ISMCDAS node IP [ ]: ISMCDAS node host name [iscdas.hoge.org]: naregi-iscdas.naregi.org ISCDASノードのIPアドレスとノード名を入力 ISMCDAS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org]: Your settings: Celldomain name : Celldomain1 ISMCDAS node : naregi-iscdas.naregi.org ISMCDAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org Setting is correct? [Y/n]: ## ISSCDAS ## ISSCDAS node IP [ ]: ISMCDAS node host name [naregi-iscdas.naregi.org]: ISSCDAS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org]: Your settings: ISSCDAS node : naregi-iscdas.naregi.org ISSCDAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org Setting is correct? [Y/n]: (7) SS のノード情報設定 ## SS ## 22

33 SS node IP [ ]: SS node host name [ss.hoge.org]: naregi-ss.naregi.org SSノードのIPアドレスとノード名を入力 SS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org]: Your settings: SS node : naregi-ss.naregi.org SS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org Setting is correct? [Y/n]: SS RCS node IP [ ]: SSノードと同一ノード ( デフォルト ) でよければ空送信 ( リターンキー ) で次へ SS RCS node host name [naregi-ss.naregi.org]: SS RCS node port [8080]: SS RCS DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org]: Your settings: SS RCS node : naregi-ss.naregi.org: SS RCS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org Setting is correct? [Y/n]: (8) GridVM Scheduler のノード数設定 GridVM 管理ノードの情報設定 (2.4.1(9)) に先立ち ノード数を設定します なおノー ド構成については 2.1.1(5) を参照してください ## GVMSNUM ## The number of GridVM Scheduler node [1]: 1 GridVM 管理ノード数を指定 ( 本例では1) を入力 Your settings: The number of GridVM Scheduler node : 1 Setting is correct? [Y/n]: 23

34 (9) GridVM Scheduler のノード情報設定 GridVM 管理ノードが 2 ノード以上ある場合は GridVM 管理ノードごとに IP アド レス ホスト名 証明書 DN RP(Resource Provider) を設定します その際 RP は 共有することも可能で 同一 RP 名 ( 名前は任意 ) を指定することで実現します ## GVMS ## GridVM Scheduler node 1 IP [ ]: GridVM Scheduler node 1 host name [gvms1.hoge.org]: naregi-gvms1.naregi.org GridVM 管理ノードのIPアドレスとノード名を入力 GridVM Scheduler node 1 DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.or g]: GridVM Scheduler node 1 RP [kyushu-u-1]: RP-1 RP(Resource Provider) を設定 ( 本例では "RP-1") を入力 Your settings: GridVM Scheduler node 1 : naregi-gvms1.naregi.org GridVM Scheduler node 1 DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.o rg GridVM Scheduler node 1 RP : RP-1 Setting is correct? [Y/n]: 空送信 ( リターンキー ) (10) Portal のノード情報設定 Portal ノードがグローバルおよびローカルの 2 つのアドレスを持つ場合に限り Portal node host name と Portal node GATE name の値が異なります Portal node GATE name には外向きのグローバルアドレスを持つホスト名を指定してください ## PORTAL ## Portal node IP [ ]: Portal node host name [portal.hoge.org]: naregi-portal.naregi.org PortalノードのIPアドレスとノード名を入力 Portal node GATE name [naregi-portal.naregi.org]: Portal node GATE nameは外向きのグローバスアドレスを持つホスト名を指定 ( 本例では空送信 ( リターンキー ) で次へ ) Portal DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-portal.naregi.org]: Your settings: 24

35 Portal node : naregi-portal.naregi.org Portal node GATE name : naregi-portal.naregi.org Portal DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-portal.naregi.org Setting is correct? [Y/n]: (11) VO 名の設定 ## VO ## VO name [nrg-vo]: rpmtest Your settings: VO name : rpmtest Setting is correct? [Y/n]: VO 名 ( 本例では rpmtest ) を入力 (12) 全体の設定確認 Your settings: CA node : naregi-cara.naregi.org CA DN : /C=JP/O=naregi/OU=togo/CN=host/ naregi-cara.naregi.org RA node : naregi-cara.naregi.org RA DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-cara.naregi.org UMS node : naregi-ums.naregi.org UMS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ums.naregi.org ISNAS node : naregi-isnas.naregi.org ISNAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org IS Celldomain name : Celldomain1 ISMCDAS node : naregi-iscdas.naregi.org ISMCDAS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-iscdas.naregi.org ISSCDAS node : naregi-iscdas.naregi.org ISSCDAS DN : /C=JP/O=naregi/OU=togo/CN=host/ naregi-iscdas.naregi.org SS node : naregi-ss.naregi.org SS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org SS RCS node : naregi-ss.naregi.org: SS RCS DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-ss.naregi.org GridVM Schd NUMBER : 1 GridVM Schd 1 node : naregi-gvms1.naregi.org GridVM Schd 1 DN : "/C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.org" GridVM Schd 1 RP : "RP-1" Portal node : naregi-portal.naregi.org Portal Gate name : naregi-portal.naregi.org Portal DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-portal.naregi.org 25

36 VO name : rpmtest Do you modify it again? [y/n]: 設定を修正する場合は n を応答し 最初から再度設定を実施する ( 空送信 ( リターンキー ) で次へ ) (13) ノード構成情報の各ノードへの配布 NAREGI node setting is completed. check the remote nodes access to HOST:naregi-gvms1.naregi.org... check ssh to HOST:naregi-gvms1.naregi.org... ssh Defaults setting. Connection to naregi-gvms1.naregi.org closed. check sudo at HOST:naregi-gvms1.naregi.org... sudo Defaults setting. Connection to naregi-gvms1.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL Login Shell : check OS release... check clockdiff... list rpm packages at HOST:naregi-gvms1.naregi.org OK? [Y/n]: パッケージリストの更新確認 ( 空送信 ( リターンキー ) で次へ ) access to HOST:naregi-portal.naregi.org... check ssh to HOST:naregi-portal.naregi.org... The authenticity of host 'naregi-portal.naregi.org ( )' can't be established. RSA key fingerprint is a0:8f:d2:e2:40:4a:d5:75:90:67:95:dc:33:b3:89:25. Are you sure you want to continue connecting (yes/no)? yes ssh Defaults setting. Connection to naregi-portal.naregi.org closed. check sudo at HOST:naregi-portal.naregi.org... sudo Defaults setting. Connection to naregi-portal.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL Login Shell : check OS release... 26

37 check clockdiff... list rpm packages at HOST:naregi-portal.naregi.org OK? [Y/n]: パッケージリストの更新確認 ( 空送信 ( リターンキー ) で次へ ) ( 中略 ) 以降 各ノード分繰り返し ( 中略 ) deploy the naregi node config * get remote host's list from /usr/naregi/etc/node.conf * remote nodes : * naregi-gvms1.naregi.org * naregi-portal.naregi.org * naregi-ss.naregi.org * naregi-isnas.naregi.org * naregi-iscdas.naregi.org Deploy node.conf to the remote nodes? [Y/n]: 空送信 ( リターンキー ) で各ノードへ構成情報を配布する deploy the naregi node.conf to HOST:naregi-gvms1.naregi.org... deploy the naregi node.conf to HOST:naregi-portal.naregi.org... deploy the naregi node.conf to HOST:naregi-ss.naregi.org... deploy the naregi node.conf to HOST:naregi-isnas.naregi.org... deploy the naregi node.conf to HOST:naregi-iscdas.naregi.org... deploy the naregi node config complete 配付完了 [2]-(1) NAREGI node configration complete setup NAREGI nodes information Select NAREGI node config (1) node config

38 --- (2) VM node config (0) exit Select NAREGI node config (0-2): なお 配布中にパスワードの問合せがある場合はインストールアカウントのパスワー ドを入力してください GridVM 計算ノード構成情報の設定 管理ノードに続いて GridVM 計算ノードの情報を設定します (1) 計算ノード情報設定メニューの表示 setup NAREGI nodes information Select NAREGI node config (1) node config (2) VM node config (0) exit Select NAREGI node config (0-2): 2 VM node config を選択 Your input : 2 OK? [Y/n]: (2) GridVM Engine のノード情報設定と配布 (1 ノード目 ) [2]-(2) GridVM node configration NOTE: To identify Grid VM scheduler, please select Grid VM scheduler twice. * number of GridVM (Scheduler): 1 * GridVM LIST : * 1. naregi-gvms1.naregi.org * --- * 0. exit Select GridVM from the LIST (input number) (0-1): 1 GridVM 管理ノードを選択 Your input : 1 OK? [Y/n]: 28

39 configure GridVM 1... ### VM node setting ### Note: If you had certificate files for "Job submit test user", you can deploy certificate files and setup by this tool. Preconditions 1. "Job submit test user" were already useradded to GridVM nodes. 2. you have certificate files for this user, or you will make certificate files with this site's CA/RA. Do you need operations for Job submit test user? [Y/n]: テストユーザの証明書類をGridVM 計算ノードに配布を行うかの確認デフォルトは y ( 空送信 ( リターンキー ) で次へ ) n を選択した場合は インストール終了後に手動でGridVMノードのgrid-mapfile に登録を行う 登録手順は統合マニュアル利用手引書 ( 管理者編 ) 2.3 grid-mapfileへの登録 を参照ください Job submit test user [voms-test]: naregiuser テストユーザを入力 Job submit test user DN [/C=JP/O=naregi/OU=togo/CN=naregiuser]: GridVM engine user [globus]: GridVM engine group [globus]: GridVM engine port [7474]: GridVM scheduler port [7777]: The number of GridVM engine host [1]: 2 1ノード目のGridVM 管理ノード配下で持つGridVM Engineのノード数を入力 GridVM engine 1 host name []: naregi-gvms1.naregi.org 1ノード目のGridVM 計算 ( 兼 GridVM 管理 ) ノードのホスト名 GridVM engine 1 DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.org]: GridVM engine 2 host name []: naregi-gvmc1.naregi.org 2ノード目のGridVM 計算ノードのホスト名 GridVM engine 2 DN [/C=JP/O=naregi/OU=togo/CN=host/naregi-gvmc1.naregi.org]: 29

40 Your settings: The RP name : RP-1 GridVM engine user : globus GridVM engine group : globus GridVM engine port : 7474 GridVM scheduler host : naregi-gvms1.naregi.org GridVM scheduler host DN : /C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.org GridVM scheduler port : 7777 The # of GridVM engine hosts : 2 GridVM engine 1 host name : naregi-gvms1.naregi.org GridVM engine 1 DN : "/C=JP/O=naregi/OU=togo/CN=host/naregi-gvms1.naregi.org" GridVM engine 2 host name : naregi-gvmc1.naregi.org GridVM engine 2 DN : "/C=JP/O=naregi/OU=togo/CN=host/naregi-gvmc1.naregi.org" Job submit test user : naregiuser Job submit test user DN : /C=JP/O=naregi/OU=togo/CN=naregiuser Do you modify it again? [y/n]: セッティングした内容を確認し空送信 ( リターンキー ) で次へ VM node setting is completed. check the remote nodes access to HOST:naregi-gvms1.naregi.org... check ssh to HOST:naregi-gvms1.naregi.org... ssh Defaults setting. Connection to naregi-gvms1.naregi.org closed. check sudo at HOST:naregi-gvms1.naregi.org... sudo Defaults setting. Connection to naregi-gvms1.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL Login Shell : check OS release... check clockdiff... list rpm packages at HOST:naregi-gvms1.naregi.org OK? [Y/n]: access to HOST:naregi-gvmc1.naregi.org... check ssh to HOST:naregi-gvmc1.naregi.org... ssh Defaults setting. Connection to naregi-gvmc1.naregi.org closed. check sudo at HOST:naregi-gvmc1.naregi.org... 30

41 sudo Defaults setting. Connection to naregi-gvmc1.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL Login Shell : check OS release... check clockdiff... list rpm packages at HOST:naregi-gvmc1.naregi.org OK? [Y/n]: deploy the GridVM node config * get remote host's list from /usr/naregi/etc/vmnodes/vmnode001.conf * remote nodes : * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org NOTE: If you changed a GridVM node configuration, you have to deploy vmnode.conf to the GridVM nodes. Deploy vmnode.conf & node.conf to the remote GridVM scheduler/engine nodes? [Y/n]: 空送信 ( リターンキー ) で GridVM Scheduler 1のGridVM 計算ノードの構成情報を配布 deploy the vmnode.conf & node.conf to HOST:naregi-gvms1.naregi.org... deploy the vmnode.conf & node.conf to HOST:naregi-gvmc1.naregi.org... (3) 情報設定メニューの終了 [2]-(2) GridVM node configration NOTE: To identify Grid VM scheduler, please select Grid VM scheduler twice. * number of GridVM (Scheduler): 1 * GridVM LIST : * 1. naregi-gvms1.naregi.org * --- * 0. exit Select GridVM from the LIST (input number) (0-1): 0 31

42 Exit ( 本例では0) を選択 Your input : 0 OK? [Y/n]: update vmnodesum.conf at HOST:naregi-cara.naregi.org.... exit [2]-(2) GridVM node configration complete setup NAREGI nodes information Select NAREGI node config (1) node config (2) VM node config (0) exit Select NAREGI node config (0-2): 0 Exit ( 本例では0) を選択. Your input : 0 OK? [Y/n]: - exit [2] setup NAREGI nodes information complete ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 32

43 2.5 全ノードのOS 更新 全ノードへのセキュリティパッチ適用 旗艦ノードにおける NAREGI インストーラのメインメニューから実施します 注意 1:update 実行中に強制的に終了すると OS が管理する rpm データベースに不 具合が生じる可能性がありますのでご注意ください 注意 2: 本処理で nrg-install.sh を実行する場合 2.2 NAREGI インストーラの取得 で取得した NAREGI インストーラのファイルが存在する場所で実行してく ださい ( 異なる場所で実行するとエラーとなります ) [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-install.sh NAREGIインストーラの起動 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 3 OS update (remote nodes) ( 本例では3) を選択 Your input : 3 OK? [Y/n]: OS の更新は ssh sudo と yum コマンドを使用し行っていますが 途中でパスワード 問合せがあった場合はインストールアカウントのパスワードを入力してください [3] OS update (remote nodes) * get remote host's list from /usr/naregi/etc/node.conf & /usr/naregi/etc/vmnodes/vmnodesum.conf * remote node list: 33

44 * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org * naregi-portal.naregi.org * naregi-ss.naregi.org * naregi-isnas.naregi.org * naregi-iscdas.naregi.org OK? [Y/n]: 適用するノードを確認し空送信 ******* OS update (remote nodes) * check each host check ssh to HOST:naregi-gvms1.naregi.org... ssh Defaults setting. Connection to naregi-gvms1.naregi.org closed. check sudo at HOST:naregi-gvms1.naregi.org... sudo Defaults setting. Connection to naregi-gvms1.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL check ssh to HOST:naregi-gvmc1.naregi.org... ssh Defaults setting. Connection to naregi-gvmc1.naregi.org closed. check sudo at HOST:naregi-gvmc1.naregi.org... sudo Defaults setting. Connection to naregi-gvmc1.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL check ssh to HOST:naregi-portal.naregi.org... ssh Defaults setting. Connection to naregi-portal.naregi.org closed. check sudo at HOST:naregi-portal.naregi.org... sudo Defaults setting. Connection to naregi-portal.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL check ssh to HOST:naregi-ss.naregi.org... ssh Defaults setting. Connection to naregi-ss.naregi.org closed. check sudo at HOST:naregi-ss.naregi.org... sudo Defaults setting. Connection to naregi-ss.naregi.org closed. User installuser may run the following commands on this host: 34

45 (ALL) NOPASSWD: ALL check ssh to HOST:naregi-isnas.naregi.org... ssh Defaults setting. Connection to naregi-isnas.naregi.org closed. check sudo at HOST:naregi-isnas.naregi.org... sudo Defaults setting. Connection to naregi-isnas.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL check ssh to HOST:naregi-iscdas.naregi.org... ssh Defaults setting. Connection to naregi-iscdas.naregi.org closed. check sudo at HOST:naregi-iscdas.naregi.org... sudo Defaults setting. Connection to naregi-iscdas.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL * check each host complete Select reboot option interactive (recommended) all none NOTE : OS update takes about 1 hour/node. Select reboot option (0-2): 1 rebootオプションの選択 ( 本例では1) を選択 0:1ノードごとにrebootの確認をする 1: 自動でrebootを実施する 2: 何もしない (OSパッチ適用処理を終了) Your input : 1 OK? [Y/n]: * OS update HOST:naregi-gvms1.naregi.org check initial rpms installation... clean wdir... send naregi install rpms... install initial rpms... ( 中略 ) 全ノードの更新を行いますので時間が掛かります 35

46 ( 中略 ) * OS update HOST:naregi-iscdas.naregi.org complete ******* OS update (remote nodes) complete [3] OS update (remote nodes) complete 36

47 2.6 証明書の取得証明書を発行 配布する方法を説明します NAREGIミドルウェアrpmパッケージ同梱のNAREGI-CAから証明書を発行 配布するには CAの構築と証明書発行準備 から ユーザ証明書の発行 までを実施ください すでに運用されている認証局から取得したホスト証明書を配置するには ホスト証明書の配置 を実施ください CA の構築と証明書発行準備 (1) 認証局 / 登録局の構築 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 4 certificate ( 本例では4) を選択し 証明書発行を開始 Your input : 4 OK? [Y/n]: (2) 認証局の構築 Select Certificate Operation (1) build CA (2) build RA (3) make HOST certificate files (4) make USER certificate files (0) exit

48 Select Certificate Operation (0-4): 1 Your input : 1 OK? [Y/n]: build CA ( 本例では1) を選択し認証局構築を開始 CA/RA を構築するにあたり 次の 3 種類のパスフレーズ入力が必要となります ( 下 記メニュー ) なお 3. は 章で使用します 1. CA オペレータのための鍵のパスフレーズ ( 例 :passwd1) 2. RA で利用する export のパスフレーズ ( 例 :passwd2) 3. RA で利用するオペレータの鍵のパスフレーズ ( 例 :passwd3) ############################################################################### ### Note : You need 3 password(pw) to build CA/RA. ### ### 1. CA Master PW (issue@ca,use@ca): PKCS#12 PW, CA Operator key, # ## ### PASS Phrase ### ### 2. Export PW (issue@ca,use@ra): PKCS#12 PW # ## ### 3. Access PW (issue@ra,use@ra): Operator PW, Open Private Key ### ############################################################################### Continue? [Y/n]: 上記を確認し空送信 ( リターンキー ) Note : CA name is empty, input CA name. (Do not use [SPACE]!) this CA name is only referred when build CA/RA at this node. Input CA name : naregica CANameの入力 CA name : [naregica] OK? [Y/n]: 上記を確認し空送信 ( リターンキー ) [4]-(1) build CA ******* build CA * 1. check CA name : [naregica], CA subject : [/C=JP/O=naregi/OU=togo] Ok? [Y/n]: 上記を確認し空送信 ( リターンキー ) 38

49 ( 中略 ) (3) 認証局の初期化 * 3. setup naregi-ca [PASSWD1] =========================================== Registration of Certification Authority =========================================== Step 1. initialize CA Master Password. * this password will be used for CA private key encryption or * HSM login password. Also, "CAOperator" private key in the * NAREGI CA certificate store will be encrypted with this password. Input Master Passwd : passwd1 Verify - Input Master Passwd : passwd1 予め決定した CAオペレータのための鍵のパスフレーズ ( 本例では passwd1) を入力 Step 2. create a new Certificate Authority * create a new Certificate Authority for the CA server. * CA information files are placed in : * /usr/naregi/ca/naregica generate private key (size 2048 bit)...o...o CA subject : C=JP, O=naregi, OU=togo, Certificate DATA: serial number : 1 issuer : C=JP, O=naregi, OU=togo, subject: C=JP, O=naregi, OU=togo, notbefore: Apr 11 18:43: notafter : Apr 09 18:43: now signing.. generate private key (size 1024 bit)...oo...oo CA operator certificate has been issued. (sn=2) Update CA information. Step 3. CA Server registration * new Certificate Authority is created successfully. * now this CA will be registered into the CA Server. 39

50 * if you want to change default setting, you can do it * manually by editing aica.cnf file with text editor. * aica.cnf file is placed in : * /usr/naregi/ca/lib/aica.cnf import a file to the store successfully. success to register a CA : naregica success to register a CRL Publisher : /usr/naregi/ca/naregica success to unregister RAd RegInfo : dummy success to register a RAd RegInfo : localhost:naregica ++Check One PKCS#12Bag, type= Check One PKCS#12Bag, type=11002 TOP - C=JP, O=naregi, OU=togo, --0 output a file CA server registration is finished successfully. put "aicad" command to start the CA server. then, you can test following "aica" command to check if server works correctly. * aica print -sv localhost:naregica -ssl -clid CAOperator001 (4) 認証局の起動 ( 自動起動 ) * 4. start naregi-ca ## Boot the CA Server : input master password for each CA ## CA PKCS#12 file open success CA registration : /usr/naregi/ca/naregica read config file. port=11411,listen=5 ssl=1,req=1,vfy=9 read server certificate : O=naregi-cara.naregi.org, OU=server-9edfc6-f87531, CN=caserver010 0, set certificate request option. start aicad daemon process (11752) * 5. Check naregi CA deamon [PASSWD1] Check naregi CA deamon Print aica conf... trying to connect localhost(11411):naregica (ssl) Open Private Key: passwd1 予め決定した CAオペレータのための鍵のパスフレーズ ( 本例では passwd1) を入力 40

51 Certificate Profile : SMIME user certificate version : 3 current serial number: 1 signature algorithm : SHA1WithRSAEncryption certificate begin : at signing time certificate end : 1095 days ( sec) certificate update : 0 days (0 sec) subject template : C=JP, O=naregi, OU=togo, profile working policy : reuse same subject DN... allow reuse same public key... allow replace subject DN with template... allow CSR subject matching policy : C:option, ST:option, L:option, O:option OU:option, CN:option, UID:option, E:option certificate extensions : X509v3 extensions: x509 Basic Constraints:[critical] CA:FALSE PathLenConstraint:NULL x509 Key Usage: digitalsignature, nonrepudiation, keyencipherment, dataencipherment, (0xf0) x509 Authority Key Identifier: 6d:fa:41:e3:02:9b:7c:58:82:52:00:ac:c5:74:b9:e0:9e:d8:6d:90: x509 Subject Key Identifier: 6d:fa:41:e3:02:9b:7c:58:82:52:00:ac:c5:74:b9:e0:9e:d8:6d:90: x509 Subject Alt Name: [4] C=JP, O=org, OU=org unit, OU=org unit CA, Try again? [y/n]: Check you setting. ALL RIGHT? [Y/n]: * 6. set SSL profiles * 6-1. add SSL server profile for 'Globus host' [PASSWD1] add 'Globus host' profile (select SSL server template)... CA PKCS#12 file open Input PKCS#12 Password: passwd1 予め決定した CAオペレータのた 41

52 めの鍵のパスフレーズ ( 本例では passwd1) を入力 Add a certificate profile to this CA. [1] WirelessLAN sv Profile template [2] SSL server Profile template [3] IPSEC Profile template [4] Cross Cert Profile template [5] Operator Profile template [6] SSL client Profile template [7] WirelessLAN cl Profile template [8] SMIME user Profile template [9] Empty Profile template [10] Sub-CA Profile template [0] Exit Please select a templete number [0]: 2 SSL server Profile template ( 本例では [2]) を選択し ホスト証明書を作成する名前を設定 Selected profile templete is "SSL server Profile template" Input Profile Name : Globus host プロファイルの名前 ( 本例では Globus host) を入力 do you continue this operation? (y/n)[n]: Update CA information confirm 'Globus host' profile... (Netscape Cert Type: SSL server) CA PKCS#12 file open Input PKCS#12 Password: passwd1 予め決定した CAオペレータのための鍵のパスフレーズ ( 本例ではpasswd1) を入力 Issuer : C=JP, O=naregi, OU=togo, Subject : C=JP, O=naregi, OU=togo, Certificate Profile : Globus host certificate version : 3 current serial number: signature algorithm : SHA1WithRSAEncryption certificate begin : at signing time certificate end : 1095 days ( sec) certificate update : 0 days (0 sec) subject template : 42

53 C=JP, O=naregi, OU=togo, profile working policy : reuse same subject DN... allow replace subject DN with template... allow CSR subject matching policy : C:option, ST:option, L:option, O:option OU:option, CN:option, UID:option, E:option certificate extensions : X509v3 extensions: x509 Ext Key Usage: = PKIX-IDKP-ServerAuth = PKIX-IDKP-ClientAuth x509 Basic Constraints: CA:FALSE PathLenConstraint:NULL x509 Key Usage: digitalsignature, nonrepudiation, keyencipherment, dataencipherment, (0xf0) x509 Authority Key Identifier: f5:f3:3a:c6:41:ed:b0:cb:69:06:ec:78:1d:49:a5:06:bb:9d:3e:96: x509 Subject Key Identifier: f5:f3:3a:c6:41:ed:b0:cb:69:06:ec:78:1d:49:a5:06:bb:9d:3e:96: x509 Subject Alt Name: [4] C=JP, O=dir-g, OU=time test, Try again? [y/n]: * 6-2. add SSL client profile for 'Globus user' [PASSWD1] add 'Globus user' profile (select SSL client template)... CA PKCS#12 file open Input PKCS#12 Password: passwd1 予め決定した CAオペレータのための鍵のパスフレーズ ( 本例では passwd1) を入力 Add a certificate profile to this CA. [1] WirelessLAN sv Profile template [2] SSL server Profile template [3] IPSEC Profile template [4] Cross Cert Profile template [5] Operator Profile template [6] SSL client Profile template [7] WirelessLAN cl Profile template 43

54 [8] SMIME user Profile template [9] Empty Profile template [10] Sub-CA Profile template [0] Exit Please select a templete number [0]: 6 SSL client Profile template ( 本例では [6]) を選択 Selected profile templete is "SSL client Profile template" Input Profile Name : Globus user プロファイルの名前 ( ここでは Globus user) を入力 do you continue this operation? (y/n)[n]: Update CA information confirm 'Globus user' profile... (Netscape Cert Type: SSL client) CA PKCS#12 file open Input PKCS#12 Password: passwd1 予め決定した CAオペレータのための鍵のパスフレーズ ( 本例ではpasswd1) を入力 Issuer : C=JP, O=naregi, OU=togo, Subject : C=JP, O=naregi, OU=togo, Certificate Profile : Globus user certificate version : 3 current serial number: signature algorithm : SHA1WithRSAEncryption certificate begin : at signing time certificate end : 365 days ( sec) certificate update : 0 days (0 sec) subject template : C=JP, O=naregi, OU=togo, profile working policy : reuse same subject DN... allow replace subject DN with template... allow CSR subject matching policy : C:option, ST:option, L:option, O:option OU:option, CN:option, UID:option, E:option certificate extensions : X509v3 extensions: x509 Ext Key Usage: = PKIX-IDKP-ClientAuth 44

55 x509 Basic Constraints: CA:FALSE PathLenConstraint:NULL x509 Key Usage: digitalsignature, nonrepudiation, keyencipherment, dataencipherment, (0xf0) x509 Authority Key Identifier: f5:f3:3a:c6:41:ed:b0:cb:69:06:ec:78:1d:49:a5:06:bb:9d:3e:96: x509 Subject Key Identifier: f5:f3:3a:c6:41:ed:b0:cb:69:06:ec:78:1d:49:a5:06:bb:9d:3e:96: Try again? [y/n]: * 7. create Operator Key for RA [PASSWD1,PASSWD1,PASSWD2] CA PKCS#12 file open Input PKCS#12 Password: passwd1 予め決定した CAオペレータのための鍵のパスフレーズ ( 本例ではpasswd1) を入力 get private key file from CA key store. Input PASS Phrase: passwd1 プライベートキーを取得するためにパスフレーズ ( 本例ではpasswd1) を入力 save PKCS#12 file. input new password. Input Export Password: Verifying - Input Export Password: passwd2 予め決定した RAで利用するexportのパスフレーズ ( 本例ではpasswd2) を入力 success to export a pkcs#12 (sn: 2) Try again? [y/n]: ******* build CA complete [4]-(1) build CA complete Select Certificate Operation (1) build CA (2) build RA (3) make HOST certificate files

56 --- (4) make USER certificate files (0) exit Select Certificate Operation (0-4): 登録局構築と証明書発行準備 (1) 登録局の構築 メニューの 2 を選択し 登録局構築を開始します CA/RA を構築するにあたり 先に決定しておいた次のパスフレーズを使用します ( 下記メニュー ) 1. CA オペレータのための鍵のパスフレーズ ( 例 :passwd1) 2. RA で利用する export のパスフレーズ ( 例 :passwd2) 3. RA で利用するオペレータの鍵のパスフレーズ ( 例 :passwd3) Select Certificate Operation (1) build CA (2) build RA (3) make HOST certificate files (4) make USER certificate files (0) exit Select Certificate Operation (0-4): 2 build RA ( 本例では 2) を選択 Your input : 2 OK? [Y/n]: [4]-(2) build RA get CA operator-key & certificate-file from CA to dir:/usr/naregi/tmp/nrg-ins-wdir... ******* build RA * 1. check * 2. install naregi-ra rpmpkg NOTE: yum affairs... You can see the details in /usr/naregi/var/log/nrg-utils-install [4].log. package_manager install naregi-ra... 46

57 ( 中略 ) * 3. setup naregi-ra * 3-1. move CA operator key (newcert.p12) & ca.cer to RADIR: /usr/naregi/ra ********************************************************************** * 3-2. aistor CA operator key (newcert.p12) & ca.cer [PASSWD2,PASSWD3] Input PKCS#12 Password: passwd2 予め決定した RAで利用するexportのパスフレーズ ( 本例ではpasswd2) を入力 Save Access Password : passwd3 Verifying - Save Access Password : passwd3 予め決定した RAで利用するオペレータの鍵のパスフレーズ ( 本例ではpasswd3) を入力 import a file to the store successfully Try again? [y/n]: import a file to the store successfully. * 3-3. ainewra [PASSWD3] setup a Registration Authority (RA) >> copy RA template files to /usr/naregi/ra/naregica_ra >> update aica.cnf (configuration) file success to unregister RAd RegInfo : dummy success to register a RAd RegInfo : naregi-cara.naregi.org:naregica >> input CA Operator access password you need to set access password for CAOperator001 in the certificate store. Input Operator Passwd : passwd3 Verify - Input Operator Passwd : passwd3 予め決定した RAで利用するオペレータの鍵のパスフレーズ ( 本例ではpasswd3) を入力 RA initialization has been finished successfully Try again? [y/n]: 47

58 * 3-4. edit RA config file (/usr/naregi/ra/lib/aica.cnf) * 4. start naregi-ra starting RA server... read config file. port=11412,listen=5 ssl=1,req=48,vfy=9 read server certificate : O=naregi-cara.naregi.org, OU=server-9716ca-9a3db, CN=caserver010 0, set certificate request option (mode=48) start airad daemon process (16000) * 5. check naregi-ra [PASSWD3] Print aica conf... Open Private Key: passwd3 予め決定した RAで利用するオペレータの鍵のパスフレーズ ( 本例ではpasswd3) を入力 trying to connect localhost(11411):naregica (ssl) Certificate Profile : SMIME user certificate version : 3 current serial number: 1 signature algorithm : SHA1WithRSAEncryption certificate begin : at signing time certificate end : 1095 days ( sec) certificate update : 0 days (0 sec) subject template : C=JP, O=naregi, OU=togo, profile working policy : reuse same subject DN... allow reuse same public key... allow replace subject DN with template... allow CSR subject matching policy : C:option, ST:option, L:option, O:option OU:option, CN:option, UID:option, E:option certificate extensions : X509v3 extensions: x509 Basic Constraints:[critical] CA:FALSE PathLenConstraint:NULL 48

59 x509 Key Usage: digitalsignature, nonrepudiation, keyencipherment, dataencipherment, (0xf0) x509 Authority Key Identifier: 6d:fa:41:e3:02:9b:7c:58:82:52:00:ac:c5:74:b9:e0:9e:d8:6d:90: x509 Subject Key Identifier: 6d:fa:41:e3:02:9b:7c:58:82:52:00:ac:c5:74:b9:e0:9e:d8:6d:90: x509 Subject Alt Name: [4] C=JP, O=org, OU=org unit, OU=org unit CA, Try again? [y/n]: Check you setting. ALL RIGHT? [Y/n]: ******* build RA complete [4]-(2) build RA complete Select Certificate Operation (1) build CA (2) build RA (3) make HOST certificate files (4) make USER certificate files (0) exit Select Certificate Operation (0-4): ホスト証明書の発行 (1) ホスト証明書の一括発行 Select Certificate Operation (1) build CA (2) build RA (3) make HOST certificate files (4) make USER certificate files (0) exit Select Certificate Operation (0-4): 3 make HOST certificate files ( 本例では3) を選択しホスト証明書の発行を開始 49

60 Your input : 3 OK? [Y/n]: 発行されたホスト証明書は CA ノードの /<NAREGI ミドルウェアインストールディ レクトリ >/cert/host/< 各ノード名 (FQDN)> 配下に格納されます ホスト証明書発行状況 の確認は 2.6.3(2) で行います [4]-(3) make HOST certificate files get host list from /usr/naregi/etc/node.conf & /usr/naregi/etc/vmnodes/vmnodesum.conf * issue cert host list : * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org * naregi-portal.naregi.org * naregi-ss.naregi.org * naregi-isnas.naregi.org * naregi-iscdas.naregi.org * naregi-cara.naregi.org * naregi-ums.naregi.org ok? [Y/n]: ホスト証明書発行を行うノードを確認し空送信で次へ ******* make HOST certificate files check... register license... Restart naregi-ra daemon... starting RA server... read config file. port=11412,listen=5 ssl=1,req=48,vfy=9 read server certificate : O=naregi-cara.naregi.org, OU=server-9716ca-9a3db, CN=caserver010 0, set certificate request option (mode=48) start airad daemon process (16217) each HOST cert request... * issue a certificate for HOST: naregi-gvms1.naregi.org make host cert dir : [/usr/naregi/cert/host/naregi-gvms1.naregi.org]... HOST cert request... 50

61 creating a certificate signing request generate private key (size 1024 bit)...oo...oo input user subject information * can be omitted by putting a char of '.' please confirm your inputs GROUP : Globus host SUBJECT : CN=host/naregi-gvms1.naregi.org trying to connect RA server : localhost (11412)... ok. request for issuing a new certificate... ok. save a CA certificate file : naregica.cer save a certificate file : hostcert.pem save a private key file : hostkey.pem ( 中略 ) [4]-(3) make HOST certificate files complete (2) ホスト証明書の発行状況の確認 ホスト証明書の発行状況は CA ノードの /usr/naregi/cert/host/< 各ノード名 (FQDN)> 配下に hostcert.pem( ホスト証明書 ) hostkey.pem( 秘密鍵ファイル ) および naregica.cer(ca 証明書 ) が作成されていることで確認します 次の例では NAREGI ミ ドルウェアインストールディレクトリを /usr/naregi とし root ユーザで確認します [root@naregi-cara ~]# cd /usr/naregi/cert [root@naregi-cara cert]# ls -lr host host: total 32 drwx--x--x 2 root root 4096 Apr 11 19:03 naregi-gvms1.naregi.org drwx--x--x 2 root root 4096 Apr 11 19:03 naregi-gvmc1.naregi.org drwx--x--x 2 root root 4096 Apr 11 19:03 naregi-portal.naregi.org drwx--x--x 2 root root 4096 Apr 11 19:03 naregi-ss.naregi.org drwx--x--x 2 root root 4096 Apr 11 19:03 naregi-isnas.naregi.org drwx--x--x 2 root root 4096 Apr 11 19:04 naregi-iscdas.naregi.org drwx--x--x 2 root root 4096 Apr 11 19:04 naregi-cara.naregi.org drwx--x--x 2 root root 4096 Apr 11 19:04 naregi-ums.naregi.org host/naregi-gvms1.naregi.org: total 12 -rwx--x--x 1 root root 1058 Apr 11 19:03 hostcert.pem 51

62 -rwx--x--x 1 root root 887 Apr 11 19:03 hostkey.pem -rwx--x--x 1 root root 1172 Apr 11 19:03 naregica.cer ホスト証明書作成状況を確認 ( 略 ) ユーザ証明書の発行 (1) ユーザ証明書の一括発行 Select Certificate Operation (1) build CA (2) build RA (3) make HOST certificate files (4) make USER certificate files (0) exit Select Certificate Operation (0-4): 4 make USER certificate files ( 本例では4) を選択しユーザ証明書発行を開始 Your input : 4 OK? [Y/n]: 発行されたユーザ証明書は CA ノードの /usr/naregi/cert/user 配下に格納されます ユ ーザ証明書発行状況の確認は 2.6.4(2) で行います ユーザ証明書を voms および naregiuser に対して発行します ここで voms は UMS の 管理者用アカウントです また naregiuser は 2.1.1(4) で設定したテストアカウントです [4]-(4) make USER certificate files * issue cert user list : * voms naregiuser ok? [Y/n]: ユーザ証明書を発行するアカウントを確認し空送信 ( リターンキー ) で次へ ******* make USER certificate files check... register license... 52

63 Restart naregi-ra daemon... starting RA server... read config file. port=11412,listen=5 ssl=1,req=48,vfy=9 read server certificate : O=naregi-cara.naregi.org, OU=server-9716ca-9a3db, CN=caserver010 0, set certificate request option (mode=48) start airad daemon process (16811) each USER cert request... * issue a certificate for USER: voms Note : useradd voms (there is no user:voms). voms's homedir : /home/voms user cert request creating a certificate signing request generate private key (size 1024 bit)...oo...oo input user subject information * can be omitted by putting a char of '.' please confirm your inputs GROUP : Globus user SUBJECT : CN=voms trying to connect RA server : localhost (11412)... Input PASS Phrase: vomsユーザ証明書のパスフレーズを入力 Verifying - Input PASS Phrase: 再度入力 ok. request for issuing a new certificate... ok. save a CA certificate file : /home/voms/.globus/cacert.pem save a certificate file : /home/voms/.globus/usercert.pem save a private key file : /home/voms/.globus/userkey.pem make user cert dir : [/usr/naregi/cert/user/voms]... copy user cert files to cert dir... * issue a certificate for USER: voms complete ( 中略 ) 以降 同様に naregiuserについてもユーザ証明書のパスフレーズを入力 request for issuing a new certificate... ok. 53

64 save a CA certificate file : /home/naregiuser/.globus/cacert.pem save a certificate file : /home/naregiuser/.globus/usercert.pem save a private key file : /home/naregiuser/.globus/userkey.pem make user cert dir : [/usr/naregi/cert/user/naregiuser]... copy user cert files to cert dir... * issue a certificate for USER: naregiuser complete ******* make USER certificate files complete [4]-(4) make USER certificate files complete Select Certificate Operation (1) build CA (2) build RA (3) make HOST certificate files (4) make USER certificate files (0) exit Select Certificate Operation (0-4): 重要 : 本操作を行った場合に ユーザ証明書の発行に失敗 ( ログ : 旗艦ノードの /usr/naregi/var/log 配下 ) する場合があります 失敗した場合 本操作を再度実 施ください 失敗時のログの内容 ( 例 ) read s = erver certificate : O naregi-cara.naregi.org, OU=server-48e3e7-fe5faa, CN=caserver010 0, set certificate request option (mode=48) error : SSL_bind each USER cert request... * issue a certificate for USER: voms Note : useradd voms (there is no user:voms). voms's homedir : /home/voms user cert request creating a certificate signing request generate private key (size 1024 bit)...oo 54

65 ...oo input user subject information * can be omitted by putting a char of '.' please confirm your inputs GROUP : Globus user SUBJECT : CN=voms trying to connect RA server : localhost (11412)... error! [aica] error:0x :ssl:bind(3):sock connect 以降 errorを繰り返す make user cert dir : [/usr/naregi/cert/user/voms]... copy user cert files to cert dir... /bin/cp: cannot stat `/home/voms/.globus/usercert.pem': No such file or directory /bin/cp: cannot stat `/home/voms/.globus/cacert.pem': No such file or directory : (2) ユーザ証明書発行状況の確認 ユーザ証明書の発行状況は CA ノードの /usr/naregi/cert/user/< 各ユーザ名 > 配下に cacert.pem usercert.pem userkey.pem が作成されていることで確認します 次の例で は NAREGI ミドルウェアインストールディレクトリは /usr/naregi とし root ユーザで 確認します [root@naregi-cara ~]# cd /usr/naregi/cert [root@naregi-cara cert]# ls -lr user user: total 8 drwx--x--x 2 root root 4096 Apr 11 19:09 globus drwx--x--x 2 root root 4096 Apr 11 19:08 voms drwx--x--x 2 root root 4096 Apr 11 19:08 naregiuser user/globus: total 12 -rwx--x--x 1 root root 1172 Apr 11 19:09 cacert.pem -rwx--x--x 1 root root 1038 Apr 11 19:09 usercert.pem -rwx--x--x 1 root root 963 Apr 11 19:09 userkey.pem ユーザ証明書作成状況を確認 ( 略 ) (3) ユーザ証明書発行の終了 Select Certificate Operation (1) build CA (2) build RA (3) make HOST certificate files

66 --- (4) make USER certificate files (0) exit Select Certificate Operation (0-4): 0 exit ( 本例では0) を選択 Your input : 0 OK? [Y/n]: exit [4] certificate complete ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): ホスト証明書の配置すでに運用されている認証局から取得したホスト証明書を配置する方法を説明します なお 2.4.1(3) 認証局 DN 情報の設定とCA( 認証局 ) RA( 登録局 ) の設定 において CA/RAノードの構築をしない ( n を選択 ) としている必要があります また 認証局から取得した証明書は 事前に次の形式で旗艦ノードに格納しておく必要があります < 任意 >.tar.gz (tar/tar.gz/tar.bz2 の何れか) cert/ 56

67 host/ < ホスト名 >/ ホスト証明書ファイル 鍵ファイル CA 証明書ファイル ## ##################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 4 certificate ( 本例では4) を選択し 証明書発行を開始 Your input : 4 OK? [Y/n]: [4] certificate Note: CA/RA are not specified. CA/RAを構築していない場合は 本メッセージが表示される Select Certificate Operation (1) extract certificate files from tar (0) exit Select Certificate Operation (0-1): 1 Your input : 1 57

68 OK? [Y/n]: [4]-(5) get certificate files from archives Get certificate files from the archive (.tar.tar.gz.tar.bz2). Input a file name (full path) : /tmp/tt.tar.gz 証明書を配置したpath ( 本例では /tmp/tt.tar.gz) を入力 archive file path : [/tmp/tt.tar.gz] OK? [Y/n]: 確認しOKなら空送信 ( リターンキー ) で次へ check archive file... get archive list HOSTNAME CERT KEY CACERT FILES - naregi-ums.naregi.org * * * 3 - naregi-portal.naregi.org * * * 3 - naregi-ss.naregi.org * * * 3 - naregi-isnas.naregi.org * * * 3 - naregi-iscdas.naregi.org * * * 3 - naregi-gvms1.naregi.org * * * 3 - naregi-gvmc1.naregi.org * * * USERNAME CERT KEY CACERT FILES Select mode auto (use default filename) manual (any filename available) exit Select mode (0-2): Your input : 1 auto ( 本例では1) を選択 OK? [Y/n]: extract certificate files for host:naregi-ums.naregi.org... extract certificate files for host:naregi-portal.naregi.org... extract certificate files for host:naregi-ss.naregi.org... extract certificate files for host:naregi-isnas.naregi.org... extract certificate files for host:naregi-iscdas.naregi.org... extract certificate files for host:naregi-gvms1.naregi.org... extract certificate files for host:naregi-gvmc1.naregi.org

69 --- Select mode auto (use default filename) manual (any filename available) exit Select mode (0-2): Your input : 0 exit ( 本例では0) を選択 OK? [Y/n]: 空送信 ( リターンキー ) で終了 終了後 ホスト証明書の配置状況を確認します 手順は 2.6.3(2) ホスト証明書の発 行状況の確認 を参照ください 59

70 2.7 前提ソフトウェアパッケージのインストール Globusまでの共通前提ソフトウェアのインストール (1) インストールの開始 NAREGI インストーラのメインメニューで install globus (all nodes except UMS,onlyCA,onlyRA) を選択し UMS と CA/RA 以外のノードで NAREGI ミドルウェ アの動作に必要となる前提ソフトウェアのインストールを実施します ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 5 install globus (all nodes except UMS, onlyca,onlyra) ( 本例では [5]) を選択 Your input : 5 OK? [Y/n]: (2) 前提ソフトウェアの一括インストール [5] install globus (all nodes except UMS,onlyCA,onlyRA) * naregi globus (gt4) nodes list : * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org * naregi-portal.naregi.org * naregi-ss.naregi.org * naregi-isnas.naregi.org * naregi-iscdas.naregi.org ok? [Y/n]: 60

71 インストールするノードを確認し 空送信 ( リターンキー ) Deploy the Certificat Files? [Y/n]: ******* install globus HOST:naregi-gvms1.naregi.org ( 中略 ) ******* install globus complete HOST:naregi-iscdas.naregi.org [5] install globus (all nodes except UMS,onlyCA,onlyRA) complete ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 61

72 2.8 UMSおよびVOMSの導入と設定 ( 手動 ) ここでは UMS および VOMS の導入手順を説明します UMS と VOMS(gLite VOMS) は NAREGI ミドルウェアの rpm パッケージに含まれないため 手動で導入と設定を行 います 環境変数の設定 UMS ノードの /etc/profile.d 配下に環境変数設定ファイルを設定します 以下 (naregi-voms.sh) は Bourne シェルの例です なお UMS のパッケージ (ums-1.0.tar.gz) に 同梱の環境変数テンプレートファイル ums_env.sh を編集して利用いただくことも可能 です [root@naregi-ums root]# cat /etc/profile.d/naregi-voms.sh LANG=C CATALINA_BASE=/var/lib/tomcat5 CATALINA_HOME=/var/lib/tomcat5 GLITE_LOCATION=/opt/glite GLITE_LOCATION_LOG=/var/log/glite GLITE_LOCATION_TMP=/tmp/glite GLITE_LOCATION_VAR=/var/glite GLOBUS_LOCATION=/opt/globus GPT_LOCATION=/opt/gpt JAVA_HOME=/usr/java/jdk1.5.0_14 バージョンは必要に応じて変更 LD_LIBRARY_PATH=$GLITE_LOCATION/lib:$GLITE_LOCATION/externals/lib:$GLOBUS _LOCATION/lib PATH=$GLITE_LOCATION/bin:$GLITE_LOCATION/externals/bin:$GLOBUS_LOCATION/b in:$java_home/bin:/naregi-beta2/naregi-ca/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/x11r6/bin PERL5LIB=$GLITE_LOCATION/lib/perl5:$GPT_LOCATION/lib/perl export LANG CATALINA_BASE CATALINA_HOME GLITE_LOCATION GLITE_LOCA TION_LOG GLITE_LOCATION_TMP GLITE_LOCATION_VAR GLOBUS_LOCATION G PT_LOCATION JAVA_HOME LD_LIBRARY_PATH PATH PERL5LIB UMS の導入 (1) UMS パッケージの展開 NAREGI ダウンロード Web サイトより UMS のパッケージ (naregi-ca tar.gz ums-1.0.tar.gz) をダウンロードし 作業ディレクトリ ( 以下の例では /tmp/ums) に格納します なおパッケージのバージョンは更新されている可能性があります ダウンロード Web サイトでご確認ください [root@naregi-ums ~]# cd /tmp [root@naregi-ums tmp]# mkdir ums [root@naregi-ums tmp]# mv naregi-ca tar.gz /tmp/ums 62

73 tmp]# mv ums-1.0.tar.gz /tmp/ums tmp]# cd ums ums]# ls naregi-ca tar.gz ums-1.0.tar.gz (2) NAREGI-CA( クライアントコマンド ) の展開 [root@naregi-ums ums]# cd /usr [root@naregi-ums usr]# mkdir naregi [root@naregi-ums usr]# mkdir naregi/naregi-ca [root@naregi-ums usr]# cd /tmp/ums [root@naregi-ums ums]# tar zxvf naregi-ca tar.gz naregi-ca tar.gz の展開 naregi-ca/ naregi-ca/.svn/ naregi-ca/.svn/text-base/ : ( 略 ) [root@naregi-ums ums]# ls naregi-ca naregi-ca tar.gz ums-1.0.tar.gz [root@naregi-ums ums]# cd naregi-ca [root@naregi-ums naregi-ca]#./configure -prefix=/usr/naregi/naregi-ca Makefileの生成 creating cache./config.cache checking host system type... i686-pc-linux-gnu checking for gcc... gcc : ( 略 ) [root@naregi-ums naregi-ca]# make makeの実施 cp -f aiconfig.h aicrypto/aiconfig.h cp -f ca/ca_err.c apps/ cp -f apps/req.c aica/ : ( 略 ) [root@naregi-ums naregi-ca]# make install make installの実施 cp -f aiconfig.h aicrypto/aiconfig.h cp -f ca/ca_err.c apps/ cp -f apps/req.c aica/ : ( 略 ) 63

74 AiCA installation is finished successfully. continuously, setup the Certificate Authority & CA server. please input "aisetup.sh" command to start CA setup. naregi-ca]# 既存パッケージ (MySQL, tomcat) の確認 MySQL および tomcat は後述の glite-voms と一緒に導入するため 導入済パッケージがある場合は削除します root]# rpm -qa grep mysql MySQLパッケージの確認 mysql i386 mysql-server i386 mod_auth_mysql ent.i386 mysql-bench i386 mysql-devel i386 libdbi-dbd-mysql i386 php-mysql ent.i386 freeradius-mysql rhel3.i386 root]# root]# rpm -e --nodeps `rpm -qa grep mysql` MySQLパッケージを削除 root]# rpm -qa grep mysql 削除の確認 root]# remove tomcat packages tomcatも同様にパッケージ導入を確認し導入済の場合は削除する root]# rpm -qa grep tomcat root]# 本例では既存のtomcatパッケージは無し Javaのインストール Java のサイト ( より jdk-1_5_0_<version>-linux-i586-rpm.bin を入手しインストールします tmp]# ls jdk-1_5_0_15-linux-i586.rpm XXXXXX YYYYY tmp]# sh jdk-1_5_0_16-linux-i586-rpm.bin 64

75 Sun Microsystems, Inc. Binary Code License Agreement for the JAVA 2 PLATFORM STANDARD EDITION DEVELOPMENT KIT 5.0 ライセンスが表示されるのでスペースキーでスクロール For inquiries please contact: Sun Microsystems, Inc., 4150 Network Circle, Santa Clara, California 95054, U.S.A. (LFI#143333/Form ID#011801) Do you agree to the above license terms? [yes or no] yes yes を入力 inflating: jdk-1_5_0_16-linux-i586.rpm Preparing... ########################################### [100%] 1:jdk ########################################### [100%] Done. [root@naregi-ums tmp]# VOMSの導入 VOMS(gLite VOMS) パッケージをインストールします [root@naregi-ums tmp]# cd /etc/apt/sources.list.d/ [root@naregi-ums sources.list.d]# vi glite-rhel30.list /etc/apt/sources.list.d 配下に glite-rhel30.list ファイルを作成し編集 rpm rhel30 externals Release3.0 updates [root@naregi-ums root]# apt-get update 最新のパッケージリスト取得 Get:1 rhel30 release [1009B] Fetched 1009B in 1s (868B/s) Get:1 rhel30/externals pkglist [153kB] : ( 略 ) [root@naregi-ums root]# apt-get dist-upgrade ディストリビューションのアップグレード Reading Package Lists... Done Building Dependency Tree... Done You might want to run `apt-get -f install' to correct these. : ( 略 ) E: Unmet dependencies. Try using -f. 依存性のエラーが起きた場合のメッセージ 65

76 root]# apt-get --fix-broken install dist-upgradeコマンド実行で依存性のエラーが起こった場合 依存性のあるパッケージを削除し必要なパッケージをインストールする Reading Package Lists... Done Building Dependency Tree... Done : ( 略 ) After unpacking 16.3MB of additional disk space will be used. Do you want to continue? [Y/n] Get:1 rhel30/updates MySQL-server [15.2MB] Get:2 rhel30/externals MySQL-shared-standard rhel3 [1174kB] Get:3 rhel30/externals perl-dbd-mysql [113kB] Fetched 16.5MB in 2m29s (110kB/s) Committing changes... : ( 略 ) Support MySQL by buying support/licenses at Starting MySQL.[ OK ] 2:MySQL-shared-standard ########################################### [ 67%] 3:perl-DBD-MySQL ########################################### [100%] Done. 依存性エラーが解決 [root@naregi-ums root]# apt-get dist-upgrade 再度 ディストリビューションをアップグレード Reading Package Lists... Done Building Dependency Tree... Done Calculating Upgrade... Done : ( 略 ) 3:Gtk-Perl ########################################### [ 60%] 4:perl-TimeDate ########################################### [ 80%] 5:tkinter ########################################### [100%] Done. [root@naregi-ums root]# apt-get install glite-voms_mysql パッケージのインストール Reading Package Lists... Done Building Dependency Tree... Done : ( 略 ) Need to get 61.4MB of archives. 66

77 After unpacking 109MB of additional disk space will be used. Do you want to continue? [Y/n] Get:1 rhel30/updates MySQL-client [5981kB] Get:2 rhel30/updates glite-version [1920B] : ( 略 ) 36:tomcat5 ########################################### [ 97%] 37:glite-VOMS_mysql ########################################### [100%] Done MyProxyのインストール MyProxy は glitevoms のバージョンに適合したものを利用するため VOMS と同様に apt コマンドによりインストールを行います [root@naregi-ums root]# apt-get install myproxy セキュアログインシェルスクリプトの展開テストアカウントユーザがUMSノードにログインした際 証明書に関する操作のみ可能とするために ログイン時に起動されるシェルスクリプトを設定します 実際の設定は 2.8.8(5) セキュアログインシェルスクリプトの編集と設定 で行います [root@naregi-ums naregi-ca]# cd /tmp/ums/ [root@naregi-ums ums]# ls naregi-ca naregi-ca tar.gz ums-1.0.tar.gz [root@naregi-ums ums]# tar zxvf ums-1.0.tar.gz ums-1.0.tar.gzの展開 ums/ ums/.svn/ ums/.svn/text-base/ ( 略 ) [root@naregi-ums ums]# ls naregi-ca naregi-ca tar.gz ums ums-1.0.tar.gz [root@naregi-ums ums]# cd ums [root@naregi-ums ums]# ls certinfo.sh gridcert.sh pass.sh ums_env.sh vomsinfo.sh voms-myproxy-init.sh [root@naregi-ums ums]# cd /usr/naregi/ [root@naregi-ums naregi]# cp -r /tmp/ums/ums. 展開した /umsを/usr/naregi/ 配下にコピーする 67

78 2.8.8 証明書の設定 (1) CA ノードからの証明書取得 2.6 証明書の取得 で発行したホスト証明書およびユーザ証明書を CAノードからUMSノードに取得します すでに運用されているCAから発行された証明書を利用される場合 本手順は不要です root]# cd /tmp tmp]# mkdir cert tmp]# cd cert cert]# mkdir host user cert]# mkdir user/voms user/naregiuser cert]# cd host host]# scp naregi-cara.naregi.org:/usr/naregi/cert/host/naregi-ums.naregi.org/*. ホスト証明書の取得 cert]# cd../user/voms voms]# scp naregi-cara.naregi.org:/usr/naregi/cert/user/voms/*. ユーザ (VOMS 管理者アカウント (voms)) 証明書の取得 voms]# cd../naregiuser naregiuser]# scp naregi-cara.naregi.org:/usr/naregi/cert/user/naregiuser/ *. ユーザ ( テストアカウント ( 本例では naregiuser)) 証明書の取得 (2) ホスト証明書の設定 すでに運用されている CA から発行された証明書を利用される場合 下記手順内で mkdir しているディレクトリに証明書を格納し 手順を進めてください [root@naregi-ums root]# cd /etc [root@naregi-ums etc]# mkdir grid-security [root@naregi-ums etc]# mkdir grid-security/vomsdir grid-security/certificates [root@naregi-ums etc]# cd grid-security [root@naregi-ums grid-security]# cp /tmp/cert/host/hostcert.pem. [root@naregi-ums grid-security]# cp /tmp/cert/host/hostkey.pem. [root@naregi-ums grid-security]# chmod 644 hostcert.pem [root@naregi-ums grid-security]# chmod 400 hostkey.pem [root@naregi-ums grid-security]# cd vomsdir [root@naregi-ums vomsdir]# cp /tmp/cert/host/hostcert.pem. 68

79 vomsdir]# chmod 644 hostcert.pem vomsdir]# cd../certificates certificates]# openssl x509 -in /tmp/cert/host/naregica.cer -hash -noout 31c4226d CA 証明書 ( 本例ではnaregica.cer) からホスト証明書発行の認証局のハッシュ値を確認 [root@naregi-ums certificates]# cp /tmp/cert/host/naregica.cer 31c4226d.0 ハッシュ値.0 ファイルの作成 [root@naregi-ums certificates]# chmod c4226d.0 [root@naregi-ums certificates]# openssl x509 -in../hostcert.pem -noout -subject subject= /C=JP/O=NAREGI/OU=togo/CN=host/naregi-ums.naregi.org ホスト証明書 subjectの確認 [root@naregi-ums certificates]# vi 31c4226d.signing_policy ハッシュ値.signing_policy ファイルを作成 : access_id_ca X509 '/C=JP/O=naregi/OU=togo' pos_rights globus CA:sign cond_subjects globus '"/C=JP/O=naregi/OU=togo/*"' : ホスト証明書 subjectから確認した情報を元に記述 (3) ユーザ証明書の設定 (3-1) VOMS 管理者アカウントの証明書設定 すでに運用されている CA から発行された証明書を利用される場合 取得したアカ ウントのうちいずれか 1 つを VOMS 管理者として設定してください [root@naregi-ums root]# useradd voms [root@naregi-ums root]# passwd voms VOMS 管理者アカウント ( 本例ではvoms) の作成 [root@naregi-ums root]# cd ~voms [root@naregi-ums voms]# mkdir.globus [root@naregi-ums voms]# cd.globus [root@naregi-ums.globus]# cp /tmp/cert/user/voms/*. [root@naregi-ums.globus]# chown voms:voms *.pem [root@naregi-ums.globus]# chmod 644 usercert.pem cacert.pem [root@naregi-ums.globus]# chmod 400 userkey.pem ユーザ (VOMS 管理者アカウントvoms) 69

80 証明書の設定 (3-2) テストアカウントの証明書設定 root]# useradd naregiuser root]# passwd naregiuser テストアカウント ( 本例ではnaregiuser) の作成 [root@naregi-ums root]# cd ~naregiuser [root@naregi-ums naregiuser]# mkdir.globus [root@naregi-ums naregiuser]# cd.globus [root@naregi-ums.globus]# cp /tmp/cert/user/naregiuser/*. [root@naregi-ums.globus]# chown naregiuser:naregiuser *.pem [root@naregi-ums.globus]# chmod 644 usercert.pem cacert.pem [root@naregi-ums.globus]# chmod 400 userkey.pem ユーザ ( テストアカウント ( 本例では naregiuser) 証明書の設定 (4) 証明書のインポート CA ノード上の RA サーバから ca.cer を取得し RA 証明書 (ra.cer) として配置します すでに運用されている CA から発行された証明書を利用される場合 本手順は不要で す [root@naregi-ums root]# cd /usr/naregi/naregi-ca [root@naregi-ums naregi-ca]# scp naregi-cara.naregi.org:/usr/naregi/ra/serv-ssl/ca.cer ra.ce r [root@naregi-ums naregi-ca]# openssl x509 -in ra.cer -noout -subject インポートする RA の subject の確認 subject= /O=XXXXX/OU=server-YYYYY-ZZZZZ [root@naregi-ums naregi-ca]# /usr/naregi/naregi-ca/bin/aistore -i ra.cer RA 証明書のインポート import a file to the store successfully. [root@naregi-ums naregi-ca]# /usr/naregi/naregi-ca/bin/aistore -st root [unique-id] subject serialnumber [server-aaaaa-bbbbb] O=CCCCC, OU=server-AAAAA-BBBBB, 1 [server-bbbbb-ccccc] O=DDDDD, OU=server-BBBBB-CCCCC, 1 : [server-yyyyy-zzzzz] O=XXXXX, OU=server-YYYYY-ZZZZZ, 1 インポートの確認 70

81 [National Research Grid Initiative] C=JP, O=National Research Grid Initiative, 1 list a certificate store successfully. (5) セキュアログインシェルスクリプトの編集と設定 セキュアログインシェルスクリプトの展開 で展開したセキュアログインシェ ルスクリプトを編集 設定します [root@naregi-ums naregi]# cd /usr/naregi/ums [root@naregi-ums ums]# ls certinfo.sh gridcert.sh pass.sh ums_env.sh vomsinfo.sh voms-myproxy-init.sh [root@naregi-ums ums]# vi gridcert.sh ユーザ証明書取得シェルの編集 ( すでに運用されているCAから発行された証明書を利用される場合 本手順は不要 ) GRIDCERT=/usr/naregi/naregi-ca/bin/grid-certreq RASERV=naregi-cara.naregi.org CA/RAノードを指定 RANAME="globususer" "globususer" を指定 PROFILE="Globus user" "Globus user" を指定 : ( 略 ) [root@naregi-ums ums]# vi voms-myproxy-init.sh #!/bin/sh VOMSINIT=/opt/glite/bin/voms-proxy-init MYPROXYINIT=/opt/globus/bin/myproxy-init MYPROXY_SERVER="naregi-portal.naregi.org" Portalノードを指定 MYPROXY_SERVER_DN="/C=JP/O=naregi/OU=togo/CN=naregi-portal.naregi.org" PortalノードのDNを指定 [root@naregi-ums ums]# vipw : naregiuser:x:9999:9999::/home/naregiuser:/usr/naregi/ums/pass.sh テストアカウント ( 本例ではnaregiuser) のログインシェルを設定 [root@naregi-ums ums]# 71

82 2.8.9 MySQL 設定 次の例では MySQL 管理者のパスワードを mysql としています root]# mysqladmin -u root password 'mysql' root]# mysqladmin -u root -h naregi-ums.naregi.org password 'mysql' テンプレートファイルの編集 root]# cd $GLITE_LOCATION/etc/config config]# cp templaes/*. コピーしたファイル各々について 次のように編集します (1) glite-global.cfg.xml JAVA_HOME の初期値 /usr/java/j2re1.4.2_08 を /usr/java/jdk1.5.0_<version> に設定 (2) glite-rgma-common.cfg.xml rgma.server.hostame の初期値 changeme を localhost に設定 rgma.schema.hostame の初期値 changeme を localhost に設定 rgma.registry.hostame の初期値 changeme を localhost に設定 (3) glite-rgma-servicetool.cfg.xml rgma.servicetool.siteid の初期値 changeme を localhost に設定 (4) glite-security-utils.cfg.xml cron.mailto の初期値 changeme を に設定 (5) glite-voms-server.cfg.xml voms.db.type の初期値 changeme を mysql に設定 voms.db.host の初期値 changeme を UMS ノード名 (FQDN) に設定 voms.admin.smtp.host の初期値 changeme を localhost に設定 voms.mysql.admin.passwordにmysql 管理者パスワード ( MySQL 設定 で設定したもの ) を設定 VOの作成と設定新規 VO の作成と設定 VOMS の起動 VO 管理者およびユーザアカウントの VO への登録については 使用手引書 ( 管理者編 ) 3. VO の新規作成 を参照のうえ 3.1 から 3.8 までを実施ください 72

83 VO 登録アカウントの確認 (1) 所属 VO 名の確認 UMS ノードにおいて VO に登録したユーザアカウント ( 本例ではテストユーザ (naregiuser)) にスイッチします $ su - naregiuser [0] quit [1] change passwd [2] voms-myproxy-init [3] vo info [4] grid-certreq [5] certificate info 3 [3] vo info /VO=rpmtest/Group=grp1/Role=DefaultRole +OK vo info ( 本例では 3) を選択 設定したVO グループ Roleが出力されることを確認 (2) voms-myproxy-init の確認 $ su - naregiuser [0] quit [1] change passwd [2] voms-myproxy-init [3] vo info [4] grid-certreq [5] certificate info 2 [2] voms-myproxy-init vo name? rpmtest group name? grp1 role name? voms-myproxy-init ( 本例では2) を選択 VO 名 ( 本例ではrpmtest) を入力 グループ名 ( 本例ではgrp1) を入力 73

84 DefaultRole Role 名 ( 本例ではDefaultRole) を入力 private key passwd? 予め設定した証明書のパスフレーズを入力 MyProxy key passwd? 出力するproxy 証明書のパスフレーズを入力 -ERR Your identity: /C=JP/O=naregi/OU=togo/CN=naregiuser/CN=proxy Creating proxy Done Proxy Verify OK Your proxy is valid until: Mon Sep :14: Unable to connect to naregi-portal.naregi.org:7512 現時点ではportalノードを構築していないため 接続エラーが出力されることを確認する 74

85 2.9 PluS のインストールローカルスケジューラに Sun Grid Engine を使用する場合は SunGrid Engine のスケジューラノードへ PluS を導入します PBSProfessional を使用する場合は本節を実行する必要はありません PluS は Sun Grid Engine キューベース版としてインストールを行ってください インストール方法については PluS に同梱のインストール手順書を参照してください PluS の起動スクリプトを環境に合わせて編集してください opensuse 環境では PluS 本体のインストール後に 起動スクリプトを以下のように変更する必要があります # vi /etc/init.d/sgeplus #. /etc/init.d/functions エディタで編集する コメントアウト # failure $"cannot start: already running."; # success $"$prog startup" 全ての success と failure をコメントアウト 編集したスクリプトが動作することを確認した後 PluS が自動的に起動する設定を 行ってください # chkconfig --add sgeplus # chkconfig sgeplus on 75

86 2.10 NAREGIミドルウェアパッケージのインストール NAREGIミドルウェアのインストール 本節では NAREGI ミドルウェアのインストールを行います なお NAREGI ミドル ウェアをインストールする前に GridVM 管理ノードおよび GridVM 計算ノードにロ ーカルスケジューラがインストールされている必要があります (1) パッケージ一括インストールの実施 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 7 install each rpm-pkg (each node) ( 本例では7) を選択 Your input : 7 OK? [Y/n]: [7] install each rpm-pkg (each node) 1. GridVM Scheduler * GVMSHOSTs : * naregi-gvms1.naregi.org install GridVM Scheduler pkg HOST: naregi-gvms1.naregi.org * specified rpmpkgs : * naregi-gridvm-scheduler * naregi-gridvm-plugin-pbs 76

87 * naregi-is-lrps * naregi-ganglia-gmond (depens on system) NOTE: yum affairs... You can see the details in /usr/naregi/var/log/nrg-utils-remoteinstall [7].log. package_manager install naregi-gridvm-scheduler naregi-gridvm-plugin-pbs naregi-is-lrps... ( 中略 ) 4. Super Scheduler (SS) install SS pkg HOST : naregi-ss.naregi.org * specified rpmpkgs : * naregi-ss-server * naregi-rs Note: forced install naregi-libxml2 and naregi-openssl. get naregi-libxml2, naregi-openssl rpm package... find urls from naregi_repos [/etc/yum.repos.d/centos-naregi-latest.repo]... getting rpm pkgs from [ naregi-libxml2, naregi-openssl rpm packages: naregi-libxml cent5.0.i386.rpm naregi-libxml2-devel cent5.0.i386.rpm naregi-openssl-0.9.8d-0cent5.0.i386.rpm naregi-openssl-devel-0.9.8d-0cent5.0.i386.rpm naregi-openssl-perl-0.9.8d-0cent5.0.i386.rpm Install these rpm pkgs by force? [Y/n]: 空送信 ( リターンキー ) でlibxml2 およびopensslをインストール ( 中略 ) * Note: From NAREGI V1.1, * * VOMS/UMS host Certificate File is required * * on SS server node for Renewal/Auth Services. * * You have to deploy VOMS/UMS host Certificate File to * * (SS server node): /etc/grid-security/vomsdir/hostcert.pem. * * If you already had VOMS/UMS host Certificate File * * in (this node): /usr/naregi/cert/host, * * you can deploy it by this tool. * Deploy the VOMS/UMS host Certificate File to SS server node? [Y/n]: ( 略 ) 77

88 NAREGI パッケージのインストールが終了すると NAREGI インストーラのメイン メニューが表示されます [7] install each rpm-pkg (each node) complete ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 78

89 2.11 NAREGIサービスの起動と停止 サービスの起動と停止 (1) NAREGI サービスの一括起動 旗艦ノードにおいて インストールユーザで起動します なお DataGrid(DG) の導入 後に本手順を実施すると DG も同時に起動されます DG の導入手順は 2.15 DataGrid(DG) のインストール を参照ください ~]$ /usr/naregi/sbin/nrg-install.sh NAREGIインストーラの起動 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 8 start naregi-service ( 本例では8) を選択 Your input : 8 OK? [Y/n]: [8] start naregi-service start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 1 start ( 本例では1) を選択 79

90 Your input : 1 OK? [Y/n]: [8]-(1) start naregi service 1. GridVM * GridVM Scheduler HOSTs : * naregi-gvms1.naregi.org * GridVM Engine HOSTs : * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org Start [gmond] at HOST:[naregi-gvms1.naregi.org]... Starting GANGLIA gmond: [ OK ] Start [Local-Scheduler] at HOST:[naregi-gvms1.naregi.org]... Connection to naregi-gvms1.naregi.org closed. Starting PBS PBS mom PBS sched Using license server at xxxx@xxxxxxx.naregi.org PBS server Start [naregi-gridvm-scheduler] at HOST:[naregi-gvms1.naregi.org]... Starting NAREGI GridVM scheduler Daemon: [ OK ] Start [naregi-is-lrps] at HOST:[naregi-gvms1.naregi.org]... Starting NAREGI IS LRPS: [ OK ] Start [globus] at HOST:[naregi-gvms1.naregi.org]... Starting Globus: ( 中略 ) [8]-(1) start naregi service complete start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 80

91 (2) NAREGI サービスの起動確認 start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 4 status ( 本例では4) を選択 Your input : 4 OK? [Y/n]: [8]-(4) status naregi service --- GridVM Scheduler HOST:naregi-gvms1.naregi.org [gmond] Running. [Local-Scheduler] pbs_server is pid xxxxx pbs_mom is pid xxxxx pbs_sched is pid xxxxx [globus] Running. [naregi-gridvm-scheduler] Running. [naregi-gridvm-engine] Running. [naregi-is-lrps] Running. ( 中略 ) [8]-(4) status naregi service complete (3) NAREGI サービスの一括停止 start NAREGI service (1) start (2) stop (3) restart (4) status

92 --- (0) exit Select NAREGI service (0-4): 2 stop ( 本例では2) を選択 Your input : 2 OK? [Y/n]: [8]-(2) stop naregi service 1. Portal Stop [naregi-portal] at HOST:[naregi-portal.naregi.org]... Using JAVA_ENDORSED_DIRS: /usr/naregi/tomcat5/common/endorsed Using GLOBUS_LOCATION: /usr/naregi/gt4 Using CATALINA_BASE: /usr/naregi/tomcat5 Using CATALINA_HOME: /usr/naregi/tomcat5 Using CATALINA_TMPDIR: /usr/naregi/tomcat5/temp Using JAVA_HOME: /usr/lib/jdk-1.5.0_13 Stopping NAREGI Portal: [ OK ] Stop [myproxy] at HOST:[naregi-portal.naregi.org]... Stopping the MyProxy server... done. Connection to naregi-portal.naregi.org closed. ( 中略 ) [8]-(2) stop naregi service complete start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): (4) NAREGI サービスメニューの終了 start NAREGI service

93 --- (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 0 exit ( 本例では0) を選択 Your input : 0 OK? [Y/n]: - exit [8] start naregi-service complete ( 中略 ) ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9) : 83

94 2.12 IS handle 作成 IS handleを作成します なお 作成前にNAREGIサービスを起動しておく必要があり ます 起動方法については (1) を参照してください 作成後は サービスの 起動と停止 により再起動を行う必要があります ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 9 IS handle ( 本例では9) を選択 Your input : 9 OK? [Y/n]: [9] IS handle IS handle (1) SYSTEM IS handle (SS,WFT,PSE,GVS) make & deploy is-handle file for NAREGI System (2) SBC IS handle make & deploy is-handle file for SBC (3) delete orphan schema reference is-handle files at IS-NAS:/usr/naregi/var/is-handle (0) exit Select NAREGI service (0-3): 1 SYSTEM IS handle (SS,WFT, PSE,GVS) ( 本例では1) を選択 84

95 Your input : 1 OK? [Y/n]: [9]-(1) SYSTEM IS handle check IS running... make SYSTEM is-handle check SYSTEM is-handle file exist... create temporal container proxy... Your identity: /C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org Creating proxy... Done Your proxy is valid until: Tue Apr 15 00:56: make SYSTEM is-handle... ( 中略 ) Deploy SYSTEM IS handle file? [Y/n]: deploy SYSTEM IS handle to PORTAL HOST:naregi-portal.naregi.org... deploy SYSTEM IS handle to SS HOST:naregi-ss.naregi.org... restart SS & Portal... Stop [naregi-rs] at HOST:[naregi-ss.naregi.org]... Stop Request Sending ( port=50000 ) Renewal Service shutdown.[stop] Stopping NAREGI Renewal Service: [ OK ] Stop [naregi-ss] at HOST:[naregi-ss.naregi.org]... Stopping ex1-main: [ OK ] Stopping gridss-statd: [ OK ] Stopping gridss-jlogd: [ OK ] Connection to naregi-ss.naregi.org closed. Stop [naregi-portal] at HOST:[naregi-portal.naregi.org]... Using JAVA_ENDORSED_DIRS: /usr/naregi/tomcat5/common/endorsed Using GLOBUS_LOCATION: /usr/naregi/gt4 Using CATALINA_BASE: /usr/naregi/tomcat5 Using CATALINA_HOME: /usr/naregi/tomcat5 Using CATALINA_TMPDIR: /usr/naregi/tomcat5/temp Using JAVA_HOME: /usr/lib/jdk-1.5.0_13 Stopping NAREGI Portal: [ OK ] Start [naregi-ss] at HOST:[naregi-ss.naregi.org]... Starting gridss-jlogd: [ OK ] Starting gridss-statd: [ OK ] Starting ex1-main: [ OK ] Connection to naregi-ss.naregi.org closed. Start [naregi-rs] at HOST:[naregi-ss.naregi.org]... Starting NAREGI Renewal Service: Check running jobs. 85

96 RenewalService Started. [ OK ] Start [naregi-portal] at HOST:[naregi-portal.naregi.org]... Using JAVA_ENDORSED_DIRS: /usr/naregi/tomcat5/common/endorsed Using GLOBUS_LOCATION: /usr/naregi/gt4 Using CATALINA_BASE: /usr/naregi/tomcat5 Using CATALINA_HOME: /usr/naregi/tomcat5 Using CATALINA_TMPDIR: /usr/naregi/tomcat5/temp Using JAVA_HOME: /usr/lib/jdk-1.5.0_13 Starting NAREGI Portal: [ OK ] [9]-(1) SYSTEM IS handle complete IS handle (1) SYSTEM IS handle (SS,WFT,PSE,GVS) make & deploy is-handle file for NAREGI System (2) SBC IS handle make & deploy is-handle file for SBC (3) delete orphan schema reference is-handle files at IS-NAS:/usr/naregi/var/is-handle (0) exit Select NAREGI service (0-3): 2 SBC IS handle( 本例では2) を選択 Your input : 2 OK? [Y/n]: [9]-(1) SBC IS handle check IS running... make SBC is-handle check SBC is-handle file exist... create temporal container proxy... Your identity: /C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org Creating proxy... Done Your proxy is valid until: Tue Apr 15 00:59: make SBC is-handle... 86

97 ( 中略 ) deploy SBC IS handle to GridVM engine HOSTs * get GridVM engine host's list from /usr/naregi/etc/vmnodes/vmnodesum.conf * remote GridVM engine nodes : * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org Deploy SBC IS handle file to GridVM nodes? [Y/n]: create is_as_url... deploy SBC IS handle to GridVM engine HOST:naregi-gvms1.naregi.org... deploy SBC IS handle to GridVM engine HOST:naregi-gvmc1.naregi.org... [9]-(1) SBC IS handle complete IS handle (1) SYSTEM IS handle (SS,WFT,PSE,GVS) make & deploy is-handle file for NAREGI System (2) SBC IS handle make & deploy is-handle file for SBC (3) delete orphan schema reference is-handle files at IS-NAS:/usr/naregi/var/is-handle (0) exit Select NAREGI service (0-3): 0 exit ( 本例では 0) を選択 Your input : 0 OK? [Y/n]: - exit [9] IS handle complete ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### 87

98 ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 88

99 2.13 インストールの終了 (1) NAREGI インストーラの終了 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 0 exit ( 本例では0) を選択 Your input : 0 OK? [Y/n]: + exit 89

100 2.14 VO 内共有ディレクトリの作成 NAREGI ミドルウェアでは ユーザが PSE を使って計算資源上にデプロイ ( 配置 ) したアプリケーションを 同一 VO に所属する他のユーザと共有利用することができます (PSE の デプロイしたアプリの VO 内共有機能 ) この機能を使用するには 予め GridVM 管理ノードごとにアプリケーションをデプロイするための VO 内共有ディレクトリを作成し そのディレクトリ名を IS に登録する必要があります これらは GridVM 管理ノードごとに必要に応じて設定して下さい GridVM 管理ノードごとに異なっていても構いません なお rpm パッケージを用いて NAREGI ミドルウェアを導入された場合は VO 共有ディレクトリ作成が規定となっていますのでご注意ください また ユーザのホームディレクトリが GridVM 間で共有されている場合 VO 内共有ディレクトリの設定が必須となります VOごとの共有ディレクトリの作成 GridVM 管理ノードごとに アプリケーションをデプロイするための VO 内共有ディレクトリを作成します ディレクトリ作成時の留意点は次の通りです VO 内共有ディレクトリは NFS 等により 同一 GridVM クラスタ (GridVM 管理ノードとその配下の GridVM 計算ノード ) 内で共有されている必要があります VO 内共有ディレクトリは 複数の GridVM 管理ノードの間で共有されていない必要があります VO 内共有ディレクトリが必要か否かは 各 VO のポリシー設定によります ( 設定方法は 管理者ガイド NAREGI Middleware PSE(Problem Solving Environment) を参照してください) 将来的に設定変更の可能性がある場合は予め全ての VO に共有ディレクトリを作成することを推奨します GridVM 管理ノードにおいて ユーザ root で作成します 次の例では PSE のインストールディレクトリを /usr/naregi/pse VO 内共有ディレクトリ名を USER_APPS VO 名を rpmtest としています [installuser@naregi-gvms1 ~]$ su - Password: [root@naregi-gvms1 root]# cd /usr/naregi/pse/user_apps [root@naregi-gvms1 USER_APPS]# mkdir rpmtest VOごとの共有ディレクトリの作成 [root@naregi-gvms1 USER_APPS]# chmod 777 rpmtest 90

101 パーミッションの変更 USER_APPS]# ls -l total 4 drwxrwxrwx 3 root root 4096 Nov 19 10:10 rpmtest : ユーザは ジョブ実行時に GridVM 管理ノードにおいて grid-mapfile で計算資源 上のユーザアカウントにマッピングされます また VO 内共有ディレクトリは 同一 VO に属するすべてのユーザーアカウントから読み書き可能である必要があります これらのことから 上記の例では VO 内に計算資源上のユーザーアカウントのグル ープが異なるユーザが存在した場合を考慮し VO ごとの共有ディレクトリのパーミッ ションを 777 にしています 91

102 2.15 DataGrid(DG) のインストール 事前準備 旗艦ノード上の NAREGI インストーラと DG ノード上の NAREGI インストーラのバ ージョンが異なる場合 インストールを進める際に不具合が生じる場合があります このため DG のインストール前に旗艦ノード上の NAREGI インストーラを更新しバージョンを合せておきます ~]# yum update naregi-utils 旗艦ノード上の NAREGI インストーラの更新 DGノード構成情報の設定 DG のインストール (DG-DGUFT ノード DG-Gfarm-VO ノード ) は NAREGI DG インストーラ ( 以下 DG インストーラ ) を使用して行います DG インストーラの起動確認後 インストーラの指示に従い 対話的にインストールを行います DG をインストールする前準備としてまず DG のノード構成の設定を行います 旗艦ノードにおいて インストールユーザで DG インストーラを起動します この際 rpm パッケージをダウンロードしたディレクトリで起動してください [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-dg-install.sh NAREGI DGインストーラの起動 (rpmパッケージをダウンロード したディレクトリで実行 ) ####################################################################### ################# NAREGI DataGrid TOOL ############################ ####################################################################### ### Select Operation ### ### [1] setup NAREGI DataGrid nodes information ### ### [2] OS update (DataGrid nodes) ### ### [3] certificate ### ### [4] install globus ### ### [5] install NAREGI Middlewares ### ### [6] start NAREGI DataGrid service ### ### [0] exit ### ####################################################################### Select Operation (0-9):1 setup NAREGI DataGrid nodes information ( 本例では1) を選択 Your input : 1 OK? [Y/n]: 92

103 [1] NAREGI DataGrid node configration Create a new DataGrid configuration file. Please set the VO name. VO name []:rpmtest VO 名を入力 Your settings: Tne VO name : rpmtest Setting is correct? [Y/n]: ### NAREGI DataGrid node setting ### ## GFMD ## Gfarm metadata server IP [ ]: DG-Gfarm-VOノードのIPアドレスを入力 Gfarm metadata server host name [gfmds.hoge.org]: naregi-gfarm.naregi.org DG-Gfarm-VOノードのホスト名を入力 Your settings: Gfarm metadata server node : naregi-gfarm.naregi.org Setting is correct? [Y/n]: ## GFDSI ## Gfarm DSI IP [ ]: DG-Gfarm-VOノードのIPアドレスを入力 Gfarm DSI host name [gfdsi.hoge.org]: naregi-gfarm.naregi.org DG-Gfarm-VOノードのホスト名を入力 Your settings: Gfarm DSI node : naregi-gfarm.naregi.org Setting is correct? [Y/n]: ## DGUFT ## DataGrid UFT IP [ ]: DG-DGUFTノードのIPアドレスを入力 DataGrid UFT host name [dguft.hoge.org]: naregi-dguft.naregi.org DG-DGUFTノードのホスト名を入力 Your settings: DataGrid UFT node : naregi-dguft.naregi.org Setting is correct? [Y/n]: 93

104 ## GFFSNUM ## The number of Gfarm file system node [1]: 2 Gfarmのファイルノードの数を入力する 本例ではDG-Gfarm-VO ノード DG-DGUFTノードの2つをファイルノードとする Your settings: The number of Gfarm file system node : 2 Setting is correct? [Y/n]: ## GFFS ## Gfarm file system node 1 IP [ ]: DG-Gfarm-VOノードのIPアドレスを入力 Gfarm file system node 1 host name [gffs1.hoge.org]: naregi-gfarm.naregi.org DG-Gfarm-VOノードのホスト名を入力 Your settings: Gfarm file system node 1 : naregi-gfarm.naregi.org Setting is correct? [Y/n]: Gfarm file system node 2 IP [ ]: DG-DGUFTノードのIPアドレスを入力 Gfarm file system node 2 host name [naregi-gfarm.naregi.org]: naregi-dguft.naregi.org DG-DGUFTノードのホスト名を入力 Your settings: Gfarm file system node 2 : naregi-dguft.naregi.org Setting is correct? [Y/n]: ## USER ## DataGrid Test User [dgtest]: naregiuser テストユーザ名を入力 DataGrid Test User DN [/C=JP/O=naregi/OU=togo/CN=naregiuser]: Your settings: DataGrid Test User : naregiuser DataGrid Test User DN : /C=JP/O=naregi/OU=togo/CN=naregiuser Setting is correct? [Y/n]: Your settings: Tne VO name : rpmtest Gfarm metadata server node : naregi-gfarm.naregi.org

105 Gfarm DSI node : naregi-gfarm.naregi.org DataGrid UFT node : naregi-dguft.naregi.org The number of Gfarm file system node : 2 Gfarm file system node 1 : naregi-gfarm.naregi.org Gfarm file system node 2 : naregi-dguft.naregi.org DataGrid Test User : naregiuser DataGrid Test User DN : /C=JP/O=naregi/OU=togo/CN=naregiuser Do you modify it again? [y/n]: NAREGI DataGrid node setting is completed. check the remote nodes VO name: rpmtest access to HOST:naregi-portal.naregi.org... check ssh to HOST:naregi-portal.naregi.org... ssh Defaults setting. Connection to naregi-portal.naregi.org closed. check sudo at HOST:naregi-portal.naregi.org... sudo Defaults setting. Connection to naregi-portal.naregi.org closed. User installuser may run the following commands on this host: (ALL) NOPASSWD: ALL Login Shell : check OS release... check clockdiff... list rpm packages at HOST:naregi-portal.naregi.org... ( 中略 ) --- OK? [Y/n]: access to HOST:XXXXX.naregi.org... check ssh to HOST: XXXXX.naregi.org... ( 中略 ) check clockdiff... list rpm packages at HOST:naregi-gfarm.naregi.org OK? [Y/n]: deploy the NAREGI DataGrid node config VO name: rpmtest * remote nodes : 95

106 * naregi-portal.naregi.org * naregi-gfarm.naregi.org * naregi-dguft.naregi.org NOTE: If you changed NAREGI DataGrid node configuration, you have to deploy dgnode_rpmtest.conf to all nodes. Deploy dgnode_rpmtest.conf to the remote nodes? [Y/n]: deploy the NAREGI dgnode_rpmtest.conf to HOST:naregi-portal.naregi.org... deploy the NAREGI dgnode_rpmtest.conf to HOST:naregi-gfarm.naregi.org... deploy the NAREGI dgnode_rpmtest.conf to HOST:naregi-dguft.naregi.org... deploy the NAREGI DataGrid node config complete deploy the naregi node config * remote nodes : * naregi-portal.naregi.org naregi-gfarm.naregi.org naregi-dguft.naregi.org Deploy node.conf to the remote nodes? [Y/n]: deploy the naregi node.conf to HOST:naregi-portal.naregi.org... deploy the naregi node.conf to HOST:naregi-gfarm.naregi.org... deploy the naregi node.conf to HOST:naregi-dguft.naregi.org... deploy the naregi node config complete [1] NAREGI DataGrid node configration complete DGノードのOS 更新旗艦ノードにおいて DG インストーラのメインメニューから実施します 注意 : 本処理でnrg-dg-install.sh を実行する場合 2.2 NAREGIインストーラの取得 で取得したNAREGIインストーラのファイルが存在する場所で実行してください 96

107 ( 異なる場所で実行するとエラーとなります ) [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-dg-install.sh NAREGI DGインストーラの起動 (rpmパッケージをダウンロード したディレクトリで実行 ) ####################################################################### ################# NAREGI DataGrid TOOL ############################ ####################################################################### ### Select Operation ### ### [1] setup NAREGI DataGrid nodes information ### ### [2] OS update (DataGrid nodes) ### ### [3] certificate ### ### [4] install globus ### ### [5] install NAREGI Middlewares ### ### [6] start NAREGI DataGrid service ### ### [0] exit ### ####################################################################### Select Operation (0-9):2 OS update (DataGrid nodes) を 選択 ( 本例では2) Your input : 2 OK? [Y/n]: CentOS 更新パッケージの適用は非常に時間がかかります OS 更新は ssh sudo と yum コマンドを使用し行っていますが 途中でパスワード問合せがあった場合はインストールアカウントのパスワードを入力してください [2] OS update (DataGrid nodes) * get remote host's list from /usr/naregi/etc/dgnode_rpmtest.conf * DataGrid node list: * naregi-dguft.naregi.org * naregi-gfarm.naregi.org OK? [Y/n]: 適用するノードを確認し空送信 ( リターンキー ) で次へ ******* OS update (remote nodes) 97

108 * check each host check ssh to HOST:naregi-dguft.naregi.org... ssh Defaults setting. Connection to naregi-dguft.naregi.org closed. check sudo at HOST:naregi-dguft.naregi.org... sudo Defaults setting. Connection to naregi-dguft.naregi.org closed. User togo05 may run the following commands on this host: (ALL) NOPASSWD: ALL ( 中略 ) * check each host complete Select reboot option interactive (recommended) all none NOTE : OS update takes about 1 hour/node. Select reboot option (0-2): 1 rebootオプションの選択 ( 本例では1を選択 ) 0:1ノードごとにrebootの確認をする 1: 自動でrebootを実施する 2: 何もしない (OSパッチ適用処理を終了 ) Your input : 1 OK? [Y/n]: * OS update HOST:naregi-dguft.naregi.org check initial rpms installation... clean wdir... send naregi install rpms... remove old apt pkg... install initial rpms... ( 中略 ) 全ノードの更新を行いますので時間が掛かります ( 中略 ) 98

109 * OS update HOST:naregi-gfarm.naregi.org complete ******* OS update (remote nodes) complete [3] OS update (DataGrid nodes) complete DG ノードの OS 更新と再起動終了後 カーネルが更新されていることと 更新され たカーネルで起動していることを確認します DGノードのホスト証明書の配置 DG ノードにホスト証明書を配置する方法を説明します NAREGIミドルウェアrpmパッケージ同梱のNAREGI-CAから証明書を発行 配置するには (1)DGノードのホスト証明書の発行と配置 を実施ください すでに運用されている認証局から取得したホスト証明書を配置するには (2) DGノードのホスト証明書の配置 を実施ください (1) DG ノードのホスト証明書の発行と配置 DGノードのホスト証明書の発行を行います 発行する証明書はnrg-install.shで構成したCA/RAにより発行されます CA/RAの構築については2.6.2(1) を参照してください またDGのインストーラにはユーザ証明書の発行もメニュー項目としてありますが 2.6.4にて発行したユーザ証明書を使用するため DGインストーラにてユーザ証明書を発行する必要はありません ####################################################################### ################# NAREGI DataGrid TOOL ############################ ####################################################################### ### Select Operation ### ### [1] setup NAREGI DataGrid nodes information ### ### [2] OS update (DataGrid nodes) ### ### [3] certificate ### ### [4] install globus ### ### [5] install NAREGI Middlewares ### ### [6] start NAREGI DataGrid service ### ### [0] exit ### ####################################################################### Select Operation (0-9): 3 99

110 certificate ( 本例では3) を選択 Your input : 3 OK? [Y/n]: [3] certificate Select Certificate Operation (1) make HOST certificate files (2) make USER certificate files (0) exit Select Certificate Operation (0-2): 1 make HOST certificate files ( 本例では1) を選択 Your input : 1 OK? [Y/n]: 発行されたホスト証明書は CA ノードの /<NAREGI ミドルウェアインストールディレクトリ >/cert/host/< 各ノード名 (FQDN)> 配下に格納されます ホスト証明書発行状況の確認は 2.6.3(2) と同様の手順で行います [3]-(1) make DataGrid HOST certificate files get host list from /usr/naregi/etc/dgnode_vo-tt-01.conf * issue cert host list : * naregi-dguft.naregi.org * naregi-gfarm.naregi.org ok? [Y/n]: ホスト証明書発行を行うノードを確認し空送信で次へ ******* make HOST certificate files check... register license... Restart naregi-ra daemon... starting RA server... read config file. port=11412,listen=5 100

111 ssl=1,req=48,vfy=9 read server certificate : O=naregi-cara.naregi.org, OU=server-9716ca-9a3db, CN=caserver010 0, set certificate request option (mode=48) start airad daemon process (16217) each HOST cert request... * issue a certificate for HOST: naregi-dguft.naregi.org make host cert dir : [/usr/naregi/cert/host/naregi-dguft.naregi.org]... HOST cert request creating a certificate signing request generate private key (size 1024 bit)...oo...oo input user subject information * can be omitted by putting a char of '.' please confirm your inputs GROUP : Globus host SUBJECT : CN=host/naregi-dguft.naregi.org trying to connect RA server : localhost (11412)... ok. request for issuing a new certificate... ok. save a CA certificate file : naregica.cer save a certificate file : hostcert.pem save a private key file : hostkey.pem ( 中略 ) [3]-(1) make DataGrid HOST certificate files complete (2) DG ノードのホスト証明書の配置 すでに運用されている認証局から取得したホスト証明書の配置方法を説明します ####################################################################### ################# NAREGI DataGrid TOOL ############################ ####################################################################### ### Select Operation ### ### [1] setup NAREGI DataGrid nodes information ### 101

112 ### [2] OS update (DataGrid nodes) ### ### [3] certificate ### ### [4] install globus ### ### [5] install NAREGI Middlewares ### ### [6] start NAREGI DataGrid service ### ### [0] exit ### ####################################################################### Select Operation (0-6): 3 certificate ( 本例では 3) を選択 Your input : 3 OK? [Y/n]: [3] certificate Note: CA/RA are not specified Select Certificate Operation (1) extract certificate files from tar (0) exit Select Certificate Operation (0-1): 1 extract certificate files from tar ( 本例では 1) を選択 Your input : 1 OK? [Y/n]: [3]-(5) get certificate files from archives Get certificate files from the archive (.tar.tar.gz.tar.bz2). Input a file name (full path) : /tmp/togo6dg.tar.gz archive file path : [/tmp/togo6dg.tar.gz] OK? [Y/n]: check archive file... get archive list HOSTNAME CERT KEY CACERT FILES - naregi-dguft.naregi.org * * * 3 - naregi-gfarm.naregi.org * * *

113 - USERNAME CERT KEY CACERT FILES Select mode auto (use default filename) manual (any filename available) exit Select mode (0-2): 1 auto ( 本例では 1) を選択 Your input : 1 OK? [Y/n]: extract certificate files for host:naregi-dguft.naregi.org... extract certificate files for host:naregi-gfarm.naregi.org Select mode auto (use default filename) manual (any filename available) exit Select mode (0-2): 0 exit ( 本例では 0) を選択 Your input : 0 OK? [Y/n]:. exit [3]-(5) get certificate files from archives complete Note: CA/RA are not specified Select Certificate Operation (1) extract certificate files from tar (0) exit Select Certificate Operation (0-1): 0 exit ( 本例では 0) を選択 Your input : 0 OK? [Y/n]: exit 103

114 [3] certificate complete ####################################################################### ################# NAREGI DataGrid TOOL ############################ ####################################################################### ### Select Operation ### ### [1] setup NAREGI DataGrid nodes information ### ### [2] OS update (DataGrid nodes) ### ### [3] certificate ### ### [4] install globus ### ### [5] install NAREGI Middlewares ### ### [6] start NAREGI DataGrid service ### ### [0] exit ### ####################################################################### Select Operation (0-6): 前提ソフトウェアパッケージのインストール DG インストーラのメインメニューで install globus を選択し DG のノードで NAREGI ミドルウェアの動作に必要となる前提ソフトウェアのインストールを実施します (1) インストールの開始 ####################################################################### ################# NAREGI DataGrid TOOL ############################ ####################################################################### ### Select Operation ### ### [1] setup NAREGI DataGrid nodes information ### ### [2] OS update (DataGrid nodes) ### ### [3] certificate ### ### [4] install globus ### ### [5] install NAREGI Middlewares ### ### [6] start NAREGI DataGrid service ### ### [0] exit ### ####################################################################### Select Operation (0-9): 4 install globus ( 本例では4) を選択 Your input : 4 OK? [Y/n]: 104

115 (2) 前提ソフトウェアの一括インストール [4] install globus (DataGrid nodes) * naregi globus (gt4) nodes list : * naregi-dguft.naregi.org * naregi-gfarm.naregi.org ok? [Y/n]: インストールするノードを確認し空送信 ( リターンキー ) で次へ Deploy the Certificat Files? [Y/n]: ******* install globus HOST:naregi-dguft.naregi.org ( 中略 ) ******* install globus complete HOST:naregi-gfarm.naregi.org [4] install globus (DataGrid nodes) complete ####################################################################### ################# NAREGI DataGrid TOOL ############################ ####################################################################### ### Select Operation ### ### [1] setup NAREGI DataGrid nodes information ### ### [2] OS update (DataGrid nodes) ### ### [3] certificate ### ### [4] install globus ### ### [5] install NAREGI Middlewares ### ### [6] start NAREGI DataGrid service ### ### [0] exit ### ####################################################################### Select Operation (0-9): 105

116 DataGrid のインストール 本項では DataGrid のインストールを行ないます ################# NAREGI DataGrid TOOL ############################ ####################################################################### ### Select Operation ### ### [1] setup NAREGI DataGrid nodes information ### ### [2] OS update (DataGrid nodes) ### ### [3] certificate ### ### [4] install globus ### ### [5] install NAREGI Middlewares ### ### [6] start NAREGI DataGrid service ### ### [0] exit ### ####################################################################### Select Operation (0-9): 5 install NAREGI Middlewares ( 本例では 5) を選択 Your input : 5 OK? [Y/n]: [5] install DataGrid middles 1. Gfarm Meta Data server * GFMDSHOSTs : * naregi-gfarm.naregi.org install Gfarm Meta Data server pkg HOST : naregi-gfarm.naregi.org * specified rpmpkgs : * naregi-dg-rms use system ganglia... NOTE: yum affairs... You can see the details in /usr/naregi/var/log/nrg-utils-remoteinstall [7].log. package_manager install naregi-dg-rms... ( 中略 ) Connection to naregi-gfarm.naregi.org closed. deploy the NAREGI DataGrid Gfarm config 106

117 VO name: rpmtest * remote nodes : * naregi-dguft.naregi.org * naregi-gfarm.naregi.org Deploy Gfarm conf to the remote nodes? [Y/n]: get the NAREGI Gfarm conf from HOST:naregi-gfarm.naregi.org... deploy the NAREGI Gfarm conf to HOST:naregi-dguft.naregi.org... get the NAREGI Gfarm conf from HOST:naregi-gfarm.naregi.org... deploy the NAREGI Gfarm conf to HOST:naregi-gfarm.naregi.org... get the NAREGI Gfarm conf from HOST:naregi-gfarm.naregi.org... deploy the NAREGI Gfarm conf to HOST:naregi-gfarm.naregi.org... modify the NAREGI DataGrid Gfarm config on DSI server write_local_priority disable write_local_priority disable deploy the NAREGI DataGrid Gfarm config complete 2. Gfarm DSI server GFDSIHOSTs : naregi-gfarm.naregi.org install Gfarm DSI server pkg HOST : naregi-gfarm.naregi.org * specified rpmpkgs : * naregi-dg-dsi NOTE: yum affairs... ( 中略 ) package_manager install naregi-dg-ui... Connection to naregi-portal.naregi.org closed. check ssh to HOST:naregi-portal.naregi.org... ssh Defaults setting. Connection to naregi-portal.naregi.org closed. 107

118 check VOMS/UMS certificate file exist at PORTAL node... * * Note: From NAREGI V1.1, * * VOMS/UMS host Certificate File is required * * on PORTAL node for DataGrid Service. * * You have to deploy VOMS/UMS host Certificate File to * * (PORTAL node): /etc/grid-security/vomsdir/hostcert.pem. * * If you already had VOMS/UMS host Certificate File * * in (this node): /usr/naregi/cert/host, * * you can deploy it by this tool. * * Deploy the VOMS/UMS host Certificate File to PORTAL node? [Y/n]: check ssh to HOST:naregi-portal.naregi.org... ssh Defaults setting. Connection to naregi-portal.naregi.org closed. done. [5] install DataGrid middles complete DataGrid サービスの起動 (1) DataGrid サービスの一括起動 DG インストーラから DataGrid サービスの起動を行ないます この際 DataGrid サービスだけでなく NAREGI ミドルウェアの他サービスも同時に起動されます ####################################################################### ################# NAREGI DataGrid TOOL ############################ ####################################################################### ### Select Operation ### ### [1] setup NAREGI DataGrid nodes information ### ### [2] OS update (DataGrid nodes) ### ### [3] certificate ### ### [4] install globus ### ### [5] install NAREGI Middlewares ### ### [6] start NAREGI DataGrid service ### ### [0] exit ### ####################################################################### Select Operation (0-9): 6 108

119 start NAREGI DataGrid service ( 本例では6) を選択 Your input : 6 OK? [Y/n]: [8] start naregi-service [8] start naregi-service start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 1 start ( 本例では1) を選択 Your input : 1 OK? [Y/n]: [8]-(1) start naregi service 1. GridVM * GridVM Scheduler HOSTs : * naregi-gvms1.naregi.org * GridVM Engine HOSTs : * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org Start [gmond] at HOST:[naregi-gvms1.naregi.org]... Starting GANGLIA gmond: [ OK ] Start [Local-Scheduler] at HOST:[naregi-gvms1.naregi.org]

120 Connection to naregi-gvms1.naregi.org closed. Starting PBS PBS mom PBS sched Using license server at PBS server Start [naregi-gridvm-scheduler] at HOST:[naregi-gvms1.naregi.org]... Starting NAREGI GridVM scheduler Daemon: [ OK ] Start [naregi-is-lrps] at HOST:[naregi-gvms1.naregi.org]... Starting NAREGI IS LRPS: [ OK ] Start [globus] at HOST:[naregi-gvms1.naregi.org]... Starting Globus: ( 略 ) 6. DataGrid Gfarm Meta Data server(s) : naregi-gfarm.naregi.org DGUFT server(s) : naregi-dguft.naregi.org * GFFSHOSTs : * naregi-dguft.naregi.org * naregi-gfarm.naregi.org Start [gfarm-pgsql] at HOST:[naregi-gfarm.naregi.org]... Starting gfarm-pgsql: [ OK ] Start [gfmd] at HOST:[naregi-gfarm.naregi.org]... Starting gfmd:[ OK ] Start [globus] at HOST:[naregi-gfarm.naregi.org]... Starting Globus: ( 中略 ) [8]-(1) start naregi service complete start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit

121 Select NAREGI service (0-4): (2) DataGrid サービスの起動確認 start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 4 status ( 本例では4) を選択 Your input : 4 OK? [Y/n]: [8]-(4) status naregi service --- GridVM Scheduler HOST:naregi-gvms1.naregi.org [gmond] Running. [Local-Scheduler] pbs_server is pid pbs_mom is pid pbs_sched is pid [globus] Running. [naregi-gridvm-scheduler] Running. [naregi-gridvm-engine] Running. [naregi-is-lrps] Running. ( 中略 ) [8]-(4) status naregi service complete (3) DataGridサービスの一括停止 DG インストーラから DataGrid サービスの停止を行ないます この際 DataGrid サービスだけでなく NAREGI ミドルウェアの他サービスも同時に停止されます

122 start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 2 stop ( 本例では2) を選択 Your input : 2 OK? [Y/n]: [8]-(2) stop naregi service 1. Portal Stop [naregi-portal] at HOST:[naregi-portal.naregi.org]... Using JAVA_ENDORSED_DIRS: /usr/naregi/tomcat5/common/endorsed Using GLOBUS_LOCATION: /usr/naregi/gt4 Using CATALINA_BASE: /usr/naregi/tomcat5 Using CATALINA_HOME: /usr/naregi/tomcat5 Using CATALINA_TMPDIR: /usr/naregi/tomcat5/temp Using JAVA_HOME: /usr/lib/jdk-1.5.0_13 Stopping NAREGI Portal: [ OK ] Stop [myproxy] at HOST:[naregi-portal.naregi.org]... Stopping the MyProxy server... done. Connection to naregi-portal.naregi.org closed. ( 中略 ) [8]-(2) stop naregi service complete start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 112

123 (4) DataGrid サービスメニューの終了 start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 0 Your input : 0 OK? [Y/n]: + exit exit ( 本例では 0) を選択 2.16 GridRPCフロントエンドノードの構築 NAREGI 環境上でGridRPCジョブを実行する場合は GridRPCフロントエンドノードの構築が必要になります ノード構築手順は 9 ( 付録 ) GridRPCフロントエンドノードの構築 を参照ください 2.17 NAREGIミドルウェアのテスト NAREGI ミドルウェアのインストール後の確認方法は NAREGI Middleware 使用手引書 ( 利用者編 ) を参照ください 113

124 3. 複数 VO の構築 単一 VO 構成のインストール方法について述べてきましたが 複数の VO を連携さ せた構築について本章で説明します 3.1 RCSとは単一 VO と複数 VO の構成の違いの中で 大きく異なる点として各管理ノードの RCS (Reservation Cache Service) の役割が挙げられます RCS は 複数の VO ごとの資源予約を調停するために配置します 複数 VO に対して1つの RCS を設置する場合を集中管理型 RCS と言います SS Client SS Client VO1 VO2 SS Server IS SS Server IS RCS SiteA GridVM (VO1/2) SiteB GridVM (VO2) GridVM (VO1) GridVM (VO2) GridVM (VO1) 図 集中管理型 RCS 114

125 3.2 複数サイトの計算資源を共有するVOの作成複数 SS を構成する前提として 複数サイトの計算資源を共有して利用できる VO を作成する手順について説明します 図 連携前の構成 ではSite-A Site-Bがそれぞれ独立した環境の中で Site-AはVO-1 という名のVOを構成し Site-BはVO-2 という名のVOを構成しています この状態から 図 連携後の構成 のとおりにSite-AとSite-BのVOを連携したVO-3 という名のVOを構成していきます 図 連携前の構成 115

126 図 連携後の構成 < 手順概要 > はじめに Site-A の UMS にて Site-A,Site-B 両サイトに跨る計算資源を含む VO-3(vocommon) を作成します 次に Site-B の GridVM 管理ノードを Site-A の IS-CDAS 配下に組みこむことにより Site-A の Portal から Site-A,Site-B 両方の計算資源にアクセス可能な環境を構築します <ノード構成 > ノード SiteA SiteB UMS site_a-ums.grid.nii.ac.jp site_b-ums.grid.nii.ac.jp Portal site_a-caportal.grid.nii.ac.jp site_b-caportal.grid.nii.ac.jp SS site_a-ss.grid.nii.ac.jp site_b-ss.grid.nii.ac.jp IS-NAS site_a-isnas.grid.nii.ac.jp site_b-isnas.grid.nii.ac.jp IS-CDAS site_a-iscdas.grid.nii.ac.jp site_b-iscdas.grid.nii.ac.jp GridVM 管理 site_a-gvms.grid.nii.ac.jp site_b-gvms.grid.nii.ac.jp GridVM 計算 site_a-gvmc1.grid.nii.ac.jp site_b-gvmc1.grid.nii.ac.jp *Site-A,Site-B とも GridVM 管理ノードは計算ノードを兼ねています 連携用 VO の作成 実行ノード :Site-A の UMS ノード 実行ユーザ :root 116

127 Site-A,Site-B 双方の計算資源を含む VO を新規に作成します (1) VOの作成 Site-A の UMS ノードにて VO を作成します コマンドは root ユーザで実行します ポート番号には重複しない数値を設定してください ( 下記の例では を指定 ) なお 指定するオプションのうち警告等のメール送信先が特に決まっていない場合は下記のように設定します <host-name> : localhost < addr> : root@localhost # $GLITE_LOCATION/sbin/voms-admin-configure install --vo vocommon --port dbapwd <mysql password> --smtp-host <host-name> --mail-from < addr> (2) vomsサーバデーモンの起動新規登録した VO の管理者が登録できるように voms サーバの設定後 デーモンを再起動します Site-A の UMS ノードにて root ユーザで実行してください ( 以下同様 ) < 設定と停止 > # /opt/glite/etc/config/scripts/glite-voms-server-config.py --configure Stopping edg-voms(rpmtest): shutdown [ OK ] Stopping edg-voms(vocommon): [FAILED] 今回作成したvoがエラーになりますが これが正常な動作です < 起動 > # /opt/glite/etc/config/scripts/glite-voms-server-config.py --start Starting edg-voms(vocommon): [ OK ] 今回作成したvoが起動されます < 確認 > # /opt/glite/etc/config/scripts/glite-voms-server-config.py --status Owner of file or directory /var/glite is root:root Owner of file or directory /var/log/glite is root:root [INFO] Created directory /tmp/glite Owner of file or directory /tmp/glite is root:root Check.bash_profile content 117

128 Check.bashrc content Check.cshrc content Check.tcshrc content xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx Checking status of glite VOMS Server xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx Status of VOs VOMS-admin server: Testing vo1: [ OK ] Testing vocommon: [ OK ] Status of VOs VOMS server: Testing vo1: [ OK ] Testing vocommon: [ OK ] Check.bash_profile content Check.bashrc content Check.cshrc content Check.tcshrc content xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx Checking status of glite R-GMA Service Publisher xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx The glite R-GMA Service Publisher is running. 既存の VO(vo1) と今回作成した VO(vocommon) の両方が動作していれば正常です (3) VO 管理者の登録 新たに作成した VO に VO 管理者を登録します # cd ~voms/.globus # /opt/glite/bin/voms-admin --vo vocommon create-user./usercert.pem assign-role VO V O-Admin./usercert.pem 118

129 (4) Groupの作成新たに作成した VO にグループを作成します 本例では グループ GroupName を作成しています # /opt/glite/bin/voms-admin --vo vocommon create-group GroupName すでに存在するグループ配下にサブグループを作成することもできます 以下の例 では グループ Parent 配下にサブグループ GroupName を作成しています # /opt/glite/bin/voms-admin --vo vocommon create-group Parent/GroupName (5) Role の作成 新たに作成した VO に Role を作成します # /opt/glite/bin/voms-admin --vo vocommon create-role DefaultRole (6) VO 情報の設定 新たに作成した VO の情報を vomses ファイルに追記します すでに登録済みの VO 情報を参考に登録してください ( ポート番号の重複に注意 ) # vi /opt/glite/etc/vomses "vocommon","site_a-ums.grid.nii.ac.jp","15001","/c=jp/o=naregi/ou=shientest/cn=host/site_aums.grid.nii.ac.jp","vocommon" (7) ユーザ登録 vocommon を利用するユーザを登録します ( 例 :naregiuser) # cd ~naregiuser/.globus # /opt/glite/bin/voms-admin --vo vocommon create-user usercert.pem add-member Grou pname usercert.pem assign-role GroupName DefaultRole --usercert usercert.pem (8) 登録したユーザの VO 情報の設定 vomses ファイルと fqan ファイルを編集します # cd ~naregiuser/.glite # vi./vomses "vocommon","site_a-ums.grid.nii.ac.jp","15001","/c=jp/o=naregi/ou=shientest/cn=host/site_aums.grid.nii.ac.jp","vocommon" 119

130 # vi./fqan /VO=vocommon/Group=GroupName/Role=DefaultRole 以上で Site-A の UMS ノードでの作業は終了です Portal ノードでの設定 実行ノード :Site-A の Portal ノード 実行ユーザ :root (1) VO 設定ファイルの作成 Site-A の Portal ノードにて 新規に作成した VO 名をファイル名に含む VO 設定ファイルを作成します ( 既存ファイルからのコピー ) # cd /var/lib/tomcat5/webapps/portal/web-inf/conf # cp VO=vo1.xml VO=vocommon.xml # chown portal:portal VO=vocommon.xml (2) Portal ノードサービスの再起動 VO 設定ファイルを作成後 Portal ノード上のサービスを再起動してください # /etc/init.d/naregi-portal restart NAREGI デーモンが再起動されたら LRPS の設定を行ないます LRPS の設定 (1) GridVM 管理ノードの設定 実行ノード :GridVM 管理ノード (Site-A, Site-B とも ) 実行ユーザ :globus GridVM 管理ノードにて 新規に作成した vo の設定を追加します # su globus globus ユーザで行ないます $ cd /usr/naregi/tomcat5/webapps/wsrf/web-inf/etc/lrps/provider-bin $ cp gacl.xml gacl.xml.bak $ vi gacl.xml <!-- your entry --> <gacl> 120

131 <entry> 中略 </entry> <!-- vocommon --> <entry> <voms> <fqan>/vocommon</fqan> </voms> <allow> <exec/> </allow> <deny> <admin/> </deny> </entry> </gacl> ここに登録する vo 名を入れる ***vocommon のエントリ (<entry></entry>) を追加する *** < 設定を反映させます > $ cd /usr/naregi/is/infoservice/src/dbtool $./refresh-gacldata.sh エラーなくプロンプトが返ってくれば OK です Site-A,Site-B 両方の GridVM 管理ノードで設定が必要です (2) IS-CDAS ノードの mcd 設定 実行ノード :Site-A の IS-CDAS ノード 実行ユーザ :globus 新規に接続する lrps を MCDAS に登録します # su globus globus ユーザで行ないます $ cd /usr/naregi/is/infoservice/admintool $./mcd.sh -a site_b-gvms.grid.nii.ac.jp 8443 ***** -a xxxxx で指定するノードは Site-B の GVMS です ***** $./mcd.sh -l 設定の確認 === MCDAS === Current connection target LRPSs are: lrps@site_a-gvms.grid.nii.ac.jp:8443 Site-AのGridVM 管理ノード ( 既存 ) lrps@site_b-gvms.grid.nii.ac.jp:8443 Site-BのGridVM 管理ノード ( 追加 ) 121

132 (2 ) (3) IS-CDAS ノードの scd 設定 実行ノード :Site-A の ID-CDAS ノード 実行ユーザ :globus 新規に接続する lrps を SCDAS に登録します $ pwd /usr/naregi/is/infoservice/admintool $./scd.sh -a site_b-gvms.grid.nii.ac.jp 8443 $./scd.sh -l 設定の確認 === SCDAS === Current connection target LRPSs are: lrps@site_a-gvms.grid.nii.ac.jp:8443 Site-AのGridVM 管理ノード ( 既存 ) lrps@site_b-gvms.grid.nii.ac.jp:8443 Site-BのGridVM 管理ノード ( 追加 ) (2 ) デーモンの再起動等の作業はありませんが 変更内容がデータベースに反映されるま で 1 ノードあたり最大 5 分を要します grid-mapfile へのノード登録 実行ノード :Site-A の IS-CDAS および Site-B の GridVM 管理ノード 実行ユーザ :root Site-A の IS-CDAS ノードと Site-B の GVMS ノードの /usr/naregi/is/etc/grid-mapfile にお互いのノードを登録します Site-B の GridVM 管理ノードには Site-A の Portal ノードも登録します (root ユーザで行ないます ) # cd /usr/naregi/is/etc # vi./grid-mapfile ##### Site-A IS-CDAS ##### "/C=JP/O=naregi/OU=shientest/CN=host/site_a-isnas.grid.nii.ac.jp" nobody "/C=JP/O=naregi/OU=shientest/CN=host/site_a-iscdas.grid.nii.ac.jp" nobody "/C=JP/O=naregi/OU=shientest/CN=host/site_a-gvms.grid.nii.ac.jp" nobody "/C=JP/O=naregi/OU=shien/CN=host/site_b-gvms.grid.nii.ac.jp" nobody 接続する GridVM 管理ノードの DN 情報を追加します 122

133 ##### Site-B GridVM 管理ノード ##### "/C=JP/O=naregi/OU=shien/CN=globus" nobody "/C=JP/O=naregi/OU=shien/CN=host/site_b-iscdas.grid.nii.ac.jp" nobody "/C=JP/O=naregi/OU=shien/CN=host/site_b-caportal.grid.nii.ac.jp" nobody "/C=JP/O=naregi/OU=shien/CN=host/site_b-gvms.grid.nii.ac.jp" nobody "/C=JP/O=naregi/OU=shientest/CN=host/site_a-iscdas.grid.nii.ac.jp" nobody "/C=JP/O=naregi/OU=shientest/CN=host/site_a-portal.grid.nii.ac.jp" nobody 接続対象システムの IS-CDAS, Portal ノードの DN 情報を追加します ルート証明書の交換 実行ノード :Site-A の IS-CDAS, SS, Portal ノード Site-B の GridVM 管理 GridVM 計算ノード 実行ユーザ :root Site-A と Site-B は異なる認証局から配布された証明書を利用しているためお互いの承認が出来ません ルート証明書を交換して対応します # cd /etc/grid-security/certificate # ls total 76 -r-xr--r-- 1 root root 826 Jan d44ec4b.0 -r-xr--r-- 1 root root 1265 Jan d44ec4b.signing_policy -r-xr--r-- 1 root root 1176 Oct 29 11:58 3f2d0c9e.0 -r-xr--r-- 1 root root 1275 Oct 29 12:02 3f2d0c9e.signing_policy -r-xr--r-- 1 root root 1188 Feb 13 15:31 87fdc r-xr--r-- 1 root root 1283 Feb 13 15:31 87fdc511.signing_policy -r-xr--r-- 1 root root 1306 Jul a87d r-xr--r-- 1 root root 1340 Jul a87d9192.signing_policy -r-xr--r-- 1 root root 936 Oct 29 12:01 bff6148a.0 -r-xr--r-- 1 root root 1353 Oct 29 12:01 bff6148a.signing_policy 複数の signing_policy ファイルが存在する場合はホスト証明書と比較します # openssl x509 -in../hostcert.pem -noout -subject ホスト証明書の内容を表示 subject= /C=JP/O=naregi/OU=shien/CN=host/site_b-gvms.grid.nii.ac.jp # cat 2d44ec4b.signing_policy # Format: # # token type def.authority value # # EACL entry #1 access_id_ca X509 '/C=JP/O=naregi/CN=testca' 123

134 pos_rights globus CA:sign cond_subjects globus '"/C=JP/O=naregi/*"' # end of EACL ホスト証明書の subject と一致しない これは違う # cat 3f2d0c9e.signing_policy # Format: # # token type def.authority value # # EACL entry #1 access_id_ca X509 '/C=JP/O=naregi/OU=shien' pos_rights globus CA:sign cond_subjects globus '"/C=JP/O=naregi/OU=shien/*"' # end of EACL ホスト証明書の subject と一致するのでこれが正解! # sftp site_a-iscdas.grid.nii.ac.jp sftp> cd /etc/grid-security/certificate sftp> ls 転送するファイルと同一ファイル名がないかをチェック sftp> put 3f2d0c9e* 3f2d0c9e.0 3f2d0c9e signing_policyファイルが転送されます ********************************************************* Site-A の Portal と SS にも同じファイルを転送してください ********************************************************* Site-AのISCDASノードで同じ作業を行ない IS-CDASのxxxx.signing_policyファイルを Site-BのGridVM 管理ノード およびGridVM 計算ノードに転送します ユーザ用 grid-mapfileの設定 実行ノード :Sitie-B の GridVM 管理ノード 実行ユーザ :root Site-B の GridVM 管理 GridVM 計算ノードの /etc/grid-security/grid-mapfile に vocommon に 124

135 属するユーザアカウントを登録します # cd /etc/grid-security root アカウントで行ないます # vi./grid-mapfile "/C=JP/O=naregi/OU=shien/CN=naregiuser" naregiuser 既存 "/C=JP/O=naregi/OU=shientest/CN=naregiuser" naregiuser Site-A の GridVM 管理ノードからコピー ********************************************************* 以上で VO 連携の設定は終了です NAREGI デーモンを再起動後 動作確認を行なって下さい ********************************************************* NAREGI デーモンの再起動 # su installuser インストールアカウントで行ないます ( 旗艦ノード ) $ /usr/naregi/sbin/nrg-install.sh ########### NAREGI TOOL ############# ### Select Operation ### [8] start naregi-service ##################################### start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): Your input: 3 NAREGI デーモンが再起動されたら動作確認を行ないます 動作確認ブラウザから Site-A の Portal へアクセスします UMS へログインして VO Name を vocommon に変更 必要であれば Mypoxy パスワードも設定します VO の変更が済んだら NAREGI Grid Portal にサインオンします この時に VO 名が vocommon でサインオンされていることを確認します 次に WFT からフォルダを選択 Upload をクリックして vocommon に属する GridVM 管理ノードがすべて認識されていることを確認します 125

136 3.3 設定方法複数 VOを構成する場合 いずれかの管理ノードでRCSを起動します RCSのロケーション情報をgridss-global.env へ記述し 設定を変更する必要があります 以下に設定方法を説明します 以下のパラメータを SSを動作させる環境に合わせて変更してください なお 変更はSSが停止している状態で実施してください SS の停止 ユーザ root で Site-A の SS ノード (site_a-ss.grid.nii.ac.jp) の SS サービスを停止しま す ~]# /etc/init.d/naregi-ss stop Stopping ex1-main: [ OK ] Stopping gridss-statd: [ OK ] Stopping gridss-jlogd: [ OK ] [root@site_a-ss ~]# 設定方法ユーザ globus で gridss-global.env の URLH_RCS パラメータを集中型 RCS として稼動させるホストのホスト名とポート番号に設定します [root@site_a-ss ~]# su globus [globus@site_a-ss ~]$ cd /usr/naregi/ss/etc/gridss/ [globus@site_a-ss gridss]$ vi gridss-global.env URLH_RCS... MYPROXY_SERVER=localhost.localdomain MYPROXY_SERVER_PORT=7512 GRIDIS_PG_SERVER=test002.grid.nii.ac.jp GRIDIS_PG_SERVER_PORT=5432 GRIDIS_PG_DBNAME=node GRIDIS_PG_USERNAME=naregiss GRIDIS_PG_PASSWORD=gridss # scheme ":" "//" authority (do NOT contains "Path" part) URLH= URLH_DFS=${URLH} URLH_DLG=${URLH_DFS} URLH_UPS=${URLH_DFS} URLH_JMS=${URLH} URLH_EPS=${URLH} URLH_CSG=${URLH} URLH_ASC=${URLH} URLH_RCS=${URLH} URLH_VSC=${URLH} URLH_FSC=${URLH} URLH_FVM=${URLH} URLH_BWE=${URLH} 126

137 URLH_WWM=${URLH} URLH_RSS=${URLH} gridss-mkconfの実行 gridss-global.env の設定内容を反映するためユーザ globus で gridss-mkconf を実行します gridss]$ /usr/naregi/ss/bin/gridss-mkconf setting postgresql client... generating from gridss.conf.xml.in... : : [globus@site_a-ss gridss]$ SSの起動ユーザ root で Site-A の SS ノード (site_a-ss.grid.nii.ac.jp) の SS サービスを起動します [root@site_a-ss ~]# /etc/init.d/naregi-ss start Starting gridss-jlogd: [ OK ] Starting gridss-statd: [ OK ] Starting ex1-main: [ OK ] [root@site_a-ss ~]# 127

138 4. アンインストール rpm パッケージのメニュー画面において remove を使用した手順でアンインストー ルが可能です アンインストールする場合には 何をどこまでアンインストールするかを明確にし 必要データのバックアップや NAREGI ミドルウェアの停止を行ったうえで作業を行ってください なお アンインストールについてはデータグリッドの処理も含まれます ~]$ /usr/naregi/sbin/nrg-rpm.sh * get NAREGI host list from /usr/naregi/etc/node.conf & /usr/naregi/etc/vmnodes/vmnodesu m.conf. * NAREGI host list: * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org * naregi-portal.naregi.org * naregi-ss.naregi.org * naregi-isnas.naregi.org * naregi-iscdas.naregi.org * naregi-cara.naregi.org * naregi-dguft.naregi.org * naregi-gfarm.naregi.org ################################################################# ################# NAREGI RPM TOOL ###################### ################################################################# ### Select rpm Operation ### ### [1] list [2] update [3] remove [0] exit ### ################################################################# Select Operation (0-3): 3 3 (remove) を選択 Your input : 3 OK? [Y/n]: + remove ################################################################# # Remove: # # (1) each service pkgs # # Keep pkgs: (naregi basics), CA, RA & globus # # Back to [5]install globus Done. # # (2) each service pkgs & globus # # Keep pkgs: (naregi basics), CA, RA # # Back to [4]certificate Done. # # (3) each service pkgs & globus & CA, RA # 128

139 # Keep pkgs: (naregi basics) # # Back to [3]OSupdate Done. # # (0) exit # ################################################################# Select Select remove pkgs (0-3): パターンを選択します Your input : OK? [Y/n]: 129

140 5. NAREGI ミドルウェアの更新 (CentOS の場合 ) 本章では rpm パッケージを用いた NAREGI ミドルウェアの更新 (V1.0 V1.1) 方 法について説明します 更新は次の順序で行います かぎ括弧内は説明している節番 号です 1. 事前準備 設定ファイルの編集 NAREGIインストーラの更新 アプリケーションの更新 IS handle 再設定 CA RAサーバプロセスの起動確認 SSL 通信への対応 UMSホスト証明書の配置 事前準備 UMSおよびVOMSの更新 NAREGIミドルウェアを更新する前に UMSとVOMSを更新する必要があります 手順は 2.8 UMSおよびVOMSの導入と設定 ( 手動 ) を参照ください 5.2 設定ファイルの編集 NAREGI ミドルウェア V1.0 と V1.1 では GPG キーが異なります このため 次項アプリケーションの更新を行う前に 旗艦ノードにおいて設定ファイルを編集します [root@naregi-cara ~]# vi /etc/yum.repos.d/centos-naregi-latest.repo 設定ファイルの編集 [naregi] name=naregi ver1.0 development for CentOS 5 baseurl= gpgcheck=1 gpgkey= NAREGIインストーラの更新 NAREGI ミドルウェアを更新する前に 旗艦ノード上の NAREGI インストーラを更新する必要があります 以下の操作は 旗艦ノードにおいて root ユーザで行います [root@naregi-cara ~]# yum update naregi-utils 旗艦ノード上の NAREGI インストーラの更新 130

141 5.4 アプリケーションの更新 NAREGI ミドルウェア rpm パッケージのインストールディレクトリ /sbin 配下 ( 通常 usr/naregi/sbin) 配下の nrg-rpm.sh シェルスクリプトを用いて NAREGI ミドルウェア を構成する各アプリケーションを更新します NAREGI rpm ツールを起動し update を選択して NAREGI ミドルウェアサービス の停止 アプリケーションの更新 NAREGI ミドルウェアサービスの起動までを行い ます 以下の操作は 旗艦ノードにおいてインストールユーザで実施します 途中でパス ワード入力を求められた場合は インストールユーザのパスワードを入力してください [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-rpm.sh NAREGI rpm ツールの起動 * get NAREGI host list from /usr/naregi/etc/node.conf & /usr/naregi/etc/vmnodes/vmnodesu m.conf. * NAREGI host list: * naregi-cara.naregi.org * naregi-portal.naregi.org * naregi-ss.naregi.org * naregi-isnas.naregi.org * naregi-iscdas.naregi.org * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org ################################################################# ################# NAREGI RPM TOOL ###################### ################################################################# ### Select rpm Operation ### ### [1] list [2] update [3] remove [0] exit ### ################################################################# Select Operation (0-3): 2 update ( 本例では 2) を選択 Your input : 2 OK? [Y/n]: y + update []-(2) stop naregi service 1. Portal 131

142 NOTE: [naregi-portal] already stopped at HOST:[naregi-portal.naregi.org]. NOTE: [myproxy] already stopped at HOST:[naregi-portal.naregi.org]. NOTE: [globus] already stopped at HOST:[naregi-portal.naregi.org]. 2. Super Scheduler (SS) NOTE: [naregi-rs] already stopped at HOST:[naregi-ss.naregi.org]. NOTE: [naregi-ss] already stopped at HOST:[naregi-ss.naregi.org]. NOTE: [myproxy] already stopped at HOST:[naregi-ss.naregi.org]. ( 中略 ) 4. Portal Your identity: /C=JP/O=naregi/OU=togo/CN=host/naregi-portal.naregi.org Creating proxy... Done Your proxy is valid until: Sun May 17 12:32: Connection to naregi-portal.naregi.org closed. Your identity: /C=JP/O=naregi/OU=togo/CN=host/naregi-portal.naregi.org Creating proxy... Done Your proxy is valid until: Sun May 17 12:32: Connection to naregi-portal.naregi.org closed. Start [globus] at HOST:[naregi-portal.naregi.org]... Starting Globus: [ OK ] Connection to naregi-portal.naregi.org closed. NOTE: [myproxy] already running at HOST:[naregi-portal.naregi.org]. NOTE: [naregi-portal] already running at HOST:[naregi-portal.naregi.org]. 5. GridVM Scheduler Globus restart * GridVM Scheduler HOSTs : * naregi-gvms1.naregi.org Stop [globus] at HOST:[naregi-gvms1.naregi.org]... Stopping Globus: [ OK ] Connection to naregi-gvms1.naregi.org closed. Start [globus] at HOST:[naregi-gvms1.naregi.org]... Starting Globus: [ OK ] Connection to naregi-gvms1.naregi.org closed. []-(1) start naregi service complete [installuser@naregi-cara ~]$ 132

143 5.5 IS handle 再設定 NAREGI ミドルウェア rpm パッケージのインストールディレクトリ /sbin 配下 ( 通常 usr/naregi/sbin) 配下の nrg-install.sh シェルスクリプトを用いて IS handle を更新します nrg-install.sh の起動後に表示されたメニューより NAREGI ミドルウェアサービスの停止 スキーマの削除 NAREGI ミドルウェアサービスの起動 IS handle の再設定 NAREGI ミドルウェアサービスの再起動を行います この際 アプリケーションの更新のように番号を1 度選択して全ての処理を行なうことはなく その都度番号の選択を行い 処理を進めてください サービスの停止 旗艦ノードにおいてインストールユーザで NAREGI インストーラを起動し サービ スの停止を行います [installuser@naregi-cara ~]$ /usr/naregi/sbin/nrg-install.sh NAREGIインストーラの起動 ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 8 start naregi-service ( 本例では8) を選択 Your input : 8 OK? [Y/n]: [8] start naregi-service 133

144 [8] start naregi-service start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 2 stop ( 本例では2) を選択 Your input : 2 OK? [Y/n]: [8]-(2) stop naregi service 1. Portal Stop [naregi-portal] at HOST:[naregi-portal.naregi.org]... Using JAVA_ENDORSED_DIRS: /usr/naregi/tomcat5/common/endorsed Using GLOBUS_LOCATION: /usr/naregi/gt4 Using CATALINA_BASE: /usr/naregi/tomcat5 Using CATALINA_HOME: /usr/naregi/tomcat5 Using CATALINA_TMPDIR: /usr/naregi/tomcat5/temp Using JAVA_HOME: /usr/lib/jdk-1.5.0_14 Stopping NAREGI Portal: [ OK ] Stop [myproxy] at HOST:[naregi-portal.naregi.org]... Stopping the MyProxy server... done. Connection to naregi-portal.naregi.org closed. Stop [globus] at HOST:[naregi-portal.naregi.org]... Stopping Globus: [ OK ] Connection to naregi-portal.naregi.org closed. 2. Super Scheduler (SS) Stop [naregi-rs] at HOST:[naregi-ss.naregi.org]... Stop Request Sending ( port=50000 ) Renewal Service shutdown. Stopping NAREGI Renewal Service: [ OK ] 134

145 ( 中略 ) Stopping NAREGI GridVM Scheduler Daemon: [ OK ] Stop [globus] at HOST:[naregi-gvms1.naregi.org]... Stopping Globus: [ OK ] Connection to naregi-gvms1.naregi.org closed. Stop [gmond] at HOST:[naregi-gvms1.naregi.org]... Shutting down GANGLIA gmond: [ OK ] [8]-(2) stop naregi service complete start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 古いIS handleからスキーマの削除 IS-NAS ノードにおいて 全ての IS handle を削除します (1) スキーマ名の確認 [root@naregi-isnas ~]# su - globus [globus@naregi-isnas ~]$ cd /usr/naregi/var/is-handle [globus@naregi-isnas is-handle]$ ls is-handle-sbc_rpmtest is-handle_rpmtest ハンドル名の確認 is-handle-sbc_*:sbc is-handle_* :SS,WFT,PSE,GVS [globus@naregi-isnas is-handle]$ cat is-handle_rpmtest NodeResourceKey schema1:q8bozpzr58cvakscol9jhhthzneyoigeptku0hpobqvmcndrtqy7cnrz5rwcgyum ReKtlvBHzQSQlnxER1 tnfncma2g4irxisjuw 135

146 スキーマ名 ( 本例ではschema1) を確認 同様に is-handle-sbc_* もスキーマ名を確認します (2) スキーマの削除 [globus@naregi-isnas is-handle]$ /usr/naregi/is/infoservice/admintool/nodeadmin.sh -l Created schemas are: schema1 schema2 (2 rows) スキーマを確認 [globus@naregi-isnas is-handle]$ /usr/naregi/is/infoservice/admintool/nodeadmin.sh -d sche mal スキーマschema1を削除 (schema2の削除も同様に行う ) [globus@naregi-isnas is-handle]$ rm is-handle-sbc_rpmtest is-handle_* ファイルの削除 [globus@naregi-isnas is-handle]$ rm is-handle_rpmtest is-handle-sbc_* ファイルの削除 サービスの起動 旗艦ノードで NAREGI のインストーラを起動し サービスの起動を行います start NAREGI service (1) start (2) stop (3) restart (4) status (0) exit Select NAREGI service (0-4): 1 start ( 本例では1) を選択 Your input : 1 OK? [Y/n]: [8]-(1) start naregi service 136

147 1. GridVM * GridVM Scheduler HOSTs : * naregi-gvms1.naregi.org * GridVM Engine HOSTs : * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org Start [gmond] at HOST:[naregi-gvms1.naregi.org]... Starting GANGLIA gmond: [ OK ] Start [Local-Scheduler] at HOST:[naregi-gvms1.naregi.org]... Connection to naregi-gvms1.naregi.org closed. Starting PBS PBS mom PBS sched Using license server at xxxx@xxxxxxx.naregi.org PBS server Start [naregi-gridvm-scheduler] at HOST:[naregi-gvms1.naregi.org]... Starting NAREGI GridVM scheduler Daemon: [ OK ] ( 中略 ) 5. GridVM Scheduler Globus restart * GridVM Scheduler HOSTs : * naregi-gvms1.naregi.org Stop [globus] at HOST:[naregi-gvms1.naregi.org]... Stopping Globus: [ OK ] Connection to naregi-gvms1.naregi.org closed. Start [globus] at HOST:[naregi-gvms1.naregi.org]... Starting Globus: [ OK ] Connection to naregi-gvms1.naregi.org closed. [8]-(1) start naregi service complete start NAREGI service (1) start (2) stop (3) restart

148 --- (4) status (0) exit Select NAREGI service (0-4):0 exit ( 本例では 0) を選択 Your input : 0 OK? [Y/n]: IS-handle の置換 IS-handle の置換を行う為 旗艦ノードで NAREGI のインストーラを起動し IS-handle の作成と配置を行います ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 9 IS handle ( 本例では9) を選択 Your input : 9 OK? [Y/n]: [9] IS handle IS handle (1) SYSTEM IS handle (SS,WFT,PSE,GVS) make & deploy is-handle file for NAREGI System (2) SBC IS handle

149 --- make & deploy is-handle file for SBC (3) delete orphan schema reference is-handle files at IS-NAS:/usr/naregi/var/is-handle (0) exit Select NAREGI service (0-3): 1 SYSTEM IS handle (SS,WFT,PSE, GVS) ( 本例では 1) を選択 Your input : 1 OK? [Y/n]: [9]-(1) SYSTEM IS handle check IS running... make SYSTEM is-handle check SYSTEM is-handle file exist... create temporal container proxy... Your identity: /C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org Creating proxy... Done Your proxy is valid until: Tue Apr 15 00:56: ( 中略 ) Deploy SYSTEM IS handle file? [Y/n]: deploy SYSTEM IS handle to PORTAL HOST:naregi-portal.naregi.org... deploy SYSTEM IS handle to SS HOST:naregi-ss.naregi.org... restart SS & Portal... Stop [naregi-rs] at HOST:[naregi-ss.naregi.org]... Stop Request Sending ( port=50000 ) Renewal Service shutdown.[] Stopping NAREGI Renewal Service: [ OK ] Stop [naregi-ss] at HOST:[naregi-ss.naregi.org]... Stopping ex1-main: [ OK ] Stopping gridss-statd: [ OK ] Stopping gridss-jlogd: [ OK ] Connection to naregi-ss.naregi.org closed. Stop [naregi-portal] at HOST:[naregi-portal.naregi.org]... Using JAVA_ENDORSED_DIRS: /usr/naregi/tomcat5/common/endorsed Using GLOBUS_LOCATION: /usr/naregi/gt4 Using CATALINA_BASE: /usr/naregi/tomcat5 Using CATALINA_HOME: /usr/naregi/tomcat5 139

150 Using CATALINA_TMPDIR: /usr/naregi/tomcat5/temp Using JAVA_HOME: /usr/lib/jdk-1.5.0_13 Stopping NAREGI Portal: [ OK ] Start [naregi-ss] at HOST:[naregi-ss.naregi.org]... Starting gridss-jlogd: [ OK ] Starting gridss-statd: [ OK ] Starting ex1-main: [ OK ] Connection to naregi-ss.naregi.org closed. Start [naregi-rs] at HOST:[naregi-ss.naregi.org]... Starting NAREGI Renewal Service: Check running jobs. RenewalService Started. [ OK ] Start [naregi-portal] at HOST:[naregi-portal.naregi.org]... Using JAVA_ENDORSED_DIRS: /usr/naregi/tomcat5/common/endorsed Using GLOBUS_LOCATION: /usr/naregi/gt4 Using CATALINA_BASE: /usr/naregi/tomcat5 Using CATALINA_HOME: /usr/naregi/tomcat5 Using CATALINA_TMPDIR: /usr/naregi/tomcat5/temp Using JAVA_HOME: /usr/lib/jdk-1.5.0_13 Starting NAREGI Portal: [ OK ] [9]-(1) SYSTEM IS handle complete IS handle (1) SYSTEM IS handle (SS,WFT,PSE,GVS) make & deploy is-handle file for NAREGI System (2) SBC IS handle make & deploy is-handle file for SBC (3) delete orphan schema reference is-handle files at IS-NAS:/usr/naregi/var/is-handle (0) exit Select NAREGI service (0-3): 2 SBC IS handle ( 本例では2) を選択 Your input : 2 OK? [Y/n]: [9]-(1) SBC IS handle check IS running

151 make SBC is-handle check SBC is-handle file exist... create temporal container proxy... Your identity: /C=JP/O=naregi/OU=togo/CN=host/naregi-isnas.naregi.org Creating proxy... Done Your proxy is valid until: Wed Oct 8 22:16: make SBC is-handle... # is url [ or/node/factory/nafs] # proxy file [/usr/naregi/tmp/containerproxy.pem] # vo name [rpmtest] # handle file [is-handle-sbc] # handle path [/usr/naregi/var/is-handle] # config file [/usr/naregi/is/infoservice/admintool/is-handle/aggregatelist-sbc.xml] + add class=nrg_concretejobreservationlog+ filter=null ---> [ok] *** add aggregate class [Successful] *** NOTE : make SBC is-handle [/usr/naregi/var/is-handle/is-handle-sbc_rpmtest] success! delete temporal container proxy... Connection to naregi-isnas.naregi.org closed. deploy SBC IS handle to GridVM engine HOSTs * get GridVM engine host's list from /usr/naregi/etc/vmnodes/vmnodesum.conf * remote GridVM engine nodes : * naregi-gvms1.naregi.org * naregi-gvmc1.naregi.org Deploy SBC IS handle file to GridVM nodes? [Y/n]: create is_as_url... deploy SBC IS handle to GridVM engine HOST:naregi-gvms1.naregi.org... Note : save old file: [/usr/naregi/sbc/handle/is-handle_rpmtest] as [/usr/naregi/sbc/handle/is -handle_rpmtest-(date).save]. Note : save old file: [/usr/naregi/sbc/handle/is-as-url_rpmtest] as [/usr/naregi/sbc/handle/isas-url_rpmtest-(date).save]. deploy SBC IS handle to GridVM engine HOST:naregi-gvmc1.naregi.org... Note : save old file: [/usr/naregi/sbc/handle/is-handle_rpmtest] as [/usr/naregi/sbc/handle/is -handle_rpmtest-(date).save]. Note : save old file: [/usr/naregi/sbc/handle/is-as-url_rpmtest] as [/usr/naregi/sbc/handle/isas-url_rpmtest-(date).save]. [9]-(1) SBC IS handle complete IS handle

152 (1) SYSTEM IS handle (SS,WFT,PSE,GVS) make & deploy is-handle file for NAREGI System (2) SBC IS handle make & deploy is-handle file for SBC (3) delete orphan schema reference is-handle files at IS-NAS:/usr/naregi/var/is-handle (0) exit Select NAREGI service (0-3): 0 exit ( 本例では0) を選択 Your input : 0 OK? [Y/n]: - exit [9] IS handle complete ####################################################################### ################# NAREGI TOOL ############################ ####################################################################### ### Select Operation ### ### [1] OS update (this node) ### ### [2] setup NAREGI nodes information ### ### [3] OS update (remote nodes) ### ### [4] certificate ### ### [5] install globus (all nodes except UMS,onlyCA,onlyRA) ### ### [-] build UMS ### ### [7] install each rpm-pkg (each node) ### ### [8] start naregi-service ### ### [9] IS handle ### ### [0] exit ### ####################################################################### Select Operation (0-9): 142

153 5.6 CA RAサーバプロセスの起動確認 起動確認 CA ノード上において CA サーバプロセス (aicad) が起動されているか RA ノード上において RA サーバプロセス (aired) が起動されているかを確認します CA RA が同一ノードに導入されている場合は 両方のサーバプロセスを確認します # ps ef grep aicad # ps ef grep airad CA サーバプロセス起動の確認 RA サーバプロセス起動の確認 両プロセスが起動されていない場合はログ ( 旗艦ノードの /usr/naregi/var/log 配下 ) を 確認し 次項 CA RA サーバプロセスの起動 を行います ( 参考 ) プロセス起動失敗時のログ内容の例 CA サーバ read config file. port=11411,listen=5 ssl=1,req=1,vfy=9 read server certificate : O=naregi-cara.naregi.org, OU=server-987def-5cf246, CN=caserver010 0, set certificate request option. error : SSL_bind error が表示される RA サーバ starting RA server... read config file. port=11412,listen=5 ssl=1,req=48,vfy=9 read server certificate : O=naregi-cara.naregi.org, OU=server-79b268-4c1273, CN=caserver01 00, set certificate request option (mode=48) error : SSL_bind error が表示される CA RAサーバプロセスの起動プロセス起動に失敗した場合 CA ノード RA ノードそれぞれのノードでサーバプロセスを起動します CA RA が同一ノードに導入されている場合は 両方のサーバプロセスを起動します CA サーバ 143

154 # /etc/init.d/service naregi-ca start CAサーバプロセス起動 # ps ef grep aicad cert Jun24? 00:00:00 /usr/naregi/ca/bin/aicad CAサーバプロセス起動の確認 RA サーバ # /etc/init.d/service naregi-ra start RAサーバプロセス起動 # ps ef grep airad cert Jun24? 00:00:00 /usr/naregi/ra/bin/airad RAサーバプロセス起動の確認 144

155 5.7 SSL 通信への対応 NAREGI ミドルウェア V1.1 の IS-NAS は SSL 通信においてクライアント認証を行います NAREGI ミドルウェア rpm パッケージ同梱の CA から発行されたホスト証明書を利用されている場合は 本手順を実施ください すでに運用されている CA から発行された証明書を利用されている場合は 本手順の実施は不要です SS ノード用ホスト証明書の発行 CA ノードにおいて SS ノード用のホスト証明書を発行します (1) ライセンス ID の登録 ( 追記 ) [root@naregi-cara ~]# cd /usr/naregi/ra/globushost/ [root@naregi-cara ~]# vi en.license ============================== # # ** enroll user registration file (One time LicenseID) ** # ( 略 ) XXX-XXXX-XXX-XXXX ライセンスIDとなる文字列を追加 ( ホスト名など ) (2) ホスト証明書発行 [root@naregi-cara ~]# cd /tmp [root@naregi-cara ~]# /usr/naregi/ra/bin/certreq -s -size noenc -cer hostcert.pem - key hostkey.pem -sv localhost:globushost -new < 上記 (1) で追加したライセンス ID の文字列 > creating a certificate signing request generate private key (size 1024 bit)...oo...oo input user subject information * can be omitted by putting a char of '.' input group : Globus host input user name : host/naregi-ss.naregi.org グループ名を入力 ( 本例ではGlobus host) 145

156 input user please confirm your inputs GROUP : Globus host SUBJECT : CN=host/naregi-ss.naregi.org do you continue operation? (yes/no/retry)[y]:y ホスト証明書を発行したいノード (SS ノード ) のホスト名を入力 メールアドレスを入力 ( 本例では省略 ( ドット (.) を入力 ) yを入力 ホスト証明書の入れ替え前項で発行したホスト証明書 SS ノードの作業ディレクトリに移動し 既存の証明書と入れ替えます 入れ替えは 前項で発行したホスト証明書のうち hostcert.pem hostkey.pem を使います 以下の操作は SS ノードにおいて root ユーザで行います [root@naregi-ss ~]# cd /etc/grid-security [root@naregi-ss grid-security]# mv hostcert.pem hostcert.pem_bak [root@naregi-ss grid-security]# mv hostkey.pem hostkey.pem_bak [root@naregi-ss grid-security]# mv containercert.pem containercert.pem_bak [root@naregi-ss grid-security]# mv containerkey.pem containerkey.pem_bak 既存の証明書をリネーム [root@naregi-ss grid-security]# mv /tmp/hostcert.pem containercert.pem 作業ディレクトリのhostcert.pemを containercert.pemの名前で移動 [root@naregi-ss grid-security]# mv /tmp/hostkey.pem containerkey.pem 作業ディレクトリのhostkey.pemを containerkey.pemの名前で移動 [root@naregi-ss grid-security]# cp hostcert.pem containercert.pem [root@naregi-ss grid-security]# cp hostkey.pem containerkey.pem [root@naregi-ss grid-security]# chmode 600 containerkey.pem 146

157 5.8 UMSホスト証明書の配置 NAREGI ミドルウェアから実行するジョブに対して Renewal 機能を有効にするため SS ノードに UMS のホスト証明書を配置します 以下の操作は SS ノードにおいて root ユーザで行います ~]# cd /etc/grid-security/ grid-security]# mkdir vomsdir vomsdir]# cd vomsdir vomsdir]# scp naregi-cara.naregi.org:/usr/naregi/cert/host/naregi-ums.nare gi.org/hostcert.pem. vomsdir]# chmod 644 hostcert.pem 147

158 6. ( 付録 ) 環境変数 rpmパッケージを用いて標準ノード構成にnaregiミドルウェアをインストールした場合 次表の環境変数が自動的に設定されます なおUMSノードおよびVOMSノードについては 2.8 UMSおよびVOMSの導入と設定 ( 手動 ) を GridRPCフロントエンドノードについては 9 ( 付録 ) GridRPCフロントエンドノードの構築 を参照ください 表 環境変数 ノード環境変数値 NAREGI_CA_LOCATION /usr/naregi/ca PATH $NAREGI_CA_LOCATION/bin${PATH:+:$PATH} CA/RA NAREGI_CA_LOCATION /usr/naregi/ra ノード PATH $NAREGI_CA_LOCATION/bin${PATH:+:$PATH} NRGDIR /usr/naregi PATH $NRGDIR/bin${PATH:+:$PATH} LD_LIBRARY_PATH $NRGDIR/lib:${LD_LIBRARY_PATH} JAVA_HOME /usr/lib/jdk-1.5.0_13 PATH $JAVA_HOME/bin${PATH:+:$PATH} 共通 (*) JWSDP_HOME /usr/lib/jwsdp-2.0 ANT_HOME /usr/naregi/ant PATH $ANT_HOME/bin${PATH:+:$PATH} CATALINA_HOME /usr/naregi/tomcat5 CATALINA_OPTS "-Xmx512m" PATH $CATALINA_HOME/bin${PATH:+:$PATH} GLOBUS_LOCATION /usr/naregi/gt4 GPT_LOCATION /usr/naregi/gt4 PATH $GLOBUS_LOCATION/bin${PATH:+:$PATH}. $GLOBUS_LOCATION/etc/globus-user-env.sh NRGDIR /usr/naregi PATH $NRGDIR/bin${PATH:+:$PATH} LD_LIBRARY_PATH $NRGDIR/lib:${LD_LIBRARY_PATH} INFOSERVICE_HOME /usr/naregi/is/infoservice Portal PGSQL_HOME /var/lib/pgsql ノード PGDATA /var/lib/pgsql/data LD_LIBRARY_PATH /var/lib/tomcat5/webapps/wsrf/web-inf/lib:${ld_library_path} PATH PSE POSTGRES_DATA MYPROXY_SERVER MYPROXY_SERVER_DN $INFOSERVICE_HOME/bin${PATH:+:$PATH} /usr/naregi/pse /var/lib/pgsql/data Portal ノードのホスト名 (FQDN) Portal ノードの識別名 ( 例 :"/C=JP/O=naregi/OU=taro/CN=host/xxxx.naregi.org") CLASSPATH $CLASSPATH:/usr/naregi/gt4/lib/postgresql-*.jdbc3.jar X509_USER_PROXY ${HOME}/.globus/containerproxy.pem (portal ユーザのみの設定 ) CLASSPATH $CLASSPATH:/usr/naregi/lib/jars/NAREGI/gridss-client-2.0.jar 148

159 ノード 環境変数 値 INFOSERVICE_HOME /usr/naregi/is/infoservice IS- PGSQL_HOME /var/lib/pgsql NAS PGDATA /var/lib/pgsql/data ノード LD_LIBRARY_PATH /var/lib/tomcat5/webapps/wsrf/web-inf/lib:${ld_library_path} PATH $INFOSERVICE_HOME/bin${PATH:+:$PATH} JAVACC_HOME /usr/naregi/lib/jars/common SBC_ROOT /usr/naregi/sbc MPIR_HOME /usr/naregi/gridmpi PATH $MPIROOT/bin${PATH:+:$PATH} INFOSERVICE_HOME /usr/naregi/is/infoservice IS- PGSQL_HOME /var/lib/pgsql CDAS PGDATA /var/lib/pgsql/data ノード LD_LIBRARY_PATH /var/lib/tomcat5/webapps/wsrf/web-inf/lib:${ld_library_path PATH $INFOSERVICE_HOME/bin${PATH:+:$PATH} JAVACC_HOME /usr/naregi/lib/jars/common GRIDSS_LOCATION /usr/naregi/ss SS INFOSERVICE_HOME /usr/naregi/is/infoservice ノード PGSQL_HOME /var/lib/pgsql PGDATA /var/lib/pgsql/data GridVM LD_LIBRARY_PATH /var/lib/tomcat5/webapps/wsrf/web-inf/lib:${ld_library_path} 管理 PATH $INFOSERVICE_HOME/bin${PATH:+:$PATH} ノード GVMSD_ROOT /usr/naregi/gridvm/scheduler PATH $GVMSD_ROOT/bin${PATH:+:$PATH} JAVACC_HOME /usr/naregi/lib/jars/common NG_DIR /usr/naregi/gridrpc GridVM PATH $NG_DIR/bin${PATH:+:$PATH} 計算 GVSDIR /usr/naregi/gvs ノード PATH $GVSDIR/bin${PATH:+:$PATH} DEX_ROOT PATH SBC_ROOT MPIR_HOME PATH CLASSPATH GVME_ROOT PATH MPIROOT PATH _YAMPI_RSH /usr/naregi/mediator $MPIROOT/bin${PATH:+:$PATH} /usr/naregi/sbc /usr/naregi/gridmpi $MPIROOT/bin${PATH:+:$PATH} $CLASSPATH:/usr/naregi/lib/jars/NAREGI/gridss-client-2.0.jar /usr/naregi/gridvm/engine $GVME_ROOT/bin${PATH:+:$PATH} /usr/naregi/gridmpi $MPIROOT/bin${PATH:+:$PATH} "ssh -x" (*) CA/RA UMS VOMS GridRPC フロントエンドノード以外 149

160 7. ( 付録 ) ユーザ資産の移行 本章では NAREGI ミドルウェア Beta 版のユーザ資産を V1 へ移行するための方 法を説明します 7.1 サービス別ユーザ資産移行方法 NAREGI ミドルウェア各サービス別のユーザ資産および移行方法は次表の通りです 表 ユーザ資産移行方法 (Beta2 V1) No. サービス ユーザ資産 移行方法 1 SS なし - 2 IS ジョブ実行時の資源利用量情報 再作成が必要 ( 互換性無し ) 3 VM なし - 4 ユーザアプリケーション ( クライア GridRPC ント サーバ ) コンフィグレーショ 移行の必要無し ( 完全互換 ) ンファイル 5 GridMPI ユーザアプリケーション 7.5 参照 6 PSE ユーザアプリケーション 移行の必要無し ( 完全互換 ) 7 ユーザアプリケーション ( 登録済み ) 再作成が必要 ( 互換性無し ) 8 WFT ユーザ作成のワークフロー 移行の必要無し ( 完全互換 ) 9 Portal なし - 10 クライアント設定ファイルおよび可 GVS 視化パラメータファイル 移行の必要無し ( 完全互換 ) 11 DG (RMS) Gfarm 内に保存されているデータ 参照 12 DG (AMS) 設定ファイル 参照 13 NET DB 登録データ 移行の必要無し ( 完全互換 ) 14 CA なし 15 UMS なし 16 SBC ユーザアプリケーション ( バイナリ ) 7.3 参照 17 ユーザアプリケーション ( ワークフロー ) 7.3 参照 18 Mediator ユーザアプリケーション ( バイナリ ) 7.4 参照 19 ユーザアプリケーション ( ワークフロー ) 移行の必要無し ( 完全互換 ) 以降 ユーザ資産移行方法が存在するサービスについて 方法を説明します 150

161 7.2 DG RMS V1 にアップグレードする際に Beta2 で Gfarm 内に保存したファイルを V1 環境に 移行する方法について説明します 必要な作業は Gfarm メタデータのエクスポート スプールディレクトリ (Gfarm 配下に保存したデータファイル自体 ) の退避と復元 Gfarm メタデータのインポートです (1) Gfarm メタデータの保存 Gfarm メタデータサーバにおいて Gfarm に付属するコマンド (gfdump) をユーザ root で実行し Gfarm メタデータをダンプしてファイルに保存します なお この操作は VO ごとに行います 次の例では 以下の条件で行うものとします VO 名 :<vo1> Gfarm メタサーバのインストール場所 (Beta2):</naregi-beta2/gfarm-vo> 保存するファイル :<dumpfile_vo 名 > # export VO_NAME=vo1 # /naregi-beta2/gfarm-vo/bin/gfdump -d -f dumpfile_vo1 (2) スプールディレクトリの退避全ての Gfarm ファイルシステムノードにおいて ユーザ root で スプールディレクトリ (Beta2 インストール時に指定したディレクトリ ) を退避します 全ての Gfarm ファイルシステムノードで行います 次の例では 以下の条件で行うものとします スプールディレクトリ :/var/gfarm-spool 退避先ディレクトリ :/var/gfarm-spool-bak # mv /var/gfarm-spool/ /var/gfarm-spool-bak (3) Gfarm(Beta2) のアンインストール Gfarm メタデータサーバおよび Gfarm ファイルシステムノードにおいて Gfarm のデーモンおよび関連サービスを終了後 ユーザ root で Beta2 の Gfarm をアンインストール ( ファイル削除 ) します 表 アンインストール ( 削除 ) 対象の Gfarm(Beta2) ファイル アンインストール対象 Gfarm 実行ファイル ディレクトリ名 / ファイル名 /naregi-beta2/gfarm-vo 151

162 アンインストール対象 Gfarm メタデータ (Gfarm メタサーバのみ ) Gfarm スプールディレクトリ (Gfarm ファイルシステムノードすべて ) 起動スクリプト ディレクトリ名 / ファイル名 /var/gfarm-pgsql または /naregi-beta2/pgsql (Beta2 インストール時に指定した場所 ) /var/gfarm-spool(beta2 インストール時に指定した場所 ) /etc/init.d/gfsd /etc/init.d/gfmd /etc/init.d/gfarm-pgsql 以下の例では 削除対象のファイルを ( 削除ではなく ) バックアップディレクトリに退 避しています # /etc/init.d/gfsd stop # /etc/init.d/gfmd stop # /etc/init.d/gfarm-pgsql stop # /etc/init.d/postgres stop # mkdir /tmp/backup # mv /naregi-beta2/gfarm /tmp/backup/ # mv /var/gfarm-pgsql /tmp/backup/ # mv /etc/init.d/gfsd /tmp/backup/ # mv /etc/init.d/gfmd /tmp/backup/ # mv /etc/init.d.gfarm-pgsql /tmp/backup/ Gfarm デーモンと関連サービス停止 削除対象の退避 (4) Gfarm-VO(V1) のインストール NAREGI ミドルウェアの DG のインストールおよび設定を行います 手順については DG 管理者向け操作手引書の 第 4 章.VO 対応版 Gfarm のインストールについて および 第 5 章.VO 対応版 Gfarm のセットアップについて を参照してください (5) メタデータのインポート Gfarm メタデータサーバにおいて ユーザ root で 前述 7.2.1(1) でダンプし保存したメ タデータをインポートします 次の例では 以下の条件で行うものとします VO 名 :<vo1> Gfarm メタサーバのインストール場所 (V1):</naregi-v1/gfarm-vo> 保存するファイル :<dumpfile_vo 名 > # export VO_NAME=vo1 # /naregi-v1/bin/gfdump -r -f dumpfile_vo1 152

163 (6) スプールディレクトリ内のデータの復元全てのGfarmファイルシステムノードにおいて ユーザrootで 前述 7.2.1(2) で退避したスプールディレクトリ内のデータ (Gfarm 内に保存したファイルの実体 ) を復元します 全てのGfarmファイルシステムノードで行います 次の例では 以下の条件で行うものとします 退避先ディレクトリ :/var/gfarm-spool-bak スプールディレクトリ :/var/gfarm-spool # cp -a /var/gfarm-spool-bak/* /var/gfarm-spool/ AMS V1 にアップグレードする際に Beta2 で設定したファイルを環境に移行する方法について説明します 必要な作業は Beta2 で設定した Portal ノードでの DGAMS 設定ファイルの移行のみです 設定内容については 管理者ガイド NAREGI middleware DataGrid DGAMS 設定ファイル も併せてご参ください (1) 設定ファイルの移行 データグリッドアクセス管理用設定ファイル (dg.prop.xml) を ユーザ root で Beta 2の Portal ノードから V1 の Portal ノードにコピーします 次の例では Beta2の Portal ノードを b2portal V1 の Portal ノードを v1portal としています [root@v1portal ~]# cd /<NAREGImiddleware_install_dir>/tomcat5/webapps/datagrid/WE B-INF/classes [root@v1portal ~]# mv./dg.prop.xml./dg.prop.xml-bak 設定ファイルの退避 [root@v1portal ~]# scp b2portal:/<naregimiddleware_beta2_install_dir>/tomcat/webapp s/dgams/web-inf/classes/dg.prop.xml /<NAREGImiddleware_install_dir>/tomcat5/webap ps/datagrid/web-inf/classes 設定ファイルのコピー (2) 設定ファイルの編集コピーしたデータグリッドアクセス管理用設定ファイル (dg.prop.xml) を ユーザ root で V1 用に編集します 削除エントリおよび追加エントリは次表の通りです 表 削除エントリ 削除エントリ 削除理由 153

164 data.src.name.0 data.src.passwd logger.prop.file dataservice.url dataservice.id DMMS のデータベース名 項目名が変更になったため削除する データベースへアクセスする際のパスワード セキュリティ上問題があるため削除する ログ設定ファイル名 syslog へ移行のため 削除する DMMS の OGSA でのアクセスする際の URL 項目名が変更になったため削除する DMMS の OGSA でのアクセスする際の ID 項目名が変更になったため削除する 表 追加エントリ 追加エントリ 設定値 内容 dams.mode active 開発時に編集 編集してはならない dams.dg.uft.host DUFT のホスト名 DUFT のホスト名 dams.dg.uft.port 8443 DUFT のポート番号 の DUFT が動作しているポート番号を記載する dams.dg.uft.tmpdir /tmp/duft DUFT の作業ディレクトリ名 DUFT ホストに左記値 ( ここでは /tmp/duft) のディレクトリを作成する必要がある dams.dg.uft.gsiftp.port 2811 DUFT の GridFTP のポート番号 dams.dg.ams.tmpdir /tmp/dgams DAMS の作業ディレクトリ名 Portal ノードに左記値 ( ここでは /tmp/dgams) のディレクトリを作成する必要がある dams.fileupload.max.size ファイルアップロード時のファイルサイズの上限値 dams.max.joblist_line 20 ジョブリスト画面表示時の1ページあたり最大表示列数 dams.max.filelist_line 30 ファイルリスト画面表示時の1ページあたり最大表示列数 dams.gridftp.parallelism 1 GridFTP を利用したファイル転送時の並列コネクション数 dams.gridftp.tcp_buffer GridFTP を利用したファイル転送の時のバッファサイズ数 dams.gfarm.gridftp.<vo 名 > Gfarm 用 GridFTP ホスト名 :2811 VO ごとの Gfarm アクセスサーバ URL 名 VO ごとにエントリを記述 (*) DG 管理者向け操作説明書 Gfarm 用 GridFTP サーバのインストール でインス トールを行ったホスト名を記述する 7.3 SBC ソースレベルでは完全互換ですが すべてのアプリケーションについては 再コンパイルおよびリンクが必要となります SBC の各 API の処理は SBCCONNECTION に GRID を指定している場合には Beta 154

165 版より 10 秒以上の処理時間を要します WFT 上で作成した Beta 版アプリについては SBC の各 API の呼び出し回数に応じて WallTimeLimit を大きくする必要があります 7.4 Mediator ソースレベルでは完全互換ですが すべてのアプリケーションについては 再コン パイルおよびリンクが必要となります 7.5 GridMPI ソースレベルでは完全互換ですが すべてのアプリケーションについては再コンパイルが必要となります 155

166 8. ( 付録 ) NAREGI ミドルウェア導入事前設定手順例 NAREGI ミドルウェア rpm パッケージを導入する前に実行しておくべき事項につい て説明します 8.1 構成情報本書 構成情報の設定 に示される環境を対象として NAREGIミドルウェア rpm パッケージによるインストール実施前に必要な設定作業の実施例を示します 導入する環境によっては 必要な手順が異なる場合がありますのでご注意ください またここでは UMS ノードにおける ScientificLinux のインストールについては触れていません ScientificLinux のインストールは 書籍等を参考にして標準的なインストールを実施してください 8.2 Cent OSのインストールと設定ここでは例として CentOS 5.2 のインストール手順と設定を説明します CentOS の標準的なインストール手順に従いインストール作業を進めます インストールの種類 ( インストールタイプ ) は NAREGI ミドルウェアを導入するのに最も適した [Server] を選択します また OS インストールの終了後に 不要なサービスの停止や不足機能の追加インストールを行います 図 インストールタイプの選択 ([Server] を選択 ) 156

167 8.3 インストール後の設定 CentOS のインストール後に以下の設定を行います <サービスの追加 > (1) GPG 鍵のインストール (2) ntpのインストール (3) rshサーバのインストール (4) yum-fastestmirrorのインストール < 不要サービスの削除 停止 > (1) yum-updatesdの削除 (2) kerberosの削除 (3) IPv6 の無効化 (4) SE-LinuxとFirewallの無効化 (5) 不要なサービスの停止 サービスの追加 (1) GPG 鍵のインストール GPG 鍵は yum でのインストール時に必要です GPG 鍵の確認を行い インストールされていない場合には追加してください # rpm -qa grep gpg-pubkey GPG 鍵の確認 ( インストールされていない場合 ) # rpm --import GPG 鍵の追加 # rpm -qa grep gpg-pubkey gpg-pubkey-xxxxxxxx-xxxxxxxx GPG 鍵の確認 (2) ntp のインストール [Server] タイプのインストールでは ntp がインストールされません ntp を追加でインストールします # yum -y install ntp ntp のインストール 157

168 設定は次章の 3.ntp の設定 で行います (3) rshサーバのインストール [Server] タイプのインストールでは rsh サーバがインストールされません rsh-server を追加でインストールします 対象となるノードは GridVM 管理ノードと計算ノードです # yum -y install rsh-server rsh-server のインストール (4) yum-fastestmirror のインストール OS アップデートを高速で行えるように ミラーリストから早いリポジトリを自動 的に選択する yum-fastestmirror をインストールします # yum -y install yum-fastestmirror yum-fastestmirrorのインストール 不要サービスの削除 停止 (1) yum-updatesdの削除 NAREGI ミドルウェア rpm パッケージのインストール中に インストーラによって OS アップデートが実行されますが yum-updatesd による OS の自動更新と不整合を起こすことがあります 本パッケージを削除して OS の自動更新を無効にします なお 本パッケージの削除前にも手動による OS の更新を行わないようご注意ください # rpm -q yum-updatesd yum-updatesd-xxxxx.xxx # yum -y remove yum-updatesd # rpm -q yum-updatesd # インストールされている場合はバージョンが表示される インストールされている場合は削除する 削除されたことを確認 158

169 (2) kerberosの削除 PBS Professional は kerberos をサポートしていません kerberos(/usr/kerberos/bin/rsh) はインストールされると標準の rsh に先んじて参照されるため これを削除します なお参照 PATH を変更して /usr/bin/rsh を優先的に参照することでも構いません # yum -y remove krb5-workstation # kerberos のアンインストール (3) IPv6 の無効化 IPv6 が有効になっている場合 IPv6 が設定されていなくても IPv4 に対して優先して 参照されます パフォーマンスの低下とセキュリティを考慮して IPv6 を無効化します # ifconfig -a sit0 Link encap:ipv6-in-ipv4 # vi /etc/nodprobe.conf ( 中略 ) alias net-pf-10 off alias ipv6 off IPv6 が有効の場合の表示 ファイルに左の 2 行を追加する (4) SE-Linux と Firewall の無効化 SELinux と Firewall を無効化します コマンドラインより setup ツールを起動して 設定を行います # setup セットアップツール を起動 図 セットアップツール 159

170 Firewall configuration を選択して Run Tool を実行します 図 ファイアウォールの設定 Security Level と SELinux を Disabled に設定して OK を実行します (5) 不要なサービスの停止 使用しない不要なサービスを停止します コマンドラインより setup ツールを起 動して設定を行います # setup セットアップツール を起動 図 セットアップツール System services を選択して Run Tool を実行します 160

171 図 サービスの選択 以下の項目のチェックを外して機能を無効化します [bluetooth] [cups] [isdn] [iptables] [ip6tables] (6) OS の再起動 これまでの設定を反映するために OS の再起動を行ってください ntpの設定 8.3.1(2) ntpのインストール でインストールしたntpの設定を行います (1) ntp.conf ファイルの設定とサービスの起動 ここでは をサーバとして参照する設定の例を示します # egrep -v '(^# ^$)' /etc/ntp.conf 設定ファイルの内容確認 restrict default ignore restrict restrict mask nomodify notrap noquery server