IBM Power Systems PowerHA V7.1 はじめての構築 ~ PowerHA SystemMirror for AIX V7.1 簡単構築ガイド ~ 2014 年 2 月 28 日日本アイ ビー エム株式会社システム製品テクニカル セールス Power Systems テクニカル セールス Rev. 1.1 2011 IBM Corporation
特記事項および商標 2 本文書の内容は 特に記載の無い限り 2014 年 2 月 28 日現在に公開されている文書に基づいています 本文書において IBM 製品 プログラム およびサービスについて言及する場合がありますが このことはこのような IBM 製品 プログラム およびサービスが IBM が企業活動を行っているすべての国で使用できることを意味するものではありません 本文書で IBM 製品 プログラム又はサービスに言及する部分があっても このことは当該製品 プログラム またはサービスのみが使用可能であることを意味するものではありません これらの IBM 製品 プログラム またはサービスに代えて IBM の知的所有権を侵害することのない機能的に同等のプログラムを使用することができます 本文書に記載されている情報の使用または手法の実施は お客様の評価および使用している動作環境への統合能力にしたがって お客様の責任で行っていただきます 記載されている情報はいずれも IBM により 特定の状況における正確さは確認されているはずですが いかなる環境においてもそれと同じ あるいは同様な結果が得られるとは限りません お客様独自の環境において これらの手法を適用する場合は お客様の責任で行っていただきます 商標 AIX は International Business Machines Corporation の登録商標 AIX 5L は International Business Machines Corporation の商標 AIX 6 は International Business Machines Corporation の商標 PowerHA は International Business Machines Corporation の商標 IBM は International Business Machines Corporation の登録商標 UNIX は The Open Group の米国ならびに他の国における登録商標 PowerPC は International Business Machines Corporation の登録商標 POWER4 は International Business Machines Corporation の商標 POWER5 は International Business Machines Corporation の商標 POWER6 は International Business Machines Corporation の商標 IBM System は International Business Machines Corporation の商標 IBM eserver は International Business Machines Corporation の商標 Power Systems は International Business Machines Corporation の商標 pseries は International Business Machines Corporation の商標 BladeCenter は International Business Machines Corporation の商標 IBM i5/os は International Business Machines Corporation の商標 Intel, Pentium は Intel Corporation の米国およびその他の国における登録商標 Linux は Linus Torvalds の米国およびその他の国における登録商標 その他 本文書で使用するシステム名 製品名 会社 団体の名称はそれぞれ各社の商標または登録商標です
当資料の目的とお断り事項 当資料は PowerHA および PowerHA V7.1 をはじめて構築する方々のご理解に役立つことを目的とし PowerHA V7.1 の構築手順を可能な限り簡素にまとめています 当資料に記載した内容で 様々な PowerHA クラスター環境のご要件を満たせるものではないことをご了承ください また AIX やストレージ装置などの基本部分については説明を割愛している部分があることも併せてご了承ください 当資料内では PowerHA SystemMirror for AIX を PowerHA と省略して記載しています 当資料公開時点での PowerHA の最新バージョンは V7.1.1 ですが (*) 当資料は PowerHA V7.1 を前提に記載しております *2014 年 2 月現在の最新バージョンは V7.1.3 です 3
更新履歴 初版 (Rev. 1.0) 2012 年 2 月 9 日 V7.1.3 の情報を追記 (Rev. 1.1) 2014 年 2 月 28 日 4
目次 1. PowerHA V7.1 前提環境と設計 当資料の前提となる環境図 当資料で想定しているクラスター設計 2. PowerHA V7.1 構築手順 STEP1. 事前環境準備 STEP2. クラスター構成の事前準備 STEP3. PowerHA V7.1 導入 STEP4. PowerHA V7.1 クラスターの構成 STEP5. PowerHA V7.1 起動と確認 STEP6. ノード障害の検証 3. PowerHA 参考情報 5
1. PowerHA V7.1 前提環境と設計 6
当資料の前提となる環境図 当資料で PowerHA クラスター構築を説明する上で前提となる ハードウェア ソフトウェア環境は以下となります サービス用 LAN 管理 LAN en0 en1 en2 en3 en4 en0 en1 en2 en3 en4 pvc11 pvc12 Power 780 Power 780 AIX V7.1 TL01 SP02 PowerHA V7.1 SP04 AIX V7.1 TL01 SP02 PowerHA V7.1 SP04 hdisk0 hdisk1 fcs0 fcs1 fcs0 fcs1 hdisk0 hdisk1 SAN Switch #1 SAN Switch #2 IBM Storwize V7000 hdisk2 hdisk3 hdisk4 7
当資料で想定しているクラスター設計 当環境では 以下の設計を前提として クラスター環境を構築するものとします IP アドレスとインターフェース冗長化の設計 ホスト名 用途 インター フェース名 pvc11 冗長化インターフェース AIX 起動時の IP アドレス 運用管理 en0 N/A 192.168.10.11 pvc11 サービス en1 en2 en5 (*) (EtherChannel) サービス用 IP アドレス 10.1.1.11 pvc11b 10.1.10.1 備考 正常稼動時に pvc11 上に サービス用 IP アドレス が IP alias で付与 未使用 未使用 en3 en4 運用管理 en0 N/A 192.168.10.12 pvc12 pvc12 サービス en1 en2 en5 (*) (EtherChannel) 10.1.1.12 pvc12b 10.1.10.1 Pvc11 のノード障害時に pvc12 上に サービス用 IP アドレス が IP alias で付与 未使用 en3 未使用 en4 *: 別の物理アダプター上のポートを使用して冗長化します 8
当資料で想定しているクラスター設計 当環境では 以下のディスク設計を前提として クラスター環境を構築するものとします PowerHAの設計に直接依存しない項目については 詳細を記載していません 共有ディスク環境設計 種類 サイズ 用途 共有 VG ファイル システ ム サイズ 備考 hdisk0 内蔵 146GB OS 領域 rootvg N/A N/A hdisk1 内蔵 146GB 未使用 N/A N/A N/A hdisk2 外付けディスク V7000 10GB PowerHA クラスターリポジトリ 共有 caavg_private ( 備考参照 ) N/A N/A PowerHAクラスー構成の段階で自動設定される 10GB~62.5GBのサイズが必須 (*) hdisk3 外付けディスク V7000 hdisk4 外付けディスク V7000 50GB お客様データ共有 datavg /data 20GB 50GB 未使用共有 9 *: PowerHA V7.1+ AIX V6.1 TL6 or AIX V7.1TL0 の場合 10GB 以上で 62.5GB 未満のサイズであることが必須 PowerHA V7.1.1 + AIX V6.1 TL7SP2 or AIX V7.1 TL1 SP2では 1GB 以上 62.5GB 未満のサイズであることが必須
2. PowerHA V7.1 構築手順 10
STEP1. 事前環境準備 1-1. AIX V7.1 TL01 の導入 @pvc11/pvc12 両ノードに AIX V7.1 を導入します 一般的には AIX 導入時に以下のバンドルを導入しておきます Server バンドル App-Dev バンドル導入後のAIXレベルを確認します root@pvc11[/]# oslevel -s root@pvc12[/]# oslevel -s 7100-01-00-0000 7100-01-00-0000 1-2. AIX サービスパックの適用 @pvc11/pvc12 AIX V7.1 TL01 を SP02 へ更新します 更新後のAIXレベルは以下のように確認します root@pvc11[/]# oslevel -s root@pvc12[/]# oslevel -s 7100-01-02-1150 7100-01-02-1150 1-3. syncd による書き込み頻度の変更 @pvc11/pvc12 vi エディターなどを使用して /sbin/rc.boot で設定されている syncd による入出力バッファの書き込み頻度を 60 秒から 10 秒に変更します ( 推奨 ) 変更後 root@pvc11[/]# cat rc.boot grep syncd nohup /usr/sbin/syncd 10 > /dev/null 2>&1 & root@pvc12[/]# cat rc.boot grep syncd nohup /usr/sbin/syncd 10 > /dev/null 2>&1 & 11
STEP1. 事前環境準備 1-4. ネットワーク インターフェースの冗長化と IP アドレスの設定 @pvc11/pvc12 予め複数のアダプター上のイーサネットポートで EtherChannel や Link Aggregation 機能などでネットワーク インターフェースを冗長化しておきます 当環境では予め両ノードで en1/en2の二つのインターフェースで冗長化された en5 インターフェースを作成しています ここでen5 に対して AIX 起動時の IPアドレス (bootアドレスとも呼ばれます) の設定を行います # smitty tcpip ネットワーク インターフェース ネットワーク インターフェースの選択 ネットワーク インターフェースの特性の選択 / 表示 en5 を選択以下の画面に必要項目を入力して Enter します 標準イーサネット インターフェースの変更 / 表示 [ 入力フィールド ] ネットワーク インターフェース名 en5 インターネット アドレス ( ドット 10 進数 ) [10.1.1.11] ネットワーク マスク (16 進数かドット 10 進数 ) [255.255.255.0] 現在の状態 up + アドレス解決プロトコル (ARP) を使用する はい + ブロードキャスト アドレス ( ドット 10 進数 ) [] インターフェース固有のネットワーク オプション ('NULL' はオプションを設定解除します ) rfc1323 [] tcp_mssdflt [] tcp_nodelay [] tcp_recvspace [] tcp_sendspace [] Apply change to DATABASE only no + 標準イーサネット インターフェースの変更 / 表示 [ 入力フィールド ] ネットワーク インターフェース名 en5 インターネット アドレス ( ドット 10 進数 ) [10.1.1.12] ネットワーク マスク (16 進数かドット 10 進数 ) [255.255.255.0] 現在の状態 up + アドレス解決プロトコル (ARP) を使用する はい + ブロードキャスト アドレス ( ドット 10 進数 ) [] インターフェース固有のネットワーク オプション ('NULL' はオプションを設定解除します ) rfc1323 [] tcp_mssdflt [] tcp_nodelay [] tcp_recvspace [] tcp_sendspace [] Apply change to DATABASE only no + 12
STEP1. 事前環境準備 1-5. IP アドレスの確認 @pvc11/pvc12 設定した IP アドレスを確認します root@pvc11[/]# ifconfig en5 en5:flags=5e080863,c0<up,broadcast, ( 省略 ) > inet 10.1.1.11 netmask 0xffffff00 broadcast 10.1.1.255 tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0 root@pvc12[/]# ifconfig en5 en5:flags=5e080863,c0<up,broadcast, ( 省略 ) > inet 10.1.1.12 netmask 0xffffff00 broadcast 10.1.1.255 tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0 1-6. /etc/hosts の更新 @pvc11/pvc12 IP アドレス設計に応じて /etc/hosts を編集します root@pvc11[/]# cat /etc/hosts #For Management 192.168.10.11 pvc11 192.168.10.12 pvc12 #For Cluster and Service 10.1.1.11 pvc11b 10.1.1.12 pvc12b 10.1.10.1 pvc10srv root@pvc12[/]# # cat /etc/hosts #For Management 192.168.10.11 pvc11 192.168.10.12 pvc12 #For Cluster and Service 10.1.1.11 pvc11b 10.1.1.12 pvc12b 10.1.10.1 pvc10srv 13
STEP1. 事前環境準備 1-7. FC アダプターの WWPN を確認 root@pvc11[/]# for i in 0 1 > do > lscfg -vl fcs$i grep Net > done Network Address...10000000C9B00F00 Network Address...10000000C9B00F01 root@pvc12[/]# for i in 0 1 > do > lscfg -vl fcs$i grep Net > done Network Address...10000000C9B00F02 Network Address...10000000C9B00F03 1-8. V7000 ストレージ装置接続のための準備 @pvc11/pvc12 IBM Storwize V7000 を接続するため 両ノードに以下の SDDPCM デバイスドライバ および Host Attachment Kit を導入します devices.sddpcm.71.2.6.0.3.bff.tar devices.fcp.disk.ibm.mpio.rte devices.sddpcm.71.rte devices.sddpcm.71.2.6.0.3.bff devices.sddpcm.71.rte.tar 14
STEP1. 事前環境準備 1-9. 外部ディスクの接続設定以下の作業などを実施 V7000 ストレージ装置でボリュームの作成 V7000 ストレージ装置でボリュームのマッピング 上記で確認した FC アダプターの WWPN を使用して SAN Switch のゾーニングを設定 1-10. 外部ディスクの構成と確認 @pvc11/pvc12 root@pvc11[/]# cfgmgr root@pvc11[/]# lsdev -Cc disk hdisk0 Available 01-00-00 SAS Disk Drive hdisk1 Available 01-00-00 SAS Disk Drive hdisk2 Available 05-00-02 MPIO FC 2145 hdisk3 Available 05-00-02 MPIO FC 2145 hdisk4 Available 05-00-02 MPIO FC 2145 root@pvc12[/]# cfgmgr root@pvc12[/]# lsdev -Cc disk hdisk0 Available 01-00-00 SAS Disk Drive hdisk1 Available 01-00-00 SAS Disk Drive hdisk2 Available 05-00-02 MPIO FC 2145 hdisk3 Available 05-00-02 MPIO FC 2145 hdisk4 Available 05-00-02 MPIO FC 2145 15
STEP1. 事前環境準備 1-11. SDDPCM デバイスドライバを使用しての外部ディスクの確認 @pvc11/pvc12 DEVICE NAME と SERIAL の表示を使用して 両ノードから 同じボリュームがどの hdisk 番号で見えているかを確認 ( 当環境では同じ disk 番号で見えていることを確認しています ) 管理を容易にするためには 同じボリュームが同じ disk 番号で見えるようにしておくことをお奨めします root@pvc11[/]# pcmpath query device Total Dual Active and Active/Asymmetric Devices : 3 root@pvc12[/]# pcmpath query device Total Dual Active and Active/Asymmetric Devices : 3 DEV#: 2 DEVICE NAME: hdisk2 TYPE: 2145 ALGORITHM: Load Balance SERIAL: 600507680281018DB800000000000028 ============================================================ Path# Adapter/Path Name State Mode Select Errors 0 fscsi0/path0 CLOSE NORMAL 0 0 1 fscsi0/path1 CLOSE NORMAL 0 0 2 fscsi1/path2 CLOSE NORMAL 0 0 3 fscsi1/path3 CLOSE NORMAL 0 0 DEV#: 3 DEVICE NAME: hdisk3 TYPE: 2145 ALGORITHM: Load Balance SERIAL: 600507680281018DB800000000000029 ============================================================ Path# Adapter/Path Name State Mode Select Errors 0 fscsi0/path0 CLOSE NORMAL 0 0 1 fscsi0/path1 CLOSE NORMAL 0 0 2 fscsi1/path2 CLOSE NORMAL 0 0 3 fscsi1/path3 CLOSE NORMAL 0 0 DEV#: 4 DEVICE NAME: hdisk4 TYPE: 2145 ALGORITHM: Load Balance SERIAL: 600507680281018DB80000000000002A ============================================================ Path# Adapter/Path Name State Mode Select Errors 0 fscsi0/path0 CLOSE NORMAL 0 0 1 fscsi0/path1 CLOSE NORMAL 0 0 2 fscsi1/path2 CLOSE NORMAL 0 0 3 fscsi1/path3 CLOSE NORMAL 0 0 DEV#: 2 DEVICE NAME: hdisk2 TYPE: 2145 ALGORITHM: Load Balance SERIAL: 600507680281018DB800000000000028 ============================================================ Path# Adapter/Path Name State Mode Select Errors 0 fscsi0/path0 CLOSE NORMAL 0 0 1 fscsi0/path1 CLOSE NORMAL 0 0 2 fscsi1/path2 CLOSE NORMAL 0 0 3 fscsi1/path3 CLOSE NORMAL 0 0 DEV#: 3 DEVICE NAME: hdisk3 TYPE: 2145 ALGORITHM: Load Balance SERIAL: 600507680281018DB800000000000029 ============================================================ Path# Adapter/Path Name State Mode Select Errors 0 fscsi0/path0 CLOSE NORMAL 0 0 1 fscsi0/path1 CLOSE NORMAL 0 0 2 fscsi1/path2 CLOSE NORMAL 0 0 3 fscsi1/path3 CLOSE NORMAL 0 0 DEV#: 4 DEVICE NAME: hdisk4 TYPE: 2145 ALGORITHM: Load Balance SERIAL: 600507680281018DB80000000000002A ============================================================ Path# Adapter/Path Name State Mode Select Errors 0 fscsi0/path0 CLOSE NORMAL 0 0 1 fscsi0/path1 CLOSE NORMAL 0 0 2 fscsi1/path2 CLOSE NORMAL 0 0 3 fscsi1/path3 CLOSE NORMAL 0 0 16
STEP1. 事前環境準備 1-12. VG( ボリューム グループ ) の作成 @pvc11 お客様データを配置する VG を作成します この作業は片方のノードで実施します hdisk3 で datavg ボリューム グループを作成します # smitty storage 論理ボリューム マネージャー ボリューム グループ ボリューム グループの追加 スケーラブル ボリューム グループの追加以下の画面に必要項目を入力して Enter します 物理ボリューム名 hdisk3 自動的に活動化 PowerHA が制御するため F4 キーかタブキーで いいえ を選択します VG コンカレント機能を付与 F4 キーかタブキーで 拡張コンカレント を選択します PowerHA V7.1 で VG を制御するためには 拡張コンカレントが必須です スケーラブル ボリューム グループの追加 [ 入力フィールド ] ボリューム グループ名 [datavg] 物理区画サイズ ( メガバイト ) + * 物理ボリューム名 [hdisk3] + ボリューム グループを強制的に作成する いいえ + システム再起動時にボリューム グループを いいえ + 自動的に活動化する ボリューム グループのメジャー番号 [] +# VG コンカレント機能を付加する 拡張コンカレント + VG あたりの最大 PP ( 単位は 1024) 32 + 論理ボリュームの最大数 256 + 厳密なミラー プールを使用可能にする いいえ + 無限再試行オプション いいえ + 17
STEP1. 事前環境準備 1-12. VG( ボリューム グループ ) の作成 作成したボリューム グループ datavg を確認します PVID が振られ hdisk3 で datavg が構成されたことが確認できます root@pvc11[/]# lspv hdisk0 00f62699643010ce rootvg active hdisk1 00f62699fd28d9bc None hdisk2 none None hdisk3 00f6269913727179 datavg hdisk4 none None 手動で datavg を活動化します オプションのない varyonvg コマンドで VG を活動化した場合は以下のように active ステータスになります root@pvc11[/]# varyonvg datavg root@pvc11[/]# lspv hdisk0 00f62699643010ce rootvg active hdisk1 00f62699fd28d9bc None hdisk2 none None hdisk3 00f6269913727179 datavg active hdisk4 none None 18
STEP1. 事前環境準備 1-13. FS( ファイルシステム ) の作成 @pvc11 お客様データを配置する FS を作成します この作業は片方のノードで実施します 20GB の /data ファイルシステムを作成します # smitty storage ファイルシステム ファイルシステムの追加 / 変更 / 表示 / 削除 拡張ジャーナル ファイルシステム 拡張ジャーナル ファイルシステムの追加 datavgを選択します 以下の画面に必要項目を入力して Enterします ユニット サイズ タブキーで ギガバイト を選択します マウント ポイント /data と入力します 自動マウント PowerHAが制御するため タブキーで いいえ を選択します 19 拡張ジャーナル ファイルシステムの追加 ボリューム グループ名 datavg ファイルシステムのサイズユニット サイズ ギガバイト + * ユニット数 [20] # * マウント ポイント [/data] システム再起動時に自動的にマウントする いいえ + 権限 読み取り / 書き込み + マウント オプション [] + ブロック サイズ ( バイト ) 4096 + ログの論理ボリューム + インライン ログ サイズ (MB) [] # 拡張属性フォーマット + クォータ管理を使用可能にする いいえ + EFS を使用可能にする いいえ + 内部スナップショットを許可する いいえ + マウント グループ []
STEP1. 事前環境準備 1-14. FS をマウントして確認 @pvc11 20 作成した /data ファイルシステムをマウントして サイズやマウントポイントなどを確認します root@pvc11[/]# mount /data root@pvc11[/]# df -k Filesystem 1024-blocks Free %Used Iused %Iused Mounted on /dev/hd4 524288 221132 58% 10943 18% / /dev/hd2 2883584 96524 97% 50817 67% /usr /dev/hd9var 524288 194936 63% 9034 17% /var /dev/hd3 262144 258592 2% 53 1% /tmp ( 省略 ) /dev/fslv00 20971520 20967992 1% 4 1% /data 1-15. FS をアンマウント VG を非活動化 @pvc11 再度 /data をアンマウントして datavg を非活動化します root@pvc11[/]# umount /data root@pvc11[/]# varyoffvg datavg root@pvc11[/]# lspv hdisk0 00f62699643010ce rootvg active hdisk1 00f62699fd28d9bc None hdisk2 none None hdisk3 00f6269913727179 datavg hdisk4 none None 1-16. 作成した VG のメジャー番号を確認 @pvc11 以下の例では datavg のメジャー番号は 37 であることが確認できます メジャー番号を両ノードであわせておきたい場合 (PowerHA による NFS サーバー引継ぎをが必要な場合は必須 ) には VG の作成の際にメジャー番号を明示的に指定することも可能です root@pvc11[/]# ls -l /dev/datavg crw-rw---- 1 root system 37, 0 Jan 25 14:59 /dev/datavg
STEP1. 事前環境準備 1-17. VG や FS を他ノードから認識 @pvc12 他ノードで datavg をインポートします 当環境では 外部ディスク上のボリュームが両ノードから同じ hdisk 番号で見えているため 以下のコマンドで VG をインポートします root@pvc12[/]# importvg -y datavg -V 37 hdisk3 datavg 0516-783 importvg: This imported volume group is concurrent capable. Therefore, the volume group must be varied on manually. root@pvc12[/]# lspv hdisk0 00f62699f4fcf8e2 rootvg active hdisk1 none None hdisk2 none None hdisk3 00f6269913727179 datavg hdisk4 none None -V オプションで VG のメジャー番号を指定することができます pvc12 でも PVID が振られ datavg が認識されたことがわかります 21 もし 同じ外部ディスク上のボリュームがいずれの hdisk 番号で見えているか不明な場合は 以下のように一旦 hdiskx を削除 再度 cfgmgr コマンドで hdisk を構成すると 先に別ノードで VG を作成した際に付与された PVID が見えるようになります この PVID をキーとして適切な hdisk 番号を見極めてた上で 上記の importvg コマンドを実施してください root@pvc12[/]# for i in 2 3 4 > do > rmdev -drl hdisk$i > done hdisk2 を削除しました hdisk3 を削除しました hdisk4 を削除しました root@pvc12[/]#cfgmgr root@pvc12[/]# lspv hdisk0 00f62699f4fcf8e2 rootvg active hdisk1 none None hdisk2 none None hdisk3 00f6269913727179 None hdisk4 none None
STEP1. 事前環境準備 1-18. VG や FS を他ノードから認識 @pvc12 datavg を活動化し /data ファイルシステムがマウントできることを確認します root@pvc12[/]# varyonvg datavg root@pvc12[/]# mount /data root@pvc12[/]# df -k Filesystem 1024-blocks Free %Used Iused %Iused Mounted on /dev/hd4 524288 221256 58% 10943 18% / /dev/hd2 2883584 96600 97% 50817 67% /usr /dev/hd9var 524288 194996 63% 9033 17% /var /dev/hd3 262144 258592 2% 53 1% /tmp ( 省略 ) /dev/fslv00 20971520 20967992 1% 4 1% /data /data ファイルシステムをアンマウントし datavg を非活動状態に戻します root@pvc12[/]# umount /data root@pvc12[/]# varyoffvg datavg root@pvc12[/]# lspv hdisk0 00f62699f4fcf8e2 rootvg active hdisk1 none None hdisk2 none None hdisk3 00f6269913727179 datavg hdisk4 none None この後の PowerHA クラスター構成作業は VG が非活動の状態で実施します 22
STEP2. クラスター構成の事前準備 2-1. クラスターを構成するノード間の不変のコミュニケーション パスを設定 @pvc11/pvc12 PowerHA V7.1 では 手動でこの設定作業が必要になりました /etc/cluster/rhosts にクラスター ノードが通信可能な不変の IP アドレスを記載します また 各ノードの hostname コマンドの結果 ( もしくはそれが名前解決された IP アドレス ) も記載する必要があります ここでは 運用管理 (HMC-LPAR 間 ) のネットワークアドレスであり 且つ hostname コマンドの結果でもある IP アドレスを指定しています root@pvc11[/etc/cluster]# cat rhosts 192.168.10.11 192.168.10.12 root@pvc12[/etc/cluster]# cat rhosts 192.168.10.11 192.168.10.12 23 2-2. clcomd の再起動 @pvc11/pvc12 クラスター コミュニケーション デーモン (clcomd) を再起動します root@pvc11[/]# stopsrc -s clcomd;sleep 2;startsrc -s clcomd 0513-044 The clcomd Subsystem was requested to stop. 0513-059 The clcomd Subsystem has been started. Subsystem PID is 7536802. root@pvc11[/]# lssrc -s clcomd Subsystem Group PID Status clcomd caa 7536802 active root@pvc12[/]# stopsrc -s clcomd;sleep 2;startsrc -s clcomd 0513-044 The clcomd Subsystem was requested to stop. 0513-059 The clcomd Subsystem has been started. Subsystem PID is 7471116. root@pvc12[/]# lssrc -s clcomd Subsystem Group PID Status clcomd caa 7471116 active
STEP2. クラスター構成の事前準備 2-3. SAN ベースのハートビートを行う場合の事前設定 ( オプション ) PowerHA V7.1 では 一つ以上の TCP/IP でのハートビートの他に リポジトリー ディスクを使用したハートビートが必須となっています ここで説明する SAN によるハートビートの設定作業はあくまでオプションです 2-3-1. pvc11 と pvc12 の fcs0 を一つのゾーニング 同じく fcs1 を一つのゾーニングとして設定 2-3-2. fcs0 / fcs1 の Target Mode 属性を yes に変更 @pvc11/pvc12 root@pvc11[/]# rmdev -Rl fcs0 fcnet0 Defined sfwcomm1 Defined fscsi0 Defined fcs0 Defined root@pvc12[/]# rmdev -Rl fcs0 fcnet0 Defined sfwcomm1 Defined fscsi0 Defined fcs0 Defined デバイスを一旦 Defined 状態にします root@pvc11[/]# rmdev -Rl fcs1 fcnet1 Defined hdisk2 Defined hdisk3 Defined hdisk4 Defined sfwcomm2 Defined fscsi1 Defined fcs1 Defined root@pvc11[/]# chdev -l fcs0 -a tme=yes fcs0 changed root@pvc11[/]# chdev -l fcs1 -a tme=yes fcs1 changed root@pvc12[/]# rmdev -Rl fcs1 fcnet1 Defined hdisk2 Defined hdisk3 Defined hdisk4 Defined sfwcomm2 Defined fscsi1 Defined fcs1 Defined root@pvc12[/]# chdev -l fcs0 -a tme=yes fcs0 changed root@pvc12[/]# chdev -l fcs1 -a tme=yes fcs1 changed Target mode 属性を変更します 24
STEP2. クラスター構成の事前準備 25 2-3. SAN ベースのハートビートを行う場合の事前設定 ( オプション ) 2-3-2. fcs0 / fcs1 の Target Mode 属性の変更後の確認 @pvc11/pvc12 root@pvc11[/]# lsattr -El fcs0 DIF_enabled no DIF (T10 protection) enabled True bus_intr_lvl Bus interrupt level False bus_io_addr 0xff800 Bus I/O address False bus_mem_addr 0xffe76000 Bus memory address False bus_mem_addr2 0xffe78000 Bus memory address False init_link auto INIT Link flags False intr_msi_1 246293 Bus interrupt level False intr_priority 3 Interrupt priority False lg_term_dma 0x800000 Long term DMA True max_xfer_size 0x100000 Maximum Transfer Size True num_cmd_elems 500 Maximum number of ( 省略 ) True pref_alpa 0x1 Preferred AL_PA True sw_fc_class 2 FC Class for Fabric True tme yes Target Mode Enabled True root@pvc11[/]# lsattr -El fcs1 DIF_enabled no DIF (T10 protection) enabled True bus_intr_lvl Bus interrupt level False bus_io_addr 0xffc00 Bus I/O address False bus_mem_addr 0xffe77000 Bus memory address False bus_mem_addr2 0xffe7c000 Bus memory address False init_link auto INIT Link flags False intr_msi_1 246294 Bus interrupt level False intr_priority 3 Interrupt priority False lg_term_dma 0x800000 Long term DMA True max_xfer_size 0x100000 Maximum Transfer Size True num_cmd_elems 500 Maximum number of ( 省略 ) True pref_alpa 0x1 Preferred AL_PA True sw_fc_class 2 FC Class for Fabric True tme yes Target Mode Enabled True Target mode 属性が Yes になっていることを確認 root@pvc12/]# lsattr -El fcs0 DIF_enabled no DIF (T10 protection) enabled True bus_intr_lvl Bus interrupt level False bus_io_addr 0xff800 Bus I/O address False bus_mem_addr 0xffe76000 Bus memory address False bus_mem_addr2 0xffe78000 Bus memory address False init_link auto INIT Link flags False intr_msi_1 246293 Bus interrupt level False intr_priority 3 Interrupt priority False lg_term_dma 0x800000 Long term DMA True max_xfer_size 0x100000 Maximum Transfer Size True num_cmd_elems 500 Maximum number of ( 省略 ) True pref_alpa 0x1 Preferred AL_PA True sw_fc_class 2 FC Class for Fabric True tme yes Target Mode Enabled True root@pvc12[/]# lsattr -El fcs1 DIF_enabled no DIF (T10 protection) enabled True bus_intr_lvl Bus interrupt level False bus_io_addr 0xffc00 Bus I/O address False bus_mem_addr 0xffe77000 Bus memory address False bus_mem_addr2 0xffe7c000 Bus memory address False init_link auto INIT Link flags False intr_msi_1 246294 Bus interrupt level False intr_priority 3 Interrupt priority False lg_term_dma 0x800000 Long term DMA True max_xfer_size 0x100000 Maximum Transfer Size True num_cmd_elems 500 Maximum number of ( 省略 ) True pref_alpa 0x1 Preferred AL_PA True sw_fc_class 2 FC Class for Fabric True tme yes Target Mode Enabled True
STEP2. クラスター構成の事前準備 2-3. SAN ベースのハートビートを行う場合の事前設定 ( オプション ) 2-3-3. fscsi0 / fscsi1 の属性を変更 @pvc11/pvc12 当環境ではデフォルトでこの設定となっていたため変更作業は実施していません dyntrk 属性 yes fc_err_recov 属性 fast_fail root@pvc11[/]# lsattr -El fscsi0 attach switch How this adapter is CONNECTED False dyntrk yes Dynamic Tracking of FC Devices True fc_err_recov fast_fail FC Fabric Event Error RECOVERY Policy True scsi_id 0x10800 Adapter SCSI ID False sw_fc_class 3 FC Class for Fabric True root@pvc11[/]# lsattr -El fscsi1 attach switch How this adapter is CONNECTED False dyntrk yes Dynamic Tracking of FC Devices True fc_err_recov fast_fail FC Fabric Event Error RECOVERY Policy True scsi_id 0x10c00 Adapter SCSI ID False sw_fc_class 3 FC Class for Fabric True root@pvc12[/]# lsattr -El fscsi0 attach switch How this adapter is CONNECTED False dyntrk yes Dynamic Tracking of FC Devices True fc_err_recov fast_fail FC Fabric Event Error RECOVERY Policy True scsi_id 0x10800 Adapter SCSI ID False sw_fc_class 3 FC Class for Fabric True root@pvc12[/]# lsattr -El fscsi1 attach switch How this adapter is CONNECTED False dyntrk yes Dynamic Tracking of FC Devices True fc_err_recov fast_fail FC Fabric Event Error RECOVERY Policy True scsi_id 0x10c00 Adapter SCSI ID False sw_fc_class 3 FC Class for Fabric True 2-3-4. fcsx と sfwcommx を構成 属性変更したデバイスを Available にします root@pvc11[/]# cfgmgr -l fcs0 root@pvc11[/]# cfgmgr -l sfwcomm0 root@pvc11[/]# cfgmgr -l fcs1 root@pvc11[/]# cfgmgr -l sfwcomm1 root@pvc12[/]# cfgmgr -l fcs0 root@pvc12[/]# cfgmgr -l sfwcomm0 root@pvc12[/]# cfgmgr -l fcs1 root@pvc12[/]# cfgmgr -l sfwcomm1 26
STEP3. PowerHA V7.1 導入 3-1. PowerHA 導入の前提ファイルセットの確認 @pvc11/pvc12 両ノードで AIX V7.1 の以下のファイルセットが導入されていることを確認します bos.adt.lib bos.adt.libm bos.adt.syscalls bos.net.tcp.client bos.net.tcp.server bos.rte.src bos.rte.libc bos.rte.libcfg bos.rte.libcur bos.rte.libpthreads bos.rte.odm bos.cluster bos.rte.lvm bos.clvm.enh 以下のコマンドで 各ファイルセットが導入されていることを確認します ( 例 ) root@pvc11[/]# lslpp -l bos.adt.lib Fileset Level State Description ---------------------------------------------------------------------------- Path: /usr/lib/objrepos bos.adt.lib 7.1.0.0 COMMITTED Base Application Development Libraries 27
STEP3. PowerHA V7.1 導入 3-2. PowerHA V7.1 の導入 @pvc11/pvc12 PowerHA V7.1 を両ノードに導入します cluster.es.server.rte ファイルセットを選択することで 必要なファイルセットは自動的に導入されます # smitty install ソフトウエアのインストールおよび更新 ソフトウェアのインストール ソフトウェアの入力デバイス / ディレクトリー CD-ROM/DVDなどのメディアからの導入の場合は F4キーで /dev/cdxを選択 ディスクにPowerHAモジュールを展開している場合は そのディレクトリを指定以下の画面に必要項目を入力して Enterし導入を行います インストールスルソフトウェア F4キーでリストを表示し cluster.es.server.rte を選択 新規ご使用条件に同意する F4キーかタブキーで はい を選択 ソフトウェアのインストール 28 [TOP] [ 入力フィールド ] * ソフトウェアの入力デバイス / ディレクトリー. * インストールするソフトウェア [cluster.es.server.rte] + プレビューだけ行う ( インストール操作は行わない ) いいえ + ソフトウェアの更新をコミットする はい + 置換ファイルを保存する いいえ + 必要条件ソフトウェアを自動的にインストールする はい + スペースが必要な場合にファイルシステムを拡張する はい + 同一または新規バージョンを上書きする いいえ + インストールを検証してファイル サイズを確認する いいえ + 対応する言語のファイルセットを含める はい + 詳細出力する いいえ + 複数ボリュームを処理する はい + 新規ご使用条件に同意する はい + 新規ご使用条件をプレビューする いいえ + [MORE...]
STEP3. PowerHA V7.1 導入 3-3. PowerHA V7.1 サービスパックの適用 @pvc11/pvc12 サービスパックを以下のサイトからダウンロードします http://www14.software.ibm.com/webapp/set2/sas/f/hacmp/home.html 両ノードで ダウンロードしたサービスパックを適用します # smitty update_all ソフトウェアの入力デバイス / ディレクトリー サービスパックを配置したディレクトリを指定以下の画面に必要項目を入力して Enterし導入を行います インストール済みソフトウェアを最新レベルに更新 ( すべて更新 ) * ソフトウェアの入力デバイス / ディレクトリー. * 更新するソフトウェア _update_all プレビューだけ行う ( 更新操作は行わない ) いいえ + ソフトウェアの更新をコミットするいいえ + 置換ファイルを保存するはい + 必要条件ソフトウェアを自動的にインストールするはい + スペースが必要な場合にファイルシステムを拡張するはい + インストールを検証してファイル サイズを確認するいいえ + 詳細出力するいいえ + 複数ボリュームを処理するはい + 新規ご使用条件に同意するはい + 新規ご使用条件をプレビューするいいえ + 29
STEP3. PowerHA V7.1 導入 3-4. AIX をリブート @pvc11/pvc12 # shutdown -Fr 3-5. PowerHA のレベルを確認 @pvc11/pvc12 PowerHA のレベルが正しいことを確認します root@pvc11[/]# cd /usr/es/sbin/cluster/utilities root@pvc11[/usr/es/sbin/cluster/utilities]# halevel -s 7.1.0 SP4 root@pvc12[/]# cd /usr/es/sbin/cluster/utilities root@pvc12[/usr/es/sbin/cluster/utilities]#./halevel -s 7.1.0 SP4 30
STEP4. PowerHA クラスターの構成 4-1. クラスターの構成とノードの定義 @pvc11 PowerHA クラスターを構成します # smitty sysmirror クラスター ノードおよびネットワーク 初期クラスター セットアップ ( 標準 ) クラスター ノード およびネットワークのセットアップ 新規ノード F4キーを押し クラスターを構成するノードをF7キーで選択し Enter を押します 左下の画面でEnterを押すことで クラスターとノードが定義されます クラスター ノード およびネットワークのセットアップ [ 入力フィールド ] * クラスター名 [pvc10_cluster] 新規ノード ( 選択された通信パス経由 ) [pvc11 pvc12] + 現在構成済みのノード pvc11 コマンド状況 コマンド : OK stdout: あり stderr: なし [TOP] クラスター名 : pvc10_cluster クラスター接続認証モード : Standard クラスター メッセージ認証モード : None クラスター メッセージ暗号化 : None 通信に永続ラベルを使用 : No リポジトリー ディスク : None クラスター IP アドレス : 2 個のノードおよび 2 個のネットワークが定義されていますノード pvc11: ネットワーク net_ether_01 pvc11 192.168.10.11 ネットワーク net_ether_02 pvc11b 10.1.1.11 ( 省略 ) 31
STEP4. PowerHA クラスターの構成 4-2. ネットワーク インターフェースとディスクのディスカバー @pvc11 関連するネットワーク インターフェースやディスクなどの情報収集をPowerHAが行います この作業は必須ではありませんが 一度実行しておくことをお奨めします # smitty sysmirror クラスター ノードおよびネットワーク ネットワーク インターフェースおよびディスクのディスカバー Enter を押すことで 関連するネットワーク インターフェースやディスクなどの情報収集を PowerHA が行います コマンド状況 コマンド : OK stdout: あり stderr: なし コマンドが完了する前に以下に追加指示が表示される場合があります [TOP] IP ネットワーク接続をディスカバーしています [6] 個のインターフェースがディスカバーされました IP ネットワーク ディスカバーが正常に完了しました 使用可能なクラスター ノードからデータを検索しています これには数分かかる場合があります ノード pvc11 でデータ収集を開始しましたノード pvc12 でデータ収集を開始しましたノード pvc12 の収集プログラムが完了しました ( 省略 ) 32
STEP4. PowerHA クラスターの構成 4-3. リポジトリー ディスクおよびクラスター IP アドレスの定義 @pvc11 この作業によって PowerHA V7.1から必要となったリポジトリ ディスクが自動的に作成されます # smitty sysmirror クラスター ノードおよびネットワーク クラスター ノード およびネットワークのセットアップ リポジトリ ディスクおよびクラスター IP アドレスの定義必要情報を入力してEnterを押します ハートビート メカニズム V7.1.3 以降のバージョンではユニキャストまたはマルチキャストを選択可能です デフォルトはユニキャストです リポジトリー ディスク F4キーでリストを表示し PowerHAクラスターのリポジトリー ディスクを指定します クラスター IPアドレス V7.1.2 以前 またはV7.1.3でハートビート メカニズムにマルチキャストを指定した場合 クラスターあたり一つのマルチキャストIPアドレスを指定します 但し 他のクラスターのマルチキャストIPアドレスと重複しないことを保証するものではないため 重複の確認や必要に応じて変更する必要性はあります 33 リポジトリー ディスクおよびクラスター IP アドレスの定義 フィールドの値を入力または選択してください 変更を完了したら ENTER キーを押してください [ 入力フィールド ] * クラスター名 pvc10_cluster * ハートビート メカニズム ユニキャスト + * リポジトリー ディスク [hdisk2] + クラスター マルチキャスト アドレス [] ( マルチキャスト ハートビートでのみ使用 ) PowerHA V7.1.3 から ハートビート メカニズムの指定が可能です デフォルトでは V6.1 以前と同様のユニキャストです V7.1.2 以前と同様のマルチキャストも選択可能です コマンド状況 コマンド : OK stdout: あり stderr: なし コマンドが完了する前に以下に追加指示が表示される場合があります [TOP] クラスター名 : pvc10_cluster クラスター接続認証モード : Standard クラスター メッセージ認証モード : None クラスター メッセージ暗号化 : None 通信に永続ラベルを使用 : No リポジトリー ディスク : hdisk2 クラスター IP アドレス : 228.168.10.11 2 個のノードおよび 2 個のネットワークが定義されていますノード pvc11: ネットワーク net_ether_01 pvc11 192.168.10.11 ( 省略 )
STEP4. PowerHA クラスターの構成 4-4. クラスターの検証と同期 @pvc11 ( オプション ) この作業は オプションです 前頁までに設定したトポロジー情報までを同期化し これまでの設定を確認したい場合はこの作業を実施してください ここでこの作業を実施しない場合も 後の クラスターの検証と同期 の作業で検証と同期がなされます ここまでの設定を検証し 他ノードへ同期します これにより 他ノードへもこれまでの設定内容が反映されます # smitty sysmirror クラスター ノードおよびネットワーク クラスター構成の検証と同期化 Enter を押します OK と表示された場合でも 画面表示をスクロールし エラー がないことを確認してください 警告 は問題ありません コマンド状況 コマンド : OK stdout: あり stderr: なし [TOP] 警告 : 通信インターフェースが Single Point of Failure になることを防ぐ ために IP エイリアスを使用するネットワークには 複数の通信インターフェース をお勧めするします 次のノードのネットワークでは 推奨されている数より 通信インターフェースの定義数が少なくなっています : ノード : ネットワーク : ---------------------------------- ---------------------------------- 警告 : PowerHA SystemMirror に認識されているが ノード pvc11 のファイル /usr/es/sbin/clus ter/etc/clhosts.client にリストされていない IP ラベルがあります 検証を自動修正モードで実行すると クライアント ノードで使用されるように このファイルに自動的にデータが設定されます ( 省略 ) 34
STEP4. PowerHA クラスターの構成 4-5. アプリケーションの起動 停止スクリプトの作成 @pvc11/pvc12 ミドルウェアやアプリケーションを起動 停止するスクリプトを両ノードで作成します 当環境では テスト的に簡易な以下のスクリプトを作成しています root@pvc11[/etc]# mkdir APL_scripts root@pvc11[/etc]# cd APL_scripts root@pvc11[/etc/apl_scripts]# vi APL_start.sh root@pvc11[/etc/apl_scripts]# vi APL_stop.sh root@pvc11[/etc/apl_scripts]# ls -ltr total 16 -rwxr-xr-x 1 root system 117 Jan 25 16:04 APL_stop.sh* -rwxr-xr-x 1 root system 119 Jan 25 16:05 APL_start.sh* root@pvc11[/etc/apl_scripts]# cat APL_start.sh #!/bin/ksh root@pvc12[/etc]# mkdir APL_scripts root@pvc12[/etc]# cd APL_scripts root@pvc12[/etc/apl_scripts]# vi APL_start.sh root@pvc12[/etc/apl_scripts]# vi APL_stop.sh root@pvc12[/etc/apl_scripts]# ls -ltr total 16 -rwxr-xr-x 1 root system 117 Jan 25 16:04 APL_stop.sh* -rwxr-xr-x 1 root system 119 Jan 25 16:05 APL_start.sh* root@pvc12[/etc/apl_scripts]# cat APL_start.sh #!/bin/ksh echo "==========" >> /data/apltest.log date >> /data/apltest.log echo "APL_start" >> /data/apltest.log root@pvc11[/etc/apl_scripts]# cat APL_stop.sh #!/bin/ksh echo "==========" >> /data/apltest.log date >> /data/apltest.log echo "APL_stop" >> /data/apltest.log root@pvc11[/etc/apl_scripts]# echo "==========" >> /data/apltest.log date >> /data/apltest.log echo "APL_start" >> /data/apltest.log root@pvc11[/etc/apl_scripts]# cat APL_stop.sh #!/bin/ksh echo "==========" >> /data/apltest.log date >> /data/apltest.log echo "APL_stop" >> /data/apltest.log root@pvc12[/etc/apl_scripts]# 35
STEP4. PowerHA クラスターの構成 4-6. アプリケーション コントローラの定義 @pvc11 PowerHA がリソースを取得した後や 明示的にリソースを開放する前に実行するスクリプトを登録します # smitty sysmirror クラスター アプリケーションおよびリソース ユーザー アプリケーションの構成 ( スクリプトおよびモニター ) アプリケーション コントローラー スクリプト アプリケーション コントローラー スクリプトの追加必要事項を入力して Enterを押します アプリケーション コントローラ名 任意の名前を指定します 始動スクリプト 前頁で作成した リソースを取得後に実行するAPL_start.shを指定 停止スクリプト 前頁で作成した リソースを開放前に実行するAPL_stop.shを指定 アプリケーション コントローラー スクリプトの追加 [ 入力フィールド ] * アプリケーション コントローラー名 [APL1] * 始動スクリプト [/etc/apl_scripts/apl_start.sh] * 停止スクリプト [/etc/apl_scripts/apl_stop.sh] アプリケーション モニター名 + 36
STEP4. PowerHA クラスターの構成 4-7. サービス IP の設定 @pvc11 PowerHA が管理するサービス用 IP を設定します # smitty sysmirror クラスター アプリケーションおよびリソース サービスIPラベル / アドレスの構成 サービスIPラベル / アドレスの追加サービスとして使用したいネットワークである ( 当環境の場合 ) net_ehter_02 にカーソルを合わせてEnterします 右下の画面の状態でEnterを押すことで サービスIPを設定します サービス IP ラベル / アドレスの構成 カーソルを選択したい項目に移動して ENTER キーを押してください サービス IP ラベル / アドレスの追加サービス IP ラベル / アドレスの変更 / 表示サービス IP ラベル / アドレスの除去サービス IP ラベル / アドレス配布設定の構成 lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk x ネットワーク名 x x x x カーソルを選択したい項目に移動して ENTER キーを押してください x x x x net_ether_01 (192.168.0.0/17) x x net_ether_02 (10.1.1.0/24) x x x qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj サービス IP ラベル / アドレスの追加 フィールドの値を入力または選択してください 変更を完了したら ENTER キーを押してください [ 入力フィールド ] * IP ラベル / アドレス pvc10srv + ネットマスク (IPv4)/ プレフィックス長 (IPv6) [] * ネットワーク名 net_ether_02 37
STEP4. PowerHA クラスターの構成 4-8. リソース グループの構成 @pvc11 PowerHA が管理するリソース グループを設定します # smitty sysmirror クラスター アプリケーションおよびリソース リソース グループ リソース グループの追加必要事項を入力して Enterを押します リソース グループ名 任意のリソース グループ名を入力します 参加ノード F4キーでノードリストを表示し クラスターの全ノードをF7キーで選択します リソース グループの追加 [ 入力フィールド ] * リソース グループ名 [RG1] * 参加ノード ( デフォルトのノード優先順位 ) [pvc11 pvc12] + 始動ポリシー ホーム ノードのみでオンライ > + フォールオーバー ポリシー リスト中の次の優先順位のノー > + フォールバック ポリシー リスト中のより高い優先順位の > + 38
STEP4. PowerHA クラスターの構成 4-9. リソース グループの属性の設定 @pvc11 前頁で設定したリソース グループの詳細な属性を設定します # smitty sysmirror クラスター アプリケーションおよびリソース リソース グループ リソース グループのリソースおよび属性の変更 / 表示 RG1を選択し 右下の画面で必要事項を入力してEnterを押します サービスIPラベル/ アドレス F4キーでリストを表示し 登録したサービスIPを選択する アプリケーション コントローラー F4キーでリストを表示し アプリケーション コントローラーを選択する ボリューム グループ F4キーでリストを表示し 引き継ぎたいボリュームグループを選択する ファイルシステム F4キーでリストを表示し 引き継ぎたいファイルシステムを選択する リソース グループ リソース グループの追加リソース グループのノードおよびポリシーの変更 / 表示リソース グループのリソースおよび属性の変更 / 表示リソース グループの除去リソース グループのランタイム ポリシーの構成ノードまたはリソース グループ別にリソースをすべて表示 リソース グループのリソースおよび属性をすべて変更 / 表示 [TOP] [ 入力フィールド ] リソース グループ名 RG1 参加ノード ( デフォルトのノード優先順位 ) pvc11 pvc12 始動ポリシー ホーム ノードのみでオンライ > フォールオーバー ポリシー リスト内の次の優先順位のノー > フォールバック ポリシー リスト内のより高い優先順位の > フォールバック タイマー ポリシー ( 空は即時 ) [] + 39 クラスター構成の検証と同期化 lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk x リソース グループのリソースおよび属性の変更 / 表示 x x x x RG1 x x x qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj サービス IP ラベル / アドレス [pvc10srv] + アプリケーション コントローラー [APL1] + ボリューム グループ [datavg] + 必要な場合 ボリューム グループの強制 varyon を いいえ + 使用する ボリューム グループを自動的にインポートする いいえ + ファイルシステム ( 空の場合は指定した VG のすべて ) [/data] + ( 省略 )
STEP4. PowerHA クラスターの構成 4-10. クラスター構成の検証と同期化 @pvc11 ここまでの設定を検証し 他ノードへ同期します これにより これまでの設定内容が他ノードへ反映されます # smitty sysmirror クラスター アプリケーションおよびリソース リソース グループ クラスター構成の検証と同期化 Enterを押します OKと表示された場合でも 画面表示をスクロールし エラー がないことを確認してください 警告 は問題ありません エラーがある場合には その内容に従って環境設定などを見直してください コマンド : OK stdout: あり stderr: なし [TOP] 警告 : 通信インターフェースが Single Point of Failure になることを防ぐために IP エイリアスを使用するネットワークには 複数の通信インターフェースをお勧めするします 次のノードのネットワークでは 推奨されている数より通信インターフェースの定義数が少なくなっています : ノード : ネットワーク : ---------------------------------- ---------------------------------- 警告 : PowerHA SystemMirror が障害から回復するためには アプリケーションの障害を検出するアプリケーション モニターが必須です アプリケーション モニターは アプリケーションが参加しているリソース グループが活動化されたときに PowerHA SystemMirror によって開始されます ( 省略 ) 40
STEP5. PowerHA の起動と確認 5-1. PowerHA の起動 @pvc11 PowerHA を起動します # smitty sysmirror システム管理 (C-SPOC) PowerHA SystemMirror サービス クラスター サービスの始動必要に応じて変更し Enterを押します 即時始動 システム再始動時に クラスター サービスを始動するノード 当環境ではPowerHAの自動起動をしないため 即時を選択します 両ノードをまとめて起動する場合は F4キーで両ノードを選択します クラスター サービスの始動 [ 入力フィールド ] * 即時始動 システム再始動時に始動 あるいは両方 即時 + クラスター サービスを始動するノード [pvc11,pvc12] + * リソース グループの管理 自動 + 始動時にメッセージをブロードキャストする いいえ + クラスター情報デーモンを始動する true + 検証エラーを無視する いいえ + クラスターの始動時に検出されたエラーを はい + 自動的に訂正する 41
STEP5. PowerHA の起動と確認 5-2. PowerHA の起動状態の確認 @pvc11 以下のような方法で PowerHA の起動状態を確認することができます pvc11 にサービス IP アドレスが付与されたことを確認 サービス IP が pvc11 に付与されています root@pvc11[/]# ifconfig en5 en5: flags=1e080863,c0<up,broadcast,notr ( 省略 ) inet 10.1.1.11 netmask 0xffffff00 broadcast 10.1.1.255 inet 10.1.10.1 netmask 0xffffff00 broadcast 10.1.10.255 tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0 root@pvc12[/]# ifconfig en5 en5: flags=1e080863,c0<up,broadcast,notr ( 省略 ) inet 10.1.1.12 netmask 0xffffff00 broadcast 10.1.1.255 tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0 pvc11/pvc12 で VG が活動化されていることを確認 root@pvc11[/]# lspv hdisk0 00f62699643010ce rootvg active hdisk1 00f62699fd28d9bc None hdisk2 00f6269913893eaa caavg_private active hdisk3 00f6269913727179 datavg concurrent hdisk4 00f6269913893f42 None root@pvc12[/]# lspv hdisk0 00f62699f4fcf8e2 rootvg active hdisk1 00f6269913894277 None hdisk2 00f6269913893eaa caavg_private active hdisk3 00f6269913727179 datavg concurrent hdisk4 00f6269913893f42 None pvc11 でファイルシステムがマウントされていることを確認 root@pvc11[/]# df -k Filesystem 1024-blocks Free %Used Iused %Iused Mounted on /dev/hd4 524288 220276 58% 10988 18% / /dev/hd2 2883584 96040 97% 50919 67% /usr /dev/hd9var 524288 83228 85% 9315 32% /var ( 省略 ) /dev/fslv00 20971520 20967988 1% 5 1% /data PowerHA が起動していれば 両ノードで datavg が concurrent ステータスになっています 42
STEP5. PowerHA の起動と確認 5-2. PowerHA の起動状態の確認 @pvc11 以下のような方法で PowerHA の起動状態を確認することができます リソース グループ情報の確認 root@pvc11[/usr/es/sbin/cluster/utilities]#./clrginfo ------------------------------------------------------------------------------- グループ名状態ノード ------------------------------------------------------------------------------- RG1 ONLINE pvc11 OFFLINE pvc12 サービス起動中起動後のログを確認するためには 以下のファイルを確認します root@pvc11[/var/hacmp/log]# tail -f hacmp.out Jan 27 16:31:02 EVENT COMPLETED: node_up_complete pvc11 0 :check_for_site_up_complete[+54] [[ high = high ]] :check_for_site_up_complete[+54] version=1.4 :check_for_site_up_complete[+55] :check_for_site_up_complete[+55] cl_get_path HA_DIR=es :check_for_site_up_complete[+57] STATUS=0 :check_for_site_up_complete[+59] set +u :check_for_site_up_complete[+61] [ ] :check_for_site_up_complete[+72] exit 0 43
STEP6. ノード障害の検証 6-1. 強制的にノード障害を発生 強制的にノード障害を発生させる方法として 以下のコマンドを実行するか あるいは HMC から明示的に該当 LPAR をシャットダウンさせる方法などがあります #sync;sync;sync; halt -q ここでは HMC から明示的に pvc11 をダウンさせます Pvc11 の LPAR を選択し 操作 シャットダウン を選択し 該当 LPAR を強制的に停止させます 44
STEP6. ノード障害の検証 6-2. PowerHA によって正常にノードのフェールオーバーが行われたことを確認 @pvc12 pvc12 にサービス IP アドレスが移動し 付与されたことを確認 root@pvc12[/var/hacmp/log]# ifconfig en5 en5: flags=1e080863,c0<up,broadcast,notrailers,running, SIMPLEX,MULTICAST,GROUPRT,64BIT,CHECKSUM_OFFLO AD(ACTIVE),LARGESEND,CHAIN> inet 10.1.1.12 netmask 0xffffff00 broadcast 10.1.1.255 inet 10.1.10.1 netmask 0xffffff00 broadcast 10.1.10.255 tcp_sendspace 131072 tcp_recvspace 65536 rfc1323 0 pvc12 にサービス用 IP が移動 pvc12 で FS がマウントされたことを確認 root@pvc12[/]# df -k Filesystem 1024-blocks Free %Used Iused %Iused Mounted on /dev/hd4 524288 213452 60% 11016 18% / /dev/hd2 2883584 96136 97% 50914 67% /usr /dev/hd9var 524288 139636 74% 9189 23% /var ( 省略 ) /dev/fslv00 20971520 20967988 1% 5 1% /data /data が pvc12 でマウント アプリケーション コントローラによって ミドルウェアやアプリケーションが正常に起動されたことを確認 root@pvc12[/data]# cat APLtest.log ========== Tue Jan 31 18:40:31 JST 2012 APL_start ========== Tue Jan 31 18:53:40 JST 2012 APL_start 45
STEP6. ノード障害の検証 6-2. PowerHA によって正常にノードのフェールオーバーが行われたことを確認 @pvc12 リソース グループ情報の確認 root@pvc12[/usr/es/sbin/cluster/utilities]#./clrginfo ----------------------------------------------------------------------------- Group Name Group State Node ----------------------------------------------------------------------------- RG1 OFFLINE pvc11 ONLINE pvc12 サービス起動中起動後のログを確認するためには 以下のファイルを確認します root@pvc12[/var/hacmp/log]# tail -f hacmp.out PowerHA SystemMirror Event Summary Event: TE_RG_MOVE_RELEASE Start time: Tue Jan 31 18:53:34 2012 End time: Tue Jan 31 18:53:35 2012 Action: Resource: Script Name: ---------------------------------------------------------------------------- No resources changed as a result of this event ---------------------------------------------------------------------------- Jan 31 18:53:42 EVENT COMPLETED: node_down_complete pvc11 0 :check_for_site_down_complete[+54] [[ high = high ]] :check_for_site_down_complete[+54] version=1.4 :check_for_site_down_complete[+55] :check_for_site_down_complete[+55] cl_get_path HA_DIR=es :check_for_site_down_complete[+57] STATUS=0 :check_for_site_down_complete[+59] set +u :check_for_site_down_complete[+61] [ ] :check_for_site_down_complete[+72] exit 0 46
3. PowerHA V7.1 参考情報 47
PowerHA 参考情報 powerha V7.1 の詳細なマニュアルやガイド および留意事項については以下の文献をご参照ください PowerHA SystemMirror for AIX PowerHA SystemMirror for AIX V7.1 新機能 / 機能拡張の技術的ハイライト (System p-11-003) https://www-304.ibm.com/support/docview.wss?uid=jpn1j1008055 PowerHA SystemMirror for AIX V7.1.1 新機能 / 機能拡張の技術的ハイライト (System p-12-007) http://www-01.ibm.com/support/docview.wss?uid=jpn1j1009359 PowerHA SystemMirror for AIX V7.1.2 新機能 / 機能拡張の技術的ハイライト (System p-13-002) http://www-01.ibm.com/support/docview.wss?uid=jpn1j1010533 PowerHA SystemMirror for AIX V7.1.3 新機能 / 機能拡張の技術的ハイライト (System p-14-003) http://www-01.ibm.com/support/docview.wss?uid=jpn1j1011474 レッドブック - IBM PowerHA SystemMirror 7.1 for AIX - http://publibfp.dhe.ibm.com/epubs/pdf/g8840680.pdf マニュアル -PowerHA SystemMirror 7.1 for AIX Standard Edition- 最新オンラインマニュアルは ブラウザーの言語環境を英語にした上で infocenter からご確認ください 日本語ロケールで表示される内容は 更新が遅れている可能性が有りますのでご注意ください http://publib.boulder.ibm.com/infocenter/aix/v6r1/index.jsp?topic=/com.ibm.aix.doc/doc/base/powerha.htm 最新マニュアル (PDF) は 以下よりご確認ください http://publib.boulder.ibm.com/infocenter/aix/v6r1/index.jsp?topic=/com.ibm.aix.doc/doc/base/powerha_pdf.htm 製品メディアに含まれるドキュメントは 奥付が同じでも更新が遅れている可能性が有りますのでご注意ください Cluster Aware for AIX 48 マニュアル http://publib.boulder.ibm.com/infocenter/aix/v7r1/index.jsp?topic=/com.ibm.aix.clusteraware/claware_main.htm PDF の場合 http://publib.boulder.ibm.com/infocenter/aix/v7r1/topic/com.ibm.aix.clusteraware/clusteraware_pdf.pdf