Pacemakerでかんたんクラスタリング体験してみよう

Pacemaker で かんたんクラスタリング 体験してみよう! ~ 仮想環境で運用デモしますよ編 ~ 2011 年 7 月 16 日 OSC2011 Kansai@Kyoto Linux-HA Japan プロジェクト田中崇幸 Linux-HA Japan Project 1

自己紹介 名前 : 田中崇幸 (Takayuki Tanaka) Twitter: @tanakacchi21 所属 : Linux-HA Japan プロジェクト コミュニティ旗揚時のメンバー Pacemaker 普及促進のため OSC での講演で全国行脚中 趣味 : マラソン 念願のサブスリーを達成したばかりの市民マラソンランナー 8 月 : 北海道マラソン 10 月 : 大阪マラソン出場予定 Linux-HA Japan Project 2

本日のお話 1 Linux-HA Japanについて 2 本日のPacemakerデモ環境 3 crm_monを使おう! 4 ログメッセージ制御機能を使おう! 5 いろいろデモします! Linux-HA Japan Project 3

1 Linux-HA Japan について Linux-HA Japan Project 4

Linux-HA Japan URL http://linux-ha.sourceforge.jp/ ( 一般向け ) http://sourceforge.jp/projects/linux-ha/ ( 開発者向け ) Pacemaker 情報の公開用として随時情報を更新中です このサイトより Pacemaker リポジトリパッケージがダウンロード可能です 本日の資料 デモ用設定ファイルもこのサイトから公開予定です! Linux-HA Japan Project 5

Linux-HA Japan メーリングリスト 日本における HA クラスタについての活発な意見交換の場として Linux-HA Japan 日本語メーリングリスト も開設しています Linux-HA-Japan ML では Pacemaker Heartbeat3 Corosync DRBD など HA クラスタに関連する話題は歓迎! ML 登録用 URL http://linux-ha.sourceforge.jp/ の メーリングリスト をクリック ML アドレス linux-ha-japan@lists.sourceforge.jp スパム防止のために 登録者以外の投稿は許可制です Linux-HA Japan Project 6

に連載しました! Pacemaker でかんたんクラスタリング 体験してみよう! http://gihyo.jp/admin/serial/01/pacemaker 合計 5 回の連載で Pacemaker の概要説明から構築方法 保守運用にいたるまで紹介しています Linux-HA Japan Project 7

2 本日の Pacemaker デモ環境 Linux-HA Japan Project 8

本日の Pacemaker デモ環境 ハードウェア ノート PC (Core2Duo 2.26MHz メモリ 2G) OS CentOS 5.6 x86_64 HA クラスタ Pacemaker-1.0.11 (7/5 に最新リポジトリパッケージがリリース ) アクティブ / スタンバイの 2 台構成 クラスタ化するアプリケーション PostgreSQL 9.0.4 仮想環境 Xen (CentOS 5.6 同梱版 ) Domain-U は 2 ドメインで構成 各ドメインには CPU 1 メモリ 480M を割り当て Linux-HA Japan Project 9

Pacemaker デモ構成 サービス LAN pm1: アクティブ pm2: スタンバイ demo (Domain-0) pm1 仮想 IP 192.168.0.100 192.168.0.22 eth1 192.168.10.22 eth2 192.168.20.22 インターコネクト LAN1 インターコネクト LAN2 pm1 192.168.0.23 eth1 192.168.10.23 eth2 192.168.20.23 pm2 172.20.24.21 eth3 172.20.24.22 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 172.20.24.23 172.20.24.21 管理用 LAN Linux-HA Japan Project 10

Pacemaker デモ構成 サービス LAN pm1: スタンバイ pm2: アクティブ demo (Domain-0) pm1 192.168.0.22 eth1 192.168.10.22 eth2 192.168.20.22 インターコネクト LAN1 インターコネクト LAN2 pm2 仮想 IP 192.168.0.100 192.168.0.23 eth1 192.168.10.23 eth2 192.168.20.23 pm2 172.20.24.21 eth3 172.20.24.22 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 172.20.24.23 172.20.24.21 管理用 LAN Linux-HA Japan Project 11

Pacemaker デモ機構成 (Xen 仮想 NW) demo (Domain-0) pm1 (Domain-U) eth1 eth2 eth3 xenbr0 ( サービス LAN 用ブリッジ ) pdummy0 xenbr1 ( インターコネクト LAN1 用ブリッジ ) pdummy1 eth1 eth2 eth3 pm2 (Domain-U) xenbr2 ( インターコネクト LAN2 用ブリッジ ) pdummy2 xenbr3 ( 管理 LAN 用ブリッジ ) p dummy0 dummy1 dummy2 Linux-HA Japan Project 12

Pacemaker デモ機構成 (Xen 仮想ディスク ) pm1 (Domain-U) demo (Domain-0) pm2 (Domain-U) /dev/xvda1 (OS 領域 ) /dev/xvda2 (swap) /dev/xvda pm1 OS 領域 /dev/lvm/pm1 pm2 OS 領域 /dev/lvm/pm2 /dev/xvda /dev/xvda1 (OS 領域 ) /dev/xvda2 (swap) /dev/xvdb1 ( 排他制御 ) /dev/xvdb2 (DB 領域 ) /dev/xvdb 共有データ領域 /dev/lvm/shared-disk1 /dev/xvdb /dev/xvdb1 ( 排他制御 ) /dev/xvdb2 (DB 領域 ) Linux-HA Japan Project 13

Pacemaker デモクラスタ制御部設定 /etc/ha.d/ha.cf pacemaker on on debug 0 udpport 694 694 keepalive 2 warntime 7 deadtime 10 10 initdead 48 48 logfacility local1 bcast eth1 eth1 bcast eth2 eth2 node node pm1 pm1 node node pm2 pm2 watchdog /dev/watchdog respawn root root /usr/lib64/heartbeat/ifcheckd クラスタ制御部の基本設定ファイルで クラスタ内の全サーバに同じ内容のファイルを設置します pm_extras をインストールし ifcheckd の設定を追加すればインターコネクト LAN の接続情報等が確認可能になります Linux-HA Japan Project 14

Pacemaker デモリソース構成 これら 4 つのリソースはグループ設定します ディスク排他制御 (sfex) 共有ディスクの排他制御を行います DB データ領域マウント (Filesystem) 共有ディスクにある DB データ領域のマウント制御を行います 仮想 IP 割り当て (IPaddr2) サービス提供用の仮想 IP を割り当てます PostgreSQL 制御 (pgsql) PostgreSQL 9.0.4 の制御を行います Linux-HA Japan Project 15

本日は STONITH のデモも行います STONITH (stonith-helper, xen0, meatclient) STONITH は Shoot The Other Node In The Head の略で監視対象サーバの異常を検出したときに 強制的にそのサーバをダウンさせるノードフェンシングを行います ネットワーク監視 (pingd) 指定した IP アドレスに ping 送信し ネットワーク疎通があるかどうかの監視を行います ディスク監視 (diskd) 指定したディスクデバイスにアクセスし ディスクの正常性確認を行います Linux-HA Japan Project 16

STONITH 実行例 ( スプリットブレイン ) pm1 切断 pm2 Linux-HA Japan Project 17

STONITH 実行例 ( スプリットブレイン ) あいつ死んだな.. リソース起動しよう! あいつ死んだな.. リソース起動しよう! pm1 切断 pm2 Linux-HA Japan Project 18

STONITH 実行例 ( スプリットブレイン ) STONITH pm1 切断 pm2 インターコネクトとは別の通信経路で に対しリセットを実行 Linux-HA Japan Project 19

STONITH 実行例 ( スプリットブレイン ) STONITH pm1 切断 pm2 OS と連動しない から強制電源断 Linux-HA Japan Project 20

STONITH 実行例 ( スプリットブレイン ) STONITH pm1 切断 pm2 OS と連動しない から強制電源断 Linux-HA Japan Project 21

STONITH 実行例 ( リソース停止失敗 ) リソース故障 pm1 pm2 リソース Linux-HA Japan Project 22

STONITH 実行例 ( リソース停止失敗 ) pm1 pm2 停止処理失敗 リソース リソース故障時 フェイルオーバしようとして リソース停止失敗または停止タイムアウト Linux-HA Japan Project 23

STONITH 実行例 ( リソース停止失敗 ) STONITH pm1 pm2 停止処理失敗 リソース Linux-HA Japan Project 24

STONITH 実行例 ( リソース停止失敗 ) STONITH pm1 pm2 リソース Linux-HA Japan Project 25

STONITH 実行例 ( リソース停止失敗 ) STONITH pm1 リソース pm2 リソース STONITH 成功後 リソースがフェイルオーバ Linux-HA Japan Project 26

Pacemaker デモ機フェンシング (STONITH) 構成 demo (Domain-0) pm1 (Domain-U) STONITH eth1 eth2 eth3 xenbr0 ( サービス LAN 用ブリッジ ) pdummy0 xenbr1 ( インターコネクト LAN1 用ブリッジ ) eth1 eth2 eth3 pm2 (Domain-U) pdummy1 xen0 STONITH プラグインを使用し xenbr3 経由で STONITH を実行する xenbr2 ( インターコネクト LAN2 用ブリッジ ) pdummy2 xenbr3 ( 管理 LAN 用ブリッジ ) p dummy0 xm destroy dummy1pm2 dummy2 SSH Linux-HA Japan Project 27

3 crm_mon コマンド を使おう! Linux-HA Japan Project 28

crm_mon とは? crm_mon は Pacemaker が制御しているサーバ状態やリソース状態 インターコネクト LAN ネットワークの状態を確認できるコマンドです # crm_mon Linux-HA Japan Project 29

crm_mon crm_mon 実行例 ============ Last updated: Fri Jul 8 16:47:51 2011 Stack: Heartbeat Current DC: pm2 (7f1b5dcb-e696-414d-8fca-da79274b0a74) - partition with quorum Version: 1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87 2 Nodes configured, unknown expected votes 6 Resources configured. ============ Online: [ pm1 pm2 ] Resource Group: grppg prmex (ocf::heartbeat:sfex): Started pm1 prmfs (ocf::heartbeat:filesystem): Started pm1 prmip (ocf::heartbeat:ipaddr2): Started pm1 prmpg (ocf::heartbeat:pgsql): Started pm1 Resource Group: grpstonith1 prmstonith1-1 (stonith:external/stonith-helper): Started pm2 prmstonith1-2 (stonith:external/xen0): Started pm2 prmstonith1-3 (stonith:meatware): Started pm2 Resource Group: grpstonith2 prmstonith2-1 (stonith:external/stonith-helper): Started pm1 prmstonith2-2 (stonith:external/xen0): Started pm1 prmstonith2-3 (stonith:meatware): Started pm1 Clone Set: clndiskd1 Started: [ pm1 pm2 ] Clone Set: clndiskd2 Started: [ pm1 pm2 ] Clone Set: clnpingd Started: [ pm1 pm2 ] Linux-HA Japan Project 30

crm_mon サーバ状態表示 Pacemaker が稼動しているサーバは Online と表示され 停止しているサーバは OFFLINE と表示されます ============ Last Last updated: Fri Fri Jul Jul 8 16:47:51 2011 2011 Stack: Heartbeat Current DC: DC: pm2 pm2 (7f1b5dcb-e696-414d-8fca-da79274b0a74) - partition with with quorum Version: 1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87 2 Nodes configured, unknown expected votes 6 Resources configured. ============ Online: [ pm1 pm1 pm2 pm2 ] クラスタに組み込まれているサーバ名が表示されます Linux-HA Japan Project 31

crm_mon リソース状態表示 ( サービス系リソース ) Pacemaker が制御しているリソースの状態が表示されます リソース稼動状態と稼働中のサーバ名が Started サーバ名 などと表示されます Resource Group: grppg prmex (ocf::heartbeat:sfex): Started pm1 pm1 prmfs (ocf::heartbeat:filesystem): Started pm1 pm1 prmip (ocf::heartbeat:ipaddr2): Started pm1 pm1 prmpg (ocf::heartbeat:pgsql): Started pm1 pm1 prmex: ディスク排他制御 (sfex) prmfs: DBデータ領域マウント (Filesystem) prmip: 仮想 IP 割り当て (IPaddr2) prmpg: PostgreSQL 制御 (pgsql) Linux-HA Japan Project 32

サービス系リソース 仮想 IP 192.168.0.100 サービス LAN pm1 grppg 192.168.0.22 prmex eth1 192.168.10.22 prmfs eth2 192.168.20.22 prmip インターコネクト LAN1 インターコネクト LAN2 192.168.0.23 eth1 192.168.10.23 eth2 192.168.20.23 pm2 172.20.24.21 prmpg eth3 172.20.24.22 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 172.20.24.23 172.20.24.21 管理用 LAN Linux-HA Japan Project 33

crm_mon リソース状態表示 (STONITH リソース ) サービス系リソースと同様に Started サーバ名 と表示されます Resource Group: grpstonith1 prmstonith1-1 (stonith:external/stonith-helper): Started pm2 pm2 prmstonith1-2 (stonith:external/xen0): Started pm2 pm2 prmstonith1-3 (stonith:meatware): Started pm2 pm2 prmstonith1-1: サーバ断確認 相打防止プラグイン (stonith-helper) prmstonith1-2: Xen 用フェンシングプラグイン (xen0) prmstonith1-3: 停止通知用プラグイン (meatware) このデモでは grpstonith1 は pm1 をフェンシングする STONITH リソースのため pm2 で稼動しているのが確認できます Linux-HA Japan Project 34

STONITH リソース サービス LAN pm1 192.168.0.22 grpstonith2 eth1 192.168.10.22 eth2 192.168.20.22 インターコネクト LAN1 インターコネクト LAN2 192.168.0.23 grpstonith1 eth1 192.168.10.23 eth2 192.168.20.23 pm2 172.20.24.21 eth3 172.20.24.22 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 172.20.24.23 172.20.24.21 管理用 LAN Linux-HA Japan Project 35

crm_mon リソース状態表示 ( 監視系リソース ) ディスク状態監視 ネットワーク状態監視は 両方のサーバで動作させるように Clone で登録します Started: [ pm1 pm2 ] などと表示され, リソース稼動状態と稼働中のサーバ名がわかります Clone Set: Set: clndiskd1 Started: [ pm1 pm1 pm2 pm2 ] Clone Set: Set: clndiskd2 Started: [ pm1 pm1 pm2 pm2 ] Clone Set: Set: clnpingd Started: [ pm1 pm1 pm2 pm2 ] clndiskd1: 共有ディスク監視 (diskd) clndiskd2: 内蔵ディスク監視 (diskd) clnpingd: ネットワーク監視 (pingd) Linux-HA Japan Project 36

監視系リソース ping 監視先 (pdummy0) 192.168.0.21 サービス LAN pm1 clnpingd clndiskd1 192.168.0.22 eth1 192.168.10.22 eth2 192.168.20.22 インターコネクト LAN1 インターコネクト LAN2 192.168.0.23 eth1 192.168.10.23 eth2 192.168.20.23 clnpingd pm2 clndiskd1 clndiskd2 172.20.24.21 eth3 172.20.24.22 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 172.20.24.23 clndiskd2 172.20.24.21 管理用 LAN Linux-HA Japan Project 37

crm_mon -fa オプションを付与すると インターコネクト LAN 等の状況も確認可能です # crm_mon -fa * Node Node pm1: pm1: + default_ping_set : 100 100 + diskcheck_status : normal + diskcheck_status_internal : normal + pm2-eth1 : up up + pm2-eth2 : up up ネットワーク監視の状況ディスク監視の状況 インターコネクトが UP されているのが確認可能 Linux-HA Japan Project 38

4 ログメッセージ制御機能 を使おう! Linux-HA Japan Project 39

ログメッセージ制御機能 pm_logconv-hb 6/6 6/6 に pm_logconv-hb 1.1 1.1 版をリリース Linux-HA Japan でログメッセージ制御機能を提供中! Pacemaker 標準ログ (ha-log) は出力が多くわかりにくいですが pm_logconv-hb を使用すると 運用上必要なログだけを出力することができます さらにフェイルオーバが発生した際に Start Fail-over のログが出力されるようになります クラスタ制御部が Heartbeat3 である必要性があります (Corosync は未対応です ) Linux-HA Japan Project 40

pm_logconv-hb インストール リポジトリパッケージから yum コマンドで pacemaker インストールの際に pm_logconv-hb も指定してインストールします # cd cd /tmp # tar tar zxvf pacemaker-1.0.11-1.2.1.el5.x86_64.repo.tar.gz # cd cd /tmp/pacemaker-1.0.11-1.2.1.el5.x86_64.repo/ # yum c c pacemaker.repo install pacemaker pm_crmgen pm_diskd pm_logconv-hb pm_extras pm_crmgen-1.1-1.el5.noarch.rpm crm 用設定ファイル編集ツール pm_diskd-1.0-1.el5.x86_64.rpm ディスク監視アプリとRA pm_logconv-hb-1.1-1.el5.noarch.rpm ログメッセージ制御機能 pm_extras-1.1-1.el5.x86_64.rpm その他オリジナル RA 等 Linux-HA Japan Project 41

pm_logconv-hb 動作設定 /etc/pm_logconv.conf 変換元のログファイル名を指定 [Settings] 変換後のログ ha_log_path = /var/log/ha-log ファイル名を指定 output_path = /var/log/pm_logconv.out #hostcache_path = /var/lib/heartbeat/hostcache #syslogformat = True True #reset_interval = 60 60 attribute_pingd = not_defined default_ping_set or or default_ping_set lt lt 100 100 attribute_diskd = not_defined diskcheck_status or or diskcheck_status eq eq ERROR attribute_diskd_inner = not_defined diskcheck_status_internal or or diskcheck_status_internal eq eq ERROR #logconv_logfacility = daemon サービスリソースの最上位と act_rsc = prmex, prmpg 最下位のリソース ID IDを設定 Linux-HA Japan Project 42

pm_logconv-hb 起動設定 inittab に pm_logconv-hb 起動設定を追加し respawn で起動させます /etc/inittab ( 省略 ) : logc:2345:respawn:/usr/share/pacemaker/pm_logconv/pm_logconv.py Linux-HA Japan Project 43

pm_logconv-hb ログ変換例 (PostgreSQL 起動時 ) /var/log/ha-log Jul 11 18:53:34 pm1 crmd: [1996]: info: do_lrm_rsc_op: Performing key=18:14:0:54ec38e9-bfac-4b29-9256-a9b9587456c6 Jul 11 18:53:34 pm1 crmd: [1996]: info: do_lrm_rsc_op: Performing key=18:14:0:54ec38e9-bfac-4b29-9256-a9b9587456c6 op=prmpg_start_0 ) op=prmpg_start_0 ) Jul 11 18:53:34 pm1 lrmd: [1993]: info: rsc:prmpg:63: start Jul 11 18:53:34 pm1 lrmd: [1993]: info: rsc:prmpg:63: start Jul 11 18:53:34 pm1 crmd: [1996]: info: process_lrm_event: LRM operation prmip_monitor_10000 (call=62, rc=0, cib-update=68, Jul 11 18:53:34 pm1 crmd: [1996]: info: process_lrm_event: LRM operation prmip_monitor_10000 (call=62, rc=0, cib-update=68, confirmed=false) ok confirmed=false) ok Jul 11 18:53:35 pm1 pgsql[19130]: INFO: server starting Jul 11 18:53:35 pm1 pgsql[19130]: INFO: server starting Jul 11 18:53:35 pm1 pgsql[19130]: INFO: PostgreSQL start command sent. Jul 11 18:53:35 pm1 pgsql[19130]: INFO: PostgreSQL start command sent. Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: psql: could not connect to server: No such file or directory Is the server Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: psql: could not connect to server: No such file or directory Is the server running locally and accepting connections on Unix domain socket "/tmp/.s.pgsql.5432"? running locally and accepting connections on Unix domain socket "/tmp/.s.pgsql.5432"? Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: PostgreSQL template1 isn't running Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: PostgreSQL template1 isn't running Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: Connection error (connection to the server went bad and the session was not Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: Connection error (connection to the server went bad and the session was not interactive) occurred while executing the psql command. interactive) occurred while executing the psql command. Jul 11 18:53:37 pm1 pgsql[19130]: INFO: PostgreSQL is started. Jul 11 18:53:37 pm1 pgsql[19130]: INFO: PostgreSQL is started. Jul 11 18:53:37 pm1 crmd: [1996]: info: process_lrm_event: LRM operation prmpg_start_0 (call=63, rc=0, cib-update=69, Jul 11 18:53:37 pm1 crmd: [1996]: info: process_lrm_event: LRM operation prmpg_start_0 (call=63, rc=0, cib-update=69, confirmed=true) ok confirmed=true) ok /var/log/pm_logconv.out 運用上必要なログだけを出力 Jul Jul 11 11 18:53:34 pm1 pm1 info: Resource prmpg tries to to start. Jul Jul 11 11 18:53:37 pm1 pm1 info: Resource prmpg started. (rc=0) Linux-HA Japan Project 44

pm_logconv-hb フェイルオーバ時のログ出力例 /var/log/pm_logconv.out Jul Jul 11 11 19:02:15 pm2 pm2 ERROR: Start to to fail-over. Jul Jul 11 11 19:02:23 pm2 pm2 info: Resource prmex tries to to start. Jul Jul 11 11 19:02:24 pm2 pm2 info: Resource prmex started. (rc=0) Jul Jul 11 11 19:02:24 pm2 pm2 info: Resource prmfs tries to to start. Jul Jul 11 11 19:02:24 pm2 pm2 info: Resource prmfs started. (rc=0) Jul Jul 11 11 19:02:24 pm2 pm2 info: Resource prmip tries to to start. Jul Jul 11 11 19:02:24 pm2 pm2 info: Resource prmip started. (rc=0) Jul Jul 11 11 19:02:24 pm2 pm2 info: Resource prmpg tries to to start. Jul Jul 11 11 19:02:26 pm2 pm2 info: Resource prmpg started. (rc=0) Jul Jul 11 11 19:02:26 pm2 pm2 info: Resource prmex : Move Move pm1 pm1 -> -> pm2 pm2 Jul Jul 11 11 19:02:26 pm2 pm2 info: Resource prmpg : Move Move pm1 pm1 -> -> pm2 pm2 Jul Jul 11 11 19:02:26 pm2 pm2 info: fail-over succeeded. fail-overのログは DCノード側のみ出力されます Linux-HA Japan Project 45

5 いろいろデモします! Linux-HA Japan Project 46

リソース設定して demo(domain-0) PostgreSQL に接続してみる demo# pgsql -U postgres -h 192.168.0.100 -c SELECT now(); デモ 1 サービス LAN DC pm1 仮想 IP 192.168.0.100 192.168.0.22 eth1 192.168.10.22 eth2 192.168.20.22 インターコネクト LAN1 インターコネクト LAN2 192.168.0.23 eth1 192.168.10.23 eth2 192.168.20.23 pm2 172.20.24.21 eth3 172.20.24.22 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 172.20.24.23 172.20.24.21 管理用 LAN Linux-HA Japan Project 47

サービス LAN 故障させてみる ping 監視先 (pdummy0) 192.168.0.21 デモ 2 仮想 IP 192.168.0.100 pm1 clnpingd 故障 eth1 eth2 サービス LAN インターコネクト LAN1 インターコネクト LAN2 擬似 LAN 断故障 pm1# iptables -A INPUT -i DC -j DROP eth1 eth2 clnpingd pm2 eth3 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 管理用 LAN Linux-HA Japan Project 48

# crm_mon -fa -fa ~ 省略 ~ Node Attributes: * Node pm1: + default_ping_set : 0 : Connectivity is lost + diskcheck_status : normal + diskcheck_status_internal : normal サービス LAN 故障を表示 Linux-HA Japan Project 49

リソースグループ移動させてみる # crm resource move grppg pm1 force # crm resource unmove grppg デモ 3 pm1 eth1 eth2 eth3 サービス LAN インターコネクト LAN1 リソースグループ移動 インターコネクト LAN2 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 仮想 IP 192.168.0.100 grppg eth1 192.168.10.23 prmex eth2 prmfs 192.168.20.23 prmip eth3 prmpg 172.20.24.23 DC pm2 管理用 LAN Linux-HA Japan Project 50

リソース故障させてみる デモ 4 擬似故障 # kill -9 postgresql 親プロセス サービス LAN DC 仮想 IP 192.168.0.100 pm1 故障 eth1 eth2 インターコネクト LAN1 インターコネクト LAN2 フェイルオーバ eth1 eth2 pm2 eth3 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 管理用 LAN Linux-HA Japan Project 51

# crm_mon -fa -fa ~ 省略 ~ Online: [ pm1 pm2 ] Resource Group: grppg prmex (ocf::heartbeat:sfex): Started pm1 prmfs (ocf::heartbeat:filesystem): Started pm1 prmip (ocf::heartbeat:ipaddr2): Started pm1 prmpg (ocf::heartbeat:pgsql): Started pm1 FAILED 故障検出を表示 Linux-HA Japan Project 52

この状態で リソースグループ移動させてみる # crm resource move grppg pm1 force デモ 5 pm1 フェイルカウント eth1 eth2 eth3 サービス LAN インターコネクト LAN1 リソースグループ移動インターコネクトLAN2 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 仮想 IP 192.168.0.100 grppg eth1 192.168.10.23 prmex eth2 prmfs 192.168.20.23 prmip eth3 prmpg 172.20.24.23 DC pm2 管理用 LAN Linux-HA Japan Project 53

切り替わらないのは ミスではありません! Linux-HA Japan Project 54

フェイルカウントがカウントアップされているため クリアしなければ切り替わりません # crm_mon -fa ============ ~ 省略省略 ~ ============ Migration summary: * Node Node pm1: pm1: prmpg: migration-threshold=1 fail-count=1 * Node Node pm2: pm2: Failed actions: prmpg_monitor_10000 (node=pm1, call=34, rc=7, status=complete): not not running Linux-HA Japan Project 55

フェイルカウントをクリアしてみる # crm resource cleanup prmpg pm1 # crm resource unmove grppg デモ 6 サービス LAN DC 仮想 IP 192.168.0.100 pm1 フェイルカウント クリア grppg eth1 prmex eth2 prmfs prmip eth3 prmpg インターコネクト LAN1 インターコネクト LAN2 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth1 eth2 eth3 pm2 管理用 LAN Linux-HA Japan Project 56

リソース故障時 停止タイムアウト デモ 7 pm1 擬似故障 # kill -9 postgresql 親プロセス 故障 仮想 IP 192.168.0.100 eth1 eth2 サービス LAN インターコネクト LAN1 インターコネクト LAN2 タイムアウト擬似のための仕掛けは次ページ eth1 eth2 DC pm2 STONITH 停止タイムアウト eth3 排他制御領域 /dev/xvdb1 フェイルオーバ DB 領域失敗 /dev/xvdb2!? 管理用 LAN eth3 Linux-HA Japan Project 57

停止タイムアウトデモのために こんな仕掛けします 1. pgsql リソースエージェントの stop 制御部に sleep 60 をわざと入れます /usr/lib/ocf/resource.d/heartbeat/pgsql 381 #pgsql_stop: Stop PostgreSQL 382 pgsql_stop() { 383 local rc 384 sleep 60 385 if! pgsql_status 386 then 387 #Already stopped 388 return $OCF_SUCCESS 389 fi Linux-HA Japan Project 58

2. crm コマンドで prmpg のストップタイムアウトを 60s から 20s に変更します # crm configure edit 初期構築後 値を変更したい場合に便利です primitive prmpg ocf:heartbeat:pgsql \ params pgctl="/usr/pgsql-9.0/bin/pg_ctl" start_opt="-p 5432 -h -h 192.168.0.100" psql="/usr/pgsql-9.0/bin/psql" pgdata="/var/lib/pgsql/9.0/data" pgdba="postgres" pgport="5432" pgdb="template1" \ op op start interval="0s" timeout="60s" on-fail="restart" \ op op monitor interval="10s" timeout="60s" onfail="restart" \ op op stop interval="0s" timeout="20s" on-fail="fence" on- Linux-HA Japan Project 59

# crm_mon -fa Migration summary: * Node pm1: prmpg: migration-threshold=1 fail-count=1 * Node pm2: Failed actions: prmpg_monitor_10000 (node=pm1, call=34, rc=7, status=complete): not running prmpg_stop_0 (node=pm1, call=35, rc=-2, status=timed Out): unknown exec error ストップタイムアウト状態を表示 Linux-HA Japan Project 60

スプリットブレイン 擬似故障 # ifdown eth1 # ifdown eth2 デモ 8 サービス LAN DC 仮想 IP 192.168.0.100 pm1 eth1 eth2 インターコネクト LAN1 故障 インターコネクト LAN2 eth1 eth2 pm2 eth3 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 STONITH 管理用 LAN Linux-HA Japan Project 61