Pacemakerでかんたんクラスタリング体験してみよう

Size: px

Start display at page:

Download "Pacemakerでかんたんクラスタリング体験してみよう"

ひできみつだ
4 years ago
Views:

1 Pacemaker でかんたんクラスタリング体験してみよう! ~ 仮想環境で運用デモしますよ編 ~ 2011 年 7 月 16 日 OSC2011 Kansai@Kyoto Linux-HA Japan プロジェクト田中崇幸 Linux-HA Japan Project 1

自己紹介名前 : 田中崇幸 (Takayuki Tanaka) Twitter: @tanakacchi21 所属 : Linux-HA Japan プロジェクトコミュニティ旗揚時のメンバー Pacemaker

2 自己紹介名前 : 田中崇幸 (Takayuki Tanaka) 所属 : Linux-HA Japan プロジェクトコミュニティ旗揚時のメンバー Pacemaker 普及促進のため OSC での講演で全国行脚中趣味 : マラソン念願のサブスリーを達成したばかりの市民マラソンランナー 8 月 : 北海道マラソン 10 月 : 大阪マラソン出場予定 Linux-HA Japan Project 2

3 本日のお話 1 Linux-HA Japanについて 2 本日のPacemakerデモ環境 3 crm_monを使おう! 4 ログメッセージ制御機能を使おう! 5 いろいろデモします! Linux-HA Japan Project 3

4 1 Linux-HA Japan について Linux-HA Japan Project 4

Linux-HA Japan URL http://linux-ha.sourceforge.jp/ ( 一般向け ) http://sourceforge.

5 Linux-HA Japan URL ( 一般向け ) ( 開発者向け ) Pacemaker 情報の公開用として随時情報を更新中ですこのサイトより Pacemaker リポジトリパッケージがダウンロード可能です本日の資料デモ用設定ファイルもこのサイトから公開予定です! Linux-HA Japan Project 5

Linux-HA Japan メーリングリスト日本における HA クラスタについての活発な意見交換の場として Linux-HA Japan 日本語メーリングリストも開設しています Linux-HA-Japan ML では Pacemaker Heartbeat3 Corosync DRBD など HA

6 Linux-HA Japan メーリングリスト日本における HA クラスタについての活発な意見交換の場として Linux-HA Japan 日本語メーリングリストも開設しています Linux-HA-Japan ML では Pacemaker Heartbeat3 Corosync DRBD など HA クラスタに関連する話題は歓迎! ML 登録用 URL のメーリングリストをクリック ML アドレススパム防止のために登録者以外の投稿は許可制です Linux-HA Japan Project 6

7 に連載しました! Pacemaker でかんたんクラスタリング体験してみよう! 合計 5 回の連載で Pacemaker の概要説明から構築方法保守運用にいたるまで紹介しています Linux-HA Japan Project 7

8 2 本日の Pacemaker デモ環境 Linux-HA Japan Project 8

9 本日の Pacemaker デモ環境ハードウェアノート PC (Core2Duo 2.26MHz メモリ 2G) OS CentOS 5.6 x86_64 HA クラスタ Pacemaker (7/5 に最新リポジトリパッケージがリリース ) アクティブ / スタンバイの 2 台構成クラスタ化するアプリケーション PostgreSQL 仮想環境 Xen (CentOS 5.6 同梱版 ) Domain-U は 2 ドメインで構成各ドメインには CPU 1 メモリ 480M を割り当て Linux-HA Japan Project 9

10 Pacemaker デモ構成サービス LAN pm1: アクティブ pm2: スタンバイ demo (Domain-0) pm1 仮想 IP eth eth インターコネクト LAN1 インターコネクト LAN2 pm eth eth pm eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth 管理用 LAN Linux-HA Japan Project 10

11 Pacemaker デモ構成サービス LAN pm1: スタンバイ pm2: アクティブ demo (Domain-0) pm eth eth インターコネクト LAN1 インターコネクト LAN2 pm2 仮想 IP eth eth pm eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth 管理用 LAN Linux-HA Japan Project 11

12 Pacemaker デモ機構成 (Xen 仮想 NW) demo (Domain-0) pm1 (Domain-U) eth1 eth2 eth3 xenbr0 ( サービス LAN 用ブリッジ ) pdummy0 xenbr1 ( インターコネクト LAN1 用ブリッジ ) pdummy1 eth1 eth2 eth3 pm2 (Domain-U) xenbr2 ( インターコネクト LAN2 用ブリッジ ) pdummy2 xenbr3 ( 管理 LAN 用ブリッジ ) p dummy0 dummy1 dummy2 Linux-HA Japan Project 12

13 Pacemaker デモ機構成 (Xen 仮想ディスク ) pm1 (Domain-U) demo (Domain-0) pm2 (Domain-U) /dev/xvda1 (OS 領域 ) /dev/xvda2 (swap) /dev/xvda pm1 OS 領域 /dev/lvm/pm1 pm2 OS 領域 /dev/lvm/pm2 /dev/xvda /dev/xvda1 (OS 領域 ) /dev/xvda2 (swap) /dev/xvdb1 ( 排他制御 ) /dev/xvdb2 (DB 領域 ) /dev/xvdb 共有データ領域 /dev/lvm/shared-disk1 /dev/xvdb /dev/xvdb1 ( 排他制御 ) /dev/xvdb2 (DB 領域 ) Linux-HA Japan Project 13

14 Pacemaker デモクラスタ制御部設定 /etc/ha.d/ha.cf pacemaker on on debug 0 udpport keepalive 2 warntime 7 deadtime initdead logfacility local1 bcast eth1 eth1 bcast eth2 eth2 node node pm1 pm1 node node pm2 pm2 watchdog /dev/watchdog respawn root root /usr/lib64/heartbeat/ifcheckd クラスタ制御部の基本設定ファイルでクラスタ内の全サーバに同じ内容のファイルを設置します pm_extras をインストールし ifcheckd の設定を追加すればインターコネクト LAN の接続情報等が確認可能になります Linux-HA Japan Project 14

15 Pacemaker デモリソース構成これら 4 つのリソースはグループ設定しますディスク排他制御 (sfex) 共有ディスクの排他制御を行います DB データ領域マウント (Filesystem) 共有ディスクにある DB データ領域のマウント制御を行います仮想 IP 割り当て (IPaddr2) サービス提供用の仮想 IP を割り当てます PostgreSQL 制御 (pgsql) PostgreSQL の制御を行います Linux-HA Japan Project 15

16 本日は STONITH のデモも行います STONITH (stonith-helper, xen0, meatclient) STONITH は Shoot The Other Node In The Head の略で監視対象サーバの異常を検出したときに強制的にそのサーバをダウンさせるノードフェンシングを行いますネットワーク監視 (pingd) 指定した IP アドレスに ping 送信しネットワーク疎通があるかどうかの監視を行いますディスク監視 (diskd) 指定したディスクデバイスにアクセスしディスクの正常性確認を行います Linux-HA Japan Project 16

17 STONITH 実行例 ( スプリットブレイン ) pm1 切断 pm2 Linux-HA Japan Project 17

18 STONITH 実行例 ( スプリットブレイン ) あいつ死んだな.. リソース起動しよう! あいつ死んだな.. リソース起動しよう! pm1 切断 pm2 Linux-HA Japan Project 18

19 STONITH 実行例 ( スプリットブレイン ) STONITH pm1 切断 pm2 インターコネクトとは別の通信経路でに対しリセットを実行 Linux-HA Japan Project 19

20 STONITH 実行例 ( スプリットブレイン ) STONITH pm1 切断 pm2 OS と連動しないから強制電源断 Linux-HA Japan Project 20

21 STONITH 実行例 ( スプリットブレイン ) STONITH pm1 切断 pm2 OS と連動しないから強制電源断 Linux-HA Japan Project 21

22 STONITH 実行例 ( リソース停止失敗 ) リソース故障 pm1 pm2 リソース Linux-HA Japan Project 22

23 STONITH 実行例 ( リソース停止失敗 ) pm1 pm2 停止処理失敗リソースリソース故障時フェイルオーバしようとしてリソース停止失敗または停止タイムアウト Linux-HA Japan Project 23

24 STONITH 実行例 ( リソース停止失敗 ) STONITH pm1 pm2 停止処理失敗リソース Linux-HA Japan Project 24

25 STONITH 実行例 ( リソース停止失敗 ) STONITH pm1 pm2 リソース Linux-HA Japan Project 25

26 STONITH 実行例 ( リソース停止失敗 ) STONITH pm1 リソース pm2 リソース STONITH 成功後リソースがフェイルオーバ Linux-HA Japan Project 26

27 Pacemaker デモ機フェンシング (STONITH) 構成 demo (Domain-0) pm1 (Domain-U) STONITH eth1 eth2 eth3 xenbr0 ( サービス LAN 用ブリッジ ) pdummy0 xenbr1 ( インターコネクト LAN1 用ブリッジ ) eth1 eth2 eth3 pm2 (Domain-U) pdummy1 xen0 STONITH プラグインを使用し xenbr3 経由で STONITH を実行する xenbr2 ( インターコネクト LAN2 用ブリッジ ) pdummy2 xenbr3 ( 管理 LAN 用ブリッジ ) p dummy0 xm destroy dummy1pm2 dummy2 SSH Linux-HA Japan Project 27

28 3 crm_mon コマンドを使おう! Linux-HA Japan Project 28

29 crm_mon とは? crm_mon は Pacemaker が制御しているサーバ状態やリソース状態インターコネクト LAN ネットワークの状態を確認できるコマンドです # crm_mon Linux-HA Japan Project 29

30 crm_mon crm_mon 実行例 ============ Last updated: Fri Jul 8 16:47: Stack: Heartbeat Current DC: pm2 (7f1b5dcb-e d-8fca-da79274b0a74) - partition with quorum Version: a83db0d3c3e546cfd3aaff6af1184f79ee87 2 Nodes configured, unknown expected votes 6 Resources configured. ============ Online: [ pm1 pm2 ] Resource Group: grppg prmex (ocf::heartbeat:sfex): Started pm1 prmfs (ocf::heartbeat:filesystem): Started pm1 prmip (ocf::heartbeat:ipaddr2): Started pm1 prmpg (ocf::heartbeat:pgsql): Started pm1 Resource Group: grpstonith1 prmstonith1-1 (stonith:external/stonith-helper): Started pm2 prmstonith1-2 (stonith:external/xen0): Started pm2 prmstonith1-3 (stonith:meatware): Started pm2 Resource Group: grpstonith2 prmstonith2-1 (stonith:external/stonith-helper): Started pm1 prmstonith2-2 (stonith:external/xen0): Started pm1 prmstonith2-3 (stonith:meatware): Started pm1 Clone Set: clndiskd1 Started: [ pm1 pm2 ] Clone Set: clndiskd2 Started: [ pm1 pm2 ] Clone Set: clnpingd Started: [ pm1 pm2 ] Linux-HA Japan Project 30

31 crm_mon サーバ状態表示 Pacemaker が稼動しているサーバは Online と表示され停止しているサーバは OFFLINE と表示されます ============ Last Last updated: Fri Fri Jul Jul 8 16:47: Stack: Heartbeat Current DC: DC: pm2 pm2 (7f1b5dcb-e d-8fca-da79274b0a74) - partition with with quorum Version: a83db0d3c3e546cfd3aaff6af1184f79ee87 2 Nodes configured, unknown expected votes 6 Resources configured. ============ Online: [ pm1 pm1 pm2 pm2 ] クラスタに組み込まれているサーバ名が表示されます Linux-HA Japan Project 31

32 crm_mon リソース状態表示 ( サービス系リソース ) Pacemaker が制御しているリソースの状態が表示されますリソース稼動状態と稼働中のサーバ名が Started サーバ名などと表示されます Resource Group: grppg prmex (ocf::heartbeat:sfex): Started pm1 pm1 prmfs (ocf::heartbeat:filesystem): Started pm1 pm1 prmip (ocf::heartbeat:ipaddr2): Started pm1 pm1 prmpg (ocf::heartbeat:pgsql): Started pm1 pm1 prmex: ディスク排他制御 (sfex) prmfs: DBデータ領域マウント (Filesystem) prmip: 仮想 IP 割り当て (IPaddr2) prmpg: PostgreSQL 制御 (pgsql) Linux-HA Japan Project 32

33 サービス系リソース仮想 IP サービス LAN pm1 grppg prmex eth prmfs eth prmip インターコネクト LAN1 インターコネクト LAN eth eth pm prmpg eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth 管理用 LAN Linux-HA Japan Project 33

34 crm_mon リソース状態表示 (STONITH リソース ) サービス系リソースと同様に Started サーバ名と表示されます Resource Group: grpstonith1 prmstonith1-1 (stonith:external/stonith-helper): Started pm2 pm2 prmstonith1-2 (stonith:external/xen0): Started pm2 pm2 prmstonith1-3 (stonith:meatware): Started pm2 pm2 prmstonith1-1: サーバ断確認相打防止プラグイン (stonith-helper) prmstonith1-2: Xen 用フェンシングプラグイン (xen0) prmstonith1-3: 停止通知用プラグイン (meatware) このデモでは grpstonith1 は pm1 をフェンシングする STONITH リソースのため pm2 で稼動しているのが確認できます Linux-HA Japan Project 34

35 STONITH リソースサービス LAN pm grpstonith2 eth eth インターコネクト LAN1 インターコネクト LAN grpstonith1 eth eth pm eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth 管理用 LAN Linux-HA Japan Project 35

36 crm_mon リソース状態表示 ( 監視系リソース ) ディスク状態監視ネットワーク状態監視は両方のサーバで動作させるように Clone で登録します Started: [ pm1 pm2 ] などと表示され, リソース稼動状態と稼働中のサーバ名がわかります Clone Set: Set: clndiskd1 Started: [ pm1 pm1 pm2 pm2 ] Clone Set: Set: clndiskd2 Started: [ pm1 pm1 pm2 pm2 ] Clone Set: Set: clnpingd Started: [ pm1 pm1 pm2 pm2 ] clndiskd1: 共有ディスク監視 (diskd) clndiskd2: 内蔵ディスク監視 (diskd) clnpingd: ネットワーク監視 (pingd) Linux-HA Japan Project 36

37 監視系リソース ping 監視先 (pdummy0) サービス LAN pm1 clnpingd clndiskd eth eth インターコネクト LAN1 インターコネクト LAN eth eth clnpingd pm2 clndiskd1 clndiskd eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth clndiskd 管理用 LAN Linux-HA Japan Project 37

38 crm_mon -fa オプションを付与するとインターコネクト LAN 等の状況も確認可能です # crm_mon -fa * Node Node pm1: pm1: + default_ping_set : diskcheck_status : normal + diskcheck_status_internal : normal + pm2-eth1 : up up + pm2-eth2 : up up ネットワーク監視の状況ディスク監視の状況インターコネクトが UP されているのが確認可能 Linux-HA Japan Project 38

39 4 ログメッセージ制御機能を使おう! Linux-HA Japan Project 39

40 ログメッセージ制御機能 pm_logconv-hb 6/6 6/6 に pm_logconv-hb 版をリリース Linux-HA Japan でログメッセージ制御機能を提供中! Pacemaker 標準ログ (ha-log) は出力が多くわかりにくいですが pm_logconv-hb を使用すると運用上必要なログだけを出力することができますさらにフェイルオーバが発生した際に Start Fail-over のログが出力されるようになりますクラスタ制御部が Heartbeat3 である必要性があります (Corosync は未対応です ) Linux-HA Japan Project 40

41 pm_logconv-hb インストールリポジトリパッケージから yum コマンドで pacemaker インストールの際に pm_logconv-hb も指定してインストールします # cd cd /tmp # tar tar zxvf pacemaker el5.x86_64.repo.tar.gz # cd cd /tmp/pacemaker el5.x86_64.repo/ # yum c c pacemaker.repo install pacemaker pm_crmgen pm_diskd pm_logconv-hb pm_extras pm_crmgen el5.noarch.rpm crm 用設定ファイル編集ツール pm_diskd el5.x86_64.rpm ディスク監視アプリとRA pm_logconv-hb el5.noarch.rpm ログメッセージ制御機能 pm_extras el5.x86_64.rpm その他オリジナル RA 等 Linux-HA Japan Project 41

42 pm_logconv-hb 動作設定 /etc/pm_logconv.conf 変換元のログファイル名を指定 [Settings] 変換後のログ ha_log_path = /var/log/ha-log ファイル名を指定 output_path = /var/log/pm_logconv.out #hostcache_path = /var/lib/heartbeat/hostcache #syslogformat = True True #reset_interval = attribute_pingd = not_defined default_ping_set or or default_ping_set lt lt attribute_diskd = not_defined diskcheck_status or or diskcheck_status eq eq ERROR attribute_diskd_inner = not_defined diskcheck_status_internal or or diskcheck_status_internal eq eq ERROR #logconv_logfacility = daemon サービスリソースの最上位と act_rsc = prmex, prmpg 最下位のリソース ID IDを設定 Linux-HA Japan Project 42

43 pm_logconv-hb 起動設定 inittab に pm_logconv-hb 起動設定を追加し respawn で起動させます /etc/inittab ( 省略 ) : logc:2345:respawn:/usr/share/pacemaker/pm_logconv/pm_logconv.py Linux-HA Japan Project 43

44 pm_logconv-hb ログ変換例 (PostgreSQL 起動時 ) /var/log/ha-log Jul 11 18:53:34 pm1 crmd: [1996]: info: do_lrm_rsc_op: Performing key=18:14:0:54ec38e9-bfac-4b a9b c6 Jul 11 18:53:34 pm1 crmd: [1996]: info: do_lrm_rsc_op: Performing key=18:14:0:54ec38e9-bfac-4b a9b c6 op=prmpg_start_0 ) op=prmpg_start_0 ) Jul 11 18:53:34 pm1 lrmd: [1993]: info: rsc:prmpg:63: start Jul 11 18:53:34 pm1 lrmd: [1993]: info: rsc:prmpg:63: start Jul 11 18:53:34 pm1 crmd: [1996]: info: process_lrm_event: LRM operation prmip_monitor_10000 (call=62, rc=0, cib-update=68, Jul 11 18:53:34 pm1 crmd: [1996]: info: process_lrm_event: LRM operation prmip_monitor_10000 (call=62, rc=0, cib-update=68, confirmed=false) ok confirmed=false) ok Jul 11 18:53:35 pm1 pgsql[19130]: INFO: server starting Jul 11 18:53:35 pm1 pgsql[19130]: INFO: server starting Jul 11 18:53:35 pm1 pgsql[19130]: INFO: PostgreSQL start command sent. Jul 11 18:53:35 pm1 pgsql[19130]: INFO: PostgreSQL start command sent. Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: psql: could not connect to server: No such file or directory Is the server Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: psql: could not connect to server: No such file or directory Is the server running locally and accepting connections on Unix domain socket "/tmp/.s.pgsql.5432"? running locally and accepting connections on Unix domain socket "/tmp/.s.pgsql.5432"? Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: PostgreSQL template1 isn't running Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: PostgreSQL template1 isn't running Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: Connection error (connection to the server went bad and the session was not Jul 11 18:53:35 pm1 pgsql[19130]: WARNING: Connection error (connection to the server went bad and the session was not interactive) occurred while executing the psql command. interactive) occurred while executing the psql command. Jul 11 18:53:37 pm1 pgsql[19130]: INFO: PostgreSQL is started. Jul 11 18:53:37 pm1 pgsql[19130]: INFO: PostgreSQL is started. Jul 11 18:53:37 pm1 crmd: [1996]: info: process_lrm_event: LRM operation prmpg_start_0 (call=63, rc=0, cib-update=69, Jul 11 18:53:37 pm1 crmd: [1996]: info: process_lrm_event: LRM operation prmpg_start_0 (call=63, rc=0, cib-update=69, confirmed=true) ok confirmed=true) ok /var/log/pm_logconv.out 運用上必要なログだけを出力 Jul Jul :53:34 pm1 pm1 info: Resource prmpg tries to to start. Jul Jul :53:37 pm1 pm1 info: Resource prmpg started. (rc=0) Linux-HA Japan Project 44

45 pm_logconv-hb フェイルオーバ時のログ出力例 /var/log/pm_logconv.out Jul Jul :02:15 pm2 pm2 ERROR: Start to to fail-over. Jul Jul :02:23 pm2 pm2 info: Resource prmex tries to to start. Jul Jul :02:24 pm2 pm2 info: Resource prmex started. (rc=0) Jul Jul :02:24 pm2 pm2 info: Resource prmfs tries to to start. Jul Jul :02:24 pm2 pm2 info: Resource prmfs started. (rc=0) Jul Jul :02:24 pm2 pm2 info: Resource prmip tries to to start. Jul Jul :02:24 pm2 pm2 info: Resource prmip started. (rc=0) Jul Jul :02:24 pm2 pm2 info: Resource prmpg tries to to start. Jul Jul :02:26 pm2 pm2 info: Resource prmpg started. (rc=0) Jul Jul :02:26 pm2 pm2 info: Resource prmex : Move Move pm1 pm1 -> -> pm2 pm2 Jul Jul :02:26 pm2 pm2 info: Resource prmpg : Move Move pm1 pm1 -> -> pm2 pm2 Jul Jul :02:26 pm2 pm2 info: fail-over succeeded. fail-overのログは DCノード側のみ出力されます Linux-HA Japan Project 45

46 5 いろいろデモします! Linux-HA Japan Project 46

リソース設定して demo(domain-0) PostgreSQL に接続してみる demo# pgsql -U postgres -h 192.168.0.100 -c SELECT now(); デモ 1 サービス LAN DC pm1 仮想 IP 192.

168.10.23 eth2 192.168.20.23 pm2 172.20.24.21 eth3 172.20.24.22 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 172.

47 リソース設定して demo(domain-0) PostgreSQL に接続してみる demo# pgsql -U postgres -h c SELECT now(); デモ 1 サービス LAN DC pm1 仮想 IP eth eth インターコネクト LAN1 インターコネクト LAN eth eth pm eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth 管理用 LAN Linux-HA Japan Project 47

48 サービス LAN 故障させてみる ping 監視先 (pdummy0) デモ 2 仮想 IP pm1 clnpingd 故障 eth1 eth2 サービス LAN インターコネクト LAN1 インターコネクト LAN2 擬似 LAN 断故障 pm1# iptables -A INPUT -i DC -j DROP eth1 eth2 clnpingd pm2 eth3 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 管理用 LAN Linux-HA Japan Project 48

49 # crm_mon -fa -fa ~ 省略 ~ Node Attributes: * Node pm1: + default_ping_set : 0 : Connectivity is lost + diskcheck_status : normal + diskcheck_status_internal : normal サービス LAN 故障を表示 Linux-HA Japan Project 49

50 リソースグループ移動させてみる # crm resource move grppg pm1 force # crm resource unmove grppg デモ 3 pm1 eth1 eth2 eth3 サービス LAN インターコネクト LAN1 リソースグループ移動インターコネクト LAN2 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 仮想 IP grppg eth prmex eth2 prmfs prmip eth3 prmpg DC pm2 管理用 LAN Linux-HA Japan Project 50

51 リソース故障させてみるデモ 4 擬似故障 # kill -9 postgresql 親プロセスサービス LAN DC 仮想 IP pm1 故障 eth1 eth2 インターコネクト LAN1 インターコネクト LAN2 フェイルオーバ eth1 eth2 pm2 eth3 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 管理用 LAN Linux-HA Japan Project 51

52 # crm_mon -fa -fa ~ 省略 ~ Online: [ pm1 pm2 ] Resource Group: grppg prmex (ocf::heartbeat:sfex): Started pm1 prmfs (ocf::heartbeat:filesystem): Started pm1 prmip (ocf::heartbeat:ipaddr2): Started pm1 prmpg (ocf::heartbeat:pgsql): Started pm1 FAILED 故障検出を表示 Linux-HA Japan Project 52

53 この状態でリソースグループ移動させてみる # crm resource move grppg pm1 force デモ 5 pm1 フェイルカウント eth1 eth2 eth3 サービス LAN インターコネクト LAN1 リソースグループ移動インターコネクトLAN2 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 仮想 IP grppg eth prmex eth2 prmfs prmip eth3 prmpg DC pm2 管理用 LAN Linux-HA Japan Project 53

54 切り替わらないのはミスではありません! Linux-HA Japan Project 54

55 フェイルカウントがカウントアップされているためクリアしなければ切り替わりません # crm_mon -fa ============ ~ 省略省略 ~ ============ Migration summary: * Node Node pm1: pm1: prmpg: migration-threshold=1 fail-count=1 * Node Node pm2: pm2: Failed actions: prmpg_monitor_10000 (node=pm1, call=34, rc=7, status=complete): not not running Linux-HA Japan Project 55

56 フェイルカウントをクリアしてみる # crm resource cleanup prmpg pm1 # crm resource unmove grppg デモ 6 サービス LAN DC 仮想 IP pm1 フェイルカウントクリア grppg eth1 prmex eth2 prmfs prmip eth3 prmpg インターコネクト LAN1 インターコネクト LAN2 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth1 eth2 eth3 pm2 管理用 LAN Linux-HA Japan Project 56

57 リソース故障時停止タイムアウトデモ 7 pm1 擬似故障 # kill -9 postgresql 親プロセス故障仮想 IP eth1 eth2 サービス LAN インターコネクト LAN1 インターコネクト LAN2 タイムアウト擬似のための仕掛けは次ページ eth1 eth2 DC pm2 STONITH 停止タイムアウト eth3 排他制御領域 /dev/xvdb1 フェイルオーバ DB 領域失敗 /dev/xvdb2!? 管理用 LAN eth3 Linux-HA Japan Project 57

58 停止タイムアウトデモのためにこんな仕掛けします 1. pgsql リソースエージェントの stop 制御部に sleep 60 をわざと入れます /usr/lib/ocf/resource.d/heartbeat/pgsql 381 #pgsql_stop: Stop PostgreSQL 382 pgsql_stop() { 383 local rc 384 sleep if! pgsql_status 386 then 387 #Already stopped 388 return $OCF_SUCCESS 389 fi Linux-HA Japan Project 58

59 2. crm コマンドで prmpg のストップタイムアウトを 60s から 20s に変更します # crm configure edit 初期構築後値を変更したい場合に便利です primitive prmpg ocf:heartbeat:pgsql \ params pgctl="/usr/pgsql-9.0/bin/pg_ctl" start_opt="-p h -h " psql="/usr/pgsql-9.0/bin/psql" pgdata="/var/lib/pgsql/9.0/data" pgdba="postgres" pgport="5432" pgdb="template1" \ op op start interval="0s" timeout="60s" on-fail="restart" \ op op monitor interval="10s" timeout="60s" onfail="restart" \ op op stop interval="0s" timeout="20s" on-fail="fence" on- Linux-HA Japan Project 59

60 # crm_mon -fa Migration summary: * Node pm1: prmpg: migration-threshold=1 fail-count=1 * Node pm2: Failed actions: prmpg_monitor_10000 (node=pm1, call=34, rc=7, status=complete): not running prmpg_stop_0 (node=pm1, call=35, rc=-2, status=timed Out): unknown exec error ストップタイムアウト状態を表示 Linux-HA Japan Project 60

61 スプリットブレイン擬似故障 # ifdown eth1 # ifdown eth2 デモ 8 サービス LAN DC 仮想 IP pm1 eth1 eth2 インターコネクト LAN1 故障インターコネクト LAN2 eth1 eth2 pm2 eth3 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 STONITH 管理用 LAN Linux-HA Japan Project 61

まずは、Pacemakerを使ってみよう！

まずは、Pacemakerを使ってみよう！第 3 回 Linux-HA Japan 勉強会まずは Pacemaker を使ってみよう! 2011 年 7 月 1 日 @ パソナグループ本部ビル Linux-HA Japan プロジェクト田中崇幸 Linux-HA Japan Project 1 自己紹介名前 : 田中崇幸 (Takayuki Tanaka) Twitter: @tanakacchi21 所属 : Linux-HA Japan