AutoSlideGenerator

Transcription

1 OSS HAクラスタPacemakerを 活 用 したHAシステム 構 築 の 勘 所 Pacemaker で 楽 々クラスタリング 2011 年 4 月 28 日 Linux-HA Japan 三 井 一 能 Linux-HA Japan Project 1

2 こんにちは

3 本 日 の 内 容

4 本 日 の 内 容 Pacemakerの 歴 史 コミュニティの 動 向 Pacemakerの 概 要 インストール 設 定

5 講 演 を 機 会 に

6 PacemakerでHAクラスタを 組 めそう だ

7 PacemakerでHAクラスタを 組 めそう だ 帰 ってPacemakerでHAクラスタを 組 みたくなる

8 と 思 っていただきたいと 思 います

9 まず

10 まず 自 己 紹 介

11 名 前

12 みいかずよし

13 漢 字 だと

14 三 井 一 能

15 三 井 一 能 読 み 方 が 難 しいですが みいかずよし と 読 みます

16 みついさん でも 返 事 します

17 id:kzmtw よければfollowしてください

18 家 族 構 成

19 妻 と 娘 の3 人 家 族 です

20 趣 味

21 ありきたりですが 子 育 てですかね イクメンの 話 題 は 大 好 きです

22 さて Linux-HA Japanについて

23 Linux-HA Japanの 経 緯 HAクラスタ Heartbeat の 日 本 における 更 なる 普 及 展 開 を 目 的 とし 2007 年 10 月 5 日 Linux-HA (Heartbeat) 日 本 語 サイト を 設 立

24 Linux-HA Japanの 経 緯 Heartbeat2のrpmバイナリと オリジナ ルのHeartbeat 機 能 追 加 用 パッケージを 提 供

25 Webサイト ( 一 般 向 け) ( 開 発 者 向 け Pacemaker 情 報 の 公 開 用 として 新 しい 一 般 向 けウェブサイトが 2010/6/25にオープンしました 本 日 の 資 料 もこのサイトから 公 開 予 定 です! Linux-HA Japan Project

26 メーリングリスト 日 本 におけるHAクラスタについての 活 発 な 意 見 交 換 の 場 とし て Linux-HA Japan 日 本 語 メーリングリスト も 開 設 しています Linux-HA-Japan MLでは Pacemaker Heartbeat3 Corosync DRBDなど HAクラスタに 関 連 する 話 題 は 歓 迎! ML 登 録 用 URL の メーリングリスト をクリック MLアドレス スパム 防 止 のために 登 録 者 以 外 の 投 稿 は 許 可 制 です 26 Linux-HA Japan Project

27 にて 連 載 中! Pacemakerでかんたんクラスタリ ング 体 験 してみよう! 合 計 5 回 の 連 載 で Pacemakerの 概 要 説 明 から 構 築 方 法 保 守 運 用 にいたるまで 紹 介 しています

28 勤 務 先

29 NTT 研 究 企 画 部 門 OSSセンタ

30 疑 問

31 NTTはなぜOSSに 取 り 組 んでいるの か

32 OSSの 狙 い

33 コスト 削 減

34 コスト 削 減 ベンダロックインの 回 避

35 コスト 削 減 ベンダロックインの 回 避 ホワイトボックスであるOSSを 使 った 技 術 力 向 上

36 こういった 効 果 を 狙 い 社 内 システム のOSS 適 用 支 援 を 行 っています

37 OSSセンタ

38 具 体 的 な 取 り 組 みは?

39 1つめ

40 OSSVERT

41 OSSVERT (オズバート) OSs Suites VErified Technically

42 OSSVERT 安 心 して 利 用 できるOSS 製 品 の 選 定 と 技 術 検 証 の 実 施 クライアント Webサーバ Apache UltraMonkey APサーバ TOMCAT JBoss DBサーバ PostgreSQL MySQL アクティブ スタンバイ Pacemaker Amanda

43 2つめ

44 OSSVERTを 構 成 するOSS 製 品 の 研 究 開 発 コミュニティ 活 動

45 主 に 活 動 しているOSS 製 品 データベース: PostgreSQL HAクラスタ: Pacemaker APサーバ: JBoss

46 3つめ

47 グループ 会 社 のOSS 利 用 をトータル サポート

48 情 報 の 一 元 提 供 OSSの 問 題 解 決 個 別 パッチの 提 供

49 ここから 本 題

50 Pacemakerの 話 をします

51 Pacemakerってなに?

52 PacemakerはOSSのHAクラスタソフ トウェアです

53 アンケートをとります

54 Pacemakerを 知 っていますか?

55 同 じくOSSのHAクラスタである Heartbeatを 知 っていますか?

56 Pacemakerは Heartbeatの 後 継 ソ フトウェアです

57 Pacemakerを 導 入 すると 現 用 系 で 故 障 が 発 生 しサービスができなくなったと きに 待 機 系 でサービスを 自 動 起 動 し サービス 中 断 を 最 小 限 にすることができます フェイルオーバ 故 障 現 用 系 待 機 系

58 Pacemakerの 歴 史

59 Heartbeatの 最 初 のバージョンから 12 年 の 歴 史 があります

60 1998 年 Linux-HAプロジェクト 発 足 Heartbeatのアルファ 版

61 2010 年 Pacemaker リリース 2009 年 CorosyncをサポートするPacemaker 年 Pacemaker-1.0.0リリース 2007 年 リソース 管 理 機 能 がPacemakerとして 独 立 2005 年 Heartbeatバージョン2リリース 多 ノード 構 成 リソース 監 視 が 可 能 1999 年 Heartbeatバージョン1リリース 1+1 構 成 ノード 監 視 可 能 1998 年 Linux-HAプロジェクト 発 足 Heartbeatのアル ファ 版

62 あれ Pacemaker-1.1 使 っているけ ど

63 Pacemakerでのバージョンの 考 え 方

64 Pacemakerでのバージョンの 考 え 方 偶 数 バージョン: 1.0.x, 1.2.x

65 Pacemakerでのバージョンの 考 え 方 偶 数 バージョン: 1.0.x, 1.2.x 長 期 安 定 リリース バグフィックスのみ 3 4ヶ 月 周 期 でリリース 1.2 系 の 安 定 版 リリースは ご ろ

66 Pacemakerでのバージョンの 考 え 方 奇 数 バージョン: 1.1.x

67 Pacemakerでのバージョンの 考 え 方 奇 数 バージョン: 1.1.x フィーチャーリリース 新 規 機 能 追 加 / 削 除 機 能 設 定 の 互 換 性 は 低 め 3 4ヶ 月 周 期 でリリース RHEL6にテクノロジープレビューとし て 同 梱

68 現 在 の 開 発 コミュニティの 状 況

69 現 在 の 開 発 コミュニティの 状 況 OSS HAクラスタ 関 連 のプロジェクト が 協 力 し 合 う 関 係 が 進 んできている

70 現 在 の 開 発 コミュニティの 状 況 集 中 と 選 択 による パッケージの 再 編 Pacemaker + Heartbeat3 リソース 制 御 部 クラスタ 制 御 部 Heartbeat2 Pacemaker Heartbeat3 Pacemaker + Corosync リソース 制 御 部 クラスタ 制 御 部 OpenAIS OpenAIS Corosync OpenAIS + Corosync リソース 制 御 部 クラスタ 制 御 部 Linux-HA Japan Project 70

71 現 在 の 開 発 コミュニティの 状 況

72 Linux Foundationに High Availability Working Groupを 設 立 同 じ 傘 の 下 でコミュニティ 間 の 連 携 活 動 を 強 化 する 動 き - コミュニティ 間 でパッケージ 統 合 Resource agentsのマージ 作 業 mini-summit 開 催 (プラハ)

73 mini-summitは 主 要 開 発 者 がfaceto-faceで 議 論 する 場 で 毎 年 開 催

74 前 回 Linux Plumbers Conference(ケンブリッジ)で 開 催 Pacemaker 1.0パッチメンテナ Linux-HA Japan OpenAIS Corosync Linux-cluster DRBD Heartbeat3 Linux-HA Pacemaker OCFS2

75 Pacemakerってなに?

76 PacemakerはHAクラスタソフトウェ アです

77 多 彩 なクラスタ 構 成 が 可 能 です

78 基 本 構 成

79 1+1 構 成

80 1+1 構 成 ACT-SBY 構 成

81 ACT-SBY 構 成 稼 動 系 でサービスが 動 作 故 障 が 発 生 すると 待 機 系 でサービス が 起 動 フェイルオーバといいます ユーザ ユーザ LAN Active Standby 故 障 Active 故 障 発 生 フェイル オーバ

82 応 用 構 成

83 ACT-ACT 構 成 両 方 のサーバでサービスが 動 作 故 障 が 発 生 すると 他 方 のサーバで サービスを 起 動 ユーザ ユーザ LAN Active1 Active2 故 障 Active2 Active1 故 障 発 生 フェイル オーバ

84 N+1 構 成 N+M 構 成

85 N+1 構 成 N+M 構 成 複 数 台 のサーバでサービスが 動 作 故 障 が 発 生 するとSBY( 待 機 系 )で サービス 起 動 2+1 構 成 例 Active2 を フェイルオーバ Active1 Active2 Standby Active1 故 障 Active2 Active2に 故 障 発 生

86 M/S 構 成 Multi State (Master/Slave) 稼 動 系 と 連 携 したサービスが 待 機 系 でも 動 作 する 構 成 通 常 のリソースの 状 態 遷 移 start 停 止 起 動 stop

87 M/S 構 成 Multi State (Master/Slave) 稼 動 系 と 連 携 したサービスが 待 機 系 でも 動 作 する 構 成 M/Sのリソースの 状 態 遷 移 start promote 停 止 Slave Master stop demote

88 M/S 構 成 M/S 機 能 を 持 っているサービス DRBD ディスク 同 期 mysql データベースレプリケーション ユーザ ユーザ LAN Master 連 携 Slave 故 障 Master 故 障 発 生 フェイル オーバ

89 Pacemakerの 基 本 動 作

90 Pacemakerの 基 本 動 作 1. ノード 監 視 2. リソース 監 視 3. スプリットブレイン 対 策

91 基 本 動 作 1:ノード 監 視

92 基 本 動 作 1:ノード 監 視 相 手 サーバの 生 死 を 確 認 するため 一 定 間 隔 で 通 信 (ハートビート 通 信 ) Activeノード 元 気 かい! Pacemaker Standbyノード OK! Pacemaker ハートビートLAN とか Linux-HA Japan Project インターコネクトLAN と 呼 ぶ

93 基 本 動 作 1:ノード 監 視 ハートビート 通 信 に 失 敗 すると 相 手 はダウンしたと 判 断 フェイルオーバなどのクラスタ 制 御 を 行 う Activeノード Standbyノード 故 障 Pacemaker Pacemaker あれ? 応 答 なし! ノード 断

94 基 本 動 作 2:リソース 制 御

95 基 本 動 作 2:リソース 制 御 リソースって?

96 基 本 動 作 2:リソース 制 御 リソース = クラスタが 管 理 するものす べて

97 基 本 動 作 2:リソース 制 御 リソース = クラスタが 管 理 するものす べて 大 きくは2つ

98 1つめ サービス 継 続 するのに 必 要 なもの

99 1つめ サービス 継 続 するのに 必 要 なもの サーバプログラム コンピュータ 資 源 * 仮 想 IPアドレス * ファイルシステム

100 2つめ 故 障 を 検 知 するために 監 視 が 必 要 な もの

101 2つめ 故 障 を 検 知 するために 監 視 が 必 要 な もの ネットワーク 経 路 監 視 ディスク 監 視

102 リソース 制 御

103 リソース 制 御 サービスを 提 供 するために Pacemakerがリソースを 起 動 (start) 停 止 (stop) 監 視 (monitor)すること

104 リソースエージェント(RA)

105 リソースエージェント(RA) Pacemakerがリソース 制 御 するため に 利 用 するスクリプト

106 あらかじめ 含 まれる 標 準 RA 74 個 # crm ra list ocf AoEtarget AudibleAlarm CTDB ClusterMon Delay Dummy EvmsSCC Evmsd Filesystem HealthCPU HealthSMART ICP IPaddr IPaddr2 IPsrcaddr IPv6addr LVM LinuxSCSI MailTo ManageRAID ManageVE NVclient Pure-FTPd Raid1 Route SAPDatabase SAPInstance SendArp ServeRAID SphinxSearchDaemon Squid Stateful SysInfo SystemHealth VIPArip VIPcheck VirtualDomain WAS WAS6 WinPopup Xen Xinetd anything apache controld db2 diskd drbd edir88 exportfs fio iscsilogicalunit iscsitarget ids iscsi ldirectord mysql mysql-proxy nfsserver o2cb oracle oralsnr pgsql ping pingd portblock postfix proftpd rsyncd scsi2reservation sfex syslog-ng tomcat vmware

107 あらかじめ 含 まれる 標 準 RA 目 的 リソース リソースエージェント 名 (/usr/lib/ocf/resource.d/ に 存 在 ) サーバプログラ ム データベース インターネットサーバ pgsql, oracle, oralsnr, mysql apache, tomcat, jboss, postfix コンピュータ 資 源 ファイルシステム Filesystem ( 複 数 のファイルシステムに 対 応 ) 異 常 監 視 仮 想 IPアドレス ネットワーク 経 路 監 視 ディスク 監 視 共 有 ディスク 排 他 仮 想 IPアドレス 排 他 IPaddr2, IPv6addr pingd diskd (Linux-HA Japan 提 供 ) sfex VIPcheck (Linux-HA Japan 提 供 )

108 リソースエージェント(RA) クラスとプロバイダで 分 類

109 リソースエージェント(RA) クラス = RAの 準 拠 している 仕 様 lsb と ocf の2つ

110 リソースエージェント(RA) クラス = RAの 準 拠 している 仕 様 lsb: LSB 仕 様 のinitscript 形 式 /etc/init.d/* にあるスクリプトを 利 用 ただし リターンコードを 正 しく 返 却 さ れていることが 条 件

111 リソースエージェント(RA) クラス = RAの 準 拠 している 仕 様 ocf: Open Clustering Framework lsbを 拡 張 し RAへの 引 数 やコマ ンドを 追 加 Pacemakerの 機 能 をフルに 使 う のはこっち

112 リソースエージェント(RA) プロバイダ = RAの 提 供 元 heartbeat: Linux-HAプロジェクトが 提 供 pacemaker: Pacemakerが 提 供 独 自 のRAを 作 るときは 専 用 のプロ バイダを 作 るとよい

113 リソースエージェント 実 装 例 PostgreSQL(pgsql RA) 監 視 (monitor) 処 理 の 抜 粋 pgsql_monitor() { PostgreSQLの 監 視 のメイン 関 数 if! pgsql_status PostgreSQLプロセスの 存 在 を 確 認 then PostgreSQLプロセスがいなければ ocf_log info "PostgreSQL is down" return $OCF_NOT_RUNNING PostgreSQLは 停 止 していると 判 断 fi runasowner -q $loglevel $OCF_RESKEY_psql $psql_options -c $OCF_RESKEY_monitor_sql 実 際 にSQL(select now())を 実 行 してPostgreSQLの 正 常 性 を 確 認 return $OCF_SUCCESS PostgreSQLは 動 作 していると 判 断 } $OCF_SUCCESS, $OCF_NOT_RUNNINGはPacemakerで 定 義 済 みの 変 数

114 リソースエージェントは 自 作 可 能 #!/bin/sh. ${OCF_ROOT}/resource.d/heartbeat/.ocf-shellfuncs start 処 理 () { } stop 処 理 () { } monitor 処 理 { } meta-data 処 理 (){ } validate-all 処 理 (){ } case $1 in start) start 処 理 ();; stop) stop 処 理 ();; monitor) monitor 処 理 ();; esac 通 常 のシェルスクリプトで 実 装 でき ます いくつか 必 須 のパラメータ 呼 び 出 し に 対 する 処 理 と 定 義 済 みの 戻 り 値 を 返 すように 実 装 する 必 要 がありま す リソース 開 始 監 視 停 止 の 処 理 シェルに 渡 されるパラメータ を 元 にRA 処 理 を 振 り 分 け

115 さらに HAクラスタとして 重 要 な 機 能

116 基 本 機 能 3:スプリットブレイン 対 策 全 てのハートビートLANが 切 れてしまった 場 合 Active 生 きてる? 元 気 だよ Standby ハートビートLAN

117 基 本 機 能 3:スプリットブレイン 対 策 全 てのハートビートLANが 切 れてしまった 場 合 お 互 いが 相 手 が 故 障 したと 判 断 し サービスを 引 き 継 ご うとします これをスプリットブレインと 呼 びます Active 生 きてる? しーん Standby 切 断 切 断 サービス 起 動 しまーす

118 両 サーバが 勝 手 に 動 き 始 めると ( 例 えば) データを 共 有 していると データ 破 壊 発 生 IPを 共 有 していると IP 競 合 発 生 ネットワークスイッチ IP : IP : 出 来 る 限 り 回 避 するため ハートビートLANは2 切 断 本 以 上 用 意 仮 にスプリットブレインが 発 生 しても 切 断 Pacemakerは 複 数 の 対 策 が 用 意 さ mount れています mount STONITH 共 機 有 能 ディスク ( 強 制 電 源 断 ) sfex( 共 有 ディスク 排 他 制 御 ) Quorum 機 能 ( 多 数 決 に 基 づく 制 御 ) 両 系 マウント

119 対 策 1:STONITH

120 STONITH Shoot-The-Other-Node-In-The- Head 絵 で 表 現 すると

121 STONITH

122 STONITH サービス 継 続 を 邪 魔 するサーバをク ラスタから 強 制 的 に 離 脱 させる 機 能 用 語 的 には ノードフェンシング

123 STONITH いつ 発 動 される?

124 STONITH 発 動 タイミング スプリットブレイン 発 生 時 リソースの 停 止 処 理 に 失 敗 したとき

125 STONITHデバイス 実 現 方 法 によりさまざまなSTONITH プラグインが 用 意 されている サーバ 搭 載 のHW 制 御 ボード リモートパワースイッチ UPS poweroffコマンド 保 守 者 による 手 動 リセット

126 対 策 2:sfex

127 sfex 共 有 ディスク 排 他 制 御 機 能 絵 で 表 現 すると

128 sfex 共 有 ディスク 排 他 制 御 機 能

129 sfex 共 有 ディスク 排 他 制 御 機 能 意 図 しない 両 系 マウントによるファイ ルシステム 破 壊 を 防 ぐ

130 sfex 共 有 ディスクの 所 有 権 を 制 御 するリ ソース

131 sfex 共 有 ディスク 上 に 専 用 パーティション を 用 意 し 所 有 者 を 管 理

132 sfex ハードウェア 依 存 性 が 小 さいことが 特 徴

133 その 他 の 対 策 Quorum: ノード 数 に 基 づくリソース 制 御 (3ノード 以 上 ) VIPcheck: サービス 用 仮 想 IPアドレ スに 基 づくリソース 制 御 などがあります

134 Pacemakerを 構 成 するコンポーネン トを 見 ていきます

135 Pacemakerを 構 成 するコンポーネン ト

136 Pacemakerを 構 成 するコンポーネン ト 役 割 分 担 Pacemaker: リソース 制 御 Heartbeat or Corosync: クラスタ 制 御

137 Pacemakerプロセス crmd: Pacemakerのメインプロセス cib: クラスタに 関 する 情 報 を 一 元 管 理 pengine: クラスタ 状 態 に 基 づきリソース 配 置 を 決 定 し 状 態 遷 移 を 計 算 stonithd: STONITHプラグインの 管 理

138 Heartbeatプロセス ccm: メンバーシップ 管 理 heartbeat: プロセス 間 通 信 サブプロセス 管 理

139 Corosyncプロセス corosync: メンバーシップ 管 理 ノード 間 通 信 サブプロセス 管 理

140 いよいよ HAクラスタをどう 構 築 する かを 見 ていきます

141 PostgreSQLのHAクラスタ 構 成

142 PostgreSQLのHAクラスタ 構 成 ハードウェア VMware VM (1CPU, 1GB memory, 8GB HDD) 2 個 OS CentOS 5.5 x86_64 HAクラスタ Pacemaker クラスタ 化 するアプリケーション PostgreSQL ACT-SBY 構 成 共 有 ディスク iscsi データベース 領 域 として 利 用 NIC 4つ 使 用 (サービスLAN ハートビートLAN 2 管 理 LAN)

143 システム 構 成 ルータ サービスLAN 仮 想 IP pm01 PostgreSQL eth eth eth ハートビートLAN1 ハートビートLAN2 eth eth eth pm02 システム 領 域 eth sfex 領 域 /dev/sdb1 DB 領 域 /dev/sdb2 eth システム 領 域 管 理 用 LAN 143

144 リソースの 洗 い 出 し 種 別 リソース RA / STONITH Plugin フェイルオーバ 対 象 ( 稼 動 系 で 起 動 ) 故 障 検 知 (すべてのノードで 起 動 ) STONITH (STONITH 対 象 以 外 の ノードで 起 動 ) 共 有 ディスク 排 他 制 御 共 有 ディスクのマウント 仮 想 IPアドレス PostgreSQL ネットワーク 経 路 監 視 内 蔵 ディスク 監 視 共 有 ディスク 監 視 相 打 ち 防 止 sshプラグイン( ) 保 守 者 介 在 sfex Filesystem IPaddr2 pgsql pingd diskd diskd stonith-helper external/ssh meatware テスト 用 のプラグイン cluster-glue-libs-develパッケージに 含 まれる ので 別 途 インストールしてください ただし 実 運 用 では 使 用 しないこと 日 本 コミュ ニティ 提 供 ツールで 出 現 します

145 リソース 配 置 クローン サービスLAN pingd グループ グループ pingd diskd sfex sfex diskd diskd グループ stonith-helper Filesystem IPaddr2 pgsql Filesystem IPaddr2 pgsql diskd グループ stonith-helper external/ssh pm01 pm02 external/ssh meatware pm02を 強 制 再 起 動 す る pm02 以 外 に 配 置 pm01を 強 制 再 起 動 す る pm01 以 外 に 配 置 meatware

146 リソース 設 定 の 種 類

147 リソース 設 定 の 種 類 primitive clone group

148 リソース 設 定 の 種 類 primitive

149 リソース 設 定 の 種 類 primitive すべてのリソース 設 定 の 基 本 RAはまずprimitive 設 定 することから はじまる

150 リソース 設 定 の 種 類 clone

151 リソース 設 定 の 種 類 clone 同 じ 設 定 のリソースを 複 数 のノードで 動 かしたい 場 合 に 使 用 ネットワーク 経 路 監 視 やディスク 監 視 で 使 用

152 リソース 設 定 の 種 類 group

153 リソース 設 定 の 種 類 group 複 数 のリソースをまとめてフェイル オーバさせるために 使 用 グループ sfex 起 動 順 序 Filesystem IPaddr2 pgsql 停 止 順 序

154 フェイルオーバ 条 件

155 フェイルオーバ 条 件 ノード 監 視

156 フェイルオーバ 条 件 ノード 監 視 ハートビート 通 信 が 不 通

157 故 障 箇 所 サービスLAN pingd diskd diskd グループ stonith-helper external/ssh meatware グループ sfex Filesystem IPaddr2 pgsql pingd diskd diskd グループ stonith-helper external/ssh meatware

158 フェイルオーバ 条 件 ノード 監 視 ハートビート 通 信 が 不 通 ノード 故 障 ノードフェンシング

159 フェイルオーバ 条 件 ネットワーク 経 路 監 視

160 フェイルオーバ 条 件 ネットワーク 経 路 監 視 指 定 されたIPアドレスまでネットワー ク 通 信 ができない

161 故 障 箇 所 サービスLAN pingd diskd diskd グループ stonith-helper external/ssh meatware グループ sfex Filesystem IPaddr2 pgsql pingd diskd diskd グループ stonith-helper external/ssh meatware

162 フェイルオーバ 条 件 ネットワーク 経 路 監 視 指 定 されたIPアドレスまでネットワー ク 通 信 ができない 故 障 が 稼 動 系 ならばリソースを フェイルオーバ

163 フェイルオーバ 条 件 ディスク 監 視 (sfex)

164 フェイルオーバ 条 件 ディスク 監 視 (sfex) 共 有 ディスクにアクセスできない

165 故 障 箇 所 サービスLAN pingd diskd diskd グループ stonith-helper external/ssh meatware グループ sfex Filesystem IPaddr2 pgsql pingd diskd diskd グループ stonith-helper external/ssh meatware

166 フェイルオーバ 条 件 ディスク 監 視 (sfex) 共 有 ディスクにアクセスできない リソースをフェイルオーバ

167 フェイルオーバ 条 件 ディスク 監 視 (diskd)

168 フェイルオーバ 条 件 ディスク 監 視 (diskd) 内 蔵 ディスクまたは 共 有 ディスクにア クセスできない

169 故 障 箇 所 サービスLAN pingd diskd diskd グループ stonith-helper external/ssh meatware グループ sfex Filesystem IPaddr2 pgsql pingd diskd diskd グループ stonith-helper external/ssh meatware

170 フェイルオーバ 条 件 ディスク 監 視 (diskd) 内 蔵 ディスクまたは 共 有 ディスクにア クセスできない 故 障 が 稼 動 系 ならばリソースを フェイルオーバ

171 フェイルオーバ 条 件 リソース 故 障

172 フェイルオーバ 条 件 リソース 故 障 PostgreSQLのmonitor 処 理 に 失 敗

173 故 障 箇 所 サービスLAN pingd diskd diskd グループ stonith-helper external/ssh meatware グループ sfex Filesystem IPaddr2 pgsql pingd diskd diskd グループ stonith-helper external/ssh meatware

174 フェイルオーバ 条 件 リソース 故 障 PostgreSQLのmonitor 処 理 に 失 敗 リソースをフェイルオーバ

175 まずインストール

176 インストールの 方 法 方 法 1. 本 家 (clusterlabs)のyumリポ ジトリを 使 用 * 別 のyumリポジトリ(EPEL)も 必 要

177 インストールの 方 法 方 法 2. 日 本 コミュニティのリポジトリ パッケージ yumリポジトリのアーカイブ ローカルリポジトリとして 使 用 検 証 をパスした 組 み 合 わせ Linux-HA Japanオリジナルパッケージも 含 む こちらを 推 奨

178 リポジトリパッケージでインストール からダウンロード pacemaker el5.x86_64.repo.tar.gz をダウンロード (32bit 環 境 の 場 合 は pacemaker el5.i386.repo.tar.gz を 選 んでください )

179 リポジトリパッケージでインストール /tmp にアーカイブファイルを 展 開 し yumでインストールします # tar zxvf pacemaker el5.x86_64.repo.tar.gz -C /tmp # cd /tmp/pacemaker el5.x86_64.repo # yum -c pacemaker.repo install pacemaker heartbeat 日 本 コミュニティ 提 供 ツールをインストール # yum c pacemaker.repo pm_extra pm_crmgen pm_diskd pm_logconv-hb テスト 用 STONITHプラグインをインストール # yum c pacemaker.repo cluster-glue-libs-devel

180 Pacemakerの 自 動 起 動 をオフにする # chkconfig --level 2345 heartbeat off オンの 場 合 サーバ 起 動 後 に 自 動 的 にクラスタに 組 み 込 まれる オフの 場 合 手 動 でPacemakerを 起 動 運 用 で 選 択

181 設 定 ファイルのたぐい

182 設 定 ファイルのたぐい /etc/ha.d/ha.cf Heartbeatの 設 定 /etc/ha.d/authkeys ハートビート 通 信 の 認 証 用 キー /etc/syslog.conf ログファイルの 分 離 /etc/pm_logconv.conf ログメッセージ 変 換

183 /etc/ha.d/ha.cf pacemaker on debug 0 udpport 694 keepalive 2 warntime 7 deadtime 10 initdead 10 logfacility local1 bcast eth1 bcast eth2 node pm01 node pm02 watchdog /dev/watchdog respawn root /usr/lib64/heartbeat/ifcheckd Pacemakerを 使 う デバッグログ 出 力 フラグ HB 通 信 のUDPポート HB 通 信 送 信 間 隔 HB 通 信 断 線 時 の 警 告 までの 時 間 HB 通 信 断 線 判 断 までの 時 間 初 期 起 動 時 の 待 ち 合 わせ 時 間 syslog 出 力 時 のファシリティ 指 定 HB 通 信 方 法 の 指 定 クラスタに 参 加 するノード 名 kernel 提 供 のsoftdogデバイス 名 サブプロセスの 起 動

184 /etc/ha.d/authkeys ハートビート 通 信 の 認 証 用 キー auth 1 1 sha1 secret secretを 任 意 のパスフレーズで 書 き 換 える

185 /etc/ha.d/authkeys rootのみにread 権 限 を 与 えてくださ い # chmod 0600 /etc/ha.d/authkeys

186 /etc/syslog.conf Pacemakerのログ 量 が 多 いため ロ グファイルを 分 けることが 望 ましい 慣 習 として 出 力 先 : /var/log/ha-log

187 /etc/syslog.conf 変 更 点 *.info;mail.none;authpriv.none;cron.none;local1.none local1.info /var/log/ha-log /var/log/messages 設 定 反 映 # /etc/init.d/syslog restart

188 pm_logconv 日 本 コミュニティ 提 供 ツール Pacemakerのログを 見 やすくする

189 pm_logconv /etc/pm_logconv.conf を 編 集 [Settings] #ha_log_path = /var/log/ha-log #output_path = /var/log/pm_logconv.out #hostcache_path = /var/lib/heartbeat/hostcache #syslogformat = True #reset_interval = 60 attribute_pingd = default_ping_set, lt, 100 attribute_diskd = diskcheck_status, eq, ERROR attribute_diskd_inner = diskcheck_status_internal, eq, ERROR #logconv_logfacility = daemon act_rsc = prmex prmpg

190 pm_logconv /etc/inittabに 起 動 設 定 logc:2345:respawn:/usr/share/pacemaker/pm_logconv/pm_l ogconv.py initを 再 起 動 # telinit q

191 pm_logconv ログローテーションの 設 定 /etc/logrotate.d/heartbeat に 下 記 を 追 加 /var/log/pm_logconv.out { missingok }

192 以 上 で1 台 めのセットアップが 完 了

193 もう1 台 のサーバも 同 じようにセット アップしてください

194 Pacemakerの 起 動 準 備 ができました

195 Pacemakerの 起 動 2 台 のサーバでコマンドを 実 行 # /etc/init.d/heartbeat start

196 Pacemakerの 起 動 確 認 いづれかのサーバで 状 態 表 示 コマン ド 実 行 # crm_mon -A

197 Pacemakerの 起 動 確 認 状 態 表 示 コマンド 実 行 結 果 ============ Last updated: Fri Mar 18 22:31: Stack: Heartbeat Current DC: pm01 (755595f ba3-909e-68c4e74067bf) - partition with quorum Version: da b5ff0bee f8fd02f296ec8a3 2 Nodes configured, unknown expected votes 0 Resources configured. ============ Online: [ pm02 pm01 ] 2 台 のサーバがクラスタに 組 み 込 まれている Node Attributes: * Node pm02: + pm01-eth1 : up + pm01-eth2 : up * Node pm01: + pm02-eth1 : up + pm02-eth2 : up ハートビート 通 信 の 状 態 を 表 示 ifcheckdによる 機 能

198 起 動 時 のログの 比 較 /var/log/ha-log v.s. /var/log/pm_logconv.out

199 起 動 時 のログの 比 較 /var/log/ha-log (353 行 ) Apr 22 08:42:45 pm01 heartbeat: [4978]: WARN: Logging daemon is disabled --enabling logging daemon is recommended Apr 22 08:42:45 pm01 heartbeat: [4978]: info: ************************** Apr 22 08:42:45 pm01 heartbeat: [4978]: info: Configuration validated. Starting heartbeat Apr 22 08:42:45 pm01 heartbeat: [4979]: info: heartbeat: version Apr 22 08:42:45 pm01 heartbeat: [4979]: info: Heartbeat generation: Apr 22 08:42:45 pm01 heartbeat: [4979]: info: glib: UDP Broadcast heartbeat started on port 694 (694) interface eth1 Apr 22 08:42:45 pm01 heartbeat: [4979]: info: glib: UDP Broadcast heartbeat closed on port 694 interface eth1 - Status: 1 Apr 22 08:42:45 pm01 heartbeat: [4979]: info: glib: UDP Broadcast heartbeat started on port 694 (694) interface eth2 Apr 22 08:42:45 pm01 heartbeat: [4979]: info: glib: UDP Broadcast heartbeat closed on port 694 interface eth2 - Status: 1 Apr 22 08:42:45 pm01 heartbeat: [4979]: info: G_main_add_TriggerHandler: Added signal manual handler Apr 22 08:42:45 pm01 heartbeat: [4979]: info: G_main_add_TriggerHandler: Added signal manual handler Apr 22 08:42:45 pm01 heartbeat: [4979]: notice: Using watchdog device: /dev/watchdog Apr 22 08:42:45 pm01 heartbeat: [4979]: info: G_main_add_SignalHandler: Added signal handler for signal 17 Apr 22 08:42:45 pm01 heartbeat: [4979]: info: Local status now set to: 'up' Apr 22 08:42:46 pm01 heartbeat: [4979]: info: Link pm01:eth1 up. Apr 22 08:42:46 pm01 heartbeat: [4979]: info: Link pm01:eth2 up. Apr 22 08:42:49 pm01 heartbeat: [4979]: info: Link pm02:eth1 up. Apr 22 08:42:49 pm01 heartbeat: [4979]: info: Status update for node pm02: status up Apr 22 08:42:49 pm01 heartbeat: [4979]: info: Link pm02:eth2 up. Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Comm_now_up(): updating status to active Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Local status now set to: 'active' Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Starting child client "/usr/lib64/heartbeat/ccm" (101,105) Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Starting child client "/usr/lib64/heartbeat/cib" (101,105) Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Starting child client "/usr/lib64/heartbeat/lrmd -r" (0,0) Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Starting child client "/usr/lib64/heartbeat/stonithd" (0,0) Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Starting child client "/usr/lib64/heartbeat/attrd" (101,105) Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Starting child client "/usr/lib64/heartbeat/crmd" (101,105) Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Starting child client "/usr/lib64/heartbeat/ifcheckd" (0,0) Apr 22 08:42:50 pm01 heartbeat: [4989]: info: Starting "/usr/lib64/heartbeat/ccm" as uid 101 gid 105 (pid 4989) Apr 22 08:42:50 pm01 heartbeat: [4990]: info: Starting "/usr/lib64/heartbeat/cib" as uid 101 gid 105 (pid 4990) Apr 22 08:42:50 pm01 heartbeat: [4991]: info: Starting "/usr/lib64/heartbeat/lrmd -r" as uid 0 gid 0 (pid 4991) Apr 22 08:42:50 pm01 heartbeat: [4992]: info: Starting "/usr/lib64/heartbeat/stonithd" as uid 0 gid 0 (pid 4992) Apr 22 08:42:50 pm01 heartbeat: [4993]: info: Starting "/usr/lib64/heartbeat/attrd" as uid 101 gid 105 (pid 4993) Apr 22 08:42:50 pm01 heartbeat: [4994]: info: Starting "/usr/lib64/heartbeat/crmd" as uid 101 gid 105 (pid 4994) Apr 22 08:42:50 pm01 attrd: [4993]: info: Invoked: /usr/lib64/heartbeat/attrd Apr 22 08:42:50 pm01 lrmd: [4991]: info: G_main_add_SignalHandler: Added signal handler for signal 15 Apr 22 08:42:50 pm01 attrd: [4993]: info: main: Starting up Apr 22 08:42:50 pm01 heartbeat: [4995]: info: Starting "/usr/lib64/heartbeat/ifcheckd" as uid 0 gid 0 (pid 4995) Apr 22 08:42:50 pm01 heartbeat: [4979]: info: Status update for node pm02: status active Apr 22 08:42:50 pm01 cib: [4990]: info: Invoked: /usr/lib64/heartbeat/cib Apr 22 08:42:50 pm01 stonithd: [4992]: info: G_main_add_SignalHandler: Added signal handler for signal 10 Apr 22 08:42:50 pm01 ifcheckd: [4995]: info: Invoked: /usr/lib64/heartbeat/ifcheckd Apr 22 08:42:50 pm01 ccm: [4989]: info: Hostname: pm01 Apr 22 08:42:50 pm01 cib: [4990]: info: G_main_add_TriggerHandler: Added signal manual handler Apr 22 08:42:50 pm01 stonithd: [4992]: info: G_main_add_SignalHandler: Added signal handler for signal 12 Apr 22 08:42:50 pm01 cib: [4990]: info: G_main_add_SignalHandler: Added signal handler for signal 17 Apr 22 08:42:50 pm01 lrmd: [4991]: info: G_main_add_SignalHandler: Added signal handler for signal 17 Apr 22 08:42:50 pm01 lrmd: [4991]: info: enabling coredumps Apr 22 08:42:50 pm01 lrmd: [4991]: info: G_main_add_SignalHandler: Added signal handler for signal 10 Apr 22 08:42:50 pm01 lrmd: [4991]: info: G_main_add_SignalHandler: Added signal handler for signal 12 Apr 22 08:42:50 pm01 lrmd: [4991]: info: Started. Apr 22 08:42:50 pm01 cib: [4990]: info: retrievecib: Reading cluster configuration from: /var/lib/heartbeat/crm/cib.xml (digest: /var/lib/heartbeat/crm/cib.xml.sig) Apr 22 08:42:50 pm01 crmd: [4994]: info: Invoked: /usr/lib64/heartbeat/crmd Apr 22 08:42:50 pm01 crmd: [4994]: info: main: CRM Hg Version: da b5ff0bee f8fd02f296ec8a3 Apr 22 08:42:50 pm01 crmd: [4994]: info: crmd_init: Starting crmd Apr 22 08:42:50 pm01 crmd: [4994]: info: G_main_add_SignalHandler: Added signal handler for signal 17 Apr 22 08:42:50 pm01 attrd: [4993]: info: register_heartbeat_conn: Hostname: pm01 Apr 22 08:42:50 pm01 attrd: [4993]: info: register_heartbeat_conn: UUID: 8559a0d8-a5c9-4a84-aa7e-1961cad9658c Apr 22 08:42:50 pm01 attrd: [4993]: info: crm_cluster_connect: Connecting to Heartbeat Apr 22 08:42:50 pm01 attrd: [4993]: info: main: Cluster connection active Apr 22 08:42:50 pm01 attrd: [4993]: info: main: Accepting attribute updates Apr 22 08:42:50 pm01 attrd: [4993]: info: main: Starting mainloop... Apr 22 08:42:50 pm01 heartbeat: [4979]: info: the send queue length from heartbeat to client ccm is set to 1024 Apr 22 08:42:50 pm01 heartbeat: [4979]: info: the send queue length from heartbeat to client attrd is set to 1024 Apr 22 08:42:50 pm01 cib: [4990]: info: startcib: CIB Initialization completed successfully Apr 22 08:42:50 pm01 stonithd: [4992]: info: register_heartbeat_conn: Hostname: pm01 Apr 22 08:42:50 pm01 stonithd: [4992]: info: register_heartbeat_conn: UUID: 8559a0d8-a5c9-4a84-aa7e-1961cad9658c Apr 22 08:42:50 pm01 stonithd: [4992]: info: crm_cluster_connect: Connecting to Heartbeat Apr 22 08:42:50 pm01 heartbeat: [4979]: info: the send queue length from heartbeat to client stonithd is set to 1024 Apr 22 08:42:50 pm01 stonithd: [4992]: notice: /usr/lib64/heartbeat/stonithd start up successfully. Apr 22 08:42:50 pm01 stonithd: [4992]: info: G_main_add_SignalHandler: Added signal handler for signal 17 Apr 22 08:42:51 pm01 cib: [4990]: info: register_heartbeat_conn: Hostname: pm01 Apr 22 08:42:51 pm01 cib: [4990]: info: register_heartbeat_conn: UUID: 8559a0d8-a5c9-4a84-aa7e-1961cad9658c Apr 22 08:42:51 pm01 cib: [4990]: info: crm_cluster_connect: Connecting to Heartbeat Apr 22 08:42:51 pm01 cib: [4990]: info: ccm_connect: Registering with CCM... Apr 22 08:42:51 pm01 cib: [4990]: WARN: ccm_connect: CCM Activation failed Apr 22 08:42:51 pm01 cib: [4990]: WARN: ccm_connect: CCM Connection failed 1 times (30 max) Apr 22 08:42:51 pm01 heartbeat: [4979]: info: the send queue length from heartbeat to client cib is set to 1024 Apr 22 08:42:51 pm01 crmd: [4994]: info: do_cib_control: Could not connect to the CIB service: connection failed Apr 22 08:42:51 pm01 crmd: [4994]: WARN: do_cib_control: Couldn't complete CIB registration 1 times... pause and retry Apr 22 08:42:51 pm01 crmd: [4994]: info: crmd_init: Starting crmd's mainloop Apr 22 08:42:53 pm01 ccm: [4989]: info: G_main_add_SignalHandler: Added signal handler for signal 15 Apr 22 08:42:53 pm01 crmd: [4994]: info: crm_timer_popped: Wait Timer (I_NULL) just popped! Apr 22 08:42:54 pm01 cib: [4990]: info: ccm_connect: Registering with CCM... Apr 22 08:42:54 pm01 cib: [4990]: info: cib_init: Requesting the list of configured nodes Apr 22 08:42:54 pm01 cib: [4990]: info: cib_init: Starting cib mainloop Apr 22 08:42:54 pm01 cib: [4990]: info: cib_client_status_callback: Status update: Client pm01/cib now has status [join] Apr 22 08:42:54 pm01 cib: [4990]: info: crm_new_peer: Node 0 is now known as pm01 Apr 22 08:42:54 pm01 cib: [4990]: info: crm_update_peer_proc: pm01.cib is now online Apr 22 08:42:54 pm01 cib: [4990]: info: cib_client_status_callback: Status update: Client pm02/cib now has status [join] Apr 22 08:42:54 pm01 cib: [4990]: info: crm_new_peer: Node 0 is now known as pm02 Apr 22 08:42:54 pm01 cib: [4990]: info: crm_update_peer_proc: pm02.cib is now online Apr 22 08:42:54 pm01 cib: [4990]: info: cib_client_status_callback: Status update: Client pm01/cib now has status [online] Apr 22 08:42:54 pm01 crmd: [4994]: info: do_cib_control: CIB connection established Apr 22 08:42:54 pm01 cib: [5002]: info: write_cib_contents: Archived previous version as /var/lib/heartbeat/crm/cib-90.raw Apr 22 08:42:54 pm01 cib: [5002]: info: write_cib_contents: Wrote version of the CIB to disk (digest: d0cf804b2a297ae9841f7b172f2a18fe) Apr 22 08:42:54 pm01 cib: [5002]: info: retrievecib: Reading cluster configuration from: /var/lib/heartbeat/crm/cib.cid1zn (digest: /var/lib/heartbeat/crm/cib.6fjral) Apr 22 08:42:55 pm01 heartbeat: [4979]: WARN: 1 lost packet(s) for [pm02] [16:18] Apr 22 08:42:55 pm01 heartbeat: [4979]: info: No pkts missing from pm02! Apr 22 08:42:55 pm01 cib: [4990]: info: cib_client_status_callback: Status update: Client pm02/cib now has status [online] Apr 22 08:42:55 pm01 crmd: [4994]: info: register_heartbeat_conn: Hostname: pm01 Apr 22 08:42:55 pm01 crmd: [4994]: info: register_heartbeat_conn: UUID: 8559a0d8-a5c9-4a84-aa7e-1961cad9658c Apr 22 08:42:55 pm01 crmd: [4994]: info: crm_cluster_connect: Connecting to Heartbeat Apr 22 08:42:55 pm01 heartbeat: [4979]: info: the send queue length from heartbeat to client crmd is set to 1024 Apr 22 08:42:55 pm01 crmd: [4994]: info: do_ha_control: Connected to the cluster Apr 22 08:42:55 pm01 crmd: [4994]: info: do_ccm_control: CCM connection established... waiting for first callback Apr 22 08:42:55 pm01 crmd: [4994]: info: do_started: Delaying start, CCM ( ) not connected Apr 22 08:42:55 pm01 crmd: [4994]: notice: crmd_client_status_callback: Status update: Client pm01/crmd now has status [online] (DC=false) Apr 22 08:42:55 pm01 attrd: [4993]: info: cib_connect: Connected to the CIB after 1 signon attempts Apr 22 08:42:55 pm01 attrd: [4993]: info: cib_connect: Sending full refresh Apr 22 08:42:55 pm01 crmd: [4994]: info: crm_new_peer: Node 0 is now known as pm01 Apr 22 08:42:55 pm01 crmd: [4994]: info: crm_update_peer_proc: pm01.crmd is now online Apr 22 08:42:55 pm01 crmd: [4994]: info: crmd_client_status_callback: Not the DC Apr 22 08:42:55 pm01 crmd: [4994]: notice: crmd_client_status_callback: Status update: Client pm01/crmd now has status [online] (DC=false) Apr 22 08:42:56 pm01 crmd: [4994]: info: crmd_client_status_callback: Not the DC Apr 22 08:42:56 pm01 crmd: [4994]: notice: crmd_client_status_callback: Status update: Client pm02/crmd now has status [offline] (DC=false) Apr 22 08:42:56 pm01 crmd: [4994]: info: crm_new_peer: Node 0 is now known as pm02 Apr 22 08:42:56 pm01 crmd: [4994]: info: crmd_client_status_callback: Not the DC Apr 22 08:42:56 pm01 crmd: [4994]: info: do_started: Delaying start, CCM ( ) not connected Apr 22 08:42:56 pm01 crmd: [4994]: info: config_query_callback: Checking for expired actions every ms Apr 22 08:42:56 pm01 crmd: [4994]: info: do_started: Delaying start, CCM ( ) not connected Apr 22 08:42:57 pm01 crmd: [4994]: notice: crmd_client_status_callback: Status update: Client pm02/crmd now has status [online] (DC=false) Apr 22 08:42:57 pm01 cib: [4990]: info: mem_handle_event: Got an event OC_EV_MS_NEW_MEMBERSHIP from ccm Apr 22 08:42:57 pm01 cib: [4990]: info: mem_handle_event: instance=2, nodes=2, new=2, lost=0, n_idx=0, new_idx=0, old_idx=4 Apr 22 08:42:57 pm01 cib: [4990]: info: cib_ccm_msg_callback: Processing CCM event=new MEMBERSHIP (id=2) Apr 22 08:42:57 pm01 cib: [4990]: info: crm_get_peer: Node pm02 now has id: 1 Apr 22 08:42:57 pm01 cib: [4990]: info: crm_update_peer: Node pm02: id=1 state=member (new) addr=(null) votes=-1 born=1 seen=2 proc= Apr 22 08:42:57 pm01 cib: [4990]: info: crm_update_peer_proc: pm02.ais is now online Apr 22 08:42:57 pm01 cib: [4990]: info: crm_update_peer_proc: pm02.crmd is now online Apr 22 08:42:57 pm01 cib: [4990]: info: crm_update_peer: Node pm01: id=0 state=member (new) addr=(null) votes=-1 born=2 seen=2 proc= Apr 22 08:42:57 pm01 cib: [4990]: info: crm_update_peer_proc: pm01.ais is now online Apr 22 08:42:57 pm01 cib: [4990]: info: crm_update_peer_proc: pm01.crmd is now online Apr 22 08:42:57 pm01 crmd: [4994]: info: crm_update_peer_proc: pm02.crmd is now online Apr 22 08:42:57 pm01 crmd: [4994]: info: crmd_client_status_callback: Not the DC Apr 22 08:42:57 pm01 crmd: [4994]: info: mem_handle_event: Got an event OC_EV_MS_NEW_MEMBERSHIP from ccm Apr 22 08:42:57 pm01 crmd: [4994]: info: mem_handle_event: instance=2, nodes=2, new=2, lost=0, n_idx=0, new_idx=0, old_idx=4 Apr 22 08:42:57 pm01 crmd: [4994]: info: crmd_ccm_msg_callback: Quorum (re)attained after event=new MEMBERSHIP (id=2) Apr 22 08:42:57 pm01 crmd: [4994]: info: ccm_event_detail: NEW MEMBERSHIP: trans=2, nodes=2, new=2, lost=0 n_idx=0, new_idx=0, old_idx=4 Apr 22 08:42:57 pm01 crmd: [4994]: info: ccm_event_detail: CURRENT: pm02 [nodeid=1, born=1] Apr 22 08:42:57 pm01 crmd: [4994]: info: ccm_event_detail: CURRENT: pm01 [nodeid=0, born=2] Apr 22 08:42:57 pm01 crmd: [4994]: info: ccm_event_detail: NEW: pm02 [nodeid=1, born=1] Apr 22 08:42:57 pm01 crmd: [4994]: info: ccm_event_detail: NEW: pm01 [nodeid=0, born=2] Apr 22 08:42:57 pm01 crmd: [4994]: info: crm_get_peer: Node pm02 now has id: 1 Apr 22 08:42:57 pm01 crmd: [4994]: info: crm_update_peer: Node pm02: id=1 state=member (new) addr=(null) votes=-1 born=1 seen=2 proc= Apr 22 08:42:57 pm01 crmd: [4994]: info: crm_update_peer_proc: pm02.ais is now online Apr 22 08:42:57 pm01 crmd: [4994]: info: crm_update_peer: Node pm01: id=0 state=member (new) addr=(null) votes=-1 born=2 seen=2 proc= Apr 22 08:42:57 pm01 crmd: [4994]: info: crm_update_peer_proc: pm01.ais is now online Apr 22 08:42:57 pm01 crmd: [4994]: info: do_started: The local CRM is operational Apr 22 08:42:57 pm01 crmd: [4994]: info: do_state_transition: State transition S_STARTING -> S_PENDING [ input=i_pending cause=c_fsa_internal origin=do_started ] Apr 22 08:42:58 pm01 heartbeat: [4979]: WARN: 1 lost packet(s) for [pm02] [23:25] Apr 22 08:42:58 pm01 heartbeat: [4979]: info: No pkts missing from pm02! Apr 22 08:43:58 pm01 crmd: [4994]: info: crm_timer_popped: Election Trigger (I_DC_TIMEOUT) just popped! Apr 22 08:43:58 pm01 crmd: [4994]: WARN: do_log: FSA: Input I_DC_TIMEOUT from crm_timer_popped() received in state S_PENDING Apr 22 08:43:58 pm01 crmd: [4994]: info: do_state_transition: State transition S_PENDING -> S_ELECTION [ input=i_dc_timeout cause=c_timer_popped origin=crm_timer_popped ] Apr 22 08:43:59 pm01 crmd: [4994]: info: do_state_transition: State transition S_ELECTION -> S_PENDING [ input=i_pending cause=c_fsa_internal origin=do_election_count_vote ] ま だ ま だ 続 く

200 起 動 時 のログの 比 較 /var/log/pm_logconv.out (41 行 ) Apr 22 08:42:45 pm01 info: Starting Heartbeat Apr 22 08:42:46 pm01 info: Link pm01:eth1 is up. Apr 22 08:42:46 pm01 info: Link pm01:eth2 is up. Apr 22 08:42:49 pm01 info: Link pm02:eth1 is up. Apr 22 08:42:49 pm01 info: Link pm02:eth2 is up. Apr 22 08:42:50 pm01 info: Start "ccm" process. (pid=4989) Apr 22 08:42:50 pm01 info: Start "cib" process. (pid=4990) Apr 22 08:42:50 pm01 info: Start "lrmd" process. (pid=4991) Apr 22 08:42:50 pm01 info: Start "stonithd" process. (pid=4992) Apr 22 08:42:50 pm01 info: Start "attrd" process. (pid=4993) Apr 22 08:42:50 pm01 info: Start "crmd" process. (pid=4994) Apr 22 08:42:50 pm01 info: Start "ifcheckd" process. (pid=4995) Apr 22 08:44:04 pm01 info: Set DC node to pm02. Apr 22 08:44:10 pm01 info: Resource prmstonith2-1 tries to start. Apr 22 08:44:10 pm01 info: Resource prmstonith2-1 started. (rc=0) Apr 22 08:44:11 pm01 info: Attribute "pm02-eth1" is updated to "up". Apr 22 08:44:11 pm01 info: Attribute "pm02-eth2" is updated to "up". Apr 22 08:44:11 pm01 info: Resource prmstonith2-2 tries to start. Apr 22 08:44:11 pm01 info: Resource prmdiskd1:1 tries to start. Apr 22 08:44:11 pm01 info: Resource prmdiskd2:1 tries to start. Apr 22 08:44:11 pm01 info: Resource prmpingd:1 tries to start. Apr 22 08:44:12 pm01 info: Attribute "diskcheck_status" is updated to "normal". Apr 22 08:44:12 pm01 info: Resource prmdiskd2:1 started. (rc=0) Apr 22 08:44:12 pm01 info: Attribute "diskcheck_status_internal" is updated to "normal". Apr 22 08:44:12 pm01 info: Resource prmstonith2-2 started. (rc=0) Apr 22 08:44:12 pm01 info: Resource prmdiskd1:1 started. (rc=0) Apr 22 08:44:12 pm01 info: Attribute "default_ping_set" is updated to "100". Apr 22 08:44:12 pm01 info: Resource prmpingd:1 started. (rc=0) Apr 22 08:44:12 pm01 info: Attribute "diskcheck_status" is updated to "normal". Apr 22 08:44:12 pm01 info: Attribute "diskcheck_status_internal" is updated to "normal". Apr 22 08:44:12 pm01 info: Attribute "default_ping_set" is updated to "100". Apr 22 08:44:12 pm01 info: Resource prmex tries to start. Apr 22 08:44:12 pm01 info: Resource prmstonith2-3 tries to start. Apr 22 08:44:13 pm01 info: Resource prmstonith2-3 started. (rc=0) Apr 22 08:44:14 pm01 info: Resource prmex started. (rc=0) Apr 22 08:44:14 pm01 info: Resource prmfs tries to start. Apr 22 08:44:15 pm01 info: Resource prmfs started. (rc=0) Apr 22 08:44:16 pm01 info: Resource prmip tries to start. Apr 22 08:44:16 pm01 info: Resource prmip started. (rc=0) Apr 22 08:44:18 pm01 info: Resource prmpg tries to start. Apr 22 08:44:21 pm01 info: Resource prmpg started. (rc=0) Pacemakerのログ から 特 に 運 用 に 関 係 のあるものを 抽 出 メッセージ 変 換 する ツール

201 リソース 設 定

202 Crmコマンド ( 統 合 シェル)を 使 用

203 Crmコマンド ( 統 合 シェル)を 使 用 Pacemakerで 導 入 され リソース 設 定 からノード リソース 管 理 なども 行 える

204 Crmコマンド ( 統 合 シェル)を 使 用 リソース 設 定 をファイル( 例 :pg.crm) で 作 成 して コマンドを 実 行 # crm configure load update pg.crm

205 リソース 設 定

206 リソース 設 定 クラスタオプション リソースデフォルトオプション 個 別 のリソース 設 定 リソース 制 約 条 件

207 リソース 設 定 クラスタオプション property no-quorum-policy="ignore" stonith-enabled="true" startup-fencing="false" stonith-timeout="740s"

208 リソース 設 定 リソースデフォルトオプション rsc_defaults resource-stickiness="infinity" migration-threshold="1"

209 リソース 設 定 PostgreSQLのフェイルオーバグ ループのprimitive 宣 言 primitive prmex ocf:heartbeat:sfex params device="/dev/sdb1" index="1" collision_timeout="1" lock_timeout="10" monitor_interval="10" op start interval="0s" timeout="300s" on-fail="restart" op monitor interval="10s" timeout="90s" on-fail="restart" op stop interval="0s" timeout="60s" on-fail="fence" primitive prmfs ocf:heartbeat:filesystem params fstype="ext3" device="/dev/sdb2" directory="/var/lib/pgsql/9.0/data" op start interval="0s" timeout="60s" on-fail="restart" op monitor interval="10s" timeout="60s" on-fail="restart" op stop interval="0s" timeout="60s" on-fail="fence" primitive prmip ocf:heartbeat:ipaddr2 params ip=" " nic="eth0" cidr_netmask="24" op start interval="0s" timeout="60s" on-fail="restart" op monitor interval="10s" timeout="60s" on-fail="restart" op stop interval="0s" timeout="60s" on-fail="fence" primitive prmpg ocf:heartbeat:pgsql params pgctl="/usr/pgsql-9.0/bin/pg_ctl" start_opt="-p h " psql="/usr/pgsql-9.0/bin/psql" pgdata="/var/lib/pgsql/9.0/data" pgdba="postgres" pgport="5432" pgdb="template1" op start interval="0s" timeout="60s" on-fail="restart" op monitor interval="10s" timeout="60s" on-fail="restart" op stop interval="0s" timeout="60s" on-fail="fence"

210 リソース 設 定 PostgreSQLのフェイルオーバグ ループのグループ 宣 言 group grppg prmex prmfs prmip prmpg

211 リソース 設 定 ネットワーク 経 路 監 視 のprimitive 宣 言 primitive prmpingd ocf:pacemaker:pingd params name="default_ping_set" host_list=" " multiplier="100" dampen="0" op start interval="0s" timeout="60s" on-fail="restart" op monitor interval="10s" timeout="60s" on-fail="restart" op stop interval="0s" timeout="60s" on-fail="ignore"

212 リソース 設 定 ディスク 監 視 のprimitive 宣 言 primitive prmpingd ocf:pacemaker:pingd params name="default_ping_set" host_list=" " multiplier="100" dampen="0" op start interval="0s" timeout="60s" on-fail="restart" op monitor interval="10s" timeout="60s" on-fail="restart" op stop interval="0s" timeout="60s" on-fail="ignore" primitive prmdiskd1 ocf:pacemaker:diskd params name="diskcheck_status" device="/dev/sdb" interval="10" op start interval="0s" timeout="60s" on-fail="restart" op monitor interval="10s" timeout="60s" on-fail="restart" op stop interval="0s" timeout="60s" on-fail="ignore"

213 リソース 設 定 ネットワーク 経 路 監 視 ディスク 監 視 のclone 化 clone clnpingd prmpingd clone clndiskd1 prmdiskd1 clone clndiskd2 prmdiskd2

214 リソース 設 定 PostgreSQLリソースグループの 配 置 制 約 location rsc_location-grppg-1 grppg rule 200: #uname eq pm01 rule 100: #uname eq pm02 rule -INFINITY: not_defined default_ping_set or default_ping_set lt 100 rule -INFINITY: not_defined diskcheck_status or diskcheck_status eq ERROR rule -INFINITY: not_defined diskcheck_status_internal or diskcheck_status_internal eq ERROR

215 primitive prmstonith1-3 stonith:meatware params priority="3" stonith-timeout="600" hostlist="pm01" op start interval="0s" timeout="60s" op monitor interval="3600s" timeout="60s" op stop interval="0s" timeout="60s" STONITH 設 定 STONITH Pluginのprimitive 宣 言 primitive prmstonith1-1 stonith:external/stonith-helper params priority="1" stonith-timeout="70" hostlist="pm01" dead_check_target=" " standby_wait_time="15" standby_check_command="/usr/sbin/crm_resource -r prmex -W grep -q `hostname`" op start interval="0s" timeout="60s" on-fail="restart" op monitor interval="3600s" timeout="60s" on-fail="restart" op stop interval="0s" timeout="60s" on-fail="ignore" primitive prmstonith1-2 stonith:external/ssh params priority="2" stonith-timeout="300" hostlist="pm01" op start interval="0s" timeout="60s" on-fail="restart" op monitor interval="3600s" timeout="60s" on-fail="restart" op stop interval="0s" timeout="60s" on-fail="ignore"

216 STONITH 設 定 STONITH Pluginのgroup 宣 言 group grpstonith1 prmstonith1-1 prmstonith1-2 prmstonith1-3

217 STONITH 設 定 pm02 用 の 設 定 も 同 じように 実 施

218 STONITH 設 定 STONITH Pluginの 配 置 制 約 location rsc_location-grpstonith1-2 grpstonith1 rule -INFINITY: #uname eq pm01 location rsc_location-grpstonith2-3 grpstonith2 rule -INFINITY: #uname eq pm02

219 リソース 設 定 の 反 映 リソース 設 定 をエディタ( 例 :pg.crm) で 作 成 して 次 のコマンドを 実 行 # crm configure load update pg.crm

220 Pacemakerのクラスタ 状 態 表 示 # crm_mon -A

221 Pacemakerのクラスタ 状 態 表 示 ============ ( 省 略 ) ============ Online: [ pm02 pm01 ] Resource Group: grppg prmex (ocf::heartbeat:sfex): Started pm01 prmfs (ocf::heartbeat:filesystem): Started pm01 prmip (ocf::heartbeat:ipaddr2): Started pm01 prmpg (ocf::heartbeat:pgsql): Started pm01 Resource Group: grpstonith1 prmstonith1-1 (stonith:external/stonith-helper): Started pm02 prmstonith1-2 (stonith:external/ssh): Started pm02 prmstonith1-3 (stonith:meatware): Started pm02 Resource Group: grpstonith2 prmstonith2-1 (stonith:external/stonith-helper): Started pm01 prmstonith2-2 (stonith:external/ssh): Started pm01 prmstonith2-3 (stonith:meatware): Started pm01 Clone Set: clndiskd1 Started: [ pm02 pm01 ] Clone Set: clndiskd2 Started: [ pm02 pm01 ] Clone Set: clnpingd Started: [ pm02 pm01 ] Node Attributes: * Node pm02: + default_ping_set : diskcheck_status : normal + diskcheck_status_internal : normal + pm01-eth1 : up + pm01-eth2 : up PostgreSQL 関 連 の 設 定 STONITHの 設 定 ネットワーク 経 路 監 視 ディスク 監 視 の 設 定 pm02における 各 種 監 視 情 報 の 値 (ネットワーク 経 路 監 視 ディスク 監 視 ハートビートLAN 監 視 )

222 デモビデオ

223 デモビデオ1 リソースがなにも 設 定 されていない 状 態 から PostgreSQLのHAクラス タ 設 定 をロードします # crm configure load update pg.crm

224 デモビデオ2 リソース 故 障 (PostgreSQL)を 発 生 さ せます Pacemakerが 故 障 を 検 知 し リソー スをフェイルオーバさせます 故 障 復 旧 後 次 のコマンドで 故 障 状 態 をクリアします # crm resource cleanup prmpg

225 デモビデオ3 ネットワーク 経 路 監 視 でエラーを 発 生 させます Pacemakerが 故 障 を 検 知 し リソー スをフェイルオーバさせます

226 デモビデオ4 ハートビートLANをすべて 断 線 し ス プリットブレインを 発 生 させます STONITHが 発 動 されます stonithhelperにより 待 機 ノードがリブートさ れます

227 pm_crmgen ExcelまたはOpenOfficeで 編 集 した テンプレートファイルからcrmコマンド の 入 力 ファイルを 生 成 するツールで す

228 pm_crmgen 1) Excelのテンプレートファイルにリソース 定 義 を 記 載 /usr/share/pacemaker/pm_crmgen/pm_crmgen_env.xls Excel が 使 用 できるPCにコピーします テンプレートは 青 枠 の 中 に 値 を 記 入 していきます ファイルを デモビデオ 環 境 は このExcelの 設 定 例 シートのみで 作 成 Linux-HA Japan Project 228 監 視 間 隔 やタイムアウト 値 故 障 時 の 動 作 などを 入 力

229 pm_crmgen どのサーバを 稼 動 系 にするかといった リソース 配 置 制 約 の 設 定 も サーバ 名 を 記 述 するだけで 可 能 です リソース ID 稼 動 系 と 待 機 系 サー バを 指 定

230 pm_crmgen crm 用 設 定 ファイルに 変 換 2) CSV 形 式 でファイルを 保 存 crm_sample.csv な どとしてCSV 形 式 で 保 存 3) CSVファイルをサーバへ 転 送 CSVファイル 保 存 後 SCPやFTP 等 でpm_crmgenがインストール されたサーバへ 転 送

231 pm_crmgen crm 用 設 定 ファイルに 変 換 4) pm_crmgenコマンドでcrmファイルを 生 成 # pm_crmgen o crm_sample.crm crm_sample.csv 生 成 する 設 定 ファイル 名 3)で 転 送 した CSVファイル 5) crmコマンドを 実 行 してリソース 設 定 を 反 映 # crm configure load update crm_sample.crm 231

232 最 後 に 皆 さんへのメッセージ

233 Pacemakerは 商 用 製 品 にも 負 けな い 機 能 と 信 頼 性 を 持 ったHAクラスタ ソフトウェアです

234 まずは Pacemakerを 使 ってみてく ださい

235 皆 さんが 使 うことが OSSの 力 になり ます

236 できることからOSSへの 貢 献 を 始 め てみませんか?

237 できることからOSSへの 貢 献 を 始 め てみませんか? 質 問 バグ 報 告 新 規 RAの 提 案 エンハンスメントの 提 案

238 自 己 のスキルレベルアップを 確 認 し たくなったら

239 自 己 のスキルレベルアップを 確 認 し たくなったら LPIC304を 受 けてみましょう!

240 ご 静 聴 ありがとうございました!

241 新 ロゴ 誕 生 の 裏 話

242 昨 年 Pacemakerをプロモーションし ていこうとなったとき どうしても 気 に なったこと

243 Pacemakerのロゴ 医 療 用 のPacemakerっぽいのをどう にかしたい!

244 Linux-HA Japanで 投 票 で 新 しいロゴ を 作 りました

245 Linux-HA Japanで 投 票 で 新 しいロゴ を 作 りました これって うさぎ?

246 Linux-HA Japanで 投 票 で 新 しいロゴ を 作 りました はいそうです 続 きは Web( )で maker/0001 コラム:Pacemakerロゴあれこれ

247 調 子 にのって 本 家 の 開 発 者 にも 新 ロゴを 提 案 Linux Plumbers Conference 2010

248 意 外 にも 好 印 象!

249 公 開 投 票 でどっちがいいか 決 めよう ということに

250 公 開 投 票 の 結 果 は?

251 公 開 投 票 の 結 果 は?

252 というわけで 本 家 のロゴにも 採 用 でも カラーにこだわりが