挑戦！Pacemakerで自由自在にHAクラスタリング

Transcription

1 挑戦! Pacemakerで自由自在にクラスタリング 2010 年 9 月 11 日 OSC2010 Tokyo/Fall Linux-HA Japan プロジェクト 田中崇幸 Linux-HA Japan Project 1

2 本日の話題 1 Pacemaker って何? 2 Pacemaker のコンポーネント構成 3 Pacemaker でクラスタリングに挑戦しよう! 4 Linux-HA Japan プロジェクトについて Linux-HA Japan Project 2

3 1 Pacemaker って何? Linux-HA Japan Project 3

4 簡単に言うと Linux-HA Japan Project 4

5 Pacemaker とは? オープンソースの HA クラスタリングソフトウェアで実績のある Heartbeat の後継ソフトウェアです Pacemaker は サービスの可用性向上ができる HA クラスタを可能とした コストパフォーマンスに優れたオープンソースのクラスタリングソフトウェアです Linux-HA Japan Project 5

6 ここで本日の客層を知るために 皆さんに質問させてください Linux-HA Japan Project 6

7 その HA クラスタソフトである Pacemaker は 知っていましたか? Linux-HA Japan Project 7

8 同じく HA クラスタソフトウェアである Heartbeat バージョン 1 は 知っていましたか? Linux-HA Japan Project 8

9 さらに同じくHAクラスタソフトウェアである Heartbeatバージョン2 は知っていましたか? Linux-HA Japan Project 9

10 Pacemaker と Heartbeat は密接な関係があるため詳しいお話は後ほどお話します Linux-HA Japan Project 10

11 Pacemaker による HA クラスタの基本構成 Active/Standby(1+1) 構成 Pacemaker は 故障発生を検知した場合 待機系へフェイルオーバさせることによってサービスの継続が可能になります 1+1 構成例 フェイルオーバ Active Standby Active ハートビート 故障発生 故障 ハートビート Linux-HA Japan Project 11

12 Pacemaker では複数台構成も可能です Pacemaker では 2 台など複数台の運用系ノードに対し 待機系ノードを 1 台にする事も可能です (N+1 構成 ) 2+1 構成例 Heartbeat バージョン 1 では実現できませんでした Active2 をフェイルオーバ Active1 Active2 Standby Active1 故障 Active2 Active2 に故障発生 Linux-HA Japan Project 12

13 ここから Pacemaker の説明は Active / Standby (1+1 構成 ) の 単純構成を例としてお話します Linux-HA Japan Project 13

14 基本的動作 : ノード監視 相手ノードの監視 一定間隔で相手ノードと通信し 相手ノードの生死を確認します ( ハートビート通信 ) 相手ノードと通信できなくなった場合に 相手はダウンしたと判断し フェイルオーバなどのクラスタ制御の処理を行います Active ノード Standby ノード Active ノード Standby ノード リソース 生きてるかい? リソース Pacemaker Pacemaker リソース 故障 Pacemaker リソース Pacemaker OK! ハートビート通信断 ノード断 Linux-HA Japan Project 14

15 リソース とは? Pacemaker ではよく出てくる言葉なのでおぼえてください! HA クラスタにおけるリソースとは サービスを提供するために必要な構成要素の事で Pacemaker が起動 停止 監視等の制御対象とするアプリケーション NIC ディスク等を示します Linux-HA Japan Project 15

16 例えばこんなのが Pacemaker から見た リソース になります Active ノード リソース例 Apache Tomcat PostgreSQL DRBD Pacemaker から見ると PostgreSQL などのアプリケーションは リソース となります Pacemaker Linux-HA Japan Project 16

17 リソースエージェント とは? これまた Pacemaker ではよく出てくる言葉なのでおぼえてください! リソースエージェント (RA) とは そのリソースと Pacemaker を仲介するプログラムになり 主にシェルスクリプトで作成されています Pacemaker は リソースエージェントに対して指示を出し リソースの起動 (start) 停止 (stop) 監視 (monitor) の制御を行います Linux-HA Japan Project 17

18 リソース と リソースエージェント は こんな関係になります 起動 Active ノード リソース例 PostgreSQL 監視停止 Pacemaker は PostgreSQL などのリソースを リソースエージェントを介して起動 停止 監視等の制御をおこなうことができます PostgreSQL 用 RA Pacemaker Heartbeat バージョン 1 ではリソース監視の機能はありませんでした Linux-HA Japan Project 18

19 基本的動作 : リソース制御 リソースの制御 : 起動 (start) 停止 (stop) 監視 (monitor) 起動後は一定間隔でリソースエージェント (RA) を介してリソースを監視し 正しく動作していないと判断した場合にはフェイルオーバなどのリソース制御の処理を行います 生きてるかい? Activeノード Standbyノード リソースリソース RA OK で 生きてるかい? Active ノード 故障 リソース しーん Standby ノード リソース す! RA RA RA Pacemaker Pacemaker Pacemaker Pacemaker 開始 リソースが壊れたな リソースをStandby 側で起動してサービス継続して! Linux-HA Japan Project 19

20 Pacemaker では Web 系 DB 系 ネットワーク系 ファイルシステム系等のリソースエージェントが標準で多数用意されています 標準リソースエージェントの一例 分類 リソース ファイルシステム系 ディスクマウント Filesystem DB 系 PostgreSQL pgsql Web 系 Apache apache ネットワーク系 仮想 IPアドレス IPaddr2 従来の Heartbeat 2.x 2.x 用に作成された RA RAも使用が可能です リソースエージェント /usr/lib/ocf/resource.d/heartbeat/ /usr/lib/ocf/resource.d/pacemaker/ Linux-HA Japan Project 20

21 pgsql リソースエージェント 監視 (monitor) 処理の抜粋 #!/bin/sh ( 省略 ) pgsql_monitor() { if! pgsql_status then ocf_log info "PostgreSQL is down" return $OCF_NOT_RUNNING fi if [ "x" = "x$ocf_reskey_pghost" ] then runasowner "$OCF_RESKEY_psql -p $OCF_RESKEY_pgport -U $OCF_RESKEY_pgdba $OCF_RESKEY_pgdb -c 'select now();' >/dev/null 2>&1" else ( 省略 ) Linux-HA Japan Project 21

22 例 )Pacemaker と PostgreSQL リソース エージェントの関係 Pacemaker PostgreSQL 用リソースエージェント (pgsql) PostgreSQL 用のコマンド等に変換 リソース PostgreSQL start OK/NG monitor OK/NG stop OK/NG スタート制御 pgsql_start() 状態監視 pgsql_monitor() ストップ制御 pgsql_stop() pg_ctl start OK/NG select now(); OK/NG pg_ctl stop OK/NG Linux-HA Japan Project 22

23 リソースエージェントは自分でも作れます! #!/bin/sh. ${OCF_ROOT}/resource.d/heartbeat/.ocf-shellfuncs start 処理 () { } stop 処理 () { } monitor 処理 { } meta-data 処理 (){ } validate-all 処理 (){ } case $1 in start) start 処理 ();; stop) stop 処理 ();; monitor) monitor 処理 ();; esac 通常のシェルスクリプトの記述方法ですが いくつか必須のパラメータ呼び出しに対する処理を行う必要があります リソース開始 監視 停止の処理 RA 処理の振り分け Linux-HA Japan Project 23

24 2 Pacemaker の コンポーネント構成 Linux-HA Japan Project 24

25 Pacemaker のコンポーネント構成は 複数に分かれていて 単純ではないのです Linux-HA Japan Project 25

26 Pacemaker Heartbeat 2.x リソース制御部 Tengine CRM Pengine CCM RA Heartbeat バージョン 2 系のリソース制御部が Pacemaker として切り出されてリリースされました Pacemaker CRM: Cluster Resource Manager Tengine: Transition Engine Pengine: Policy engine CCM: Cluster Consensus Membership RA: Resource Agent Linux-HA Japan Project 26

27 ということは Pacemaker 単独では HAクラスタソフトとして動作しない? Linux-HA Japan Project 27

28 そのとおりです.. Linux-HA Japan Project 28

29 Pacemaker はクラスタ制御部のアプリケーションと組み合わせて使用しなければなりません.. Linux-HA Japan Project 29

30 ですが クラスタ制御部の選択肢が広がったと前向きにとらえてください! Linux-HA Japan Project 30

31 Corosync OpenAIS リソース制御部クラスタ制御部 OpenAIS コミュニティによって開発されたクラスタソフトである OpenAIS のクラスタ制御部は Corosync として切り出されてリリースされました Corosync クラスタ制御部 つまり Corosync も単独では HA HAクラスタとしては動作しない!?!? Linux-HA Japan Project 31

32 Heartbeat3 クラスタ制御部 Heartbeat 2.x リソース制御部 クラスタ制御部 Heartbeat バージョン 2 のクラスタ制御部は Heartbeat バージョン 3 として切り出されてリリースされました Heartbeat3 切り出されたので 2 2 からから 3 3 と数字が上がったのに 機能的にはデグレ!?!? Linux-HA Japan Project 32

33 Pacemaker はこの Corosync と Heartbeat3 のクラスタ制御部が選択可能です Linux-HA Japan Project 33

34 HA クラスタのリリース形態 Pacemaker は単独で動作させるのではなく 複数のコンポーネントの組み合わせとして提供されます 開発コミュニティでは クラスタソフトウェア間でのコンポーネントの共通化を行い コミュニティを統合していくという流れになっています Heartbeat 2.x Pacemaker Resource agents Cluster glue Pacemaker + Corosync リソース制御部クラスタ制御部 Pacemaker + Heartbeat3 リソース制御部クラスタ制御部 OpenAIS Heartbeat 3.x OpenAIS Corosync OpenAIS + Corosync リソース制御部クラスタ制御部 Linux-HA Japan Project 34

35 では プロダクト名は Pacemaker ぷらす って呼ぶの?? Linux-HA Japan Project 35

36 それでは呼びにくいので Linux-HA Japan Project 36

37 Pacemaker + Corosync も Pacemaker + Corosync リソース制御部クラスタ制御部 Linux-HA Japan Project 37

38 Pacemaker + Heartbeat3 も Pacemaker + Heartbeat3 リソース制御部クラスタ制御部 Linux-HA Japan Project 38

39 日本のLinux-HAコミュニティである Linux-HA Japan プロジェクトではプロダクト名を Pacemaker としています Linux-HA Japan Project 39

40 この 2 つのリリース形態を Pacemaker としています Pacemaker Pacemaker + Corosync リソース制御部クラスタ制御部 Heartbeat 2.x Pacemaker Resource agents Cluster glue Pacemaker + Heartbeat3 リソース制御部クラスタ制御部 OpenAIS Heartbeat 3.x OpenAIS Corosync OpenAIS + Corosync リソース制御部クラスタ制御部 Linux-HA Japan Project 40

41 Heartbeat3 と Corosync どちらのクラスタ制御部が 優れているの? Linux-HA Japan Project 41

42 Corosync のメリット デメリット クラスタ制御部 メリット 多ノード構成に向いている 10+1 構成くらいでも対応可能 クラスタの起動時間が短い ノード故障検出時間が短い スプリットブレイン回復時の動作が安定している オンラインによるノード追加 削除時の動作が安定している デメリット まだまだ開発途上である corosync-1 系は頻繁にバグフィックス版がリリースされている Linux-HA Japan Project 42

43 Heartbeat3 のメリット デメリット クラスタ制御部 メリット Heartbeat2 系のクラスタ制御部のため これまでの使用方法ならば実績と安定性がある デメリット 多ノード構成に向いていない 6+1 構成くらいが限界 スプリットブレイン回復時の動作が不安定 スプリットブレイン回復時のクラスタ復旧手順がやや複雑 オンラインによるノード追加 削除時の動作が不安定である Linux-HA Japan Project 43

44 HA クラスタ開発コミュニティの状況 ユーザが利用可能な HA クラスタ Heartbeat SLES11 HAE 年 9 月 9 日時点 Pacemaker + Corosync Pacemaker + Heartbeat3 Pacemaker + Corosync SUSE 主導 RedHat 主導 Heartbeat OpenAIS コミュニティ Pacemakerコミュニティ Pacemaker Heartbeat Heartbeatコミュニティ OpenAIS /14 リリース 5/19 リリース 6/23 リリース Pacemaker agents glue Heartbeat OpenAIS /31 リリース Corosync agents-1.0.x glue-1.0.x Heartbeat 3.0.x Pacemaker 1.2.x Corosync 2.0.x RedHat 主導 LINBIT 主導 RedHat 主導 RedHat Cluster コミュニティ 1 SUSE Linux Enterprise Server 11 High Availability Extension 2 RedHat Cluster Suite Cluster 3 Cluster 3.x RHCS 6 Beta 2 RHCS 6.x 2 Linux-HA Japan Project 44

45 3 Pacemaker でクラスタリングに 挑戦しよう! Linux-HA Japan Project 45

46 まずは Pacemaker の インストール方法に挑戦! Linux-HA Japan Project 46

47 Pacemaker rpm パッケージ一覧 CentOS5.5(x86_64) に HA クラスタを構築する場合の rpm パッケージ一覧です 2010 年 9 月 9 日現在で公開されている最新 rpm のバージョンです pacemaker el5.x86_64.rpm pacemaker-libs el5.x86_64.rpm corosync el5.x86_64.rpm corosynclib el5.x86_64.rpm cluster-glue el5.x86_64.rpm cluster-glue-libs el5.x86_64.rpm resource-agents el5.x86_64.rpm heartbeat el5.x86_64.rpm heartbeat-libs el5.x86_64.rpm Corosync Heartbeat3 どちらのクラスタ制御部を使用する場合でも インストールする rpm rpmパッケージは同じです Linux-HA Japan Project 47

48 こーんなに沢山の rpm を ダウンロード & インストール するのは大変 Linux-HA Japan Project 48

49 さらに パッケージの依存関係も よくわからん Linux-HA Japan Project 49

50 と思い インストールに 挫折しそうになるでしょうが Linux-HA Japan Project 50

51 CentOS5 系 (RHEL5 系 ) ならば yum を使えば インストールは簡単! Linux-HA Japan Project 51

52 CentOS5.5(x86_64) の場合の Pacemaker インストール方法その 1 ( ネットワーク接続環境があるのが前提です ) epel の yum リポジトリを設定 download.fedora.redhat.com から epel-release の rpm ファイルをダウンロードしてインストールします # wget wgethttp://download.fedora.redhat.com/pub/epel/5/x86_64/epel- release-5-3.noarch.rpm # rpm rpm -ivh -ivhepel-release-5-3.noarch.rpm Linux-HA Japan Project 52

53 clusterlabs.org の yum リポジトリを設定 clusterlabs.org から repo ファイルをダウンロードして yum リポジトリを設定します # cd cd /etc/yum.repo.d # wget wgethttp://clusterlabs.org/rpm/epel-5/clusterlabs.repo clusterlabs.repoの内容 name=high Availability/Clustering server server technologies (epel-5) baseurl= type=rpm-md gpgcheck=0 enabled=1 Linux-HA Japan Project 53

54 yum で簡単インストール! これだけでインストールは完成! # yum yum install pacemaker.x86_64 rpm の依存関係で以下のパッケージもネットワークからダウンロードして自動的にインストールされます pacemaker-libs (clusterlabs) corosync (clusterlabs) corosynclib (clusterlabs) cluster-glue (clusterlabs) cluster-glue-libs (clusterlabs) resource-agents (clusterlabs) heartbeat (clusterlabs) heartbeat-libs (clusterlabs) libesmtp (epel) Linux-HA Japan Project 54

55 CentOS5.5(x86_64) の場合の Pacemaker インストール方法その 2 Pacemaker リポジトリパッケージをダウンロード Linux-HA Japan プロジェクトから提供する Pacemaker リポジトリパッケージを sourceforge.jp からダウンロードします pacemaker el5.x86_64.repo.tar.gz をダウンロード 2010 年 9 月 9 日に日に新規リリース Linux-HA Japan Project 55

56 Pacemaker リポジトリパッケージを展開 sourceforge.jp からダウンロードしたリポジトリパッケージを /tmp 等のディレクトリで展開します # cd cd /tmp /tmp # tar tar zxvf zxvfpacemaker el5.x86_64.repo.tar.gz : pacemaker el5.x86_64.repo/rpm/heartbeat el5.x86_64.rpm pacemaker el5.x86_64.repo/rpm/libesmtp el5.x86_64.rpm pacemaker el5.x86_64.repo/rpm/pacemaker el5.x86_64.rpm pacemaker el5.x86_64.repo/pacemaker.repo pacemaker el5.x86_64.repo/repodata/ pacemaker el5.x86_64.repo/repodata/primary.xml.gz pacemaker el5.x86_64.repo/repodata/other.xml.gz pacemaker el5.x86_64.repo/repodata/filelists.xml.gz pacemaker el5.x86_64.repo/repodata/repomd.xml インストールする RPM ファイルと repo repoファイルが展開されます Linux-HA Japan Project 56

57 ローカル yum リポジトリを設定 展開した repo ファイルをローカル yum リポジトリとして設定します # cd cd /tmp/pacemaker el5.x86_64.repo/ # vi vi pacemaker.repo [pacemaker] name=pacemaker baseurl=file:///tmp/pacemaker el5.x86_64.repo/ gpgcheck=0 enabled=1 パッケージを展開したディレクトリを指定 ( デフォルトは /tmp ) Linux-HA Japan Project 57

58 repo ファイルを指定して その 1 と同様に yum で簡単インストール! # yum yum c c pacemaker.repo install pacemaker rpm の依存関係で以下のパッケージも /tmp 等に展開したディレクトリから自動的にインストールされます pacemaker-libs (pacemaker) corosync (pacemaker) corosynclib (pacemaker) cluster-glue (pacemaker) cluster-glue-libs (pacemaker) resource-agents (pacemaker) heartbeat (pacemaker) heartbeat-libs (pacemaker) libesmtp (pacemaker) Linux-HA Japan Project 58

59 リポジトリパッケージから Linux-HA Japan プロジェクトオリジナルの Pacemaker 追加パッケージも同時にインスール可能になる予定です # yum yum c c pacemaker.repo install pacemaker pm_diskd ディスク監視機能 pm_diskd( 予定 ) も同時にインストールする場合の例です Pacemaker リリース時 (2010 年 月予定 ) には Linux-HA Japan プロプロジェクトオリジナルのディスク監視機能もリポジトリパッケージに入る予定です Linux-HA Japan Project 59

60 VineSeed の場合の Pacemaker インストール方法 2010 年 7 月に VineLinux の開発版 VineSeed に Pacemaker を入れてもらいました (VineProject 様ありがとうございます!) apt-get で一発簡単インストール! # apt-get install pacemaker Linux-HA Japan Project 60

61 Pacemaker の設定に挑戦! Linux-HA Japan Project 61

62 Pacemaker では クラスタ制御部 リソース制御部 それぞれの設定が必要です Pacemaker + Heartbeat3 リソース制御部クラスタ制御部 Linux-HA Japan Project 62

63 クラスタ制御部の設定 (Heartbeat3) /etc/ha.d/ha.cf クラスタの基本的な動作情報 クラスタ内の全ノードに同じ内容のファイルを配置 クラスタ制御部 pacemaker on on debug debug 0 udpport keepalive 2 warntime deadtime initdead logfacility local1 local1 bcast bcasteth2 bcast bcasteth3 node node pm01 pm01 node node pm02 pm02 watchdog /dev/watchdog 基本的に Heartbeat 2.x の ha.cf と設定は同じです 従来の crm on から pacemaker on に変更となります ロギングには logd ではなく syslog を使用するため ログファシリティを設定します Linux-HA Japan Project 63

64 /etc/ha.d/authkeys クラスタを構成する認証キーを保持するファイル 認証キーが同じノード群でクラスタを構成 クラスタ内の全ノードに 同じ内容のファイルを配置 権限 ユーザ / グループは 600 root/root に設定 auth auth 1 1 sha1 hogehoge これも基本的に Heartbeat 2.x と設定は同じです 認証キー : 任意の文字列 認証キーの計算方法 :sha1, md5, crc を指定可 Linux-HA Japan Project 64

65 /etc/syslog.conf /etc/ha.d/ha.cf で指定したファシリティの設定が必要 /var/log/ha-log にログを出力するように設定します また 同内容のログを /var/log/messages に 2 重出力しないように local1.none の追記も行います *.info;mail.none;authpriv.none;cron.none;local1.none : ( 省略省略 ) : local1.* local1.* /var/log/messages /var/log/ha-log Linux-HA Japan Project 65

66 これでとりあえずは Pacemaker が起動します! # service heartbeat start Starting High-Availability services: [[ OK ]] 起動はクラスタ制御部である heartbeat を各ノードで起動します Linux-HA Japan Project 66

67 起動状態の確認 Pacemaker のコマンド /usr/sbin/crm_mon を利用して起動状態が確認できます # crm_mon ============ Last Last updated: Thu Thu Sep Sep 9 20:24: Stack: Stack: Heartbeat Current Current DC: DC: pm02 pm02 (fe705a39-541a-4b10-af22-de27d4c72d23) --partition with with quorum Version: bd754939df5150de7cd76835f98fe90851b677 2 Nodes Nodes configured, unknown expected votes votes 0 Resources configured. ============ Online: Online: [[ pm02 pm02 pm01 pm01 ]] クラスタに組み込まれているノード名が表示されます Linux-HA Japan Project 67

68 しかしこれだけでは リソース制御部の設定が無いのでリソースはなーんにも起動していません Linux-HA Japan Project 68

69 リソース制御部の設定 リソース制御部 リソース制御部には次のような設定が必要です どのようなリソースをどのように扱うか Apache PostgreSQL など どのリソース ( アプリケーション ) を起動するか? 起動 監視 停止時に関連する時間リソースの監視 (monitor) 間隔は何秒にするか?? リソースの配置などを指定 リソースをどのノードで起動するか??? Linux-HA Japan Project 69

70 設定方法には主に 2 通りあります cib.xml に XML 形式で設定を記述 従来の Heartbeat 2.x での方法 crm コマンドで設定 Pacemaker からの新機能 Linux-HA Japan Project 70

71 まずは XML 形式に挑戦! Linux-HA Japan Project 71

72 cib.xml /var/lib/heartbeat/crm/cib.xml リソースの定義等を設定する XML ファイルを作成します (.. (.. 略..)..) <primitive <primitive class="ocf" class="ocf" id="prmip" id="prmip" provider="heartbeat" provider="heartbeat" type="ipaddr2"> type="ipaddr2"> <instance_attributes <instance_attributesid="prmip-instance_attributes"> <nvpair <nvpairid="prmip-instance_attributes-ip" name="ip" name="ip" value=" "/> <nvpair <nvpairid="prmip-instance_attributes-nic" name="nic" name="nic" value="eth1"/> value="eth1"/> <nvpair <nvpairid="prmip-instance_attributes-cidr_netmask" name="cidr_netmask" value="24"/> value="24"/> </instance_attributes> <operations> <operations> <op <op id="prmip-start-0s" id="prmip-start-0s" interval="0s" interval="0s" name="start" name="start" on-fail="restart" on-fail="restart" timeout="60s"/> timeout="60s"/> <op <op id="prmip-monitor-10s" interval="10s" interval="10s" name="monitor" name="monitor" on-fail="restart" on-fail="restart" timeout="60s"/> timeout="60s"/> <op <op id="prmip-stop-0s" id="prmip-stop-0s" interval="0s" interval="0s" name="stop" name="stop" on-fail="block" on-fail="block" timeout="60s"/> timeout="60s"/> </operations> </operations> </primitive> </primitive> (.. 略..) XMLの記法を知る (.. 略..) 必要があり難しい XMLの記法を知る Linux-HA Japan Project 72

73 Heartbeatバージョン2を使おうとして このXMLで挫折した人は多いはずです Linux-HA Japan Project 73

74 Pacemaker での新機能 crm コマンドに挑戦! Linux-HA Japan Project 74

75 crm コマンド crm コマンドは クラスタ状態を管理するためのコマンドラインインターフェイスです crm サブコマンド resource node options configure status help exit オプション show : cleanup クラスタのリソース管理を行います status : クラスタのノード管理を行います standby show : crmコマンドの設定を行います edit load : CIBオブジェクトの管理を行います commit クラスタの状態を表示します crmコマンドのサブコマンドを表示します crmコマンドを終了します Linux-HA Japan Project 75

76 crmコマンドで 仮想 IPアドレス設定と Apacheを起動するクラスタ設定に挑戦! Linux-HA Japan Project 76

77 crm コマンド実行例 crm コマンドを起動し リソース設定モードに入ります # crm crm crm(live)# configure Linux-HA Japan Project 77

78 Pacemaker には STONITH という強制電源断機能がありますが ここでは使用しない設定を行います crm(live)configure# property no-quorum-policy="ignore" stonith-enabled="false" startup-fencing="false" Linux-HA Japan Project 78

79 IPaddr2 リソースエージェントを使用し 仮想 IP アドレスのリソース設定を行います 仮想 IP 設定のリソース ID を prmip とします crm(live)configure# primitive prmip ocf:heartbeat:ipaddr2 params ip=" " nic="eth1" cidr_netmask="24" op op start start interval="0s" timeout="60s" on-fail="restart" op op monitor interval="10s" timeout="60s" on-fail="restart" op op stop stop interval="0s" timeout="60s" on-fail="block" Linux-HA Japan Project 79

80 続けて apache リソースエージェントを使用し Apache のリソース設定を行います Apache 設定のリソース ID を prmht とします crm(live)configure# primitive prmht ocf:heartbeat:apache params statusurl=" testregex="hogehoge" httpd="/usr/sbin/httpd" configfile="/etc/httpd/conf/httpd.conf" op op start start interval="0s" timeout="60s" on-fail="restart" op op monitor interval="10s" timeout="60s" on-fail="restart" op op stop stop interval="0s" timeout="60s" on-fail="block Linux-HA Japan Project 80

81 設定した IPaddr2 apache の 2 つのリソースをグルーピングする設定を行います crm(live)configure# group grphoge prmip prmht グループ ID を grphoge とします Linux-HA Japan Project 81

82 ここまで設定リソース リソースグループを確認します crm(live)configure# crm(live)configure# show show node node $id="a0dacbcf-346f-4003-ab5b-15422e0e4697" pm01 pm01 node node $id="fe705a39-541a-4b10-af22-de27d4c72d23" pm02 pm02 primitive primitive prmht prmhtocf:heartbeat:apache params paramsstatusurl=" testregex="hogehoge" httpd="/usr/sbin/httpd" configfile="/etc/httpd/conf/httpd.conf" op op start start interval="0s" interval="0s" timeout="60s" timeout="60s" on-fail="restart" on-fail="restart" op op monitor monitor interval="10s" interval="10s" timeout="60s" timeout="60s" on-fail="restart" on-fail="restart" op op stop stop interval="0s" interval="0s" timeout="60s" timeout="60s" on-fail="block" on-fail="block" primitive primitive prmip prmipocf:heartbeat:ipaddr2 params paramsip=" " nic="eth1" nic="eth1" cidr_netmask="24" cidr_netmask="24" op op start start interval="0s" interval="0s" timeout="60s" timeout="60s" on-fail="restart" on-fail="restart" op op monitor monitor interval="10s" interval="10s" timeout="60s" timeout="60s" on-fail="restart" on-fail="restart" op op stop stop interval="0s" interval="0s" timeout="60s" timeout="60s" on-fail="block" on-fail="block" group group grphoge grphogeprmip prmipprmht prmht property property $id="cib-bootstrap-options" dc-version=" bd754939df5150de7cd76835f98fe90851b677" cluster-infrastructure="heartbeat" no-quorum-policy="ignore" stonith-enabled="false" startup-fencing="false Linux-HA Japan Project 82

83 コミットを実行するとリソースが起動されます crm(live)configure# commit コミットされると cib.xml に反映されてリソースが起動されます つまりリソース設定の根っこは どちらにしろ cib.xml なのです Linux-HA Japan Project 83

84 というように crmコマンドを熟知すれば 自由自在にクラスタリングできます! Linux-HA Japan Project 84

85 しかしこの例では リソース配置制約等の設定が まだおこなわれていないなど Linux-HA Japan Project 85

86 まだまだ リソース制御部設定完了までの イバラの道は続きます Linux-HA Japan Project 86

87 が しかし crmコマンドがわからなくてもまとめて設定できる簡単ツールを紹介します! Linux-HA Japan Project 87

88 crm は恐くない! 複雑なリソース制御の設定も crm ファイル編集ツール pm_crmgen で解決! pm_crmgen を使用すれば テンプレート Excel ファイルから簡単にリソース制御部を設定する事が可能です Linux-HA Japan プロジェクトで crm ファイル編集ツールを開発中! 開発版は Linux-HA Japan Japanプロジェクトのリポジトリよりダウンロード可能です Linux-HA Japan Project 88

89 crm ファイル編集ツールで簡単設定! 9/9 時点での開発版での状況です 1 pm_crmgen をインストール rpm コマンドでインストールする場合 rpm rpmパッケージ名は予定名です プログラム自体は python pythonで作成されています # rpm ivh pm_crmgen-1.0.noarch.rpm sourceforge.jp から配布予定の Pacemaker リポジトリパッケージに含めるため yum コマンドでもインストール可能になる予定です # yum c c pacemaker.repo pm_crmgen Linux-HA Japan Project 89

90 2 テンプレート Excel ファイルにリソース定義を記載 青枠線の中に値を記入します 仮想 IP を Active ノードに付与する場合の例です IPaddr2 のリソースエージェントを使用 付与する仮想 IP IPの IP IPアドレス等を入力 監視間隔などを入力 Linux-HA Japan Project 90

91 リソースグループをどのノードで起動させるかのリソース配置制約の設定も可能です Active と Standby ノードを指定 Linux-HA Japan Project 91

92 3 CSV 形式でファイルを保存 仮想 IP を Active ノードに付与する場合の例です crm_sample.csv として CSV 形式で保存 4 CSV ファイルをノードへ転送 CSV ファイル保存後 SCP コマンド等で Active 系ノードへ転送 Active 系 Standby 系どちらか片方のノードに転送すれば OK! Linux-HA Japan Project 92

93 5 pm_crmgen コマンドで crm ファイルを生成 # pm_crmgen o o crm_sample.crm crm_sample.csv 生成する crm ファイル名 3 で転送した CSV ファイル Linux-HA Japan Project 93

94 出来上がった crm ファイル例 (.. (.. 略..)..) Excel ファイルで記述した ### ### Primitive Configuration ### 仮想 ### 仮想 IP IPを設定する primitive prmip ocf:heartbeat:ipaddr2 crm crmサブコマンドが params ファイルに記述されます ip=" " nic="eth1" cidr_netmask="24" op op start start interval="0s" timeout="60s" on-fail="restart" op op monitor interval="10s" timeout="60s" on-fail="restart" op op stop stop interval="0s" timeout="60s" on-fail="block (.. (.. 略..)..) Linux-HA Japan Project 94

95 6 crm コマンドを実行してリソース設定を反映 # crm crm(live)# configure crm(live)configure# load update crm_sample.crm crm(live)configure# commit 5 で生成した crm ファイル名 commit で設定が反映される または以下のように crm コマンド一発で反映も可能です # crm crmconfigure load load update crm_sample.crm Linux-HA Japan Project 95

96 これでリソースも起動しました! /usr/sbin/crm_mon を利用して起動したリソースが確認できます ============ Last Last updated: Thu Thu Sep Sep 9 21:13: Stack: Stack: Heartbeat Current Current DC: DC: pm02 pm02 (fe705a39-541a-4b10-af22-de27d4c72d23) --partition with with quorum Version: bd754939df5150de7cd76835f98fe90851b677 2 Nodes Nodes configured, unknown expected votes votes 2 Resources configured. ============ Online: Online: [[ pm02 pm02 pm01 pm01 ]] Resource Group: Group: grphoge prmip prmip (ocf::heartbeat:ipaddr2): Started Started pm01 pm01 prmht prmht (ocf::heartbeat:apache): Started Started pm01 pm01 Clone Clone Set: Set: clnpingd Started: [[ pm02 pm02 pm01 pm01 ]] ノード 1 でリソースグループが起動されました ( 仮想仮想 IP IPが付与されて Apache が起動 ) Linux-HA Japan Project 96

97 もしノード故障が発生すると Linux-HA Japan Project 97

98 ============ Last Last updated: Thu Thu Sep Sep 9 21:15: Stack: Stack: Heartbeat Current Current DC: DC: pm02 pm02 (fe705a39-541a-4b10-af22-de27d4c72d23) --partition with with quorum Version: bd754939df5150de7cd76835f98fe90851b677 2 Nodes Nodes configured, unknown expected votes votes 2 Resources configured. ============ Online: Online: [[ pm02 pm02 ]] OFFLINE: [[ pm01 pm01 ]] ノード 2 からはノード 1 が見えなくなったので OFFLINE と表示されます Resource Group: Group: grphoge prmip prmip (ocf::heartbeat:ipaddr2): Started Started pm02 pm02 prmht prmht (ocf::heartbeat:apache): Started Started pm02 pm02 Clone Clone Set: Set: clnpingd Started: [[ pm02 pm02 ]] Stopped: [[ prmpingd:1 ]] フェイルオーバしてノード 2 でリソースグループが起動されますます Linux-HA Japan Project 98

99 もしリソース故障が発生すると Linux-HA Japan Project 99

100 ============ Last Last updated: Thu Thu Sep Sep 9 21:41: Stack: Stack: Heartbeat Current Current DC: DC: pm01 pm01 (a0dacbcf-346f-4003-ab5b-15422e0e4697) --partition with with quorum Version: bd754939df5150de7cd76835f98fe90851b677 2 Nodes Nodes configured, unknown expected votes votes 2 Resources configured. ============ Online: Online: [[ pm02 pm02 pm01 pm01 ]] フェイルオーバしてノード 2 でリソースグループが起動されますます Resource Group: Group: grphoge prmip prmip (ocf::heartbeat:ipaddr2): Started Started pm02 pm02 prmht prmht (ocf::heartbeat:apache): Started Started pm02 pm02 Clone Clone Set: Set: clnpingd Started: [[ pm02 pm02 pm01 pm01 ]] リソース故障状況が表示されます ノード 1 で prmht(apache) が故障中です Failed Failed actions: prmht_monitor_10000 (node=pm01, call=10, rc=7, rc=7, status=complete): not not running running Linux-HA Japan Project 100

101 4 Linux-HA Japan プロジェクトについて Linux-HA Japan Project 101

102 Linux-HA Japan プロジェクトの経緯 Heartbeat( ハートビート ) の日本における更なる普及展開を目的として 2007 年 10 月 5 日 Linux-HA (Heartbeat) 日本語サイト を設立しました その後 日本での Linux-HA コミュニティ活動として Heartbeat-2.x の rpm バイナリと Heartbeat 機能追加パッケージを提供しています Linux-HA Japan Project 102

103 Pacemaker の情報やパッケージも Linux-HA Japanプロジェクトから提供中です Linux-HA Japan Project 103

104 Linux-HA Japan プロジェクト URL Pacemaker 関連情報の公開用として SourceForge.jp に新しいウェブサイトが 6/25 にオープンしました これから随時情報を更新していきます! Linux-HA Japan Project 104

105 Linux-HA Japan 開発者向けサイト Pacemaker リポジトリパッケージが公開されています pm_crmgen などの Pacemaker 追加パッケージの開発ソースコードも参照可能です RHEL/CentOS 用 Heartbeat-2.x rpm バイナリの提供や 機能追加パッケージ類も GPL ライセンスにて公開しています Linux-HA Japan Project 105

106 clusterlabs.org 本家 Pacemaker サイト Fedora, opensuse, EPEL(CentOS/RHEL) の rpm がダウンロード可能です Linux-HA Japan Project 106

107 実は 本家 Pacemaker のロゴは これ です Linux-HA Japan Project 107

108 しかし これ では いかにも医療機器なので Linux-HA Japan Project 108

109 Pacemaker ロゴ Linux-HA Japan プロジェクトでは Pacemaker のロゴを作成しました これってうさぎ?? Linux-HA Japan Project 109

110 Linux-HA Japan メーリングリスト 日本における HA クラスタについての活発な意見交換の場として Linux-HA Japan 日本語メーリングリスト も開設しています Linux-HA-Japan ML では Pacemaker Heartbeat3 Corosync その他 DRBD など HA クラスタに関連する話題は全て歓迎します! ML 登録用 URL ML アドレス Linux-HA Japan Project 110

111 Linux-HA Japan 検索 Linux-HA Japan Project 111

112 ご清聴ありがとうございました Linux-HA Japan Project 112