実演！Pacemakerで楽々クラスタリング

Size: px

Start display at page:

Download "実演！Pacemakerで楽々クラスタリング"

しなつあきます
7 years ago
Views:

1 実演! Pacemaker で楽々クラスタリング 2011 年 4 月 16 日 OSC2011 Kansai@Kobe Linux-HA Japan 田中崇幸 Linux-HA Japan Project 1

2 本日のお話 1 Linux-HA Japanについて 2 本日のPacemakerデモ環境 3 インストール設定方法を実演します! 4 フェイルオーバ系切り替えを実演します! Linux-HA Japan Project 2

3 1 Linux-HA Japan について Linux-HA Japan Project 3

4 Linux-HA Japan の経緯 Heartbeat( ハートビート ) の日本における更なる普及展開を目的として 2007 年 10 月 5 日 Linux-HA (Heartbeat) 日本語サイトを設立しましたその後日本での Linux-HA コミュニティ活動として Heartbeat2 の rpm バイナリとオリジナルの Heartbeat 機能追加用パッケージを提供してきました Linux-HA Japan Project 4

5 Linux-HA Japan URL ( 一般向け ) ( 開発者向け ) Pacemaker 情報の公開用として新しい一般向けウェブサイトが 2010/6/25 にオープンしました本日の資料もこのサイトから公開予定です! Linux-HA Japan Project 5

Linux-HA Japan メーリングリスト日本における HA クラスタについての活発な意見交換の場として Linux-HA Japan 日本語メーリングリストも開設しています Linux-HA-Japan ML では Pacemaker Heartbeat3 Corosync DRBD など HA

6 Linux-HA Japan メーリングリスト日本における HA クラスタについての活発な意見交換の場として Linux-HA Japan 日本語メーリングリストも開設しています Linux-HA-Japan ML では Pacemaker Heartbeat3 Corosync DRBD など HA クラスタに関連する話題は歓迎! ML 登録用 URL のメーリングリストをクリック ML アドレススパム防止のために登録者以外の投稿は許可制です Linux-HA Japan Project 6

7 にて連載中! Pacemaker でかんたんクラスタリング体験してみよう! 合計 4 回の連載で Pacemaker の概要説明から構築方法保守運用にいたるまで紹介しています Linux-HA Japan Project 7

8 2 本日の Pacemaker デモ環境 Linux-HA Japan Project 8

9 本日の Pacemaker デモ環境ハードウェアノート PC (Core2Duo 2.26MHz メモリ 2G) OS CentOS 5.6 x86_64 HA クラスタ Pacemaker ( インストールの実演を行います ) クラスタ化するアプリケーション PostgreSQL ( インストール済み ) 仮想環境 Xen (CentOS 5.6 同梱版 ) Domain-U は 2 ドメインで構成各ドメインには CPU 1 メモリ 480M を割り当て Linux-HA Japan Project 9

10 Pacemaker デモ構成 demo (Domain-0) サービス LAN 仮想 IP pm1 eth eth インターコネクト LAN1 eth eth pm2 PostgreSQL eth インターコネクト LAN2 eth HW 制御ボード eth 排他制御領域 /dev/xvdb1 eth HW 制御ボード DB 領域 /dev/xvdb2 管理用 LAN Linux-HA Japan Project 10

11 Pacemaker デモ機構成 (Xen 仮想 NW) demo (Domain-0) pm1 (Domain-U) eth0 eth1 eth2 eth3 xenbr0 ( サービス LAN 用ブリッジ ) pdummy0 xenbr1 ( インターコネクト LAN1 用ブリッジ ) pdummy1 eth0 eth1 eth2 eth3 pm2 (Domain-U) xenbr2 ( インターコネクト LAN2 用ブリッジ ) pdummy2 xenbr3 ( 管理 LAN 用ブリッジ ) peth0 dummy0 dummy1 dummy2 eth0 Linux-HA Japan Project 11

12 Pacemaker デモ機構成 (Xen 仮想ディスク ) pm1 (Domain-U) demo (Domain-0) pm2 (Domain-U) /dev/xvda1 (OS 領域 ) /dev/xvda2 (swap) /dev/xvda pm1 OS 領域 /dev/lvm/pm1 pm2 OS 領域 /dev/lvm/pm2 /dev/xvda /dev/xvda1 (OS 領域 ) /dev/xvda2 (swap) /dev/xvdb1 ( 排他制御 ) /dev/xvdb2 (DB 領域 ) /dev/xvdb 共有データ領域 /dev/lvm/vol03 /dev/xvdb /dev/xvdb1 ( 排他制御 ) /dev/xvdb2 (DB 領域 ) Linux-HA Japan Project 12

13 Pacemaker デモリソース構成これら 4 つのリソースはグループ設定しますディスク排他制御 (sfex) 共有ディスクの排他制御を行います DB データ領域マウント (Filesystem) 共有ディスクにある DB データ領域のマウント制御を行います仮想 IP 割り当て (IPaddr2) サービス提供用の仮想 IP を割り当てます PostgreSQL 制御 (pgsql) PostgreSQL の制御を行います Linux-HA Japan Project 13

14 本日は STONITH のデモも行います STONITH (stonith-helper, xen0, meatclient) STONITH は Shoot The Other Node In The Head の略で監視対象サーバの異常を検出したときに強制的にそのサーバをダウンさせるノードフェンシングを行いますネットワーク監視 (pingd) 指定した IP アドレスに ping 送信しネットワーク疎通があるかどうかの監視を行いますディスク監視 (diskd) 指定したディスクデバイスにアクセスしディスクの正常性確認を行います Linux-HA Japan Project 14

15 Pacemaker デモ機フェンシング (STONITH) 構成 demo (Domain-0) pm1 (Domain-U) STONITH eth0 eth1 eth2 eth3 xenbr0 ( サービス LAN 用ブリッジ ) pdummy0 xenbr1 ( インターコネクト LAN1 用ブリッジ ) eth0 eth1 eth2 eth3 pm2 (Domain-U) pdummy1 xenbr3 経由で STONITH を実行する xenbr2 ( インターコネクト LAN2 用ブリッジ ) pdummy2 xenbr3 ( 管理 LAN 用ブリッジ ) peth0 dummy0 xm destroy dummy1pm2 dummy2 SSH eth0 Linux-HA Japan Project 15

16 3 インストール設定方法を実演します! Linux-HA Japan Project 16

17 インストール方法の種類 1. yum を使ってネットワークインストール Pacemaker 本家 (clusterlabs) の yum のリポジトリを使用サーバにインターネット接続必須 2. ローカルリポジトリ + yum を使ってインストール Linux-HA Japan 提供のリポジトリパッケージを使用 Linux-HA Japan オリジナルパッケージも含まれる 3. rpm を手動でインストール沢山の rpm を個別にダウンロードする必要あり 4. ソースからインストール最新の機能をいち早く試せるコンポーネントが多いのでコンパイルは面倒本日は 2 の構築デモを行います Linux-HA Japan Project 17

18 ~ ローカルリポジトリ + yum を使ってインストール ~ ( サーバにインターネット接続環境がなくても OK!) 1. Pacemaker リポジトリパッケージをダウンロード Linux-HA Japan 提供の Pacemaker リポジトリパッケージを sourceforge.jp からダウンロードしておきます pacemaker el5.x86_64.repo.tar.gz をダウンロード Pacemaker 版は 11/26 リリース Linux-HA Japan Project 18

19 ~ ローカルリポジトリ + yum を使ってインストール ~ 2. Pacemaker リポジトリパッケージを展開 sourceforge.jp からダウンロードしたリポジトリパッケージを /tmp で展開します # cd /tmp # tar zxvf pacemaker el5.x86_64.repo.tar.gz : pacemaker el5.x86_64.repo/rpm/pacemaker el5.x86_64.rpm pacemaker el5.x86_64.repo/pacemaker.repo pacemaker el5.x86_64.repo/repodata/ pacemaker el5.x86_64.repo/repodata/primary.xml.gz pacemaker el5.x86_64.repo/repodata/other.xml.gz pacemaker el5.x86_64.repo/repodata/filelists.xml.gz pacemaker el5.x86_64.repo/repodata/repomd.xml インストールする RPM ファイルと repo ファイル等が展開されます Linux-HA Japan Project 19

20 ~ ローカルリポジトリ + yum を使ってインストール ~ 3. yum でインストール! Linux-HA Japan オリジナルパッケージも同時にインストールします # cd /tmp/pacemaker el5.x86_64.repo/ # yum c pacemaker.repo install pacemaker pm_crmgen pm_diskd pm_logconv-hb pm_extras pm_crmgen el5.noarch.rpm crm 用設定ファイル編集ツール pm_diskd el5.x86_64.rpm ディスク監視アプリとRA pm_logconv-hb el5.noarch.rpm ログ変換ツール pm_extras el5.x86_64.rpm その他オリジナル RA 等ぜひぜひ使ってみてください! Linux-HA Japan Project 20

21 ここでやっと Pacemaker インストールを実演します! Linux-HA Japan Project 21

22 クラスタ制御部基本設定 /etc/ha.d/ha.cf クラスタ制御部の基本設定ファイルクラスタ内の全サーバに同じ内容のファイルを設置 pacemaker on debug 0 udpport 694 keepalive 2 warntime 7 deadtime 10 initdead 48 logfacility local1 bcast eth1 bcast eth2 node pm1 node pm2 watchdog /dev/watchdog respawn root /usr/lib64/heartbeat/ifcheckd pm_extras をインストールしこの ifcheckd の設定を追加すればインターコネクト LAN の接続状況も確認可能です Linux-HA Japan Project 22

23 クラスタ制御部基本設定 /etc/ha.d/authkeys サーバ間の認証キーを設定するファイルクラスタ内の全サーバに同じ内容のファイルを配置所有ユーザ / グループパーミッションは root/root rw---- に設定 auth 1 1 sha1 hogehoge これも基本的に Heartbeat2 と設定は同じです認証キー : 任意の文字列認証キーの計算方法 :sha1, md5, crc を指定可 Linux-HA Japan Project 23

24 クラスタ制御部基本設定 /etc/syslog.conf 必須の設定ではないが多くのログが /var/log/messages に出力されるため出力先を個別のファイルに変更するのがお勧め以下は /var/log/ha-log への出力例設定変更後は syslog の再起動が必要 *.info;mail.none;authpriv.none;cron.none;local1.none /var/log/messages : ( 省略 ) : local1.info /var/log/ha-log ha.cf で設定した logfacility 名 Linux-HA Japan Project 24

25 ここまでいけば Pacemaker が起動できます! # /etc/init.d/heartbeat start 2 サーバで実行 Starting High-Availability services: [ OK ] Linux-HA Japan Project 25

26 ということで Pacemaker を起動してみます! Linux-HA Japan Project 26

27 起動確認 Pacemaker の状態表示コマンドである crm_mon コマンドを利用します # crm_mon ============ Last updated: Wed Nov 10 14:28: Stack: Heartbeat Current DC: pm2 (a59a9306-d6e bb0c-a5aea0615e61) - partition with quorum Version: da b5ff0bee f8fd02f 2 Nodes configured, unknown expected votes 0 Resources configured. ============ Online: [ pm2 pm1 ] クラスタに組み込まれているサーバ名が表示されます Linux-HA Japan Project 27 Linux-HA Japan Project

28 -fa オプションを付与するとインターコネクト LAN の接続状況も確認可能です # crm_mon -fa ============ ~ 省略 ~ ============ Online: [ pm2 pm1 ] Node Attributes: * Node pm2: + pm1-eth1 : up + pm1-eth2 : up * Node pm1: + pm2-eth1 : up + pm2-eth2 : up インターコネクトが UP されているのが確認可能 Linux-HA Japan Project 28

29 ここで Pacemaker 状態表示とインターコネクト LAN 故障を実演します! デモ例は次ページ Linux-HA Japan Project 29

インターコネクト LAN1 を故障させてみるサービス LAN pm1 eth0 192.168.0.22 eth1 192.168.10.22 疑似故障 # ifdown eth1 故障 eth0 192.168.0.23 eth1 192.168.10.23 pm2 DC eth2 192.168.20.

30 インターコネクト LAN1 を故障させてみるサービス LAN pm1 eth eth 疑似故障 # ifdown eth1 故障 eth eth pm2 DC eth eth HW 制御ボード eth 排他制御領域 /dev/xvdb1 eth HW 制御ボード DB 領域 /dev/xvdb2 管理用 LAN Linux-HA Japan Project 30

31 これだけではリソース設定が無いのでなーんにもアプリケーションは起動していません Linux-HA Japan Project 31

32 リソース計画リソース制御するには事前に計画が必要リソースの選択 Apache PostgreSQL NW 監視など何を使用するか? リソースエージェント (RA) がなければ予め自作してみるか? リソースの動作の定義リソースの監視 (monitor) 間隔は何秒にするか? タイムアウトは? 故障時はどのように動作させるか? リソースエージェント (RA) に与えるパラメータは? リソース配置連携の定義リソースをどのサーバで起動させるか? リソースの起動順番は? Linux-HA Japan Project 32

33 共有ディスク排他制御機能 sfex (Shared Disk File EXclusiveness Control Program) sfex は共有ディスクの所有権を制御するリソースです共有ディスク上のデータパーティションを使うリソースと一緒にリソースグループを作ります所有権を持ったサーバのリソースのみがデータパーティションにアクセスできます pm1 リソースグループ sfex Filesystem IPaddr2 pgsql 所有権読み書き接続 OK pm1 sfex 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 所有権読み書き接続 NG pm2 リソースグループ sfex Filesystem IPaddr2 pgsql Linux-HA Japan Project 33

34 共有ディスク排他制御機能 (sfex) 排他制御領域の初期化共有ディスク排他制御機能 (sfex) を使用するためには排他制御領域を初期化する必要性があります # sfex_init n 1 /dev/xvdb1 排他制御領域のデバイス名を指定する ext3 などのファイルシステムを作成する必要性はありません Linux-HA Japan Project 34

35 リソース設定方法主に 2 通り cib.xml ファイルに XML 形式で設定を記述従来の Heartbeat 2 での方法 XML を手で書く必要があり面倒 crm コマンドで設定 Pacemaker からの新機能 crm ファイル編集ツールは Linux-HA Japan より提供本日は crm ファイル編集ツールを使用して構築デモを行います Linux-HA Japan Project 35

36 crm ファイル編集ツール pm_crmgen 11/26 に pm_crmgen 1.0 版をリリース Linux-HA Japan で crm ファイル編集ツールを開発! Excel のテンプレートファイルから簡単に crm 用設定ファイルを生成してくれるツールですリポジトリパッケージに含まれていますし個別にダウンロードも可能です Linux-HA Japan Project 36

37 どのサーバが優先的にActive? NW 監視は? NWが壊れた時の挙動は? STONITHの設定は? など細かい挙動の設定も可能です! Linux-HA Japan Project 37

38 crm ファイル編集ツール設定イメージ 1) Excel のテンプレートファイルにリソース定義を記載 /usr/share/pacemaker/pm_crmgen/pm_crmgen_env.xls Excel が使用できる PC にコピーしますテンプレートは青枠の中に値を記入していきますファイルを本日の仮想デモ環境はこの Excel の設定例シートでほとんど構築が可能です! 監視間隔やタイムアウト値故障時の動作などを入力 Linux-HA Japan Project 38

39 crm ファイル編集ツールどのサーバを Active にするかといったリソース配置制約の設定もサーバ名を記述するだけで可能ですリソース ID Active と Standby サーバを指定 Linux-HA Japan Project 39

40 crm ファイル編集ツール crm 用設定ファイルに変換 2) CSV 形式でファイルを保存 crm_sample.csv などとして CSV 形式で保存 3) CSV ファイルをサーバへ転送 CSVファイル保存後 SCPやFTP 等でpm_crmgenがインストールされたサーバへ転送 Linux-HA Japan Project 40

41 crm ファイル編集ツール crm 用設定ファイルに変換 4) pm_crmgen コマンドで crm ファイルを生成 # pm_crmgen o crm_sample.crm crm_sample.csv 生成する設定ファイル名 3) で転送した CSV ファイル 5) crm コマンドを実行してリソース設定を反映 # crm configure load update crm_sample.crm Linux-HA Japan Project 41

42 リソース設定をしてサービスの起動と本当にサービスが起動しているか実演します! デモ例は次ページ Linux-HA Japan Project 42

43 PostgreSQL に接続してみる demo# pgsql -U postgres -h l demo (Domain-0) サービス LAN 仮想 IP pm1 eth eth インターコネクト LAN1 eth eth pm2 DC PostgreSQL eth インターコネクト LAN2 eth HW 制御ボード eth 排他制御領域 /dev/xvdb1 eth HW 制御ボード DB 領域 /dev/xvdb2 管理用 LAN Linux-HA Japan Project 43

44 3 フェイルーバ系切り替えを実演します! Linux-HA Japan Project 44

45 pm1 を強制停止してみる demo# xm destroy pm1 サービス LAN 仮想 IP pm1 eth eth インターコネクト LAN1 eth eth pm2 DC PostgreSQL eth インターコネクト LAN2 eth HW 制御ボード eth 排他制御領域 /dev/xvdb1 eth HW 制御ボード DB 領域 /dev/xvdb2 管理用 LAN Linux-HA Japan Project 45

46 pm2 をスタンバイ化してみる # crm node standby pm2 サービス LAN pm1 eth eth eth インターコネクト LAN1 インターコネクト LAN2 仮想 IP eth eth standby eth pm2 DC PostgreSQL HW 制御ボード eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth HW 制御ボード管理用 LAN Linux-HA Japan Project 46

47 pm2 をスタンバイ解除してみる # crm node online pm2 サービス LAN pm1 PostgreSQL eth 仮想 IP eth eth インターコネクト LAN1 インターコネクト LAN2 eth eth eth pm2 DC standby Online へ HW 制御ボード eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth HW 制御ボード管理用 LAN Linux-HA Japan Project 47

48 リソース故障させてみる擬似故障 # kill -9 postgresql 親プロセスサービス LAN pm1 eth 仮想 IP eth インターコネクト LAN1 eth eth pm2 DC PostgreSQL 故障 eth インターコネクト LAN2 eth HW 制御ボード eth 排他制御領域 /dev/xvdb1 eth HW 制御ボード DB 領域 /dev/xvdb2 管理用 LAN Linux-HA Japan Project 48

49 この状態で pm2 をスタンバイしてみる # crm node standby pm2 サービス LAN pm1 フェイルカウント eth eth eth インターコネクト LAN1 インターコネクト LAN2 仮想 IP eth eth eth pm2 DC PostgreSQL HW 制御ボード eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 standby eth HW 制御ボード管理用 LAN Linux-HA Japan Project 49

50 切り替わらないのはミスではありません! Linux-HA Japan Project 50

51 フェイルカウントがカウントアップされているためクリアしなければ切り替わりません # crm_mon -fa ============ ~ 省略 ~ ============ Migration summary: * Node pm1: prmpg: migration-threshold=1 fail-count=1 * Node pm2: Failed actions: prmpg_monitor_10000 (node=pm1, call=34, rc=7, status=complete): not running Linux-HA Japan Project 51

52 フェイルカウントをクリアしてみる # crm resource cleanup prmpg pm1 サービス LAN pm1 フェイルカウントクリア HW 制御ボード eth 仮想 IP eth eth eth インターコネクト LAN1 インターコネクト LAN2 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth eth eth eth pm2 DC standby HW 制御ボード管理用 LAN Linux-HA Japan Project 52

53 pm2 Online 後にスプリットブレインにしてみるサービス LAN DC? pm1 PostgreSQL eth 仮想 IP eth eth 擬似故障 # ifdown eth1 # ifdown eth2 インターコネクト LAN1 インターコネクト LAN2 故障 eth eth eth pm2 DC? HW 制御ボード eth 排他制御領域 /dev/xvdb1 DB 領域 /dev/xvdb2 eth3 HW 制御ボードダブルマウントでデータ破壊!? 管理用 LAN Linux-HA Japan Project 53

まずは、Pacemakerを使ってみよう！

まずは、Pacemakerを使ってみよう！第 3 回 Linux-HA Japan 勉強会まずは Pacemaker を使ってみよう! 2011 年 7 月 1 日 @ パソナグループ本部ビル Linux-HA Japan プロジェクト田中崇幸 Linux-HA Japan Project 1 自己紹介名前 : 田中崇幸 (Takayuki Tanaka) Twitter: @tanakacchi21 所属 : Linux-HA Japan