Pacemakerでお手軽Dockerクラスタリング！

Size: px

Start display at page:

Download "Pacemakerでお手軽Dockerクラスタリング！"

ゆずさふくだ
5 years ago
Views:

1 Pacemaker でお手軽 Docker クラスタリング! 2018 年 8 月 4 日 OSC2018 Kyoto Linux-HA Japan 竹下雄大

2 本日の内容 Pacemaker ってなに? Pacemaker でお手軽 Docker クラスタリング! Linux-HA Japan Project 2

3 Pacemaker ってなに? Linux-HA Japan Project 3

4 Pacemaker ってなに? Pacemaker はオープンソースの HA クラスタソフトです Linux-HA Japan Project 4

5 Pacemaker ってなに? High Availability = 高可用性つまりサービス継続性一台のコンピュータでは得られない高い信頼性を得るために複数のコンピュータを結合 ( クラスタ化 ) しひとまとまりとするためのソフトウェアです Linux-HA Japan Project 5

6 Pacemaker ってなに? HA クラスタを導入すると故障で現用系でサービスが運用できなくなったときに自動で待機系でサービスを起動させますこのことをフェイルオーバと言いますサービスフェイルオーバサービス現用系故障 Linux-HA Japan Project 待機系 6

7 Pacemaker ってなに? はこの HA クラスタソフトとして実績のある Heartbeat と呼ばれていたソフトの後継です Linux-HA Japan Project 7

8 Pacemaker ってなに? Pacemaker で監視できること仮想 IP アプリケーション監視制御起動停止稼働監視自己監視プロセス監視 watchdog ネットワーク監視制御 ping 疎通確認仮想 IP 制御ノード監視ハートビート通信 STONITH( 強制電源断 ) ディスク監視制御ファイルシステム監視共有ディスク排他制御サーバ #1 サーバ #2 Linux-HA Japan Project 8

9 Pacemaker ってなに? Pacemaker で監視できること仮想 IP 自己監視プロセス監視 watchdog ネットワーク監視制御 ping 疎通確認仮想 IP 制御アプリケーション監視制御どこかが故障すると故障検知してサーバ #2 へフェイルオーバ起動停止稼働監視故障パターンと故障時動作については下記を参照ノード監視ハートビート通信 STONITH( 強制電源断 ) ディスク監視制御ファイルシステム監視共有ディスク排他制御サーバ #1 サーバ #2 Linux-HA Japan Project 9

10 Pacemaker ってなに? Pacemaker が起動 / 停止 / 監視を制御する対象をリソースと呼ぶ例 :Apache PostgreSQL 共有ディスク仮想 IP アドレスリソースの制御はリソースエージェント (RA) を介して行う RA が各リソースの操作方法の違いをラップし Pacemaker で制御できるようにしている多くはシェルスクリプト自作のアプリも RA を作成する事で制御可能! OCF リソースエージェント開発者ガイド : PostgreSQL RA Apache RA リソースエージェントリソース共有ディスク RA Linux-HA Japan Project 10

11 Pacemaker の主な戦場ベアメタル環境仮想環境 KVM VMware などの非クラウド Linux-HA Japan Project 11

12 昨今のトレンドクラウドコンテナ (Docker) Linux-HA Japan Project 12

13 昨今のトレンドクラウドコンテナ (Docker) クラウドやコンテナでは Pacemaker の存在感は薄い? Linux-HA Japan Project 13

net/enakai/red-hat-enterprise-linux-openstackplatform-7-vm-instance-ha-architecture パブリッククラウド

14 クラウドの HA OpenStack ControllerノードのHAはPacemaker ComputeノードのHAはコミュニティで方式検討中 the mistral-based POC (Intel) Masakari (NTT SIC) OCF RAs (Red Hat, SUSE) Pacemaker を利用出展 : パブリッククラウドインスタンスの冗長性はクラウド事業社が担保インスタンス内で稼働するミドルウェアアプリケーションはユーザが HA 化 Pacemaker でもインスタンスの HA 可出展 : Linux-HA Japan Project 14

15 コンテナ (Docker) の HA サービスを商用環境で運用する際には HA が非常に重要 Docker コンテナでも同様 Docker コンテナの HA はオーケストレーションツールの利用が主流 Kubernetes Docker Swarm などもあるがデファクトスタンダードの地位を確立 OpenShift Origin / OpenShift Container Platform ( 商用 ) Kubernates をベースに CI/CD 環境を付け加えたもの Docker イメージ管理 Docker コンテナ + アプリケーションの自動ビルドオーケストレーションツールの簡便さは開発者運用者のものインフラエンジニアには極めて高度なスキルが求められるコンテナだけでなく KVS Ansible CNI などの関連技術への理解が必要開発が早く学んだ技術がすぐに陳腐化複雑なアーキテクチャ困難なトラブルシューティング Kubernetes on OpenStack ( ω` ) ( ) 個人的な所感です Linux-HA Japan Project 15

16 Pacemaker でお手軽 Docker クラスタリング! Linux-HA Japan Project 16

17 Pacemaker でお手軽 Docker クラスタリング! Pacemaker で Docker コンテナクラスタリングできます! Docker RA OSC2017 Tokyo/Springで紹介 Bundle 今日のテーマ Pacemaker による Docker コンテナ HA の特徴 NativeなDockerの機能だけでクラスタ化可能 ( オーケストレーションツールよりは ) 簡単なアーキテクチャまだほとんど誰もやっていないので今ならパイオニアになれる! Linux-HA Japan Project 17

18 bundle とは一般用語での意味英辞郎 on the WEB( より bundle 自動足早に急いでさっさと立ち去る出て行く急いでさっさと素早く荷物をまとめる他動 ~ を束にする束ねる包むくくる荷物をまとめる商品をバンドリングする複数の商品をセット売りする 1 セットにして販売する名束束状構造塊一団一括一つにまとめた物包み小包俗札束大金植物維管束米俗かわい子ちゃんいかす女 Linux-HA Japan Project 18

19 bundle とは Pacemaker での意味隔離された環境とインフラをまとめる特別な syntax 隔離された環境 :Docker コンテナ (Pacemaker 現在 ) インフラ : ミドルウェアネットワーク具体的には以下をまとめたもの docker RA : Docker コンテナを管理する RA IPaddr2 RA : 仮想 IP を管理する RA remote RA : Docker コンテナをリモートノードとして管理する RA <primitive リソース > RA : コンテナ内で動作するアプリケーションの RA Pacemake 以降で利用可能な Docker コンテナを管理するための特別な機能 Pacemaker 以降では rkt も管理可能 Linux-HA Japan Project 19

20 bundle の構成 ( イメージ ) コンテナコンテナ primitive リソース primitive リソース Pacemaker Remote Pacemaker Remote Docker Docker Pacemaker bundle bundle remote RA docker RA remote RA docker RA IPaddr2 RA primitive リソース RA IPaddr2 RA primitive リソース RA corosync corosync Linux-HA Japan Project 20

21 bundle の構成 ( イメージ ) 1. Docker RAがコンテナを作成 2. remote RA/primitiveリソース RAがPacemaker Remote 経由でコンテナ内アプリケーションを管理コンテナコンテナ primitive リソース primitive リソース Pacemaker Remote Pacemaker Remote Docker Docker Pacemaker vip bundle bundle remote RA docker RA remote RA docker RA IPaddr2 RA primitive リソース RA IPaddr2 RA primitive リソース RA corosync corosync Linux-HA Japan Project 21

22 bundle の構成 ( イメージ ) 同じコンテナをスケール異なるコンテナ (Apache/NFS サーバ ) コンテナコンテナ Apache Apache Apache NFS サーバ Pacemaker Remote Pacemaker Remote Pacemaker Remote Pacemaker Remote Docker Docker Pacemaker Vip 1-1 Vip 1-2 Vip 1-3 Vip 2-1 bundle 1 bundle 2 bundle 1 bundle 2 corosync corosync Linux-HA Japan Project 22

23 bundle の構成 (xml) 以下の要素から構成される bundle : 必須 docker : 必須 network : 必須 storage : オプション primitive : オプション RA のパラメータ一つの bundle リソース定義複数の異なる bundle を定義することも可能 <bundle id="httpd-bundle"> <docker image="pcmktest:http" replicas= 3" replicas-per-host= 2" options="--log-driver=journald"/> <network ip-range-start=" " host-interface="ens3" host-netmask="24"> <port-mapping id="httpd-port" port="80"/> </network> <storage> <storage-mapping id="httpd-root" source-dir-root="/var/local/containers" target-dir="/var/www/html" options="rw"/> <storage-mapping id="httpd-logs" source-dir-root="/var/log/pacemaker/bundles" target-dir="/etc/httpd/logs" options="rw"/> </storage> <primitive class="ocf" id="httpd" provider="heartbeat" type="apache"> <operations> <op name="start" interval="0s" timeout="60s" on-fail="restart" id="httpd-start-0s"/> <op name="monitor" interval="10s" timeout="60s" on-fail="restart" id="httpd-monitor-10s"/> <op name="stop" interval="0s" timeout="60s" on-fail="block" id="httpd-stop-0s"/> </operations> </primitive> Linux-HA Japan Project </bundle> storage-mapping 要素は複数設定可能 ip-range-start を起点にコンテナ毎に VIP が付与される Primitive リソースはひとつのみ 23

24 bundle の構成 (xml) 以下の要素から構成される bundle : 必須 docker : 必須 network : 必須 storage : オプション primitive : オプション RA のパラメータ " <docker image="pcmktest:http" replicas= 3" replicas-per-host= 2" options="--log-driver=journald"/> < コンテナの概要を記述コンテナの数 1 ノード上で起動するコンテナの最大数 docker image 名 docker run のオプションコマンド Linux-HA Japan Project 24

25 bundle の構成 (xml) 以下の要素から構成される bundle : 必須 docker : 必須 network : 必須 storage : オプション primitive : オプション RA のパラメータ "/ <network ip-range-start=" " host-interface="ens3" host-netmask="24"> <port-mapping id="httpd-port" port="80"/> </network> コンテナとホストのネットワーク経路を指定コンテナと紐付く VIP 各コンテナと 1 : 1 に対応 ip-range-start から順に付与 publish port Linux-HA Japan Project 25

26 bundle の構成 (xml) 以下の要素から構成される bundle : 必須 docker : 必須 network : 必須 storage : オプション primitive : オプション RA のパラメータコンテナにマウントする volume を指定複数の volume が存在する場合は各 volume 毎に storage-mapping 要素を記述 <storage> <storage-mapping id="httpd-root" source-dir-root="/var/local/containers" target-dir="/var/www/html" options="rw"/> <storage-mapping id="httpd-logs" source-dir-root="/var/log/pacemaker/bundles" target-dir="/etc/httpd/logs" options="rw"/> </storage> Linux-HA Japan Project 26

27 bundle の構成 (xml) 以下の要素から構成される bundle : 必須 docker : 必須 network : 必須 storage : オプション primitive : オプション RA のパラメータコンテナ内で起動する primitive リソースを指定 1 つの bundle には 1 つの primitive リソースのみ通常の primitive リソース定義と同じ内容 <primitive class="ocf" id="httpd" provider="heartbeat" type="apache"> <operations> <op name="start" interval="0s" timeout="60s" on-fail="restart" id="httpd-start-0s"/> <op name="monitor" interval="10s" timeout="60s" on-fail="restart" id="httpd-monitor-10s"/> <op name="stop" interval="0s" timeout="60s" on-fail="block" id="httpd-stop-0s"/> </operations> </primitive> Linux-HA Japan Project 27

28 bundle 要素と RA の関係各要素から RA のパラメータが生成される bundle docker network storage primitive docker RA IPaddr2 RA remote RA <primitive> RA Linux-HA Japan Project 28

29 bundle の起動 cibadmin または pcs によるリソース管理 Pacemaker ではcrmshによるリソース管理不可具体的な設定例作成したXMLの反映方法などは下記を参照 US/Pacemaker/1.1/html/Pacemaker_Explained/s-resource-bundle.html Apache と NFS サーバを bundle で起動した例 6 nodes configured 16 resources configured Online: [ pm03 pm04 ] GuestOnline: [ httpd-bundle-0@pm03 httpd-bundle-1@pm03 httpd-bundle-2@pm04 nfsserverbundle-0@pm04 ] Full list of resources: コンテナ内リソースは apache RA で管理 httpd の bundle NFS サーバの bundle Docker container set: httpd-bundle [pcmktest:http] (unique) httpd-bundle-0 ( ) (ocf::heartbeat:apache): Started pm03 httpd-bundle-1 ( ) (ocf::heartbeat:apache): Started pm03 httpd-bundle-2 ( ) (ocf::heartbeat:apache): Started pm04 Docker container: nfsserver-bundle [remote_test] nfsserver-bundle-0 ( ) (ocf::heartbeat:nfsserver): Started pm04 replicas= 3 replicas= 1 コンテナ内リソースは nfsserver RA で管理 Linux-HA Japan Project 29

30 作成される Docker コンテナ docker ps 詳細はdocker inspect <CONTAINER ID> で # docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES f0a521f0477a pcmktest:http "/usr/sbin/pacemak..." 27 seconds ago Up 22 seconds :80->80/tcp, :3121->3121/tcp httpd-bundle-docker-1 867ecaae027f pcmktest:http "/usr/sbin/pacemak..." 33 seconds ago Up 30 seconds :80->80/tcp, :3121->3121/tcp httpd-bundle-docker-0 VIP は自動的に連番が振られるコンテナ名は <bundle id>-docker- 連番 bundle によりコンテナと 1 : 1 に対応する VIP が割り当てられるためクライアントは VIP を通して任意のコンテナにアクセス可能 VIP とコンテナの IP は dockerd によってルーティングされる一方オーケストレータのように内部 LB は持たないため負荷分散用途では別途 LB が必要 bundle で起動するコンテナには Pacemaker Remote が必要典型的には pacemaker_remoted + 管理するアプリケーション Linux-HA Japan Project 30

31 作成される Docker コンテナコンテナ内のプロセス COMMAND が pacemaker_remoted( デフォルト ) の場合 PID 1 は pcmk-init Primitive リソースの故障コンテナの故障 # docker exec -it httpd-bundle-docker-0 ps aux USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND root ? Ss 00:46 0:00 pcmk-init root ? Ss 00:46 0:00 /usr/sbin/pacemaker_remoted root ? Ss 00:46 0:00 /sbin/httpd -DSTATUS -f /etc/httpd/conf/httpd.conf -c PidFile /var/run//httpd.pid apache ? S 00:46 0:00 /sbin/httpd -DSTATUS -f /etc/httpd/conf/httpd.conf -c PidFile /var/run//httpd.pid apache ? S 00:46 0:00 /sbin/httpd -DSTATUS -f /etc/httpd/conf/httpd.conf -c PidFile /var/run//httpd.pid apache ? S 00:46 0:00 /sbin/httpd -DSTATUS -f /etc/httpd/conf/httpd.conf -c PidFile /var/run//httpd.pid apache ? S 00:46 0:00 /sbin/httpd -DSTATUS -f /etc/httpd/conf/httpd.conf -c PidFile /var/run//httpd.pid apache ? S 00:46 0:00 /sbin/httpd -DSTATUS -f /etc/httpd/conf/httpd.conf -c PidFile /var/run//httpd.pid root pts/0 Rs+ 00:53 0:00 ps aux オーケストレーションツールではコンテナ内のアプリケーションが故障するとコンテナが停止 ( 再起動 ) するが bundle ではコンテナは停止しないコンテナ内のアプリケーションが再起動する Linux-HA Japan Project 31

32 bundle vs Docker RA bundle Docker RA( 単体 ) 制御できるコンテナ Pacemaker Remote コンテナ制限なしコンテナで起動できるリソーススケーラビリティ RA で管理できるもの (lsb/systemd を含む ) 大制限なし ( コンテナに依存 ) 小 1500 まで起動できた報告有 Docker リソースの clone 化でコンテナのスケーラビリティはある程度確保できるが IP や volume の動的な割り当てが困難監視レベル RAによるサービス監視ワンライナーまたは HEALTHCHECKによる簡易チェック M/S リソース管理可能不可 Docker RA: コンテナを管理 bundle: コンテナ + インフラ ( ネットワーク volume リソース ) を管理 Linux-HA Japan Project 32

33 bundle を利用するモチベーションオーケストレーションツールではなく bundle を使うモチベーションは? Linux-HA Japan Project 33

34 bundle を利用するモチベーションオーケストレーションツールの方が適合するケース以下のようなキーワードを目的にコンテナを運用する場合 DevOps, CI/CD マイクロサービス SoE bundle の方が適合するケース高集約率を目的に従来システム (SoR) をコンテナに移行する場合高い信頼性が求められるリリース頻度が低い Ex) 基幹系システム物理サーバ上の DB とコンテナを連携する場合コンテナと DB( 物理 ) を Pacemaker だけで管理可能インフラエンジニアの負担を軽減したい場合ただし Pacemaker では Technology Preview 扱いです Linux-HA Japan Project 34

35 bundle の具体的な利用シーン bundle は Red Hat 社でも Technology Preview であることから具体的な利用シーンはまだ少ない ( 現在 ) Red Hat OpenStack Platform 12 以降で利用する場合に限りフルサポート m_high_availability/pacemaker#pacemaker-services Controller ノードで起動する各種ミドルウェアをコンテナ化し bundle で管理 HAProxy RabbitMQ Galera redis Linux-HA Japan Project 35

さいごに Linux-HA Japan URL http://linux-ha.osdn.jp/ http://osdn.

36 さいごに Linux-HA Japan URL Pacemaker 関連の最新情報を日本語で発信 Pacemaker のダウンロードもこちらからどうぞ ( インストールが楽なリポジトリパッケージを公開しています ) Linux-HA Japan Project 36

37 さいごに日本における HA クラスタについての活発な意見交換の場として Linux-HA Japan 日本語メーリングリストも開設しています Linux-HA-Japan ML では Pacemaker Heartbeat3 Corosync DRBD など HA クラスタに関連する話題は歓迎! ML 登録用 URL のメーリングリストをクリック ML アドレススパム防止のために登録者以外の投稿は許可制です Linux-HA Japan Project 37

38 ご清聴ありがとうございました Linux-HA Japan 検索 Linux-HA Japan Project 38

コンテナを止めるな! 〜PacemakerによるコンテナHAクラスタリングとKubernetesとの違いとは

コンテナを止めるな! 〜PacemakerによるコンテナHAクラスタリングとKubernetesとの違いとはコンテナを止めるなを止めるな止めるなめるな! PacemakerによるコンテナコンテナHAクラスタリングととKubernetesとの違いとは違いとはいとは 2018年10月27日 Linux-HA Japan プロジェクト http://linux-ha.osdn.jp/ 森啓介 Copyright(c) 2018 Linux-HA Japan Project 自己紹介名前: 森啓介 (Keisuke