pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC Tokyo 2014/12/12 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ長田悠吾

Size: px

Start display at page:

Download "pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC Tokyo 2014/12/12 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ長田悠吾"

あきたけののした
4 years ago
Views:

pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC 2014.

1 pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC Tokyo 2014/12/12 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ長田悠吾

3 SRA OSS, Inc. 日本支社 1999 年より PostgreSQL サポートを中心に OSS ビジネスを開始 PostgreSQL Hinemos Zabbix などの OSS サポート PowerGres ファミリーの開発販売トレーニング導入設計コンサルティングサービス Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 3

4 本日のお話 PostgreSQL のクラスタリング機能ストリーミングレプリケーションでもそれだけでは出来ないことも負荷分散で検索性能をスケールアウトさせたいサーバが落ちた場合には人手を入れずに自動フェイルオーバさせたい pgpool-ii にお任せ! 機能と使い方新バージョン 3.4 の新機能 Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 4

6 PostgreSQL とは代表的なオープンソースの RDBMS の 1 つカリフォルニア大学で開発された研究用 RDBMS の Ingres(1970) を先祖に持つオーナー企業を持たずコミュニティによる開発が続けられている年 1 回のメジャーバージョンアップ 9.4RC1 が最近リリース PostgreSQL ライセンスで配布 BSD タイプの緩いライセンス Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 6

7 クラスタリングしたいデータベースクラスタリングの目的は? 高可用性の確保サービスを停止させたくない 1 つのデータベースが故障しても別のデータベースが肩代わりする参照負荷分散大量のアクセスをさばきたい負荷を分散して検索性能を向上並列処理大量のデータを解析したい複数のサーバで並列的に処理 Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 7

8 PostgreSQL のクラスタ技術 HAクラスタ Pacemaker+DRBD 共有ストレージなどを利用待機側はサービス停止ストリーミングレプリケーション PostgreSQL 自体が持つ非同期レプリケーション機能プライマリ ( 更新可能 ) + 複数のDB( 検索のみ ) 簡単確実速い pgpool-ii クライアントとPostgreSQLの間に入ってレプリケーション機能を提供コネクションプーリング負荷分散自動フェイルオーバなど他の機能もある Postgres-XC PostgreSQLを改造したクラスタシステム書き込み性能の負荷分散 Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 8

9 PostgreSQL のストリーミングレプリケーションストリーミングレプリケーション (PostgreSQL 9.0 ~) マスタからスレーブにトランザクションログ (WAL) を転送することによりデータの複製を実現プライマリへはの両方とも可能更新クエリ参照クエリクライアントは参照クエリを受け付けることができる (Hot Standby) 参照クエリプライマリ WAL 転送リカバリし続ける WAL 書き込み WAL 書き込み Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 9

11 しかし PostgreSQL だけでは負荷分散はどうするの? 更新クエリ参照クエリの振り分けは? アプリケーションを書き換えなきゃだめ? クライアント更新クエリ参照クエリ参照クエリ参照クエリ DB サーバに障害が発生したら? 手動で対応するの? プライマリレプリケーションプライマリがダウンしたら更新ができなくなる?! サービスが停止してしまう!? Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 11

pgpool-ii とはアプリケーションと PostgreSQL の間に入ってクラスタリング機能を提供するミドルウェアアプリケーションからは普通の PostgreSQL に見えるオープンソースソフトウェア (BSD ライセンス ) PostgreSQL メジャーバージョンアップは年 1 回

13 pgpool-ii とはアプリケーションと PostgreSQL の間に入ってクラスタリング機能を提供するミドルウェアアプリケーションからは普通の PostgreSQL に見えるオープンソースソフトウェア (BSD ライセンス ) PostgreSQL メジャーバージョンアップは年 1 回先月がリリースクエリ多彩な機能コネクションプーリングクエリ参照負荷分散クエリキャッシュヘルスチェック pgpool-ii 自動フェイルオーバオンラインリカバリ Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 13

25 ここまでのまとめ参照性能の負荷分散更新クエリと参照クエリの適切な振り分け自動フェイルオーバデータベース障害の自動検出 & 切り離しプライマリがダウンしたらが新プライマリに昇格オンラインリカバリサービスを停めずにダウンしたサーバを復帰新しいの追加も簡単基本的にアプリケーションの書き換えは必要なし! Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 25

28 watchdog pgpool-ii 組み込みの HA 機能 pgpool-ii を Active/Standby 構成にする仮想 IPでpgpool-IIにアクセス仮想 IP pgpool-ii (Active) 相互監視プライマリレプリケーション参照参照 pgpool-ii (Standby) Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 28

29 watchdog Active pgpool-ii に障害発生すると Standby pgpool-ii が Active に昇格仮想 IPでの付け替えが行われる pgpool-ii (Down) プライマリレプリケーション仮想 IP 相互監視参照参照 pgpool-ii (Active) Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 29

33 第一法規株式会社様事例大量の判例などを検索するシステム PostgreSQL のストリーミングレプリケーション + pgpool-ii で負荷分散による性能向上可用性向上インメモリクエリキャッシュ機能を活用して検索性能を向上一度発生した DB 障害でも pgpool-ii の自動フェイルオーバ機能によりサービスは停止することなく継続できた Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 33

34 株式会社 Gengo 様事例翻訳サービスのクラウドソーシング企業 AWS 上でシステム構築 3 万トランザクション / 日 PostgreSQL のマスタの仮想イメージがある日突然壊れたトラブルをきっかけに SPoF 解消のため pgpool-ii を導入同時に PostgreSQL のバージョンアップオンラインリカバリ機能を活用しダウンタイムを最小限に AWS による強制インスタンス再起動メンテナンスも自動フェイルオーバ機能で乗り切った Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 34

37 pcp コマンド pgpool-ii の運用管理コマンド DBノードをpgpool-IIの管理下から外す pcp_detach_node DBノードをpgpool-IIの管理下に組み入れる pcp_attach_node オンラインリカバリを実行する pcp_recovery_node DBノードの状態を取得する pcp_node_info watachdog ステータスを取得する pcp_watchdog_info Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 37

38 SHOW コマンド pgpool-ii の運用管理コマンド pgpool-ii の内部情報を取得できるクエリノード情報プロセス情報コネクションプーリングキャッシュヒット率現在の設定バージョン postgres=# SHOW pool_nodes; node_id hostname port status lb_weight role /tmp primary 1 /tmp standby 2 /tmp standby (3 rows) postgres=# SHOW pool_version; pool_version (tataraboshi) (1 row) Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 38

pgpooladmin pgpool-ii のGUI 管理ツール PHPで書かれたWebアプリケーション pgpool-ii と

42 pgpool-ii インストーラ pgpool-ii と pgpooladmin を2 台のサーバにインストール表示される質問に答えていくだけで設定が完了レプリケーション Watchdog server1 server2 負荷分散ヘルスチェックインメモリクエリチェック pgpooladmin 管理 pgpooladmin 管理フェイルオーバスクリプト pgpool-ii 相互監視 pgpool-ii pgpool-ii オフィシャルサイトから入手可能 PostgreSQL PostgreSQL Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 42

43 テスト目的でとりあえず使ってみたい? pgpool-setup pgpool-ii の tar ball に同梱されているツールコマンド1つでローカルマシン上にテスト環境 ( デモ環境 ) を構築 pgpool-ii 1 台 + 複数の PostgreSQL の構成レグレッションテストでも利用されている ( 余談ですが ) pgpool-ii のビルドファームが運用開始毎日 1 回レグレッションテストを実行してメール通知 Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 43

45 pgpool-ii が 11 月にリリース! pgpool-ii 参照負荷分散のきめ細かい指定が可能にアプリケーション名やデータベース名でクエリの送り先を制御可能 PostgreSQL への接続待ちタイムアウトが指定可能に AWS などの仮想環境ではネットワーク遅延が大きくこれがフェイルオーバ発生の原因となっていた PostgreSQL 9.4 のパーサを移植新しい構文や機能に対応 PostgreSQL のメモリマネージャ & 例外処理マネージャを移植 IPv6 対応 etc... Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 45

52 まとめ PostgreSQLのクラスタ技術ストリーミングレプリケーション + pgpool-ii がおすすめ! pgpool-ii の機能負荷分散 & 自動クエリ振り分け自動フェイルオーバオンラインリカバリ & サーバの追加も容易 watchdog で pgpool-ii 自体の高可用性化インメモリクエリキャッシュ PgpoolAdmin インストーラテスト環境構築ツール pgpool-ii 新機能の紹介きめ細かな参照負荷分散の指定 Copyright 2014 SRA OSS, Inc. Japan All rights reserved. 52

自己紹介長田悠吾 ( ナガタユウゴ ) SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ pgpool-ii 開発者 PostgreSQL 関連の技術調査 OSS の技術サポート PostgreSQL の開発にも参加 Copyright 2015 SRA OSS, In

自己紹介長田悠吾 ( ナガタユウゴ ) SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ pgpool-ii 開発者 PostgreSQL 関連の技術調査 OSS の技術サポート PostgreSQL の開発にも参加 Copyright 2015 SRA OSS, In pgpool-ii 入門! ~PostgreSQL 用クラスタツールの使い方を基礎から学ぼう ~ OSC 2015 Tokyo/Fall 2015/10/25 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ長田悠吾自己紹介長田悠吾 ( ナガタユウゴ ) SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ pgpool-ii 開発者 PostgreSQL

pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC Tokyo 2014/12/12 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ 長田 悠吾

pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC Tokyo 2014/12/12 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ長田悠吾