自己紹介石井達夫 Pgpool-IIコミュニティリード PostgreSQLコミッタ SRA OSS, Inc. 日本支社支社長長田悠吾 Pgpool-II開発者 SRA OSS, Inc. 日本支社で PostgreSQL関連のサポートコンサル業務に従事 2

Size: px

Start display at page:

Download "自己紹介石井達夫 Pgpool-IIコミュニティリード PostgreSQLコミッタ SRA OSS, Inc. 日本支社支社長長田悠吾 Pgpool-II開発者 SRA OSS, Inc. 日本支社で PostgreSQL関連のサポートコンサル業務に従事 2"

しげじろうさかど
5 years ago
Views:

1 Pgpool-IIの過去現在未来 SRA OSS, Inc. 日本支社石井達夫長田悠吾

2 自己紹介石井達夫 Pgpool-IIコミュニティリード PostgreSQLコミッタ SRA OSS, Inc. 日本支社支社長長田悠吾 Pgpool-II開発者 SRA OSS, Inc. 日本支社で PostgreSQL関連のサポートコンサル業務に従事 2

3 SRA OSS, Inc.のご紹介 1999年よりPostgreSQLサポートを中心にOSS ビジネスを開始 2005年に現在の形に至る主なビジネス PostgreSQL, ZabbixなどのOSSのサポートコンサルティング導入構築 Postgres Plusの販売 PowerGresファミリーの開発販売 PostgreSQL用の各種トレーニング 3

4 2003年6月27日: pgpoolの誕生コネクションプーリングフェイルオーバのみサポートするPostgreSQLサーバは2台まで Version 2プロトコルのみサポート(まだVersion 3プロトコル =PostgreSQL 7.4はリリースされていなかった) C言語で4,719ステップの規模 2003年6月27日(金) 22:54:46 JST [pgsql-jp: 30256] PostgreSQL用コネクションプールサーバ pgpool 石井です PHPをはじめ Perlなど言語を問わず使える pgpool といPostgreSQL用のコネクションプールサーバを作ったので公開しますできたなのでまだアルファ版程度のクォリティですがよろしかったらお試し下さい ftp://ftp.sra.co.jp/pub/cmd/postgres/pgpool/pgp ool-0.1.tar.gz # もちろんpgpoolはオープンソースでライセンスは PostgreSQLのBSDライセンスと同様のものにしています pgpoolを作った動機は PHPでコネクションプールが使えないことに不満を持ったからですナウマン象古代の象 ( 一応PHPにはパーシスタントコネクションというものがあってDBへの接続への接続をキャッシュできますが少なくともapacheのプロセスの数だけコネクションができるので DBへ過大な負荷がかかりがちです pgpoolを使うとコネクションをキャッシュできるだけでなく DBへの接続数を適切な数に制限できるので DBの性能を引き出すことができます ) 4

5 2004年4月:pgpool 1.0の誕生現在のネィティブレプリケーションモードに相当する機能を実装した(まだPostgreSQL にはレプリケーション機能がなかった) クエリキャンセル対応ラージオブジェクトのレプリケーション対応 C言語で5,890行この頃はマイナーリリース(x.x) の際にも平気で機能を追加していたりしてかなりいい加減なリリース管理がされていた 5 現代の象になったがまだまだよちよち歩き

6 pgpool 2.0へ進化 2004年6月リリース 1.0のわずか2ヶ月後にリリースかなり頑張って開発していたようだ V3プロトコルにネィティブ対応 C言語で7,750行この後2.5を2005年2月にリリースヘルスチェックやマスタースレーブモードへの対応を追加これでpgpoolとしてのリリースは完了 6

7 その頃のPostgreSQL PostgreSQL 7.4(2003 年11月) V3プロトコルが導入されプロトコルレベルの prepared queryが使えるようになった autovacuumの導入全文検索機能がcontrib に導入されたまだWindows未対応レプリケーション未対応 7

8 2006年9月:Pgpool-II 1.0の誕生開発手法の変更個人プロジェクトからチーム作業へ IPAの援助で開発機能の大幅追加現在の姿にほぼ近づくサーバ台数の制限撤廃 SQLパーサを搭載して精密な構文解析管理コマンド(pcp)の実装 GUI管理ツール(pgpoolAdmin)の実装パラレルクエリモードの実装 C言語で73,511行と一気に10倍近い規模に増えた(bison, flexコード行数を含む) 8

9 その頃のPostgreSQL PostgreSQL 8.2(2006年) Windows対応(8.0) PITR(8.0) save point(8.0) テーブルスペース二相コミット(8.1) ビットマップインデックススキャン(8.1) 行ロック(8.1) レプリケーション未対応 9

10 2011年11月pgpool.netへの引っ越しそれまでホスティングさせてもらっていた pgfoundry の不安定さに手を焼く新しいホストティングサイト pgpool.net を作ることを決意 pgpool.netをオープンソースコード管理も CVS から git に移行した gitへの移行にあたってフランスのコミュニティのご支援をいただきました 10 引っ越しはなかなか大変でした pgpool.netでは英語の情報と日本語の情報を同時発信することにした

11 その頃のPostgreSQL PostgreSQL 9.1(2011 年) ストリミーングレプリケーション(9.0) Windows 64bit対応 (9.0) pg_upgrade(9.0) 同期レプリケーション(9.1) 外部テーブル(9.1) 再帰問い合わせ(8.4) 11

12 query cache watchdog (2012) Exception manager (2014) PGPOOL SET SGML docs Enhaced failover (2016) 180, ,000 failover Streaming SERIAL failback replication command data type (2010) (2009) (2007) 140, , ,000 pgpool-ii was born (2006) Lines of code 80,000 60,000 40,000 pgpool was born (2003) 20,000 0 p0.0 p1.0 p V1.0 V2.0 V2.1 V2.2 V2.3 V3.0 V3.1 V3.2 V3.3 V3.4 V3.5 V3.6

13 現在の開発体制石井(日本) Ahsan Hadi(パキスタン) watchdogを中心に担当コミッタ安齋(日本) watchdogやその他幅広く担当コミッタ長田(日本) ユーザニーズの取り込みベンチマーク Muhammad Usama(パキスタン) 全体のとりまとめコードも書きます pgpooladminとインストーラを中心に担当コミッタ彭(中国) 安齋さんの後を引き継いでリリース作業やRPM作成を実施コミッタ 13

14 Pgpool-IIの現在 PostgreSQLのクラスタの総合管理ツールに進化 pgpool 1.0 (5,890行)からPgpool-II (177,948行)へと 30倍の規模に成長ストリーミングレプリケーションの管理ツールとしてクエリをプライマリとスタンバイに振り分けるツールとしてスタンバイに対するread onlyクエリの負荷分散フェイルオーバの管理クエリキャッシュ Pgpool-II自体のHA化 watchdog 14

15 Pgpool-IIの現在の主な機能性能向上コネクションプーリング検索負荷分散クエリキャッシュ高可用性自動フェイルオーバフェイルオーバスクリプトフォローマスタスクリプト watchdog クラスタ管理クラスタとアプリケーションの親和性オンラインリカバリクエリの自動振り分け 15

16 Pgpool-IIのご紹介と使いどころ 16

17 PostgreSQLの群れ象はパワフル象が群れになればもっとパワフルでも群れになれば管理が大変なのでは 17

18 象の群れ管理問題の一例群れにはリーダが必要です(プライマリサーバ) もしリーダが引退したら新しいリーダを立てなければならない(フェイルオーバ昇格) その際他の象は新しいリーダに追従しなければならないリーダ以外の象は働けなくなったら引退するスタンバイのフェイルオーバ新しい象が群れに加わるときはスムーズに行われなければならないI 群れの象はお互いに助けあわなければならない (負荷分散) リーダにしかできない仕事がある (更新クエリ) 18

19 Pgpool-IIで象の群れ管理問題を解決 Pgpool-IIを使うことにより象の群れは単独の象のように見えるユーザ定義のフェイルオーバスクリプトによりフェイルオーバ時にどのスタンバイが昇格するかのポリシーを決められるフォローマスターコマンドで新しいプライマリへの自動追従も可能スタンバイがダウンしたら自動的に群れからそのスタンバイは外されるのでクラスタとしての運用を継続できるクエリが検索クエリなら負荷分散の対象となるクエリが更新クエリならプライマリサーバに送る 19 Pgpool-II 象の群れは単独の象のように見える

20 クエリのディスパッチ/ルーテイング既存のＤＢアプリケーションの変更は最小限参照または更新クエリ参照更新クエリ参照クエリプライマリスタンバイスタンバイ 20 スタンバイ

21 負荷分散参照クエリプライマリは更新処理に専念する参照クエリのうち0% 参照クエリのうち 30 % 参照クエリのうち 40 % プライマリスタンバイスタンバイ 21 アプリケーション名やデータベース名で分散させることも可能参照クエリのうち 30 % スタンバイ

22 スタンバイサーバがダウンした時スタンバイサーバがダウンしたら Pgpool-IIがそのことを検知しクラスタリングの対象から取り除く既存のセッションは再接続が必要なこともあるプライマリスタンバイ 22 X

23 プライマリサーバがダウンした時プライマリ X スタンバイ 23 プライマリがダウンするとスタンバイの一つが昇格し新しいプライマリになる他のスタンバイは新しいスタンバイに追従するようになる

24 新しいスタンバイの追加新しい象新しいサーバは簡単に追加できる Pgpool-IIは新しいサーバにプライマリからデータをコピーし他のサーバに影響を与えずにクラスタに新しいサーバを追加できる既存のセッションは切断されないプライマリスタンバイ 24

25 Watchdog: Pgpool-II組み込みの高可用性機能 X アクティブPgpool プライマリ昇格スタンバイPgpool アクティブPgpool-IIがダウンすると, スタンバイPgpool-IIが昇格するスタンバイ 25

26 Watchdog: 仮想IPの切り替えクエリアクティブ Pgpool X 仮想IP 仮想IP 仮想IPの切り替えスタンバイ Pgpool スタンバイPgpool-IIが昇格時に仮想IPが移動する 26

27 Watchdogによる協調動作相互監視スタンバイPgpool アクティブPgpool 情報共有プライマリ X 相互に死活監視を行うダウンしたサーバの情報を他のPgpool-IIに伝えるスタンバイ 27

28 インメモリクエリキャッシュ Pgpool-IIはクエリキャッシュを使ってクエリの結果を再利用するクエリキャッシュはメモリ上に置かれるので非常に高速その際にPostgreSQLアクセスは一切なしキャッシュ用のストレージは共有メモリか memcachedから選べるテーブルが更新されるとそのテーブルを参照したクエリキャッシュはすべて廃棄されるタイムアウトベースのキャッシュ更新も可能 28 クエリキャッシュ PostgreSＱＬへのアクセスなし

29 最新バージョンPgpool-II 3.6のご紹介フェイルオーバの改善 PostgreSQL 9.6対応その他 29

30 フェイルオーバの改善 30

31 フェイルオーバにおける問題点複数のPostgreSQL サーバを使ったクラスタ構成でそのセッションが使用していないＤＢサーバがダウンした時にもセッションが一旦切断される 31 フェイルオーバ時に再起動指示 X X X X X X X

32 Pgpool-II 3.6では切断されるセッションを最小化前提条件ストリーミングレプリケーションモードダウンしたＤＢサーバはスタンバイダウンしたサーバを使っているセッションに関連した Pgpool-II子プロセスのみ再起動指示それ以外のセッションに関連したPgpool-II子プロセスは現在のセッションが終了後自動的に再起動してダウン情報を反映する 32 フェイルオーバ時に再起動指示 X X X

33 PostgreSQLの計画停止が容易にあらかじめ停止予定のＤＢサーバに対する負荷分散の重みを0に設定し設定ファイルを再ロード新しいセッションでは停止予定のＤＢを使わなくなるＤＢを停止しても影響を受けるセッションなし 33 フェイルオーバ時に再起動指示 X X

34 使用しているＤＢサーバの確認がセッションごとに可能に使用しているＤＢ負荷分散ノードはセッションごとのプロパティなので PCPコマンドなどでは確認ができないそこで show pool_nodes で現在のセッションの負荷分散ノードを確認可能にそのほかレプリケーション遅延も確認可能に psql -p c "show pool_nodes" test node_id hostname port status lb_weight role select_cnt load_balance_node replication_delay /tmp up primary 0 false 0 1 /tmp up standby 0 true 0 2 /tmp up standby 0 false 0 (3 rows) 34

35 PostgreSQL 9.6対応 35

36 PostgreSQL 9.6 SQLパーサの移植 Pgpool-IIでは SQL文を正確に解析するためにSQLパーサを持っているＳＱＬパーサは最新のPostgreSQLから移植以下の新しい構文をサポート COPY FROM INSERT RETURNING TO ALTER FUNCTION DEPENDS ON EXTENSION ALTER TABLE ADD COLUMN IF NOT EXISTS など 36

37 Pgpool-II 3.6その他の改良 37

38 PGPOOL SET PostgreSQLの SET コマンドに相当するもの Pgpool-IIの一部の設定変数をセッション内で変更可能セッション終了後に自動リセットされる構文は PGPOOL SET 変数名 TO 値 SETできる変数 client_idle_limit client_idle_limit_in_recovery log_statement log_per_node_statement log_min_messages client_min_messages log_error_verbosity allow_sql_comments check_temp_table check_unlogged_table 38

39 PGPOOL SHOW Pgpool-IIの設定変数を個別に表示 PGPOOL SHOW 変数名変数グループ ( logical group )別の表示も可能 backend, other_pgpool (他のwatchdogノード) heartbeat postgres=# pgpool show backend; item value description backend_hostname hostname or IP address of PostgreSQL backend. backend_port port number of PostgreSQL backend. backend_weight0 0 load balance weight of backend. backend_data_directory0 /var/lib/pgsql/data data directory of the backend. backend_flag0 ALLOW_TO_FAILOVER Controls various backend behavior. backend_hostname hostname or IP address of PostgreSQL backend. backend_port port number of PostgreSQL backend. backend_weight1 1 load balance weight of backend. backend_data_directory1 /home/usama/work/installed/pg data directory of the backend. backend_flag1 ALLOW_TO_FAILOVER Controls various backend behavior. (10 rows) 39

40 pg_terminate_backend対応 pg_terminate_backendとは Pgpool-IIにとっての問題点ＤＢのシャットダウンと同じエラーコードがpg_terminate_backendの実行でもPostgreSQL から返るため Pgpool-IIはＤＢがシャットダウンされたと解釈してフェイルオーバしてしまう解決策 PostgreSQLの組み込み関数の一つプロセスＩＤを指定して特定のバックエンドプロセスを終了することができる主に無限ループに入ってしまったロックを掴みっぱなしになっているなどの状態になったバックエンド終了させるための機能 pg_terminate_backendの引数を調べ指定プロセスIDがどれかのセッションで使われているバックエンドである場合には該当エラーコードがPostgreSQLから返ってきたとしてもフェイルオーバを起こさず該当セッションを切断するだけにする制限事項 pg_terminate_backendの引数は単純整数でなければならない SELECT pg_terminate_backend(pid) from strange_table; とかは駄目拡張プロトコル未対応 40

41 SELECT結果が多い時の性能改善検索結果をクライアントに返すときのオーバヘッドを改善し特定のケースでは47%から62% の性能改善従来1行返す毎にシステムコールを読んでいたのを行単位でバッファリングを行い最後に一括でシステムコールを呼ぶようにして性能改善 41

42 ドキュメントフォーマットの変更今までは手打ちのHTML を使用メインテナンスが大変索引や目次などを自動的に作れない Pgpool-II 3.6では PostgreSQLと同様 SGML HTMLという仕掛けを採用最初はSGMLファイルを作るのが大変だが保守は楽になるはずと信じてます 42

43 Pgpool-IIの今後 PostgreSQLのレプリケーション技術の進化に合わせてPgpool-IIも進化していきますクラスタ全体の状態管理を容易にクラスタ全体の状態を見渡し管理するのは難しい Pgpool-IIがその作業を容易にする自動フェイルバック同期レプリケーションカスケードレプリケーションマルチマスタレプリケーション自動的に復旧したスタンバイや新しく追加されたスタンバイを認識してクラスタに追加するプラグインアーキテクチャ例負荷分散ロジックをユーザが定義できるように 43

44 まとめ Pgpool-IIはコネクションプーリングソフトから出発して多機能なクラスタ管理ソフトに成長個人プロジェクトから集団開発のＯＳＳプロジェクトへ独自のレプリケーション機能に加えてストリーミングレプリケーションに対応するなど PostgreSQLの進歩に合わせて進化今後も PostgreSQLに寄り添うというコンセプトを維持しつつ PostgreSQLの進化に歩調を合わせて行きます 44

45 URLなど Pgpool-II公式サイト Twitter ダウンロード Gitリポジトリ GitHub 単なるミラーです PRやIssuesへの反応は遅いかもしれません 45

46 Thank you! 46

pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC Tokyo 2014/12/12 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ長田悠吾

pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC 2014.Enterprise @ Tokyo 2014/12/12 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ長田悠吾自己紹介長田悠吾 ( ナガタユウゴ ) SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ pgpool-ii 開発者 PostgreSQL

自己紹介 石井 達夫 Pgpool-IIコミュニティリード PostgreSQLコミッタ SRA OSS, Inc. 日本支社支 社長 長田 悠吾 Pgpool-II開発者 SRA OSS, Inc. 日本支社で PostgreSQL関連のサポー ト コンサル業務に従事 2

自己紹介石井達夫 Pgpool-IIコミュニティリード PostgreSQLコミッタ SRA OSS, Inc. 日本支社支社長長田悠吾 Pgpool-II開発者 SRA OSS, Inc. 日本支社で PostgreSQL関連のサポートコンサル業務に従事 2