2010/07-08 PostgreSQL 9.0 とクラスタリングソリューション最新動向セミナー

Size: px

Start display at page:

Download "2010/07-08 PostgreSQL 9.0 とクラスタリングソリューション最新動向セミナー"

こうざぶろうあさぶき
5 years ago
Views:

PostgreSQL 9.0 とクラスタリングソリューション最新動向セミナー 2010 年 7/14, 7/28, 8/4, 8/18 SRA OSS, Inc.

4 コードサイズ (KB) PostgreSQL 9.0 までの軌跡外部キー JOIN 構文トランザクションログコンカレント VACUUM PostgreSQL のコードサイズスキーマプリペアドステートメント PITR Windows ビットマップスキャン CPU スケール更新の高速化ウィンドウ関数再帰 SQL レプリケーション 0 PG 7.0 PG 7.1 PG 7.2 PG 7.3 PG 7.4 PG 8.0 PG 8.1 PG 8.2 PG 8.3 PG 8.4 PG 年 4 月 2002 年 11 月 2005 年 1 月 2006 年 12 月 2009 年 7 月 Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 4

5 PostgreSQL 9.0 の拡張レプリケーション標準装備 Windows 64bit 対応遅延可能なユニーク制約 / 排他制約追加 VACUUM FULL のリニューアル LISTEN/NOTIFY のリニューアル手続き言語 ( ストアドプロシージャ ) 関連を拡張オブジェクト権限設定を拡張上書きアップグレードツール ( 追加ツールの拡張 ) Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 5

6 レプリケーション標準装備 HS/SR ( ホットスタンバイ / ストリーミングレプリケーション ) シングルマスターマルチスレーブカスケードは非対応トランザクションログ転送 block 転送 (DRBD) 行転送 (Slony-I) より軽いデータベースクラスタ単位でのレプリケーション WAL ファイル単位でなく処理単位で転送するスレーブで参照アクセスマスター Postgres トランザクションログ転送 ( 非同期 ) スレーブ Postgres 参照更新アクセス参照アクセスアプリケーション Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 6

7 Windows 64bit 対応これまでは 32bit ビルドのみ対応 64bit 版 Windows では WOW64 で動作 shared_buffers や work_mem に 2GB~ 4GB を超えるサイズを設定できなかった Visual Studio 2008 でビルド PostgreSQL 8.3 までは Visual Studio 2005 が推奨ビルド環境 (9.0 も 2005 でビルド可 ) MinGW cygwin では依然 32bit のみ Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 7

8 遅延可能なユニーク制約以下のようなことができる ( これまでできなかった ) db=# \d test Table "public.test" id ~ Column Type Modifiers 1 2 ~ ~ id integer not null v text 3 4 ~ Indexes: "test_pkey" PRIMARY KEY, btree (id) DEFERRABLE db=# BEGIN; db=# SET constraints all DEFERRED; db=# UPDATE test SET id = id + 1 ; db=# END; Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 8

9 排他制約 EXCLUDE ユニーク概念を拡張したもの任意の演算子で排他制約を gist インデックスのみ対応応用は様々だが既存データ型ではすぐ使えるものが少ない組み込み型では BOX などの幾何データ型に適用可能 CREATE TABLE real_estate_registration ( regist_id int8, land geometry, term period, owner text, EXCLUDE USING gist (term WITH &&, land WITH &&)); 制約違反重なっているか? の演算子 / = なら UNIQUE 制約と同じ Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 9

10 VACUUM FULL リニューアル高速動作 / 実施後の REINDEX も不要に内部的にテーブルを作り直す動作になるそもそも VACUUM FULL は不要領域を削除してデータ物理サイズを縮小する通常 VACUUM をよく行い使わずに済ますのが王道これまでの VACUUM FULL は代替に CLUSTER コマンドを使う代替にダンプ / リストアを使うパーティショニングをしてテーブルごと削除といった技法がしばしば使われるほどに非効率な方式となっている旧新動作イメージ Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 10

11 LISTEN/NOTIFY のリニューアル接続セッション間での通信手段 PostgreSQL 独自の機能ある件について通知が発生を伝達各種接続ドライバで対応 Postgres サーバ処理プロセス処理プロセス高速化テーブルで実装していたものをメモリ上のキューで実装任意の文字列メッセージを渡せる (2) NOTIFY x アプリケーション (1) LISTEN x (3) got NOTIFY x アプリケーション Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 11

12 関数 / 手続き言語の拡張 (1) DO 文を使って匿名関数を作成 db=> DO LANGUAGE plpgsql db-> $$ BEGIN FOR i IN 1..3 LOOP RAISE NOTICE 'hello'; db-> END LOOP; END; $$; NOTICE: hello NOTICE: hello NOTICE: hello いきなり記述できるバッチ処理記述など関数呼び出しにおいて自由な引数順序 db=> SELECT f(p3 := 12, p1 := 7); f(p1 int DEFAULT 0, p2 int DEFAULT 0, これまでは末尾の引数にしかデフォルト値が p3 int DEFAULT 0) 利用できなかった Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 12

13 関数 / 手続き言語の拡張 (2) カラム単位のトリガ特定カラムの変更に対して駆動するトリガ定義条件付きトリガ処理対象行の値が特定条件のとき駆動するトリガ定義テーブル <tbl> に <UPDATE> トリガ関数起動細かい条件は関数内でチェック余計なコストテーブル <tbl> <col> カラムに <UPDATE> で < 値が xx> トリガ関数起動 PL/Perl が大幅に拡張 PL/Python も拡張 Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 13

14 オブジェクト権限設定の拡張ラージオブジェクトにアクセス権限設定これまで欠けていた機能デフォルトでは他のユーザが所有するラージオブジェクトにアクセスできないようになる ( 非互換注意 ) db=# GRANT SELECT, UPDATE ON LARGE OBJECT TO foo; GRANT スキーマごとにまとめて権限の変更このスキーマに属するテーブル全てに一度に権限設定ができるようになります db=# GRANT SELECT ON ALL TABLES IN SCHEMA scm1 TO role1; GRANT Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 14

15 追加ツール (contrib) の拡張上書きアップグレードツール pg_upgrade 新登場 8.3.x 8.4.x からのアップグレードに使用可能内部データ書き換えを行う contrib/pgbench の拡張マルチスレッド対応シェルコマンド実行機能 contrib/hstore の拡張ハッシュデータ型 ( キーバリューの組 ) キー長バリュー長の制限が撤廃された GROUP BY DISTINCT が利用可能に以前は pg_migrator と呼ばれていたマルチスレッド対応でないとクライアントマシン側が先に限界となって性能計測仕切れないケース以前はキーも値もバイトが最大長 Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 15

17 PostgreSQL 9.1 の展望同期レプリケーション MERGE JSON 型各種 Range 型マテリアライズドビューパラレル pg_dump テーブルパーティショニング構文 SQL/MED ( 外部表参照 ) SE-PostgreSQL 書き込み再帰 SQL プリペアドステートメントのプラン改善インデックスのみスキャン PgCon 2010 Developer Meeting より Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 17

18 PostgreSQL の展望 PostgreSQL 開発は止まらない特定オーナー企業は無い ( 支援企業も一定ではない ) SIer 世界に多数ある関連サービス企業が主力時に研究実証に使われる大規模ユーザから出てくる新機能大規模 DB ユーザ企業 PostgreSQL サービス企業学生研究者 Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 18

高可用性クラスタについてカルタゴの武装した象 Parco de Mostri di Momarzo

22 データベース高可用性クラスタ可用性の追求サービス停止時間を短く避けえない HW/SW 障害復旧時間の短縮クラスタにする並行で別サーバを稼動させればよい Single Point of Failure DBMS はデータを持つクラスタソフト化に必要な要素は (1) サービスの維持処理要求死活監視フェイルオーバー (2) 一元的なデータの維持共有ディスクレプリケーションデータベースサーバ群 Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 22

25 Single Point of Failure 全体の可用性は弱点の可用性にひっぱられる現実には全 2 重化はしてないことが多い単体可用率 99.9 % DB 故障率 0.1% (8h/ 年 ) 回線 R LB SW1 クラスタ可用率 % あれ? = ( x 0.001) x ( ) WEB WEB WEB 故障率 0.1% 故障率 0.1% DB 共有ストレージ DB DBLB pgpool など DB SW2 DB Copyright 2009 SRA OSS, Inc. Japan All rights reserved. 25

26 データベース管理システム (DBMS) はデータを持つクラスタソフトウェアに重い課題ノード間データ維持をどうするか? データ保全がサービス可用性よりも重いことがある共有バッファメモリで同期 SQLでテーブル論理差分で可用性が落ちるレプリケーションにも価値がある非同期トランザクションログでブロックデバイスで Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 26

28 HA クラスタ ( 共有ディスク ) 構成障害かつては PostgreSQL の実用的な唯一選択肢相互アクティブスタンバイは可能だが両アクティブに対応したミドルウェアはない SQL 制約なし / 処理オーバーヘッドなし VIP HA ソフト PostgreSQL アクティブサーバフェイルオーバ共有ストレージ HA ソフト PostgreSQL スタンバイサーバ <HA ソフト > Heartbeat/Pacemaker LifeKeeper CLUSTERPRO RHCS Veritas CS PRIMECLUSTER etc.. Copyright 2009 SRA OSS, Inc. Japan All rights reserved. 28

29 HA クラスタ (DRBD) 構成ネットワーク RAID によるレプリケーションを使う DRBD 商用 HA ソフト付属のレプリケーションツール SQL 制約なし処理オーバーヘッドあり障害 VIP HA ソフト HA ソフト PostgreSQL ディスクフェイルオーバレプリケーション ( 同期モード可 ) PostgreSQL ディスク <HA ソフト > Heartbeat/Pacemaker LifeKeeper CLUSTERPRO RHCS Veritas CS PRIMECLUSTER etc.. アクティブサーバスタンバイサーバ 29

30 HA クラスタ ( その他 ) 構成各種レプリケータを使う HA ソフトとの連携について作りこみが必要 SQL 制約あるものも処理オーバーヘッドあり障害 VIP HA ソフト HA ソフト PostgreSQL ディスクフェイルオーバレプリケーション ( 非同期 ) PostgreSQL ディスク < 各種レプリケータ > ウォームスタンバイ 9.0 HS/SR Slony-I Bucardo Londiste アクティブサーバスタンバイサーバ 30

31 Slony-I について 1 つのマスタのみがデータの更新を受け付けトリガによって差分を保存し slon が複数のスレーブに差分を転送してレプリケーション指示をうけてスレーブのマスタ昇格ができるデータの更新 PostgreSQL PostgreSQL 障害トリガの実行マスタスレーブ slon ノードの切り離し slon レプリケーション大量書き込みでは転送遅延が生じる < 同類ソフト > Bucardo マルチマスター可 Londiste PgQ でやや軽いか 31

32 VMware HA + プロセス監視既に仮想化インフラが整備されているときプロセス監視再起動の仕組みが要る ftserver 等も得失は似ているフェイルオーバ < 単体監視ソフト > CLUSTERPRO SSS monit 各種 HA ソフトの単体むけ使いまわしも可単体監視ソフト PostgreSQL 単体監視ソフト PostgreSQL < 仮想化ソフト (HA)> 各種 HA ソフトの上に仮想化ソフトを載せるパターンがいくつか可障害ディスクディスクゲスト仮想サーバゲスト仮想サーバ VMware 共有ストレージ VMware 物理サーバ 1 物理サーバ 2 Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 32

33 pgpool-ha 構成 pgpool-ii の読み取り負荷分散が併用できる SQL 制限あり書き込み処理オーバーヘッドあり VIP 障害フェイルオーバ HAソフト HAソフト pgpool-ii pgpool-ii <HA ソフト > Heartbeat/Pacemaker (pgpool-ha AS) 障害 PostgreSQL レプリケーション ( 同期 ) PostgreSQL ディスクフェイルオーバ / 縮退ディスクアクティブサーバスタンバイサーバ Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 33

34 pgpool-ii について PostgreSQL のプロキシサーバレプリケーションフェイルオーバーオンラインリカバリスクリプトを設定して他のレプリケータと連携参照負荷分散パラレルクエリークエリーキャッシュアプリケーション UPDATE t SET x = 1; pgpool-ii UPDATE t SET x = 1; UPDATE t SET x = 1; UPDATE t SET x = 1; PostgreSQL PostgreSQL PostgreSQL Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 34

負荷分散クラスタについて Balance à tabac (wikipedia commons)

37 性能アップをめざしてスケールアウト RDBMS はデータを持つスケールアウトしにくいスケールアップは有効 PostgreSQL: 8~16CPU シェアードナッシグも適所では有効 OLAP 分野むけソフト多数アプリ巻き込みも有力 Key-Value 型 DB ならスケールアウトする? Key-Value 用途だけなら RDBMS だって速いしスケールするレプリケーションで読み取り負荷分散 DB a シェアードナッシグで書き込みも負荷分散 DB a cluster soft DB a DB b DB a cluster soft DB c Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 37

38 可用性も! 負荷分散も! CAP 定理 Consistency 一貫性データ一致! 遅延差異なし! Availability 可用性待たせない! も含む Partition-Tolerance 分割透過性分散して動く! 部分でも動く 3 つを全ては満たせない! レプリケーション + 負荷分散型なら高可用性も負荷分散もとなりそうだが易しくない形のうえでできてもたいていそれはノードを足すほどに遅い銀の弾丸は無い特定条件にマッチしたソリューションはあっても万能構成は無いシステム全体としてあきらめどころを見つける Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 38

40 pgpool-ii 読み取り負荷分散 SQL 制限あり書き込み処理オーバーヘッドありアプリケーションから透過的に使える VIP HA ソフト HA ソフト < 類似ソリューション > PgCluster pgpool-ii pgpool-ii PostgreSQL レプリケーション / 振り分け PostgreSQL PostgreSQL ディスクディスクディスクマスターサーバサーバサーバ Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 40

41 pgpool-ii 2.3.x の世界タイムスタンプデータの挿入ができる INSERT INTO t (ts) VALUES (CURRENT_TIMESTAMP); ノードごとにサーバ時刻が異なるので従来は NG マスターノードの時刻を使うように自動書き換えそのほかフェイルオーバーする / しないの制御 pgpool-ii 停止時に状態を記憶 Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 41

42 pgpool-ii 読み取り負荷分散 - Slony-I 等による非同期版 - pgpool-ii のマスタースレーブモードスレーブサーバのデータは遅れる VIP HA ソフト HA ソフト pgpool-ii pgpool-ii <Slony-I の代わりに > 9.0 HS/SR bucardo londiste PostgreSQL 振り分け PostgreSQL PostgreSQL Slony-I Slony-I Slony-I ディスクレプリケーションディスクレプリケーションディスクマスターサーバサーバサーバ Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 42

43 シェアードナッシグ + 分散クラスタ巨大テーブルを水平分割して各ノードに格納透過的なアクセスを可能にする分散クラスタソフトウェア読み取り中心 OLAP では実用多数 ( 単純な ) 書き込み主体も OK 複雑で不規則な書き込みは? 格納場所の管理分散並列問い合わせ結果の併合結合 DB A a アプリケーションコーディネーター DB b A DB A c メタ情報分散格納データ複製データも < 分散クラスタ> GridSQL pgpool-ii Postgres-XC GreenPlum postgresforest etc.. Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 43

44 アプリケーション実装として機能分割利用単位分割サービスの機能ごとに分ける a, b, c, d.. は機能あるいは利用単位マスタ DB DB a メタ b アプリケーション DB c DB d e 利用単位 (ASP なら契約顧客ごと等 ) に分ける f JOIN したい共通データをテーブル単位でレプリケーションするマスタ a b DB 分割しやすい設計か? 分散クラスタソフトを試してうまく書き込み性能をスケールできないなら手堅い方法 Slony-I など利用 Copyright 2010 SRA OSS, Inc. Japan All rights reserved. 44

ご質問本稿に表れる製品名企業名ロゴマーク等は各社の登録商標または商標です本稿では TM

PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫

PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫 PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫 SRA OSS, Inc. のご紹介 PostgreSQLを中心とした OSSへの様々なサービスを提供サポートサービスコンサルティングパッケージ製品 PowerGres, libtextconv, Sylpheed Pro 教育サービストレーニング技術者認定制度 (PostgreSQL