スライド 1

Size: px

Start display at page:

Download "スライド 1"

ともひろわしあし
5 years ago
Views:

3 プロセス構成 postmater がメイン常駐支援プロセス一部設定に依存接続要求に応じて子プロセスを起動 postmaster startup writer wal writer checkpointer postgres postgres archiver stats collector logger wal receiver autovacuum launcher wal sender autovacuum worker 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 3

4 各プロセスの役割プロセス postmaster PostgreSQLの親プロセス接続を待ち受けるプロセス postgres 個々のクライアントの要求を処理するプロセス writer 共有バッファをディスクに書き出すプロセス wal writer WAL 書き込みを行うプロセス checkpointer CHECKPOINT 処理を行うプロセス (9.2) archiver WALログをアーカイブするプロセス logger PostgreSQLのログをファイルへ書き出すプロセス stats collector 統計情報を収集するプロセス autovacuum launcher 不要領域を監視するプロセス autovacuum worker 自動 VACUUMを実行するプロセス複数起動することがある wal sender WALをスタンバイサーバへ転送するプロセス wal receiver WALをマスターサーバから受信するプロセス

5 プロセス間通信 signal による通知 (INT,TERM,USR1) Windows 版は Event を使う latch (9.1~) pipe を使って signal を捉える仕組み SysV IPC 共有メモリセマフォ localhost udp statistic collecter 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 5

7 通信プロトコルプロトコルバージョン 3.0 認証キャンセルキー別の接続経路を使って中止依頼を送信する簡易問い合わせ SQL 文字列で送信拡張問い合わせ PREPARE と EXECUTE parse/bind/excute notice バックエンドからの通知 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 7

8 データベースクラスタデータベースクラスタファイルシステムに記録されるデータ一式 initdb コマンドで作成されるプロセスの集合体 postmaster プロセス他 ( 前述 ) データベースクラスタで共有される情報ロールデータベース global/ ディレクトリ = pg_global テーブルスペース 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 8

9 プロセスとデータベースクラスタ initdb コマンド postmaster プロセス生成データベースクラスタ template0 template1 テンプレートデータベース対応 userdb1 userdb2 postgres postgres プロセス postgres プロセス対応 postgres user1 user2 ロールデータベース

10 データ格納ファイルシステム上の 1 ディレクトリディレクトリ構成 global/ pg_control base/ 数字 ( データベース )/ 数字 ( リレーション ) pg_clog/ pg_xlog/16 進数 24 桁 ( トランザクションログ ) pg_tblspc/ シンボリックリンク ( テーブルスペース ) *.conf ( 設定ファイル ) 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 10

11 テーブルデータリレーション単位 ( テーブルインデックス ) pg_class.relfilenode, oid で管理 pg_filenode.map, pg_relation_filenode() 1 ファイル 1GB に分割 TOAST (The Oversized-Attribute Storage Technique) _fsm (Free Space Map),_vm (Visibility Map) タプルが見える = 有効である = VACUUM 不要 index only scan でも利用 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 11

12 ブロック構造タプル ( 行 ) データはブロック単位で管理 8kB 8kB テーブルファイル 0 ページ 1 ページ ctid = (1, 1) pd_linp[0] ctid = (1, 2) ctid = (1, 3) PageHeaderData pd_linp[1] pd_linp[2] pd_linp[3] pd_linp[n] ctid = (1, 4) ctid = (1, n + 1) 8kB 2 ページフリースペース pd_lower 8kB n ページタプル 3 pd_upper タプル 2 pd_special タプルn タプル1 特殊データページサイズは最大 32kB 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 12

13 VACUUM 追記型アーキテクチャ世代管理トランザクション ID 周回問題不要領域の回収 HOT (Heap Only Tuple) 更新内容を同じページ内に記録してリンクを作るインデックスの更新を不要にする適時不要領域の回収が可能 fill factor

15 パースリライトパースツリーデバックログ debug_print_parse / debug_print_rewritten / debug_print_plan SQL の書き換え (rewrite) pg_rules (pg_rewrite) pg_views

17 executor プランに従ってデータの参照更新を行なう共有バッファの管理エグゼキュータクライアントページ共有バッファメモリ対応するブロックページが既にあればブロックはテーブルファイル読まない

18 データ書き込み更新はトランザクションログと共有バッファに行なうエグゼキュータデータ変更変更 01 変更 02 変更 03 (1) (2) ページ非同期書き込みクラッシュしたらトランザクションログから復旧ブロックトランザクションログ (pg_xlog) 共有バッファメモリ

19 トランザクション隔離と同時実行 MVCC (MultiVersion Concurrency Control) 多版型同時実行制御追記型トランザクション ID を使った管理タプルは特殊なカラムを持っている xmin,xmax,cmin,cmax 作られた時消された時その操作をしたトランザクションコマンド ID (ex) CURSOR FETCH で見えるか見えないか 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 19

20 コミットログ pg_clog/ トランザクションの状態実行中 / COMMITED / ABORTED 参考文献 Mvcc Unmasked - Bruce Momjian January,

21 トランザクションログ pg_xlog/ WAL (write ahead log) 何を実行したかの記録バッファに対する変更内容を記録 XLogInsert() 確実に記録するために同期書き込み複数の実行バックエンドのための処理が入る共有バッファの更新前に処理される ( 共有バッファの同期は後述 ) 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 21

23 同期処理共有バッファの更新内容をディスクへ書き込む checkpoint 過去のトランザクションログが不要になる WAL のリサイクル WAL が不足すると強制 checkpoint 最後の checkpoint 以降の更新がクラッシュリカバリに必要共有バッファが不足した時は随時書き出すバックグラウンド書き込み writer プロセス 2012/10/17 Copyright 2012 SRA OSS, Inc. Japan All rights reserved. 23

25 終り各項目についての解説は他にも色々とありますので探してみて下さい他データベースでの各処理の仕組みと比較するのも良いだろうご静聴ありがとうございました

PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫

PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫 PostgreSQL によるクラスタ構成の可能性 SRA OSS, Inc. 日本支社取締役支社長石井達夫 SRA OSS, Inc. のご紹介 PostgreSQLを中心とした OSSへの様々なサービスを提供サポートサービスコンサルティングパッケージ製品 PowerGres, libtextconv, Sylpheed Pro 教育サービストレーニング技術者認定制度 (PostgreSQL