はじめに PostgreSQL/PowerGres サポート & 保守サービスでサポート対象になっているサードパーティ製のソフトを紹介 pgfouine pgbadger( 今後サポート対象にする予定 ) PgFincore pg_reorg pg_rman pg_bulkload pg_stat

Size: px

Start display at page:

Download "はじめに PostgreSQL/PowerGres サポート & 保守サービスでサポート対象になっているサードパーティ製のソフトを紹介 pgfouine pgbadger( 今後サポート対象にする予定 ) PgFincore pg_reorg pg_rman pg_bulkload pg_stat"

くにもときせんばる
7 years ago
Views:

2 はじめに PostgreSQL/PowerGres サポート & 保守サービスでサポート対象になっているサードパーティ製のソフトを紹介 pgfouine pgbadger( 今後サポート対象にする予定 ) PgFincore pg_reorg pg_rman pg_bulkload pg_statsinfo 各ソフトのインストールや設定は CentOS 6 に PGDG の Yum リポジトリから PostgreSQL 9.2 をインストールした状態が前提 # rpm -ivh # yum groupinstall "PostgreSQL Database Server PGDG" # su - postgres $ export PATH=/usr/pgsql-9.2/bin:$PATH $ initdb -E UTF8 --no-locale $ pg_ctl start -w Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 2

3 pgfouine とはログを解析し SQL の実行に関するレポートを作るツール fouine( フウィン ) とはフランス語でテン ( ムナジロテンイタチ科の動物 ) フランス語の動詞 fouiner( かぎまわる ) の一人称単数現在形? PHP で書かれている PGDG の Yum リポジトリからインストール # yum install pgfouine php-gd こんな人におすすめ ( 次の pgbadger のほうがいい ) アプリケーションを遅くしている SQL を見つけ出したい人見栄えのいいレポートを作りたい人ただしメモリの使用量が多く解析に時間がかかる開発が止まっている (2010 年 2 月のリリースが最後 ) Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 3

4 pgfouine の使い方解析に必要なメッセージがログに出力されるように設定 log_min_duration_statement = 0 log_duration = off log_line_prefix = '' #log_line_prefix = '%t [%p]: [%l-1] ' log_statement = 'none' lc_messages = 'C' # syslog を使う場合 # ロギングコレクタを使う場合ロギングコレクタ (logging collector) だと複数行にわたるメッセージを処理できない場合があるので syslog を使ったほうがいいログがたまったら pgfouine.php スクリプトを実行 $ pgfouine.php -file /var/log/postgresql -format html-with-graphs \ -logtype syslog -report report.html=overall,hourly,bytype Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 4

6 pgbadger とはログを (pgfouine より ) 高速に解析し SQL の実行やサーバの動作に関するレポートを作るツール badger( バジャー ) とは英語でアナグマテン (pgfouine) と同じイタチ科の動物にちなんでいる pgfouine でできることは pgbadger でもできる Perl で書かれている PGDG の Yum リポジトリからインストール # yum install pgbadger こんな人におすすめ pgfouine を使ってみたいと思った人 (pgbadger のほうがいい ) Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 6

7 pgbadger の使い方ログの設定は基本的に pgfouine と同じ log_min_duration_statement = 0 log_checkpoints = on log_connections = on log_disconnections = on log_duration = off log_line_prefix = '' #log_line_prefix = '%t [%p]: [%l-1] ' log_lock_waits = on log_statement = 'none' log_temp_files = 0 log_autovacuum_min_duration = 0 lc_messages = 'C' チェックポイントの実行クライアントの接続や切断などサーバの動作に関するメッセージにも対応 ( 赤字 ) ログがたまったら pgbadger スクリプトを実行 $ pgbadger -o report.html /var/log/postgresql # syslog を使う場合 # ロギングコレクタを使う場合 Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 7

9 PgFincore とは OS のディスクキャッシュに乗ったテーブルとインデックスのページを管理する関数 fincore( エフインコア ) fadvise( エフアドバイズ ) の PostgreSQL 版 PGDG の Yum リポジトリからインストールできる # yum install pgfincore92 $ psql test =# CREATE EXTENSION pgfincore; こんな人におすすめキャッシュにどのくらいテーブルやインデックスが乗っているかを知りたい人特定のテーブルやインデックスをキャッシュに乗せたい乗りやすくしたい人バックエンドプロセス共有バッファ OS のディスクキャッシュ PgFincore テーブルファイル / インデックスファイル Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 9

10 PgFincore の使い方 pgfincore 関数キャッシュにどのくらいページが乗っているかを調べる =# SELECT * FROM pgfincore('pgbench_accounts'); -[ RECORD 1 ] relpath base/16425/16438 ファイルパス segment 0 セグメント番号 os_page_size 4096 OS のページサイズ rel_os_pages 合計ページ数 pages_mem キャッシュ内のページ数 group_mem 隣り合うページのグループ数 os_pages_free キャッシュの空きページ数 databit どこがキャッシュされているか ( 省略 ) pgfadvise_willneed/dontneed 関数キャッシュに乗ったページをできるだけとどめる / 必要なくなったら追い出すように指示する =# SELECT * FROM pgfadvise_willneed('pgbench_accounts'); Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 10

11 pg_reorg とは参照や更新を妨げずに CLUSTER や VACUUM FULL を実行するツールテーブルには主キーが必要実行中に DDL を実行してはいけないとくに TRUNCATE や CREATE INDEX ALTER TABLE の一部を実行するとデータの整合性が崩れたり消えてしまう RPM パッケージをダウンロードしてインストール # rpm -ivh pg_reorg pg92.rhel6.x86_64.rpm $ psql test =# CREATE EXTENSION pg_reorg; どうしても VACUUM FULL を実行したい人におすすめ (FULL でない )VACUUM をちゃんと実行しておけば VACUUM FULL が必要になることは少ない pg_reorg で特定のテーブルに VACUUM FULL を実行 $ pg_reorg -n -t pgbench_accounts test Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 11

12 pg_rman とはオンラインバックアップと PITR(point-in-time recovery) のややこしい操作を手助けするツール RPM パッケージをダウンロードしてインストール # rpm -ivh pg_rman pg92.rhel6.x86_64.rpm オンラインバックアップを使いたいと思っていたけど難しそうであきらめていた人におすすめちなみに PowerGres ならオンラインバックアップはもちろんストリーミングレプリケーションも GUI で操作できる Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 12

13 pg_rmanの使い方トランザクションログが保管されるように設定を行う $ mkdir /mnt/disk/archive $ vim $PGDATA/postgresql.conf wal_level = archive archive_mode = on archive_command = 'cp %p /mnt/disk/archive/%f' $ pg_crl restart バックアップカタログを初期化 $ mkdir /mnt/disk/backups $ pg_rman init -B /mnt/disk/backups フルバックアップをとる $ pg_rman backup -B /mnt/disk/backups -b full $ pg_rman validate -B /mnt/disk/backups データベースクラスタが消えてしまった状態からリカバリ $ pg_ctl stop -m immediate $ rm -fr $PGDATA $ pg_rman restore -B /mnt/disk/backups $ pg_ctl start Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 13

14 pg_bulkload データを高速にロードするツールロード時間は COPY に比べてデータが空の状態で 10% 程度データが入っている状態で 60% 程度短くなったという報告もあるトランザクションログへの書き込みを行わない PITRの場合にはロード後にベースバックアップを取る必要があるストリーミングレプリケーションの場合には使えない RPM パッケージをダウンロードしてインストール # rpm -ivh pg_bulkload pg92.rhel6.x86_64.rpm $ psql test =# CREATE EXTENSION pg_bulkload; データのロードに時間がかかっている人におすすめ pg_bulkload でデータをロード $ pg_bulkload -i pgbench_accounts.tsv -O pgbench_accounts \ -o DELIMITER=$'\t' -d test Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 14

15 pg_statsinfo サーバの動作に関する情報を定期的に集めるツール pg_statsinfo が集める情報統計情報コレクタが集めた情報テーブルスペーストランザクションログアーカイブログのディスク使用量チェックポイント自動バキュームの実行回数実行時間 SQLの実行回数合計実行時間 OS のリソース情報など集めた情報は pg_reporter で HTML 形式のレポートとして出力できる RPM パッケージをダウンロードしてインストール # rpm -ivh pg_statsinfo pg92.rhel6.x86_64.rpm いざというときに備えて情報をとっておきたい人におすすめ設定や使い方についてはドキュメント ( 日本語 ) を参照 Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 15

PGECons技術ドキュメントテンプレート Ver.3

PGECons技術ドキュメントテンプレート Ver.3 pg_basebackup 実行手順例 1 WAL のアーカイブを保存するディレクトリを作成する # mkdir /usr/local/pgsql/archive /usr/local/pgsql/archive 3 バックアップ対象サーバの postgresql.conf を設定する 4 バックアップ対象サーバの pg_hba.conf を設定する 5 バックアップ対象サーバの PostgreSQL

はじめに PostgreSQL/PowerGres サポート & 保守サービス でサポート対象になっているサードパーティ製のソフトを紹介 pgfouine pgbadger( 今後サポート対象にする予定 ) PgFincore pg_reorg pg_rman pg_bulkload pg_stat

はじめに PostgreSQL/PowerGres サポート & 保守サービスでサポート対象になっているサードパーティ製のソフトを紹介 pgfouine pgbadger( 今後サポート対象にする予定 ) PgFincore pg_reorg pg_rman pg_bulkload pg_stat