スライド 1

Size: px

Start display at page:

Download "スライド 1"

あきみますはら
5 years ago
Views:

1 C3 PostgreSQL 運用テクニックレベルアップ編 NTT OSS センタ坂本昌彦 1

2 自己紹介坂本昌彦 NTT OSS センタ勤務 PostgreSQL トラブルシューター PostgreSQL ツールメンテナ (pg_bulkload など ) PostgreSQL 研修著書 PostgreSQL 徹底入門第 3 版興味 PostgreSQL Hadoop NoSQL DBs (MongoDB, Redis, HBase ) AppEngine Python (WSGI, Twisted ) 2

3 今日の話題運用について語ります PostgreSQL 運用の考え方安定運用実践に向けて運用をサポートするツールツールを使った運用のデモをします性能監視 pg_statsinfo を使ってバックアップ pg_rman を使ってオンライン再編成 pg_reorg を使って高速データロード pg_bulkload を使って 3

4 想定している聴衆 PostgreSQL DBA 企業システムに PostgreSQL を導入する技術者 OSS-DB Silver 相当以下の PostgreSQL 用語を聞いてその指し示す意味が理解できる程度 VACUUM, pg_dump, PITR, EXPLAIN 4

5 その他お知らせ本日のスライド JPUG サイトにアップロード予定相補関係となるスライド具体的な運用 TIPS は以前発表したものが有用 PostgreSQL 運用テクニック peration_technique.pdf/view 本日のデモ関連のスクリプト github で公開 git clone git://github.com/sakamotomsh/pgcon12jc3.git 5

6 PostgreSQL 運用の考え方 6

7 運用設計の考え方目標の置きかた必要かつ十分な運用設計コストのかけすぎ ( Д ) マスー検討丌足いきあたりばったり ( Д ) マスー業務要件にあった必要十分な運用 ( д ) 安定運用を実現するためにそもそも何で失敗するのか? 色々つくりこんでバグも作りこむそもそも思いもつかなかった落とし穴にはまる OSS のツールを使う作りこまれてバグが少ない色々なケースが検討されている ( ことが多い ) 類似プロジェクトの設計書ツールを使うただし成功した PJ に限る 7

8 DBA に求められる運用項目監視レポート死活監視リソース監視性能監視統計情報確認デモ性能維持メンテナンスコマンド実施デモサービス管理停止 / 再起動フェイルオーバプロモートバックアップ / リストアバックアップ PITR デモ性能分析 / トラブルシュートクエリキャンセルボトルネック調査実行計画分析アップデートセキュリティアップデートアップグレード 8

pg_start_backup() cp, tar,rsync など pg_basebackup pg_rman ( ストリーミングレプリケーション ) リストアコマンド pg_restore / psql 特に無し (PITR 機能 ) (PITR 機能 ) pg_rman - 売り文句手順が容易リモートで実施可 DB 単位でバックアップ手順が容易標準的な方法手順が容易

9 バックアップを例に ( 1 / 4 ) バックアップ方法として何を選ぶ?? お手軽な pg_dump? PITR 対応安心の物理バックアップ ( オンライン )? 新機能 pg_basebackup コマンド (Ver9.1~)? 付加価値つきの外部ツール pg_rman? 番外編レプリケーションでよい?? オペミスは戻せないけど駒をたくさん持つ駒の特性を把握するお手軽論理バックアップ物理バックアップ ( オフライン ) 定番物理バックアップ ( オンライン ) カンタン物理バックアップ ( オンライン libpq) 外部ツールレプリケーションバックアップコマンド pg_dump / pg_dumpall cp, tar rsync など pg_start_backup() cp, tar,rsync など pg_basebackup pg_rman ( ストリーミングレプリケーション ) リストアコマンド pg_restore / psql 特に無し (PITR 機能 ) (PITR 機能 ) pg_rman - 売り文句手順が容易リモートで実施可 DB 単位でバックアップ手順が容易標準的な方法手順が容易リモートで実施可手順が容易複数世代管理簡単どこまで戻せる? バックアップ時点バックアップ時点任意の時点任意の時点任意の時点最新の時点のみレプリカになれる? - - なれるなれる ( なれる ) なれるリモートで実施可能? リモート可 - - リモート可 - リモート可スナップショット機能と連携可? - 可能可能注意点など設定ファイルなど別途バックアップが必要サーバを停止させる必要がある厳密にはバックアップではないオペミス / 改竄は防げない 9

10 バックアップを例に ( 2 / 4 ) 要件を確認要件を引き出すコストと天秤にかける私 pg_dump でバックアップを取りたいのですが何かあったときは前日の AM12:00 の状態に DB が戻ってしまいますお客様ありえないでしょそれは私私 ( やっぱ PITR 対応のバックアップ方式が必要か ) 10

11 バックアップを例に ( 3 / 4 ) オンラインバックアップを採用なかなか難しいスクリプト化に大きな工数想定外をなくすツールで実現できるか検討するコピー中エラーが起きたら? 除外ファイルがあるんじゃないの? 中断したいときのロジックは実装したの? テーブルスペースの扱いは? 昔のアーカイブログは消した? ツールを利用する pg_basebackup pg_archivecleanup 11

12 バックアップを例に ( 4 / 4 ) もっとすごいツールを使う pg_rman はすごいここがすごい簡単にオンラインバックアップ簡単にリストア (PITR 前準備 ) 複数世代管理増分バックアップ要件とマッチすれば非常に有用です後でデモします 12

13 いったんまとめ安定運用を実現するために何をするべきかを明らかにする ( 運用項目の明確化 ) 何があるかを把握する ( 実現方針の決定 ) 要件を引き出しおとしどころを探る ( 実現方式の決定 ) 手持ちの駒から実現性の高いものを選ぶ失敗しないためにノウハウが詰まったツールを活用するノウハウが詰まった過去の類似 PJ の資料を探す 13

14 メッセージいち技術者としてプロジェクトでは現実路線これは仕方ない技術者としては妥協しない幅を広げるパターンアンチパターンを知る過去の蓄積を類型化する知識を蓄える公式ドキュメントは隅から隅まで読む Conference, 勉強会の資料を読むソースコードも読む色々知っておく contrib, PgFoundry, PGXN, Sourceforge 等のツール 14

15 安定運用実践に向けて 15

16 安定運用実践に向けて ( 1 / 3 ) 以下の運用要件を実現できるように技術を磨きましょう死活監視外形監視 (ping/port/sql 監視 ) H/W 監視プロセス監視ログ監視リソース監視性能監視 CPU/MEM/IO/NW 使用量監視ディスク容量監視スロークエリ監視最頻 SQL 監視キャッシュヒット率監視レプリケーション遅延監視統計情報レポートトランザクション量コミット数 / ロールバック数アーカイブ量 DB サイズ量チェックポイント頻度自動 VACUUM 頻度同時接続数スループットレスポンスバッチ処理時間 16

17 安定運用実践に向けて ( 2 / 3 ) 停止 / 再起動設定リロード smart/fast/immediate シャットダウン再起動クラッシュリカバリ時作業フェイルオーバ HA クラスタ構築運用プロモートレプリケーション構築運用バックアップ論理バックアップ物理バックアップアーカイブログ管理 PITR 時刻を指定した PITR 最新状態まで PITR オペミス直前までの PITR 17

18 安定運用実践に向けて ( 3 / 3 ) メンテナンスコマンド実施自動 VACUUM チューニング自動 ANALYZE チューニング REINDEX CLUSTER VACUUM FULL クエリキャンセル問い合わせキャンセル接続のキャンセルボトルネック調査リソース解析ロック分析 ( ヘビーロック LW ロック ) 統計情報収集 (pg_stat*) 実行計画分析 EXPLAIN (BUFFERS ON ANALYZE ON) の分析適切な対応方針の策定セキュリティアップデートマイナーバージョンアップアップグレードデータダンプデータロードメジャーバージョンアップ 18

19 運用をサポートするツール 19

20 ツール紹介 pg_statsinfo pg_statsinfo 性能情報各種統計情報をWeb 画面から確認する内部状態をチェックしアラートを上げる使いどころグラフィカルに状態を確認したい時週次性能レポートをつくる時 20

21 ツール紹介 pg_reorg pg_reorg 参照更新を妨げずに表索引を再作成する使いどころ VACUUM FULL したいけど止められない時 REINDEX したいけど止められない時対象テーブル並び替え作業テーブル操作反映テーブルを切り替え INSERT UPDATE DELETE 操作ログ表に記録差分を反映し更新結果を引き継ぎます切り替えは一瞬です 21

22 ツール紹介 pg_rman pg_rman コマンド一つでオンラインバックアップを取得するコマンド一つでPITRの前準備を実施する使いどころとにかく簡単にバックアップリカバリを実現したい時 $ pg_ctl start $ pg_rman backup --backup-mode=full --with-serverlog $ pg_rman validate $ pg_ctl stop -m immediate $ pg_rman restore $ pg_ctl start 22

ツール紹介 pg_bulkload pg_bulkload http://pgbulkload.projects.postgresql.org/index_ja.

23 ツール紹介 pg_bulkload pg_bulkload データロードを高速にロードする使いどころデータロード時間を少しでも早くしたい時ロードするデータに何らかの加工をしたい時 (ETLツール) 23

24 デモ 24

25 お品書き運用をサポートするツールを使ってデモをします性能監視 pg_statsinfo を使ってバックアップ pg_rman を使ってオンライン再編成 pg_reorg を使って高速データロード pg_bulkload を使って 25

26 ご清聴ありがとうございました 26

スライド 1

スライド 1 Zabbix で PostgreSQL の監視を行おう ~pg_monz のご紹介 ~ SRA OSS,Inc. 日本支社盛宣陽 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 1 PostgreSQL の課題 DB としての基本機能性能は商用 DB と比べても引けをとらない運用面には課題ありどのようにして運用するのか? 効果的な監視方法は?