日本 PostgreSQL ユーザ会第 28 回しくみ + アプリケーション勉強会 Zabbix を使って PostgreSQL を監視してみよう 2014 年 2 月 1 日 TIS 株式会社中西剛紀 (Yoshinori Nakanishi)

Size: px

Start display at page:

Download "日本 PostgreSQL ユーザ会第 28 回しくみ + アプリケーション勉強会 Zabbix を使って PostgreSQL を監視してみよう 2014 年 2 月 1 日 TIS 株式会社中西剛紀 (Yoshinori Nakanishi)"

よしたかあんさい
4 years ago
Views:

1 日本 PostgreSQL ユーザ会第 28 回しくみ + アプリケーション勉強会 Zabbix を使って PostgreSQL を監視してみよう 2014 年 2 月 1 日 TIS 株式会社中西剛紀 (Yoshinori Nakanishi)

2 唐突ですが

3 pg_monz を OSS 公開しました! 2013/11/5 に Ver1.0 をリリースしましたこんなプレスリリース出しました GitHub 上に公開していますライセンスは Apache License Version 2.0

4 pg_monz って何? PostgreSQL を監視するための Zabbix テンプレート PostgreSQL monitoring template for Zabbix 略して pg_monz ( ぴーじーもんず ) TIS と SRA OSS, Inc. 日本支社で共同開発

5 PostgreSQL と Zabbix

6 PostgreSQL とはオープンソースのデータベース管理システム MySQL と人気を二分しています国内では PostgreSQL の活動が活発化しています PostgreSQL エンタープライズコンソーシアム (PGECons) 参考 ) 2012 年度活動成果とうとう出た!Amazon RDS for PostgreSQL! 説明不要! ostgresql-now-available.html

7 Zabbix とはオープンソースの統合監視ソフトウェア非常に多くの機器の監視が可能 NW 機器サーバミドルウェアアプリケーション対応するプラットフォームも多い監視ツールに必要な機能を網羅収集データの保管傾向分析メール等での障害通知 Web インタフェースによるグラフィカル表示 Zabbix エージェントの UserParameter による拡張国内でも Zabbix の導入事例が増えてきています

8 PostgreSQL の課題運用が難しいサードパーティ製の運用ツールが充実していない GUIでいろいろやりたいんだけどとにかくスクリプトを書け! という世界キャッシュヒット率を計算する SQL とか知らない運用のノウハウも未整備探せばいろいろ情報は出てきますが

9 Zabbix の課題監視設定に手間がかかる Zabbix の監視設定を理解する学習コスト監視で使うアイテムのキー障害通知に使うトリガ条件式の書き方関数の使い方テンプレートという仕組みが用意されているが標準状態で用意されているテンプレートのバリエーションが少ない PostgreSQL 用のテンプレートもない PostgreSQL で監視に必要な情報を取得するコマンドを理解している人が 1 から監視設定を行う必要がある

10 pg_monz の特徴

11 pg_monz でできること 1 死活監視 PostgreSQLサーバプロセスの起動数を監視 SQL 応答有無を監視ログ監視 PANIC, FATAL, ERROR を含むログメッセージを検出データベース容量監視データベース毎の容量を監視し閾値超過時に通知データベース容量の遷移をグラフ表示データベース接続数監視 - SQL 処理中アイドルロック待ちの内訳をグラフ表示

12 pg_monz でできること 2 チェックポイント実行回数の監視データベースキャッシュヒット率の監視キャッシュヒット率が閾値を下回った場合に通知データベースのキャッシュヒット率の遷移をグラフ表示トランザクション処理状況の監視データベース毎の COMMIT/ROLLBACK 回数の遷移をグラフ表示

13 pg_monz でできること 3 一時ファイル発生状況の監視一時ファイル出力量が閾値を超過したら通知一時ファイルの出力量の遷移をグラフ表示滞留バックエンド処理の監視一定時間以上経過した SQL を監視し閾値超過時に通知一定時間以上経過した SQL 数の遷移をグラフ表示テーブル単位の情報収集 ( オプション ) VACUUM 実行回数キャッシュヒット率シーケンシャルスキャンインデックススキャン実行回数

14 pg_monz の特徴導入が容易 Zabbix 標準機能のみを利用特別なモジュール導入や設定変更は不要導入のステップ [ 監視する側 ] Zabbixサーバの構築 [ 監視される側 ] Zabbixエージェントの導入 [ 監視される側 ] 3つのファイルをコピー [ 監視する側 ] テンプレートファイルをインポート [ 監視する側 ] 環境依存の設定を変更 PostgreSQL の監視がスタート!!

15 pg_monz の特徴データベースの増減に監視項目が自動で追随 Zabbixのローレベルディスカバリ機能 (LLD) でデータベースの増減を自動検出活用例導入当初 : データベース DB1 の監視アイテムのみを作成その後データベース DB2 を追加作成 : 通常は DB2 の監視アイテムを手動で作成する pg_monzなら DB2 の監視アイテムは自動作成され手動での作成は不要

16 デモ

17 デモ環境 [ 監視する側 ] 運用監視サーバ VM ( ) Zabbix Server [ 監視される側 ] DB サーバ VM ( ) Zabbix Agent PostgreSQL PostgreSQL クライアント (psql コマンド ) CentOS 6.3 CentOS 6.3 PostgreSQL Mac OS X Oracle Virtual Box デモ用に更新間隔を変更したテンプレートを使用

18 デモ内容 pg_monz を導入する pg_monz の監視イメージを確認するデータベース追加時の動きを確認する

19 pg_monz のしくみ

20 pg_monz の動作のしくみ Zabbix による監視 (Zabbix エージェントあり ) 運用監視サーバ DB サーバ ( 監視対象 ) Zabbix Server 監視データの要求 Zabbix Agent 監視データの返却監視データの保存収集した監視データを保存する DB (MySQL/PostgreSQL) CPU 使用率メモリ使用量 DISK 使用量管理者端末 PostgreSQL

21 pg_monz の動作のしくみ pg_monzによるpostgresqlサーバの監視運用監視サーバ DB サーバ ( 監視対象 ) Zabbix Server テンプレートファイル (pg_monz_template.xml) 監視データの要求監視データの返却 Zabbix Agent 拡張 UserParameter 設定 (userparameter_pgsql.conf) 収集した監視データを保存する DB (MySQL/PostgreSQL) 監視データの保存 PostgreSQL 監視データの返却 PostgreSQL 監視データの要求 PostgreSQL クライアント (psql コマンド ) 管理者端末 PostgreSQL

22 pg_monz の動作のしくみデータベース自動検出のしくみ運用監視サーバ DB サーバ ( 監視対象 ) Zabbix Server テンプレートファイル (pg_monz_template.xml) 監視データの保存収集した監視データを保存する DB (MySQL/PostgreSQL) 監視データの要求監視データの返却 PostgreSQL 監視データの要求 / 返却 Zabbix Agent 拡張 UserParameter 設定 (userparameter_pgsql.conf) LLD スクリプト (find_dbname.sh) (find_dbname_table.sh) DB テーブル一覧の要求 / 返却 PostgreSQL クライアント (psql コマンド ) 管理者端末 PostgreSQL

23 pg_monz における LLD の活用 Zabbix のローレベルディスカバリ (LLD) 機能 Zabbix 2.0から搭載された便利機能 NIC, DISK, SNMP OIDの情報を自動探索サーバ毎に構成が異なる場合に監視アイテムをそれぞれ登録する手間がかかる問題を解決 SNMP Agent Zabbix Agent 探索定期実行探索定期実行 Zabbix Server lo 探索 / 探索結果に応じてアイテム自動登録 eth0 /boot DB eth1 /var /proc/net/dev の情報を自動取得注 )Linux の場合 /proc/mounts の情報を自動取得注 )Linux の場合注 )NIC,Disk のディスカバリには Zabbix2.0 の Agent 導入が必要

24 pg_monz における LLD の活用 LLD のカスタマイズ LLD はディスカバリルールを定期的に実行ディスカバリルールはカスタマイズが可能ディスカバリルールで定義した処理が JSON 形式のレスポンスを返せば OK pg_monz では以下の LLD スクリプトを用意データベース名一覧取得 : find_dbname.sh テーブル名一覧取得 : find_dbname_table.sh 例 ) postgres DB1 が存在する場合の find_dbname.sh 実行結果 {"data": [ { {#DBNAME} : postgres }, {"{#DBNAME}":"DB1"}] } 実際に find_dbname.sh を見てみましょう

25 pg_monz で活用している PostgreSQL 監視運用のノウハウ

26 PostgreSQL からの情報取得監視項目の大半は統計情報ビューから情報を取得 pg_stat_database pg_stat_bgwriter pg_stat_activity pg_stat_all_tables pg_stat_user_tables pg_statio_user_tables 実際に userparameter_pgsql.conf を見てみましょう

27 課題とか

28 ログ監視 Zabbix 2.0 でのログ監視指定したパターン文字列にマッチしたログの行全体を取ってくることはできるログメッセージに含まれる特定の文字列を部分抽出することはできないサーバログからスロークエリや VACUUM チェックポイント処理時間等を取得しようとして断念 Zabbix 2.2 では正規表現で部分抽出できるようになったので期待できる? PostgreSQL でサーバログにしか出力されない情報は扱いづらい

29 pg_statsinfo との関係機能的に似ているがどう違う? pg_statsinfo PostgreSQL 専用ツールとして開発されており機能が充実定期的に統計情報をスナップショットとして保管し後でゆっくりと DB の問題を分析する pg_monz Zabbix のプラグインの 1 つであり Zabbix を使用している運用者が違和感なく利用できる今発生している問題にすぐに気付き対応する

30 最後に pg_monzへの要望や実装アイデアがあれば是非お聞かせくださいいずれは Zabbix の標準テンプレートとして含めてもらい PostgreSQL 普及の足がかりになればいいなあと考えていますお問い合わせはこちらまで pg_monz ユーザーグループ

スライド 1

スライド 1 Zabbix で PostgreSQL の監視を行おう ~pg_monz のご紹介 ~ SRA OSS,Inc. 日本支社盛宣陽 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 1 PostgreSQL の課題 DB としての基本機能性能は商用 DB と比べても引けをとらない運用面には課題ありどのようにして運用するのか? 効果的な監視方法は?