スライド 1

Similar documents
日本 PostgreSQL ユーザ会第 28 回しくみ + アプリケーション勉強会 Zabbix を使って PostgreSQL を監視してみよう 2014 年 2 月 1 日 TIS 株式会社中西剛紀 (Yoshinori Nakanishi)

Zabbix で PostgreSQL を監視! pg_monz のご紹介 Zabbix Conference Japan 年 11 月 20 日 SRA OSS, Inc. 日本支社マーケティング部

pg_monz 監視アイテム一覧 :Template App PostgreSQL Template App PostgreSQL アプリケーション LLD アイテムトリガー監視タイプ更新間隔ヒストリトレンドデフォルト説明ステータス pg.get pgsql.get.pg.bgwriter Zabb

新バージョン! Zabbix 2.2 と検証結果のご紹介 SRA OSS, Inc. 日本支社山本博之 Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 1

スライド 1

スライド 1

PowerPoint プレゼンテーション

pgpool-ii で PostgreSQL のクラスタを楽々運用しよう OSC Tokyo 2014/12/12 SRA OSS, Inc. 日本支社マーケティング部 OSS 技術グループ 長田 悠吾

PostgreSQL による クラスタ構成の可能性 SRA OSS, Inc. 日本支社 取締役支社長 石井達夫

スライド 1

スライド 1

スライド 1

Hadoop LZO圧縮機能の検証

スライド 1

商用監視ソフトウェアユーザの Zabbix 移行へ朗報 Zabbix Event Viewer のご紹介 【本邦初公開】

スライド 1

自己紹介 長田悠吾 ( ナガタユウゴ ) SRA OSS, Inc. 日本支社 マーケティング部 OSS 技術グループ pgpool-ii 開発者 PostgreSQL 関連の技術調査 OSS の技術サポート PostgreSQL の開発にも参加 Copyright 2015 SRA OSS, In

アジェンダ Oracle サーバの見える化はなぜ必要? WebSAMApplicationNavigator で簡単 安心に監視を実現 Oracle 監視の導入コスト 2 NEC Corporation 2009

SRA OSS, Inc. のご紹介 1999 年より PostgreSQL サポートを中心に OSS ビジネスを開始 2005 年に現在の形に至る 主なビジネス PostgreSQL, Zabbix などの OSS のサポート コンサルティング 導入構築 PowerGres ファミリーの開発 販売

Arcserve Unified Data Protection サーバ構成とスペック見積もり方法 2016 年 06 月 Arcserve Japan Ver

FUJITSU Software Systemwalker Centric Manager Lite Edition V13.5 機能紹介資料

メール全文検索アプリケーション Sylph-Searcher のご紹介 SRA OSS, Inc. 日本支社技術部チーフエンジニア Sylpheed 開発者 山本博之 Copyright 2007 SRA OSS, Inc. Japan All right

Zabbix入門-勉強会資料_

スライド 1

Microsoft PowerPoint - OSS運用管理勉強会資料_ a.pptx

PowerGres Plus V9.1 のご紹介 PostgreSQL をベースに信頼性とセキュリティをプラス SRA OSS,Inc. 日本支社マーケティング部 2015/10 Copyright 2015 SRA OSS, Inc. Japan All rights reserved. 1

Web 環境におけるレイヤー別負荷の 2 違い DB サーバ AP サーバ 後ろのレイヤーほど負荷が高く ボトルネックになりやすい

PowerPoint プレゼンテーション

PHP 開発ツール Zend Studio PHP アフ リケーションサーハ ー Zend Server OSC Tokyo/Spring /02/28 株式会社イグアスソリューション事業部

リレーショナルデータベース入門 SRA OSS, Inc. 日本支社 Copyright 2008 SRA OSS, Inc. Japan All rights reserved. 1

Microsoft PowerPoint - DNS_BoF_SCS_ pptx

ハピタス のコピー.pages

Copyright 2008 All Rights Reserved 2

相続支払い対策ポイント

150423HC相続資産圧縮対策のポイント

MIRACLE MH for SNMP サポート SLA( サービスレベルアグリーメント ) ML-CS-0747 本書は サイバートラスト株式会社 ( 以下 サイバートラスト ) が MIRACLE MH for SNMP サポート ( 以下当サポートサービス ) の内容について説明するものである

CLUSTERPROXSingleServerSafe SingleServerSafe ご紹介 2007 年 10 月

9 WEB監視

アジェンダ クラスタリングとは 今回の構成 DRBD Zabbix 等の構成ソフトウェア Zabbix2.0 新機能 構築方法 バックアップについて 参考資料 2

ライフサイクル管理 Systemwalker Centric Manager カタログ

Arcserve Unified Data Protection サーバ構成とスペック見積もり方法 2018 年 10 月 Arcserve Japan Ver


JP1 Version 11

memcached 方式 (No Replication) 認証情報は ログインした tomcat と設定された各 memcached サーバーに認証情報を分割し振り分けて保管する memcached の方系がダウンした場合は ログインしたことのあるサーバーへのアクセスでは tomcat に認証情報

アジェンダ はクラウド上でも十分使えます 1. の概要 とは の導入事例 で利用される構成 2. をクラウドで使う クラウドサービスの分類 Amazon Web Services による構成例 2

スライド 1

2017/8/2 HP SiteScope software 監視機能対応表 この監視機能対応表は HP SiteScope software v11.33) に対応しています モニタ モニタ説明 モニタ説明 SiteScope for Windows SiteScope for Linux ネット

kaisetu.book

1

Corp ENT 3C PPT Template Title

ESMPRO/ServerManager Ver. 6 変更履歴

Zabbixを もっと使おう

自己紹介 自己紹介 Zabbix Japan 代表 ZABBIX-JPコミュニティ代表 経歴 2004 年 SIerにてZabbixの仕事に関わる 2005 年 ZABBIX-JPコミュニティ設立 2009 年 Zabbix 書籍の執筆 2011 年 Zabbix SIAに転職 ラトビアへ 2012

初心者にもできるアメブロカスタマイズ新2016.pages

- 2 Copyright (C) All Rights Reserved.

スライド 1

Silk Central Connect 15.5 リリースノート

運用

BOM for Windows Ver

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション

FUJITSU Cloud Service for OSS 「システム監視サービス」ご紹介資料

Control Manager 6.0 Service Pack 3 System Requirements

CLUSTERPRO MC ProcessSaver 1.2 for Windows 導入ガイド 第 4 版 2014 年 3 月 日本電気株式会社

富士通製プラットフォーム 「PRIMEPOWER/PRIMERGY」及び、富士通製ミドルウェア 「Interstage」とVantage Analyzer 動作検証完了報告書

PowerPoint プレゼンテーション

CLUSTERPRO MC ProcessSaver 2.3 for Windows 導入ガイド 第 5 版 2018 年 6 月 日本電気株式会社

Copyright All Rights Reserved. -2 -!

Microsoft Word - JP-AppLabs-MySQL_Update.doc

今さら聞けない!? Oracle入門 ~前編~

Zabbix パートナー会とは (1) 日本国内の Zabbix パートナーが集う会 北は東日本計算センターさんから 南は九電ビジネスソリューションズさんまで 日本国内の Zabbix パートナー企業 33 社 ( 参照 :

Qlik Sense のシステム要件

Arcserve Replication/High Availability 製品の仕組み

ERDAS IMAGINE における処理速度の向上 株式会社ベストシステムズ PASCO CORPORATION 2015

IPA:セキュアなインターネットサーバー構築に関する調査

Microsoft Word - 最終版 バックせどりismマニュアル .docx

 

目次 1. はじめに SSL 通信を使用する上での課題 SSL アクセラレーターによる解決 SSL アクセラレーターの導入例 SSL アクセラレーターの効果... 6 富士通の SSL アクセラレーター装置のラインナップ... 8

別紙 : 検証環境の構築手順 ( 章 ) 1. サーバ設定 1.1 IP アドレス設定 サーバは以下の 6 台を用いる pgpool-ii サーバ 2 台 DB サーバ 3 台 上位サーバ 1 台 OS は全サーバで CentOS 6.4 x86_64 とする pgpool-ii のサー

以下の事項は 弊社の一般的な製品の方向性に関する概要を説明するものです また 情報提供を唯一の目的とするものであり いかなる契約にも組み込むことはできません 以下の事項は マテリアルやコード 機能を提供することをコミットメント ( 確約 ) するものではないため 購買決定を行う際の判断材料になさらな

1. はじめに (1) 本書の位置づけ 本書ではベジフルネット Ver4 の導入に関連した次の事項について記載する ベジフルネット Ver4 で改善された機能について 新機能の操作に関する概要説明 ベジフルネット Ver4 プログラムのインストールについて Ver4 のインストール手順についての説明

Qlik Sense のシステム要件

Oracle Database 監視製品の使い分け 2017 年 10 月日本電気株式会社クラウドプラットフォーム事業部 CLUSTERPROグループ

CLUSTERPRO X 4.0 for FileMaker Server ご紹介資料

ジョブ管理ソフトウェア LoadStar Scheduler ご紹介資料 ~ システム運用品質の向上とコスト削減を実現 ~

Windows Server 2016 Standard/Datacenter/Essentials (SP なし ) 32 ビット /64 ビット対応 対応 Web サーバ IIS Apache HTTP Server 環境によるインストール時の Web サーバの検出および利用につい

PSQL v12 新機能のご紹介 ~ 認証要件変更に伴う運用の見直し ~ 株式会社エージーテック 2015 年 1 月 13 日

Pervasive PSQL v11 のベンチマーク パフォーマンスの結果

Administration of Veritas Cluster Server 6.0 for UNIX の管理練習問題 例題 1. installvcs -installonly が正常に実行されたことが記録されるテキストファイルは次のどれですか (2 つ選択 ) a. インストールログ b.

BOM for Windows Ver.6.0 リリースノート

PostgreSQLによる クラスタ運用および負荷分散術 SRA OSS, Inc. 日本支社 OSS事業本部 星合 拓馬

PowerPoint プレゼンテーション

KSforWindowsServerのご紹介

本仕様はプロダクトバージョン Ver 以降に準じています

目次 Windows 2003 への新規インストール... 3 Windows 2008 への新規インストール... 4 Windows 2012 への新規インストール... 6 Microsoft SQL のサポート... 8 IPv4/IPv6 のサポート... 8 制限事項... 9 Web

対応 Web サーバ IIS Apache HTTP Server x 環境によるインストール時の Web サーバの検出および利用について詳細は以下製品 Q&A をご覧ください

検証事例 富士通株式会社

目次 第 1 章 環境構築 システム概要 ロードバランサ ジーンコードサーバー コンテンツサーバー (PC サイトサーバー ) コンテンツサーバー (PC サイトサーバー ) DNS... 6

Automation for Everyone <デモ で実感できる、組織全体で活用できるAnsible Tower>

~ アドレス収集くん ~ セキュリティ対策御説明資料

Transcription:

Zabbix で PostgreSQL の監視を行おう ~pg_monz のご紹介 ~ SRA OSS,Inc. 日本支社盛宣陽 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 1

PostgreSQL の課題 DB としての基本機能 性能は商用 DB と比べても引けをとらない 運用面には課題あり どのようにして運用するのか? 効果的な監視方法は? シングル構成 クラスタ構成の場合は? Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 2

統合監視ソフトウェアの必要性 DB の監視といっても システム全体 WEB OS DB 内部状態 DB OSの状態 アプリケーションの状態 過去と現在の比較を行って将来を予測できるようなデータの蓄積 などなど 様々な監視データと突き合わせて監視を行うためには統合監視ソフトウェアがあると便利 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 3

設定が大変 統合監視ソフトウェアの問題点 知識と人手が必要 特にデータベース監視では データベース名やテーブル名などシステム固有な情報ありすぎる 複雑なのでプロセス監視 サービスポート監視 ログ監視だけ Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 4

統合監視ソフトウェア Zabbix 人気があるオープンソース統合監視ソフトウェア特徴 データ収集 収集したデータの保存 傾向分析 アラート機能 収集したデータを元にメールなどで障害通知 可視化 Webインターフェースによるグラフィカル表示 拡張監視 ZabbixエージェントのUserParameterによる監視の拡張設定作業の自動化 テンプレートの再利用 監視対象の発見 ( ディスカバリ ) 機能 監視対象ホストの内部情報取得機能 ( ローレベルディスカバリ ) 機能 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 5

Zabbix Server 監視対象ホスト Zabbix Agent: エージェントによる監視 データ収集 RDBMS に保管ホストのディスカバリアラート通知 Zabbix Proxy ビルトイン監視ログ監視カスタムスクリプト監視ローレベルディスバリでホスト固有情報を探索 エージェントレス : 専用機器 SNMP IPMI PING などで監視 遠隔地の監視 プログラムからコマンド実行 zabbix_sender Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 6

pg_monz について Zabbix の PostgreSQL 監視テンプレート 開発元 TIS, SRA OSS, Inc. 日本支社 GitHub にて Apache ライセンス V2 で公開 http://pg-monz.github.io/pg_monz 特徴 システム固有情報 (DB 名 テーブル名 ) を自動で取得 Zabbix の LLD( ローレベルディスカバリ ) を利用 Zabbix の UserParameter を利用 PostgreSQL 監視内容死活監視ログ監視リソース監視性能監視 PostgreSQL の稼働統計情報を活用 動作環境 Zabbix 2.0 以上 PostgreSQL 9.2 以上 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 7

Zabbix サーバ LLD PostgreSQL 監視テンプレート pg_monz_template.xml 監視 pg_monz 概念図 DB 名やテーブル名の要求 DB 名 テーブル名の返却 監視データの要求 PostgreSQL サーバ LLD スクリプト find_dbname.sh find_dbname_table.sh Zabbix エージェント PostgreSQL 監視用 UserParameter ( スクリプトによる監視 ) userparameter_pgsql.conf 監視データの返却 psql で DB の稼働統計情報に問い合わせ Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 8

Zabbix の LLD の利用 pg_monz 動作原理 Zabbix Agent からスクリプトを実行してシステム固有情報を Zabbix サーバに LLD マクロとして返却 例 ) postgres データベースと DB1 データベースが存在する場合 {"data": [ {"{#DBNAME}":"postgres"},{"{#DBNAME}":"DB1"}] } Zabbix サーバでは監視項目に変数を埋め込んで Zabbix エージェントに監視要求を出す ({$ で始まる変数 }=> マクロ {# で始まる変数 }=>LLD マクロ ) 例 ) DB サイズ監視を行うアイテム psql.db_size[{$pghost},{$pgport},{$pgrole},{$pgdatabase},{#dbname}] Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 9

pg_monz 監視項目総数 1 データベースクラスタの監視項目数 22 項目 1 データベースあたりの監視項目数 12 項目 1 テーブルあたりの監視項目数 ( デフォルト無効 ) 14 項目 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 10

pg_monz 監視項目 1 死活監視 postgres プロセス監視 & トリガー SQL 応答監視 & トリガー ログ監視 PANIC,FATAL,ERROR を含むメッセージ監視 サイズ監視 対象 DB の容量 & トリガー & グラフ Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 11

図 : データベース別データサイズ Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 12

pg_monz 監視項目 2 バックエンドプロセス監視 総接続数とプロセス状態の内訳 & トリガー & グラフ SQL 処理中プロセス数 アイドルプロセス数 トランザクション内アイドルプロセス数 ロック待ちプロセス数 チェックポイント実行状況 checkpoint_segments/checkpoint_timeout 超過によるチェックポイント実行回数 & トリガー & グラフ Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 13

図 : 総接続数とプロセス状態の内訳 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 14

pg_monz 監視項目 3 キャッシュヒット率の監視 DB 別にキャッシュヒット率の算出 & トリガー & グラフ トランザクション処理状況の監視 DB 別の COMMIT 回数 /s,rollback 回数 /s & グラフ 一時ファイル発生状況の監視 DB 別一時ファイルの利用量 & トリガー & グラフ 滞留バックエンド処理の監視 指定時間経過したクエリ数 SELECT 処理数 DML 数 & トリガー Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 15

pg_monz 監視項目 4 テーブル単位の情報 ( デフォルト無効 ) vaccum/analyze 実行回数 auto vacuum/analyze 実行回数 キャッシュヒット率 live タプルと dead タプル件数 シーケンシャルスキャンとインデックススキャン回数 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 16

pg_monz 検証 検証環境 Zabbix サーバ PostgreSQL サーバ共通 Zabbix 2.0.9 CPU 1 core Mem 2G OS CentOS 6.4 Vmware ESXi ゲスト OS DB : PostgreSQL 9.2.5 (Zabbix DB を含む ) 参考 : Vmware ESXi のスペック バージョン 5.5 製品名 HP DL360p G8 プロセッサ メモリ 96GB Xeon E5650 2GHz 8Core x2 ハードディスク 600GB 10,000 回転 2.5inch SAS x4 本 RAID5 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 17

pg_monz 検証結果 PostgreSQL サーバ pg_monz を利用し 1 データベースクラスタの中の 300 データベースを監視すると平均 CPU 利用率が 17.22% 上昇した 1DB サーバ当たり平均 CPU 利用率 0.05% の負荷上昇となった デフォルトの監視間隔は 5 分なので 仮に 1 分とした場合には 5 倍の負荷がかかると予想される この場合 1DB サーバ当たりの平均 CPU 利用率は 0.25% 上昇することになる pg_monz を利用し 1 データベースクラスタ 1 データベースに対し 300 テーブルを監視すると平均 CPU 利用率が 23.09% 上昇した 30 テーブル当たり平均 CPU 利用率 2.3% 上昇となった 大量のテーブル監視をする場合には監視間隔を伸ばしたほうがよい Zabbix サーバ pg_monz を利用すると最大 CPU 利用率が 1.67% 上昇した Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 18

pg_monz 監視以外の応用活用 PostgreSQL チューニング 一時ファイルが多発 work_mem を増やす checkpoint_segments 超過による checkpoint 多発 checkpoint_segments を増やす Zabbix 付属の Template_OS_Linux と併用 OS のロードアベレージや CPU 率 iowait と DB のトランザクション量の相関関係を調べる WEB 監視との併用 Zabbix の WEB 監視を利用して アプリケーションの応答時間とデータベースの COMMIT/s の相関関係を調べる Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 19

CPU 利用率とトランザクション数の比較 WEB のダウンロード時間とトランザクション数の比較 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 20

pg_monz 今後の改良予定 PostgreSQL Streaming Replication 監視対応 レプリケーション遅延状況 マスタ スレーブの役割確認 pgpool-ii の監視 プロセス確認 ノードのステータス確認 セッション確認 PostgreSQL のバックグランドワーカプロセスの利用 UserParameter ではなく PostgreSQL のサブプロセスにより監視を行って負荷軽減 Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 21

pg_monz WEB 入手先や使い方 http://pg-monz.github.io/pg_monz/ 問い合わせ pg_monz ユーザーグループ pg_monz@googlegroups.com Copyright 2014 SRA OSS,Inc.Japan All rights reserved. 22