HinemosのHatohol連携のご紹介 -OSSの運用統合ソフトウェア Hatohol はとほるＮＥＣソリューションイノベータ中村桂一

Size: px

Start display at page:

Download "HinemosのHatohol連携のご紹介 -OSSの運用統合ソフトウェア Hatohol はとほるＮＥＣソリューションイノベータ中村桂一"

さわいのら
5 years ago
Views:

1 HinemosのHatohol連携のご紹介 -OSSの運用統合ソフトウェア Hatohol はとほるＮＥＣソリューションイノベータ中村桂一

3 目次自己紹介 HinemosとHatoholの連携のねらい Hatoholとは HinemosとHatoholの連携検証参考 :Hatoholの今後について

4 自己紹介氏名中村桂一所属ＮＥＣソリューションイノベータ株式会社第四PFソリューション事業部業務 OSSミドルウェアサポートサービス担当製品 Apache HTTP Server Apache Tomcat Heartbeat,Pacemaker DRBD Hinemos Zabbix NEC OSSミドルウェアサポートサービスの紹介 4 NEC Corporation 2015

5 Hinemos と Hatohol の連携のねらい

6 Hinemos と Hatohol の連携のねらい背景監視対象のシステムが大規模になるにつれて複数台の監視サーバが必要になるケースが増えてきている異なる運用監視ツールを同時運用しなければならないシステムでアラートを一元管理するといった要望が見込まれる運用監視ツール (Hinemos) における一元管理の要望例 1. Hinemosのバージョン混在 2. Hinemosバージョンアップに伴う並行運用 3. 他監視ツールからHinemosへの移行に伴う並行運用 4. 他の監視ツールとの混在環境 6 NEC Corporation 2015

7 HinemosとHatoholの連携のねらいケース１ Hinemosのバージョン混在監視対象のサブシステムごとに Hinemosのバージョンが異なる Hinemos Client4.1 Hinemos マネージャ 4.1 システムＡ Hinemos Client5.0 新たなシステムＢに対しては最新のHinemosマネージャを導入 Hinemos マネージャ 5.0 管理者は２つの異なるバージョンの Hinemosクライアントを起動する必要がある 7 NEC Corporation 2015 システムＢ

0にバージョンアップを行う移行期間中に並行運用過去データ参照ジョブ動作確認など Hinemos マネージャ 4.

8 HinemosとHatoholの連携のねらいケース２.Hinemosバージョンアップに伴う並行運用 HinemosをV4.1からをHinemosV5.0にバージョンアップを行う移行期間中に並行運用過去データ参照ジョブ動作確認など Hinemos マネージャ 4.1 Hinemos Client4.1 移行前しばらく並行運用管理者は並行運用中新旧２つのクライアントソフトを起動する必要がある 8 移行 Hinemos Client5.0 移行後 NEC Corporation 2015 Hinemos マネージャ 5.0

9 HinemosとHatoholの連携のねらいケース3.他監視ツールからHinemosへの移行に伴う並行運用他の監視ツールからHinemosに乗り換えを行う移行期間中に並行運用過去データの参照など Zabbix 管理画面 Zabbixサーバ移行前しばらく並行運用管理者は並行運用中他監視ツールと Hinemosクライアントの２つを起動する必要がある 9 移行 Hinemos Client5.0 移行後 NEC Corporation 2015 Hinemos マネージャ 5.0

10 HinemosとHatoholの連携のねらいケース４他の監視ツールとの混在環境監視対象のシステムによって監視ツールが異なる監視ツールそれぞれの管理画面にアクセスするブラウザを複数起動ログインパスワード管理など Hinemos Client5.0 Hinemos マネージャ5.0 システムＡ Zabbix 管理画面 Nagios 管理画面別の監視システム Zabbix Nagios 管理者は Hinemosクライアントと他の監視ツールの管理画面をそれぞれ起動する必要がある 10 NEC Corporation 2015 システムＢシステムC

11 Hinemos と Hatohol の連携のねらいこれらの要望を Hinemos を利用して解決できないのか? 以下の Hinemos の機能を利用することで実現は可能 Hinemos マネージャの多段構成マルチマネージャ接続 11 NEC Corporation 2015

12 Hinemos と Hatohol の連携のねらい Hinemos での対応方法 :Hinemos マネージャの多段構成 Hinemos のログエスカレーション通知を利用して親マネージャへ通知する親 Hinemos マネージャ用のクライアントで状態確認危険通知によるメール送信は親 Hinemos マネージャが実行 ( 親 )Hinemos サーバ危険シスログによる連携なので他の監視ツールからの通知を受けることも可能 ( 子 )Hinemos サーバ監視結果情報監視対象サーバシスログ転送危険警告危険危険情報警告危険監視対象サーバ子 Hinemos マネージャで監視を設定危険となった監視結果のみを親サーバにログエスカレーション通知するように設定監視結果の生データをシスログ形式に変換してエスカレーションされる元の監視の状態結果を確認するには子マネージャ上で行う必要がある 12 NEC Corporation 2015

ユーザＩＤパスワード接続先ＵＲＬマネージャB ユーザＩＤパスワード接続先ＵＲＬシステムＡ Hinemos Agent Hinemos5.

13 HinemosとHatoholの連携のねらい Hinemosの対応方法マルチマネージャ接続 Hinemos5.0から複数のHinemosマネージャに同時ログインが可能複数台のHinemosサーバが存在するような大規模構成において一元管理を実現ログイン画面の入力マネージャA ユーザＩＤパスワード接続先ＵＲＬマネージャB ユーザＩＤパスワード接続先ＵＲＬシステムＡ Hinemos Agent Hinemos5.0 マネージャA マネージャA ログインシステムB 複数のスコープツリーが表示画面表示操作性が統一 13 NEC Corporation 2015 Hinemos Client マネージャB ログイン Hinemos5.0 マネージャB Hinemos Agent

14 HinemosとHatoholの連携のねらい連携方式の比較多段構成マルチ接続複数バージョン Hinemos5.0のみ他監視ツールシスログ形式運用構築コスト親Hinemosサーバが必要標準機能監視結果参照その他の対処方法を検討もっと手軽にビューア的なものでオープンソースソフトウェアＯＳＳで複数台複数種類の監視ツールを統合できる運用統合ソフトウェア Hatohol (はとほる)が浮上 14 NEC Corporation 2015

15 Hatohol とは

16 Hatohol とは概要運用統合ソフトウェア各種監視ツールからデータを取得し監視ツールをまたいだ一括監視を可能監視結果障害発生状況をブラウザで確認 ( ビューアー ) 特徴監視ツールから収集したデータは表示用の一次データ監視ツール監視対象サーバ監視項目が増えても影響は少ない監視ツール側への動作に影響しない定期的に表示用のデータを収集しているだけ Hatohol に問題が発生しても監視ツール側には伝搬しない対応監視ツール運用管理 :Zabbix,Nagios インシデント管理 :Redmine ログ管理 :fluentd OpenStack 環境 :Ceilometer 監視ツールとの連携用 APIを公開 OSS コミュニティ : Project Hatohol 日本のコミュニティ日本語の情報が豊富 16 NEC Corporation 2015

17 Hatoholとはイベント監視サーバ監視対象ホスト監視項目ごとの監視結果イベント画面イベントの履歴が表示されるこの画面で障害の発生を検出監視サーバに依らず時系列でイベントが表示される常に最新の状況が確認できる１行が１イベントに対応表示項目監視サーバ時間ホスト説明ステータス深刻度継続時間監視サーバニックネームイベント発生時刻監視対象サーバ監視内容障害/正常 /不明障害レベル重度 or軽度等イベント発生からの経過時間 17 NEC Corporation 2015

18 Hatohol とはイベント画面障害発生時イベント一覧の一番上に障害のイベントが表示される監視サーバ SV1 が監視しているホスト agent1 の FTP 監視で障害が発生した 18 NEC Corporation 2015

19 Hatohol とはイベント画面障害復旧時障害が復旧すると正常イベントが表示される障害が発生していた FTP 監視が正常に戻ったことを確認継続時間より障害が発生していた時刻も参照できる 19 NEC Corporation 2015

20 Hatohol とはイベント画面フィルタ機能監視サーバやステータス ( 障害 or 正常 ) 監視対象ホストでフィルタ表示が可能特定の監視サーバのイベント状況を確認監視サーバ SV1 のイベント一覧が表示されるプルダウンから監視サーバ SV1 を選択 20 NEC Corporation 2015

21 Hatoholとはその他の機能統合ビューアとしてだけではなく運用を統合するための様々な機能をもつ機能内容監視ツール連携複数の監視ツールが監視しているサーバ情報を単一のビューで参照大規模構成で複数の監視サーバが存在しても一元管理が実現できるインシデント管理ツール連携インシデント管理ツール Redmine と連携監視により障害と判定された事象について自動的にチケットを登録するリモートコマンド実行監視対象ホストにて sshを利用してリモートコマンドを実行アクション実行障害発生時にメール通知やコマンドを実行ログ管理 fluentd連携 fluentdと連携ログを統合管理する機能拡張可能機能追加により様々なソフトウェアと連携が可能情報収集部分はプラグイン構造クライアント画面イベント以外にもダッシュボード概要最新データなどブラウザからさまざまな情報を参照可能 21 NEC Corporation 2015

22 Hinemos と Hatohol の連携検証

23 Hinemos と Hatohol の連携検証 Hinemos と Hatohol の連携イメージクライアント Hatohol サーバ Zabbix サーバ監視対象サーバ Nagios サーバ監視対象サーバシステム管理者 Hinemos サーバ監視対象サーバ 2Hatohol イベント画面障害の発生を確認 1 監視エラー 4 監視成功 1 障害発生 5Hatohol イベント画面障害の復旧を確認 Hinemos クライアント 3 障害復旧イベントメッセージより障害に対処 23 NEC Corporation 2015

24 Hinemos と Hatohol の連携検証監視サーバとの連携方式監視サーバを連携する方式として Hatoholは次の3つの方式を提供しているビルドイン実装 Hatohol 本体に連携実装を組み込む自由度が最も高いがソースの改変が必要 HAPIインターファイス Hatohol 提供の監視サーバ連携用 API Hatoholサーバ側と監視サーバ側でプラグインモジュール (C++) を用意する PULL 型だけでなく PUSH 側のデータ取得が可能 HAPI-JSONインターフェイス Hatoholが用意している連携用 API( 簡易版 ) JSONで通信するため監視サーバ側でスクリプト ( 軽量言語 ) を用意するイベント画面 PUSH 型のみ対応ファーストステップとして HAPI-JSON 方式での連携を検証イベント画面の対応だけでもある程度の監視サーバの統合が実現可能 24 NEC Corporation 2015

25 Hinemos と Hatohol の連携検証 Hatohol 連携方式の比較大項目中項目ビルトイン実装 HAPI HAPI-JSON 機能ダッシュボード概要 : トリガー概要 : アイテム最新データトリガーイベントアクションインシデント管理管理画面連携取得方式 PULL 型 PUSH 型データ送受信 Hinemos 連携 WEBサービスAPI WEBサービスAPI コマンド通知プロトコル HTTP AMQP AMQP over SSL 開発中継サーバ不要 qpid RabbitMQ 言語 C++ C++ or Ruby Ruby 難易度 Very High High Easy Hatohol の改修必要不要 ( プラグイン ) 不要 ( プラグイン ) 実績 (Zabbix Nagios) (Ceilometer) (fluentd) 25 NEC Corporation 2015

26 Hinemos と Hatohol の連携検証 Hatohol の構成外部監視サーバ連携の仕組みブラウザ HatoholServer ブラウザアクセス (HTTP) 表示画面データ HTTP/JSON FaceRest クライアント連携モジュール HatoholClient クライアントモジュール (Python+Djang) Apache HTTPD Server データ取得 ( SQL ) 監視サーバ連携モジュールデータ格納 (SQL) MySQL Hinemos ビルドイン実装 Zabbix Nagios HAPI HAPI-JSON 障害情報受信 (MQ over SSL) MQServer Hinemos (Java) コマンド通知 Postgre SQL Hinemos-Hatohol 連携スクリプト (ruby) 障害情報送信 (MQ over SSL) RabbitMQ 26 NEC Corporation 2015

27 HinemosとHatoholの連携検証障害情報のマッピング Hinemos イベント通知 Hinemosのイベント通知に表示されている情報を Hatohoのイベント画面に表示する Hatohol イベント画面 Hinemos項目 Hatohol項目内容監視サーバー Hinemosサーバの名前 Hatoholで設定出力日時時間 Hinemosで障害を検知した日時ファシリティＩＤホスト障害が発生したノード名メッセージ説明障害メッセージを記載設定により出力内容を変更することも可能例では監視項目ＩＤとメッセージをカンマ区切りで出力重要度ステータス Hinemos 危険警告不明情報 Hatohol 障害不明正常危険警告障害不明不明情報正常重要度深刻度 Hatohol 重度の障害軽度の障害未分類情報など危険重度の障害, 警告警告, 不明未分類, 情報情報 27 継続時間 NEC Corporation 2015 障害の継続時間時間と現在の時刻からHatohol側で算出

28 Hinemos と Hatohol の連携検証 HAPI-JSON フォーマット仕様次の JSON を Hatohol サーバ (MQ サーバ ) に送信 { "type": "event", }} "body": { id : ${ イベント ID}, timestamp : ${ イベント発生時刻 }, hostname : ${ 監視対象ホスト名 }", content : ${ イベント詳細 ( 説明 )}", severity : ${ 深刻度 (critical,warning,info,unknown)}", type : ${ ステータス (bad,good,unknown)}" 参考 : 28 NEC Corporation 2015

ログエスカレーション通知指定したsyslogサーバへsyslog形式で指定した内容のメッセージを送信するコマンド通知 Hinemosマネージャサーバ上で指定したコマンドを実行するメール送信監視実行

29 HinemosとHatoholの連携検証 Hinemos通知機能監視結果を通知種類動作ステータス通知 Hinemosクライアントの監視[ステータス]ビューに最新の監視結果を表示するイベント通知 Hinemosクライアントの監視[イベント]ビューに監視結果の履歴を表示するメール通知指定したメールアドレスに監視結果をメールで通知するジョブ通知指定したジョブを実行するジョブは事前に定義する必要があるログエスカレーション通知指定したsyslogサーバへsyslog形式で指定した内容のメッセージを送信するコマンド通知 Hinemosマネージャサーバ上で指定したコマンドを実行するメール送信監視実行結果の画面表示操作端末コマンド実行 (Hinemosクライアント) 運用管理サーバ (Hinemosマネージャ) Hatohol用スクリプト Hatoholサーバ 29 NEC Corporation 2015 監視対象ノード (Hinemosエージェント)

30 Hinemos と Hatohol の連携検証 Hinemos-Hatohol 連携スクリプト hinemos.rb Ruby サンプルコード #!/usr/bin/env ruby # encoding: utf-8 require "time" require "json" require "bunny" class = = = = = "amqps://user:password@server/hatohol" def start(time, hostname, severity_num, content) options = { :tls_cert :tls_key :tls_ca_certificates } connection = Bunny.new(@@url {}, options) connection.start channel = connection.create_channel queue = channel.queue(@@queue_name) queue.publish(json.generate(build_message(time, hostname, severity_num, content)), :content_type => "application/json") connection.close end def build_message(time, hostname, severity_num, content) build_severity(severity_num) { "type" => "event", "body" => { "id" => build_id(), "timestamp" => Time.at(time).iso8601, "hostname" => hostname, "content" => content, "severity" "type" } } end def build_id() now = Time.now now.to_i * 1_000_000_000 + now.nsec end def build_severity(severity_num) case severity_num when "0" = = "bad" when "2" = = "bad" when "3" = = "good" = = "unknown" end end end usage_message = "Usage : ruby hinemos.rb #[GENERATION_DATE] #[FACILITY_ID] #[PRIORITY_NUM] #[MONITOR_ID] "#[MESSAGE] "... n" if ARGV.size < 4 STDERR.print usage_message exit end time = Time.parse(ARGV.slice(0,2).join(" ")) hostname = ARGV[2] severity_num = ARGV[3] content = ARGV.slice(4,ARGV.size).join(",") hinemos = Hinemos.new hinemos.start(time, hostname, severity_num, content) 全部で 100 行程度のシンプルな実装 Fluentd Hatohol plugin を流用 (Hatohol-Fluentd 連携プラグイン ) 30 NEC Corporation 2015

31 HinemosとHatoholの連携検証 Hinemosコマンド通知設定コマンドに Hinemos-Hatohol連携スクリプトを登録コマンドインターフェイススクリプトの引数に Hinemosの変数を渡す > ruby hinemos.rb #[GENERATION_DATE] #[FACILITY_ID] #[PRIORITY_NUM] #[MONITOR_ID] "#[MESSAGE]" 31 変数内容 #[GENERATION_DATE] 本文出力日時 #[FACILITY_ID] 障害が発生したノード名 #[PRIORITY_NUM] 重要度 #[MONITOR_ID] 監視項目ID #[MESSAGE] メッセージ NEC Corporation 2015

32 Hinemos と Hatohol の連携検証連携動作 : 正常動作時 Hinemos: 監視 [ イベント ] 画面 Hatohol: イベント画面 Hatohol のイベント画面には監視項目に関する列がないため説明列に監視項目とメッセージ本文を並べて表示させている 32 NEC Corporation 2015

33 HinemosとHatoholの連携検証連携動作監視対象サーバに異常発生 Hinemosの監視[イベント]画面 Hinemos 監視[イベントの詳細] Hatoholのイベント画面 33 NEC Corporation 2015 同じ障害情報が引き継がれている

HinemosとHatoholの連携検証検証結果 HatoholとHinemosが連携できることを確認した段階商用適用していくには安定性性能など実システムに即した検証が必要 APIについても今回評価したHAPI-JSONで十分かの検証も必要現時点では検証できた範囲はHinemosでも十分実現可能実績機能安定性などの面では

34 HinemosとHatoholの連携検証検証結果 HatoholとHinemosが連携できることを確認した段階商用適用していくには安定性性能など実システムに即した検証が必要 APIについても今回評価したHAPI-JSONで十分かの検証も必要現時点では検証できた範囲はHinemosでも十分実現可能実績機能安定性などの面では Hinemosが一歩リードかただし現時点のHatohol連携でもそれなりの活用は可能 34 多段構成マルチ接続 Hatohol連携複数バージョン (Hinemosバージョン非依存) 他監視ツール Zabbix,Nagios 運用構築コスト OSS ビューアのみ監視結果参照一部情報落ちあり NEC Corporation 2015

35 参考 :Hatohol の今後について

36 参考 Hatoholの今後について Hatoholのバージョンアップ HAPI2.0連携方式 Hatohol15.06で対応旧HAPI方式 HAPI1.0 の後継インターフェイス仕様が公開されているがドキュメント利用手順等はまだ不十分で機能拡張予定あり合わせて画面のデザインが一新される予定次ページ将来的には HAPI1.0/HAPI-JSONはなくなるかも 36 バージョン (予定) HAPI1.0 HAPI-JSON HAPI2.0 現在のHAPI/HAPI-JSON実装はまだ過渡期現時点であれば HAPI-JSONでシンプルな連携をするのがお勧め本格的な連携は次期バージョン(15.12)に期待 NEC Corporation 2015

37 参考 :Hatohol の今後について Hatohol V15.12 イベント画面コミュニティ Project Hatohol からの情報提供一定時間毎に最新のイベント情報を取得追加表示必要な情報だけをフィルタリング表示可能対応中保留対処済など対応状況をマーキングが可能重要度に合わせて表示色を変更可能画面は 9/11 時点での開発イメージですレイアウト表示項目などは変更される可能性があります 37 NEC Corporation 2015

38 ご清聴ありがとうございました 38 NEC Corporation 2015

スライド 1

スライド 1 OSS システム統合監視入門 ~, Hinemos の機能と選択のポイント ~ SRA OSS, Inc. 日本支社山本博之 yamamoto@sraoss.co.jp Copyright 2013 SRA OSS, Inc. Japan All rights reserved. 1 統合監視ツールとは 1 つのソフトウェアに複数の役割を持たせて一元管理グラフによる視覚化異常負荷の警告性能情報の蓄積

HinemosのHatohol連携のご紹介 -OSSの運用統合ソフトウェア Hatohol はとほる ＮＥＣソリューションイノベータ 中村桂一

HinemosのHatohol連携のご紹介 -OSSの運用統合ソフトウェア Hatohol はとほるＮＥＣソリューションイノベータ中村桂一