サーバー監視のはなし監視と通知と障害と俺とお前と大五郎水野源 Ubuntu Japanese Team

Size: px

Start display at page:

Download "サーバー監視のはなし監視と通知と障害と俺とお前と大五郎水野源 Ubuntu Japanese Team"

ありかつかに
5 years ago
Views:

1 サーバー監視のはなし監視と通知と障害と俺とお前と大五郎水野源 Ubuntu Japanese Team

2 監視とは

3 サーバー監視サーバー障害は絶対に起こるものかといって 24 時間有人監視もなかなかできないよねそこでサービスダウンを検知して通知したりリソースの変化を記録して分析に役立てたりリソースの変化から将来起こりそうな障害を予測したりそんなツールの話をします

4 監視ツールいろいろこれひとつで完璧という定番はなさげ Zabbix Nagios Sensu Munin ほかにもたくさん

5 外形監視と内部監視監視は大きく分けて外と内のふたつ外形監視外部から見た接続状況を監視する内部監視システムの内部状態を監視する

6 サービスとリソース監視内部監視はサービスとリソースに分けて考えられるサービス監視サービスの稼働状況を監視するポートは空いてる? プロセスは起動してる? リソース監視リソースの変化を記録する CPU 負荷は? 空きメモリは?

7 どこから監視すればいい? 外形監視はユーザーと同じ場所 ( 外 ) にいる必要があるリソース監視は内側からのアクセスが必要単一の監視サーバーで両立は無理外部と内部にそれぞれ監視サーバーが必要

8 概念図 Web サーバー内部ネットワーク監視エージェント監視システムレスポンスファイアウォール HTTP 接続インターネット内部監視サーバー監視システム外形監視サーバー

9 わかったでは何を使う? 監視する対象に合ったシステムを選択しようリソース監視がしやすいシステム Munin Mackerel とか死活監視がしやすいシステム Nagios Monit とか

10 リソースの監視

11 リソース監視ツール継続的なメトリックの収集と可視化を行うツールサーバーのリソースの変化を監視記録することで障害を事前に回避するあるいは障害発生後の分析に役立てる

12 たとえば Munin Munin のグラフ

13 Munin とはリソース監視に特化したシステム CPU 負荷メモリ使用量トラフィックなどをグラフ化詳しくは Ubuntu Weekly Recipe 第 359 回 Munin でサーバーのリソースを可視化しよう参照

14 Munin に足りないものとはいえあんまりモダンじゃない値が記録されるけど言ってしまえばそれだけアラートも出せるけどぶっちゃけ使いづらいノードの追加にひと手間必要

15 そこで Mackerel

16 Mackerel とははてなの有償サービス見やすいグラフアラートも出せる外形監視はオマケかなけっこう安いサーバー 5 台までなら無料プランでもいける

17 システムメトリックデフォルトで収集されるメトリックロードアベレージ CPU 利用率メモリ使用量 IOPS ディスク使用量ネットワークトラフィック

18 カスタムメトリックサーバーごとに自由に追加できるメトリックプラグインで実装まずは公式プラグイン集を入れよう決まった出力ができれば内部実装は好き勝手でOK フォーマットはSensu 互換簡単に作れるよ

19 カスタムメトリックの例 LXC コンテナの数と消費メモリを可視化

20 サービスメトリック個別のサーバーに関連づかないメトリックたとえばサービス全体の売り上げを可視化

21 URL 外形監視 http/https のみ無料プランでは使えない

22 Mackerel での監視と通知おおまかな手順は以下の通り 1. 監視するメトリックを設定 2. 監視項目ごとにしきい値を設定 3. アラートの送信先を設定

23 監視ルールを追加

24 障害発生事前に設定した通知チャネル経由でアラートが送信される

25 通知チャネルメール Slack HipChat PagerDuty ChatWork などなど Slackに直接投げられたりするところが今風

26 メール通知の例

27 障害復旧

28 Mackerel まとめグラフは見やすい有料で1 年無料だと1 日だけ色々な意味で今風国産総じて使いやすいよ死活監視はできるけどちょっと弱いかな

29 死活監視

30 死活監視ツールサービスが生きているかを監視死んだらアラート外部から監視するところがミソ Pingdom とか有名リソース変化を記録できるものもあるけど主ではない

31 Xymon BigBrother の系譜に連なる由緒正しい (?) 監視システム

32 Xymon の特徴外形監視と内部監視の双方に対応テキストで設定できるアラート時にスクリプトを叩けるのでなんでもできちゃう監視を一時的に止めるがやりやすい外形監視とヒストリーがお手軽な上に強力詳しくは Ubuntu Weekly Recipe 第 383 回 Xymon ではじめるサーバーモニタリング参照

33 Xymon で外形監視サービス名を指定するだけで死活を監視できる http/https/ssh/smtp/pop/imap/ftp/ldap などなど http はステータスコードでの監視もできる https は SSL 証明書の有効期限も自動的に監視

34 Xymon で内部監視プロセスが起動してるかポートは開いているかログにエラーは出ていないかリソース監視全般 Munin のようなリソース監視としても利用できるクライアントにスクリプトを追加することで任意に拡張可能

35 その時何があったか障害あるある後からグラフを見ると負荷が上がってたことが判明したがどんなプロセスが動いていたのか調べようがない

36 Xymon の History 機能 Xymon はステータスが変化した時のシステム情報をダンプして記録してくれる

37 Xymon まとめ主要なサービスを手軽に外形監視できるのが嬉しい証明書監視も地味に便利メトリックだけだと障害が起きたことしかわからないその瞬間のpsやnetstatが記録されるのが超便利内と外のXymon2 台体制もおすすめ

38 ざっくりまとめ Mackerel メトリックの見やすさはとてもよい Munin プラグインをそのままラップできる点も魅力無料プランで試してみるのおすすめ Xymon 世間ではマイナーだけどかなり使えるドワンゴさんも使ってるらしいお手軽に自前で外形監視したいなら超おすすめ

39 障害発生

40 アラート通知について障害あるある監視システムが障害を検出しても人間が気づかないではいかにして通知するか?

41 メールで通知やっぱり基本普段は揮発性の通知 (push/ チャット ) の方が便利かなどちらかというと記録を残す意味が大きいかもメール着信程度じゃ夜中起きねえよ確実に起きるための工夫をしてみる

42 チャットで通知スピード大事普段の業務中はもはやメールなんか見ない Slack 連携も今となっては基本

43 スクリプト連携アラートをトリガーに任意のスクリプトを実行弊社ではゆっくり連携 Xymon はこのへんが柔軟に設定できてとても便利

44 通知管理サービス

45 PagerDuty 最強の連絡手段は電話 SMSでも通知を受けたいスマホnoPush 通知でも受けたい当番を決めたいエスカレーションしたいといった通知のしかたを管理するシステム

46 アラートを集約して通知監視システムからアラートを受け取り事前に設定した相手に任意の手段スケジュールで通知を送れる

47 スマホから ack/resolv

48 弊社の事例

49 Skype Bot 連携弊社製のSkype Bot 通称ゆっくりもともとはLinux 版 Skypeクライアント +PHP 今はHubotのSkypeWebAdapterで実装

50 ゆっくりの機能任意のテキストを発言する任意の音声を発生するスケジュールリマインダ様々なコマンドで情報発信

51 ゆっくりアーキテクチャ

52 障害が発生したらアラートをトリガーに Xymon がスクリプトをキック #!/bin/sh URL=$(echo $BBALPHAMSG /bin/grep -o -e 'See.*') if [ $RECOVERED -ne 1 ]; then /usr/local/bin/sendmessage $RCPT " 障害が発生しました \n ホスト名 : $BBHOSTNAME\n サービス : $BBSVCNAME\n ステータス : $BBCOLORLEVEL\n ダウンタイム : $DOWNSECS sec\n $URL" fi

53 チャットに発言それと同時に社内へ音声アナウンスちなみにパトライトも回す

54 まとめ監視運用は異常を検出できること異常を記録できること異常に気づけることどれが欠けてもダメそれぞれに適したサービスを!

ライフサイクル管理 Systemwalker Centric Manager カタログ

ライフサイクル管理 Systemwalker Centric Manager カタログ for Oracle Oracle Live Help ICTシステム管理安定稼働わかりやすい監視と復旧支援監視コンソールを統合化わかりやすい監視画面リモート操作による対処復旧 Windowsや各種Unix Linux メインフレーム遠隔地のサーバやクライアントの画面を管理者などマルチプラットフォーム環境の統合運用管理の手元の画面から直接操作できます複数のパソが可能です

サーバー監視のはなし監視と通知と障害と俺とお前と大五郎 水野源 Ubuntu Japanese Team

サーバー監視のはなし監視と通知と障害と俺とお前と大五郎水野源 Ubuntu Japanese Team