IXに接続してみた。

Size: px

Start display at page:

Download "IXに接続してみた。"

まともかみいしづ
6 years ago
Views:

1 Munin でリソース監視 ENOG 年 4 月 26 日株式会社グローバルネットコア羽賀晴彦 <haruhiko.haga@global-netcore.jp>

2 アジェンダ Muninとは Munin-nodeのインストール Muninのインストールプラグインの作成閾値の設定過去のグラフが見たい Nagiosとの連携負荷対策 2

3 Munin とは (1) サーバネットワーク機器などのリソースをモニタリングするためのツールです代表的なツール MTRG いままでこれを使ってました cacti むかし検証しましたが 3

Munin とは (2) 公式ページ http://munin-monitoring.

4 Munin とは (2) 公式ページ Stable Munin (2013/4/25 現在 ) 4

5 画像イメージ 5

6 MRTG の画像イメージ 6

7 MRTG( グラフ作成までの流れ ) 監視対象となる機器に snmp を設定場合によってはMIB 情報に渡すスクリプトも設置稼働サービスによって設置スクリプトが異なる MySQLのクエリ数 SMTP 接続数 etc... iptablesやfwでsnmpを許可 MRTGのサーバに対象のconfigを作成稼働サービスによって config の内容が異なる 7

8 MRTG( グラフ作成の悩み ) snmp の設定をするのはけっこう面倒特にスクリプトの設置サーバによって web, mail, DB など稼働サービスは様々 8

9 Munin にした背景 (1) 近年管理する機器 ( 仮想サーバ含む ) が倍以上に増加サーバ構築の機会も増え SNMP, MRTG を設定する機会も増加結果設定にかなりの時間を割く事に他にもサーバスペック不足機器保守切れなども要因求める機能とにかく設定が楽なもの SNMP よりエージェント型がいいな ~ SNMP でのデータ取得にも対応閾値監視 9

10 Munin にした背景 (2) 比較的設定が簡単で日本語の情報が多い Munin を採用する事に 1 系は動作が重い 2 系では改善されたらしい過去に cacti を検証したが動作が重く使いづらかった今は改善されているかも GUI で設定できたのは魅力的 10

11 Munin の監視イメージ munin は cron で定期的に実行 munin-node に接続してデータを取得 munin-node はデーモンとして稼働 Munin-node インストール Munin サーバ Munin-node Munin SNMP 対応 SNMP Munin-node 11

12 munin-node のインストール 12

13 munin-node のインストール (1) CentOS 6 (64bit) の場合 # rpm ivh # yum install munin-node # chkconfig --add munin-node # chkconfig munin-node on # munin-node-configure -shell 利用できるプラグインの一覧が表示されるので ln -s '/usr/share/munin/plugins/if_err_' '/etc/munin/plugins/if_err_eth0' ln -s '/usr/share/munin/plugins/if_err_' '/etc/munin/plugins/if_err_eth1' ln -s '/usr/share/munin/plugins/interrupts' '/etc/munin/plugins/interrupts' ln -s '/usr/share/munin/plugins/ntp_kernel_err' '/etc/munin/plugins/ntp_kernel_err' # munin-node-configure -shell sh /etc/munin/plugins にシンボリックリンクを作成する事で監視できる設定後はサービスを再起動 # /etc/init.d/munin-node restart 13

14 munin-node のインストール (2) ソースからインストールする場合 # groupadd munin # useradd -d /var/lib/munin -s /sbin/nologin munin cpan> install File::Path cpan> install Net::SNMP cpan> force install Net::Server cpan> install ExtUtils::MakeMaker cpan> install Perl::OSType cpan> install Module::Build # wget # tar zxfv munin tar.gz # cd munin

15 munin-node のインストール (3) # vi Makefile -CONFIG = Makefile.config +CONFIG = dists/redhat/makefile.config # make # make install-common-prime install-node-prime install-plugins-prime # cp dists/redhat/munin-node.rc /etc/init.d/munin-node # chmod 755 /etc/init.d/munin-node # chkconfig --add munin-node Makefile を修正する事でパッケージで入れた時と同じパスに展開されますただし dists/redhat/* ファイルが用意されているのはまで 15

16 /etc/munin/plugin-conf.d/munin-node ここにプラグインの個別情報を設定できるプラグイン名の指定は * も設定可プラグインは通常 munin ユーザで実行されるプラグイン内の環境変数を変更できる [diskstats] user munin プラグイン名プラグインの実行ユーザ [iostat_ios] user munin [if_*] user root [mysql*] env.mysqladmin /usr/local/mysql/bin/mysqladmin env.mysqlopts -u root -pxxxxx 16

17 プラグインを直接実行 # munin-run if_eth0 down.value up.value # munin-run df _dev_sda3.value _dev_shm.value 0 _dev_sda1.value

18 /etc/munin/munin-node.conf 接続元 IP アドレスの許可くらいは入れておきましょう host_name sv01.example.jp allow ^ $ allow ^ $ # cidr_allow /32 # cidr_allow /24 # cidr_deny /32 port

19 Port 4949 に接続してみた # telnet sv01.example.jp 4949 Trying Connected to sv01.example.jp. Escape character is '^]'. # munin node at sv01.example.jp 19

20 munin のインストール 20

21 munin のインストール (1) CentOS 6 (64bit) の場合 # rpm ivh # yum install munin # yum install munin-cgi # chkconfig --add munin-node # chkconfig munin-node on 21

22 munin のインストール (2) ソースからインストールする場合 # groupadd -g 499 munin # useradd -d /var/lib/munin -u 498 -g 499 -s /sbin/nologin munin cpan> install File::Path cpan> install Net::SNMP cpan> force install Net::Server cpan> install ExtUtils::MakeMaker cpan> install Perl::OSType cpan> install Module::Build # wget # tar zxfv munin tar.gz # cd munin

23 munin のインストール (3) # vi Makefile -CONFIG = Makefile.config +CONFIG = dists/redhat/makefile.config # make # make install # cp dists/redhat/munin-node.rc /etc/init.d/munin-node # chmod 755 /etc/init.d/munin-node # chkconfig --add munin-node # cp dists/redhat/munin.cron.d /etc/cron.d/munin 23

24 /etc/munin/munin.conf htmldir /var/www/html/munin includedir /etc/munin/conf.d cgiurl_graph /cgi-bin/munin-cgi-graph graph_strategy cron html_strategy cron contact.mail.command mail -s "Munin ${var:group}::${var:host}" contact.mail.always_send critical [GroupA;] contacts [GroupB;] contacts mail mail 24

25 /etc/munin/conf.d/* 監視対象の設定ファイルはサーバ毎に別ファイルで保管できるもちろん 1 ファイルで管理も可 sv01.example.jp.conf [GroupA;sv01.example.jp] address sv01.example.jp use_node_name yes sw01.example.jp.conf [GroupB;sw01.example.jp] address use_node_name no 25

netstat snmp print_pages snmp print_supplies snmp processes snmp rdp_users snmp sensors_fsc_bx_fan snmp sensors_fsc_bx_temp snmp

26 SNMP 経由での監視ネットワーク機器など munin-node をインストール出来ない機器の場合には snmp 経由でデータを取得する事が可能標準でいくつかのプラグインが用意されています snmp cpuload snmp df snmp df_ram snmp fc_if_ snmp fc_if_err_ snmp if_ snmp if_err_ snmp if_multi snmp load snmp memory snmp netapp_diskusage_ snmp netapp_inodeusage_ snmp netstat snmp print_pages snmp print_supplies snmp processes snmp rdp_users snmp sensors_fsc_bx_fan snmp sensors_fsc_bx_temp snmp sensors_fsc_fan snmp sensors_fsc_temp snmp sensors_mbm_fan snmp sensors_mbm_temp snmp sensors_mbm_volt snmp swap snmp uptime snmp users snmp winload snmp winmem 26

27 プラグインの設定 Master サーバで設定しますプラグインで指定している MIB 情報が取得出来るかを確認します # munin-node-configure --snmpversion 1 --snmpcommunity public --snmp sw01.example.jp --shell ln -s '/usr/share/munin/plugins/snmp if_' '/etc/munin/plugins/snmp_sw01.example.jp_if_1' ln -s '/usr/share/munin/plugins/snmp if_' '/etc/munin/plugins/snmp_sw01.example.jp_if_2' ln -s '/usr/share/munin/plugins/snmp if_' '/etc/munin/plugins/snmp_sw01.example.jp_if_3' ln -s '/usr/share/munin/plugins/snmp if_err_' '/etc/munin/plugins/snmp_sw01.example.jp_if_err_1' ln -s '/usr/share/munin/plugins/snmp if_err_' '/etc/munin/plugins/snmp_sw01.example.jp_if_err_2' ln -s '/usr/share/munin/plugins/snmp if_err_' '/etc/munin/plugins/snmp_sw01.example.jp_if_err_3' ln -s '/usr/share/munin/plugins/snmp if_multi' '/etc/munin/plugins/snmp_sw01.example.jp_if_multi' ln -s '/usr/share/munin/plugins/snmp uptime' '/etc/munin/plugins/snmp_sw01.example.jp_uptime' 27

28 /etc/munin/plugin-conf.d/munin-node snmp バージョンコミュニティ名などの情報はここに登録しておきます [snmp_*] env.timeout 20 env.version 1 env.community public [snmp_sw02.example.com_*] env.community public_test 28

29 /etc/munin/conf.d/* address の指定に注意 [GroupA;sw01.example.jp] address use_node_name no 設定後は /etc/init.d/munin-node restart で反映 29

30 プラグインの作成 30

31 プラグインの作成 (1) 標準のプラグインでは取得できないという場合独自にMIB 情報に渡していた値ベンダー独自のMIB qmail 関連の値これらを取得するプラグインを作成しました 31

32 プラグインの作成例 (1) プラグインを作成してみる Load アベレージのデータを取得 # cat /proc/loadavg / # echo -n "load.value "; cut -d' ' -f2 /proc/loadavg この 1 行だけでプラグインとしては成立する 32

33 プラグインの作成例 (2) グラフタイトルラベルグラフの種類などの情報を出力 #!/bin/sh if [ "$1" = "config" ]; then echo 'graph_title Load average echo 'graph_args --base l 0 echo 'graph_vlabel load echo 'graph_category system echo 'load.label load echo 'load.info 5 minute load average echo 'load.draw LINE ' exit 0 fi echo -n "load.value " cut -f2 -d' ' < /proc/loadavg 33

34 プラグインの作成例 (3) munin-node-configure shell で登録するためには if [ "$1" = "autoconf" ]; then echo yes exit 0 fi 条件を付けてみる LOADAVG=/proc/loadavg if [ "$1" = "autoconf" ]; then if [ -f ${LOADAVG} ] ; then echo yes exit 0 else echo no exit 0 fi fi 34

35 プラグインの作成例 (4) あらかじめ閾値を登録しておくことも可能 echo load.warning 5 echo load.critical 10 35

プラグインの作成例 (5) 実際に登録 # munin-node-configure --shell ln -s '/usr/share/munin/plugins/load' '/etc/munin/plugins/load # munin-node-configure shell sh # munin-run load load.value 1.

36 プラグインの作成例 (5) 実際に登録 # munin-node-configure --shell ln -s '/usr/share/munin/plugins/load' '/etc/munin/plugins/load # munin-node-configure shell sh # munin-run load load.value 1.25 # munin-run load config graph_title Load average graph_args --base l 0 graph_vlabel load graph_scale no graph_category system load.label load load.info 5 minute load average load.draw LINE 36

37 閾値の設定 37

$command contact.mail.always_send mail -s "Munin ${var:group}::${var:host}" kanshi@example.$

38 閾値の設定監視項目に閾値を設定しメールを送信させる事が可能ですメールだけでなくスクリプト実行も可能指定されたコマンドを実行しているだけです /etc/munin/munin.conf contact.mail.command contact.mail.always_send mail -s "Munin ${var:group}::${var:host}" critical [GroupA;] contacts [GroupB;] contacts mail mail 38

39 閾値の設定場所標準のプラグインに既に設定されているものも多数 Node, Master どちらでも設定可能設定するのはお好みでただし snmp で取得する場合は master 側でしか設定できない当社では Master 側で閾値設定する方法を採用 39

40 Munin-node 側で閾値設定 /etc/munin/plugin-conf.d/munin-node に設定 [load] env.warning 10 env.critical 20 40

41 Munin 側で閾値設定 (1) /etc/munin/conf.d/sv01.example.jp.conf パーティションごとに設定可能デバイス名を調べる手間が必要 [GroupA;sv01.example.jp] address sv01.example.jp use_node_name yes df._dev_sdb1.warning 92 df._dev_sdb1.critical 98 df._dev_sda1.warning 92 df._dev_sda1.critical 98 df._dev_sda3.warning 92 df._dev_sda3.critical 98 41

42 Munin 側で閾値設定 (2) 通知しない事も可能 diskstats_latency.contacts df_inode.contacts munin_stats.contacts if_err_eth0.contacts if_err_eth1.contacts open_files.contacts no no no no no no 42

43 過去のグラフが見たい 43

44 過去のグラフが見たい MRTG って過去のグラフは丸められていた Yearly は 1 日平均のグラフなってしまう X 月 Y 日のグラフを見たいなーんて事はできなかった 44

45 でも Munin なら 45

46 できちゃうんです 46

47 正確に日時を指定する事も可能 47

48 過去のグラフが見たいデータが丸められないので過去のグラフを見返したい時に便利例えば障害時の負荷状況を見たい 1 年前までのグラフであれば拡大表示で見る事が可能レポートなどを作成する時に便利 3 月 1 日から 3 月 31 日まで期間指定 48

49 Nagios との連携 49

50 Nagios との連携 Munin の通知は機能があまりないだって標準では mail コマンドに渡しているだけ contact.mail.command mail -s "Munin ${var:group}::${var:host}" もっと細かい制御をしたいならプログラムに渡すべき通知プログラムは自作してください通知機能を Nagios におまかせする事が可能 XX 回連続して閾値を超えたら発報とかって事が出来る 50

51 Nagios との連携イメージ図閾値を超えた場合 muninはsend_nscaを実行 Send_nscaはNSCAに接続 NSCAは監視結果をファイルに保存 Nagiosはファイルを定期的にチェック Nagios サーバ Munin サーバ Nagios Munin コマンドファイル NSCA Send_nsca 51

52 NSCA NSCA( Nagios Service Check Acceptor ) Send_nsca( NSCA の監視エージェント ) 52

Send_nsca インストール # cd /usr/local/src # wget http://prdownloads.sourceforge.

53 Send_nsca インストール # cd /usr/local/src # wget # tar zxvf nsca tar.gz # cd nsca #./configure # make send_nsca # cp src/send_nsca /usr/bin/ # cp sample-config/send_nsca.cfg /etc/ # chown munin:munin /etc/send_nsca.cfg # vi /etc/send_nsca.cfg password=hogehoge encryption_method=2 53

54 munin.conf の修正 contact.nagios.command /usr/bin/send_nsca nagios.example.com -c /etc/send_nsca.cfg [GroupA;] contacts [GroupB;] contacts nagios nagios 54

NSCA のインストール # wget http://prdownloads.sourceforge.net/sourceforge/nagios/nsca-2.7.2.tar.gz # tar zxvf nsca-2.7.2.tar.gz # cd nsca-2.7.2 #.

55 NSCA のインストール # wget # tar zxvf nsca tar.gz # cd nsca #./configure # make all # cp src/nsca /usr/local/nagios/bin/ # cp sample-config/nsca.cfg /usr/local/nagios/etc/ # cp init-script /etc/init.d/nsca # chmod 755 /etc/init.d/nsca # vi /usr/local/nagios/etc/nsca.cfg server_port=5667 nsca_user=nagios nsca_group=nagios command_file=/usr/local/nagios/var/rw/nagios.cmd password=hogehoge encryption_method=2 # chkconfig --add nsca # chkconfig --list nsca # /etc/init.d/nsca start 55

56 Nagios 側の設定 Nagios は本来 Nagios 側から監視対象にアクセスして監視を行っている ( アクティブ監視 ) Munin と連携する場合 NSCA から監視結果が送信されてくる ( パッシブ監視 ) アクティブ監視監視対象 Nagios パッシブ監視監視対象 56

57 command.conf define command { command_name munin-check-dummy command_line $USER1$/check_dummy $ARG1$ $ARG2$ register 1 } 57

58 services.cfg define service { host_name sv01.example.jp service_description Filesystem_usage check_command munin-check-dummy!0!ok initial_state o max_check_attempts 4 active_checks_enabled 1 passive_checks_enabled 1 check_period none obsess_over_service 1 check_freshness 1 event_handler_enabled 1 flap_detection_enabled 1 flap_detection_options o,w,u,c process_perf_data 1 retain_status_information 1 retain_nonstatus_information 1 register 1 } 58

59 /etc/munin/conf.d/* [GroupA;sv01.example.jp] address sv01.example.jp use_node_name yes df.notify_alias Filesystem_usage 59

60 Nagios 連携時の注意点閾値を設定するサービスをホスト毎に nagios に登録しなければならない Server1 apache Server1 mail Server2 apache Server2 mysql Munin に登録 Nagios にも登録設定する箇所が増えるので結構大変 60

61 負荷対策 61

62 負荷対策 (1) 監視対象が増えてくるとその分 munin を実行しているサーバの負荷も増えます 62

63 負荷対策 (2) 63

64 負荷対策 (3) 64

65 負荷対策 (4) 65

66 負荷対策 (5) 当社の監視対象数 munin-node 約 200 snmp 約 130 Munin のデータ取得から html 作成まで 500 秒以上掛かっていました全対象のデータを取得し始めると負荷が結構な値に 66

67 で負荷対策!! /etc/munin/munin.conf graph_strategy cron html_strategy cron graph_strategy cgi html_strategy cgi 67

68 Munin を CGI で実行するように変更通常は cron で実行される度に html 画像ファイルが作成されます CGI 版にする事によりウェブでアクセスした時にファイルを作成するようにしますメリット日々のサーバリソースを軽減できますグラフ参照デメリット CRON 版に比べページ表示が遅くなります感覚的には表示まで 1~5 秒程度 68

69 まとめ MRTG に比べ設定が楽 Munin-node がインストールできないネットワーク機器などは今まで通り MIB 情報を取得標準で使えるプラグインが豊富 ( 約 300) それでも取得できない項目はプラグインを自作プラグイン自作は作法さえわかれば簡単! 言語はお好みで閾値の通知は nagios など他プログラムにおまかせ拡大表示機能で過去のグラフも見返す事が出来るある程度監視対象が増えたら CGI 版が良いということで皆さんも是非! 69

70 さいごに Munin のここがイケてない ( 個人的感想 ) MRTG と比較してグラフが見づらい慣れの問題? MIB がわかっていてもそれを取得するにはプラグイン作成が必要グラフタイトルの表示名はプラグインで指定 If の利用者は description で確認通知機能が豊富になればうれしいな ~ 70

71 おしまいご清聴ありがとうございました 71

別紙 : 検証環境の構築手順 ( 章 ) 1. サーバ設定 1.1 IP アドレス設定サーバは以下の 6 台を用いる pgpool-ii サーバ 2 台 DB サーバ 3 台上位サーバ 1 台 OS は全サーバで CentOS 6.4 x86_64 とする pgpool-ii のサー

別紙 : 検証環境の構築手順 ( 章 ) 1. サーバ設定 1.1 IP アドレス設定サーバは以下の 6 台を用いる pgpool-ii サーバ 2 台 DB サーバ 3 台上位サーバ 1 台 OS は全サーバで CentOS 6.4 x86_64 とする pgpool-ii のサー別紙 : 検証環境の構築手順 (13.1.1 章 ) 1. サーバ設定 1.1 IP アドレス設定サーバは以下の 6 台を用いる pgpool-ii サーバ 2 台 DB サーバ 3 台上位サーバ 1 台 OS は全サーバで CentOS 6.4 x86_64 とする pgpool-ii のサーバは NIC を 3 つ持っているとする (eth0, eth1, eth2) このうち eth0 をサービス提供と