Presentation Title Here

Size: px

Start display at page:

Download "Presentation Title Here"

れんかおおかわち
5 years ago
Views:

1 Amazon CloudWatch / CloudWatch Logs 2015/07/01 AWS Black Belt Tech Webinar 2015 アマゾンデータサービスジャパン株式会社プロフェッショナルサービス山本教仁パートナーソリューションアーキテクト酒徳知明

2 Agenda Amazon CloudWatch Amazon CloudWatch Logs AWS での運用監視 2

3 Amazon CloudWatch 3

4 4 CloudWatch

5 Amazon CloudWatchとは AWSの各種リソースを監視するサービス AWSリソースの死活性能ログ監視 ( 監視 ) 取得メトリックスのグラフ化 ( 可視化 ) 各メトリックスをベースとしたアラーム ( 通知 ) アクションの設定が可能 5

6 CloudWatch に対応する AWS サービス AWS サービス Auto Scaling AWS Billing Amazon CloudFront Amazon CloudSearch Amazon DynamoDB Amazon ElastiCache Amazon Elastic Block Store Amazon Elastic Compute Cloud Elastic Load Balancing Amazon Elastic MapReduce Amazon Kinesis Amazon Machine Learning AWS OpsWorks Amazon Redshift 名前空間 AWS/AutoScaling AWS/Billing AWS/CloudFront AWS/CloudSearch AWS/DynamoDB AWS/ElastiCache AWS/EBS AWS/EC2 AWS/ELB AWS/ElasticMapReduce AWS/Kinesis AWS/ML AWS/OpsWorks AWS/Redshift AWS の製品 Amazon Relational Database Service Amazon Route 53 Amazon Simple Notification Service Amazon Simple Queue Service Amazon Simple Workflow Service AWS Storage Gateway Amazon WorkSpaces 名前空間 AWS/RDS AWS/Route53 AWS/SNS AWS/SQS AWS/SWF AWS/StorageGateway AWS/WorkSpaces DeveloperGuide/supported_services.html 6

7 CloudWatch での監視データ管理 Metrics Name Space (AWS/EC2) Name Space (AWS/RDS) Name Space (AWS/ELB) Namespace Metrics ( メトリックス ): 時系列で表わしたデータポイント一式 Namespace ( 名前空間 ): メトリックスのコンテナ標準では AWS サービスごと Metrics Name (CPUUtiliization) Metrics Name (CPUUtiliization) Metrics Name (HealthyHostCount) 7

8 CloudWatch での監視データ管理 Metrics Name Space (AWS/EC2) Name Space (AWS/RDS) Name Space (AWS/ELB) Namespace Dimension Metrics Name (CPUUtiliization) Metrics Name (CPUUtiliization) Metrics Name (HealthyHostCount) Dimension ( ディメンション ): メトリックスを一意に識別できるようにする名前と値のペア Dimension (InstanaceId) Dimension (InstanaceId) Dimension (AutoScaling Group) 8

9 CloudWatch での監視データ管理 Metrics Name Space (AWS/EC2) Name Space (AWS/RDS) Name Space (AWS/ELB) Statistic Namespace Dimension Metrics Name (CPUUtiliization) Metrics Name (CPUUtiliization) Metrics Name (HealthyHostCount) Sum Max Dimension (InstanaceId) Min Dimension (InstanaceId) Dimension (AutoScaling Group) Average Simple Count 9

10 CloudWatch 利用イメージ標準メトリックス監視対象インスタンス検索ウィンドウディメンション標準メトリックス一覧グラフ表示期間設定 10

11 CloudWatch のメトリックス標準メトリックス (EC2) カスタムメトリックス CPUUtilization CPUCreditBalance CPUCreditUsage DiskReadBytes DiskWriteBytes DiskWriteOps NetworkOut NetworkIn StatusCheckFailed_Instance StatusCheckFailed StatusCheckFailed_System 標準メトリックスでは収集できないメトリックス 11

$HTTP POSTは40KB 1つの PutMetricDataリクエストに20データ $ aws cloudwatch put-metric-data metric-name RequestLatency\ --namespace "GetStarted \ --timestamp$ $2014-10-28T12:30:00Z\ --value 87 \ --unit Milliseconds\ 単一値の登録 $ aws cloudwatch put-metric-data --metric-name RequestLatency --namespace "GetStarted$

12 CloudWatch カスタムメトリックス標準メトリックス以外の独自メトリックスも監視可能 AWS CLIの put-metric-data API Toolsの mon-put-data もしくは PutMetricData APIでデータを登録サイズ制限として HTTP GETは8KB HTTP POSTは40KB 1つの PutMetricDataリクエストに20データ $ aws cloudwatch put-metric-data metric-name RequestLatency\ --namespace "GetStarted \ --timestamp T12:30:00Z\ --value 87 \ --unit Milliseconds\ 単一値の登録 $ aws cloudwatch put-metric-data --metric-name RequestLatency --namespace "GetStarted --timestamp T12:30:00Z\ --statistic-value Sum=60,Minimum=15,Maximum=105,SampleCount=5 統計セットの登録 APIコールにスロットリングあり 12 カスタムメトリックスの頻繁な登録や頻度の高いデータ取得には注意

CloudWatch のメトリックス値 CloudWatch で取得される情報は統計情報メトリックスデータを指定した期間で集約したものそれぞれのメトリックスについて適切な統計情報を見る必要があるメトリックスデータの保管は 2 週間まで 2 週間以上保存する場合は get-metric-statistics

13 CloudWatch のメトリックス値 CloudWatch で取得される情報は統計情報メトリックスデータを指定した期間で集約したものそれぞれのメトリックスについて適切な統計情報を見る必要があるメトリックスデータの保管は 2 週間まで 2 週間以上保存する場合は get-metric-statistics でデータを取得し別の場所に保管しておくデータ保管粒度は最短で 1 分間隔多くのサービスで 1 分間隔 5 分間隔のものもある 13

14 Amazon EC2 のモニタリングタイプ基本モニタリング詳細モニタリング無料追加料金が必要データは 5 分間隔のものを閲覧可能データは 1 分間隔のものを閲覧可能 14

CloudWatchを使ったマネージドサービスの監視 AWSマネージドサービスの監視サードパーティツールのエージェントをインストールできないため CloudWatchでの監視が必須 ELB Latency BackendConnectionErrors HealthyHostCount UnHealthyHostCount

BinLogDiskUsage DiskQueueDepth ReadIOPS ReadThroughput ReadLatency NetworkReceiveThroughput NetworkTransmitThroughput WriteIOPS http://docs.aws.amazon.

15 CloudWatchを使ったマネージドサービスの監視 AWSマネージドサービスの監視サードパーティツールのエージェントをインストールできないため CloudWatchでの監視が必須 ELB Latency BackendConnectionErrors HealthyHostCount UnHealthyHostCount RequestCount HTTPCode_ELB_5XX HTTPCode_Backend_4XX Amazon RDS CPUUtilization WriteThroughput FreeableMemory WriteLatency SwapUsage DatabaseConnections FreeStorageSpace BinLogDiskUsage DiskQueueDepth ReadIOPS ReadThroughput ReadLatency NetworkReceiveThroughput NetworkTransmitThroughput WriteIOPS

16 CloudWatch を使ったアラーム設定 OK アラーム (Alarm) 不足 (INSUFFICIENT) 定義された閾値を下回っている ( 正常値 ) 定義された閾値を上回っている ( 異常値 ) データが不足のため状態を判定できない ( 判定不能 ) 16

StatusCheckFailed_System EC2 CPUUtilization DiskReadBytes /

17 CloudWatchのアクション機能モニタリングアクション Custom Metric Memory Free / Filesystem Free Notification StatusCheckFailed_Instance StatusCheckFailed_System EC2 CPUUtilization DiskReadBytes / DiskReadOps DiskWriteBytes / DiskWriteOps NetworkIn / NetworkOut EC2 Action CloudWatch AutoScaling 17

18 CloudWatch のアクション機能各アラーム状態に対してアクションを定義可能通知 (Notification) Amazon Simple Notification Service(SNS) を使って通知メール送信や HTTP(S) 送信 Amazon Simple Queue Service (SQS) への送信が可能 EC2 アクション EC2 インスタンスの復元停止および終了が実行可能 Auto Scaling アクション Auto Scaling Group の Scaling Policy を指定しインスタンスのスケールアウト / インが可能 18

19 Amazon EC2 Auto Recovery EC2 の自動復旧 EC2 インスタンスが稼働している AWS システムに障害が発生した場合に自動的に EC2 インスタンス復旧する機能ネットワーク接続喪失システム電源喪失物理ホストの障害対応するインスタンスタイプ C3, C4, M3, R3, T2 インスタンス VPC 内のインスタンス EC2 クラシックは未対応ハードウェア専有インスタンスは未対応 EBS-Backed インスタンスのみ 19

20 20 CloudWatch アラームの設定

21 CloudWatchアラームの設定 CPU使用率を監視対象 CPU使用率80%以上が3期間ここでは1期間 5分以上 21

22 CloudWatch によるコストの監視 Billing アラーム設定 Virginia リージョンから設定課金状況をCloudWatch 監視一定金額を超えるとアラームメール通知が可能 22

23 CloudWatch の料金初期費用無しの従量課金標準の監視は無料 EC2 インスタンスの標準監視 (5 分間隔 ) EBS ELB RDS は 1 分間隔が無料アラームやカスタムメトリックスは一定数まで無料 10 メトリックス 10 アラームおよび 100 万 API リクエスト 1 か月あたり 5GB のデータの取り込みおよび 5GB のアーカイブされたストレージ課金対象及び料金 (2015 年 7 月現在 Tokyo リージョン ) EC2 詳細モニタリング 1 インスタンスにつき $3.50/ 月カスタムメトリックス 1 つにつき $0.50/ 月アラーム 1 つにつき $0.10/ 月 API リクエスト 1000 回につき $0.01(Get, List, Put ごとに ) 23

メンテナンスイベントの監視 EC2 や RDS のメンテナンスイベント ( ) AWS が予定する再起動停止 / 開始またはリタイアなどのイベント http://docs.aws.amazon.

html メンテナンスイベントが予定されている場合メールで通知されますが見逃さないようにコマンドラインでの確認をしておくことが有効管理コンソールからも確認可能コマンドラインによるイベントの確認例管理コンソールでの確認 $ aws ec2

24 メンテナンスイベントの監視 EC2 や RDS のメンテナンスイベント ( ) AWS が予定する再起動停止 / 開始またはリタイアなどのイベントメンテナンスイベントが予定されている場合メールで通知されますが見逃さないようにコマンドラインでの確認をしておくことが有効管理コンソールからも確認可能コマンドラインによるイベントの確認例管理コンソールでの確認 $ aws ec2 describe-instance-status --query "InstanceStatuses[?Events!= null].[instanceid,events]" [ [ "i-xxxxxxxx", [ { "Code": "instance-stop", "Description": "The instance is running on degraded hardware", "NotBefore": " T00:00:00.000Z" } ] ] ] 24

25 25 Amazon CloudWatch Logs

26 CloudWatch を使ったログ監視 CloudWatch Logsを使ったログ監視 OS アプリケーション等のテキストログをモニタリングエージェント経由でログメッセージをCloudWatchエンドポイントに転送ログデータの保存期間は設定可能 1 日永久保存で選択可能 26

27 CloudWatch Logs の利用イメージ Log Agent Log Agent Amazon Linux Ubuntu CloudWatch Logs CloudWatch Metrics Log Agent Log Agent Windows Red Hat Enterprise Linux CloudWatch Alarm SNS 27

28 CloudWatch Logs のディレクトリ階層 Log Group Log Stream Log Event Web Server web001.ap-northeast-1 web002.ap-northeast-1 web003.ap-northeast-1 28

29 ログモニタリングイメージログ内容はタイムスタンプとログメッセージ (UTF-8) で構成 29

30 CloudWatch Logs のクライアント Linux の場合 : テキストログ CloudWatch Logs Agent Windows の場合 : テキストログ,Windows イベントログパフォーマンスカウンタ EC2Config その他 AWS CLI AWS SDK サードパーティツール (fluentd など ) 30

31 Log Agent の通信要件 CloudWatch Logs エンドポイントに接続できること NAT インスタンスプライベートサブネットパブリックサブネット CloudWatch Logs API Endpoint 31

32 Linux:CloudWatch Logs Agent CloudWatch Logs Agent ログデータを CloudWatch Logs にプッシュする AWS CLI プラグイン CloudWatch Logs にデータを送信する aws logs push コマンドを実行するスクリプト ( デーモン ) デーモンが常に実行中であることを確認する cron ジョブインストールと構成が必要導入対象 EC2 インスタンスには Role をつける対応プラットフォーム Amazon Linux Ubuntu Server CentOS Red Hat Enterprise Linux 32

33 CloudWatch Logs Agent の注意点転送できるログメッセージの長さの制限 Agent が 1 回あたりプッシュできるログレコードサイズは最大 32KB 32KB を超えるとログがトランケートされる対応しているログローテーション rename and re-create 元のログに suffix( 数値 ) をつけて rename し空のログファイルを再作成例 ) /var/log/syslog.log が /var/log/syslog.log.1 に変更される場合 copy and truncate 元のログファイルをコピーしてから TRUNCATE 例 ) /var/log/syslog.log が /var/log/syslog.log.1 に copy され /var/log/syslog.log が TRUNCATE される場合 create common-patterned file 共通のパターンを持つ新しいファイルを作成例 ) /var/log/syslog.log を残し /var/log/syslog.log が作成される場合 access_log_80, access_log_443 のような異なるファイルに交互に書き込まれるようなファイル監視は未対応 33

$Windows:CloudWatch Logs 設定 ec2configでcloudwatch Logs 設定 JSON 設定ファイルを編集することで監視するメトリックスを設定 C:\Program Files\Amazon\Ec2ConfigService\Settings$

34 Windows:CloudWatch Logs 設定 ec2configでcloudwatch Logs 設定 JSON 設定ファイルを編集することで監視するメトリックスを設定 C:\Program Files\Amazon\Ec2ConfigService\Settings に配置されている AWS.EC2.Windows.CloudWatch.json ファイルを編集収集するログを設定 Windowsイベントログ Event Tracing for Windows テキストベースログ IISログパフォーマンスカウンタチェックを入れるだけで利用可能 34

35 カスタムメトリックスの確認カスタムメトリックス 35

36 CloudWatch Logs Metric Filter(1/3) ログイベントから特定の文字列のフィルタリングが可能 36

37 CloudWatch Logs Metric Filter(2/3) 特定文字列のエントリ頻度によりアラーム作成が可能コンソールへのログインが失敗するとアラーム警告 37

38 CloudWatch Logs Metric Filter(3/3) Metric Filter からアラーム作成 SNS 連携が可能 Metric Filter をトリガーにした CloudWatch アラームの作成が可能 38

39 メトリックスフィルタ (一般的なログフォーマット) frank [10/Oct/2000:13:25: ] "GET /apache_pb.gif HTTP/1.0" frank [10/Oct/2000:13:35: ] "GET /apache_pb.gif HTTP/1.0" frank [10/Oct/2000:13:50: ] "GET /apache_pb.gif HTTP/1.0" Filter example [ip, user, username, timestamp, request, status_code, bytes > 1000] [ip, user, username, timestamp, request, status_code = 200, bytes] [ip, user, username, timestamp, request, status_code = 4*, bytes] [ip, user, username, timestamp, request = *html*, status_code = 4*, bytes] Notes 角括弧 [] または 2 個の二重引用符 "" で囲まれた文字は単一のフィールドとして扱われますメトリックスフィルタは大文字と小文字を区別します 39

40 CloudWatch Logs 料金体系無料枠 (1 カ月あたり ) 従量課金インジェクション 5GB $0.76 / GB アーカイブ 5GB $0.033 GB / 月 10 メトリックス 10 アラームおよび 100 万の API リクエストの無料利用枠を準備 40

41 CloudWatch Logs 検索機能の向上複数のログストリームにまたがってログを閲覧したりキーワード検索が可能 (1 つのロググループ内 ) ログストリームを複数選択しイベントを検索ボタンをクリック検索キーワード 41

42 CloudWatch Logs Subscription CloudWatch Logs に集めたログをリアルタイムに Kinesis に転送可能に Kinesis Application でログに対して / を受けてロジックを記述可能 CloudWatch Logs には指定した保管期間ログが保管される agent 設定は AWS CLI から CloudWatch Logs Kinesis Kinesis Application aws logs put-subscription-filter \ --log-group-name xxxxxxxx" \ --filter-name xxxxxxxx" \ --filter-pattern "{xxxxxxxx = xxxxxxxx}" \ --destination-arn "arn:aws:kinesis:ap-northeast-1: :stream/xxxxxxxx" \ --role-arn "arn:aws:iam:: :role/xxxxxxxx" 42

43 VPC Flow Logs VPC 内ネットワークログ VPC 内のネットワークのログが取得可能 Network ACL と Security Group での許可と禁止のトラフィックログ VPC Flow Logs の設定は VPC Subnet ENI に対して実施ログはネットワークインタフェース (ENI) ごとに取得 (ENI がログストリーム ) 特定の通信はログされない Amazon Provided DNS への DNS Lookup Windows ライセンスアクティベーション DHCP 等 43

44 CloudWatch を介したシステム運用の自動化システム運用の自動化 CloudWatch および CloudWatch Logs の各種連携機能が登場しシステム運用の自動化がより容易に RDS EC2 agent CloudWatch AutoScaling SQS SNS EC2 Lambda 通知 & アクション電話モバイルプッシュチャットメールアプリケーションへのフィードバックインフラ復旧 / 拡張 CloudTrail CloudWatch Logs Kinesis Kinesis Application VPC Flow Logs 44

45 CloudWatch を使った自動化例 IAM の設定変更に関するアラートの受け取り方について AWS アカウントのルートアクセスキーを使用した場合の通知方法 CloudWatch Logs Subscriptions を利用した Zabbix へのログ転送アラート発生時に AWS Lambda を使って音声電話をかける CloudWatch の Alert を AWS Lambda 経由で Slack に飛ばす Auto Scaling による自動復旧 (AWS Lambda+SNS 編 ) Amazon ECS の Docker コンテナを Lambda で Auto Scaling に連携させる VPC Flow Logs を Elasticsearch + Kibana4 で可視化する 45

46 46 AWS での運用監視

47 AWS の運用監視今までのシステム監視と変わらないオンプレミス時の運用ノウハウを最大限活用 AWS サービスをうまく活用したシンプルな監視多くの監視ツールが AWS に対応クラウドならではの監視スケール監視コスト監視コンプライアンス 47

48 基本となる運用監視性能監視死活監視キャパシティ監視オンプレミスでもクラウドでも基本的には同じ 48

監視ツール連携の必要性 49 サードパーティ監視ツールの必要性ハイブリッド環境での統合監視 CloudWatch 機能制限への対応プロセス監視ログ監視での柔軟な文字列マッチングメンテナンスウィンドウの設定重要度の設定長期保管環境と監視項目ごとのツール利用例性能監視 (CPU 使用率 DiskI/O 他 ) 死活監視 ( ホスト ) AWS オンプレミス EC2 ELB/RDS

49 監視ツール連携の必要性 49 サードパーティ監視ツールの必要性ハイブリッド環境での統合監視 CloudWatch 機能制限への対応プロセス監視ログ監視での柔軟な文字列マッチングメンテナンスウィンドウの設定重要度の設定長期保管環境と監視項目ごとのツール利用例性能監視 (CPU 使用率 DiskI/O 他 ) 死活監視 ( ホスト ) AWS オンプレミス EC2 ELB/RDS サーバ CloudWatch 標準メトリックス or サードパーティツール CloudWatch 標準メトリックス or サードパーティツール CloudWatch 標準メトリックス CloudWatch 標準メトリックスサードパーティツールサードパーティツール死活監視 ( プロセス ) サードパーティツール CloudWatch 標準メトリックスサードパーティツールキャパシティ監視 ( メモリ使用ディスク使用量 ) CloudWatch カスタムメトリックス or Windows であれば CloudWatch Logs or サードパーティツール CloudWatch 標準メトリックスサードパーティツール

50 監視システムとのAmazon CloudWatch連携監視システム利用イメージサードパーティ監視ツールの確認ポイント 50 AWSに対応しているか CloudWatchとの連携機能の有無 CloudWatchカスタムメトリックスに対応しているか Auto Scaling対応しているか EC2インスタンス自動検出自動削除が可能か

51 ESP(Ecosystem Solution Pattern)カタログ無料配布 2015年度版 AWS対応ソフトウェア/SaaSガイド 51

52 AWS 運用コミュニティ ~ クラウドによるクラウドのためのクラウド運用管理 ~ AWS 06/aws-ops.html

53 Q&A 次回 Webinar のお申し込み 53

54 Webinar 資料の配置場所 AWS クラウドサービス活用資料集 54

55 公式 Twitter/Facebook AWS 検索もしくは最新技術情報イベント情報お役立ち情報お得なキャンペーン情報などを日々更新しています! 55

56 56 ご参加ありがとうございました

AWS の運用監視入門 (AWS CloudWatch)

AWS の運用監視入門 (AWS CloudWatch) AWS の運用監視入門 Amazon CloudWatch 技術統括本部ソリューションアーキテクト藤倉和明 2017 年 6 月 2 日 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 本セッションの Feedback をお願いします受付でお配りしたアンケートに本セッションの満足度やご感想などをご記入くださいアンケートをご提出いただきました方には