AWS サポートと各種運用支援ツールを利用した、システム運用・管理やコストの最適化

Size: px

Start display at page:

Download "AWS サポートと各種運用支援ツールを利用した、システム運用・管理やコストの最適化"

めぐのやがい
5 years ago
Views:

2 自己紹介名前 : 伊藤裕史所属 : アマゾンウェブサービスジャパン株式会社技術支援本部エンタープライズサポートシニアテクニカルアカウントマネージャテクニカルアカウントマネージャ (TAM) としてエンタープライズサポートプランをご契約のお客様を担当し AWS サポートが提供する各種ツールやサービスを通じて日々お客様の AWS ご利用の最適化をサポートしています

3 AWS サポートのラインナップ 24/365( ビジネスプラン以上 ) の日本語サポート AWS サービスのフルラインナップをサポート長期のコミットメントは不要お問い合わせ回数は無制限 TAM 認定エンジニア対応コンシェルジュ対応

4 本日のセッションで扱う 3 つのポイント迅速な対応によるシステムの安定運用ベストプラクティスを活用したシステム品質向上コストの可視化と AWS 利用の最適化 Service Health Dashboard Personal Health Dashboard AWS Health API と Git repository AWS サポートの活用 AWS Trusted Advisor AWS Answers AWS サポートナレッジセンター予算管理機能各種レポートの活用 CostExplorer リザーブドインスタンス一括請求の活用

5 本日のセッションで扱う 3 つのポイント迅速な対応によるシステムの安定運用ベストプラクティスを活用したシステム品質向上コストの可視化と AWS 利用の最適化 Service Health Dashboard Personal Health Dashboard AWS Health API と Git repository AWS サポートの活用 AWS Trusted Advisor AWS Answers AWS サポートナレッジセンター予算管理機能各種レポートの活用 CostExplorer リザーブドインスタンス一括請求の活用

6 システム安定運用のための二つの視点システムメンテナンスの影響の最小化障害発生時の迅速な対応

7 Personal Health Dashboard でメンテナンスを知るアカウント固有のリソースに対するメンテナンス情報や影響を受ける可能性のある AWS の大規模障害の情報を提供 CloudWatch Events と連携してイベントに対するアクションを自動実行することも可能

AWS Health API でプログラムからアクセスする Personal Health Dashboard に表示される通知を機械的に取得するための API ~$ aws health describe-event-details --event-arns arn:aws:health:us-east-2::event/aws_ec2_operational_issue_1493167712

8 AWS Health API でプログラムからアクセスする Personal Health Dashboard に表示される通知を機械的に取得するための API ~$ aws health describe-event-details --event-arns arn:aws:health:us-east-2::event/aws_ec2_operational_issue_ <= イベント ( 通知 ) 毎に ARN が割り振られる { } "failedset": [], "successfulset": [ { "event": { "lastupdatedtime": , "service": "EC2", "eventtypecode": "AWS_EC2_OPERATIONAL_ISSUE", "starttime": , "eventtypecategory": "issue", "endtime": , "region": "us-east-2", "arn": "arn:aws:health:us-east-2::event/aws_ec2_operational_issue_ ", "statuscode": "closed" }, "eventdescription": { latestdescription : [RESOLVED] EBS Volume ( 省略 )The issue has been resolved and the service is operating normally." } } ]

AWS Health API の活用 - AWS Health Tools リポジトリレポジトリ URL https://github.

9 AWS Health API の活用 - AWS Health Tools リポジトリレポジトリ URL AWS Health(Personal Health Dashboard) を活用して通知対応などを自動化するためのコミュニティベースのツールレポジトリ利用可能なサンプル (2017/5) SMS Notifier SNS Topic Publisher Slack Notifier Instance Store Degraded Drive Disable AWS CodePipeline Stage Transition

10 例 )slack Notifier AWS Health が生成する CloudWatch Events の Event を利用して Lambda を実行し Slack の WebHook に情報をパブリッシュサンプルの Lambda Function や CloudFormation Template を提供メンテナンスイベントの取りこぼし防止に役立つ AWS の各サービス AWS Health CloudWatch Events Lambda Function

11 お客様が障害を検知した時の問題解決フローのやり取りを如何に効率的にするかが迅速解決のカギ! AWS の問題かもしれないサポートセンターサポートセンターから問い合わせ Dashboard でサービスのステータスをチェック! アプリケーションや OS レイヤーの問題の調査開発者プラン以上が技術的お問い合わせを利用可能です AWS インフラの障害調査問題切り分け調査のご支援ベストプラクティスに基づいた改善策 etc 24/365 の日本語サポート Web/ 電話 / チャット AWS サービスに関するスペシャリストが対応 (Cloud Support Engineer)

12 AWS のステータス Service Health Dashboard 提供機能サービス (Region) 単位でステータス表示 RSS を利用して更新をチェックすることも可能過去の稼働情報も提供注意点必ずしも更新はリアルタイムではない発生した障害の影響範囲によっては必ずしもステータスが更新されないサービスのステータスを以下のアイコンで表現 URL:

事象の発生時間 ( タイムゾーン ): 事象が発生したリソースの詳細 ( リージョン / リソース ID 名前 ): 発生した事象の詳細

13 サポートお問い合わせのベストプラクティス一つのお問い合わせで関連性のない複数の質問をしない問い合わせ対象リソースの所有者が起票していることを確認する適切な緊急度を設定いただくお問い合わせの際に可能な限り以下の内容を添付する事象の発生時間 ( タイムゾーン ): 事象が発生したリソースの詳細 ( リージョン / リソース ID 名前 ): 発生した事象の詳細 : SDK や CLI のエラーであればそのエラー出力可能であれば AWS CLI の場合は --debug オプションの指定ネットワーク疎通の問題であれば通信元と通信先のリソース情報

ご参考 : 調査で必要となる情報 (1/2) サービス問題の種別必要な情報 CloudFormation S3が関連した問題 S3のエンドポイントURL 必要に応じスタック名デプロイ時の問題スタック名使用したテンプレート関連リソースID テンプレート作成時の問題作成したテンプレート API その他スタック名 CloudFront ディストリビューション関連

14 ご参考 : 調査で必要となる情報 (1/2) サービス問題の種別必要な情報 CloudFormation S3が関連した問題 S3のエンドポイントURL 必要に応じスタック名デプロイ時の問題スタック名使用したテンプレート関連リソースID テンプレート作成時の問題作成したテンプレート API その他スタック名 CloudFront ディストリビューション関連お客さまがアクセスするURL,DistributionのURL 返答されるHTTPステータスコード該当 URL へのdig/nslookup 名前解決テスト結果 Origin へ直接アクセスした結果 traceroute/traceroute(tcp) API その他 DistributionのURL CloudWatch AutoScalingの問題 Auto Scaling Group 名 Auto scaling Policy 名 AS 設定コマンド Metrics 取得に関する問題 Alarm に関する問題 Metrics 取得対象リソース情報 ( インスタンス ID,RDS/ELB エンドポイントなど ) Metrics 取得時パラメーター Metrics 名現象が発生した時刻対象となる Alarm の名前現象が発生した時刻 SNS 通知先 Direct Connect 接続に関する問題仮想インターフェースID(dxvif-xxx) 物理ラインID(dxcon-xxx で始まるID) それぞれのリソースのカウント名 DynamoDB 性能の問題テーブル名検証を実施した時刻 CloudWatch の Read/Write Capacity の出力アクセスの問題テーブル名エラーの出力詳細アクセス方法 (SDK の種類呼び出し方 ) EC2 & ELB 起動 / 停止の問題インスタンスID OS 側のエラーログインスタンス /ELB 疎通問題インスタンスID, traceroute の出力接続元接続先のIPアドレス監視システムのエラーログ EBS に関連した問題 ELB に関連した問題インスタンスID, 問題があるストレージデバイス名 (EBSのVolume ID OS 内のデバイス名など ) インスタンスID アクセス可能なURL ELBのエンドポイントURL traceroute の出力 curl (-v --trace-time) の出力 ( 数回実施 ) 監視システムのエラーログ性能に関連した問題 AMI/ に関連した問題インスタンス ID OS 側のエラーログ監視システムのエラーログ AMI 名

15 ご参考 : 調査で必要となる情報 (2/2) サービス問題の種別必要な情報 ElastiCache Cacheノード障害関連 ElastiCacheクラスタID ノードID 接続に関連する問題 ElastiCacheクラスタID 接続元インスタンスID APIエラー関連 ElastiCacheクラスタID SDKバージョン Elastic Beanstalk 全般アプリケーション名 Environment 名 Elastic MapReduce ジョブのエラー関連ジョブフロー ID Hadoopクラスタ関連ジョブフロー ID Hive 関連ジョブフロー ID 問題となっているクエリその他 APIなりコンソールのエラー内容 Glacier Volt 名アーカイブ名ジョブID IAM 全般アカウントID IAMユーザー / グループ名ポリシー関連アカウントID IAMユーザー / グループ名試したポリシー JSON その他 API 関連エラーログと実行コマンド ( セキュリティ注意 ) OpsWorks 全般再現可能なレシピ ( セキュリティ注意 ) エラーの内容スタックの構成( なるべく詳細 ) 再現手順 RDS アクセス関連 DBインスタンスのエンドポイントFQDN DBエラーコードアクセス元起動 / 停止関連 DBインスタンスのエンドポイントFQDN フェールオーバー DBインスタンスのエンドポイントFQDN RedShift 全般 RedShiftのFQDN エラーコードアクセス元 Route 53 HostedZoneID どのリソースレコードセットか異常時のdig/nslookup 期待している結果 S3 BucketID Key 名リクエストID Bucket ログ APIエラー (HTTPエラーコード) IAM 絡む場合はIAM ポリシー /IAMユーザー名 SES 特定のメールメッセージID APIログ SNS トピック名通知のエンドポイントアドレス SQS 全般 Queue 名 Storage Gateway EC2 インスタンスID クライアントインスタンスID オンプレオンプレ側のネットワーク構成情報 Proxy 有無 DHCP 使用有無ボリューム構成 VPC インスタンス関連インスタンスID VPNコネクション関連 VPNコネクションID 回線の詳細( 種類キャリア ) の実行結果

16 プログラムからサポートへアクセス AWS Support API AWS Support API はサポートのお問い合わせに関する操作や AWS サポートが提供するツール (AWS Trusted Advisor) に対して API アクセスを提供 AWS CLI や各種 SDK から利用可能 IAM によるアクセス制御もサポート注 )AWS Support API を使用するためにはビジネスサポートプラン以上が必要です

17 AWS Support API の活用例サポート問い合わせの自動化や問題管理ツールとの連携サポート問い合わせのエクスポート Trusted Advisor との自動連携 ( 後述 ) より詳しいご利用方法はこちら!

18 AWS サポートをこんなことの確認にもご活用くださいドキュメントを見ながらいろいろ試してみたけど詳しい仕様がどうなっているのか確認したいこのサービスを使って実現したいことがあるのだけどどう使うのがベストプラクティスなのだろう

19 本日のセッションで扱う 3 つのポイント迅速な対応によるシステムの安定運用ベストプラクティスを活用したシステム品質向上コストの可視化と AWS 利用の最適化 Service Health Dashboard Personal Health Dashboard AWS Health API と Git repository AWS サポートの活用 AWS Trusted Advisor AWS Answers AWS サポートナレッジセンター予算管理機能各種レポートの活用 CostExplorer リザーブドインスタンス一括請求の活用

20 AWS のご利用に関するベストプラクティス情報ユーザーの皆様による事例発表や一般的なブログ / 書籍 AWS が発行するホワイトペーパーや Well-Architected Framework お問い合わせに対してサポートがご紹介するベストプラクティス AWS Trusted Advisor が提供する自動チェック

21 お客様のセルフレビューを支援 AWS Trusted Advisor プロフェッショナルでも不安になることはあるシステムのセキュリティ設定は十分に強化されているだろうか? どこかに無駄なコストがかかっていないだろうか? そもそも自分のシステムは AWS のベストプラクティスに適合しているだろうか? AWS Trusted Advisor がお客様によるセルフレビューをサポート

22 AWS Trusted Advisor が提供する機能お客様が使用している AWS リソースのヘルスチェックダッシュボードヘルスチェック結果の通知アクションリンク通知に対する推奨アクションへのダイレクトパス IAM によるアクセス制御と AWS サポート API の提供注 ) フル機能を使用するためにはビジネスサポートプラン以上が必要です

23 AWS Trusted Advisor がチェックする項目カテゴリヘルスチェックチェックする内容例コスト最適化セキュリティ耐障害性パフォーマンスの向上コスト最適化の可能性がある項目に対する推奨事項お客様のシステムのセキュリティ弱体化につながる恐れのある設定お客様システムのアプリケーションの可用性や冗長性を高めるためのベストプラクティスからの推奨事項アプリケーションの拡張性や応答性の改善過剰なキャパシティのチェックなどパフォーマンス最適化のための推奨事項使用率の低い EC2 インスタンス利用頻度の低い EBS ボリュームなどセキュリティグループ ( 無制限アクセス ) MFA 設定など RDS のマルチ AZ 構成 EBS スナップショット ELB のクロスゾーン設定などサービス制限高負荷な EC2 インスタンス CloudFront のキャッシュヒット率チェックなど

24 AWS Trusted Advisor がチェックする項目 ( 詳細 ) コスト削減セキュリティ耐障害性パフォーマンス使用率の低い Amazon EC2 Instances アイドル状態の Load Balancer 利用頻度の低い Amazon EBS ボリューム関連付けられていない Elastic IP Address Amazon RDS アイドル状態の DB インスタンス Amazon Route 53 レイテンシーリソースレコードセット EC2 リザーブドインスタンスの最適化 Amazon EC2 リザーブドインスタンスのリース有効期限切れ使用率の低い Amazon Redshift クラスターチェック項目は 50 以上セキュリティグループ - 無制限アクセス IAM アクセスキーローテーションセキュリティグループ - 開かれたポート IAM パスワードポリシー ELB リスナーのセキュリティ ELB セキュリティグループ IAM の使用 Amazon S3 バケット許可ルートアカウントの MFA Amazon RDS セキュリティグループのアクセスリスク Amazon Route 53 MX リソースレコードセットと Sender Policy Framework AWS CloudTrail ロギング IAM 証明書ストアの CloudFront 独自 SSL 証明書オリジンサーバーの CloudFront SSL 証明書公開されたアクセスキー Amazon EBS スナップショット Amazon EC2 アベイラビリティゾーンのバランス Amazon RDS バックアップ Load Balancer の最適化 VPN トンネルの冗長化 Amazon RDS Multi-AZ Auto Scaling Group ヘルスチェック Amazon S3 バケットロギング Amazon Route 53 ネームサーバ権限委譲 Amazon Route 53 高 TTL リソースレコードセット ELB クロスゾーン負荷分散 ELB Connection Draining Amazon S3 バケットバージョニング AWS Direct Connect 仮想インターフェイスの冗長性 Auto Scaling グループリソース Amazon Route 53 フェイルオーバーリソースレコードセット Amazon Route 53 削除されたヘルスチェック AWS Direct Connect 接続の冗長性 AWS Direct Connect ロケーションの冗長性 Amazon Aurora DB インスタンスアクセシビリティ EC2 Windows インスタンスの PV ドライバーバージョン EC2 Windows インスタンス用の EC2Config サービス Amazon Route 53 エイリアスリソースレコードセット使用率の高い Amazon EC2 インスタンスサービス制限 Amazon EBS プロビジョンド IOPS ボリュームアタッチ設定 EC2 セキュリティグループルールの増大 EC2 インスタンスセキュリティグループルールの増大利用率が高すぎる Amazon EBS マグネティックボリュームコンテンツ配信の最適化 (CloudFront) CloudFront ヘッダー転送とキャッシュヒット率 Amazon EC2 から EBS スループット最適化 CloudFront 代替ドメイン名赤字のものはすべてのお客様が利用可能ですこれ以外のチェック項目をご利用いただくにはビジネスサポート以上のご契約が必要です

25 沢山あるけどこれだけはチェックコスト削減使用率の低い Amazon EC2 Instances CPU や N/W トラフィックから判断このリストに出てくるインスタンスは全く使われていない可能性もあるため要注意バッチ用インスタンスなどの場合 SPOT インスタンスなどを活用するとコスト最適化可能 Amazon RDS アイドル状態の DB インスタンス検証用途などで大きなインスタンスサイズのままの場合はインスタンスサイズ再考とりあえずデータだけ残したい場合はスナップショット活用利用頻度の低い Amazon EBS ボリュームインスタンスにアタッチされていないボリュームはスナップショット化するなどを検討

26 沢山あるけどこれだけはチェックセキュリティセキュリティグループ設定 EIP を持つインスタンスに不要なポートをグローバルにオープンしているセキュリティグループを使用していないか Amazon S3 バケット許可想定外のバケットがパブリックアクセスを許可してないか IAM の使用 / ルートアカウントの MFA ルートアカウントの通常時使用は基本的に避けるべき最低限ルートアカウントは MFA で保護 AWS CloudTrail ロギング普段使用しないリージョンも有効化されているか

27 沢山あるけどこれだけはチェック耐障害性 Amazon S3 バケットロギング S3 バケット操作のログは問題解析で有用 CloudTrail でもバケット操作をログ可能各種冗長化 RDS のマルチ AZ ELB クロスゾーン分散 Direct Connect 冗長性チェック VPN トンネルの冗長化 Amazon EBS スナップショット何か取り忘れているものはないですか? 消えて困るものはこまめにスナップショットでバックアップが推奨

28 沢山あるけどこれだけはチェックパフォーマンスサービス制限 AWS 各サービスが持っているサービス制限値の現在の制限値と実際の利用状況制限解除には最低でも 2 営業日 Amazon EBS プロビジョンド IOPS ボリュームアタッチ設定 EBS PIOPS ボリュームの本領が発揮できてない可能性を指摘コンテンツ配信の最適化 (CloudFront) S3 から直接配信するより CloudFront を介したほうがコスト的にもパフォーマンス的にもよい場合が

29 活用例 )AWS Limit Monitor(AWS Answers) Trusted Advisor や各サービスが提供する API を使用して Limit の設定値と現在の消費状況を自動的に監視し必要に応じて通知するソリューションを CloudFormation のテンプレートとして提供

30 システム品質向上のためのその他の AWS リソース AWS ホワイトペーパー AWS の技術的なホワイトペーパー AWS Well-Architected Framework やセキュリティベストプラクティスなど多数収録 AWS Answers アマゾンウェブサービスクラウドにおけるアプリケーションのアーキテクチャ設計構築実行に関するよくある質問に対する明確な回答 AWS サポートナリッジセンター AWS をご利用のお客様からのよくあるご質問やご要望をご紹介

31 本日のセッションで扱う 3 つのポイント迅速な対応によるシステムの安定運用ベストプラクティスを活用したシステム品質向上コストの可視化と AWS 利用の最適化 Service Health Dashboard Personal Health Dashboard AWS Health API と Git repository AWS サポートの活用 AWS Trusted Advisor AWS Answers AWS サポートナレッジセンター予算管理機能各種レポートの活用 CostExplorer リザーブドインスタンス一括請求の活用

32 コスト管理を支援する様々なツール AWS Biling Console 予算管理各種レポート Trusted Advisor Cost Explorer

33 請求関連の統合コンソール AWS Billing Console サービス別今月の利用料各種詳細へのリンク請求関連アラート実績と予測

34 予算超過の通知も可能な予算管理機能開始日 / 終了日グルーピング方法通知先などを指定して予算作成作成した予算に対して実績値との比較や過去の利用状況からの予測値との比較を表示

35 AWS の利用状況把握をサポートする各種請求レポート毎月のレポート - 請求書情報を Excel で管理可能毎月のコスト配分レポート - タグごとの集計にも対応 AWS 使用状況レポートサービス毎の使用量の確認請求明細レポートと AWS のコストと使用状況レポート - 詳細なコスト分析を自分でやりたい場合

36 お手軽にコストの可視化を実現する Cost Explorer 例 )2017 年に入ってからの AWS 利用料金をサービス別に月ごとで表示例 ) 同じ情報を Daily に表示

37 Cost Explorer でさくっと分析どのサービスに一番お金がかかっているのかサービスでグループ化

38 Cost Explorer でさくっと分析誰が一番そのサービスを使っているのか? Service: RDS でフィルタリング Linked Account でグループ化

39 Cost Explorer でさくっと分析いったい何に使用している? Linked Account のフィルタを追加 Usage Type でグルーピング

40 Cost Explorer でさくっと分析ところでリザーブドインスタンスちゃんと使っている? Usage Type をフィルタに追加 Purchase Option でグルーピング

41 Reserved Instance Utilization Report(EC2) 購入済みのリザーブドインスタンスがきちんと活用されているか? を確認できる

42 Reserved Instance Coverage Report(EC2) リザーブドインスタンスを購入してコスト最適化する余地がどれほどあるか? を確認できる

43 AWS Organizations の一括請求機能の活用複数の AWS アカウントに対するご請求を一つの Master アカウントにまとめて一括請求をする仕組み

44 AWS Organizations の一括請求機能の活用ボリュームディスカウントは一括請求内のすべてのアカウントの利用料をもとにして適用される

45 AWS Organizations の一括請求機能の活用 EC2/RDS のリザーブドインスンタスのディスカウントは一括請求アカウント全体でメリットが享受できるように適用される一括請求ファミリーアカウント A c4.2slarge の RI 3 を購入済アカウントB c4.2slargeのri 1を購入済適用される条件や制約などは詳しくは以下のドキュメントを参照

46 AWS Organizations 複数アカウントの一元管理すべての機能を有効化複数の AWS アカウントに適用するポリシーを集中管理 AWS のサービスへのアクセス制御一括請求のみを有効化 AWS アカウントの作成と管理の自動化複数の AWS アカウントへの一括請求

47 ご利用料金の最適化のためまずは各種レポートや Cost Explorer を定期的にチェックしてコスト構造を可視化リザーブドインスタンスのようなディスカウントの仕組みを活用しつつ有効活用されているかをチェック AWS Organization でばらばらのアカウントをまとめて一括請求とすることで RI やボリュームディスカウントを最適化

48 本日のセッションのまとめ

49 本日のセッションで扱う 3 つのポイント迅速な対応によるシステムの安定運用ベストプラクティスを活用したシステム品質向上コストの可視化と AWS 利用の最適化 Service Health Dashboard Personal Health Dashboard AWS Health API と Git repository AWS サポートの活用 AWS Trusted Advisor AWS Answers AWS サポートナレッジセンター予算管理機能各種レポートの活用 CostExplorer リザーブドインスタンス一括請求の活用

50 Thank you!

51 本セッションの Feedback をお願いします受付でお配りしたアンケートに本セッションの満足度やご感想などをご記入くださいアンケートをご提出いただきました方にはもれなく素敵な AWS オリジナルグッズをプレゼントさせていただきますアンケートは受付パミール 3F の EXPO 展示会場内にて回収させて頂きます

52 パミール 3F AWS サポートブースにてビジネスサポートお試しキャンペーン実施中詳細お申込みはパミール 3F AWS サポートブースへ

AWS Deck Template

AWS Deck Template AWS OpsWorks のご紹介 Amazon Data Services Japan 2013/06/25 Agenda AWS OpsWorks とは OpsWorks の特長 OpsWorks 利用の流れ OpsWorks のメリット Chef とは OpsWorks のライフサイクルイベントどのようなアプリケーションが OpsWorks に向いているのか? OpsWorks の機能詳細