AWSアンチパターン祭り

Size: px

Start display at page:

Download "AWSアンチパターン祭り"

しょうすけごちょう
5 years ago
Views:

1 AWS Black Belt Online Seminar 失敗例を成功に変える AWS アンチパターンアマゾンウェブサービスジャパン株式会社荒木靖宏 2018/05/22

2 内容についての注意点本資料では 2018 年 05 月 22 日時点のサービス内容および価格についてご説明しています最新の情報は AWS 公式ウェブサイト ( にてご確認ください資料作成には十分注意しておりますが資料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合 AWS 公式ウェブサイトの価格を優先とさせていただきます価格は税抜表記となっています日本居住者のお客様が東京リージョンを使用する場合別途消費税をご請求させていただきます AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.

3 自己紹介名前荒木靖宏所属アマゾンウェブサービスジャパン株式会社技術統括本部シニアマネージャープリンシパルソリューションアーキテクト好きな AWS サービス Amazon Virtual Private Cloud AWS Direct Connect

4 アンチパターンの前に

5 AWS クラウドデザインパターンとは... AWS クラウドを使ったシステムアーキテクチャ設計を行う際に発生する典型的な問題とそれに対する解決策設計方法を分かりやすく分類してノウハウとして利用できるように整理したもの 5

6 AWS Well-Architected Framework とは? AWSが 10 年以上に渡って様々な業種業界数多くのお客様のアーキテクチャ設計および検証をお手伝いしてきた経験から作成したクラウド設計構築運用のベストプラクティス集クラウドでの設計原則とセキュリティ信頼性パフォーマンス効率コストの最適化運用性についてのベストプラクティスが質問形式で記載されていますセキュリティ信頼性パフォーマンス効率コストの最適化運用性

7 アンチパターンの紹介

8 これまで数多くの AWS 成功例がうまれていったその成功例はパターンとして受け継がれそしてそれらは時に秘伝のたれさわってはいけないものとされてきた

9 アンチパターン失敗に陥るパターンを類型化し事例の早期発見と対応策に関しての提案を目的とする動作やプロセス構造について当初は妥当であったのに最終的に悪い結果が繰り返されるパターンリファクタリングするための方法が存在するパターン

10 おぼえていただきたいタイミング別のメタアンチパターン

11 机上の空論アンチパターン塩漬けアンチパターンノーコスト最適化アンチパターン

12 机上の空論アンチパターン 12

13 机上の空論アンチパターン原因サーバ発注システムデプロイ納品の硬直したループにはまっている ( 最初から ) 完璧を求めすぎるカタログスペックやマイクロベンチマークに過度に頼る症状 : 利用前に発生する動作確認をしない事前のキャパシティプランニングに時間をかけすぎる 13

14 机上の空論アンチパターン解決法まずは小さくても試してみること備考塩漬け & ノーコスト最適化と結びつくと最悪の結果に 14

15 塩漬けアンチパターン 15

16 塩漬けアンチパターン原因症状構築した当初のままインフラの見直しをしない実際の利用にくらべてキャパシティの過不足を放置したまま利用している一時凌ぎで選んだサービスをそのまま使い続けている 16

17 オンプレミス vs EC2+ ミドルウェア vs マネージドサービスアプリからの利用スケーラビリティ可用性バックアップミドルウェアのパッチミドルウェアの導入 OS のパッチ OS の導入サーバメンテナンスラック導入管理電源ネットワークアプリからの利用スケーラビリティ可用性バックアップミドルウェアのパッチミドルウェアの導入 OS のパッチ OS の導入サーバメンテナンスラック導入管理電源ネットワークアプリからの利用スケーラビリティ可用性バックアップミドルウェアのパッチミドルウェアの導入 OS のパッチ OS の導入サーバメンテナンスラック導入管理電源ネットワークオンプレミスミドルウェアon EC2 Amazon RDS 等マネージドサービスお客様がご担当する作業 AWS が提供するマネージド機能

18 クラウド化に伴うコスト低減イメージオンプレミスのコスト構造ソフトウェア関連パッケージ関連ソフトウェア関連 OS/DB HW 費用設備 (DC) 費用削減削減 TCO 削減 (ROI 改善 ) 人的リソース捻出 ( 新業務へのシフト ) 時間捻出 ( 生産性向上 ) + 俊敏性弾力性 ( ユーザーの信頼 ) ソフトウェア関連パッケージ関連クラウド利用料運用保守費削減運用保守費 IT 関連コストに占める運用管理コストは 40%~50% 運用保守費用の大きな低減が期待できる

19 機能追加 / 改善継続的に新サービス新機能をリリース機能追加は AWS が実施基盤への適用バージョンアップ費用が不要年 2010 年 2011 年 2012 年 2013 年 2014 年 2015 年 2016 年 2017 年その年にリリースされた機能改善新機能サービスの数

20 塩漬けアンチパターン解決法サービスは定期的に見直す新サービスや新機能が助けになることが 20

21 AWS の豊富なサービス群 (100 を超えるサービス ) 分析データウェアハウス (DWH) BI Hadoop / Spark ストリーミングデータ分析ストリーミングデータ収集機械学習 (Machine Learning) Elastic Search APP SERVICES キューイング & 通知ワークフロー検索トランスコードモバイルサービス API Gateway アイデンティティ Sync モバイル分析 Single Integrated Console プッシュ通知デプロイ & マネジメント One-click App Deployment DevOps リソース管理アプリケーションライフサイクル管理コンテナイベント駆動型アプリ実行基盤リソーステンプレート IoT ルールエンジンデバイスシャドーデバイス SDKs デバイスゲートウェイレジストリエンタープライズアプリケーション仮想デスクトップ共有 & コラボレーション企業向けメールバックアップセキュリティ & アクセス制御アイデンティティ管理アクセス制御鍵管理 & 保管モニタリング & ログコンプライアンス設定 WAF アセスメント & レポートリソース & 使用率管理基盤サービスコンピュータ処理 ( 仮想サーバオートスケールロードバランサ ) ストレージ ( オブジェクトブロックアーカイブ ) CDN データベース ( リーレショナル NoSQL, キャッシュマイグレーションネットワーク (VPC DX DNS) インフラストラクチャリージョンアベイラビリティゾーン (AZ) POP

22 セキュリティ向上を手助けするサービスその 1 Service Type Use cases Cloud Trail API ログの取得 AWS 環境の操作に関するログの取得 Cloud Watch AWS Config Amazon Inspector リソースログ監視変更管理オンデマンドの評価 AWS サービスのリソース監視と各種ログの収集モニタリング AWS サービスの変更記録とトラッキング EC2 インスタンス内の導入される OS アプリケーションのセキュリティ分析お客様のセキュリティ向上をサポートするサービス群 Config Rules 継続的な評価変更による誤設定検知ベストプラクティスの維持脆弱性の検知 Trusted Advisor 定期的な評価コストパフォーマンス信頼性セキュリティの観点からの広範な調査 AWS Security and Compliance AWS の責任で統制

防御 SQL Injection XSS 等の悪意ある攻撃の防御お客様のセキュリティ向上をサポートするサービス群 Amazon Macie データ保護

23 セキュリティ向上を手助けするサービスその 2 Service Type Use cases AWS IAM 認証認可 AWS 環境への認証認可アクセス権限管理 Amazon Guard Duty AWS Shield AWS WAF 脅威検知ネットワーク防御アプリケーション防御機械学習による脅威リスク異常検知 L3 L4 を標的とした DDoS 防御 SQL Injection XSS 等の悪意ある攻撃の防御お客様のセキュリティ向上をサポートするサービス群 Amazon Macie データ保護機械学習による機密情報の検出分類データ漏えいの監視 AWS KMS データ保護データ暗号化に必要な暗号鍵の作成管理運用 AWS Security and Compliance AWS の責任で統制

24 サービスアップデートによりアンチパターンとなったパターンの紹介

25 塗り替えたパターンの例これまでのパターン NATインスタンスの高可用化 NATインスタンスのオートスケール VPC Peeringを使ったSaaS 提供 NTPサーバの参照 WAFアプライアンス on EC2 w/ ELB これからのサービス NAT Gateway PrivateLink for Customer and Partners Amazon NTP AWS WAF

26 NAT ゲートウェイパブリックサブネット 1 0/0 NAT-A パブリックサブネット 2 0/0 NAT-B AWSによるマネージドNATサービスプライベートサブネットのリソースがインターネットまたはAWSクラウドへ通信するために必要 EIPの割当て可能高パフォーマンス( 最大 10Gbpsバースト ) 高可用性( ビルトインで冗長化 ) アベイラビリティゾーン毎に設置するのがベストプラクティスプライベートサブネット1 プライベートサブネット2 アベイラビリティゾーン 1 アベイラビリティゾーン 2 VPC Route Table Destination Target /16 local /0 NATゲートウェイ

27 Internet AWS Region NAT Public Subnet NAT Public Subnet Amazon S3 DynamoDB HA NAT NAT インスタンスにオートスケールを設定 (min=1,max=1) し AZ 毎に 1NAT プライベートサブネットのルートテーブルは同じ AZ の NAT にむける Private Subnet Availability Zone A Private Subnet Availability Zone B

28 Auto Scale NAT AZ 毎にHA NATを配置するスケールアップ! ネットワーク関連メトリクスを見るプロトコル別アプリケーションプロキシも有効 t2.micro Low to Moderate m3.medium Moderate c5.large Up to 10G c5.9xlarge 10 Gigabit

29 PrivateLink for Customers and Partners NLB Client VPC Provider VPC VPC peering よりもシンプルなサービス接続

Amazon Time Sync Service VPC 内で稼働する全てのインスタンスから NTP で利用できる高精度な時刻同期サービス EC2 インスタンス内で NTP サーバの IP アドレスとしてとして 169.

30 Amazon Time Sync Service VPC 内で稼働する全てのインスタンスから NTP で利用できる高精度な時刻同期サービス EC2 インスタンス内で NTP サーバの IP アドレスとしてとしてを設定するだけで利用できるこのアドレスはリンクローカルアドレスなので外部インターネットへのアクセスは不要プライベートサブネット内でも利用できる Leap Smearing によるうるう秒への対策が実装済み無料で全リージョンで利用可能

31 ELB sandwich for WAF appliance Auto scale に対応していない WAF アプライアンスを ELB で挟んで機能を補う Auto Scaling group WAF アプライアンス

32 ノーコスト最適化アンチパターン 32

33 ノーコスト最適化アンチパターン原因既存構成を変更できないので何もしない症状利用額の高止まり不必要なリソースの放置不正利用クレジットカード与信額のつかいきり 33

34 AWS のコスト最適化効果構成クラウドネイティブアーキテクチャマネージドサービスの活用インスタンス台数 / タイプの最適化スポットインスタンスの活用運用自動化ストレージタイプの最適化非常に大きい変更必要割引オプションの活用リザーブドインスタンス CloudFront リザーブドキャパシティ DynamoDB リザーブドキャパシティ大きい変更不要細かいリソースの無駄チェック EBS, Snapshot, EIP 等々小さい変更不要

35 Trusted Advisor(TA) の活用ご利用実績を元に自動的にコスト最適化提案をするツールご利用には AWS サポート ( ビジネス ) が必要使用率の低い EC2, 利用頻度の低い EBS, 関連付けれれていない EIP などを指摘

36 詳細は AWS Black Belt Online Seminar 2017 AWS のコスト最適化リザーブドインスタンス

37 観測例

38 観測例 :DB の使い分け状況症状 RedShift を採用した DWH がいつのまにかパフォーマンスが高い DB と聞いて並列度の高い SQL アクセス用途 (OLTP) に使われるようになるパフォーマンスが悪い解決法 DB の特性を理解する使ってみて気がついたら構成を見直す

39 Redshift が向く用途特化型のデータベースのため適した用途に使うことでパフォーマンスを発揮 Redshift に向くワークロード巨大なデータセット ( 数百 GB~ ペタバイト ) 1 つ 1 つの SQL が複雑だが同時実行 SQL は少ないデータの更新は一括導入ユースケースデータウェアハウス (DWH) ユーザがクエリーを作成する ( 自由クエリー )(BI 等 )

40 Redshift の特徴を生かせないユースケース SQL の並列実行数が多い ( 同時接続数ではなく同時実行数 ) RDS(MySQL,PostgreSQL, Oracle, SQL Server) を検討極めて短いレーテンシが必要なケース ElastiCache ( インメモリ DB) や RDS を検討ランダムかつパラレルな更新アクセス RDS もしくは DynamoDB (NoSQL) を検討巨大なデータを格納するが集計等はしない DynamoDB や大きいインスタンスの RDS を検討

41 3 つの RDBMS の特性概要 Aurora MySQL Aurora PostgreSQL Redshift OLTP 性能 - OLAP 性能 - 目標レスポンス時間結合方法インデックス数ミリ秒から数十秒ネステッドループハッシュ Bツリー空間全文数ミリ秒から数十分ネステッドループハッシュソートマージ B ツリー関数空間全文ゾーンマップ数秒から数時間ハッシュソートマージゾーンマップ

42 データストアの特性に応じた使い分け低レンテンシインメモリ NoSQL グローバルリージョンでのレプリケーション SSD に永続化 Amazon ElastiCache Amazon DynamoDB トランザクション処理汎用用途 SQL 集計分析処理大容量データ DWH Amazon RDS Amazon Redshift

43 観測例 : ストレージの使い分け状況症状ストレージ代込で EC2 が使えると聞いてインスタンスストアにシステム構築データの消失容量不足解決法ストレージの特性を理解する

44 インスタンスストアと EBS インスタンスタイプに応じて追加コスト無しで揮発性のインスタンスストアが利用できる実体は EC2 の物理ホストのローカルディスク Stop/Start により仮想マシンが別ホストに移動するとデータが消去されるアプリケーションが利用する一時的なデータの置き場所や分散ファイルシステムのストレージとして活用する EBS は永続化ストレージなので OS の領域や DB のデータなど永続化が必要なデータの置き場所としては EBS を利用する

45 EBS とインスタンスストアの利用ケース EC2 Windows C: D: E: システムデータ EBS データファイル EBS 一時データ Instance Store データ格納ディスクとしての利用データ計算用など一時的な利用

46 観測例 :EBS の使い分け状況症状汎用 SSD の EBS(gp2) にシステム構築速度 (IOPS, スループット ) に不満解決策 EBS それぞれの特性を理解する 46

47 EBS のボリュームタイプユースケースに応じて性能やコストが異なる 4 種類 ( 現行世代 ) のボリュームタイプから選択できる Snapshot を経由することでボリュームタイプや容量を変更可能ブートボリュームになれるのは SSD のみ性能重視ではプロビジョンド IOPS SSD(io1) になりがちだがスループット最適化 HDD(st1) も忘れずに

48 まとめ

49 アンチパターンまとめアンチパターンはリファクタリング方法が存在する 3つの避けるべきタイミング別のメタアンチパターン机上の空論アンチパターン塩漬けアンチパターンノーコスト最適化アンチパターン AWS Well-Architected Framework が手助けします 49

オンラインセミナー資料の配置場所 AWS クラウドサービス活用資料集 https://aws.amazon.

50 オンラインセミナー資料の配置場所 AWS クラウドサービス活用資料集 Amazon Web Services ブログ最新の情報セミナー中の Q&A 等が掲載されています

51 公式 Twitter/Facebook AWS 検索もしくは最新技術情報イベント情報お役立ち情報お得なキャンペーン情報などを日々更新しています!

お問い合わせ先 AWS 導入に関しての問い合わせ http://aws.amazon.

52 お問い合わせ先 AWS 導入に関しての問い合わせ ( ご利用者様向け ) 課金請求内容アカウントに関するお問い合わせ AWS 技術サポート

AWSアンチパターン祭り

AWSアンチパターン祭り AWS Black Belt Online Seminar 失敗例を成功に変える AWSアンチパターン 2016/6/14 アマゾンウェブサービスジャパン株式会社ソリューションアーキテクトシニアマネージャー荒木靖宏 1 自己紹介名前荒木靖宏所属アマゾンウェブサービスジャパン株式会社技術本部レディネスソリューション部シニアマネージャプリンシパルソリューションアーキテクト好きな AWS サービス