AWSアンチパターン祭り

Size: px

Start display at page:

Download "AWSアンチパターン祭り"

けいしょうよせ
6 years ago
Views:

1 AWS Black Belt Online Seminar 失敗例を成功に変える AWSアンチパターン 2016/6/14 アマゾンウェブサービスジャパン株式会社ソリューションアーキテクトシニアマネージャー荒木靖宏 1

2 自己紹介名前荒木靖宏所属アマゾンウェブサービスジャパン株式会社技術本部レディネスソリューション部シニアマネージャプリンシパルソリューションアーキテクト好きな AWS サービス Amazon Virtual Private Cloud AWS Direct Connect 2

3 アンチパターンの前に

4 AWS クラウドデザインパターンとは... AWS クラウドを使ったシステムアーキテクチャ設計を行う際に発生する典型的な問題とそれに対する解決策設計方法を分かりやすく分類してノウハウとして利用できるように整理したもの 4

5 うまく組み合わせるとピーク対応が楽セキュアなシステム構築安価に世界展開障害にも強いシステム設計

6 アンチパターンの紹介

7 これまで数多くの AWS 成功例がうまれていったその成功例はパターンとして受け継がれそしてそれらは時に秘伝のたれさわってはいけないものとされてきた 7

8 アンチパターン失敗に陥るパターンを類型化し事例の早期発見と対応策に関しての提案を目的とする動作やプロセス構造について当初は妥当であったのに最終的に悪い結果が繰り返されるパターンリファクタリングするための方法が存在するパターン 8

9 適用例 :DB の使い分け状況パフォーマンスが高い DB と聞いて並列度の高い SQL アクセス用途 (OLTP) に RedShift を採用症状パフォーマンスが悪い解決法 DB の特性を理解する 9

10 データストアの特性に応じた使い分け低レンテンシインメモリ NoSQL 3 拠点間でのレプリケーション SSD に永続化 Amazon ElastiCache Amazon DynamoDB トランザクション処理汎用用途 SQL 集計分析処理大容量データ DWH Amazon RDS Amazon Redshift

11 Redshift が向く用途特化型のデータベースのため適した用途に使うことでパフォーマンスを発揮 Redshift に向くワークロード巨大なデータセット ( 数百 GB~ ペタバイト ) 1 つ 1 つの SQL が複雑だが同時実行 SQL は少ないデータの更新は一括導入ユースケースデータウェアハウス (DWH) ユーザがクエリーを作成する ( 自由クエリー )(BI 等 )

12 Redshift の特徴を生かせないユースケース SQL の並列実行数が多い ( 同時接続数ではなく同時実行数 ) RDS(MySQL,PostgreSQL, Oracle, SQL Server) を検討極めて短いレーテンシが必要なケース ElastiCache ( インメモリ DB) や RDS を検討ランダムかつパラレルな更新アクセス RDS もしくは DynamoDB (NoSQL) を検討巨大なデータを格納するが集計等はしない DynamoDB や大きいインスタンスの RDS を検討

13 適用例 : ストレージの使い分け状況ストレージ代込で EC2 が使えると聞いてインスタンスストアにシステム構築症状データの消失容量不足解決法ストレージの特性を理解する 13

14 インスタンスストアと EBS インスタンスタイプに応じて追加コスト無しで揮発性のインスタンスストアが利用できる実体は EC2 の物理ホストのローカルディスク Stop/Start により仮想マシンが別ホストに移動するとデータが消去されるアプリケーションが利用する一時的なデータの置き場所や分散ファイルシステムのストレージとして活用する EBS は永続化ストレージなので OS の領域や DB のデータなど永続化が必要なデータの置き場所としては EBS を利用する

15 EBS とインスタンスストアの利用ケース EC2 Windows C: D: E: システムデータ EBS データファイル EBS 一時データ Instance Store OS ブートディスクとしての利用データ格納ディスクとしての利用データ計算用など一時的な利用

16 適用例 :EBS の使い分け状況旧世代の EBS にシステム構築症状速度 (IOPS, スループット ) に不満解決策 EBS それぞれの特性を理解する 16

17 EBS のボリュームタイプユースケースに応じて性能やコストが異なる 5 種類のボリュームタイプから選択できる汎用 SSD(General Purpose(SSD)) プロビジョンド IOPS(SSD) スループット最適化 HDD コールド HDD マグネティック (Magnetic) Snapshot を経由することでボリュームタイプや容量を変更可能 17

18 EBS のボリュームタイプの整理 (SSD タイプ ) ボリュームタイプ汎用 SSD(gp2) - General Purpose SSD プロビジョンド IOPS(io1) - Provisioned IOPS(SSD) ユースケースシステムブートボリューム仮想デスクトップ小 ~ 中規模のデータベース開発環境や検証環境用汎用 SSD では処理しきれない高い IO 性能を要求するアプリケーション 10,000IOPS や 160MB/s を超える性能を要するワークロード大規模なデータベースボリュームサイズ 1GB から 16TB まで 4GB から 16TB まで IOPS 1GB あたり 3IOPS のベースラインパフォーマンスベースラインパフォーマンスが 3,000IOPS 以下の場合 3,000IOPS までバーストが可能最低 100IOPS 最大 10,000IOPS スループット最低 128MB/ 秒 (170GB 以下 ) から最大 160MB/ 秒 (214GB 以上 ) まで必要なIOPS 値を指定可能容量 (GB) あたり30IOPSを指定できる最大 20,000IOPS 最大 320MB/ 秒 (1280IOPS 以上のとき ) 1IOPSあたり256KB/sを利用可能 18

19 EBS のボリュームタイプの整理 (HDD タイプ ) ボリュームタイプスループット最適化 HDD(st1) - Throughput Optimized HDD コールド HDD(sc1) - ColdHDD ユースケース EMR ログデータ保管データウェアハウスバックアップ大規模なETL 処理アーカイブ大規模なログ分析起動ボリュームには利用できない起動ボリュームには利用できないボリュームサイズ 500GBから16TBまで 500GBから16TBまで IOPS 最大 500IOPS 最大 250IOPS スループットベース値 :1TBあたり40MB/s バースト値 :1TBあたり250MB/s バーストクレジット上限 :1TB/1TB 最大 500MB/s ベース値 :1TBあたり12MB/s バースト値 :1TBあたり80MB/s バーストクレジット上限 :1TB/1TB 最大 250MB/s 19

20 20 おぼえていただきたいたった 3 つのメタアンチパターン

21 インフラ塩漬けアンチパターンノールック明細アンチパターン机上の空論アンチパターン 21

22 インフラ塩漬けアンチパターン 22

23 AWS のイノベーションの歩み AWS has been continually expanding its services to support virtually any cloud workload, and it now has more than 60 services that range from compute, storage, networking, database, analytics, application services, deployment, management and mobile. AWS Elastic Load Balancing Amazon FPS Amazon CloudWatch AWS Auto Scaling AWS EMR Amazon VPC Amazon RDS 2009 AWS Import/Export Amazon SNS AWS Identity & Access Management Amazon Route Amazon SES AWS Elastic Beanstalk AWS CloudFormation Amazon ElastiCache AWS Direct Connect GovCloud AWS Storage Gateway Amazon Dynamo DB Amazon CloudSearch Amazon SWF Amazon Glacier Amazon Redshift AWS Data Pipeline Trusted Advisor Amazon Elastic Transcoder AWS OpsWorks Amazon CloudHSM Amazon AppStream Amazon CloudTrail Amazon WorkSpaces Amazon Kinesis AWS CodeDeploy AWS CodeCommit AWS CodePipeline Amazon EC2 Container Service Amazon Lambda Amazon Config Amazon CloudWatch Logs Amazon RDS for Aurora AWS KMS Amazon Cognito Amazon WorkDocs AWS Service Catalog AWS Directory Service Amazon Mobile Analytics 2014 AWS IoT AWS Mobile Hub Amazon EC2 Container Registry AWS Database Migration Service Amazon Inspector Amazon RDS for MariaDB Amazon Kinesis Analytics Amazon Kinesis Firehose AWS Import/Export Snowball Amazon QuickSight Amazon Elasticsearch Service AWS WAF Amazon API Gateway AWS Device Farm Amazon EFS Amazon WorkMail Amazon Machine Learning * As of 8 Oct 15

24 インフラ塩漬けアンチパターン原因構築した当初のままインフラの見直しをしない症状実際の利用にくらべてキャパシティの過不足を放置したまま利用している一時凌ぎで選んだサービスをそのまま使い続けている 24

25 インフラ塩漬けアンチパターン解決法サービスは四半期に一度は見直す新サービスや新機能が助けになることが 25

26 サービスアップデートによりアンチパターンとなったパターンの紹介

27 塗り替えたパターンの例 Managed NAT が塗り替えたもの HA NAT Auto Scaling NAT VPC endpoint for S3 が塗り替えたもの HA EC2 proxy for S3 WAF が塗り替えたもの ELB sandwich for WAF appliance

28 Internet AWS Region NAT Public Subnet NAT Public Subnet Amazon S3 DynamoDB HA NAT NAT インスタンスにオートスケールを設定 (min=1,max=1) し AZ 毎に 1NAT プライベートサブネットのルートテーブルは同じ AZ の NAT にむける Private Subnet Availability Zone A Private Subnet Availability Zone B

29 Auto Scale NAT AZ 毎にHA NATを配置するスケールアップ! ネットワーク関連メトリクスを見るプロトコル別アプリケーションプロキシも有効 t1.micro Very Low m1.small Low m1.large Moderate m1.xlarge, c1.xlarge High

30 HA EC2 Proxy for S3 ELB+Proxy+AutoScaling での実装 Squid, ExaProxy などの Proxy サーバを使用

31 ELB sandwich for WAF appliance Auto scale に対応していない WAF アプライアンスを ELB で挟んで機能を補う Auto Scaling group WAF アプライアンス 31

32 2015 年以降の新サービスにおけるアンチパターンの紹介

com/jp/lambda/) OS キャパシティ等インフラの管理不要バックエンドとして Lambda 既存 Web システムを利用可能スロットリング / キャッシュ Websites Services Amazon

33 Amazon API Gateway Mobile Apps Web API の作成保護運用と公開を簡単に AWS API Gateway Cache API Gateway AWS Lambda functions 特徴 ( OS キャパシティ等インフラの管理不要バックエンドとして Lambda 既存 Web システムを利用可能スロットリング / キャッシュ Websites Services Amazon CloudWatch Monitoring Endpoints on Amazon EC2 / Amazon Elastic Beanstalk Any other publicly accessible endpoint 価格体系 ( 呼び出し回数とキャッシュ容量 100 万回の呼び出しにつき $3.5 キャッシュ容量に応じて $0.02/ 時 ~$3.8/ 時

34 同期 API Gateway アンチパターン原因 API Gateway を同期サービスとして使う症状 APIGWがタイムアウトしてしまう APIGWの同時実行数が足りない APIGWの価格が高い 34

35 同期 API Gateway アンチパターン解決法 API の非同期化実施のオーダーと状態の確認で構成する留意点 APIGW Lambda RDS(VPC) のようなレイテンシが大きく変化するケースを避ける Java を使う場合さらに注意 35

AWS IoT 簡単で安全なクラウドへのデバイス接続サービス特徴 (https://aws.

com/jp/iot/) 様々な産業での利用デバイスとクラウドの双方向コミュニケーション

AWSサービスとのシームレスな連携デバイス向けのSDK 価格体系 (https://aws.

36 AWS IoT 簡単で安全なクラウドへのデバイス接続サービス特徴 ( 様々な産業での利用デバイスとクラウドの双方向コミュニケーション HTTP MQTT Websocketに対応 SQLベースのルールとアクション定義 AWSサービスとのシームレスな連携デバイス向けのSDK 価格体系 ( 100 万メッセージあたり $8( 日本リージョン ) 無料利用枠利用は 25 万メッセージ / 月を (1 年間 ) アーキテクチャ図

37 NO シャドウアンチパターン原因デバイスのリモート制御を MQTT トピックだけで行う症状 AWS IoT でデバイスへのコマンドが到達しない 37

38 NO シャドウアンチパターン解決法 MQTT トピックだけでは Retain が効かないためシャドウを利用するのがベスト留意点 38

39 ノールック明細アンチパターン 39

40 ノールック明細アンチパターン原因月末の料金請求しかないと思っている症状支払い周期のずれクレジットカード与信額のつかいきり 40

41 ノールック明細アンチパターン解決法 AWS サポート新規契約 RI 購入の際に請求書がわかれる RI 購入は契約時の購入費用分のみ / サポート契約は初月分のみ請求書が分かれる Consolidated Billing 使用の場合子アカウントが RI を購入しても親アカウント宛に請求書が届くことになるので注意 41

42 机上の空論アンチパターン 42

43 机上の空論アンチパターン原因サーバ発注システムデプロイ納品の硬直したループにはまっている症状動作確認をしない事前のキャパシティプランニングに時間をかけすぎる 43

44 机上の空論アンチパターン解決法ともかく小さく試してみること 44

45 アンチパターンまとめアンチパターンはリファクタリング方法が存在する 3 つの避けるべきメタアンチパターンインフラ塩漬けアンチパターンノールック明細アンチパターン机上の空論アンチパターン 45

46 Web でノウハウを共有 WIKI FACEBOOK 46

47 書籍でノウハウを共有 Amazon Web Services クラウドデザインパターン設計ガイド 47

48 48 Q&A

49 AWS トレーニングでは様々な学習方法をご提供していますメリット提供方法 AWS について実習や実践練習を通じて学習できる AWS を熟知したエキスパートから直接 AWS の機能について学び疑問の答えを得られる自信をもって IT ソリューションに関する決定を下せるようになる e ラーニングや動画セルフペースラボクラスルームトレーニング詳しくはをご覧ください 49

公式 Twitter/Facebook AWS の最新情報をお届けします @awscloud_jp 検索もしくは

50 公式 Twitter/Facebook AWS 検索もしくは最新技術情報イベント情報お役立ち情報お得なキャンペーン情報などを日々更新しています! 50

51 AWS の導入お問い合わせのご相談 AWS クラウド導入に関するご質問お見積り資料請求をご希望のお客様は以下のリンクよりお気軽にご相談ください 51 AWS 問い合わせで検索してください

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション Pega Tokyo Summit 2015 クラウドが変える新しいITの常識アマゾンウェブサービスジャパン株式会社エンタープライズエバンジェリスト渥美俊英自己紹介アマゾンウェブサービスジャパン株式会社マーケティング本部エンタープライズエバンジェリスト渥美俊英企業のマネジメントの方々向けに業務システムのAWS