PowerPoint Presentation

Transcription

1 AWS Black Belt Online Seminar Amazon ElastiCache アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト桑野章弘

2 自己紹介 桑野章弘 ( くわのあきひろ ) ソリューションアーキテクト主にメディア系のお客様を担当しております 元渋谷のインフラエンジニア好きなAWSのサービス :ElastiCache, Route53 好きなデータストア :MongoDB

3 内容についての注意点 本資料では 2017 年 12 月 14 日時点のサービス内容および価格についてご説明しています 最新の情報は AWS 公式ウェブサイト ( にてご確認ください 資料作成には十分注意しておりますが 資料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合 AWS 公式ウェブサイトの価格を優先とさせていただきます 価格は税抜表記となっています 日本居住者のお客様が東京リージョンを使用する場合 別途消費税をご請求させていただきます AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.

4 Agenda Introduction Amazon ElastiCache 概要 Amazon ElastiCache アップデート 代表的なユースケース Amazon ElastiCache の料金 まとめ

5 Introduction

6 Introduction Amazon ElastiCache は AWS クラウドでの分散インメモリキャッシュ環境のセットアップ 管理 およびスケーリング 冗長構成等を容易に構築することができるサービスです ElastiCache の詳しい使用方法について そして ElastiCache を使用した際の運用面の tips を交えてご紹介します

7 Amazon ElastiCache 概要

8

9 AWS が提供するデータベースサービス Amazon RDS 完全マネージド型で セットアップ 運用 拡張が容易なリレーショナル データベースサービス Amazon DynamoDB Amazon Redshift Amazon ElastiCache 完全マネージド型で 高速なパフォーマンス シームレスな拡張性と信頼性の NoSQL サービス 高速で管理も万全なペタバイト規模のデータウェアハウスサービス 完全マネージド型で セットアップ 運用 拡張が容易なキャッシュサービス (Preview) Amazon Neptune 完全マネージド型で 高いパフォーマンス シームレスな拡張性 信頼性のグラフDBサービス

10 Amazon ElastiCache とは フルマネージド キャッシュクラスタを数クリックで起動 可用性を向上させる機能 ( モニタリング 自動障害検出 復旧 拡張 パッチ適用 バックアップ ) パフォーマンス 超高速な 2 種類のエンジン (memcached, redis) をサポート Amazon による Redis の機能拡張 高可用性と堅牢性 セキュリティグループ VPC 対応 暗号化

11 他にもこんな機能 Lua スクリプト位置情報クエリ Pub/sub

12 Cache インスタンスクラスとスペック DB Instance Class vcpu メモリ (GiB) ネットワーク cache.t2.micro 低 cache.t2.small 低 cache.t2.medium 低 cache.t2.large 中 cache.m4.large 中 cache.m4.xlarge 高 cache.m4.2xlarge 高 cache.m4.4xlarge 高 cache.m4.10xlarge Gbps cache.r4.large 最大 10Gbps cache.r4.xlarge 最大 10Gbps cache.r4.2xlarge 最大 10Gbps cache.r4.4xlarge 最大 10Gbps cache.r4.8xlarge Gbps cache.r4.16xlarge Gbps 表には記載していない旧世代インスタンス (cache.m3 r3) も選択可能です

13 Structure Low High Amazon ElastiCache and Amazon DynamoDB Accelerator (DAX) Amazon DynamoDB HDFS Amazon RDS Amazon S3 Amazon CloudSearch and Amazon Elasticsearch Service Amazon Glacier High Low Low Request rate Latency Data volume Low High High

14 Amazon ElastiCache for memcached 特徴 対応バージョン ( 現在 ) Cache Cluster という論理グループに Cache Node を起動 Cluster Group 全体の Configration Endpoint と Cache Node 単体を表す Node Endpoint の 2 種類のエンドポイント バックアップ機能 (Snapshot) は持たない スケールアウトさせる場合はコンシステントハッシュなどを使用する必要がある App Configration Endpoint Node Endpoint Node Endpoint CacheCluster A

15 Memcached アクセス用の Client Library の提供 Auto Discovery 用に対応した専用のライブラリを AWS から提供 通常アクセス用 Client Library Memcached ノードの追加 削除の Auto Discovery には未対応 PHP Java.NET C C++ Ruby Python Perl 多数の言語用のライブラリが存在 Language Ruby Python Node.js Library Dalli, Dalli:ElastiCache Memcache Ring, django-elasticache node-memcached Auto Discovery 用 Client Library consistent hashing を提供 Auto Discovery (60s 毎 ) をノードの追加 / 削除時に提供 AWS Management Console から取得可 PHP, Java,.NET に対応 Language C#/.NET PHP Java Library ElastiCache Auto Discovery Client ElastiCache Auto Discovery Client ElastiCache Auto Discovery Client (based on spymemcached)

16 Auto Discovery for memcached DNS エイリアスとして提供され稼働しているノードリストを表示する 従来のクライアントの設定 Cache Cluster の全エンドポイントを接続先として設定 Auto Discovery クライアント (Java, PHP,.NET) Cache Cluster の Configuration Endpoint は Cache Cluster のロードバランサ (Proxy) ではなく 接続先として設定すると全ノードを自動取得 設定し 接続する CacheCluster App 通常のクライアントライブラリ xxx.0001.apne1.cache.amazonaws.com App Auto Discovery クライアントライブラリ xxx.0002.apne1.cache.amazonaws.com Configuration Endpoint xxx.cfg.apne1.cache.amazonaws.com

17 ElastiCache for Redis 特徴 対応バージョン : , , , , 3.2.4, 3.2.6, ( 現在 ) 複数の Cluster Group で構成される Replication Group を構成 書き込み先を示す Primary Endpoint と Cache Node 単体を示す Node Endpoint の 2 種類のアクセス用のエンドポイント Multi-AZ 構成の自動フェイルオーバーにも対応 Snapshot ベースでのバックアップ / リストアに対応 Redis Cluster を使うための cluster-mode( バージョン 3.2 以降 ) クライアント認証 暗号化に対応 対応しない機能 CONFIG, SLAVEOF など一部コマンドは無効化

18 Amazon による Redis 拡張 ElasitiCache for Redis 以上 改善点 : Swap Memory の最適化同期やスナップショット中にスワップの使用量が増加するリスクを軽減する 書き込みの動的な制限ノードのメモリが使い尽くされているときの出力バッファ管理の改善 高速なフェイルオーバレプリカがプライマリとの完全な再同期を行うためにデータをフラッシュするのを避けるため クラスタはより速く回復します

19 Amazon による Redis 拡張 OSS の Redis 側へのコントリビュートも PSYNC2 (Redis 4.0) BGSAVE (Redis 3.2) MIGRATE (Redis 3.0) MASTER TIMEOUT (Redis 2.8) INCREASE 2Billion+ KEYS in a DATASET (Redis 2.8) , 4250, 3926, 3899

20 Redis アクセス用の Client Library Redis にアクセスするためのライブラリは AWS から提供していない 各言語用のライブラリを選択して使用する 各言語の主要なライブラリ Language Library Ruby Python Node.js C#/.NET PHP Java Go Redis-rb, Redis objects Redis-py node-redis ServiceStack.Redis phpredis Jedis go-redis, redigo

21 リードレプリカ (Replication) このような用途に利用可能 耐障害性向上 ( ただし 非同期レプリケーション ) Read 性能のスケールアウト 構成 Replication Group 内に マスター 1 台 レプリカ最大 5 台 Replica の Replica は未対応 Replication Group CacheCluster CacheCluster CacheCluster Availability Zone - a Availability Zone - b

22 Replication 構成例 リードレプリカを複数のアベイラビリティゾーンに配置可能 同一 AZ のリードレプリカを参照し高速なデータ取得が可能 AZ 障害時のデータ保全が可能 App App SET SET GET GET 非同期レプリケーション Availability Zone - a Availability Zone - b

23 フェイルオーバ ノード障害時は自動フェイルオーバがかかる ClusterModeDisable 時には Primary Endpoint の DNS のが新しいマスターに切り替わり 壊れたサーバは可能であれば再構成される App App App App SET SET GET SET GET GET SET GET 非同期レプリケーション Availability Zone - a Availability Zone - b 非同期レプリケーション Availability Zone - a Availability Zone - b

24 バックアップ / リストア ElastiCache Redis は Snapshot を取得し S3 へのバックアップリストアが可能 ( 自動 / 手動 ) Snapshot から Redis の RDB ファイルを生成し S3 に Export する事も可能 Cache Cluster 作成時に Snapshot や RDB ファイルを指定することも可能 Redis restore EC2 Snapshot Backup Export RDB file restore S3 S3 Redis

25 監視のエコシステム AWS に用意された各種サービスで監視の効率化 / 自動化 AWS CloudFormation AWS CLI and SDKs AWS Management Console Amazon ElastiCache AWS CloudTrail AWS Config Amazon CloudWatch alarm Amazon SNS Notification AWS Lambda

26 CloudWatch による ElastiCache の監視 主に監視する項目 CPUUtilization (CPU 使用率 ) Memcached の場合はマルチコアが使えるので 90% 超えでも OK Redis はシングルコアなので cache.m4.xlarge(4 コア ) だと 25% (100% / 4) が最大値 CacheHits/CacheMisses Evictions キャッシュメモリ不足起因のキャッシュアウト発生回数 SwapUsage 低いほどいい メモリ使用量 BytesUsedForCacheItems(Memcached) BytesUsedForCache(Redis) Replica Lag レプリケーション遅延 (Redis)

27 Amazon ElastiCache アップデート

28 Redis Cluster Redis 3.2 で Redis Cluster のサポート データをシャード単位に分散保存することで最大 15 シャード 6TiB のデータが保存可能 最大 2000 万 / 秒の読み込み 450 万 / 秒の書き込み性能 Shard A App Shard C 各シャードに分散してデータを保存 Shard B

29 Redis Cluster ハッシュスロット / クラスタ スロットはクラスタ全体のシャード分散に使われる Redis クラスタ対応のクライアントを使用する必要あり クライアントは正しいシャードにリダイレクトされる クライアントがマッピングを保持する Shard A = slots Shard B = slots Shard C = slots Shard A App Shard C 各シャードに分散してデータを保存 Shard B

30 Redis cluster アーキテクチャ Example: 3-shard cluster, 2 read replicas Redis cluster multi-az 構成 1 15 シャード Redis Cluster slots slots slots slots slots slots slots slots slots Availability Zone A Availability Zone B Availability Zone C

31 Redis cluster アーキテクチャ Shard 各シャード毎にプライマリノードと最大 5 つのレプリカノードを持つ Redis Cluster Primary Replica Replica slots slots slots slots slots slots slots slots slots Availability Zone A Availability Zone B Availability Zone C

32 Redis cluster アーキテクチャ Shard 各シャード毎にプライマリノードと最大 5 つのレプリカノードを持つ Redis Cluster Replica Primary Replica slots slots slots slots slots slots slots slots slots Availability Zone A Availability Zone B Availability Zone C

33 Redis cluster アーキテクチャ Shard 各シャード毎にプライマリノードと最大 5 つのレプリカノードを持つ Redis Cluster slots slots slots slots slots slots Replica Replica Primary slots slots slots Availability Zone A Availability Zone B Availability Zone C

34 プライマリノードの単体障害 Redis Cluster slots slots slots slots slots slots slots slots slots Availability Zone A Availability Zone B Availability Zone C

35 プライマリノードの単体障害 障害緩和 : 1. 自動障害検知とレプリカのマスター昇格 (~15 30 秒 ) 2. 障害ノードの復旧 Redis Cluster slots slots slots slots slots slots slots slots slots Availability Zone A Availability Zone B Availability Zone C

36 プライマリの複数障害 Redis Cluster slots slots slots slots slots slots slots slots slots Availability Zone A Availability Zone B Availability Zone C

37 プライマリの複数障害 ElastiCache の Redis 拡張 障害自動検知とレプリカ昇格 障害が起きたノードを再構築する Redis Cluster slots slots slots slots slots slots slots slots slots Availability Zone A Availability Zone B Availability Zone C

38 Redis cluster-mode 有効と無効の場合のまとめ Feature Enabled Disabled Failover sec (Non-DNS) Failover risk Writes 影響は部分的 Reads は問題なし ~1.5 min (DNS ベース ) Writes 全体に影響あり Reads は問題なし Performance クラスタサイズに依存 (90 ノード 15 ノードのプライマリ ノードのシャード毎のレプリカ ) 6 ノード (1 ノードのプライマリ ノードのレプリカ ) Max connections プライマリ (65,000 x 15 = 975,000) レプリカ (65,000 x 75 = 4,875,000) Storage 6+ TiB 407 GB プライマリ : 65,000 レプリカ : (65,000 x 5 = 325,000) Cost Example: 必要なアクセス 175 GB 小さいノードで並べられるがお金はDisableよりかかる $$ 9 x cache.r3.xlarge ($0.455hr) = $4.095 hr GB 大きなノードであればあるほどコストがかかる $ 1 X cache.r3.8xlarge = $3.640, 237 GB

39 バックアップからの Redis Cluster リサイズ 従来の方法 Redis Cluster のバックアップをリストアする際にシャード数を指定してリストアすることで Redis Cluster をリサイズする ダウンタイムが発生する ( アプリ側で新クラスタに向け直す ) Snapshot Backup Export RDB file restore 3 Shards S3 S3 5 Shards

40 Redis Cluster オンラインリサイズ Shard 1 Shard 2 Shard Simple API aws elasticache modify-replication-group-shard-configuration --replication-group-id r group-id --apply-immediately --node-group-count 5 ダウンタイム 0 の Scale In Out

41 Redis Cluster オンラインリサイズ : スケールアウト Shard 1 Shard 2 Shard , , reads/writes No application interruption Uniform slot distribution across shards Shard 4 Shard , ,

42 Redis Cluster オンラインリサイズ : スケールイン Shard 1 Shard 2 Shard reads/writes No Application Interruption Uniform slot distribution across shards Shard 4 Shard 5

43 Redis Cluster オンラインリサイズ : CW のアラームトリガー メモリ! 大変! シャード数のオートスケールが可能に Amazon CloudWatch AWS Lambda var params = { ApplyImmediately: true, NodeGroupCount: 5, ReplicationGroupId: rep-group-id, } elasticache.modifyreplicationgroupshardconfiguration(params, function(err, data) { if (err) console.log(err, err.stack); else console.log(data); }); Cluster Resized AWS SNS 35 Shards

44 セキュリティ強化 暗号化 In-Transit: クライアントと Redis 間の通信の暗号化を行う At-Rest: S3 とディスク上のバックアップを暗号化する 認証 ( コンプライアンス ) ElastiCache for Redis は HIPAA 認証 AWS Business Associate Addendum(BAA) に対応 Redis にて

45 セキュリティオーバービュー App と ElastiCache Redis 間のやりとりの暗号化 Public Subnet security group Public Subnet security group クライアント認証の対応 Encryption at REST バックアップの暗号化 セキュリティグループによる NW フィルタ Encryption In-Transit Redis AUTH REDIS RDB snapshot security group security group Private Subnet Availability Zone A Private Subnet ElastiCache Redis Cluster Availability Zone B Amazon S3 bucket

46 代表的なユースケース

47

48 ユースケースパターン セッション管理 DB キャッシュ APIs (HTTP レスポンス ) IOT ストリームデータ分析 (Filtering/aggregation) Pub/sub ソーシャルメディア (Sentiment analysis) 単体の DB (Metadata store) リーダーボード

49 様々なキャッシング リレーショナルデータ reads/ writes クライアント Amazon RDS mysql.lambda_async オブジェクトストレージ reads/writes Elastic Load Balancing Amazon EC2 Amazon ElastiCache Redis write-through Amazon S3 reads/ writes Amazon DynamoDB 非定型データ DDB streams

50 NoSQL データベースのキャッシング 小さいNoSQLのインスタンス = 低コスト より早いデータ検索 = より良いperformance Clients reads Elasticsearch Cluster Amazon EC2 reads/ writes Cassandra Cluster MongoDB Cluster

51 NoSQL データベースのキャッシング 小さいNoSQLのインスタンス = 低コストより早いデータ検索 = より良いperformance reads Amazon ElastiCache Redis reads Amazon ElastiCache Redis Amazon EC2 Amazon EC2 reads/ writes MongoDB Cluster reads/ writes Cassandra Cluster DBObject doc = collection.findone(); Cache serialized DBObject in Redis (good) Cache rows in Redis hash (faster/more efficient) ResultSet rs = session.execute(stmt); Cache serialized ResultSet in Redis (good) Cache rows in Redis hash (faster/more efficient)

52 ストリームデータ処理 Data sources Amazon Kinesis Streams 生データストリーム AWS Lambda function 1 Continual data フィルタリング / 整形 Amazon ElastiCache (Redis) 整形データストリーム Amazon Kinesis Data Streams Amazon Kinesis Data Analytics Real-time pub/sub Subscribers AWS Lambda function 2

53 Data Sources Redis を使ったビッグデータアーキテクチャ 収集 処理 Amazon Kinesis Spark Streaming on Amazon EMR Apache Kafka ストア 分析 Amazon EC2 Apache Storm on EMR AWS Lambda Amazon Kinesis app Amazon ElastiCache Amazon S3 Spark on Amazon EMR AWS Lambda Custom app AWS IoT

54 IoT ソリューション 標準対応 S3 DDB Kinesis AWS IoT devices Rules Engine SNS Lambda SQS AWS IoT センサストア AWS Lambda Amazon ElastiCache Redis

55 モバイルアプリケーション Amazon EC2 GEORADIUS Amazon API Gateway AWS Lambda Search points of interest Amazon ElastiCache Redis GEOADD Update points of interest DDB streams Amazon DynamoDB

56 アドテクノロジーアプリケーション Clients Advertisers Ad network Clickstream (shopping events) Ad slot publishers Ad slot Consumer Amazon ElastiCache Redis Ad placement (websites/apps) 入札した勝者の広告表示 ユーザがページ閲覧 <40 ms パブリッシャがオークション用のパブリック広告スペースを用意 入札のレスポンスを入札者にレスポンス アドネットワークが入札開始

57 チャットアプリケーション Clients Elastic Beanstalk WebSockets Application Load Balancer persistent connections Chat apps Amazon ElastiCache Redis PubSub Server SUBSCRIBE chat_channel:114 PUBLISH chat_channel:114 "Hello all" >> ["message", "chat_channel:114", "Hello all"] UNSUBSCRIBE chat_channel:114

58 リアルタイムリーダーボード 順位表みたいなものはゲームに限らず非常によく使われるものだが 特にゲームはリアルタイム性の高い使い方をする Redis sorted sets を活用することで非常に簡単に実現可能 ZADD "leaderboard" 1201 Takayama ZADD "leaderboard" 963 " Kuwano" ZADD "leaderboard" 1092 Nishitani " ZADD "leaderboard" 1383 Uehara ZREVRANGE "leaderboard" 0-1 1) Kuwano" 2) Nishitani" 3) Takayama" 4) Uehara ZREVRANK "leaderboard" Takayama" (integer) 3

59 Rate Limit 例 : Redis のカウンタを活用した API リクエストの同時接続数の上限設定 ELB FUNCTION LIMIT_API_CALL(APIaccesskey) limit = HGET(APIaccesskey, limit ) time = CURRENT_UNIX_TIME() keyname = APIaccesskey + ": + time count = GET(keyname) IF current!= NULL && count > limit THEN ERROR API request limit exceeded" ELSE MULTI INCR(keyname) EXPIRE(keyname,10) EXEC PERFORM_API_CALL() END エクスターナル facing 用 API 参考 URL:

60 Amazon ElastiCache の料金

61 価格 オンデマンドキャッシュノード 初期費用無し 時間単位の従量課金モデルリザーブドキャッシュノード 予約金を支払うことで時間当たり価格を割引 ( 最大 70% 節減 ) アベイラビリティゾーンの指定が不要バックアップストレージ (Redis) 各クラスタに対して 1 つの Snapshot は無料 2 つ以上の Snapshot から毎月 USD/GB が課金 AZ 間データ転送量 ElastiCache 間の通信は課金対象外 EC2 と ElastiCache 間で AZ を超える場合 0.01 USD/GB が課金

62 TCO比較 同スペックでのEC2とElastiCacheでのTCOの比較 Multi-AZ構成時の通信費用削減 運用コスト バックアップ Multi-AZ Failover構成 Clluster構成 Node Auto Discovery, Replication環境 バージョンアップ スケールアップ オンデマンド価格 月額換算 ElastiCache 差額 インスタンスタイプ EC2 t2.small $ 29 $ 38 $9 r3.large $ 146 $ 199 $ 53 重度リザーブド価格 月額換算 EC2 ElastiCache 差額 $ 21 $ 28 $7 $ 95 $ 130 $ 35

63 まとめ

64 まとめ 既存のアプリケーションの変更を最小限に かつ Memcached Redis を使用したキャッシュクラスタの構築 運用が可能 バックアップ フェイルオーバ スペックアップ バージョンアップ等 Amazon で拡張された Redis の機能も利用可能 バックアップ改善 レプリケーション同期最適化 Redis Cluster 対応によりスケールする KVS としての機能の拡充 暗号化対応によりセキュリティ要件の高い案件にも対応可能

65 参考資料 Performance at Scale with Amazon ElastiCache Amazon ElastiCache Document Amazon ElastiCache FAQ Amazon ElastiCache Pricing Memcached Redis

66 オンラインセミナー資料の配置場所 AWS クラウドサービス活用資料集 AWS Solutions Architect ブログ 最新の情報 セミナー中の Q&A 等が掲載されています

67 公式 Twitter/Facebook AWS の最新情報をお届けします もしくは 最新技術情報 イベント情報 お役立ち情報 お得なキャンペーン情報などを日々更新しています!

68 AWS の導入 お問い合わせのご相談 AWS クラウド導入に関するご質問 お見積り 資料請求をご希望のお客様は以下のリンクよりお気軽にご相談ください AWS 問い合わせ で検索してください

69