AWS の NoSQL 入門〜Amazon ElastiCache, Amazon DynamoDB〜

Size: px

Start display at page:

Download "AWS の NoSQL 入門〜Amazon ElastiCache, Amazon DynamoDB〜"

ゆゆこささおか
6 years ago
Views:

AWS の NoSQL 入門 Amazon ElastiCache, Amazon DynamoDB ソリューションアーキテクト桑野章弘

2 自己紹介桑野章弘(くわのあきひろ) ソリューションアーキテクトメディア系のお客様を担当しております前職は渋谷のインフラエンジニア趣味嗜好好きなAWSのサービス ElastiCache, Route53 好きなデータストア MongoDB インフラ全般昔は自作サーバ等やってました

3 アジェンダ本セッションの目的 NoSQL とは AWS の NoSQL サービス Amazon ElastiCache Amazon DynamoDB NoSQL の使い方

4 本セッションの目的

5 本日持って帰って頂くこと NoSQL を最大限に活用し可用性の高いシステムを作る!

6 本セッションの目的 NoSQL と RDBMS の得意 / 不得意な分野について説明し NoSQL サービスの主要なユースケースについて理解する Amazon Web Service(AWS) の様々なデータベースサービスの中から NoSQL サービスである Amazon ElastiCache と Amazon DynamoDB について理解する

7 NoSQL とは

8 NoSQL とは従来の SQL で表されるようなリレーショナルデータベース ( 以下 RDBMS) では解決できない課題を解決するために生まれた RDBMS ではないデータベースの総称 NoSQL は非常に多くの種類がある一意に決められるものではないが主な特徴として次のように分類することが出来る

9 RDBMS と NoSQL の特徴 RDBMS 正規化 / リレーショナル SQLを使用可能柔軟なクエリトランザクション処理データの堅牢性 / 一貫性スケールアウトの煩雑さテーブル管理の煩雑さ NoSQL 非正規化 / 階層化高速なパフォーマンス高いスケーラビリティユースケースに応じた様々なデータベース形式トランザクション処理は苦手クラスタの運用負荷

10 NoSQL の種類 NoSQL は非常に多くの種類があるが代表的な物にこの 4 種類があるキーバリューストアカラム指向データベースドキュメント指向データベースグラフ指向データベース

11 キーバリューストア (KVS) キーとバリュー ( 値 ) という単純な構造超高速なパフォーマンス RDBMS に比べ読み書きが高速 Key1 Key2 Key3 Value1 Value2 Value3

12 カラム指向データベースカラム指向のデータ構造ログなど大量のデータ解析向き RDBMS に比べ書き込みが高速 RowKey1 Key1 Value1 Key2 Value2 RowKey2 Key1 Value3 RowKey3 Key1 Key2 Key3 Value4 Value5 Value6

13 ドキュメント指向データベース JSON や XML 等の不定形なデータ構造に対応複雑なデータモデリングを容易に実現可能 Key1 Key2 Key3 Object1 Object2 Object3 { id": "kuwanoa, age : 39, info": { food": [ curry, mabodofu" ], database": mongodb" } }

14 グラフ指向データベースデータ間を相互に結びつけてデータ同士の関係をグラフという形で表す複雑な関係性を表すのを得意とする SNS のフレンドの関連性等 A B C D E

15 NoSQL の種類 : 主要な OSS キーバリューストアカラム指向データベースドキュメント指向データベースグラフ指向データベース

16 NoSQL のメリット NoSQL を使うことによって何を実現するか低レイテンシ高スループットシンプルなAPI Webセッション管理 Publish Subscribeモデルイベント処理 JSON 形式データの格納ソーシャルグラフ BOM(Bill of material) ツリーの検索これらの特徴が必要とされるところが NoSQL の使い所と言えるそしてもう一つの一般的な特徴として自前でクラスタ等の運用をするのにかなりの労力が必要とされる

17 オンプレミスのサーバの場合 App optimization Scaling High availability Database backups DB s/w patches DB s/w installs OS patches OS installation Server maintenance Rack & stack Power, HVAC, net you

18 Amazon EC2 上に構築した場合 App optimization Scaling High availability Database backups DB s/w patches DB s/w installs OS patches OS installation Server maintenance Rack & stack Power, HVAC, net you

19 マネージドサービスを使った場合 App optimization Scaling High availability Database backups DB s/w patches DB s/w installs OS patches OS installation Server maintenance Rack & stack Power, HVAC, net you

20 AWS の NoSQL マネージドサービス

21 AWS が提供するデータベースサービス Amazon DynamoDB 高速でシームレスな拡張性と信頼性を持つ NoSQL データベース Amazon RDS リレーショナルデータベース Aurora, PostgreSQL, MySQL, MariaDB, Oracle, SQL Server Amazon ElastiCache インメモリキャッシュ Memcached, Redis Amazon Redshift ペタバイト規模のデータウェアハウス

MySQL, MariaDB, Oracle, SQL Server NoSQL サービス Amazon

22 AWS が提供するデータベースサービス Amazon DynamoDB 高速でシームレスな拡張性と信頼性を持つ NoSQL データベース Amazon RDS リレーショナルデータベース Aurora, PostgreSQL, MySQL, MariaDB, Oracle, SQL Server NoSQL サービス Amazon ElastiCache インメモリキャッシュ Memcached, Redis Amazon Redshift ペタバイト規模のデータウェアハウス

23 NoSQL の種類 : 主要な OSS( 再掲 ) キーバリューストアカラム指向データベースドキュメント指向データベースグラフ指向データベース

24 NoSQL の種類 :AWS のサービスとのマッピングキーバリューストアカラム指向データベース Amazon ElastiCache Amazon DynamoDB ドキュメント指向データベースグラフ指向データベース

25 NoSQL の種類 :AWS のサービスとのマッピングキーバリューストア Amazon ElastiCache カラム指向データベース DynamoDB はキーバリュードキュメント指向グラフ指向に対応可能 Amazon DynamoDB ドキュメント指向データベースグラフ指向データベース

26 Amazon ElastiCache

27 Amazon ElastiCache の特徴インメモリキーバリューストアフルマネージドハイパフォーマンス高いスケーラビリティ Redis と memcached が利用可能 Amazonによる拡張 (Amazon Redis)

28 Amazon ElastiCacheとはキャッシュをマネージドで提供するNoSQLサービス代表的な2つのKVSエンジンに対応構築運用の自動化アプリケーションキャッシュサーバの構築運用 Redisの機能をマネージドに使うランキング Pub/Sub等バックアップ監視障害検知復旧

29 KVSエンジンの選択 ElastiCacheの2つのエンジンはどちらもKVSという特徴を持っておりキャッシュに使われることが多いどちらを使えばいいのか例えばメモリに一時的なセッションのキャッシュを保持するランキングシステム用の一時領域など VS

30 KVSエンジンの選択 Memcached or Redis マルチスレッド非永続化単純なデータタイプ String Objects メンテナンスが楽垂直分散が楽シングルスレッド strings, lists, 永続化 hashes, sets, sorted sets, 多数のデータタイプ bitmaps, HyperLogLogs Atomic処理 Pub/sub メッセージングリードレプリカ / フェイルオーバー

31 運用の改善自分たちで運用すると大変なフェイルオーバやバックアップスケールアップ等をフルマネージドで行うことで運用負荷を最小限にすることが出来る

32 フェイルオーバレプリケーション機能を使ったフェイルオーバ自動的に障害を検知し同期先のリードレプリカへフェイルオーバしマスタも自動復旧非同期レプリケーションでデータを同期 App リードレプリカはマスターに昇格 Replication Group

33 バックアップスナップショットバックアップが可能 S3へのスナップショットバックアップ取得スケジュール世代数など決めることが可能スケジュールバックアップ Snapshot取得 RDB File Snapshot App Replication Group A Replication Group B Redis on EC2

34 Redis Cluster Redis 3.2 で Redis Cluster のサポートデータを分散保存することで最大15シャード 3.5TiB のデータが保存可能最大2000万/秒の読み込み 450万/秒の書き込み性能 Replication Group A App Replication Group C Replication Group B 各シャードに分散してデータを保存

35 価格オンデマンドキャッシュノード初期費用無し時間単位の従量課金モデルリザーブドキャッシュノード予約金を支払うことで時間当たり価格を割引(最大70%節減) バックアップストレージ Redis 各クラスタに対して1つのSnapshotは無料 2つ以上のSnapshotから毎月 USD/GBが課金 AZ間データ転送量 ElastiCache間の通信は課金対象外 EC2とElastiCache間でAZを超える場合 0.01 USD/GB が課金

36 マネックス証券様 Monex Insight Web ベースリアルタイム市場データ配信システム株式市場の取引時間に合わせてリソースの増減を制御し数分で自由にスケール可能 * AWS Summit Tokyo マネックス証券様のセッションより引用

37 ElastiCacheの使いどころ複雑な計算が必要となるデータをキャッシュ Redisの拡張された機能をマネージドサービスとして利用するための基盤 Pub/Sub ランキングボード位置情報詳しくはAWS Black Belt ElastiCache 資料を参照

38 Amazon DynamoDB

39 DynamoDB の特徴フルマネージド高速かつ一貫したパフォーマンス高いスケーラビリティ柔軟性イベント指向のプラグラミングも可能セキュリティ

40 フルマネージドで高信頼性単一障害点 SPOF が存在しないデータは3AZ データセンタに保存されるストレージはデータ量アクセス量に応じ自動でパーテショニングクライアント

41 プロビジョンドスループットテーブルごとに Read と Write それぞれに対し必要なスループットキャパシティを割り当てる (= プロビジョンする ) 事が可能さらに DB 運用中にオンラインで変更可能

42 プロビジョンドスループットの例現在のアクセス量プロビジョンした設定読み込み減書き込み増キャパシティユニット変更読込書込読込書込読込書込

43 ユーザの需要に合わせてキャパシティをスケール需要に対応出来ないユーザに不満売上に影響 :( Servers 負荷 Capacity 負荷過剰なキャパシティ無駄な投資 RDBMS: DynamoDB: 柔軟なキャパシティ

44 ストレージの容量制限がない使った分だけの従量課金制のストレージデータ容量の増加に応じたディスクやノードの増設作業は一切不要

45 データの柔軟性 : テーブル構造テーブル属性 (attributes) スキーマなしパーティションキーソートキー ( 必須 ) ( オプション ) パーティションキー + ソートキー ( オプション ) = プライマリキー項目 (items) 各 Item は String Number Binary 等の多彩なデータ型を持つことが可能

46 データの柔軟性 : 様々な用途キーバリューデータストアテーブル内のそれぞれのアイテムは属性と値のリストで保持されるドキュメントデータベース Json フォーマットのサポート 1 つ以上の Attribute を持ちアイテム間で不揃いでも問題ない属性はあとから追加可能グラフデータベース TITAN DB のバックエンドとして利用可能

47 Stream 処理で非同期処理やイベント駆動 DynamoDB Streamsを使うことでテーブルの更新の情報を非同期 1秒未満で更新することが可能非同期アプリケーショングローバルアプリケーション

48 非同期アプリケーション DynamoDB が更新されたイベントをトリガーに検索インデックを更新したりユーザ告知を行ったりする Amazon Redshift ユーザ app ユーザ Table ユーザ DynamoDB Streams Lambda mobile client Amazon SNS Amazon CloudSearch

49 グローバルアプリケーション DynamoDB Streams 東京で行われた更新を全世界のリージョンに高速に反映する事が可能

50 継続的な機能追加

51 継続的な機能追加 AWS の各サービスは Amazon DynamoDB にかぎらず継続的に新機能の追加が行われている Time-to-Live VPC Endpoint DAX

52 DynamoDB Time-to-Live (TTL) 一定期間を過ぎたアイテムを非同期に削除する事が可能不要なアイテムを削除しコストを削減テーブルサイズを制御してパフォーマンスを最適化する TTL Attribute ID Name Size Expiry 1234 A B C TTL Value (Epoch format)

53 VPC Endpoint( パブリックベータ ) 各 VPC 環境に Endpoint を提供することができるようになり今までのように NAT や EIP を付ける必要がなくなった

54 DynamoDB Acceralator DAX ( パブリックベータ ) DynamoDB の前面にマネージドなキャッシュクラスタを置くことが出来るサービス読み込みの多いワークロードでは低レイテンシを実現パフォーマンス向上コスト最適化 DAX Cache!!!

55 DynamoDB の料金体系プロビジョンドスループットで決まる時間料金 Read/Write のプロビジョンスループットによって時間あたりの料金決定リザーブドキャパシティによる割引ストレージ利用量保存したデータ容量 (GB 当たりの単価 ) GB あたり $0.285(2017/06/01 東京リージョン )

56 DynamoDB の料金体系プロビジョンドスループット書き込み :$ :10 ユニットの書き込み容量あたり /1 時間読み込み :$ : 50 ユニットの読み込み容量あたり /1 時間キャパシティユニット上記でユニットと呼ばれている単位のこと書き込み :1 ユニット : 最大 1KB のデータを 1 回 / 秒書き込み可読み込み :1 ユニット : 最大 4KB のデータを 2 回 / 秒読み込み可 ( 強一貫性読み込みであれば 1 回 / 秒 )

57 DynamoDB の料金例以下の条件の場合の料金試算読み書き読み書き共に平均的に100 万回ずつアクセス 1 回あたりの読み書きデータ量 1KB 以下保存データ量 1TB 一ヶ月の料金約 11.7 ドル!!!

58 事例東急ハンズ株式会社様 Amazon DynamoDB導入の背景毎年8月末にハンズ恒例の大セールハンズメッセ開催ネットストア(ハンズネットも同時開催セール開始時(00:00)にお客様が殺到サーバーが落ちるというのを２年くらい経験コストを抑えつつセールの爆発的なトラフィックにも耐えられる仕組みの構築が急務参考 DynamoDBの紹介と東急ハンズでの活用についてより詳細は以下をご参照ください

少数精鋭で開発を行う中で運用面の負担を最小化ゲームの開発リソースを最大化参考 AWS事例のページより

59 事例株式会社リプレーション様短期間でのユーザー数の急上昇にもわずかなスケールパラメータの調整で対応 AWSの利用: 人気のドット絵ファンタジー騎士とドラゴンのインフラをAWSで運用ビジネス効果: 少数精鋭で開発を行う中で運用面の負担を最小化ゲームの開発リソースを最大化参考 AWS事例のページより詳細は以下をご参照ください

60 事例 : 株式会社リプレーション様デイリーアクティブユーザーが 6 日間で 5,000/ 日から 30,000/ 日に跳ね上がった時に行った作業 AWS EC2 のインスタンス数を増やす Amazon DynamoDB のスループットを上げるだけ

61 DynamoDBの使いどころ堅牢かつ高スケールするシステムの構築スループットが増減するようなピーク帯のあるシステム大量のデータが貯めていくようなシステム詳しくはAWS Black Belt DynamoDB資料を参照

62 NoSQL の使い方

63 サービスの使い分け NoSQL サービスをどのように使い分けていくかここでは ElastiCache と DynamoDB での用途の違いについてまとめる

64 ElastiCache の主なユースケースアプリケーション高速化のためのキャッシュアプリケーションキャッシュセッションキャッシュ Redisの機能を実現したい場合 Pub/Sub リーダーボードリアルタイム分析位置情報処理

65 DynamoDBの主なユースケース Webアプリケーションの永続的なセッションデータベースユーザー情報を格納するデータベース広告やゲームなどのユーザー行動履歴DB ユーザーIDごとに複数の行動履歴を管理データベース保存できる容量も無制限ソーシャルアプリのバックエンドその他

66 EC サイトを例に取ったデータモデリングの違い EC サイトを構築する場合に RDBMS と DynamoDB の場合のデータモデリングの違いについて同じことをする際に使うものが違うとデザインが変わる

67 SQL ( リレーショナルデータベース ) の場合 Primary Key Products Index Columns Product ID Type Price Desc. 1 Book $11.50 One of 2 major Rows 2 Album $14.95 The Partitas 3 Movie $8.99 Chaplin s first

68 SQL ( リレーショナルデータベース ) Primary Key Products Index Columns Product ID Type Price Desc. 1 Book $11.50 One of 2 major Rows 2 Album $14.95 The Partitas 3 Movie $8.99 Chaplin s first Books Book ID Author Title Date 1 Homer Odyssey 1871

69 SQL ( リレーショナルデータベース ) Primary Key Products Index Columns Product ID Type Price Desc. 1 Book $11.50 One of 2 major Rows 2 Album $14.95 The Partitas 3 Movie $8.99 Chaplin s first Books Book ID Author Title Date 1 Homer Odyssey 1871 Movies Movie ID Title Genre Director 3 The Kid Drama, Comedy Chaplin

70 SQL ( リレーショナルデータベース ) Primary Key Products Index Columns Product ID Type Price Desc. 1 Book $11.50 One of 2 major Rows 2 Album $14.95 The Partitas 3 Movie $8.99 Chaplin s first Books Albums Book ID Author Title Date Album ID Artist Title 1 Homer Odyssey Bach 6 Partitas Movies Movie ID Title Genre Director 3 The Kid Drama, Comedy Chaplin

71 ではDynamoDBの場合は Primary Key Products Primary Key Index Columns Products Partition Key Sort Key Attributes Product ID Type Price Desc. Product ID Type 1 Book $11.50 One of 2 major 1 Book ID Odyssey Homer 2 Album $14.95 The Partitas 2 Album ID 6 Partitas Bach 3 Movie $8.99 Chaplin s first 2 Album ID: Track ID Partita No. 1 3 Movie ID The Kid Rows Books Albums Book ID Author Title Date Album ID Artist Title 1 Homer Odyssey Bach 6 Partitas Movies Tracks Movie ID Title Genre Director Album ID Track ID Track 3 The Kid Drama, Comedy Chaplin 2 1 Partita No. 1 Item 毎のスキーマデザイン Drama, Comedy 1871 Chaplin

72 AWS上でのWeb DBサーバの構成その1 Clients どのようにデータベースを使い分けていくかの例一般的なゲームやSNS等のアプリケーション RDBMS使用し構築スケールアウトに難があり運用が徐々に大変に Availability Zone Availability Zone

73 AWS上でのWeb DBサーバの構成その2 Clients 読み込みの負荷が非常に多くなった結果性能面で課題がでてきた読み込みを分散するためにDBスレーブを増設しコスト増 Availability Zone Availability Zone

74 AWS上でのWeb DBサーバの構成その3 Clients RDBMSをDynamoDBへリプレイススケールアウトやプロビジョンキャパシティにより安定した性能を出すことができストレージ容量も気にしなくて良くなったと思ったら読み込みレイテンシの問題が発生 1ms以内のアクセスが必要な処理が必要に Availability Zone Availability Zone

75 AWS上でのWeb DBサーバの構成その4 Clients ElastiCacheを使用し DynamoDBへのクエリの一時キャッシュを行うレイテンシの問題をクリア 1ms以内のアクセスが可能に Availability Zone Availability Zone

76 AWS上でのWeb DBサーバの構成その4の2 Clients DAX プレビュー中を活用することで実装を変えずに読み込みの低レイテンシを実現することが可能運用負荷の低減 DAX Availability Zone Availability Zone

77 AWS上でのWeb DBサーバの構成その5 Clients RDBMSとNoSQLの併用のパターン課金部分などの強いトランザクション処理が欲しい処理には RDBMSを使用スケールアウトをしたい所には DynamoDBを使用 Availability Zone Availability Zone

78 まとめ

79 まとめ RDBMS と NoSQL は適材適所! その NoSQL が一番フィットする部分に導入検討する DynamoDB ElastiCache を上手く活用することで従来 RDBMS だけでは実現が難しかった柔軟なデータ構造低いレイテンシスケーラビリティ等を実現することが可能に最小限の労力で今まで実現が難しかった種類のアプリケーションを構築できる

80 本日持って帰って頂くこと NoSQL を最大限に活用し可用性の高いシステムを作る!

81 本セッションの Feedback をお願いします受付でお配りしたアンケートに本セッションの満足度やご感想などをご記入くださいアンケートをご提出いただきました方にはもれなく素敵な AWS オリジナルグッズをプレゼントさせていただきますアンケートは受付パミール 3F の EXPO 展示会場内にて回収させて頂きます

82 AWS ソリューション Day Database Day ~ すでに始まっている! クラウドへのデータベース移行とデータレイクを軸としたビッグデータ活用 ~ Database Day とは? ユーザー企業 / パートナー /AWS による導入事例や活用動向また技術情報をご紹介する IT 部門 ( エンジニア管理者など ) 向けのカンファレンス開催日時会場 2017 年 7 月 5 日 ( 水 ) 10:00~17:30 (9:30 開場予定 ) 大崎ブライトコアホール (JR 大崎駅より徒歩 5 分 ) セッション 1 基調講演 2 ブレイクアウトセッション 2 トラック構成トラック 1: データベース移行 ( 事例セッションあり ) トラック 2: データレイク (JAWSUG-BigData 支部事例セッションあり ) お申込み

83 Thank you!

AWSにおけるデータベース・サービスの活用

AWSにおけるデータベース・サービスの活用 AWS におけるデータベースサービスの活用アマゾンデータサービスジャパン株式会社八木橋徹平自己紹介セッションの目的 AWS 上の様々なデータベースサービスの概要と使い分を事例を交えてご紹介しシステム構築時における活用方法をご理解いただくアジェンダデータベースサービスの概要 AWS のデータベースサービス Amazon RDS Amazon Redshift Amazon ElastiCache

AWS の NoSQL 入門 〜Amazon ElastiCache, Amazon DynamoDB〜

AWS の NoSQL 入門〜Amazon ElastiCache, Amazon DynamoDB〜