AWSにおけるデータベース・サービスの活用

Size: px

Start display at page:

Download "AWSにおけるデータベース・サービスの活用"

さみらみうら
5 years ago
Views:

1 AWS におけるデータベースサービスの活用アマゾンデータサービスジャパン株式会社八木橋徹平

2 自己紹介

3 セッションの目的 AWS 上の様々なデータベースサービスの概要と使い分を事例を交えてご紹介しシステム構築時における活用方法をご理解いただく

4 アジェンダデータベースサービスの概要 AWS のデータベースサービス Amazon RDS Amazon Redshift Amazon ElastiCache Amazon DynamoDB Databases on EC2 まとめ

5 データベースの分類多種多用なデータベース製品 RDBMS Key-Value Document Graph 最適なデータベースを選択されていますか? Many more

6 データベース選定の要因技術要件ボリューム秒間あたりのトランザクション数レイテンシクエリーキーアクセス構造化 or 半構造化鮮度揮発性 ACID 属性バックアップレプリケーション高可用性 (HA) 管理監視ツール解析ツールとの連携ビジネス要件初期費用メンテナンスコスト移行コスト社内標準 ( 政治 ) 過去の実績技術者の熟練度 ( 社内社外 )

7 SQL vs. NoSQL 日本では SQL 対応のデータベースが多用されているテーブル構造に対するSQLの : トランザクション処理 or 分析処理 ( データウェアハウス ) ACID 属性 vs. BASE 属性 NoSQL の利用価値は? 低レイテンシ高スループットシンプルなAPI Webセッション管理 Publish Subscribeモデルイベント処理 JSON 形式データの格納ソーシャルグラフ BOM(Bill of material) ツリーの検索等

8 AWS データベースサービスの概要フルマネージドデータベースの特性に応じた使い分け低レンテンシインメモリ NoSQL 3 拠点間でのレプリケーション SSD に永続化 Amazon ElastiCache Amazon DynamoDB トランザクション処理 RDBMS のプロビジョニング SQL 集計分析処理データウェアハウス ( 大容量データ ) Amazon RDS Amazon Redshift + Databases on EC2

9 アジェンダデータベースサービスの概要 AWS のデータベースサービス Amazon RDS Amazon Redshift Amazon ElastiCache Amazon DynamoDB Databases on EC2 まとめ

10 Amazon RDS

11 Amazon RDS とは? 構築数クリック or API で DB サーバを操作 EC2 同様初期費用無し時間単位の従量課金移行 4 種類のエンジンをサポート既存アプリケーションの変更不要運用可用性向上のための機能モニタリング障害検出 / 復旧パッチスケーリングが容易セキュリティセキュリティグループ VPC 対応

12 vs. RDS App optimization Scaling High availability Database backups DB s/w patches DB s/w installs OS patches OS installation Server maintenance Rack & stack Power, HVAC, net App optimization Scaling High availability Database backups DB s/w patches DB s/w installs OS patches OS installation Server maintenance Rack & stack Power, HVAC, net App optimization Scaling High availability Database backups DB s/w patches DB s/w installs OS patches OS installation Server maintenance Rack & stack Power, HVAC, net オンプレミス On EC2 RDS お客様がご担当する作業 AWS が提供するマネージド機能

13 簡単に高性能可用性の構成を実現可用性スループット増レイテンシ Multi-AZ スケールアップ Multi AZ リードレプリカプロビジョンド IOPS スケールアップリードレプリカ Availability zone Region Availability zone プロビジョンド IOPS

14 RDS(MySQL) アーキテクチャアベイラビリティゾーン A アベイラビリティゾーン B 自動バックスナップシアップョット ( 自動 / 手動 ) データ同期自動フェイルオーバー Binlog ( トランザクショ Binlog ( トランザクションログ ) (5 分間隔ンログ ) (5 分間隔 ) Binlog 非同期レプリケーション S3 Availability Zone A Availability Zone B

15 RDS の構成例 Amazon Route 53 ( ドメイン名割り当て ) CloudFront ( コンテンツ配信 ) ELB ( ロードバランサ ) AZ-1a AZ-1c EC2 EC2 S3 静的コンテンツ RDS マスタ自動同期 RDS スレーブ

18 RDS の使いどころ SQL によるトランザクション処理既存資産 ( アプリ人材など ) の活用運用管理コスト ( バックアップパッチ適用作業など ) の低減データセンターを跨いだ容易な冗長構成 (Multi-AZ)

19 Amazon Redshift

20 Amazon Redshift とは? Data Warehouse as a Service 分析用の大容量統合業務データの管理サービス ( フルマネージドサービス ) 拡張性 :160GB~1.6PB まで拡張可能高速 : カラムナ型超並列演算 (MPP) 低額 : インスタンスの従量課金 ( 初期費用ライセンス費用不要 )

21 列指向型データベース Redshift は列指向 ( カラムナ ) 型データベース行指向トランザクション処理向き orderid name price 1 Book Pen 50 n Eraser 70 列指向分析処理向き orderid name price 1 Book Pen 50 n Eraser 70

22 Redshift のアーキテクチャ 10GigE Mesh コンピュートノード JDBC/ODBC BI ツールリーダーノードコンピュートノード SQL エンドポイント : クエリーの並列化結果を生成コンピュートノードクエリー実行ノード N スケールアウトを実現ローカルディスクリーダーノードを経由して SQL クエリーを実行各コンピュートノードで演算が並列実行各コンピュートノードにローカルストレージを保持データは S3 DynamoDB EMR から直接コンピュートノードへ並列ロード S3, DynamoDB, EMR との統合

23 ノードタイプ従量課金 = ノード数 x 時間単価コンピュートノードのみの課金 ( リーダーノードは課金対象外 ) DW1 - Dense Storage vcpu ECU Memory(GB) Storage I/O Price dw1.xlarge TB HDD 0.30GB/s $ 時間あたり dw1.8xlarge TB HDD 2.40GB/s $ 時間あたり DW2 - Dense Compute dw2.large TB SSD 0.20GB/s $ 時間あたり dw2.8xlarge TB SSD 3.70GB/s $ 時間あたり

24 Redshiftの構成例オンプレ環境との連携テキストファイル 1,Book,100 2,Pen,50 n,eraser,10 RDBMS Amazon S3 Webアクセスログ :00: :00:01 アプリサーバ自社DC VPN or Direct Connect Amazon EC2 Amazon Redshift

25 MUJI Passport の導入目的ネットリアルの区別なく無印良品のファンの方とコミュニケーションを図る複数メディアを跨ったデータの収集解析ソーシャルメディア実店舗インターネット持続的な来店客数増 -> 売上の向上値引きの最小化 -> ターゲットマーケティング 25

26 分析関連のシステム構成 BI ツール 26

27 Redshift の使いどころいわゆるデータウェアハウスとしての利用 ( データ容量数百 GB 以上 ) OLTP 用途では使用しない Business Intelligence(BI) ツールからの分析投資対効果 (ROI) が不透明な中で大規模な投資リスクを避ける

28 Amazon ElastiCache

29 メモリキャッシュとは?(1) Web+DB アプリの典型的な構成 App RDBMS 1. クライアントからのリクエスト 2. App サーバが DB サーバに問い合わせ 3. DB サーバが結果を戻す 4. App サーバがレスポンスをクライアントに返す

30 メモリキャッシュとは?(2) トラフィックが増えると App RDBMS App RDBMS 5. App サーバ,DB サーバをスケール 6. 効果効率コスト的な面 DB をスケールさせる難易度は?

31 メモリキャッシュとは?(3) データ参照時の操作データがキャッシュにあるか? あるなら取得して完了キャッシュ App なければ DB へクエリクエリ結果を取得 RDBMS クエリ結果をキャッシュ繰り返し

32 メモリキャッシュとは?(4) 更新時の操作キャッシュ App Insert / Update RDBMS オブジェクト書き込み繰り返し

33 Amazon ElastiCache とは構築キャッシュクラスタを数クリックで起動 EC2 同様初期費用無し時間単位の従量課金移行 2 種類のエンジン (memcached, redis) をサポート既存アプリケーションの変更不要運用可用性を向上させる機能モニタリング自動障害検出復旧拡張パッチ管理機能を提供セキュリティセキュリティグループ VPC 対応

34 典型的な Web+Cache アーキテクチャ Amazon Route 53 ( ドメイン名割り当て ) CloudFront ( コンテンツ配信 ) 東京リージョン ELB ( ロードバランサ ) AZ-1a AZ-1c EC2 EC2 S3 静的コンテンツ RDS マスタ自動同期 RDS スレーブ

35 イベント通知 (Cache Event) ElastiCache で発生した 10 以上のイベントを SNS 経由で Push 通知再起動ノード追加ノードリプレイス設定変更メンテナンス終了 etc 監視システムと組み合わせることで運用自動化が容易に Cache Event Message Queue Amazon SNS Notification ElastiCache Cache Node Alarm HTTP Notification

Auto Discovery for memcached 従来のクライアント側の設定 Cache Cluster の全エンドポイントを接続先として設定する Auto Discovery クライアント (Java, PHP) Cache Cluster の Configuration Endpoint を接続先として設定すると全エンドポイントを自動取得設定し接続する注意

36 Auto Discovery for memcached 従来のクライアント側の設定 Cache Cluster の全エンドポイントを接続先として設定する Auto Discovery クライアント (Java, PHP) Cache Cluster の Configuration Endpoint を接続先として設定すると全エンドポイントを自動取得設定し接続する注意 Configuration Endpoint は Cache Cluster のロードバランサー ( Proxy) ではなくあくまでもメタデータを取得する Endpoint となる CacheCluster App 通常のクライアントライブラリ xxx.0001.apne1.cache.amazonaws.com App Auto Discovery クライアントライブラリ xxx.0002.apne1.cache.amazonaws.com Configuration Endpoint xxx.cfg.apne1.cache.amazonaws.com

37 ElastiCache の使いどころキーベースでのアクセス set(key, value) value = get(key) あくまでキャッシュであり主は RDBMS 等に永続化されることを前提とする更新頻度が低くアクセス頻度が高いデータをキャッシュ => キャッシュヒット率が高い

38 Amazon DynamoDB

39 Amazon DynamoDB とは? NoSQL as a Service 高速一貫したパフォーマンスを維持シームレスなスケーラビリティ低コスト運用管理必要なし低レイテンシ SSD プロビジョンスループット無限に使えるストレージ

40 特徴 1: 管理不要で高信頼性 SPOF の存在しない構成データは 3 箇所の AZ に保存されるので信頼性が高いストレージは必要に応じて自動的にパーティショニングされるクライアント

41 特徴 2: プロビジョンスループット Read と Write それぞれに対して必要な分だけのスループットキャパシティをプロビジョンする ( 割り当てる ) ことができる例えば一般的な Read ヘビーな DB なら Read : 1,000 Write : 100 ライトヘビーな DB なら Read : 500 Write : 500 この値は DB 運用中にオンラインで変更可能ただしスケールダウンに関しては日に 4 回までしかできないので注意

42 特徴 3: ストレージの容量制限がない使った分だけの従量課金制のストレージデータ容量が増えてきたのでディスクを足したりノードを足したりという作業が不要

43 DynamoDB を使い始めるには 1. テーブルの Key や Index を決める 2. Read/Write それぞれのスループットを決める That s it, write your code!

44 アイテム DynamoDB のデータモデル Hash key または Hash key & Range key ハッシュキー A プライマリキーレンジキー 1 レンジキー 2 レンジキー 3 アトリビュート A1-1 アトリビュート A2-1 アトリビュート A3-1

45 Hash Key+Range Key の例ユーザーの行動ログの蓄積 AudienceId (Hash key) Timestamp (Range key) :01: :02: :21: :42: :56:22 Action (Action-Index) Url Login Login Login ViewHoge PostHoge

46 DynamoDB の使いどころキー + クエリーでのアクセス 3 拠点でデータが保全されることによる堅牢なシステムの構築スループットの容易な増減によるピーク負荷への対応

47 Databases on EC2

48 Database on EC2 EC2 上にデータベースソフトをインストールし自ら運用管理を行うマネージドデータベースのメリットは享受できないが特殊な要件の場合に検討 RDS で制限されている Stored Procedure を使いたい AWS で提供されていない NoSQL を利用したいデータベースの OS にアクセスしローカルアクセスでバッチ処理を実行したい等々運用管理コストが上がる点も考慮する

49 アジェンダデータベースサービスの概要 AWS のデータベースサービス Amazon RDS Amazon Redshift Amazon ElastiCache Amazon DynamoDB Databases on EC2 まとめ

50 まとめデータの特性に合わせたデータベースの選択スケールアップに頼らずに低コストで実現 SQL だけではなく NoSQL 系データベースの活用処理パターンによっては RDBMS よりも適しているケースも AWS のマネージドサービスでカバーしきれないシナリオの場合 Databases on EC2 を活用バックアップやパッチ適用作業等も考慮

51 ご清聴ありがとうございました

PowerPoint Presentation

PowerPoint Presentation 2-H1-1-13 AWS のデータベース入門片岡光康 Solutions Architect, Amazon Web Services Japan K.K. 自己紹介片岡光康 ( かたおかみつやす ) アマゾンウェブサービスジャパン株式会社技術本部西日本担当ソリューションアーキテクト好きな AWS サービス Amazon Simple Storage Service (S3) Amazon