PowerPoint Presentation

Transcription

1 AWS Black Belt Online Seminar Amazon DocumentDB アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト桑野章弘

2 自己紹介 桑野章弘 ( くわのあきひろ ) ソリューションアーキテクト主にメディア系のお客様を担当しております元渋谷のインフラエンジニア好きなAWSのサービス :DocumentDB Aurora Route53 S3 好きな (?) データストア :MongoDB

3 AWS Black Belt Online Seminar とは サービス別 ソリューション別 業種別 のそれぞれのテーマに分かれて アマゾンウェブサービスジャパン株式会社が主催するオンラインセミナーシリーズです 質問を投げることができます! 書き込んだ質問は 主催者にしか見えません 今後のロードマップに関するご質問はお答えできませんのでご了承下さい 1 吹き出しをクリック 2 質問を入力 3 Send をクリック Twitter ハッシュタグは以下をご利用ください #awsblackbelt

4 内容についての注意点 本資料では 2019 年 6 月 25 日時点のサービス内容および価格についてご説明しています 最新の情報は AWS 公式ウェブサイト ( にてご確認ください 資料作成には十分注意しておりますが 資料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合 AWS 公式ウェブサイトの価格を優先とさせていただきます 価格は税抜表記となっています 日本居住者のお客様が東京リージョンを使用する場合 別途消費税をご請求させていただきます AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.

5 アジェンダ ドキュメント指向 DB とは Amazon DocumentDB の概要 Amazon DocumentDB のアーキテクチャ Amazon DocumentDB の使い方 ベストプラクティス 他サービスとの使い分け 移行方法 料金体系まとめ

6 アジェンダ ドキュメント指向 DB とは Amazon DocumentDB の概要 Amazon DocumentDB のアーキテクチャ Amazon DocumentDB の使い方 Amazon DocumentDB のサービス概要 他サービスとの使い分け 移行方法 料金体系まとめ

7 今までのデータベースのデータ連携の一例!= クライアント JSON Relational JSON はデータ連携のデファクトに アプリケーションはデータベースから返ってくるデータと JSONの整合性を取る アプリケーション 整合性のためにオブジェクトリレーショナルマッパー (ORM) が必要 データベース 対応コスト増

8 ドキュメント指向データベースのデータ連携 クライアント JSON JSON-Like JSON はデータ連携のデファクトに アプリケーションはドキュメントデータベースのJSONの整合性を取るのは最小限です む アプリケーション ORM を使う必要も限定的となる データベース 対応コスト低 : ドキュメントデータベースはこの問題への一つの解となりうる

9 ドキュメント指向データベース JSON-like なデータ ドキュメントはより自然な形でデータを表現可能 柔軟性のあるスキーマ インデックス Javascriptで表現可能な柔軟なクエリ { } id: 1, name: kuwano", age: 41, kuwanoa@amazon.com", promotions: ["new user", "5%", curry lover"], memberdate: , shoppingcart: [ {product:"abc", quantity:2, cost:19.99}, {product:"edf", quantity:3, cost: 2.99} ]

10 ドキュメントデータベースのユースケース コンテンツ管理 モバイルアプリ パーソナライゼーション カタログ リテール & マーケティング ユーザプロファイル

11 ドキュメントデータベースのユースケース { } ゲームのユーザプロフィール id: , username: "sue1942", name: {first: "Susan", last: "Benoit"} { } id: , username: "sue1942", name: {first: "Susan", last: "Benoit"}, ExplodingAcorns: { hi_score: , global_rank: 5139, bonus_levels: true }, promotions: ["new user","5%", acorn lover"]

12 ドキュメントデータベースのユースケース { } ゲームのユーザプロフィール id: , username: "sue1942", name: {first: "Susan", last: "Benoit"} { } スコアやランクを追加 id: , username: "sue1942", name: {first: "Susan", last: "Benoit"}, ExplodingAcorns: { hi_score: , global_rank: 5139, bonus_levels: true }, promotions: ["new user","5%", acorn lover"] トロフィーを追加

13 ドキュメントデータベースのユースケース { } ゲームのユーザプロフィール id: , username: "sue1942", name: {first: "Susan", last: "Benoit"}, ExplodingAcorns: { hi_score: , global_rank: 5139, bonus_levels: true }, promotions: ["new user","5%", acorn lover"] { } ニックネームを追加 id: , username: akuwano", name: {first: Akihiro", last: Kuwano"}, nickname: mongo", ExplodingAcorns: { hi_score: 100, global_rank: , bonus_levels: true }, promotions: ["new user","5%", curry lover"]

14 ドキュメントデータベースで開発を高速に

15 アジェンダ ドキュメント指向 DB とは Amazon DocumentDB の概要 Amazon DocumentDB のアーキテクチャ Amazon DocumentDB の使い方 Amazon DocumentDB のサービス概要 他サービスとの使い分け 移行方法 料金体系まとめ

16 AWS のデータベース

17 Purpose built The right tool for the right job

18 AWS のデータベース Relational Key-value Document In-memory Graph Time-series Ledger 参照整合性 ACID トランザクション スキーマ 高スループット 低レイテンシ スケーラビリティ ドキュメントを保存し 任意の属性にクエリですばやくアクセス マイクロ秒レベルの key アクセス すばやく簡単にデータ間の関係を元にグラフ構造を作成 ナビゲート 時系列に特化した形でデータの収集 格納 処理 アプリケーションデータの全変更を完全 不変 検証可能な履歴として保存 Lift and shift, ERP, CRM, finance Real-time bidding, shopping cart, social, product catalog, customer preferences Content management, personalization, mobile Leaderboards, real-time analytics, caching Fraud detection, social networking, recommendation engine IoT applications, event tracking Systems of record, supply chain, health care, registrations, financial

19 AWS のデータベース Relational Key-value Document In-memory Graph Time-series Ledger Aurora Amazon RDS Community Amazon DynamoDB Commercial Amazon DocumentDB New! Amazon ElastiCache Amazon Neptune Amazon Timestream Amazon Quantum Ledger Database (QLDB)

20 Amazon DocumentDB (with MongoDB Compatibility) Fast, scalable, and fully managed MongoDB-compatible database service

21 既存のドキュメント指向データベースの課題 セットアップ管理スケールセキュリティバックアップ

22 Amazon DocumentDB Fast, scalable, fully managed MongoDB-compatible database service Fast Efficient Optimized Flexible 秒間 100 万リクエストが実行可能 効率よくリソースを実行可能 ストレージレイヤで I/O を最適化 数分でスケールアウト & スケールアップ可能

23 Amazon DocumentDB Fast, scalable, fully managed MongoDB-compatible database service Scale out in minutes Scale up in minutes Autoscaling storage Load balancing 15 台のリードレプリカが追加可能 GiB のメモリ容量までスケールアップ ストレージの自動拡張 10GB から 64 TB まで リードレプリカでの負荷分散

24 Amazon DocumentDB Fast, scalable, fully managed MongoDB-compatible database service Pay-as-yougo pricing Automatic failover and recovery Automated Backup and PITR Fault tolerant and self-healing storage 必要な分 使った分だけの課金体系 リードレプリカの昇格による自動フェイルオーバ S3 へのストリームバックアップ 3AZ 6 コピーによるデータ冗長

25 Amazon DocumentDB Fast, scalable, fully managed MongoDB-compatible database service MongoDB 3.6 API Same drivers, tools Replica set emulation Migrate with DMS MongoDB Community Edition 3.6 との互換性 MongoDB driver やツールが Amazon DocumentDB で使用可能 レプリカセットエミュレーションによる読み取りスケール AWS DMS を使ったライブマイグレーション ( 無料枠あり )

26 Amazon DocumentDB Security and Compliance Amazon VPC Default Encryption Safe defaults Compliant VPC のみ TLS Encryption at rest ( カスタママネージドキー使用 ) 最適化された設定値 PCI, ISO, SOC2, HIPAA

27 Amazon DocumentDB Backup and Point-In-Time Recovery Automatic backups No performance impact 35 days of PITR Archive snapshots 自動インクリメンタルかつ継続的なストリーミングバックアップ データベースへ性能影響のないバックアップ 最大 35 日の Point-in-time recovery (PITR) 35 日以上の場合はスナップショットも可能

28 Amazon DocumentDB の特徴 マネージドドキュメントデータベースサービス JSON-like なデータ群をマネージドする用途に特化したデータストア MongoDB との互換性 MongoDB 3.6 系互換 API 対応 高可用性 ミッションクリティカルワークロードを大規模に運用する場合に効果的 高パフォーマンス ストレージとコンピュートを分離し高いパフォーマンスを実現

29 アジェンダ ドキュメント指向 DB とは Amazon DocumentDB の概要 Amazon DocumentDB のアーキテクチャ Amazon DocumentDB の使い方 Amazon DocumentDB のサービス概要 他サービスとの使い分け 移行方法 料金体系まとめ

30 Amazon DocumentDB アーキテクチャ 3 つのチャレンジ コンピュートとストレージの分離 パーティションへのデータ分散 6コピーとクオラムによるデータの堅牢性

31 コンピュートとストレージの分離 コンピュートとストレージを分離することで個別に最適なスケールを行うことができる コンピュートレイヤ API Query Processor Caching コンピュートのスケール ストレージレイヤ Logging + Storage ストレージのスケール

32 パーティションへのデータ分散 Logging + Storage パーティションへのデータ分散 Distributed storage volume AZ1 AZ2 AZ3

33 6 コピーとクオラムによるデータの堅牢性 Logging + Storage Distributed storage volume AZ1 AZ2 AZ3 データを 3 つの AZ に 6 コピーする

34 Amazon DocumentDB: オーバービュー AWS Region クラスタエンドポイントリーダーエンドポイント Availability Zone 1 Availability Zone 2 Availability Zone 3 Instance (primary) Instance (replica) Instance (replica) Reads Write s Reads Reads Distributed storage volume AZ1 AZ2 AZ3

35 Amazon DocumentDB: エンドポイント AWS Region クラスタエンドポイントリーダーエンドポイント Availability Zone 1 Availability Zone 2 Availability Zone 3 Reads Write s Instance (primary) Reads 書き込みノードを示すクラスタ Instance (replica) エンドポイントとリードレプリカを示すリーダーエンドポイントが存在 Instance (replica) Reads Distributed storage volume AZ1 AZ2 AZ3

36 Amazon DocumentDB: スケーリング 読み込みキャパシティのスケールをしたい場合 最大 15 台のリードレプリカ, 100 万リード /sec Distributed storage volume AZ1 AZ2 AZ3

37 Amazon DocumentDB: 障害復旧インスタンス障害からの復旧 Distributed storage volume AZ1 AZ2 AZ3

38 Amazon DocumentDB: 障害復旧インスタンス障害からの復旧 Distributed storage volume インスタンス障害時は他のインスタンスへとフェイルオーバすることで障害復旧を行う AZ1 AZ2 AZ3

39 Amazon DocumentDB: 堅牢性 データの堅牢性を保つためにデータを 6 冗長でコピー Distributed storage volume AZ1 AZ2 AZ3

40 Amazon DocumentDB: 堅牢性 データの堅牢性を保つためにデータを 6 冗長でコピー Distributed storage volume 6 つ中 4 つの書き込みクォーラム 6 つ中 3 つの読み込みクォーラム修復時には各ノード同士でレプリケーションを実施 AZ1 AZ2 AZ3

41 Amazon DocumentDB: バックアップ データベースへの性能影響のないストリーミングバックアップ Availability Zone 1 Availability Zone 2 Availability Zone 3 Instance (primary) Instance (replica) Instance (replica) Distributed storage volume ストリーミングバックアップ Amazon S3 スナップショット

42 MongoDB の大規模構成例 mongod データノード mongoc シャーディング情報を保存する特殊なデータノード mongos シャーディング時に適切なシャードへと処理を振り分けるルーティングプロセス mongos: シャードルーター適切なシャードへの割り振り 各 AZにノード配置 mongod App + mongos AZ AZ AZ mongoc: シャーディング情報の格納 mongoc mongod: 実際のデータの格納赤の囲みが 1 シャードとなり シャード単位で処理をオフロードする

43 MongoDB の大規模構成例 mongod データノード mongoc シャーディング情報を保存する特殊なデータノード mongos シャーディング時に適切な構成を組むことが多いシャードへと処理を振り分けるルーティングプロセス 大規模な MongoDB はシャード mongos: シャードルーター適切なシャードへの割り振り 各 AZにノード配置 mongod App + mongos AZ AZ AZ mongoc: シャーディング情報の格納 mongoc mongod: 実際のデータの格納赤の囲みが 1 シャードとなり シャード単位で処理をオフロードする

44 Amazon DocumentDB: アーキテクチャ再掲 AWS Region クラスタエンドポイントリーダーエンドポイント Availability Zone 1 Availability Zone 2 Availability Zone 3 Instance (primary) Instance (replica) Instance (replica) Reads Write s Reads Reads Distributed storage volume AZ1 AZ2 AZ3

45 何故シャーディングが必要ない? シャードしたい要因 DocumentDB での対応 読み込みスケール 15 台までのリードレプリカ 書き込みスケール インスタンスのスケールアップが容易 ストレージスケール 64TB までのストレージ自動拡張

46 アジェンダ ドキュメント指向 DB とは Amazon DocumentDB の概要 Amazon DocumentDB のアーキテクチャ Amazon DocumentDB の使い方 Amazon DocumentDB のサービス概要 他サービスとの使い分け 移行方法 料金体系まとめ

47 アジェンダ ドキュメント指向 DB とは Amazon DocumentDB の概要 Amazon DocumentDB のアーキテクチャ Amazon DocumentDB の使い方 Amazon DocumentDB のサービス概要 他サービスとの使い分け 移行方法 料金体系まとめ

48 Amazon DocumentDB のサービス概要

49 Amazon DocumentDB クラスタ Amazon DocumentDB クラスタ マスタ (Writer) とリードレプリカ (Reader) をひとまとめにしたもの Parameter Group と Maintenance Window も DB クラスタと各ノードそれぞれに存在 フェイルオーバが発生しても常にマスタを参照するクラスタエンドポイント リードレプリカ群を指し示すリーダーエンドポイント

50 リードレプリカ 可用性 データベースノードの障害は自動的に検知され 交換される Primary Primary Node Node マスタ Primary Primary Node リード Node レプリカ Primary Primary Node リード Node レプリカ クラスタ / インスタンスモニタリング データベース処理の障害は自動的に検知され リソースはリサイクルされる リードレプリカは必要に応じて自動的にマスタに昇格する どのリードレプリカに対して優先的にフェイルオーバーさせるかを指定できる パフォーマンス リードレプリカによってアプリケーションの読み込みトラフィックをスケールアウトさせることができる 読み込みエンドポイントによってリードレプリカを跨がって負荷が分散される

51 クラウドネイティブストレージエンジンの概要 データは 3 つのアベイラビリティーゾーンに跨がった 6 つのレプリカにコピーされる AZ 1 AZ 2 AZ 3 継続的に堅牢な Amaon S3 へバックアップされる 継続的にノードやディスクが修復される 修復やホットスポットのリバランスのために 10GB のセグメントユニットで管理されている ストレージノード ストレージノード ストレージノード ストレージノード ストレージノード ストレージノード ストレージモニタリング 読み書きにはレイテンシ耐性を持つクォーラムシステムを使用している クォーラムのメンバーシップが変更されたとしても書き込みは阻害されない Amazon S3 ストレージは使用に応じて自動的に 64TB まで拡張される

52 クラウドネイティブストレージエンジンの耐障害性 どこに障害が発生すると仮定するか? セグメント障害 ( ディスク ) ノード障害 ( マシン ) AZ 障害 ( ネットワークやデータセンター ) AZ 1 AZ 2 AZ 3 想定される障害に対する最適化 6 つ中 4 つの書き込みクォーラム 6 つ中 3 つの読み込みクォーラム修復時には各ノード同士でレプリケーションを実施 AZ 1 AZ 2 AZ 3 Amazon DocumentDB Amazon DocumentDB キャッシュ キャッシュ

53 S3 への継続的バックアップ セグメントスナップショット ログレコード セグメント 1 セグメント 2 セグメント 3 リカバリポイント 時間 セグメント毎に定期的にS3へ並列でバックアップが取得されている バックアップはパフォーマンスや可用性にインパクトを与えることなく絶えず行われている リストア時には セグメント毎に適切なスナップショットと必要なログレコードが抽出される スナップショットへのログレコードの適用は並列に非同期的に実行される

54 MongoDB との互換性 MongoDB Ver.3.6 との API 互換性 Aggregation Pipeline や インデックス 演算子などの現状の対応状況については下記ドキュメントを参照

55 セキュリティ : データベース認証 Salted Challenge Response Authentication Mechanism (SCRAM) をサポート SCRAM はMongoDB 用のデフォルトの認証メカニズム SCRAM を利用してMongoDB SDK mongo シェル および各種ツールを使用して Amazon DocumentDB クラスターに接続可能

56 セキュリティ : 暗号化 通信の暗号化 TLS 対応 セキュリティグループによるアクセス制御 IAMポリシー VPCのサービス提供 パブリックエンドポイントは現状作れない 保存データの暗号化 クライアントからは透過的 AES-256を使用した暗号化 KMSを使用 カスタママネージドキーも使用可

57 セキュリティ : 監査ログ Amazon DocumentDB の Audit log を CloudWatch Logs に直接転送可能 データ定義言語 (DDL) 認証 認可 およびユーザー管理イベントが保存される Filter Pattern を設定し Metrics を作成することが可能なため CloudWatch を利用したアラートの発報も可能 Auth Create event string DDL Create event string Amazon DocumentDB UME Create event string Amazon CloudWatch Logs

58 モニタリング CloudWatchメトリクスに各種情報からクエリチューニングやスケールアウト アップを判断 主要なメトリクス一覧 メトリクス ( 一部 ) CPUUtilization Freeable Memory Swap Usage Read IOPS Write IOPS Read Latency Write Latency Read Throughput Write Throughput Disk Queue Depth Network Receive Throughput Network Transmit Throughput DB Connections 説明 CPU 使用率インスタンスで使用可能な RAM の量インスタンスによって使用されているスワップスペースの量 1 秒あたりのディスク読み取りまたは書き込みオペレーションの平均数 読み取りまたは書き込みオペレーションの平均時間 1 秒あたりのディスク読み取りまたは書き込みデータの平均量 ディスクに対する読み取りまたは書き込み待機中の I/O オペレーションの数 1 秒あたりのインスタンスに対する送信または受信ネットワークトラフィックのレート ( メガバイト単位 ) DB インスタンスに接続されたクライアントセッションの数

59 使い分け

60 Amazon RDS との使い分け Amazon RDS を優先的に検討したほうがよい場合 トランザクションを使って信頼性の高いクエリを投げたい 金融 認証などの事前定義されたスキーマに従って使用したい Oracle MySQL PostgreSQLなどの RDBMSのエコシステムを使いたい場合

61 Amazon DynamoDB との使い分け よりスケーラブルに使いたいのであればDynamoDB を選択するほうが良い データの持ち方として JSONのよりネストした構造にたいして柔軟にアクセスさせたいという場合には DocumentDBのほうが開発工数を下げられる可能性が高い { "_id" : " ", "userid" : "akuwano", "hobby" : MongoDB, "username" : "Akihiro Kuwano, info : { age : 41, country : japan, states : tokyo, } }

62 移行方法

63 移行パターン 十分な停止時間を取れる はい ダンプツール ( シンプル ) いいえ 移行完了までを高速にしたい いいえ はい Database Migration Service とダンプのハイブリッド ( 柔軟 複雑 ) Database Migration Service ( 柔軟 )

64 ダンプツール 停止時間は長いが 一番シンプルな方法 MongoDB 標準ツールだけで可能 mongodump, mongorestore 1. アプリケーションは旧 DB への書き込みを停止 5. アプリケーションの向き先を DocumentDB に変更 3. 必要ならインデックス作成 (optional) 2. Mongodump でバックアップの取得 4. Mongorestore でバックアップをレストア

65 DMS を活用 アプリの停止時間は短く 手順もシンプルだがフルロードが終わるまで時間がかかる 3. DMS でフルロードから CDC を実行 1. アプリケーションは旧 DB 読み書きを継続 2. 必要ならインデックス作成 (optional) 4. アプリケーションの向き先を DocumentDB に変更

66 DMS とダンプのハイブリッド アプリの停止時間は短く マイグレーション完了までも高速だが手順が複雑となる 5. DMS で CDC を実行 1. アプリケーションは旧 DB 読み書きを継続 3. 必要ならインデックス作成 (optional) 6. アプリケーションの向き先を DocumentDB に変更 2. Mongodumpでバックアップの取得 4. Mongorestore でバックアップをレストア

67 DocumentDB Index Tool ソースの MongoDB からインデックス情報を Export する事が可能 DocumentDBとの互換性についてインデックス コレクション データベースなどのチェック サポートされていないインデックスタイプのインデックス コレクションのチェック などなどを実施

68 料金体系

69 Amazon DocumentDB の料金体系 Instances: Size/hr * count (db.r5.large $0.334/hr) 東京リージョンの場合 Instance (primary) Instance (replica) Instance (replica) I/O: Count ($0.24/million) Storage: GB/mo ($0.12/GB) Amazon S3 Backup: GB/mo ( ストレージクラスタの容量と同量まで無料 $0.023/GB)

70 Amazon DocumentDB の料金体系 東京リージョンの場合 1 インスタンス料金 2I/O 回数 r5.large( $0.334/h ) から r5.24xl( $16.032/h ) まで $0.24 / 100 万 req 3 ストレージ料金 $0.12 / GB-month 4 バックアップストレージ バックアップストレージ $0.023 / GB-month

71 月額料金計算例 東京リージョンの場合 db.r5.large/ 容量 50GB( バックアップ50GB) / 平均 77.2 iops ( 月間 2 億 I/Oリクエスト )/ リージョン外への通信量 10GB 要素 時間単位のオンデマンドインスタンス料金 詳細 $ ($0.334 * 24 * 30) データベースストレージおよび I/O 容量 $6 ($0.12 * 50) I/O リクエスト $60 ($0.24 * 200) バックアップストレージ $0 データベースストレージ容量まで無料 データ転送 $1.026 ($0.114 * 9) 1GB までは無料 合計 $

72 対応リージョン 東京 バージニア オハイオ オレゴン アイルランド ソウル フランクフルト

73 アジェンダ ドキュメント指向 DBとは Amazon DocumentDBの概要 Amazon DocumentDBのアーキテクチャ Amazon DocumentDBの使い方 まとめ Amazon DocumentDBのサービス概要他サービスとの使い分け移行方法

74 まとめ マネージドドキュメントデータベースとして Amazon DocumentDB がリリース ドキュメント指向データベースの選択肢が増えたことで AWS のデータベースソリューリョンとしてより多様なユースケースに対応可能 クラスタ運用なしに堅牢かつ高速なドキュメント指向 DB としてお使いください!

75 運用が辛い

76 から

77 運用が辛くない!

78 へ!

79 参考資料 公式ページ ドキュメントやチュートリアルなどのリソース er-resources/ Amazon DocumentDB Forum mid=332

80 Q&A お答えできなかったご質問については AWS Japan Blog にて資料公開と併せて 後日掲載します

81 AWS の日本語資料の場所 AWS 資料 で検索

82 公式 Twitter/Facebook AWS 検索 もしくは 最新技術情報 イベント情報 お役立ち情報 お得なキャンペーン情報などを日々更新しています!

83 AWS の導入 お問い合わせのご相談 AWS クラウド導入に関するご質問 お見積 資料請求をご希望のお客様は以下のリンクよりお気軽にご相談下さい AWS 問い合わせ で検索して下さい

84 ご視聴ありがとうございました AWS 公式 Webinar 過去資料 , Amazon Web Services, Inc. or its Affiliates. All rights reserved.