PowerPoint Presentation - PDF Free Download

AWS Black Belt Online Seminar Amazon DocumentDB アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト桑野章弘 2019.06.25

自己紹介桑野章弘 ( くわのあきひろ ) ソリューションアーキテクト主にメディア系のお客様を担当しております元渋谷のインフラエンジニア好きなAWSのサービス :DocumentDB Aurora Route53 S3 好きな (?) データストア :MongoDB

AWS Black Belt Online Seminar とはサービス別ソリューション別業種別のそれぞれのテーマに分かれてアマゾンウェブサービスジャパン株式会社が主催するオンラインセミナーシリーズです質問を投げることができます! 書き込んだ質問は主催者にしか見えません今後のロードマップに関するご質問はお答えできませんのでご了承下さい 1 吹き出しをクリック 2 質問を入力 3 Send をクリック Twitter ハッシュタグは以下をご利用ください #awsblackbelt

内容についての注意点本資料では 2019 年 6 月 25 日時点のサービス内容および価格についてご説明しています最新の情報は AWS 公式ウェブサイト (http://aws.amazon.com) にてご確認ください資料作成には十分注意しておりますが資料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合 AWS 公式ウェブサイトの価格を優先とさせていただきます価格は税抜表記となっています日本居住者のお客様が東京リージョンを使用する場合別途消費税をご請求させていただきます AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.

アジェンダドキュメント指向 DB とは Amazon DocumentDB の概要 Amazon DocumentDB のアーキテクチャ Amazon DocumentDB の使い方ベストプラクティス他サービスとの使い分け移行方法料金体系まとめ

アジェンダドキュメント指向 DB とは Amazon DocumentDB の概要 Amazon DocumentDB のアーキテクチャ Amazon DocumentDB の使い方 Amazon DocumentDB のサービス概要他サービスとの使い分け移行方法料金体系まとめ

今までのデータベースのデータ連携の一例!= クライアント JSON Relational JSON はデータ連携のデファクトにアプリケーションはデータベースから返ってくるデータと JSONの整合性を取るアプリケーション整合性のためにオブジェクトリレーショナルマッパー (ORM) が必要データベース対応コスト増

ドキュメント指向データベースのデータ連携クライアント JSON JSON-Like JSON はデータ連携のデファクトにアプリケーションはドキュメントデータベースのJSONの整合性を取るのは最小限ですむアプリケーション ORM を使う必要も限定的となるデータベース対応コスト低 : ドキュメントデータベースはこの問題への一つの解となりうる

ドキュメント指向データベース JSON-like なデータドキュメントはより自然な形でデータを表現可能柔軟性のあるスキーマインデックス Javascriptで表現可能な柔軟なクエリ { } id: 1, name: kuwano", age: 41, email: kuwanoa@amazon.com", promotions: ["new user", "5%", curry lover"], memberdate: 2015-9-27, shoppingcart: [ {product:"abc", quantity:2, cost:19.99}, {product:"edf", quantity:3, cost: 2.99} ]

ドキュメントデータベースのユースケースコンテンツ管理モバイルアプリパーソナライゼーションカタログリテール & マーケティングユーザプロファイル

ドキュメントデータベースのユースケース { } ゲームのユーザプロフィール id: 181276, username: "sue1942", name: {first: "Susan", last: "Benoit"} { } id: 181276, username: "sue1942", name: {first: "Susan", last: "Benoit"}, ExplodingAcorns: { hi_score: 3185400, global_rank: 5139, bonus_levels: true }, promotions: ["new user","5%", acorn lover"]

ドキュメントデータベースのユースケース { } ゲームのユーザプロフィール id: 181276, username: "sue1942", name: {first: "Susan", last: "Benoit"} { } スコアやランクを追加 id: 181276, username: "sue1942", name: {first: "Susan", last: "Benoit"}, ExplodingAcorns: { hi_score: 3185400, global_rank: 5139, bonus_levels: true }, promotions: ["new user","5%", acorn lover"] トロフィーを追加

ドキュメントデータベースのユースケース { } ゲームのユーザプロフィール id: 181276, username: "sue1942", name: {first: "Susan", last: "Benoit"}, ExplodingAcorns: { hi_score: 3185400, global_rank: 5139, bonus_levels: true }, promotions: ["new user","5%", acorn lover"] { } ニックネームを追加 id: 181277, username: akuwano", name: {first: Akihiro", last: Kuwano"}, nickname: mongo", ExplodingAcorns: { hi_score: 100, global_rank: 100000, bonus_levels: true }, promotions: ["new user","5%", curry lover"]

ドキュメントデータベースで開発を高速に

AWS のデータベース

Purpose built The right tool for the right job

AWS のデータベース Relational Key-value Document In-memory Graph Time-series Ledger 参照整合性 ACID トランザクションスキーマ高スループット低レイテンシスケーラビリティドキュメントを保存し任意の属性にクエリですばやくアクセスマイクロ秒レベルの key アクセスすばやく簡単にデータ間の関係を元にグラフ構造を作成ナビゲート時系列に特化した形でデータの収集格納処理アプリケーションデータの全変更を完全不変検証可能な履歴として保存 Lift and shift, ERP, CRM, finance Real-time bidding, shopping cart, social, product catalog, customer preferences Content management, personalization, mobile Leaderboards, real-time analytics, caching Fraud detection, social networking, recommendation engine IoT applications, event tracking Systems of record, supply chain, health care, registrations, financial

AWS のデータベース Relational Key-value Document In-memory Graph Time-series Ledger Aurora Amazon RDS Community Amazon DynamoDB Commercial Amazon DocumentDB New! Amazon ElastiCache Amazon Neptune Amazon Timestream Amazon Quantum Ledger Database (QLDB)

Amazon DocumentDB (with MongoDB Compatibility) Fast, scalable, and fully managed MongoDB-compatible database service

既存のドキュメント指向データベースの課題セットアップ管理スケールセキュリティバックアップ

Amazon DocumentDB Fast, scalable, fully managed MongoDB-compatible database service Fast Efficient Optimized Flexible 秒間 100 万リクエストが実行可能効率よくリソースを実行可能ストレージレイヤで I/O を最適化数分でスケールアウト & スケールアップ可能

Amazon DocumentDB Fast, scalable, fully managed MongoDB-compatible database service Scale out in minutes Scale up in minutes Autoscaling storage Load balancing 15 台のリードレプリカが追加可能 15-768 GiB のメモリ容量までスケールアップストレージの自動拡張 10GB から 64 TB までリードレプリカでの負荷分散

Amazon DocumentDB Fast, scalable, fully managed MongoDB-compatible database service Pay-as-yougo pricing Automatic failover and recovery Automated Backup and PITR Fault tolerant and self-healing storage 必要な分使った分だけの課金体系リードレプリカの昇格による自動フェイルオーバ S3 へのストリームバックアップ 3AZ 6 コピーによるデータ冗長

Amazon DocumentDB Fast, scalable, fully managed MongoDB-compatible database service MongoDB 3.6 API Same drivers, tools Replica set emulation Migrate with DMS MongoDB Community Edition 3.6 との互換性 MongoDB driver やツールが Amazon DocumentDB で使用可能レプリカセットエミュレーションによる読み取りスケール AWS DMS を使ったライブマイグレーション ( 無料枠あり ) https://aws.amazon.com/jp/dms/free-dms/

Amazon DocumentDB Security and Compliance Amazon VPC Default Encryption Safe defaults Compliant VPC のみ TLS Encryption at rest ( カスタママネージドキー使用 ) 最適化された設定値 PCI, ISO, SOC2, HIPAA

Amazon DocumentDB Backup and Point-In-Time Recovery Automatic backups No performance impact 35 days of PITR Archive snapshots 自動インクリメンタルかつ継続的なストリーミングバックアップデータベースへ性能影響のないバックアップ最大 35 日の Point-in-time recovery (PITR) 35 日以上の場合はスナップショットも可能

Amazon DocumentDB の特徴マネージドドキュメントデータベースサービス JSON-like なデータ群をマネージドする用途に特化したデータストア MongoDB との互換性 MongoDB 3.6 系互換 API 対応高可用性ミッションクリティカルワークロードを大規模に運用する場合に効果的高パフォーマンスストレージとコンピュートを分離し高いパフォーマンスを実現

Amazon DocumentDB アーキテクチャ 3 つのチャレンジコンピュートとストレージの分離パーティションへのデータ分散 6コピーとクオラムによるデータの堅牢性

コンピュートとストレージの分離コンピュートとストレージを分離することで個別に最適なスケールを行うことができるコンピュートレイヤ API Query Processor Caching コンピュートのスケールストレージレイヤ Logging + Storage ストレージのスケール

パーティションへのデータ分散 Logging + Storage パーティションへのデータ分散 Distributed storage volume AZ1 AZ2 AZ3

6 コピーとクオラムによるデータの堅牢性 Logging + Storage Distributed storage volume AZ1 AZ2 AZ3 データを 3 つの AZ に 6 コピーする

Amazon DocumentDB: オーバービュー AWS Region クラスタエンドポイントリーダーエンドポイント Availability Zone 1 Availability Zone 2 Availability Zone 3 Instance (primary) Instance (replica) Instance (replica) Reads Write s Reads Reads Distributed storage volume AZ1 AZ2 AZ3

Amazon DocumentDB: エンドポイント AWS Region クラスタエンドポイントリーダーエンドポイント Availability Zone 1 Availability Zone 2 Availability Zone 3 Reads Write s Instance (primary) Reads 書き込みノードを示すクラスタ Instance (replica) エンドポイントとリードレプリカを示すリーダーエンドポイントが存在 Instance (replica) Reads Distributed storage volume AZ1 AZ2 AZ3

Amazon DocumentDB: スケーリング読み込みキャパシティのスケールをしたい場合最大 15 台のリードレプリカ, 100 万リード /sec Distributed storage volume AZ1 AZ2 AZ3

Amazon DocumentDB: 障害復旧インスタンス障害からの復旧 Distributed storage volume AZ1 AZ2 AZ3

Amazon DocumentDB: 障害復旧インスタンス障害からの復旧 Distributed storage volume インスタンス障害時は他のインスタンスへとフェイルオーバすることで障害復旧を行う AZ1 AZ2 AZ3

Amazon DocumentDB: 堅牢性データの堅牢性を保つためにデータを 6 冗長でコピー Distributed storage volume AZ1 AZ2 AZ3

Amazon DocumentDB: 堅牢性データの堅牢性を保つためにデータを 6 冗長でコピー Distributed storage volume 6 つ中 4 つの書き込みクォーラム 6 つ中 3 つの読み込みクォーラム修復時には各ノード同士でレプリケーションを実施 AZ1 AZ2 AZ3

Amazon DocumentDB: バックアップデータベースへの性能影響のないストリーミングバックアップ Availability Zone 1 Availability Zone 2 Availability Zone 3 Instance (primary) Instance (replica) Instance (replica) Distributed storage volume ストリーミングバックアップ Amazon S3 スナップショット

MongoDB の大規模構成例 mongod データノード mongoc シャーディング情報を保存する特殊なデータノード mongos シャーディング時に適切なシャードへと処理を振り分けるルーティングプロセス mongos: シャードルーター適切なシャードへの割り振り各 AZにノード配置 mongod App + mongos AZ AZ AZ mongoc: シャーディング情報の格納 mongoc mongod: 実際のデータの格納赤の囲みが 1 シャードとなりシャード単位で処理をオフロードする

MongoDB の大規模構成例 mongod データノード mongoc シャーディング情報を保存する特殊なデータノード mongos シャーディング時に適切な構成を組むことが多いシャードへと処理を振り分けるルーティングプロセス大規模な MongoDB はシャード mongos: シャードルーター適切なシャードへの割り振り各 AZにノード配置 mongod App + mongos AZ AZ AZ mongoc: シャーディング情報の格納 mongoc mongod: 実際のデータの格納赤の囲みが 1 シャードとなりシャード単位で処理をオフロードする

Amazon DocumentDB: アーキテクチャ再掲 AWS Region クラスタエンドポイントリーダーエンドポイント Availability Zone 1 Availability Zone 2 Availability Zone 3 Instance (primary) Instance (replica) Instance (replica) Reads Write s Reads Reads Distributed storage volume AZ1 AZ2 AZ3

何故シャーディングが必要ない? シャードしたい要因 DocumentDB での対応読み込みスケール 15 台までのリードレプリカ書き込みスケールインスタンスのスケールアップが容易ストレージスケール 64TB までのストレージ自動拡張

Amazon DocumentDB のサービス概要

Amazon DocumentDB クラスタ Amazon DocumentDB クラスタマスタ (Writer) とリードレプリカ (Reader) をひとまとめにしたもの Parameter Group と Maintenance Window も DB クラスタと各ノードそれぞれに存在フェイルオーバが発生しても常にマスタを参照するクラスタエンドポイントリードレプリカ群を指し示すリーダーエンドポイント

リードレプリカ可用性データベースノードの障害は自動的に検知され交換される Primary Primary Node Node マスタ Primary Primary Node リード Node レプリカ Primary Primary Node リード Node レプリカクラスタ / インスタンスモニタリングデータベース処理の障害は自動的に検知されリソースはリサイクルされるリードレプリカは必要に応じて自動的にマスタに昇格するどのリードレプリカに対して優先的にフェイルオーバーさせるかを指定できるパフォーマンスリードレプリカによってアプリケーションの読み込みトラフィックをスケールアウトさせることができる読み込みエンドポイントによってリードレプリカを跨がって負荷が分散される

クラウドネイティブストレージエンジンの概要データは 3 つのアベイラビリティーゾーンに跨がった 6 つのレプリカにコピーされる AZ 1 AZ 2 AZ 3 継続的に堅牢な Amaon S3 へバックアップされる継続的にノードやディスクが修復される修復やホットスポットのリバランスのために 10GB のセグメントユニットで管理されているストレージノードストレージノードストレージノードストレージノードストレージノードストレージノードストレージモニタリング読み書きにはレイテンシ耐性を持つクォーラムシステムを使用しているクォーラムのメンバーシップが変更されたとしても書き込みは阻害されない Amazon S3 ストレージは使用に応じて自動的に 64TB まで拡張される

クラウドネイティブストレージエンジンの耐障害性どこに障害が発生すると仮定するか? セグメント障害 ( ディスク ) ノード障害 ( マシン ) AZ 障害 ( ネットワークやデータセンター ) AZ 1 AZ 2 AZ 3 想定される障害に対する最適化 6 つ中 4 つの書き込みクォーラム 6 つ中 3 つの読み込みクォーラム修復時には各ノード同士でレプリケーションを実施 AZ 1 AZ 2 AZ 3 Amazon DocumentDB Amazon DocumentDB キャッシュキャッシュ

S3 への継続的バックアップセグメントスナップショットログレコードセグメント 1 セグメント 2 セグメント 3 リカバリポイント時間セグメント毎に定期的にS3へ並列でバックアップが取得されているバックアップはパフォーマンスや可用性にインパクトを与えることなく絶えず行われているリストア時にはセグメント毎に適切なスナップショットと必要なログレコードが抽出されるスナップショットへのログレコードの適用は並列に非同期的に実行される

MongoDB との互換性 MongoDB Ver.3.6 との API 互換性 Aggregation Pipeline やインデックス演算子などの現状の対応状況については下記ドキュメントを参照 https://docs.aws.amazon.com/ja_jp/documentdb/latest/developerguide/functional-differences.html

セキュリティ : データベース認証 Salted Challenge Response Authentication Mechanism (SCRAM) をサポート SCRAM はMongoDB 用のデフォルトの認証メカニズム SCRAM を利用してMongoDB SDK mongo シェルおよび各種ツールを使用して Amazon DocumentDB クラスターに接続可能

セキュリティ : 暗号化通信の暗号化 TLS 対応セキュリティグループによるアクセス制御 IAMポリシー VPCのサービス提供パブリックエンドポイントは現状作れない保存データの暗号化クライアントからは透過的 AES-256を使用した暗号化 KMSを使用カスタママネージドキーも使用可

セキュリティ : 監査ログ Amazon DocumentDB の Audit log を CloudWatch Logs に直接転送可能データ定義言語 (DDL) 認証認可およびユーザー管理イベントが保存される Filter Pattern を設定し Metrics を作成することが可能なため CloudWatch を利用したアラートの発報も可能 Auth Create event string DDL Create event string Amazon DocumentDB UME Create event string Amazon CloudWatch Logs https://docs.aws.amazon.com/ja_jp/documentdb/latest/developerguide/event-auditing.html

モニタリング CloudWatchメトリクスに各種情報からクエリチューニングやスケールアウトアップを判断主要なメトリクス一覧メトリクス ( 一部 ) CPUUtilization Freeable Memory Swap Usage Read IOPS Write IOPS Read Latency Write Latency Read Throughput Write Throughput Disk Queue Depth Network Receive Throughput Network Transmit Throughput DB Connections 説明 CPU 使用率インスタンスで使用可能な RAM の量インスタンスによって使用されているスワップスペースの量 1 秒あたりのディスク読み取りまたは書き込みオペレーションの平均数読み取りまたは書き込みオペレーションの平均時間 1 秒あたりのディスク読み取りまたは書き込みデータの平均量ディスクに対する読み取りまたは書き込み待機中の I/O オペレーションの数 1 秒あたりのインスタンスに対する送信または受信ネットワークトラフィックのレート ( メガバイト単位 ) DB インスタンスに接続されたクライアントセッションの数

使い分け

Amazon RDS との使い分け Amazon RDS を優先的に検討したほうがよい場合トランザクションを使って信頼性の高いクエリを投げたい金融認証などの事前定義されたスキーマに従って使用したい Oracle MySQL PostgreSQLなどの RDBMSのエコシステムを使いたい場合

Amazon DynamoDB との使い分けよりスケーラブルに使いたいのであればDynamoDB を選択するほうが良いデータの持ち方として JSONのよりネストした構造にたいして柔軟にアクセスさせたいという場合には DocumentDBのほうが開発工数を下げられる可能性が高い { "_id" : "1234567889", "userid" : "akuwano", "hobby" : MongoDB, "username" : "Akihiro Kuwano, info : { age : 41, country : japan, states : tokyo, } }

移行方法

移行パターン十分な停止時間を取れるはいダンプツール ( シンプル ) いいえ移行完了までを高速にしたいいいえはい Database Migration Service とダンプのハイブリッド ( 柔軟複雑 ) Database Migration Service ( 柔軟 )

ダンプツール停止時間は長いが一番シンプルな方法 MongoDB 標準ツールだけで可能 mongodump, mongorestore 1. アプリケーションは旧 DB への書き込みを停止 5. アプリケーションの向き先を DocumentDB に変更 3. 必要ならインデックス作成 (optional) 2. Mongodump でバックアップの取得 4. Mongorestore でバックアップをレストア

DMS を活用アプリの停止時間は短く手順もシンプルだがフルロードが終わるまで時間がかかる 3. DMS でフルロードから CDC を実行 1. アプリケーションは旧 DB 読み書きを継続 2. 必要ならインデックス作成 (optional) 4. アプリケーションの向き先を DocumentDB に変更

DMS とダンプのハイブリッドアプリの停止時間は短くマイグレーション完了までも高速だが手順が複雑となる 5. DMS で CDC を実行 1. アプリケーションは旧 DB 読み書きを継続 3. 必要ならインデックス作成 (optional) 6. アプリケーションの向き先を DocumentDB に変更 2. Mongodumpでバックアップの取得 4. Mongorestore でバックアップをレストア

DocumentDB Index Tool ソースの MongoDB からインデックス情報を Export する事が可能 DocumentDBとの互換性についてインデックスコレクションデータベースなどのチェックサポートされていないインデックスタイプのインデックスコレクションのチェックなどなどを実施 https://github.com/awslabs/amazon-documentdb-tools

料金体系

Amazon DocumentDB の料金体系 Instances: Size/hr * count (db.r5.large $0.334/hr) 東京リージョンの場合 Instance (primary) Instance (replica) Instance (replica) I/O: Count ($0.24/million) Storage: GB/mo ($0.12/GB) Amazon S3 Backup: GB/mo ( ストレージクラスタの容量と同量まで無料 $0.023/GB)

Amazon DocumentDB の料金体系東京リージョンの場合 1 インスタンス料金 2I/O 回数 r5.large( $0.334/h ) から r5.24xl( $16.032/h ) まで $0.24 / 100 万 req 3 ストレージ料金 $0.12 / GB-month 4 バックアップストレージバックアップストレージ $0.023 / GB-month

月額料金計算例東京リージョンの場合 db.r5.large/ 容量 50GB( バックアップ50GB) / 平均 77.2 iops ( 月間 2 億 I/Oリクエスト )/ リージョン外への通信量 10GB 要素時間単位のオンデマンドインスタンス料金 https://aws.amazon.com/jp/documentdb/pricing/ 詳細 $240.48 ($0.334 * 24 * 30) データベースストレージおよび I/O 容量 $6 ($0.12 * 50) I/O リクエスト $60 ($0.24 * 200) バックアップストレージ $0 データベースストレージ容量まで無料データ転送 $1.026 ($0.114 * 9) 1GB までは無料合計 $307.506

対応リージョン東京バージニアオハイオオレゴンアイルランドソウルフランクフルト

アジェンダドキュメント指向 DBとは Amazon DocumentDBの概要 Amazon DocumentDBのアーキテクチャ Amazon DocumentDBの使い方まとめ Amazon DocumentDBのサービス概要他サービスとの使い分け移行方法

まとめマネージドドキュメントデータベースとして Amazon DocumentDB がリリースドキュメント指向データベースの選択肢が増えたことで AWS のデータベースソリューリョンとしてより多様なユースケースに対応可能クラスタ運用なしに堅牢かつ高速なドキュメント指向 DB としてお使いください!

運用が辛い

から

運用が辛くない!

へ!

参考資料公式ページ https://aws.amazon.com/jp/documentdb/ ドキュメントやチュートリアルなどのリソース https://aws.amazon.com/jp/documentdb/develop er-resources/ Amazon DocumentDB Forum https://forums.aws.amazon.com/forum.jspa?foru mid=332

Q&A お答えできなかったご質問については AWS Japan Blog https://aws.amazon.com/jp/blogs/news/ にて資料公開と併せて後日掲載します

AWS の日本語資料の場所 AWS 資料で検索 https://amzn.to/jparchive

公式 Twitter/Facebook AWS の最新情報をお届けします @awscloud_jp 検索もしくは http://on.fb.me/1vr8ywm 最新技術情報イベント情報お役立ち情報お得なキャンペーン情報などを日々更新しています!

AWS の導入お問い合わせのご相談 AWS クラウド導入に関するご質問お見積資料請求をご希望のお客様は以下のリンクよりお気軽にご相談下さい https://aws.amazon.com/jp/contact-us/aws-sales/ AWS 問い合わせで検索して下さい