PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

ゆたかひのと
7 years ago
Views:

1 Amazon DynamoDB テーブル設計と実践 Tips アマゾンデータサービスジャパン株式会社シニアソリューションアーキテクト安川健太 Session #TA Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole or in part without the express consent of Amazon.com, Inc.

自己紹介安川健太 (@thenkentiest) AWSソリューションアーキテクト担当するお客様の範囲

2 自己紹介安川健太 AWSソリューションアーキテクト担当するお客様の範囲スタートアップゲームソーシャルサービス時々エンタープライズ好きなAWSサービス Amazon DynamoDB, Amazon Cognito

3 Amazon DynamoDBとは NoSQL as a Service 超高速予測可能な一貫したパフォーマンスシームレスなスケーラビリティと低コスト運用管理必要なし低レイテンシ SSD プロビジョンスループット無限に使えるストレージ ADMIN

4 Amazon DynamoDBの特徴管理不要かつ高い可用性と堅牢性プロビジョンドスループット容量制限のないストレージキャパシティクライアント

5 ご利用のお客様の一部

6 短期間でのDAUの急上昇もわずかなスケールパラメータの調整で対応 AWSの利用: 人気のドット絵ファンタジー騎士とドラゴンのインフラをAWSで運用ビジネス効果: 少数精鋭で開発を行う中で運用面の負担を最小化ゲームの開発リソースを最大化

7 DAUが5,000から30,000に6 日間で跳ね上がった時の作業 AWS Elastic Beanstalkのインスタンス数 Amazon DynamoDBのスループット

8 Amazon DynamoDBに増え続けるチャットデータを確実に保存しつつサービスの成長に備える AWSの利用 : 2012 年のサービスの開始時からEC2 上にシステムを構築課題 : MySQLとRedisでは増え続ける思い出のデータを保持しながらのサービス成長が難しいビジネス効果 : Amazon DynamoDBの導入で増え続けるデータの心配やバックアップやメンテナンスを考慮する必要がなくなった

9 RedisからAmazon DynamoDBへ Redisは高機能だがデータ保存容量の単価は高いタイムスタンプでの検索が主用途だったので Rangeキーを用いた検索で置き換え EC2 Redis

10 Amazon DynamoDBの基礎知識

11 TableのKey, Indexとクエリ操作 Hash Key Scan + + Global Secondary Index Hash Key + Range Key + Hash Keyを超えたQuery Scan Query Local Secondary Index Range Key 以外でのQuery

12 Table 操作についての基礎知識 1 アイテムの更新はアトミックに可読み込みの一貫性は2 種類 Strongly Consistent Eventually Consistent Filterを設定したScanやQuery

13 並列アクセスの制御 Conditional Update Attribute Xの値がに等しい/ 以上 / 以下だったらなどの条件を付けた更新 Set 型を使う際には値がSetに含まれるかどうかも条件に設定可 Atomic Counter 値の加算減算などの操作を競合なく実行 UpdateItemのADDを利用

14 テーブル設計 &クエリ例

15 ユースケースごとのテーブル設計及びクエリの例 1. アプリのイベント履歴管理 Hash + Range keyの利用例 2. ソーシャル画像共有アプリ複数テーブルによるデータモデル LSI GSIの利用例 3. マルチプレーヤゲーム Conditional UpdateとAtomic Counter 4. 投票システム Write Sharding

16 アプリのイベント履歴管理ユーザIDをHash Key + Time StampをRange KeyにユーザごとにTimestampで範囲指定してクエリ可 Your Battle History Charlie :21 Won! Dan :48 Won! Alice :42 Won! Battle History User (Hash) Timestamp (Range) Opponent Alice :21:20 Bob Lost Alice :42:01 Bob Won Alice :48:00 Dan Won Alice :21:11 Charlie Won Result

17 Amazon DynamoDBのデータも解析に利用 Amazon Elastic MapReduce (EMR) で読み出し Amazon Redshiftで直接読み込み EMRでFilterした後 Redshiftに読み込み etc EC2

18 Time Based Partition Tables Log-2014-July Log-2014-June Log-2013-June COPY Simple Query Delete Table

19 ソーシャル画像共有アプリ Bob Steak! 10:18 Alice Beer! 10:21 Name: Alice Carol BBQ! w/alice 10:12 Dan Riajuee 10:11 Alice BBQ! w/carol 10:12 Alice Starting BBQ! 10:09 Mail: foo Profile: some texts Home My Posts My Profile

20 テーブル設計 2つのテーブルを定義ユーザ情報テーブル友達リストテーブル Friends Table Users Table

21 友達一覧を取得 Attribute (string, number, binary, set) Users Table Item Primary Key (Hash) User (Hash) Nicknames Bob [ Rob, Bobby ] Alice [ Allie ] Carol [ Caroline ] Dan [ Daniel, Danny ]

22 友達一覧を取得 Friends Table Users Table User (Hash) Friend (Range) Hash + Range Primary Key User (Hash) Nicknames Bob Alice Bob [ Rob, Bobby ] Alice Bob Alice [ Allie ] Alice Carol Carol [ Caroline ] Alice Dan Dan [ Daniel, Danny ]

23 友達一覧を取得 Friends Table Users Table User (Hash) Bob Friend (Range) Alice Aliceの友達一覧を取得 1. Query (Table = Friends, Hash = Alice, Range = *) User (Hash) Nicknames Bob [ Rob, Bobby ] Alice Alice Bob Carol 2. BatchGetItem(Bob, Carol, Dan) Alice [ Allie ] Carol [ Caroline ] Alice Dan Dan [ Daniel, Danny ]

投稿画像の保存と検索 Images Table Bob User Hash) Image Range) Date Link Bob aed4c 2013-10-01 s3:// Bob cf2e2 2013-09-05 s3:// Bob

24 投稿画像の保存と検索 Images Table Bob User Hash) Image Range) Date Link Bob aed4c s3:// Bob cf2e s3:// Bob f93bae s3:// Alice ca61a s3:// Bobの投稿画像一覧を取得 Query (Table=Images, Hash= Bob, Range=*) でもある時刻以降の画像を取得したかったら?

25 ある日時の画像取得 Images Table Local Secondary Index をDateに張る User Image Date Link Bob aed4c s3:// Bob cf2e s3:// Bob f93bae s3:// Alice ca61a s3:// Table User Date Image Bob cf2e2 Bob aed4c Bob f93bae Alice ca61a ByDate Local Secondary Index

26 画像にユーザのタグ付け ImageTags Table Image f93baeにaliceをタグ付け PutItem(Table = ImageTags, Hash = f93bae, Range = Alice) Bob Image aed4c aed4c f93bae f93bae User Alice Bob Alice Bob Image f93baeにタグ付けされたユーザ一覧 Query(Table = ImageTags, Hash = f93bae, Range = *) でもあるユーザがタグ付けされてる画像の一覧を取得したかったら?

27 ユーザのタグ付き画像一覧 ImageTags Table UserにImageをRangeキーとした Global Secondary Indexを張る Image (Hash) User (Range) User (Hash) Image (Range) aed4c Alice Bob aed4c aed4c Bob Bob f93bae Bob f93bae f93bae Alice Bob Alice Alice aed4c f93bae Aliceがタグ付けされた画像一覧 Table ByUser Global Secondary Index

28 マルチプレーヤーバトル Characters designed by Bleed, AnthonyMyers and surt at and provided under CC license

29 RDBでやろうとするとボスのレコードをロック HPからダメージ分を引くボスのレコードを更新ボスのレコードのロックを解除低遅延での実行は難しい上 DBにも大きな負荷が

30 DynamoDBの場合 HP > 0を条件にしたConditional Write 成功したらダメージ反映完了条件にあわずに失敗したら既に誰かが倒したってことで処理通常の1アイテム更新と同じコスト&パフォーマンス!

31 戦士の攻撃 Character Status { } Id : fighter123, HP : 250, MP : 100, Attack : 100, Defence : 50, LastHitBy: null { } Id : fighter123, HP : 4890, MP : 800, Attack : 250, Defence : 150, LastHitBy : null

32 ドラゴンに80のダメージを与えた Character Status { } Id : fighter123, HP : 250, MP : 100, Attack : 100, Defence : 50, LastHitBy: Update: HP : -80, LastHitBy: figher123 Expect: HP > 0 { } Id : dragon234, HP : 4810, MP : 800, Attack : 250, Defence : 150, LastHitBy : figher123

33 魔法使いはいかづちの杖を振りかざした Character Status { } Id : wizard456, HP : 980, MP : 400, Attack : 20, Defence : 40, LastHitBy: null { } Id : dragon234, HP : 4810, MP : 800, Attack : 250, Defence : 150, LastHitBy : figher123

34 杖からいかづちがほとばしる Character Status { } Id : wizard456, HP : 980, MP : 400, Attack : 20, Defence : 40, LastHitBy: null Update: HP : -9999, LastHitBy: wizard456 Expect: HP > 0 { } Id : dragon234, HP : -5189, MP : 800, Attack : 250, Defence : 150, LastHitBy : wizard456

35 再び戦士の攻撃 Character Status { } Id : fighter123, HP : 250, MP : 100, Attack : 100, Defence : 50, LastHitBy: Update: HP : -78, LastHitBy: figher123 Expect: HP > 0 { } Id : dragon234, HP : -5189, MP : 800, Attack : 250, Defence : 150, LastHitBy : wizard456 ConditionalCheckFailedException

36 投票システム投票者候補者 A 得票数 : 20 Votes Table 候補者 B 得票数 : 30

37 投票システム投票者 UpdateItem ADD 1 to 候補者 A 候補者 A 得票数 : 21 Votes Table 候補者 B 得票数 : 30

投票に備えてDynamoDBをスケール投票者 200,000 Write Capacity Unitsをプロビジョニング Partition 1 600

38 投票に備えてDynamoDBをスケール投票者 200,000 Write Capacity Unitsをプロビジョニング Partition writes/s Partition L 600 writes/s Partition M 600 writes/s Partition N 600 writes/s Votes Table

39 パーティションへのアクセスに偏り投票者 Partition writes/s Partition L 600 writes/s Partition M 600 writes/s Partition N 600 writes/s 候補者 A Votes Table 候補者 B

40 Write ShardingでPartition 負荷を分散候補者 IDにランダムなSuffixをつけて書き込み候補者 ID 得票数投票者候補者 Aに投票 +1 候補者 A_ + rand(0, 10) +1 候補者 A_0 1,848 候補者 A_1 2,183 候補者 B_0 4,084 集計時は全 Suffixにクエリ候補者 B_1 3,984

41 Write Shardingした上での投票投票者 UpdateItem: 候補者 A_ + rand(0, 10) ADD 1 to 得票数候補者 A_1 候補者 A_4 候補者 A_7 候補者 B_1 候補者 B_4 候補者 B_5 候補者 B_8 候補者 A_2 候補者 A_3 候補者 A_5 候補者 B_3 候補者 B_7 候補者 A_6 候補者 A_8 Votes Table 候補者 B_2 候補者 B_6

42 Write Shardingした場合の集計バッチプロセス 1. 合算 2. 保存投票者候補者 A_1 候補者 A_4 候補者 A_7 候補者 A Total: 2.5M 候補者 B_1 候補者 B_4 候補者 B_5 候補者 B_8 候補者 A_2 候補者 A_3 候補者 A_5 候補者 B_3 候補者 B_7 候補者 A_6 候補者 A_8 Votes Table 候補者 B_2 候補者 B_6

43 まとめユーザの行動履歴 Hash+Range Key Time Based Partition Table ソーシャル画像共有アプリ Index Table LSI / GSI マルチプレーヤーバトル Conditional Update + Atomic Counter 投票システム Write Sharding

44 SAVE THE DATE Cloud Storage & DB Day 検索

text

text ecurity -1-1-1 認証 -1-2 認証種類 -1- 認証 -1-4 認証 -1-5 認証 -1 81 -1- 認証認証使認証方法漏工夫理解 1 認証間行本人認証権限持本人確認本人識別情報使認証 ID 組合権限持本人確認本人識別用本人知得秘密情報文字記号