内容についての注意点本資料料では 2016 年年 8 月 17 日時点のサービス内容および価格についてご説明しています最新の情報は AWS 公式ウェブサイト ( ) にてご確認ください資料料作成には十分注意しておりますが資料料内の価格と AWS

Size: px

Start display at page:

Download "内容についての注意点本資料料では 2016 年年 8 月 17 日時点のサービス内容および価格についてご説明しています最新の情報は AWS 公式ウェブサイト ( ) にてご確認ください資料料作成には十分注意しておりますが資料料内の価格と AWS"

ぎんとゆきしげ
5 years ago
Views:

1 AWS Database Migration Service アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト下佐粉昭 1

2 内容についての注意点本資料料では 2016 年年 8 月 17 日時点のサービス内容および価格についてご説明しています最新の情報は AWS 公式ウェブサイト ( ) にてご確認ください資料料作成には十分注意しておりますが資料料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合 AWS 公式ウェブサイトの価格を優先とさせていただきます価格は税抜表記となっています日本居住者のお客様が東京リージョンを使用する場合別途消費税をご請求させていただきます AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided. 2

自己紹介下佐粉昭 ( しもさこあきら ) Twitter - @simosako 所属 : アマゾンウェブサービスジャパン

3 自己紹介下佐粉昭 ( しもさこあきら ) Twitter 所属 : アマゾンウェブサービスジャパン技術本部ソリューションアーキテクト好きな AWS サービス :Redshift, RDS, S3 人間が運用等から開放されて楽になるサービスが好きです 3

4 AWS Database Migration Service 4

5 DB 移行行の難しさ = コストと時間高価なマイグレーションソフトセットアップ運用維持が大変スキーマやプロシージャ変換の手間アプリケーションに長いダウンタイムが発生 5

6 AWS Database Migration Service(DMS) RDB の移行行を支援するサービスセットアップ利利用が容易易オンプレミス RDB オンプレミス RDB 使った分だけの安価な費用異異機種間のデータ移行行も対応スキーマ変換を補助するツールの提供 RDS DMS RDS 低負荷で継続的なレプリケーション RDB on EC2 RDB on EC2 オンプレ to オンプレは未サポート 6

7 マイグレーション中もアプリケーションの稼動が可能 RDB VPN AWS Database Migration Service AWS Internet DMS インスタンスを開始ソースターゲット DB に接続 DB スキーマ表などを選択 Database Migration Service により表の作成データロードが実行行その後データが同期され続ける準備ができたらアプリケーションを新しい DB にスイッチ 7

8 表単位のレプリケーション必要な表のみもしくは一部の列列のみのレプリケーションも可能ソース DB ターゲット DB DMS インスタンス L 8

9 多彩なトポロジーに対応 1:n, n:1, n:m ターゲット DB ソース DB ソース DB ターゲット DB ソース DB ターゲット DB DMS インスタンス DMS インスタンスターゲット DB ソース DB 9

10 ユースケース 1DB マイグレーションオンプレミス DB から AWS へのマイグレーションオンプレミス DC VPN Customer VPN ソースDB DMS ターゲットDB Gateway Gateway VPC 間のマイグレーション VPC Peering ソースDB DMS ターゲットDB 10

11 ユースケース 2 レプリケーション継続的レプリケーション機能 (CDC)+ マルチ AZ 継続的な RDB レプリケーションサービスとして DMS を利利用例例 ) オンプレミス to AWS データ連携基盤の一部リージョン間のデータベース連携 DWHへの継続的なデータ反映 11

12 サポートするデータベースソースターゲット SSL 接続 Oracle on-pre/ec2 10g, 11g, 12c Ent/SE/SE1/SE2 10g, 11g, 12c Ent/SE/SE1/SE2 RDS 11g, 12c Ent/SE/SE1/SE2 11g, 12c Ent/SE/SE1/SE2 MySQL on-pre/ec2/rds 5.5, 5.6, , 5.6, 5.7 PostgreSQL on-pre/ec 以降降 RDS 以降降 SQL Server on-pre/ec2 2005, 2008, 2008R2, 2012, 2014 Ent, Std, Workgroup, Developer RDS 2008R2, 2012, 2014 Ent, Std, Workgroup, Developer , 2008, 2008R2, 2012, 2014 Ent, Std, Workgroup, Developer 2008R2, 2012, 2014 Ent, Std, Workgroup, Developer Aurora RDS MySQL 互換としてサポート MySQL 互換としてサポート MariaDB on-pre/ec2/rds MySQL 互換としてサポート MySQL 互換としてサポート Redshift ( ソースとしてはサポート無し ) ターゲット DB としてサポート n/a SAP ASE (Sybase ASE) on-pre/ec 以降降 15.7 以降降 2 1:CDC 利利用不不可 2: 日本語データを含む場合は 15.7 SP121 以降降 n/a n/a 12

13 使った分だけの価格体系 dms.t2.micro: $0.028/ 時間 dms.c4.4xlarge: $1.564/ 時間等 DMS インスタンス + 汎用 SSD ストレージ 0.138/GB/ 月 + 通信費用インバウンド : 無料料同一 AZ 内での通信 : 無料料アウトバウンド ( 同リージョン別 AZ):$0.010/GB アウトバウンド ( インターネット ):$0.140/GB 東京リージョンでの 2016 年年 8 月時点の価格です正確な値は以下 URL をご確認ください利利用方法によっては別途 CloudWatch Logs や S3 の利利用料料金金が発生します 13

14 DMS と SCT を組み合わせて利利用する 14

15 DMS が移行行するもの移行行対象表定義インデックス定義データ制約 ( 一部 ) 移行行しないものビュープロシージャトリガーシノニム制約 ( 参照制約やユニーク制約 ) 等 15

16 AWS Schema Conversion Tool(SCT) 異異なる RDB 間での各種オブジェクトの移行行 ( 変換 ) を補助するツール Windows, Mac, Linux にダウンロードして利利用稼動 OS は 64bit 版のみサポート ODBC で接続 SSL サポートありソースコード内の SQL 分析に対応移行行対象 : 表インデックストリガープロシージャ制約ビュー 16

17 データベース移行行の手順 :SCT と DMS の位置づけ DDL スキーマの移行行 + プロシージャ等 (SCT) データの移行行 (DMS) 17

18 参考 Schema Conversion Tool スクリーンショット調査対象の DB を指定オブジェクトを調査し変換可能な量量を表示 18

19 参考 Schema Conversion Tool スクリーンショット ( 続き ) 変換前 (Oracle PL/SQL) 19 変換後 (Aurora/MySQL Function)

20 Schema Conversion Tool がサポートする組み合わせ 20

21 埋め込み SQL の変換支援ソースコードをスキャンして埋め込み SQL(DML) を発見見し変換 ( 右表の対応 ) C++,Java,C# に対応事前にスキーマ (DDL) の変換が必要 21

22 Schema Conversion Tool(SCT) のまとめ SCT で DDL を移行行し DMS でデータを移行行する SCT は DML 移行行を補助するツール SCT の変換が最適な形とは限らない自動変換できないオブジェクトもある SCT で大まかな変換と自動変換できない部分を抽出し... 生成された DDL の最適化自動変換出来なかった部分の修正移行行担当者の作業 22

23 DMS 利利用のポイント 23

24 設定と利利用の流流れソースターゲットの DB の準備ソース DB DMS ターゲット DB DMS レプリケーションインスタンスの作成エンドポイントの作成 VPC 内にインスタンスが作成される接続する DB への接続定義 ( ソース & ターゲット ) タスクの作成 & 実行行データ転送範囲と方法の定義 1 インスタンスに複数タスク可能 24

25 DMS インスタンスの選択 T2 は CPU がバースト制 T2 と C4 ファミリーから選択可能 T2: テスト評価小規模 C4: 一般的なマイグレーション上位インスタンスの方が CPU メモリが増えるだけでなくネットワーク帯域も増加 25

26 レプリケーションタスクの設定 Migrate existing data( フルロード ) DMS がソース DB から対象表のデータを読み取るターゲット DB にデータをロードする Replicate ongoing changes(cdc) DMS がソース DB のトランザクションログから更更新差分を抽出継続的にターゲット表にアプライするソース DB の負荷が低いレプリケーションを実現表全体をフルロードした後に継続的に CDC も可能 26

27 データ移動の仕組み 1 Migrate existing data( フルロード ) ソース表を一旦インスタンスのEBSにコピーして一括ロード EBSは暗号化されていますソース表が大きい場合は分割して実行行 RDB 固有のファンクションを呼び出している例例 )Oracle であれば Direct Path Load の利利用 27

28 データ移動の仕組み 2 Replicate ongoing changes(change Data Capture:CDC) トランザクションのログ (REDO ログ BIN ログ等 ) を読み取って更更新差分を転送する低負荷な継続的レプリケーションを実現ログ読み取りの方法は RDB それぞれで異異なる読み取れるように事前に設定が必要長期的にレプリケーションし続ける場合は DMS インスタンスをマルチ AZ 構成にする事を推奨 28

29 CDC を利利用する前に必要な設定ソースDBでトランザクションログが読めるように設定するログを出すようにする設定と権限の設定 RDBMS ごとの詳細はマニュアルに記載 Oarcle の例例 )ALTER DATABASE ADD SUPPLEMENTAL LOG DATA : ( 詳細はマニュアルを参照 ) RDSの場合は通常のコマンドで変更更出来ないため注意例例 )RDS OracleでSupplemental loggingを有効にする exec rdsadmin.rdsadmin_util.alter_supplemental_logging('add ); exec rdsadmin.rdsadmin_util.alter_supplemental_logging('add','primary KEY ); :( 詳細はマニュアルを参照 ) 29

30 タスクとテーブルマッピング特定のスキーマや表のみ対象にすることを JSON フォーマットで指定可能 include でスキーマ配下の表を含める exclude でスキーマ配下の表を対象外にワイルドカード (%) で名前指定も可能 { } "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "Test", "table-name": "%" }, "rule-action": "include" { } "rule-type": "selection", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "Test", "table-name": "DMS%" }, "rule-action": "exclude" 30

スキーマ名等を変換しつつデータ移行行が可能 "rule-type": "transformation" で変換スキーマ名表名列列名の変換マッピング "rename" ソースにある特定列列を削除してターゲットに反映 "remove-column" 大文字小文字もしくは小文字大文字 "convert-lowercase" / "convert-uppercase"

31 スキーマ名等を変換しつつデータ移行行が可能 "rule-type": "transformation" で変換スキーマ名表名列列名の変換マッピング "rename" ソースにある特定列列を削除してターゲットに反映 "remove-column" 大文字小文字もしくは小文字大文字 "convert-lowercase" / "convert-uppercase" プレフィックスサフィックス "add-prefix" / "remove-prefix" / "replace-prefix" "add-suffix" / "remove-suffix" / "replace-suffix" 詳細は以下の Using Table Mapping with an AWS Database Migration Service Task を参照 31

32 モニタリング (CloudWatch) DMS インスタンスの画面でモニタリング可能より詳細な情報は CloudWatch で取得可能 32

33 トラブルシューティング 1 トラブルの多くはネットワーク周りの設定によるものセキュリティグループのチェック RDBのインバウンド接続のチェックオンプレミスのファイアーウォールのチェック Endpoint 定義のチェックポート番号は合っているか? セキュリティグループ設定とあっているか? Endpoint 定義時に接続テストを実行行してください 33

34 トラブルシューティング 2 タスク作成時に Enable logging を ON に ( 推奨 ) CloudWatch Logs で DMS の稼動状況を確認可能にエラー時は RDB 側のログ確認も重要 34

35 トラブルシューティング 3 より詳細な情報を取得するには TASK の Advanced Settings で各種 Control table の作成にチェックを 35

36 DMS とセキュリティ 1 経路路 2 セキュリティグループ 3 ディスク暗号化 4IAM FW では DMS の IP アドレスからのインバウンドを許可セキュリティグループで DMS のプライベート IP アドレスから RDB のポートへのインバウンドを許可 36 Firewall VPN/SSL の利利用オンプレミス DMS RDB 操作ユーザはIAMで制御 security group EBS 暗号化がデフォルトON RDBへ接続可能なようにセキュリティグループを設定 Availability Zone RDS RDB on EC2 security group

への接続はファイアーウォールで制限マルチ AZ の場合は DMS の IP アドレスが 2 つになる点に注意 1 経路路

37 セキュリティ 1: 経路路 VPN 専用線インターネット経由接続 (SSL) の 3 種類インターネット経由で繋ぐ場合は DMS にも RDB にもパブリック IP が必要オンプレミス RDB への接続はファイアーウォールで制限マルチ AZ の場合は DMS の IP アドレスが 2 つになる点に注意 1 経路路オンプレミス RDB Firewall DMS security group RDS RDB on EC2 security group Availability Zone 37

38 SSL 証明書の登録接続を SSL で暗号化する場合は SSL 証明書を DMS に登録する必要がある Amazon RDS への SSL 接続に必要な証明書は以下 URL よりダウンロード可能 38

39 SSL 接続のオプション none: 暗号化無し require: 暗号化 verify-ca: 暗号化 + サーバ証明書の確認 verify-full: 暗号化 + サーバ証明書および証明書アトリビュートのホスト名とサーバのホスト名がマッチしているかを確認 39

40 セキュリティ 2: セキュリティグループ DMS: ソースターゲット DB へのアウトバウンド接続ソースターゲット DB:DMS からのインバウンド接続マルチ AZ の場合は DMS の IP アドレスが 2 つある点に注意 2 セキュリティグループオンプレミス RDB Firewall DMS security group RDS RDB on EC2 security group Availability Zone 40

41 セキュリティ 3: ディスク暗号化 DMS のディスクはデータの一時領領域デフォルトで暗号化される (SSE-KMS) オンプレミス RDB Firewall 3 ディスク暗号化 DMS security group Availability Zone RDS RDB on EC2 security group 41

セキュリティ 4:IAM IAM ユーザで DMS を操作するためには DMS への許可ポリシーだけでなく EC2 や KMS への許可も必要参考 ) https://docs.aws.amazon.

42 セキュリティ 4:IAM IAM ユーザで DMS を操作するためには DMS への許可ポリシーだけでなく EC2 や KMS への許可も必要参考 ) CHAP_Security.IAMPermissions.html オンプレミス RDB Firewall DMS security group 4IAM Availability Zone RDS RDB on EC2 security group 42

それぞれのインスタンスタイプを異異なるものにしたりディスクサイズを異異なるサイズにすることはできないディスク同期障害発生時はタスクが

43 落落ち葉葉拾拾い 1 DMS のマルチ AZ 構成マルチ AZ の場合 2 つの DMS インスタンスが作成されそれぞれ別の IP アドレスが付与される ( 双方の料料金金がかかる ) DMS インスタンス Primary DMS インスタンス Standby それぞれのインスタンスタイプを異異なるものにしたりディスクサイズを異異なるサイズにすることはできないディスク同期障害発生時はタスクが一時的に停止しレプリケーションインスタンスが再開後に続きから実行行される Availability Zone Availability Zone 43

44 落落ち葉葉拾拾い 2 DMS インスタンス作成後の変更更名前インスタンスタイプマルチ AZ の ON/OFF ディスクサイズセキュリティグループは後から変更更可能インスタンスタイプマルチ AZ の ON/OFF ディスクサイズの変更更は完了了まで DMS インスタンスが利利用できなくなる 44

45 まとめ :AWS Database Migration Service データベース移行行のサービス汎用的なレプリケーション用途にも利利用可能多様なRDBをサポートし異異なるRDBの移行行をサポートすぐに使い始められコスト効果が高い移行行を補助するSchema Conversion Toolを提供 45

46 Q&A 46 [ 導入に関しての問い合わせ ] us/aws- sales/ [ 課金金請求内容またはアカウントに関するお問い合わせ ] us/

47 Webinar 資料料の配置場所 AWS クラウドサービス活用資料料集 47

48 公式 Twitter/Facebook AWS jp 検索索もしくは最新技術情報イベント情報お役立立ち情報お得なキャンペーン情報などを日々更更新しています! 48

49 補足 :CDC について GA 時点では長期間の CDC 継続利利用はサポートされていませんでしたが現在は正式にサポートされています CDC を長期間利利用される場合はマルチ AZ 構成で DMS インスタンスを作成される事を推奨します 49

50 補足 :DMS の Redshift サポートについて Redshift へのデータ投入 S3 バケットにデータが一時的に保存され Redshift に COPY コマンドで投入されます一時データ置き場である S3 バケットについて S3 の利利用費用はお客様負担です S3 へのアクセス用 Role:dms-access-for-endpoint が DMS インスタンスに追加され権限で S3 にアクセスされますバケットは dms- から始まる名前で作成されます一時置きのデータは Redshift に COPY 完了了後に削除されます作成したバケットは Endpoint が削除と同時に削除されます 50

51 補足 :Redshift サポートのためのロール dms-access-for-endpoint ロールは右の権限を持ちます 51

補足情報 :AWS Database Migration Service ホームページ https://aws.amazon.com/jp/dms/ マニュアル FAQ https://aws.amazon.com/documentation/dms/ http://aws.amazon.com/jp/dms/faqs/ フォーラム https://forums.

52 補足情報 :AWS Database Migration Service ホームページマニュアル FAQ フォーラム re:invent 2015 での解説セッション (30 分の動画 ) 52

補足情報 :AWS Schema Conversion Tool ホームページ http://aws.amazon.

53 補足情報 :AWS Schema Conversion Tool ホームページマニュアル SchemaConversionTool/ ダウンロード ( 上記マニュアルの "Install and Updating" より ) フォーラム 53

54 54

データベースの近代化：シンプルなクロスプラットフォーム、最小のダウンタイムで実現するクラウド移行

データベースの近代化：シンプルなクロスプラットフォーム、最小のダウンタイムで実現するクラウド移行 AWS Database Migration Service ダウンタイムを最小限に抑えたデータベースモダナイゼーション John Winford Sr. Technical Program Manager May 31, 2017 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. アジェンダクラウドはどのように役立つか?