Presentation Title Here

Size: px

Start display at page:

Download "Presentation Title Here"

みひないさし
5 years ago
Views:

1 AWS Black Belt Online Seminar AWS Database Migration Service アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト柴田竜典

2 自己紹介柴田竜典 [ シバタツ ] データベース関連の相談ごと何でも担当 AWS への移行を機に Aurora や Redshift に乗り換えたいオンプレミス商用 DB 製品を AWS にフォークリフティングしたい好きな AWS のサービス : Aurora Redshift DMS 2

3 内容についての注意点本資料では 2017 年 9 月 19 日時点のサービス内容および価格についてご説明しています最新の情報は AWS 公式ウェブサイト ( にてご確認ください資料作成には十分注意しておりますが資料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合 AWS 公式ウェブサイトの価格を優先とさせていただきます価格は税抜表記となっています日本居住者のお客様が東京リージョンを使用する場合別途消費税をご請求させていただきます AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided. 3

4 オンプレミスデータベースの移行とは EC2 上にお客様が構築する AWS が提供するマネージド型 DB サービスを利用する DB エンジンも変更してマネージド型 DB サービスを利用するオンプレミス

5 データベースエンジンを変更せずに AWS に移行したいお客様の声クラウドにシステム全体を移行するためデータベースもクラウドに移行したい障害復旧やパッチ適用などの管理の手間を減らしたいなどなど

6 データベースエンジンを変更して AWS に移行したいお客様の声クラウドにシステム全体を移行するのであれば RDBMS もクラウドネイティブなものにしたい RDBMS もオートスケールさせたいが商用 DB が CPU ライセンスだとそれができない IT 予算の多くを商用 DB ライセンスが占めているなどなど

7 移行にあたっての不安や悩み業務部門 / アプリ開発部門アプリケーションへの影響はどれくらいあるのだろうか移行のための業務停止はできるだけ短くしたい IT 部門 / インフラ管理部門業務部門に何をガイドしてよいのか分からない従来の管理手法がどう変わるのだろうか移行のための費用はあまりかけたくない

8 移行にあたって決めなくてはいけないこと 1. What? 対象システムは? 4. Where? 移行先は? 2. Why? 移行理由は? 3. How? 移行戦略は? 5. When? 期限は? 6. Who? 担当者は?

9 AWS が提供する移行支援サービス計画移行運用ディスカバリー設計変換移行運用最適化 AWS TCO Calculator AWS Application Discovery Service VM Import/Export AWS Server Migration Service AWS Database Migration Service AWS Schema Conversion Tool AWS Storage Gateway AWS Snowball VMware on AWS AWS CloudWatch AWS Config AWS CloudFormation AWS CloudTrail AWS Service Catalog AWS Trusted Advisor AWS サポート

10 AWS Database Migration Service とは既存のデータベースを最小限のダウンタイムでマイグレーションするサービス同種はもちろん異種プラットフォームの移行にも対応オンプレミス DB DB on EC2 DMS オンプレミス DB DB on EC2 RDS RDS S3 オンプレミス to オンプレミスは非対応

11 移行中もアプリケーションは稼働したままオンプレミス Oracle インターネット or VPN or Direct Connect DMS Aurora / Redshift 1. DMS を準備 2. DMS がソース DB とターゲット DB に接続 3. 対象のテーブルスキーマなどを選択アプリケーションユーザー 4. DMS がテーブルを作成しデータをロードしレプリケーション開始 5. 任意のタイミングでアプリケーションをターゲット DB 側に切り替え

12 AWS Database Migration Service の特徴最小限のダウンタイムオンラインでの継続的レプリケーション対応簡単なセットアップソース DB への変更はほぼ不要使用が簡単 MC で数回クリックするだけ高い信頼性マルチ AZ 可能なインスタンス豊富な対応プラットフォーム Oracle, Microsoft SQL Server, SAP ASE, MySQL, MariaDB, PostgreSQL, Aurora, Redshift, S3, MongoDB, DynamoDB 低コスト c4.large インスタンスで 0.196USD/ 時間 = 24 時間 30 日で USD

13 AWS Schema Conversion Tool とはソースDBのスキーマビューファンクションストアドプロシージャの大部分を自動的にターゲットDB 互換フォーマットに変換できるデスクトップアプリケーション

14 AWS Schema Conversion Tool の特徴手動変換の補助自動変換できない個所とその理由を明示アプリケーション SQL に対応アプリケーションソースコードをスキャンして変換評価レポートの作成何割のオブジェクトが自動変換可能かなどの PDF レポートを数クリックで作成でき変換工数の事前見積もりを補助豊富な対応プラットフォーム Oracle, Microsoft SQL Server, Teradata, Netezza, Greenplum, Vertica, MySQL, MariaDB, PostgreSQL, Aurora, Redshift

15 同種 DB 間でダウンタイムを最小限に移行ソース : オンプレミス EC2 RDS 上の Oracle AWS Database Migration Service ターゲット : RDS 上の Oracle ソース : オンプレミス EC2 RDS 上の MySQL AWS Database Migration Service ターゲット : Amazon Aurora

16 異なる DB 間でダウンタイムを最小限に移行ソース : オンプレミス EC2 RDS 上の Oracle AWS Schema Conversion Tool ターゲット : Amazon Aurora ソース : オンプレミス EC2 RDS 上の Oracle AWS Database Migration Service ターゲット : Amazon Aurora

17 データベースの統合ソース : オンプレミス EC2 RDS 上の複数の MySQL AWS Database Migration Service ターゲット : Amazon Aurora

18 継続的なデータレプリケーションソース : Amazon Aurora AWS Database Migration Service ターゲット : 異なるリージョンの Aurora テスト用 Aurora オンプレミス MySQL

19 DMS 以外の移行方法十分な停止時間を取れるはいソースとターゲットが同一 DB エンジンはいダンプツールシンプルいいえいいえ CSV アンロードシンプルソースとターゲットが同一 DB エンジンはい DB 純正のレプリケーションが組めるはいレプリケーション高速いいえいいえ AWS DMS 柔軟

20 AWS Database Migration Service 詳細

21 対応データベース詳細プラットフォームソースターゲット Oracle Database 10g R2 以降 10g R1 以降 Microsoft SQL Server 2005 以降 2005 以降 Microsoft SQL Database on Azure すべて - SAP ASE 15.7 以降 15.7 以降 MySQL / MariaDB / Aurora 5.5 以降 5.5 以降 PostgreSQL 9.4 以降 9.3 以降 Redshift - すべて S3 - すべて MongoDB 2.6.x, 3.x - DynamoDB - すべて SQL Server 2016 および SAP ASE 16 は DMS 2.2 から対応 DMS 2.2 から対応 CDC は非サポート

22 設定の流れ 1. DMS インスタンスの作成 2. エンドポイントの設定 3. タスクの定義インスタンスサイズ VPC バージョンマルチ AZ パブリックアクセス ( ストレージサイズサブネットグループ AZ セキュリティグループ KMS キー ) ソースとターゲットそれぞれの RDBMS プラットフォームホスト名ポート SSL 有効無効ユーザー名パスワード移行タイプ ( ターゲットテーブルが存在していた場合 LOB 対応最大 LOB サイズログの有効化 ) 実行

23 エンドポイントとのセキュリティ corporate data center DMS のパブリック IP オンプレミス DB のポートへのインバウンドのみ許可 DMS のプライベート IP ターゲット DB のポートへのインバウンドのみ許可ソース DB FW DMS ターゲット DB DX / VPN / SSL の利用 Availability Zone security group

24 移行タイプ既存のデータを移行する (FullLoad) 現時点でソース DB に入っているすべてのデータをターゲット DB に移行するデータ変更のみをレプリケートする (Change Data Capture / CDC) ソース DB に対する変更データをキャプチャしターゲットに適用するアプリケーションは稼働したまま移行可能既存のデータを移行して継続的な変更をレプリケート

25 FullLoad の仕組みターゲットが Redshift 以外 1. DMS インスタンスがソース DB から 8 テーブル並列に各テーブルから 1 万行ずつ SELECT 2. 必要に応じて DMS インスタンスがデータを変換しターゲット DB に INSERT メモリーだけで処理しきれない場合は DMS インスタンスの EBS がスワップ領域として使われる行長が長く行長 1 万行 8 テーブルが DMS インスタンスのメモリーサイズを超える場合は読み取り行数単位を小さくデフォルト値でありユーザーが変更可能

26 Redshift への FullLoad の仕組み 1. DMS インスタンスがソース DB から 8 テーブル並列に各テーブルから 1 万行ずつ SELECT 2. DMS インスタンスが必要に応じてデータを変換し Amazon S3 の専用バケットに CSV として出力 3. CSV ファイルが 1MB に達したら Redshift が S3 から COPY( ロード ) Redshift 中は COPY 時にテーブル単位で排他ロックを取る点に注意デフォルト値でありユーザーが変更可能

27 S3 as a Target を使用した方法 1. DMS インスタンスがソース DB から 8 テーブル並列に各テーブルから 1 万行ずつ SELECT 2. DMS インスタンスが必要に応じてデータを変換し Amazon S3 に CSV として出力 3. ユーザーが任意のタイミングで COPY または Spectrum を使用して INSERT SELECT INSERT SELECT 時に ELT が可能デフォルト値でありユーザーが変更可能

28 特に監視すべきメトリクスその 1 CPUUtilization 高い場合はより大きなインスタンスに変更 DMS の一般的な 1 番目のボトルネックは CPU FreeableMemory / SwapUsage / FreeStorageSpace GB 単位でスワップしていたらより大きなインスタンスに変更並列度または読み取り行数単位を減らす DMS の一般的な 2 番目のボトルネックはメモリー

29 特に監視すべきメトリクスその 2 NetworkTrasmitThroughput NetworkReceiveThroughput タスクが多くネットワーク帯域が不足している場合は帯域確保のためにインスタンスを分割

30 CDC の仕組み 1. DMS インスタンスがソース DB のトランザクションログ ( バイナリログ WAL REDO ログ ) を 5 秒間隔でキャプチャ 2. DMS インスタンスが SQL に変換しトランザクション COMMIT 順にターゲット DB に実行 3. ターゲット DB に接続できない遅い場合 or FullLoad が完了していない場合は DMS インスタンス内にキューイング

31 FullLoad と CDC を組み合わせた場合の動作 1. FullLoad 中のソースへの更新をキャプチャ 2. FullLoad が完了したテーブルごとにキューイングしていた 1. の更新を適用 3. すべてのテーブルの FullLoad 完了後は単一のテーブルの更新ではなくトランザクションとして更新を適用

32 RDBMS 純正 CSV アンローダーと CDC の組み合せ 1. ソースDBへの書き込みを一時停止 2. 日時 ( 秒まで ) をメモ 3. RDBMS 純正 CSVアンローダーでアンロード開始 4. ソースDBへの書き込みを再開 5. CSVアンロード完了 6. ターゲットDBへCSVロードを実行の日時を指定してCDC 開始

33 トランザクションログのキャプチャに必要な条件 Oracle Database ARCHIVELOG モード and FORCE LOGGING サプリメンタルロギング Microsoft SQL Server MS-Replication or MS-CDC MySQL binlog_format=row のバイナリログ PostgreSQL 論理レプリケーション

34 特に監視すべきメトリクスその 1 CDCChangesDiskSource ソース DB の COMMIT 待ちトランザクションが長い場合はディスクサイズを大きく CDCChangesDiskTarget 増え続ける場合ターゲット DB が遅いなどが原因放置しているとディスクフルで停止

35 特に監視すべきメトリクスその 2 CDCLatencySource ソース DB で実行された時間から DMS インスタンスが COMMIT をキャプチャしたまでの時間の平均秒 CDCLatencyTarget DMS インスタンスが COMMIT をキャプチャした時間からターゲット DB に適用したまでの時間の平均秒

36 CDC のシーケンス図ソース DB INSERT ソース DB ログ DMS ターゲット DB ログ書き込み COMMIT ログ書き込み CDCLatencyTarget キャプチャキャプチャ CDCLatencySource INSERT 実行 COMMIT 実行

37 CDCLatency* の注意点 CDCLatencySource + CDCLatencyTarget が大きくなり続ける場合 DMS に貯まりすぎることでいつかディスクフルで停止要チューニング CDCLatencySource + CDCLatencyTarget = 0 はソース DB のすべての変更がターゲット DB に適用されていることを保証しないトランザクションログの確認はポーリングなので DMS が気づいていない変更が存在する場合がある

38 移行時のソース DB の停止方法 1. ソース DB の停止準備ができたタイミングでソース DB にマーカーのトランザクションを INSERT INSERT INTO options VALUES ('the_end', 'true'); COMMIT; 2. ターゲット DB でマーカーの到着を確認 SELECT value FROM options WHERE key = 'the_end'; 3. 確認できればマーカー以前のトランザクションはすべてターゲット DB に適用されていることが保証される

39 移行速度を速めるチューニング FullLoad 中はセカンダリインデックス (PK 以外 ) は作成せず FullLoad 完了後に作成する Right-Growing やメンテナンスを避け FullLoad 完了後にまとめて作成すべき FullLoad 中は制約やトリガーを作成せず DMS 停止直前に作成する制約チェックやトリガー実行はソース DB で行われているはずなので DMS 中はターゲット DB で行わない

40 タスク設定でのチューニング並列度と読み取り行数単位を大きくする FullLoad のみ対象スキーマ or テーブルを絞り込む列フィルターで対象行を絞り込む >=, <=, =, BETWEEN

41 タスク設定での高度なチューニング列フィルターを使って 1 個のテーブルを複数タスクに分ける FullLoad に有効テーブルロックを取るターゲット DB では不可対象スキーマ or テーブルの絞り込みを使って 1 個の DB を複数タスクに分ける CDC に有効 FK 違反などのトランザクション管理に注意することタスクA タスクB タスクC タスクA タスクB タスクC

42 東京リージョンでの料金インスタンス + ストレージ + データ転送 t2.micro: 0.028USD/ 時から c4.4large: 1.564USD/ 時までの 8 種類マルチ AZ の場合は 2 倍 0.138USD/GB/ 月マルチ AZ の場合は 2 倍受信 : 無料同一 AZ 内への送信 : 無料別 AZ への送信 : 0.010USD/GB 別リージョンへの送信 : 0.090USD/GB インターネットへの送信 : 0.14USD/GB 以下

43 各 RDBMS プラットフォームによる制限 AWS Database Migration Service ユーザーガイドをご確認ください

44 AWS Schema Conversion Tool 詳細

45 対応データベース詳細ソース Oracle Database 10.2 以降 SQL Server 2008 以降 MySQL 5.5 以降 PostgreSQL 9.1 以降 Greenplum 4.3 以降 Netezza 以降 Teradata 13 以降 Vertica 以降ターゲット Aurora (MySQL PostgreSQL) MySQL Oracle PostgreSQL Redshift Aurora (MySQL PostgreSQL) SQL Server MySQL PostgreSQL Redshift Aurora (PostgreSQL) MySQL PostgreSQL Aurora (MySQL) MySQL PostgreSQL Redshift Redshift Redshift Redshift

46 設定の流れ 1. デスクトップ環境にインストール 2. ソース DB の設定 3. スキーマの選択 4. 評価レポートの確認 5. ターゲット DB の設定 Window, Mac, Fedora, Ubuntu + JRE 8u45 以降プロジェクト名 OLTP or DW RDBMS プラットフォームホスト名ポートユーザー名パスワード SSL 有効無効 JDBC ドライバーのパスなど RDBMS プラットフォームホスト名ポートユーザー名パスワード SSL 有効無効 JDBC ドライバーのパスなど

47 メインビュー

48 評価レポートビュー (1/2)

49 評価レポートビュー (2/2)

50 評価レポートビューの Action Items タブ

51 データ移行ビュー DMS タスクの作成と制御が可能

52 マッピングルールの作成 SCT のデフォルトマッピングルールを変更可能データタイプの変更 INTEGER NUMBER(10,0) NUMERIC(10,0) オブジェクトを別スキーマに移動オブジェクトの名称変更プレフィックスの追加削除置換サフィックスの追加削除置換データベーススキーマテーブル列単位で設定

53 ターゲットが Redshift の場合分散キーと分散スタイル & ソートキーの決定を補助最適化戦略の選択メタデータ ( ソース DB 側の索引など ) のみを使用する統計情報のみを使用する統計情報は SCT から取得するメタデータと統計情報を使用する各情報を考慮する重みの設定が可能複数の提案と各提案の信頼度について提示現行の Redshift をスナップショット経由でコピーしソースとターゲット共に Redshift にすることでこの機能だけ利用することも可能

54 アプリケーション SQL の変換アプリケーションソースコードをスキャンし SELECT や DML などの SQL を抽出して変換 Java, C++, C# などスキーマ同様に評価レポートを作成可能変換された SQL に手動で微調整を加えたあとにソースコードに適用することも可能

55 アプリケーションSQLの変換 (+) 結合 ROWNUM 関数の多くなど

56 データ移行エージェントソース DB のデータを CSV 形式でアンロードするエージェント S3 にアップロードするまで Redshift へ COPY するまで自動化することも可能アンロードしたファイルを Snowboll などで AWS へ DMS では時間が掛かりすぎる場合の代替案現在対応しているソース DB: Greenplum Netezza Oracle Teradata Vertica

57 拡張パックソース DB にあってターゲット DB にない機能をターゲット DB で実現するためにインストール RDBMS on EC2 対象 Sending Service Job Emulation Service Functions Emulation Redshift 対象 Functions Emulation

58 まとめ : DMS と SCT と組み合わせた移行の手順 1. SCT でテーブル定義と PK 制約を移行 2. DMS で FullLoad と CDC 開始 3. FullLoad 完了後にセカンダリインデックスを定義 4. CDCLatency が小さくなったタイミングでアプリからの書き込み停止 ( ダウンタイム開始 ) 5. マーカーをソース DB に INSERT 6. マーカーのターゲット DB 到着を確認 7. アプリがターゲット DB に接続 ( ダウンタイム終了 )

59 参考資料 Amazon Database Migration Service Amazon Database Migration Service ドキュメント AWS Schema Conversion Tool ドキュメント SchemaConversionTool/ 59

60 60 Q&A

オンラインセミナー資料の配置場所 AWS クラウドサービス活用資料集 http://aws.amazon.

61 オンラインセミナー資料の配置場所 AWS クラウドサービス活用資料集 AWS Solutions Architect ブログ最新の情報セミナー中のQ&A等が掲載されています 61

62 AWS の導入お問い合わせのご相談 AWS クラウド導入に関するご質問お見積り資料請求をご希望のお客様は以下のリンクよりお気軽にご相談ください AWS 問い合わせで検索してください

63 63 ご参加ありがとうございました

AquaSystems-DBMigration

AquaSystems-DBMigration オンプレミスデータベースの AWS 移ガイドアマゾンウェブサービスジャパン株式会社データベースソリューションアーキテクト柴典 2017 年 9 5 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 内容についての注意点本資料では 2017 年 9 5 時点のサービス内容および価格についてご説明しています