PowerPoint_template_v1.3.pptx / パワーポイントテンプレート

Size: px

Start display at page:

Download "PowerPoint_template_v1.3.pptx / パワーポイントテンプレート"

まいえうづき
5 years ago
Views:

1 オンプレから Aurora へ移行する 3 つの手法 ~ mysqldump, xtrabackup, DMS ~ #AuroraMatsuri 2017/07/05

2 アジェンダはじめに自己紹介 funplex 紹介 funplex のシステム移行オンプレから Aurora へ移行 mysqldump XtraBackup DMS さいごに

3 はじめに

自己紹介名前出身パクジョンウン経歴韓国出身渡日 12 年目 https://www.facebook.com/jungeun.park.

4 自己紹介名前出身パクジョンウン経歴韓国出身渡日 12 年目インフラ 10 年目元グリーのインフラ構築監視運用などインフラ全般の業務を担当グリーインフラ女子の一人現ファンプレックスのインフラ AWS 歴 :3 年得意分野インフラ費用削減 AWS レクチャー好きなもの Aurora Au 肉 Au 酒

5 funplex とは? グリー株式会社 100% 出資のゲーム運営子会社社名 : ファンプレックス株式会社親会社 : グリー株式会社設立 :2015 年 10 月 15 日従業員数 :205 名 (2017 年 7 月時点 ) 主要事業 : ゲーム運営運営タイトル数 :13 本インタビュー記事 ( 出典 :SGI) 代表取締役社長 : 下村直仁コーポレートサイト : グリーが培ったゲーム運営のノウハウを集結したソーシャルゲーム運営のプロフェッショナル集団です

6 funplex のシステム移行

7 funplex のシステム移行システム移管の効果技術的負債の返済耐障害性の向上コストパフォーマンスの最適化運用の最適化

8 funplex のシステム移行システム移管で行うこと cache サーバーを ElastiCache へ移行 DB サーバーを Aurora へ移行モニタリングツール変更リポジトリ変更 deploy ツール変更 MWバージョンアップグレードドメイン変更 CDN 導入管理ツールの移行 SSL 証明書変更開発環境の移行 QA 環境の移行

9 funplex のシステム移行システム移管で行うこと cache サーバーを ElastiCache へ移行 DB サーバーを Aurora へ移行モニタリングツール変更リポジトリ変更 deploy ツール変更 MWバージョンアップグレードドメイン変更 CDN 導入管理ツールの移行 SSL 証明書変更開発環境の移行 QA 環境の移行

10 オンプレから Aurora へ移行

11 Aurora 移行の手法以下の 3 つの手法について事例を紹介します mysqldump XtraBackup DMS (Database Migration Service) 紹介する事例は契約上タイトル名が公開できない旨ご了承くささい

12 Aurora 移行の手法 mysqldump XtraBackup DMS (Database Migration Service)

13 Aurora 移行の手法 mysqldump + mysqlimport (Bulk Data Loading) プロダクト : 某ソーシャルゲーム DAU : 約 4 万 (2016/06 システム移行当時 ) DB エンジン :MySQL 5.6 DB クラスター数 :7 以上 DB レコード数 :3 億件以上 mysqldump でテーブル定義とテーブルデータを整形してデータを抽出 mysqlimport でデータを並列でロード 1 mysqldump 取得 dump. sql 2 mysqldump 転送作業用 EC2 3 mysqlimport Aurora Cluster writes Replication Master Slave Standby MySQL 5.6 Cluster Volume システム構成図は簡略してデータベースの 1 クラスタだけ表しました

14 Aurora 移行の手法 mysqldump + mysqlimport (Bulk Data Loading) よかったところ MySQL の機能だけで済む別途インストールなど不要 Bulk Data Loading でデータ移行の高速化並列して 2 本以上のデータの流し込みが可能なのでテーブルインポートや DB インポートより早い大変だったところ mysqlimport の際にやりすぎて Aurora がハングアップした 1000 万件 (1.78GB/csv) を 9 本並列を流し仕込んだ aurora (db.r3.8xlarge) が耐えられなかったトランザクションが長すぎたためトランザクションのサイズを小さくした流す本数を減らして対応した (100 万件を 5 本並列に変更 )

15 Aurora 移行の手法 mysqldump + mysqlimport (Bulk Data Loading) データ量が少ないデータベースレコード数が少なければテーブルインポートや DB インポートでも良いサービス停止を伴うデータ量に比例して長時間かかるケースがある 13 時間くらい所要レコード数 3 億件の規模

16 Aurora 移行の手法 mysqldump XtraBackup DMS (Database Migration Service)

17 Aurora 移行の手法 XtraBackup プロダクト : 某ソーシャルゲーム DAU : 約 6 万 (2016/11 システム移行当時 ) DB エンジン :MySQL 5.6 DB クラスター数 :20 以上 DB レコード数 :6 億件以上 DB サーバーに XtraBackup をインストールする Aurora Cluster 1 XtraBackup 取得 Replication 2 S3 bucket に backup 転送 S3 bucket 3 aurora 構築 writes Master Slave Standby MySQL 5.6 Cluster Volume システム構成図は簡略してデータベースの 1 クラスタだけ表しました

18 Aurora 移行の手法 XtraBackup よかったところ mysqldump と比べて Backup, Restore が高速 Aurora 構築が簡単 XtraBackup から直接 Aurora の構築が可能 DB サーバーに XtraBackup をインストール作業自体は大して大変ではなかった大変だったところ

19 Aurora 移行の手法 XtraBackup 簡単かつ確実に移行可能テーブルの定義を手動でインポートしたりしなくても済むサービス停止を伴うデータ量に比例して長時間かかるケースがある 5 時間くらい所要レコード数 6 億件規模いくつか制約あり ora.migrate.mysql.html#aurora.migrate.mysql.s3 プロシージャは対応しないなど

20 Aurora 移行の手法 mysqldump Xtrabackup DMS (Database Migration Service)

Aurora 移行の手法 DMS (Database Migration Service) プロダクト : 某ソーシャルゲーム DAU : 約 8 万

6 DB クラスター数 :25 以上 DB レコード数 :60 億以上オンプレ環境と AWS の間を通して Replication する

で移行 Replication proxy Stunnel 6 DMS タスクでデータ移行 4 Aurora 構築 Aurora Cluster 7

21 Aurora 移行の手法 DMS (Database Migration Service) プロダクト : 某ソーシャルゲーム DAU : 約 8 万 (2017/06 システム移行当時 ) DB エンジン :MySQL 5.1, 5.6 DB クラスター数 :25 以上 DB レコード数 :60 億以上オンプレ環境と AWS の間を通して Replication する Stunnel 以外に Direct Connect でも可能 DMS はデータとキーしか移行できないためテーブル定義などは mysqldump で移行 Replication proxy Stunnel 6 DMS タスクでデータ移行 4 Aurora 構築 Aurora Cluster 7 Replication 設定 Replication Master Slave Standby snap shot Replication MySQL snapshot 取得 MySQL Replication DMS 5 Replication 2 snapshotで構築 Instance 構築 3 5.1から5.5へVerUP 8 Replication 設定 Cluster Volume writes システム構成図は簡略してデータベースの 1 クラスタ (MySQL5.1 ケース ) だけ表しました

22 Aurora 移行の手法 DMS (Database Migration Service) 移行当日の作業が簡単 Behind がないことを確認して Aurora へ Endpoint を変更するだけサービスのメンテナンス時間が短縮できるよかったところ大変だったところ事前準備として構築作業が発生 AWS 中に MySQL on EC2 + DMS + Aurora を各クラスター分構築するので手間がかかる MyISAM など replication ができないテーブルは手動でテーブルを作成

23 Aurora 移行の手法 DMS (Database Migration Service) 長時間サービス停止が困難なシステムオンプレと AWS 間の NW 品質によってレプリケーションが影響を受ける Stunnel はほとんど behind が発生しなかった DMS の制約あり ce.mysql.html Drop Table Rename Table できないなど

24 さいごに

25 まとめ各移行手法の工数 mysqldump XtraBackup DMS 事前準備の工数メンテ作業の工数サービス停止時間

26 さいごにシステムの規模や状況に応じて適切な移行方法を選びましょう!! Aurora 専用のかっこいいアイコンがほしいです

27 ご静聴ありがとうございました!!

Enterprise Cloud ＋紹介資料

Enterprise Cloud ＋紹介資料 Oracle Exadata の AWS 移行事例のご紹介 Oracle Exadata の移行アジェンダお客様の声 PoC フェーズ移行診断環境構築データ移行チューニング移行フェーズ業務 / データ整理運用管理まとめ 2 お客様の声性能改修規模コスト移行方式運用環境移行しても現状のデータベースと同等のパフォーマンスを出せるのか利用システムはどの程度改修が必要なのかコスト