スライド 1

Size: px

Start display at page:

Download "スライド 1"

ありさあいきょう
5 years ago
Views:

1 Amazon Aurora 移行 ~ マガシークの変 ~ 2017/7/5 システム開発本部システム開発部藤本忠

2 自己紹介氏名 : 藤本忠 ( ふじもとただし ) 所属 : システム開発本部システム開発部社歴 :2012 年 4 月 ~ 担当 : サーバネットワークの設計構築運用保守サイトリニューアルデータセンター移行などを経験関心 : クラウド全般 IoT データ分析基盤趣味 : テニス錦織圭 1

3 マガシークについて事業内容インターネットを活用した婦人服紳士服などの販売主力 4 事業設立 2003 年 4 月 1 日 OUTLET 事業従業員数 150 名 (2017 年 3 月 31 日現在 ) 男女比 4:6 売上高 181 億円 (2017 年 3 月期 ) 本社 / 東京都千代田区三番町 3-8 泉館三番町ビル 3F MAGASEEK 事業事業所 magaco/ 神奈川県座間市広野台 2 丁目 10-8 プロロジスパーク座間 2 3F magaco とは当社物流センターの愛称 EC ソリューション事業 dfashion 事業取扱いブランド数約 2000 ブランド 2

4 マガシーク事業メンズからレディスドメスティックからインポートブランドまで幅広い商材を揃え独自のレコメンドシステムで使えば使うほどお客様の好みに合った商品を提案する自分のためのセレクトショップをコンセプトにした総合ファッションECサイトを運営しています 3

5 アウトレットピーク事業メンズからレディスまで人気ブランドの旬の商品を24 時間 365 日オフプライスで手に入れることができる国内最大級のアウトレットファッションECサイトを運営しています良質な商品をリーズナブルに提供するというコンセプトのもと商品のセレクトから配送まで高いクオリティのサービスを提供しています 4

6 d fashion 事業 NTTドコモが運営する d マーケット内のファッション通販サイトマガシークとドコモの共同運営でドコモポイントが使えたり商品代金を月々の携帯電話料金と一緒にお支払いいただけたりと d fashion ならではの利便性が特長ですドコモだけでなく各社スマートフォンタブレット PCからのアクセスが可能となりますます便利にご利用いただけます 5

7 EC ソリューション事業アパレルメーカーや百貨店のオフィシャル ECサイト運営業務を受託するサービスを展開しています当社が蓄積してきたEC 運営のノウハウインフラを最大限活用しサイトの構築から運営プロモーションまでトータルなワンストップサービスを行っています 6

8 本日のプログラム移行概要開発フェーズ移行フェーズ運用フェーズ移行理由ゴール設定接続アーキテクチャ DMSによるデータ移行トラブル事例最後に 7

9 本日のプログラム移行概要開発フェーズ移行フェーズ運用フェーズ移行理由ゴール設定接続アーキテクチャ DMSによるデータ移行トラブル事例最後に 8

10 移行理由事業要因年 2 回のセールがアクセスのピークセール期はアプリサーバをクラウドでスケールシステム全体のスケーラビリティを確保したい今のオンプレ環境では限界 9

11 移行理由システム要因ハードウェアソフトウェア老朽化システムのレガシー化スピード感ださないと変えられない 10

12 移行理由外部要因 2015 年 10 月東京リージョンで Amazon Aurora 利用可能に今やるしかない 11

13 ゴール設定 RDB は Oracle RAC から Amazon Aurora システム全体をオンプレ環境からクラウド環境外部連携インタフェースにより移行できない一部環境は除く 12

14 ゴール設定 ( 結果 ) RDB は Oracle RAC から Amazon Aurora システム全体をオンプレ環境からクラウド環境外部連携インタフェースにより移行できない一部環境は除く 13

15 本日のプログラム移行概要開発フェーズ移行フェーズ運用フェーズ移行理由ゴール設定接続アーキテクチャ DMSによるデータ移行トラブル事例最後に 14

16 接続アーキテクチャ背景弊社のPHP 基盤に MariaDB Connector/Javaドライバーのような Amazon Auroraのフェイルオーバーに対応できる機能なし 15

17 接続アーキテクチャ要件 Auroraのフェイルオーバーに即時反応レプリカのスケール管理が容易利用システムごとにレプリカノードを分別 read-write splitの実現 16

18 接続アーキテクチャ検討案 DBロードバランサの導入 Cluster Endpoint, Reader Endpointの利用アプリケーション独自基盤で実装 17

19 DB ロードバランサの導入 read-write split 機能に期待したがマスタとレプリカの振り分けが意図した挙動にならなかった 18

20 Cluster Endpoint, Reader Endpoint の利用 Cluster Endpoint フェイルオーバー時 30 秒程度の書き込み不能時間が発生 19

21 Cluster Endpoint, Reader Endpoint の利用 Reader Endpoint レプリカ全体のラウンドロビンな為目的や利用システムに応じた振り分け制御ができない 20

22 アプリケーション独自基盤で実装 MariaDB Connector/Javaドライバアーキテクチャを参考独自基盤で開発要件どおりの制御やオプションを実現 21

Endpoint Instance Endpoint Instance Endpoint

RDS DB instance read replica RDS DB instance

23 接続アーキテクチャ構成イメージフロントエンドシステムバックエンドシステムシステム管理者 Amazon EC2 Amazon EC2 Amazon EC2 Amazon EC2 Amazon EC2 Instance Endpoint Instance Endpoint Instance Endpoint Instance Endpoint Instance Endpoint Instance Endpoint RDS DB instance RDS DB instance read replica RDS DB instance read replica RDS DB instance read replica RDS DB instance read replica RDS DB instance read replica 22

24 本日のプログラム移行概要開発フェーズ移行フェーズ運用フェーズ移行理由ゴール設定接続アーキテクチャ DMSによるデータ移行トラブル事例最後に 23

25 DMS によるデータ移行データ移行環境 DMS レプリケーションタスク Source Endpoint Target Endpoint Oracle RAC AWS Direct Connect DMS レプリケーションインスタンス Amazon Aurora Master Amazon Aurora Replica Magaseek data center 24

26 DMS によるデータ移行 DMS レプリケーションタスクの分割基幹システム全体に影響するデータ移行プレ移行 DMS レプリケーションタスク ( 一括移行 -> 差分移行 ) 差分移行期間 : 約 1 週間移行当日サービス停止 ( オンプレ ) データコンバートサービス切替 (AWS) 25

27 DMS によるデータ移行 DMS レプリケーションタスクの分割個別系システムのデータ移行プレ移行 DMS レプリケーションタスク ( 一括移行 -> 差分移行 ) 差分移行期間 : 約 1 週間移行当日サービス切替 (AWS) 26

28 DMS によるデータ移行こんなこともやりましたプレ移行 DMS レプリケーションタスク ( 一括移行 -> 差分移行 ) 差分移行期間 : 約 1 週間移行当日サービス停止 ( オンプレ ) データコンバートサービス切替 (AWS) サービス切替 (AWS) レプリカのみ使用ラグが許容されるサービスを事前切替 27

29 本日のプログラム移行概要開発フェーズ移行フェーズ運用フェーズ移行理由ゴール設定接続アーキテクチャ DMSによるデータ移行トラブル事例最後に 28

30 トラブル事例運用開始直後からデッドロックの発生ロックタイムアウトが頻発 29

31 トラブル事例 ( 原因と対応 ) 原因 DELETE 処理やSELECT FOR UPDATE 処理におけるロック範囲が不適切で競合が発生 MySQL(InnoDB) 独自のロック機構対応 - インデックス追加 SQL チューニング - 一時表の利用 30

32 本日のプログラム移行概要開発フェーズ移行フェーズ運用フェーズ移行理由ゴール設定接続アーキテクチャ DMSによるデータ移行トラブル事例最後に 31

33 最後に Amazon Aurora の性能 E コマースサイトのレスポンスが向上 - マルチ AZ にもかかわらず約 100~200 ミリ秒の向上バッチ処理の性能が大幅に向上 - 全体的に約 3 倍のパフォーマンス向上 32

34 最後に AWS のサービスを組みあわせることで AWS Direct Connect AWS DMS Amazon RDS 検証やリハーサルが簡単に実施可能 33

35 最後に別のワークに集中できるアプリーション移行問題解決タスクマネジメント 34

36 最後に移行当日タスクの PERT 図 35

37 最後にサーバレスアプリケーション改善データ分析基盤 IoT DevOps マイクロサービス人工知能 36

38 ご清聴ありがとうございました只今エンジニアも募集中です!!

10年オンプレで運用したmixiをAWSに移行した10の理由

10年オンプレで運用したmixiをAWSに移行した10の理由 10 年オンプレで運用した mixi を AWS に移行した 10 の理由 AWS Summit Tokyo 2016 株式会社ミクシィオレンジスタジオ mixi システム部北村聖児自己紹介 2 名前北村聖児所属株式会社ミクシィオレンジスタジオ mixiシステム部担当サービス SNS mixi 今日話すこと 3 mixi を AWS に移行した話 mixi 2004 年 3 月 3 日にオフィシャルオープンした