サーバとデータのマイグレーション ソリューション

サーバとデータのマイグレーションソリューション アマゾンウェブサービスジャパン株式会社辻義一 布目拓也 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

自己紹介 辻義一 技術統括本部ソリューションアーキテクト 布目拓也 技術統括本部ソリューションアーキテクト

Agenda マイグレーションのメリット マイグレーションのプロセス 仮想マシンコピーのためのサービス AWS Server Migration Service 紹介 大規模データのクラウドへの移行 Amazon Snowball 紹介

マイグレーションのメリット コストダウン

マイグレーションのメリット アジリティ 実需に合わせたオンデマンドな利用ビジネスのニーズにあわせた素早い対応 イノベーションの加速 オンプレミスでは難しい新領域への投資ビッグデータ IoT API サービス グローバル対応 全世界のリージョンを統一して利用可 セキュリティ AWS の優れたセキュリティ環境の利用と自社セキュリティポリシーの適用

マイグレーションのプロセス

マイグレーションのプロセス 事前調査 トレーニング AWS 基本設計 移行プラン策定 PoC 移行移行移行移行 本番稼働本番稼働本番稼働本番稼働 フィードバック

事前調査 現状調査 事前 調査 トレー ニング 全てのシステムについて洗い出し H/Wスペック リソースの使用状況 S/W構成 AWS上での動作可否 ライセンス条件 可用性要件と現在の実現方式 システム間 社外連携などの有無 運用 保守体制 リース期限 保守期限などのライフサイクル など AWS 基本設計 移行プラン 策定 PoC 本番 本稼 システム移 移行 本稼 システム移 稼働 システム移 働本稼 行 働 行 働 行

事前調査 TCO調査 現状のTCOとAWSに移行した場合のTCOを算出 適切な Apple to Apple で比較 RI の利用 現在不要なリソースは確保しないなどの 工夫をした上でのコスト算出 セキュリティ対策のコスト 4,5年ごとのリプレースのコスト 数値化できないコストや価値はリストにまとめる どこまで詳細に事前調査すべきかはケースバイケース 調査に時間やコストをかけすぎていないか見極めが大事

AWS 基本設計 アカウント構成 事前 調査 トレー ニング AWS 基本設計 移行プラン 策定 本番 本稼 システム移 移行 本稼 システム移 稼働 システム移 働本稼 行 働 行 働 行 PoC 複数のAWSアカウントを併用することで分離を実現 分離するが連携するための機能もあり 例 本番 / 開発 社内向け / 社外向け 部署ごと ネットワーク構成 AWS内のネットワーク構成 社内ネットワークとの接続 インターネットVPN / Direct Connect 専用線経由/WANサービス経由

AWS 基本設計 標準構成の定義 クラウドデザインパターンの適用検討 マネージドサービスの活用検討 セキュリティポリシー AWS にあわせたポリシーの見直し 社内への提供フロー課金管理 支払い方法 例 ) 標準構成 外向け Web サイト

移行プラン策定 目標を明確化 移行で実現したい目標はコストだけではない 定量化して評価 移行に際してどこまで手を加えるか 本番システム移移行本稼システム移稼働本稼システム移行働本稼行働行働 極力ストレート移行してから クラウドネイティブに最適化が現実解 (Lift-and-Shift) 事前調査 トレーニング AWS 基本設計移行プラン策定 PoC ストレート移行 クラウドに最適化

移行プラン策定 移行スケジュールを策定 重要度 移行難易度 コスト効果に応じて移行対象を優先度付けして 移行スケジュールを策定 システム 重要度 移行難易度 コスト効果 移行優先度 A B C アプリのバージョンアップ 再構築のタイミング HW の保守切れなどのタイミングにあわせる事も考えられる

移行 事前 調査 トレー ニング AWS 基本設計 移行プラン 策定 PoC 本番 本稼 システム移 移行 本稼 システム移 稼働 システム移 働本稼 行 働 行 働 行 移行方式 仮想マシンのコピー で一括移行 システム移行 と データ移行 の2段階に分けて移行 以下のような場合は2段階に分けて移行が望ましい データ量がかなり多い サービス停止期間を最小化したい 仮想マシンのコピー 後に必要な変更作業が多い

移行 仮想マシンのコピー で一括移行の流れ 事前作業 1. 仮想マシンのコピー して 変更作業 2. 動作テスト 本番切替 1. 既存環境停止 2. 再度 仮想マシンのコピー して 変更作業 3. 動作テスト 4. 切り替え 2 回目以降を差分のみにできるのは AWS Server Migration Service

移行 システム移行 と データ移行 の2 段階に分けて移行の流れ 事前作業 1. システム移行 作業 2. データの初期コピー 3. 動作テスト 本番切替 1. 既存環境停止 2. 差分データ同期 3. 動作テスト 4. 切り替え データ量が多い時は Amazon Snowball データベースを差分同期するには AWS Database Migraion Service

AWS Server Migration Service

Server Migration Service (SMS) オンプレミスにある仮想マシンを AWS 上にコピー 導入後の操作は AWS マネージメントコンソールや CLI から ダウンタイムを最小化 作成される S3 や EBS スナップショットの料金のみで利用可

他のツールとの比較 (VMware 環境の場合 ) VM Import (AWS CLI) AWS Management Portal for vcenter (vcenter プラグイン ) Server Migration Service (SMS) オンラインでのイメージ取得 ( クローンしてからエクスポートする事で無停止 ) (2016.9 のバージョンより ) 差分コピー 対応環境 古いバージョンの ESX や raw フォーマットなども vcenter 5.1 以降 ESXi 5.1 以降 vcenter 5.5 以降 その他のメリット VMware 環境にインストール不要 EC2 の管理を vcenter からも可能に

利用の流れ 123 が 12 24 時間ごとに繰り返される ( 最大 90 日 ) VM VM オンプレミス環境 VM VM VM VM VM VM ハイパーバイザー Server Migration Connector VM インターネット 2 スナップショットの差分を送信 1 ハイパーバイザでのスナップショット Direct Connect 3 AMI に変換 EC2 を作成 AWS リージョン VGW SMS AMI EC2 IGW Connector の導入

Step 2

Step 3

Step 4

SMSの要件 対象仮想マシン Windows 32/64 bit OS (2003-2016 Server, 7, 8, 10) Linux 64 bit OS (RHEL/CentOS 5.1-, SUSE 11-, Ubuntu 12-) 推奨事前設定 CD-ROMドライブの切断 アンチウイルスソフトの無効化 RDPなどの許可設定 動作環境 VMware: vcnter 5.5以降, ESXi 5.1以降 Hyper-V は未サポート インターネット接続 Proxy対応あり

大規模データのクラウドへの移行 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラウドへのデータ移行のモチベーション ワークロード移行 クラウドオフローディング ハイブリッド化 データセンター移行 アーカイビング BCP/DR

AWSのストレージサービス Amazon EBS (persistent) Amazon EC2 Instance Store Amazon EFS (ephemeral) ファイル ブロック Amazon S3 Amazon Glacier オブジェクト Cloud Data Migration Snow* data transport family Storage Gateway Direct Connect 3rd Party Connectors Transfer Acceleration Kinesis Firehose

AWSへのデータ移行とAWSサービス AWS Direct Connect Amazon EFS S3 Transfer Acceleration Amazon EC2 AWS DMS Amazon S3 AWS Storage Gateway Kinesis Firehose Amazon RDS Amazon Redshift 大量データ移行はS3を経由するのが一般的 AWS Snowball Amazon ES

クラウドへのデータ移行の課題 クラウドへのデータ移行における課題 基本はネットワーク経由 移行期間と回線帯域 全ての帯域がデータ移行に利用できるとは限らない 一時的な回線増強が非現実的な場合もある データ容量が多ければ多いほど深刻な問題に 50TBのデータ転送にかかる日数 250TBのデータ転送にかかる日数 回線速度 占有率 1Gbps 500Mbps 回線速度 300Mbps 占有率 1Gbps 500Mbps 300Mbps 25% 19 38 63 25% 95 190 316 50% 9 19 32 50% 47 95 158 75% 6 13 21 75% 32 63 105

AWS Snowball

AWS Snow ファミリー PRIVATE PREVIEW in TOKYO Snowball Snowball Edge Snowmobile ペタバイトスケールのデータ移行 ハイブリッド / エッジワークロードのためのコンピュート & ストレージ エクサバイトスケールのデータ移行

AWS Snowball ハードウェアアプライアンス を利用してオンプレミス クラウド間の大量データ移行を高速化 80TB の容量をもつ物理アプライアンスを配送 オンプレミス クラウド間の回線に依存しないデータ転送を実現 S3

Snowballの利用の流れ(Importの例) データをコピーして返送 コンソールでジョブの作成 データはS3に保管 届いたアプライアンスを ネットワークへ接続

(参考)50TBの転送にどれ位時間がかかるのか ネットワーク経由(再掲) Snowballを利用するケース 理想的なケースでは 運搬も含めて1週間ー10日程度 ジョブのサブミット 配送業者による配送 出荷までに1営業日 回線速度 占有率 1Gbps 500Mbps 300Mbps 25% 19 38 63 50% 9 19 32 75% 6 13 21 翌々日配達 (お客様による)Snowballの受け取り データの転送 配送業者による集荷 翌日 or 翌々日配達 AWS側のIngest開始に1営業日 SnowballからS3への転送は1日から2日 (AWS側での)Snowball の受け取り 複数のSnowball アプライアンス を利用した並列転送も可能

AWS Snowball のユースケース クラウドマイグレーション 災害対策 データセンター統廃合 コンテンツ配信

Snowballお客様事例 サイバーエージェント様 全社ファイルサーバのバックアップ 全社員が利用する共有ファイルサーバ上のデータをクラウド環境へバックアップ 数百TB 1億超のファイルをS3へバックアップ 複数のSnowballを活用し 初期移行の転送期間を短縮 変更をトラッキングして更新差分を同期 低頻度アクセスストレージを活用し コールドデータの保管コストを削減 初期移行 ライフサイクル 管理 更新差分転送 共有ファイルサーバ 更新トラッキング Amazon S3 S3 Standard - IA 差分更新ジョブ管理 Amazon SQS

Snowballお客様事例 AOSデータ様 バックアップサービス拡張 自社提供SaaSサービスの拡張オプションとしてSnowballの活用を検討中 AOSBOX へネットワーク経由のバックアップ時間を短縮 Snowball による安全なオフラインバックアップサービスを提供 AOSBOXの利用にあたり 数TB 以上の オフィスデータ RAWデータ 動画データ をネットワークなし セキュアに高速転送 Amazon S3 利用者 http://www.aosbox.com/snowball/ データ転送 AWS Snowball import Amazon S3 Amazon Glacier

Snowballお客様事例 レコチョク様 メディアコンテンツ移行 配信 Amazon S3の活用により NAS HDDで保管していた楽曲を安全且つ 耐久性のある環境へ移行 Snowballを利用して60TBの音源 データを社内環境からインポート Amazon S3 AWS Snowball 約10日間で移行を完了 インターネットを経由しない データの移動 提供元 自社特設環境 提供先

Snowballお客様事例 ドワンゴ様 業務アプリケーション移行 大量データを扱う複数の業務アプリケーションのクラウド移行にSnowballを活用 コンテンツ配信 ログ解析システムをAWS上に移行 オンプレミス環境から約60TBのデータをS3へ HDFSクライアントの利用により 中間データを生成せずに効率的に移行 接続先切り替えによりシームレスなシステム移行を実現 アプリケーション移行 コンテンツ配信 データ移行 ログ解析 HDFS Amazon S3 Amazon EMR

Snowballお客様事例 エーザイ様 創薬分子シミュレーション 化合物とタンパク質における薬物ドッキング スクリーニングシミュレーション Tokyo Region 数千コアを時間課金で利用 50TBのRawデータをSnowballにてセキュアに転送 クラスタ構築はAWS提供の CfnClusterで迅速に展開 アプリケーションにmyPresto( )を利用 Compute Fleet AWS Snowball S3 Master server Researchers http://www.jbic.or.jp/enterprise/result/001.html On-premise AWS Direct Connect Spot Instance Auto Scalling group

Snowball 利用のポイント ネットワーク移行とどちらが早いか? データの特性 容量に依存 ( 数十 TB 以上が検討範囲 ) 輸送 設置 撤去のリードタイムを考慮 データの移行先は S3 最終的な配置先 データ形式が異なる場合はその移動時間も考慮 イメージでコピーして VM import S3 から EBS/EFS へのデータコピー AWS Lambda や File Gateway を活用 オフライン転送 輸送中の更新差分は別途移行する必要がある

まとめ

まとめ 移行のためのソリューション AWS Server Migration Service (SMS) 仮想マシン移行のダウンタウンを短縮 Amazon Snowball セキュアかつ迅速なクラウドへの移行が可能 AWS Database Migration Service TechTrack 1: 本日 18:20 シンプルなクロスプラットフォーム 最小のダウンタイムで実現するクラウド移行

AWS ソリューション Day 2017- Database Day ~ クラウドへのデータベース移行 と データレイクを軸としたビッグデータ活用 ~ Database Day とは? ユーザー企業 / パートナー /AWS による導入事例や活用動向また技術情報をご紹介する IT 部門 ( エンジニア 管理者など ) 向けのカンファレンス 開催日時 会場 2017 年 7 月 5 日 ( 水 ) 10:00~17:30 (9:30 開場予定 ) 大崎ブライトコアホール (JR 大崎駅より徒歩 5 分 ) セッション 基調講演と 2 トラックのブレイクアウトセッション トラック 1: データベース移行 ( 事例セッションあり ) トラック 2: データレイク (JAWSUG-BigData 支部事例セッションあり ) URL

Thank you.