Alibaba Cloud [ ナレッジドキュメント ] VPN 経由での AWS S3 から AlibabaCloud OSS へのマイグレーション手順 VPN 経由でのAWS S3から Alibaba Cloud OSSへのマイグレーション手順 Ver SB Cloud Cor

Transcription

1 VPN 経由でのAWS S3から Alibaba Cloud OSSへのマイグレーション手順 Ver 1.0

2 目次 目次 1. はじめに 2. ossfsとは 3. 環境構成図 4. 導入手順 4-1. AWS 環境の準備 4-2. Alibaba Cloud 環境の準備 4-3.VPN 接続 VPNGateway 初期設定 AWS 側 VPCにアタッチ AWS 側ルートテーブルの追加 AWS 側静的ルートの追加 Alibaba Cloud 側ルートテーブルの追加 4-4.ECSへの設定 AWS CLIインストール OSSのマウント 4-5.EC2への設定 4-6.AWS VPCエンドポイントの作成 4-7. データ移行 4-8. 動作確認 5. 移行時間 ( 参考値 ) ご利用上の注意事項改版履歴

3 1. はじめに 本書は Amazon Web Services( 以下 AWS) 環境のストレージ (AWS S3) に格納されているデータを Alibaba Cloud のオブジェクトストレージサービス ( 以下 OSS) へ移行する手順を記載します 移行は AWS と Alibaba Cloud を VPN で接続後 AWS の仮想サーバー ( 以下 EC2) に proxy(squid) を設定します そして Alibaba Cloud の仮想サーバー ( 以下 ECS) を OSS と ossfs でマウントさせて ECS でのコピーコマンドでデータを移行します 2. ossfs とは ossfs は OSS をローカルファイルシステムのようにマウントするとこができる S3FS といったソフトウェアに基づいて開発されたオープンソースソフトウェアです 以下のような特徴があります ファイル書き読みやディレクトリやパーミッションのような POSIX 規格のファイルシステムの機能をサポート 大容量ファイルの multipart アップロードをサポート MD5 によるファイルの状態チェックをサポート CentOS Ubuntu に対応 (Windows 未対応 )

4 3. 環境構成図 < 構成概要 > 1) VPN 接続 AWS と Alibaba Cloud の東京リージョンに VPC を作成して VPNGateway を用いて VPN 接続 2) AWS のクラウド環境東京リージョンに作成した AWS S3 の Bucket に 移行用テストデータを配置 VPN 接続済みの VPC に EC2 を配置し proxy 環境 (squid) を作成 3) Alibaba Cloud 環境東京リージョンに移行先として OSS に Bucket を作成 VPN 接続済みの VPC に ECS を配置し ossfs と AWS CLI を設定 ECS から AWS CLI のコピーコマンドで AWS S3 からデータを OSS へ移行

5 4. 導入手順 本手順では AWS Alibaba Cloud 環境の準備から VPN 経由での移行を実施し 動作確認までの具体的な手順を記載します 4-1. AWS 環境の準備 本手順書では下記内容で AWS 環境を準備します 記載していない項目は任意です S3 バケット リージョン :Tokyo バケット名 : vpn-test-to-oss アクセス権 : パブリック許可しない 移行データ : 移行用データを配置 ( 本手順では参考として 10GB のダミーファイル ) VPC IPv4 CIDR: /16 ルートテーブル : 操作端末の IP アドレスのみインターネットゲートウェイに向ける EC2 OS:Amazon Linux システムディスクサイズ :8GB ホスト名 :s3-vpn-oss( 任意 ) セキュリティーグループ設定 : ソースが Alibaba VPC のセグメントに対して TCP3128 許可 : ソースが操作端末の IP アドレスに対して TCP22 許可 アクセスキー AWS CLI で操作するための バケットへのアクセス権があるアクセスキー

6 4-2. Alibaba Cloud 環境の準備 下記内容で Alibaba Cloud に環境を準備します 記載していない項目は任意です OSS バケット作成方法は 静的 Web ホスティング (OSS) 手順書 をご参照ください リージョン :Tokyo バケット名 : oss-from-s3( 任意 ) ACL: 非公開 VPC VPC の設定については VPC:ECS 作成手順書 をご参照ください IPv4 CIDR: /16 ECS インスタンスの作成については VPC:ECS 作成手順書 をご参照ください リージョン: アジア東南 1ゾーンA インスタンスタイプ:ecs.sn1ne.large vcpu:2 メモリ:4 GiB イメージ( パブリックイメージ ):CentOS bit システムディスクサイズ: 移行用データサイズ+5GB 以上 (OS 利用分以外に移行データサイズのキャッシュが一時的に発生するため ) セキュリティーグループ設定: ソースがAWS VPCのセグメントに対してTCP3128 許可 : ソースが操作端末のIPアドレスに対してTCP22 許可

7 4-3.VPN 接続 AWS の VPC と Alibaba Cloud の VPC を VPN で接続します VPNGateway 初期設定 AlibabaCloud_VPNGateway AWS_VPNgateway 接続設定手順 を参照して設定し 4. 接続確認 で AWS はアップ Alibaba Cloud は成功と表示されることを確認します AWS 側 VPC にアタッチ 1AWS のコンソールから作成した仮想プライベートゲートウェイを選択して アクションから VPC にアタッチ をクリックします 2EC2 を作成している VPC を選択して はい アタッチする をクリックします

8 3 仮想プライベートゲートウェイの状態が attached になっていることを確認します AWS 側ルートテーブルの追加 1AWS の VPC に紐づいているルートテーブルを選択して 編集 をクリックします

9 2 送信先に Alibaba Cloud VSwitch の CIDER を入力し ターゲットに AWS で作成した仮想プライベートゲートウェイを選択して 保存 をクリックします

10 3 追加したルートが表示されていることを確認します AWS 側静的ルートの追加 1 作成した VPN 接続を選択して 静的ルート の 編集 をクリックします

11 2 別のルールの追加 をクリックして IP プレフィックスに Alibaba Cloud Vswitch の CIDER を入力して 保存 をクリックします 3 編集リクエストの成功画面で 閉じる をクリックします 4 設定した IP プレフィックスの状態が使用可能であることを確認します

12 4-3-5.Alibaba Cloud 側ルートテーブルの追加 1Alibaba Cloud のコンソールから VPN 接続している VPC に紐づくルートテーブルの ID をクリックします 2 ルートテーブルの詳細画面で ルートエントリの追加 をクリックして 各項目を入力後 OK をクリックします ターゲット CIDER:AWS のサブネット Next Hop タイプ :VPN Gateway VPN Gateway: AlibabaCloud_VPNGateway AWS_VPNgateway 接続設定手順 で作成した Alibaba Cloud の VPN Gateway

13 3 ルートエントリが追加されていることを確認します

14 4-4.ECS への設定 S3 にアクセスするため ECS へ AWS CLI をインストール OSS にアクセスするため ECS へ ossfs をインストール 移行ファイルサイズが大きいとセッションが切れてしまうことがあるため ECS へ screen をインストール AWS CLI インストール AWS のコマンドラインツールをインストールして コンフィグを設定します その後 aws s3 ls が実行できることを確認します ( 現状では ECS から S3 へのアクセスはインターネット経由ですが コマンドラインツールの正常実行を確認します ) # pip install awscli Collecting awscli Downloading Successfully installed awscli botocore colorama docutils-0.14 futures jmespath pyasn python-dateutil rsa s3transfer six # aws --version aws-cli/ Python/2.7.5 Linux/ el7.x86_64 botocore/ # aws configure AWS Access Key ID [None]: AWS アクセスキー AWS Secret Access Key [None]: AWS シークレットキー Default region name [None]: ap-northeast-1 Default output format [None]: json # aws s3 ls :31:50 vpn-test-to-oss

15 4-4-2.OSS のマウント OSS を ECS にマウントさせるため ossfs をインストールして設定します mountpoint は任意の名称に変更可能です ls コマンドでマウントした OSS のバケット内を確認します ( 下記では test.txt を事前に OSS にアップロードしています ) # wget # yum localinstall ossfs_1.80.5_centos7.0_x86_64.rpm # vi /etc/passwd-ossfs OSS のバケット名 :Alibaba Cloud アクセスキー :Alibaba Cloud シークレットキー :wq # chmod 640 /etc/passwd-ossfs # mkdir mountpoint # ossfs OSS のバケット名 mountpoint/ -ourl=oss-ap-northeast-1-internal.aliyuncs.com -o multipart_size="1000" # ls mountpoint/ test.txt screen のインストール移行するファイルのサイズによっては OSS のマルチパートアップロード機能の処理中にセッションが切れてしまうことがあります 退避策として screen をインストールします # yum -y install screen 4-5.EC2 への設定 ECS から S3 にアクセスするため EC2 へ squid をインストールします # sudo yum install squid # sudo chkconfig squid on # sudo service squid start # sudo vi /etc/squid/squid.conf acl localnet src xxx.xxx.xxx.xxx/24 #Alibaba Cloud VSwitch CIDER を追加 :wq # sudo service squid restart 4-6.AWS VPC エンドポイントの作成

16 EC2 から S3 にインターネットを経由せずアクセスするため VPC エンドポイントを作成します 1VPC のメニューから エンドポイントの作成 をクリックします 2 エンドポイントの作成画面でサービス com.amazonaws.ap-northeast-1.s3 を選択し VPN 接続している VPC を選択してルートテーブルにチェックを入れて エンドポイントの作成をクリックします

17 3 閉じる をクリックします

18 4 作成したエンドポイントのステータスが使用可能となっていることを確認します

19 4-7. データ移行 ECS 上で AWS CLI のコピーコマンドを用いて S3 から OSS に VPN 経由でデータを移行します 1ECS で実行する AWS CLI の向き先をインターネットではなく VPN で接続した EC2 経由にするため 環境変数に追記します export で設定した環境変数はログアウトすると消えます # export HTTP_PROXY=EC2 のプライベート IP アドレス :3128 # export HTTPS_PROXY=EC2 のプライベート IP アドレス : セッションが切れることを防ぐため screen を起動します # screen -S migration 3 データを移行します # aws s3 cp s3://vpn-test-to-oss/dummy10gib.txt mountpoint/ 上記は S3 の vpn-test-to-oss バケット内にある dummy10gib.txt をマウントされている OSS へコピーしています 4 EC2 で squid のアクセスログを確認します # sudo tail /var/log/squid/access.log ECS のプライベート IP アドレス TCP_TUNNEL/ CONNECT vpn-test-to-oss.s3.ap-northeast-1.amazonaws.com:443 - HIER_DIRECT/ squid のアクセスログが確認できたら コピーが完了するまで screen のセッションからデタッチします ECS にログインしているターミナルでコントロールと a を同時に押してから d を押します <ctrl> + <a> <d> 6screen のセッションにアタッチして aws s3 cp コマンドが完了していてエラーが表示されていないことを確認します おおよその移行時間は 5. 移行時間 ( 参考値 ) を参照してください # screen -R download: s3://vpn-test-to-oss/dummy10gib.txt to mountpoint/dummy10gib.txt

20 4-8. 動作確認 移行先の OSS にログインして 移行が正常に行われたかを確認します 5. 移行時間 ( 参考値 ) 本手順での移行時間の参考値を以下に記載します Alibaba Cloud の VPNGateway の帯域幅は 100Mbps にしています データサイズ :250GB 移行時間 : 約 9 時間 50 分 データサイズ :100GB 移行時間 : 約 3 時間 50 分 データサイズ :10GB 移行時間 : 約 25 分弱

21 ご利用上の注意事項 この資料は Alibaba Cloud の提供するクラウドサービスの機能について説明したもので サービスのご利用を検討する際の参考となる技術的情報を提供するものです 今後 本資料はクラウドサービスの機能追加 変更等に合わせて 予告なく変更される場合があります 閲覧された情報は最新のものではない場合がありますので 予めご了承下さい 改版履歴 日付版数変更内容 2018/11/ 初版作成 本文書中に記載されている社名 商品名等は各社の商標または登録商標です