AWS Direct Connect AWS Black Belt Tech Webinar 2015 ( 旧マイスターシリーズ ) アマゾンデータサービスジャパン株式会社 ソリューションアーキテクト吉田英世 2015.01.28 (2015/07/23 Renewed)
Agenda Direct Connect 概要 Direct Connect の接続構成 Direct Connect のオペレーション 冗長構成 注意事項 ハイブリッド構成事例 まとめ
AWS Direct Connect 概要
AWS Direct Connect とは? AWS とお客様設備 ( データセンター オフィス またはコロケーション ) の間に専用線を利用したプライベート接続を提供するサービス AWS Cloud EC2, S3 などの Public サービス 専用線サービス 相互接続ポイント お客様 Amazon VPC
接続イメージ 東京リージョンの例 相互接続ポイントがある リージョンに接続 ポート接続を提供 (1Gbps or 10Gbps) お客様 お客様のダークファイバ もしくは キャリア様回線 お客様機器 もしくは キャリア様機器 AWS機器 エクイニクス様 TY2 東京リージョン
相互接続ポイントのロケーション Region Location US East(Virginia) CoreSite NY1 & NY2 Equinix DC1 DC6 & DC10 US West (Northen Calfornia) CoreSite One Wilshire & 900 North Alameda, CA Equinix SV1 & SV5 US West (Oregon) Equinix SE2 & SE3 Switch SUPERNAP 8 EU (Frankfurt) Equinix FR5 EU (Ireland) Eircom Clonshaugh TelecityGroup, London Docklands Asia Pacific (Singapore) Equinix SG2 Asia Pasific (Sydney) Equinix SY3 Global Switch Asia Pasific (Tokyo) Equinix TY2 South America (San Paulo) Terremark NAP do Brasil 東京都品川区
東京リージョンにおける Direct Connect をサポートする APN パートナー様 CFN Services Equinix, Inc. Hibernia Networks KVH 株式会社 Level3 Communications, Inc. 野村総合研究所(NRI) NTTコミュニケーションズ株式会社 Pacnet ソフトバンクテレコム株式会社 Tata Communications Verizon リストに掲載されていないパートナー様もいらっしゃるため 詳細は営業 SA にお問い合わせください http://aws.amazon.com/jp/directconnect/partners/
Connection と Virtual Interface Connection は物理インタフェース Virtual Interface は Connection 中の論理インタフェースを表す Virtual Interface はそれぞれユニークな VLAN ID をもつ VLAN100 VLAN200 VLAN300 Connection Virtual Interface Virtual Interface Virtual Interface
クロスアカウント利用 Connection を保持している AWS アカウントから 他の AWS アカウントに対し Virtual Interface を提供することが可能 情報システム部 AWSID:123456789012 社内基幹ネットワーク 開発ネットワーク Connection Virtual Interface 情報システム部 AWSID:123456789012 開発部 AWSID:000000000000 関連会社ネットワーク 関連会社 Z AWSID:999999999999
AWS Direct Connect 導入のメリット 帯域スループット向上 インターネットベースの接続よりも一貫性がある ネットワークコスト削減 $0.160 $0.140 $0.120 $0.100 $0.080 $0.060 $0.040 $0.020 $0.140 $0.135 $0.130 $0.120 $0.042 $0.042 $0.042 $0.042 First 10TB Next 40TB Next 100TB Next 350TB データ転送料金 (Out) Direct Connect Internet 東京リージョン 2015 年 1 月 28 日現在
インターネット VPN vs 専用線 コスト インターネット VPN 安価なベストエフォート回線も利用可能 専用線 リードタイム即時 ~ 数週間 ~ 帯域 品質 障害時の切り分け 暗号化のオーバーヘッドにより制限あり インターネットベースのため経路上のネットワーク状態の影響を受ける インターネットベースのため自社で保持している範囲以外での切り分けが難しい キャリアの専用線サービスの契約が必要 ~10Gbps キャリアにより高い品質が保証されている エンドツーエンドでどの経路を利用しているか把握できているため比較的容易
課金体系 AWS Direct Connect の月額利用料 1 ポート使用料 + 2 データ転送料 データ転送料金は Virtual Interface を利用している VPC のオーナーアカウントに課金 パブリック接続の場合 パブリック上のリソースを所有しているオーナーアカウントに課金
Direct Connect の接続構成
2 種類の接続メニュー (Virtual Interface の種別 ) AWS Cloud EC2, S3 などの Public サービス 専用線サービス 相互接続ポイント お客様 Amazon VPC
プライベート接続 10.0.0.0/16 192.168.0.0/24を広告 BGPによる ルーティング VPC subnet Virtual Gateway 192.168.0.0/24 10.0.0.0/16の VPC CIDRを広告 VPC subnet オフィス/データセンター 192.168.0.0/24宛の 通信をVGWに設定
パブリック接続 自前のパブリックIPを利用 パブリックIPである 203.0.113.240/28を広告 BGPによる ルーティング 203.0.113.0/28 192.168.0.0/24 接続先リージョンの AWSクラウドの ネットワークアドレスを広告 オフィス/データセンター AWSとの通信は パブリックIPでとなるため NAT(NAPT)が必要
パブリック接続 AWSからパブリックIPをアサイン パブリックIPである 203.0.113.100/31を広告 BGPによる ルーティング 192.168.0.0/24 接続先リージョンの AWS Cloudの ネットワークアドレスを広告 オフィス/データセンター AWSとの通信は パブリックIPでとなるため NAT(NAPT)が必要
論理接続 Customer Internal Network VGW 1 Customer Interface 0/1.101 Private Virtual Interface 1 VLAN Tag 101 VLAN Tag 101 BGP ASN 65001 BGP ASN 10124 BGP Announce Customer Internal BGP Announce 10.1.0.0/16 Interface IP 169.254.251.2/30 Interface IP 169.254.251.1/30 VPC 1 10.1.0.0/16 VGW 2 VPC 2 10.2.0.0/16 Route Table Destination Target 10.1.0.0/16 PVI 1 10.2.0.0/16 PVI 2 10.3.0.0/16 PVI 3 AWS Cloud PVI 5 VLAN 101 VGW 3 VLAN 102 Customer Switch + Router VLAN 103 VPC 3 10.3.0.0/16 VLAN 501 NAT / PAT Security Layer Virtual Interface Connection Public AWS Region
物理接続 相互接続ポイント拠点 Patch Panel Patch Panel AWS お客様 / パートナー様 Patch Panel ルータ クロスコネクト ルータ お客様拠点 Patch Panel それぞれのリージョン パートナー様 / お客様ラック Meet-Me Room AWS ラック
APN パートナーにより拡張された Direct Connect 相互接続ポイントにおける接続装置等の設置場所 専用線とのパッケージ提供する場合も 10Mbps, 100Mbps 等 1Gbps よりも狭帯域のサービス お客様指定の場所から相互接続ポイントまでのアクセス 広域 WAN で複数拠点から AWS への接続
パートナー様の提供サービス ( 占有型 共有型 ) Direct Connect( 占有型 ) Connection をお客様へ提供 Virtual Interface はお客様側で自由に設定可能 Direct Connect( 共有型 ) Connection はパートナー様のアカウントで持つ Virtual Interface はお客様のリクエストベースでパートナー様が設定
パートナー様のサービス提供形態例 キャリア様閉域網 サイト間ポイントツーポイント パートナー様閉域網
Sub-1G AWS が APN パートナーに対して無償で物理ポートを提供 シェーピングをした VLAN で分離された論理ポート エンドユーザが利用料を AWS に支払い 500M, 400M, 300M, 200M, 100M, 50M http://aws.amazon.com/directconnect/pricing/
パートナー様とのサービスとの組み合わせ キャリア様閉域網 データセンター モバイル網 VPC 本社 支社/店舗 モバイル端末
Direct Connect のオペレーション
Direct Connect 利用開始手順フロー (Conncection の作成 ) 利用ユーザ APN パートナー相互接続ポイントの事業者 1 利用申請 AWS 2 利用申請確認 4LOA-CFA 送付 3 利用申請確認応答 AWS 側配線 Virtual Interface の作成 6 配線完了連絡 5LOA-CFA 転送 物理配線依頼 事業者側配線
1Direct Connect 利用申請 AWS マネージメントコンソールにログインし Tokyo リージョンを選択 [Services]-[Networking]-[Direct Connect] をクリック Connections の Create Connection をクリック
1Direct Connect 利用申請 (cont) 必要な項目を入力し Create をクリック Connection Name: コネクション名 ( 任意の文字列 ) Location: Equinix TY2, Tokyo ( 選択できるのは一つだけ Port Speed: 1Gbps or 10Gbps
1Direct Connect 利用申請 (cont) Connections のリストに作成した Connection が表示される Status は requested
2 利用申請確認 3 利用申請確認応答 利用の意思を確認するために AWS マネージメントコンソールのメールアドレス宛に以下のようなメールが送信されます ご自身で Direct Connect の相互接続ポイントに機器を設置する場合は データセンター (Equinix TY2 など ) の名前 APN パートナー様の回線を利用している場合は APN パートナー様の名前 を記載して返信してください Subject: [aws-xxxx-0001] Welcome to AWS Direct Connect Body: Dear AWS Customer, You recently ordered a connection (dxcon-abcdefgh) using the AWS Direct Connect Console. We need additional information to help process your request. Please email us the data center where you have equipment or, if apporopriate, network provider you are using to connect.
④物理配線情報(LOA-CFA)送付 ⑤LOA-CFA転送 物理配線依頼 AWSより 相互接続ポイントの物理配線情報:LOA-CFA(Letter of Authorization and Connecting Facility Assignment)が送付されます LOA-CFAの情報をパートナー様もしくは相互接続ポイントのデータセンター事業者 へ送付し 構内の物理配線を依頼してください
6 配線完了連絡 配線が完了すると AWS マネージメントコンソールの [Direct Connect]- [Connections] から回線を確認することができます
Virtual Interface の作成 ( プライベート接続 )
Virtual Interface の作成 ( パブリック接続 )
クロスアカウントでのVirtual Interface利用 Virtual Interface を利用するアカウント Connections を保持しているアカウント Virtual Interfaceを作成 Virtual InterfaceのリクエストをAccept
VPC の RouteTable 設定 オンプレミスのネットワークを宛先 vgw をターゲットとしてルーティングのエントリを追加 Propagate を設定することで vgw で受信したルートを自動的に反映
オンプレミス拠点側ルータの要件 BGP 対応であること MD5 認証対応 IEEE 802.1q VLAN が利用できること スイッチングハブでタグ VLAN を終端するなら必要なし RFC 3021 (/31 サブネット ) 対応であること パブリック接続で AWS からパブリック IP アドレスを利用する場合のみ
BGP とは? BGP(Border Gateway Protocol) とは インターネット上でプロバイダ同士の相互接続において お互いの経路情報をやり取りするために使われるルーティングプロトコルの一つです AS65000 AS65001 ISP-A ネットワーク P ネットワーク P のアドレスを広告 ネットワーク Q のアドレスを広告 ISP-B ネットワーク Q
ルータ設定 interface GigabitEthernet0/1 no ip address speed 1000 full-duplex Cisco interface GigabitEthernet0/1.VLAN_NUMBER description direct connect to aws encapsulation dot1q VLAN_NUMBER ip address IP_ADDRESS router bgp CUSTOMER_BGP_ASN neighbor NEIGHBOR_IP_ADDRESS remote-as 7224 neighbor NEIGHBOR_IP_ADDRESS password "MD5_key" network 0.0.0.0 exit Juniper edit interfaces ge-0/0/1 set description " AWS Direct Connect " set flexible-vlan-tagging set mtu 1522 edit unit 0 set vlan-id VLAN_ID set family inet mtu 1500 set family inet address IP_ADDRESS exit exit edit protocols bgp group ebgp set type external set authentication-key "MD5_KEY" set peer-as 7224 set neighbor NEIGHBOR IP ADDRESS
サンプルコンフィグのダウンロード 作成した Virtual Interface の設定値を元にしたサンプルコンフィグがダウンロード可能 ただし Connections を保持しているアカウントからのみ [Direct Connect]-[Virtual Interfaces] を選択し リストから該当の Virtual Interface を選択
サンプルコンフィグ
冗長構成
冗長構成の考え方 VPC上のVGW(Virtual Private Gateway)に複数のDirect Connect またはVPN接続を終端可能 AWS上の設定ではなく お客様ルータの設定により経路制御を行う 経路制御はBGPの一般的な考え方を適用 論理的には一つのオブジェクトに見えるが 実際には物理的に冗長化されている ebgp ebgp ibgpにより同as内の隣接ルータ にBGPのパス属性値を伝達し どちらの経路を選択するかAS内 で総合的に判断 ibgp オンプレミス
BGP パス属性 BGP で経路交換している複数の経路から ベストな経路を選択するために評価する属性値 今回は LP(Local Preference) と AS-Path Prepend を使った構成を利用 受信ルートに LP を付与し 送信トラフィックを制御 ベストパス オンプレミスルータ 送信ルートに AS-Path Prepend を付与し 受信トラフィックを制御 ( 隣接ルータに情報を与えている ) VGW LP:100 Prepend:2 つ LP:200 Prepend:1 つ LP:300 Prepend: なし
冗長構成 (Direct Connect x2, Active/Active) Direct Connect2 本の間でトラフィックをロードバランスし Active/Active として利用 Active Active トラフィックをロードバランス 障害時は片方の回線に迂回するため 回線の輻輳がおきないように帯域に注意が必要 このとき 2 つの経路の BGP 属性値 (LP, AS パス長 ) は等価である必要がある
冗長構成 (Direct Connect x2, Active/Standby) Active LP=200 Prepend なし Standby LP=100 Prepend あり 障害時に Standby へ切り替え Direct Connect2 本のどちらかを通常利用とし 障害時は片方の回線へ自動切り替えを行う それぞれのルータの BGP 属性値により Active/Standby を判断するように設定
冗長構成 (Direct Connect/VPN) Active LP=200 Prepend なし Standby LP=100 Prepend あり Standby 用にインターネット VPN を利用 Direct Connect 障害時のバックアップ回線としてインターネット VPN を利用 異なる回線種別のため フェールオーバー時にはパフォーマンスに影響が出る場合があるため注意
障害時のフェールオーバーに関する注意点 AS2 AS1 リンク断のタイミングで 障害検知 スイッチの向こうの リンク断は検知できない スイッチ 切断発生 フェールオーバー までの時間に発生した トラフィックは到達できない スイッチ すぐに切り替わる Hold timerの間 切り替わらない
障害時のフェールオーバーは BGP ピア上の障害を いかに早く検知するかがカギ!
Keepalive と Hold Timer 隣接するルータはお互いに Keepalive を予め決められたインターバルで定期的に送信 HoldDown Timer( 待機時間 ) は Keepalive の 3 倍が設定されており Keepalive を受信すると 0 にリセットされる 設定された Hold Timer を超過すると障害と認定 隣接ルータ間ではそれぞれの時間が短い方を利用する 反映には BGP ピアの soft リセットが必要 Keepalive Keepalive 60 秒 Keepalive 60 秒 Keepalive=60 Hold Timer=180 の場合 Hold Timer 0,1,2,3 0,1,2,3 0,1,2,3 180 Keepalive が到達すると Hold Timer をリセット Keepalive が到達しないので Hold Timer はカウントアップ Hold Timer のカウンタが超過すると BGP ピアを切断
対策 1: keepalive/hold Timer のチューニング お客様ルータの Keepalive と Hold Timer を短く設定することで フェールオーバーを検知する時間を短縮 以下の例は Keepalive を 10 秒 Hold Timer を 30 秒に設定 Cisco router bgp CUSTOMER_BGP_ASN neighbor NEIGHBOR_IP_ADDRESS timers 10 30 Juniper edit protocols bgp group ebgp set hold-time 30 デフォルト値 Keepalive 60 秒 Hold Timer 180 秒 デフォルト値 Keepalive 30 秒 Hold Timer 90 秒
対策 2: BFD(Bidirectional Forwarding Direction) 経路上の障害を高速に検知し ルーティングプロトコル ( 今回は BGP) に通知する機能 隣接ルータ同士でパケットをミリ秒単位で送受信する 例は 50 ミリ秒で BFD パケットを送信 3 度受け取れない場合は障害とみなす Cisco bfd interval 50 min_rx 50 multiplier 3 router bgp CUSTOMER_BGP_ASN neighbor NEIGHBOR_IP_ADDRESS fall-over bfd Juniper edit interfaces ge-0/0/1 edit bfd-liveness-detection set minimum-inverval 50 set multiplier 3
オンプレミス内部のルーティング Direct ConnectのBGP接続から受 信したルートをOSPFに再配布 OSPF コアスイッチ コアスイッチ VRRP VRRP/HSRPなどでLAN上の ゲートウェイを冗長 コアスイッチはOSPFにより AWSへの経路を選択
注意事項
VPC Peering利用時の注意 VPC Peeringはオンプレミスのルートを広告できないため VPC をまたいだ通信はできない オンプレミス オンプレミスのネットワーク を広告できない
経路集約の必要性 お客様ルータから広告できるネットワーク数は 100 まで 普段から経路集約を意識する設計を! デフォルトルートの広告も有効な場合もあり 192.168.0.0/24 192.168.1.0/24 192.168.0.0/24 + 192.168.1.0/24 + 192.168.2.0/24 =192.168.0.0/16 192.168.2.0/24
非対称ルーティング時の注意 非対称ルーティング自体は問題なく通信可能 Active/Standby の場合 Standby が VPN を利用していると通信に影響が出る可能性あり ファイアウォール利用時には非対称ルーティングに対応していないクラスタを利用するとパケットが破棄されるので注意
Direct Connect を利用したハイブリッド構成の事例
マルチ VPC 接続 既存環境 監視ソフト 専用線 Direct Connect 接続口 V G W V G W 1 VPC 1 VPC WIN WIN Oracle 人事 営業支援 I G W 管理者 利用者 SSO DNS AD FW NTP Router#1 Router#2 Router#1 Router#2 V G W 1 VPC WIN Oracle 会計 専用線または VPN V G W 1 VPC BI DB BI 保守業者 Router#1 Router#2 V G W 1 VPC WIN Proxy 文書管理 I G W
3 層構造 Web システム データベースアクセス データベース APP サーバ Web サーバ
クローズド WorkSpaces S3 WorksSpaces 接続エンドポイント AWS Cloud AS10124 インターネット x.x.x.x/31 or 32 グローバル IP であること! お客様準備もしくは AWS 提供 AWS Cloud との通信はルータで NAT プライベート AS でも OK AS65001 外部ネットワーク /DMZ y.y.y.y/30 AS65000 プライベートネットワーク プライベート IP で OK 内部ネットワーク お客様拠点
オンプレミス環境の Web サーバオフロード ロードバランサ
まとめ
まとめ AWS Direct Connect を利用することで オンプレミスと AWS 間のネットワークにおいて 帯域のスループット向上 一貫性のあるネットワーク接続 データ転送量コスト削減が実現できる APN パートナー様の各種サービスにより 多様なネットワークを構成することができる 要件に応じていろいろな冗長構成を選択することが可能
AWS 専用線アクセス体験ラボ sponsored by Intel お問い合わせは営業 SA まで! 事前に設定を確認したい フェイルオーバー時の動作を確認したい スループットがどれだけなのか実際に試してみたい 自前のルータが Direct Connect に接続できるか確認したい などなど http://aws.amazon.com/jp/dx_labo/
Q&A
Webinar 資料の配置場所 AWS クラウドサービス活用資料集 http://aws.amazon.com/jp/aws-jp-introduction/
公式 Twitter/Facebook AWS の最新情報をお届けします @awscloud_jp 検索 もしくは http://on.fb.me/1vr8ywm 最新技術情報 イベント情報 お役立ち情報 お得なキャンペーン情報などを日々更新しています!
ご参加ありがとうございました