Azure Stack ネットワーク構成

Size: px

Start display at page:

Download "Azure Stack ネットワーク構成"

ゆあひらみね
5 years ago
Views:

1 Azure Stack ネットワーク構成株式会社インターネットイニシアティブ今中裕介 1.0 版 2018 年 1 月 13 日

2 改訂履歴版数日付内容作成者承認者 /1/13 初版今中裕介吉川義弘

3 目次 1. 目的はじめに目的 IIJ サービス紹介 IIJ GIO IIJ プライベートアクセスサービス IIJ クラウドエクスチェンジサービス Microsoft Azure 紹介 Microsoft Azure Microsoft Azure Stack ExpressRoute 理想とする構成 Azure Stack 構成イメージ実現させたい構成要素実装設計方針環境の構成 Azure Stack 構成要素物理構成 Azure Stack ネットワーク構成 BoR Switch ネットワーク構成 IIJ サービス構成 BGP 構成論理ネットワークまとめ Appendix BoR Switch(Cisco 891FJ) 設定インターフェース設定サンプル BGP 設定サンプル... 13

4 1. 目的 1-1. はじめに株式会社インターネットイニシアティブ ( 以降 IIJ) は 2014 年 7 月に日本マイクロソフト株式会社 ( 以降 Microsoft) と両社のクラウドサービス (IIJ クラウド IIJ GIO, Microsoft クラウド Microsoft Azure ) を連携させたマルチクラウドサービス提供に向けて戦略的協業を発表ビジネススタートから約 3 年 IIJ は Microsoft との強力なパートナー関係の基 Azure や Office365 ソリューションを提供し多くの実績を積みあげてきた 2014 年 Azure x IIJ GIO 協業発表 2015 年 ExpressRoute 接続サービス提供開始 Office365 CSP 提供開始 Azure CSP 提供開始 Microsoft Partner of the Year 2015 にて Hosting コンピテンシーアワード受賞 2016 年 2016 Microsoft Worldwide Partner Award にて Hosting Partner of the Year 受賞 Microsoft Partner of the Year 2016 にて Hybrid Cloud & Infrastructure Platform アワード受賞 2017 年 Azure CSP Indirect Provider に認定現在も IIJ は Microsoft と協調し様々なソリューションの技術検証開発を進めており 2017 年 7 月に GA された Azure Stack においても同様に Azure Stack Development Kit およびマルチノード構成での検証を進めてきた今回はマルチノード構成を導入するために必要となるネットワーク設計に着眼し IIJ サービスを利用してインターネットおよび Azure に接続するための情報をまとめている 1-2. 目的 Azure Stack マルチノード構成をデータセンターに設置しインターネットや Azure と接続するために必要となるネットワーク設計およびハードウェアベンダーへ依頼する際の留意点を明確化する Azure Stack 4 台構成の設置に必要となるラック電源などの諸元を把握する Azure Stack を提供しているハードウェアベンダーに依頼する際に必要となる情報を把握する Azure Stack の対向となるネットワーク機器のスペックを把握する IIJ サービスインターネットおよび Azure と接続するためのネットワーク設計を把握する 1

2. IIJ サービス紹介本環境で利用する IIJ サービスについて記述する 2-1. IIJ GIO IIJ GIO( ジオ ) は高品質で多様な企業向けのインフラリソース (IaaS) をコアサービスとしてアプリケーションやプラットフォームを提供する付加価値サービス特定業務向けシステムの早期導入を実現する応用ソリューションなど豊富なラインアップの IT サービスを提供している 2-2.

5 2. IIJ サービス紹介本環境で利用する IIJ サービスについて記述する 2-1. IIJ GIO IIJ GIO( ジオ ) は高品質で多様な企業向けのインフラリソース (IaaS) をコアサービスとしてアプリケーションやプラットフォームを提供する付加価値サービス特定業務向けシステムの早期導入を実現する応用ソリューションなど豊富なラインアップの IT サービスを提供している 2-2. IIJ プライベートアクセスサービス IIJ プライベートアクセスサービス ( 以降 PVA) は IIJ GIO プライベートバックボーンサービスと連携し IIJ GIO Azure Amazon Web Services といったクラウドサービス接続を提供するサービスであるお客様拠点とは専用線 WAN VPN で接続することができアクセスポイントは東日本と西日本の複数データセンターから選択できる単一拠点において標準で冗長構成となっており利用上限帯域に応じた月額固定料金で提供している 2-3. IIJ クラウドエクスチェンジサービス IIJ クラウドエクスチェンジサービス for Microsoft( 以降 CXM) は Azure や Office 365 をはじめとするマイクロソフトクラウドサービスとオンプレミスを閉域網で接続するサービスである IIJ GIO プライベートバックボーンサービスを介して Azure の閉域網接続サービス ExpressRoute とオンプレミスとの間に専用プライベートネットワークを構築しマルチキャリア接続に対応した信頼性の高いネットワークを構築する 2

Microsoft Azure Stack Azure Stack は Azure の拡張機能でクラウドが持つ俊敏性とイノベーションの急速性をオンプレミス環境にもたらす Azure サービスをオンプレミスで実行することで

6 3. Microsoft Azure 紹介 3-1. Microsoft Azure 開発者や IT プロフェッショナルがアプリケーションのビルドデプロイ管理に使用できる包括的なクラウドサービスのセットであり Microsoft の世界規模のデータセンターネットワークを介して利用が可能である 3-2. Microsoft Azure Stack Azure Stack は Azure の拡張機能でクラウドが持つ俊敏性とイノベーションの急速性をオンプレミス環境にもたらす Azure サービスをオンプレミスで実行することでニーズに合わせてクラウドとオンプレミスを適切に組み合わせることが可能であるアプリの実行場所が Azure と Azure Stack のどちらであっても開発者が同じ方法で作成とデプロイを行えるため生産性を最大限に高めることが可能である 3-3. ExpressRoute Azure ExpressRoute を使用すると Azure データセンターとお客様のオンプレミスのインフラストラクチャとの間でプライベート接続が可能である ExpressRoute 接続はパブリックインターネットを経由しないため一般的なインターネット接続よりも信頼性は高くスピードは速く待ち時間は短縮される 3

(BGP) で構成 Azure Stack からインターネット Azure および IIJ GIO への通信は Border Switch がルーティングインターネットから特定の Azure

7 4. 理想とする構成 4-1. Azure Stack 構成イメージ 4-2. 実現させたい構成要素 Azure Stack マルチノード構成を IIJ のデータセンターに設置 Azure Stack と Azure および IIJ GIO 間はすべて動的ルーティング (BGP) で構成 Azure Stack からインターネット Azure および IIJ GIO への通信は Border Switch がルーティングインターネットから特定の Azure Stack 上のサービスへアクセス Azure Stack 内の Azure リソースのパブリック IP アドレスはプライベートアドレスを利用して外部と通信 Border Switch を含む Azure Stack の外部は 1G ネットワーク構成 Azure Stack で利用するサブスクリプションは CSP を利用 4

8 5. 実装前頁の構成要素を実現させるための設計とその構成について記述する 5-1. 設計方針ネットワーク Azure Stack ではそれ自身の管理画面や作成したリソースをインターネットに直接公開する場合 /26 から /22 の間のサイズを持つパブリック IP アドレスブロックを Public VIPs Subnet として定義するしかし Azure Stack 上のリソースを直接インターネットに公開する事よりも既存の環境 (IIJ GIO および Express Route 経由の Azure) との連携を重要視するため Public VIPs Subnet にもプライベート IP アドレスを設定する Azure Stack とインターネット間の通信時には経路上の設備で NAT を行う認証連携本環境の認証管理には Azure Active Directory を使用するリージョンドメイン名および証明書既存の JP ドメインに Azure Stack 用サブドメインとして azs を新規作成しその上に今回準備する本環境を jpn リージョンとして定義する Azure Stack でサービスを提供する際には最低以下の 6 つのサーバ証明書が必要となる *.jpn.azs.example.jp *.vault.jpn.azs.example.jp *.adminvault.jpn.azs.example.jp *.blob.jpn.azs.example.jp *.table.jpn.azs.example.jp *.queue.jpn.azs.example.jp さらに Azure App Services を提供するためには以下の 2 つの証明書が必要となる *.appservice.jpn.azs.example.jp *.scm.appservice.jpn.azs.example.jp DNS NTP Azure Stack が参照する DNS Forwarder NTP Server はいずれもインターネット上にあるサーバを指定する DNS サーバは IIJ が提供しているキャッシュ DNS を利用した NTP サーバはインターネットマルチフィード株式会社が提供している NTP を利用した 5

9 5-2. 環境の構成 Azure Stack 構成要素 Compute Node Azure Stack の主機能が稼働するサーバである 1 つの筐体の中にサーバとストレージの機能が集約されたいわゆるハイパーコンバージドインフラである台数 :4 台 Hardware Lifecycle Host Compute Node およびスイッチのハードウェアおよび Azure Stack ソフトウェアの正常性監視を行うサーバであるハードウェア監視は OEM ハードウェアベンダー提供のソリューションを Azure Stack の監視はマイクロソフト提供の管理パッケージや REST API を利用する台数 :1 台 Top of Rack Switch ( 以降 ToR Switch) Azure Stack 構成ホストを収容するスイッチである後述の BMC Switch や Border Switch および Azure Stack の Software Defined Network 上に構築される Software Router と BGP ピアリングを構成し Azure Stack 内の経路情報はすべて動的に制御される台数 :2 台 BMC Switch Compute Node および Hardware Lifecycle Host の BMC(Baseboard Management Controller) を接続するスイッチである台数 :1 台 Border Switch ( 以降 BoR Switch) 既存ネットワークと Azure Stack の境界に設置するスイッチである Azure Stack 製品構成には含まれないので別途準備が必要となる ToR Switch との間で BGP 構成もしくは静的経路を設定することにより Azure Stack 内部と外部の通信を可能とする本環境では BGP 構成とした台数 :2 台物理構成収容ラック IIJ データセンターサービスで提供される東日本のデータセンターを利用したハードウェアベンダーから提供されるラックは利用せずデータセンター標準のラックを利用した本環境のハードウェアが要求するラック Unit 数重量および電源容量は以下の通りであるこれを踏まえ 100V30A の電源を 2 系統備えたフルサイズ (42U) のサーバラックを準備した台数 Unit 数重量 (Kg) 電源容量 (VA) Compute Node Hardware Lifecycle Host ToR Switch BMC Switch 計 Compute Node メーカー機種 CPU Memory SSD HPE ProLiant DL380 Gen9 Intel Xeon E5-2650v4 2.20GHz (12cores) x2 512GB 2TBx4 6

10 HDD 6TBx10 Hardware Lifecycle Host メーカー機種 CPU Memory HDD HPE ProLiant DL360 Gen9 Intel Xeon E5-2620v4 2.10GHz (8cores) x2 64GB 600GBx4 ToR Switch メーカー機種 HPE HP5900AF-48XG-4QSFP+ Switch アップリンクポート 40GbE QSFP+ 4 ポート ( 注 ) ダウンリンクポート 1GbE/10GbE SFP+ 48 ポート ( 注 ) BoR Switch とは 1000BASE-T で接続する構成としたため SFP BASE-T トランシーバが追加で必要 BMC Switch メーカー機種アップリンクポートダウンリンクポート HPE HP5900AF-48G-4XG-2QSFP+ Switch 1GbE/10GbE SFP+ 4 ポート 40GbE QSFP+ 2 ポート 10/100/1000BASE-T 48 ポート BoR Switch メーカー機種アップリンクポートダウンリンクポート Cisco 891FJ 10/100BASE-T 1 ポート 1000BASE-T or SFP 1 ポート 10/100/1000BASE-T 8 ポート Azure Stack ネットワーク構成ハードウェアベンダーへ依頼する前に以下ネットワークについてアドレスブロックのアサインが必要である本環境では以下のようにアサインした BMC Subnet Compute Node の監視管理および Azure Stack のデプロイに使用される設定可能最小サイズ :/27 設定値 : /24 Storage & Private VIPs Subnet このブロックの前半が Storage Service や Virtual Machines の Live Migration に後半が Private VIP に使用される設定可能最小サイズ :/24 設定値 : /24 Infrastructure Subnet ストレージ関係を除き Azure Stack サービスにおける全ての通信はこのネットワークを介して行われる設定可能最小サイズ :/24 設定値 : /24 Public VIPs Subnet Azure Stack 上のリソース (Azure Virtual Machines など ) に Public IP をアサインした際および Azure Stack の各種エンドポイントとしてこのブロックのアドレスが使用される本環境ではこのアドレスブロックを発着点とするインターネット通信は BoR Switch にて NAT を行う 7

11 設定可能サイズ :/26~/22 ( マイクロソフトによる推奨値は /24) 設定値 : /24 Switch Infrastructure Subnet スイッチ間のルーティングおよびスイッチの管理に使用される設定可能最小サイズ :/26 設定値 : / BoR Switch ネットワーク構成 ToR Switch および IIJ サービスと接続するため以下の構成としたグローバルセグメントデフォルトルートは IIJ データセンター接続サービスで提供されるゲートウェイを指定したインターネット向け通信は NAPT 設定し Public VIPs Subnet の一部 IP アドレスに対して Static NAT を設定したプライベートセグメント ToR および PVA との接続は ebgp とした BoR 間の接続は ibgp とした AS 番号 :65300 各セグメントのアドレスブロックは以下のようにアサインした BoR#1-ToR#1 間 : /30 BoR#1-ToR#2 間 : /30 BoR#2-ToR#1 間 : /30 BoR#2-ToR#2 間 : /30 PVA 間 : /29 BoR#1-BoR#2 間 : / IIJ サービス構成 IIJ GIO Azure およびインターネットと接続するために IIJ サービスの構成が必要となる IIJ データセンター接続サービスインターネット接続を標準で二重化されており用途に応じた契約帯域で利用が可能なサービス本環境で利用する帯域およびデータセンターの情報を示す契約帯域 :10Mbps ホストアドレス数 :14 個 ( ネットマスク /28) 収容データセンター : 東日本 PVA 本環境では IIJ GIO および Azure と閉域接続するために利用した PVA と接続するための回線およびケーブルは別途調達が必要となる契約帯域 :100Mbps 回線種別 : 光回線 (1000BASE-LX) 物理インターフェース :Auto/Auto ルーティング方式 :BGP AS 番号 :AS65531( 契約時に IIJ が指定 ) PVA へ広報するアドレス : /24 CXM 接続先とする Azure は Virtual Network および PaaS(Public IP) とした 8

12 契約帯域 :100Mbps リージョン : 西日本ピアリング : プライベートパブリック BGP 構成本環境全体の BGP 構成を示す Azure Express Route ebgp IIJ GIO CXM PBB Internet AS65531 PVA #1 PVA #2 Internet GW #1 Internet GW #2 AS65300 BoR #1 ibgp BoR #2 ebgp ebgp ToR #1 ToR #2 AS64675 BMC AS64719 SLB MUX SLB MUX 9

13 論理ネットワーク本環境全体の論理ネットワークを示す Azure Private ExpressRoute Azure Public Internet The CXM IIJ GIO Virtual Router PBB IIJ Service Internet GW IIJ Service Internet GW DNS Server NTP Server IIJ Service IIJ Service PVA #1 PVA #2 Boarder_To_GW Border_To_PVA / Border/Border1_To_Border/ / BoR1 switch Cisco 891FJ BoR2 switch Cisco 891FJ Border/Border1_To_Rack1/TOR /30 Border/Border1_To_Rack1/TOR /30 Border/Border2_To_Rack1/TOR /30 Border/Border2_To_Rack1/TOR / Azure Stack Loopback /32 ToR1 switch HPE HP5900AF ToR2 switch HPE HP5900AF Loopback /32 Rack1/TOR1_To_Rack1/BMC /30.17 Rack1/TOR2_To_Rack1/BMC /30.21 Rack1/TOR1-ibgp-1_To_Rack1/TOR2-ibgp / Rack1/TOR1-ibgp-2_To_Rack1/TOR2-ibgp / Switch Management Subnet (VLAN5) / BMC switch HPE HP5900AF Loopback /32 BMC Subnet /24 (VLAN6) Compute Node #1 Compute Node #2 Compute Node #3 Compute Node #4 HLH HPE ProLiant DL380 Gen9 HPE ProLiant DL380 Gen9 HPE ProLiant DL380 Gen9 HPE ProLiant DL380 Gen9 HPE ProLiant DL360 Gen9 Storage Subnet /25 (VLAN107) vrid Infrastructure Subnet /24 (VLAN7) vrid SLB MUX SLB MUX Private VIPs Subnet /25 Public VIPs Subnet /24 10

14 6. まとめ Azure Stack 導入におけるネットワーク設計の考慮と今後の期待をまとめる < データセンター設置 > 4 台構成の場合フルラック (42U) は必要ない電源は 100V/30A が 2 系統または 200V/30A が 1 系統必要 <ネットワーク設計 > ハードウェアベンダーへ依頼する前に Azure Stack 内部および外部のネットワーク設計が必要最低でも /22 程度のネットワークアドレスブロックが必要となるため既存の環境に導入する際はアドレスの空き状況に注意が必要 BoR Switch の設計にはハードウェアベンダーと事前に認識合わせを実施することを推奨 Azure Stack と Azure および PVA は同じ ebgp であるため BoR Switch のルーティング設計は特に問題なしインターネット向け通信は BoR Switch で Source NAT することでアクセス可能 Public VIPs Subnet がプライベートアドレスを使用しても BoR Switch で Static NAT することでインターネットからアクセス可能 BoR Switch ToR Switch 間は標準で 10G 接続となりインターフェースは 2 つ使用するので BoR Switch のスペックに注意が必要 < 証明書 > 認証局の証明書を用いる場合は Azure Stack の設置時までに手配が必要なので注意自己署名証明書も利用可能ワイルドカード証明書でも問題なし < 期待する改善内容 > 設置するネットワーク環境が 10G に対応していない場合も想定できるため 1G の ToR Switch を選択できるメニューがあるとよい ( 機器コスト削減も期待できる ) ToR Switch 自体は空きのインターフェースが多いが BoR 間で利用するインターフェースが決められているため 1G 接続の場合は変換用のトランシーバが必要となる BoR 間で利用するインターフェースを指定できるとよい ToR Switch は Azure Stack のマルチノード構成に必ず 1 台含まれるがマルチノード構成を追加する場合は ToR Switch を集約できる構成が望ましい Azure Stack 上のリソースに接続する方法として Public VIPs Subnet のアドレスを利用する方法だけでなく Virtual Network との接続方法を広げるため VPN Gateway だけでなく Express Route も作成できるとよい < 今後予定している確認内容 > Azure Stack および BoR Switch のパフォーマンス CSP を利用した場合のマーケットプレイスの連携及び課金請求 Azure Stack 上に VPN Gateway を作成する場合のネットワーク設計以上 11

15 7. Appendix 7-1. BoR Switch(Cisco 891FJ) 設定インターフェース設定サンプル interface FastEthernet0 description To_InternetGW#1 ip address x.x.x.x no ip redirects no ip proxy-arp duplex full speed 100 standby version 2 standby 255 ip x.x.x.x standby 255 priority 105 standby 255 preempt delay minimum 60 standby 255 authentication md5 key-string xxxxxxx standby 255 track 200 decrement 10 no cdp enable no shutdown interface GigabitEthernet0 description To_BoR#2 switchport mode access switchport access vlan 200 no ip address duplex auto speed auto no cdp enable spanning-tree portfast no shutdown interface GigabitEthernet1 description To_ToR#1 switchport mode access switchport access vlan 201 no ip address duplex auto speed auto no cdp enable spanning-tree portfast no shutdown interface GigabitEthernet2 description To_ToR#2 switchport mode access switchport access vlan 202 no ip address duplex auto speed auto no cdp enable spanning-tree portfast no shutdown interface GigabitEthernet8 description To_PVA#1 ip address no ip redirects no ip proxy-arp duplex auto speed auto media-type sfp no cdp enable no shutdown 12

16 interface Vlan1 no ip address shutdown interface Vlan200 description To_BoR#2 ip address no ip redirects no ip proxy-arp no shutdown interface Vlan201 description To_ToR#1 ip address no ip redirects no ip proxy-arp no shutdown interface Vlan202 description To_ToR#2 ip address no ip redirects no ip proxy-arp no shutdown end BGP 設定サンプル router bgp bgp router-id bgp log-neighbor-changes no bgp default ipv4-unicast timers bgp neighbor remote-as neighbor description To_ToR#1 neighbor remote-as neighbor description To_ToR#2 neighbor remote-as neighbor description To_PVA#1 neighbor password xxxxxxx neighbor remote-as neighbor description To_gw2 address-family ipv4 network mask neighbor activate neighbor advertisement-interval 0 neighbor soft-reconfiguration inbound neighbor activate neighbor advertisement-interval 0 neighbor soft-reconfiguration inbound neighbor activate neighbor advertisement-interval 0 neighbor soft-reconfiguration inbound neighbor prefix-list AzureStack-test out neighbor filter-list 120 out neighbor activate neighbor advertisement-interval 0 neighbor soft-reconfiguration inbound exit-address-family ip as-path access-list 120 permit ^$ ip prefix-list AzureStack-test permit /24 end 13

アライドテレシス・コアスイッチ AT-x900 シリーズで実現するエンタープライズ・VRRPネットワーク

アライドテレシス・コアスイッチ AT-x900 シリーズで実現するエンタープライズ・VRRPネットワーク主な目的信頼性可用性の高いネットワークを構築したい標準技術を使って冗長化したい既存機器を流用しつつコアスイッチを入れ替えたい概要一般的なスター型ネットワークを標準技術を使用して構築する構成例ですスター型のネットワークはオフィスビルの既存フロア間配線を流用することで機器のリプレースだけでネットワークをアップグレードできるメリットがあり現在主流のネットワークトポロジの一つですこの構成例では