Windows Server 2012 Network Virtualization Packet Dive! 後藤諭史 (Satoshi GOTO) 三井情報株式会社 Microsoft MVP - SCCDM

Transcription

1 Windows Server 2012 Network Virtualization Packet Dive! 後藤諭史 (Satoshi GOTO) 三井情報株式会社 Microsoft MVP - SCCDM

2 自己紹介 後藤諭史 (Satoshi Goto) 三井情報株式会社で R&D 部門に所属しています 仮想化製品が主な専門分野です Hyper-V や SCVMM 等々の Microsoft 仮想化製品 XenApp や XenDesktop といった Citrix 社製品 あと ネットワーク関連もそれなりにやってます Microsoft MVP - System Center Cloud and Datacenter Management (Jul Jun.2013) System Center User Group Japan(SCUGJ) 代表代行 2

3 目的とゴール セッションの目的 Windows Server 2012 の新機能である Network Virtualization の概要や 検証を通して確認した機能詳細情報を解説します 実際の実装作業での留意点を解説します セッションのゴール Network Virtualization の概要と特徴を説明できる NVGRE や IP Rewrite の機能と実装方法を説明できる 3

4 アジェンダ Network Virtualizationとは? Windows Server 2012 Network Virtualization Architecture System Center 2012 Virtual Machine Manager SP1 まとめ リファレンス 4

5 Network Virtualization とは? 5

6 そもそも Network Virtualization って?? 6

7 そもそも Network Virtualization って?? Network Virtualization 直訳すると ネットワーク仮想化 7

8 ネットワーク仮想化 VLAN(Virtual LAN) の事? 8

9 ネットワーク仮想化 VLAN(Virtual LAN) の事? ある意味正解 でも課題も 9

10 復習 改めて VLAN とは? Switching HUB 等のネットワーク機器の機能により 物理的な接続形態とは別に構成される仮想的なネットワークの事 この仮想ネットワークの識別には VLAN ID が用いられる 10

11 復習 改めて VLAN ID/ タグ VLAN とは? 論理的に分割されたネットワークを識別する為に割り当てられた ID が VLAN ID Switching HUB を跨って VLAN を構成する場合には そのパケットがどの VLAN に属しているかを識別する為に VLAN ID を記述したタグ (VLAN タグ ) が付与される このタグにより Switching HUB 間の VLAN 共有が可能となる VLAN タグのフォーマットは IEEE802.1Q として標準化されている 11

12 復習終了 12

13 VLAN の課題 VLAN ID は 12bit 10 進数では となり VLAN の実装数は理論上 4094VLAN(0 と 4095 は使用されない ) 使えるかどうかは機種依存 ( 設定値として使用可能と同時使用可能は別問題 ) 例えば Cisco Catalyst 3750-X シリーズの最大アクティブ VLAN 数は 1005VLAN Switching HUB の実装として Switching HUB に接続されている Node の VLAN ID やトランク接続されている VLAN ID を全てコンフィグに記述する必要がある VLAN はレイヤー 2 の分離技術なので WAN 越え ( 物理拠点を跨いだ構成 ) が非常に難しい 広域 Ethernet サービスの利用等 いろいろと対処方法はありますが 13

14 例えば以下のような場合は? クラウド事業者などで顧客単位でネットワークを分離したい場合 顧客単位で VLAN を割り当てる必要がある 1 つの L2 Network で 最大 4094 顧客しか収容できない ( 実際にはもっと少ない ) 異なるデータセンターで同じ VLAN を使おうとすると WAN を越える必要が VLAN10 と VLAN20 が割り当てられた仮想マシンが Live Migration 等で他の Switching HUB に接続されたホストに移動すると? Switching HUB 側のコンフィグを変更しない限り通信不可 Live Migration を検知して自動追従する技術はあれど ベンダーロックインになったり標準化途上だったり でも お高いんでしょう? 最大 VLAN 数 4094 の課題や WAN 越えの課題はそのまま 14

15 総じていうと Network 設計に関する知識 / 理解が非常に重要 さらに WAN 越えは高度な設計が必要になる 15

16 そこで Network Virtualization 物理ネットワーク上に もうひとつのネットワーク ( 仮想ネットワーク ) を上からかぶせるように構築 ( オーバーレイ ) し ネットワークの物理構成 / 設定 ( トポロジー ) を切り離してしまう 技術 / 思想 A 社用 Network VSID:5001 B 社用 Network VSID:6001 C 社用 Network VSID:

17 カプセル方式での実際のパケットの動き ( 概念 ) データ 送信元 /24 A 社用 Network VSID:5001 B 社用 Network VSID:6001 C 社用 Network VSID:7001 送信先 /24 17

18 カプセル方式での実際のパケットの動き ( 概念 ) A 社用 Network VSID:5001 B 社用 Network VSID:6001 C 社用 Network VSID:7001 データ 送信元 /24 カプセル化 送信先 /24 カプセルヘッダー VSID:5001 送信元 /24 送信先 /24 18

19 カプセル方式での実際のパケットの動き ( 概念 ) 送信先 /24 A 社用 Network VSID:5001 B 社用 Network VSID:6001 送信元 /24 C 社用 Network VSID:7001 データ 19

20 実装の為のトンネリング技術 NVGRE(Network Virtualization using Generic Routing Encapsulation) GRE でカプセル化 (42 bytes のオーバーヘッド ) Microsoft, Intel, Dell, HP, Broadcom, Arista, Emulex VXLAN(Virtual Extensible Local Area Network) UDP でカプセル化 (50 bytes のオーバーヘッド ) VMware, Cisco, Arista, Broadcom, Citrix, Red Hat STT(Stateless Transport Tunneling Protocol) IP Rewrite TCP ライクな構造を持つ ステートレストンネリングプロトコル Nicira(VMware) IP NAT Windows Server 2012 Network Virtualization では の 2 方式が使用可能 20

21 NVGRE L2 over L3 GRE で L2 フレームをカプセル化してしまう為 オリジナルは完全に隠ぺいされる 但し GRE はカプセル化するだけであり Packet の暗号化は行わない カプセル化のオーバーヘッドは 42byte Layer3 でのカプセル化である為 WAN 越えが容易 24bit の Virtual Subnet ID(VSID) 1-16,777,215 までの仮想ネットワークが設定可能 Packet Capture すると Flow ID(8bit) との組み合わせで 32bit(4byte) の Key として表示 FlowID を認識する NVGRE 対応 Router であれば 等コストマルチパス (ECMP) バランシング可能 アクセススイッチ (Hyper-V 仮想スイッチ ) でカプセル化処理を行う為 仮想マシンは仮想ネットワークを全く意識しない 21

22 NVGRE パケット構造 Outer Ethernet Header: 送信先 MAC Address (48bit) 送信元 MAC Address (48bit) VLAN タグ (32bit) Ethertype (16bit) Outer IPv4 Header: Version (4bit) IHL (4bit) ToS (8bit) Total Length (16bit) ID (16bit) Flags (3bit) Fragment Offset (13bit) TTL (8bit) Protocol 0x2F (8bit) Header Checksum (16bit) 送信元 IP Address (32bit) 送信先 IP Address (32bit) GRE Header: Flags and Version (16bit) Protocol Type 0x6558 (16bit) FlowID (8bit) VSID (24bit) 0x2F=GRE Inner Ethernet Header: 送信先 MAC Address (48bit) 送信元 MAC Address (48bit) Ethertype (16bit)... 22

23 NVGRE パケット構造 Outer Ethernet Header: 送信先 MAC Address (48bit) 送信元 MAC Address (48bit) VLAN タグ (32bit) Ethertype (16bit) Outer IPv4 Header: Version (4bit) IHL (4bit) ToS (8bit) Total Length (16bit) ID (16bit) Flags (3bit) Fragment Offset (13bit) TTL (8bit) Protocol 0x2F (8bit) Header Checksum (16bit) 送信元 IP Address (32bit) 送信先 IP Address (32bit) GRE Header: Flags and Version (16bit) 送信先 MAC Address (48bit) Protocol Type 0x6558 (16bit) Inner Ethernet Header: 送信元 MAC Address (48bit) FlowID (8bit) Ethertype VSID (24bit) (16bit)... 0x2F=GRE Flags and Version (16bit) Protocol Type 0x6558 (16bit) VSID (24bit) RFC ドラフトでは FlowID (8bit) 23

24 NVGRE パケットキャプチャ 24

25 IP Rewrite データセンター内 IP Address と仮想マシン IP Address の 1 対 1 NAT ペイロード含め 一切の変更を行わずに MAC Address/IP Addressを書き換え カプセル化を行わない為 パケットオーバーヘッドは一切なし TCPオフロード等のH/W 支援機能がフル活用可能 Network 経路上での等コストマルチパス (ECMP) バランシングも ネットワーク機器の設定を変更する事なく動作可能 アクセススイッチ (Hyper-V 仮想スイッチ ) で NAT 処理を行う為 仮想マシンは仮想ネットワークを全く意識しない 25

26 IP Rewrite パケットキャプチャ :Guest OS 26

27 IP Rewrite パケットキャプチャ :Network 27

28 使い分けガイドライン NVGRE スケーラビリティに優れているため ほとんどのシナリオに推奨 現在のネットワークインフラストラクチャハードウェアと互換性がある 1 ホストにつき 1 つの IP アドレスで済むため スイッチの負荷が低い 標準ベース : RFC 2784 および 2890 と業界サポート NVGRE ドラフト RFC の共同作成者 : Arista, Broadcom, Dell, Emulex, HP, Intel 完全な MAC ヘッダーと明示的な Virtual Subnet ID マーキングにより マルチテナントのトラフィック分析 メータリング 制御がサポートされる NVGRE 対応ハードウェアは IP Rewrite と同程度のパフォーマンスを提供する IP Rewrite 現時点では 10Gbps を必要とする仮想マシンなどの高パフォーマンスシナリオに適している NVGRE 対応ハードウェアが市販されるまで待てないという特殊なシナリオを想定 28

29 比較テスト (1) 2 台の物理ホスト上に配置された 2 台の仮想マシンを使用 極力条件を同一にする為に テスト前にスナップショットを取得し テスト後にスナップショットの破棄を実施 Network Virtualization 未実施 NVGRE IP Rewrite の各方式で 3.89GB の ISO ファイルを仮想マシン間でコピーして コピー時間を計測 試行回数 5 回での平均値を結果として採用 同時に コピー中の物理ホストの CPU 利用率をパフォーマンスモニターにて計測 29

30 比較テスト (1): 結果 NV 実施方法平均コピー時間平均スループット平均 CPU 利用率 Network Virtualizationなし 1 分 3 秒 Mbps 11.46% NVGRE 1 分 2 秒 Mbps 18.71% IP Rewrite 1 分 1 秒 Mbps 14.34% NVGRE IP Rewrite non-nv

31 比較テスト (2) 2 台の物理ホスト上に配置された 2 台の仮想マシンを使用 極力条件を同一にする為に テスト前にスナップショットを取得し テスト後にスナップショットの破棄を実施 Network Virtualization 未実施 NVGRE IP Rewrite の各方式で 共有フォルダの Disk I/O Benchmark テストを実施 試行回数 5 回での平均値を結果として採用 31

32 比較テスト (2): 結果 Network Virtualization なし NVGRE IP Rewrite 試行回数 5 回の中で 平均値に最も近いベンチマーク結果を掲載 32

33 Windows Server 2012 Network Virtualization Architecture 33

34 まずは用語の整理から CustomerAddress (CA) ProviderAddress (PA) VirtualSubnetID (VSID) 仮想マシンの IP Address テナントの IP Address とも トンネリング通信の終端 IP Address データセンター内の IP Address とも Network Virtualization における同一セグメントの範囲 (VirtualSubnet) を表す ID RoutingDomainID ルーティング可能 ( パケット交換可能 ) な範囲を表す ID VirtualSubnetID が異なっていても RoutingDomainID が同一であれば通信可能 同一 Network かを識別する ID といいかえる事も可能 34

35 アーキテクチャー PowerShell での手動実装 SC2012VMM での自動実装 Software Defined Networking(SDN) 35

36 参考 SDN を簡単に Software Defined Networking の略 ネットワークの構成をプログラム (= ソフトウェア ) で定義する という思想 / 概念 個々のネットワーク機器それぞれをコンフィグレーションするのではなく ネットワーク全体の構成やトラフィックフローを統一されたプログラム手法で構成 / 管理してしまおうという仕組み 具体的な実装例としては 最近有名な OpenFlow 但し SDN は概念であり OpenFlow は実装の一形態である為イコールではない NVGRE を用いて SC2012VMM で ネットワークを ソフトウェア的に 定義できる ので NVGRE+SC2012VMM は SDN の実装の一つである Windows Server 2012+SC2012VMM+ ミドルウェア (SQL Server 等 )+3rd Party Software(LB 等 ) でクラウド基盤をソフトウェア的に定義できるので ある意味 SDN を超えた Software Defined Cloud の実装かも?? 36

37 Network Virtualization 実装時の最初の作業 Network Virtualization を有効化する仮想スイッチに接続される物理 NIC で設定 37

38 PowerShell での実装 (1) PowerShell での実装は 大きく分けて 4 ステップ 1. CA と PA 仮想マシンの MAC Address VSID の組み合わせを定義 また トンネル化方式を指定 使用コマンド :New-NetVirtualizationLookupRecord コマンド使用例 : New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011404" -Rule "TranslationMethodEncap" -VMName "hv3-blue01" ポイント : -Rule でトンネル方式を指定 -Rule "TranslationMethodEncap" -Rule "TranslationMethodNat NVGRE IP Rewrite ポイント : -UseVmMACAddress $True を指定すると IP Rewrite でも仮想マシンの MAC Address を使用可能 38

39 PowerShell での実装 (2) 2. RoutingDomain を定義して 同一 RoutingDomain の VSID と CA の送信先セグメントアドレスの組み合わせを定義 使用コマンド :New-NetVirtualizationCustomerRoute コマンド使用例 : New-NetVirtualizationCustomerRoute -RoutingDomainID "{ } -VirtualSubnetID "5001" -DestinationPrefix " /24" -NextHop " " -Metric 255 New-NetVirtualizationCustomerRoute -RoutingDomainID "{ } -VirtualSubnetID "5001" -DestinationPrefix " /0" -NextHop " " -Metric 255 ポイント : 仮想マシンの通信先として 宛先セグメント (DestinationPrefix) 単位で 全ての Route(Default Route 含む ) を記述 RoutingDomainID は UUID 形式で指定し 同一物理 Network 中で重複が発生しないよう注意 39

40 PowerShell での実装 (3) 3. Hyper-V の物理 NIC( 仮想スイッチ ) と PA の紐づけを定義 また PA が複数サブネットに存在する場合には PA の Routing(Default Route) を定義 使用コマンド :New-NetVirtualizationProviderAddress 使用コマンド :New-NetVirtualizationProviderRoute コマンド使用例 : $iface = Get-NetAdapter WNVNIC New-NetVirtualizationProviderAddress -InterfaceIndex $iface.interfaceindex -ProviderAddress " PrefixLength 24 New-NetVirtualizationProviderRoute -InterfaceIndex $iface.interfaceindex -DestinationPrefix " /0 -NextHop " " ポイント :PA のサブネットマスクは PrefixLength で指定する CIDR 形式でない事に注意 PA の Routing(Default Route) を指定する場合は CIDR 形式である事に注意 40

41 PowerShell での実装 (4) 4. Hyper-V の物理 NIC( 仮想スイッチ ) と仮想マシンの MAC Address VSID の組み合わせを定義 使用コマンド :Set-VMNetworkAdapter コマンド使用例 : $cred = Get-Credential "dob1\administrator" Invoke-Command -ComputerName "ml110g6-01" -Credential $cred { Get-VMNetworkAdapter "hv3-blue01" where {$_.MacAddress -eq "00155D011404"} Set-VMNetworkAdapter -VirtualSubnetID 5001; } ポイント : 実行に管理者権限が必要な為 あらかじめ Get-Credential コマンドレットにて資格情報を取得指定 MAC Address が接続された仮想 Switch のポート (?) に対して VSID を割り当てるイメージ 41

42 Network Virtualization DEMO 実装デモ

43 本日のデモ環境 ( 物理構成を基本に ) Internet L3 Switch MGNT ml110g6-01 MGNT ml110g6-02 Virtual Switch VMNIC MGNT ml110g5-01 ml115g5-01 Virtual Switch WNVNIC Virtual Switch WNVNIC Virtual Switch WNVNIC SPAN Port ACL L3 Switch ACL ACL 43

44 実装例 (1) 基本形 2 台の物理ホスト上に配置された 2 台の仮想マシンで Network Virtualization を実装 トンネル方式は NVGRE 44

45 実装例 (1) 基本形 構成図 hv3-blue01 hv3-blue02 MAC: 00155D CA: MAC: 00155D011E04 CA: VSID:5001 ml110g6-01 Virtual Switch PA: VSID:5001 ml110g6-02 Virtual Switch PA:

46 実装例 (1) 基本形 PowerShell New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011404" -Rule "TranslationMethodEncap" -CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011E04" -Rule "TranslationMethodEncap" -CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011404" -Rule "TranslationMethodEncap" -CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011E04" -Rule "TranslationMethodEncap" -CimSession "ml110g6-02" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5001" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5001" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-02" $cred = Get-Credential "dob1\administrator" $WNVNIC = "WNVNIC" $iface = Get-NetAdapter $WNVNIC -CimSession "ml110g6-01" New-NetVirtualizationProviderAddress -InterfaceIndex $iface.interfaceindex -ProviderAddress " " -PrefixLength 24 -CimSession "ml110g6-01" Invoke-Command -ComputerName "ml110g6-01" -Credential $cred { Get-VMNetworkAdapter "hv3-blue01" where {$_.MacAddress -eq "00155D011404"} Set-VMNetworkAdapter -VirtualSubnetID 5001; } $iface = Get-NetAdapter $WNVNIC -CimSession "ml110g6-02" New-NetVirtualizationProviderAddress -InterfaceIndex $iface.interfaceindex -ProviderAddress " " -PrefixLength 24 -CimSession "ml110g6-02" Invoke-Command -ComputerName "ml110g6-12" -Credential $cred { Get-VMNetworkAdapter "hv3-blue02" where {$_.MacAddress -eq "00155D011E04"} Set-VMNetworkAdapter -VirtualSubnetID 5001; } 46

47 実装例 (2) 応用形 3 台の物理ホスト上に配置された 3 台の仮想マシンでNetwork Virtualizationを実装 仮想マシン2 台はWindows Server もう1 台はSoftware Router Software Router 経由でInternetと通信可能 Software Routerは異なるセグメント ( 異なるVSID) に設定 VSID 間でRoutingを実施 トンネル方式はNVGRE 47

48 実装例 (2) 応用形 構成図 Internet ml110g5-01 Virtual Switch#2 (Interface NAT) hv3-blue01 MAC: 00155D CA: hv3-blue02 MAC: 00155D011E04 CA: hv3-bluedg (Software Router) MAC: 00155D143C02 CA: VSID:5001 VSID:5001 VSID:5002 ml110g6-01 Virtual Switch ml110g6-02 Virtual Switch ml110g5-01 Virtual Switch#1 PA: PA: PA:

49 実装例 (2) 応用形 PowerShell(1) New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011404" -Rule "TranslationMethodEncap" -VMName "hv3-blue01" - CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011E04" -Rule "TranslationMethodEncap" -VMName "hv3-blue02" - CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodEncap" -VMName "hv3-blue- GW" -CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "hv3-bluedg" - CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "BlueWildcard" - CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodEncap" -VMName "hv3- bluedgw" -CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011404" -Rule "TranslationMethodEncap" -VMName "hv3-blue01" - CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011E04" -Rule "TranslationMethodEncap" -VMName "hv3-blue02" - CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodEncap" -VMName "hv3-blue- GW" -CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "hv3-bluedg" - CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "BlueWildcard" - CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodEncap" -VMName "hv3- bluedgw" -CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011404" -Rule "TranslationMethodEncap" -VMName "hv3-blue01" - CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011E04" -Rule "TranslationMethodEncap" -VMName "hv3-blue02" - CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodEncap" -VMName "hv3-blue- GW" -CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "hv3-bluedg" - CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "BlueWildcard" - CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodEncap" -VMName "hv3- bluedgw" -CimSession "ml110g5-01" 49

50 実装例 (2) 応用形 PowerShell(2) New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5001" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /0" -NextHop " " -Metric 255 -CimSession "ml110g6-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5001" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-02" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-02" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /0" -NextHop " " -Metric 255 -CimSession "ml110g6-02" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5001" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g5-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g5-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /0" -NextHop " " -Metric 255 -CimSession "ml110g5-01" $cred = Get-Credential "dob1\administrator" $WNVNIC = "WNVNIC" $iface = Get-NetAdapter $WNVNIC -CimSession "ml110g6-01" New-NetVirtualizationProviderAddress -InterfaceIndex $iface.interfaceindex -ProviderAddress " " -PrefixLength 24 -CimSession "ml110g6-01" Invoke-Command -ComputerName "ml110g6-01" -Credential $cred { Get-VMNetworkAdapter "hv3-blue01" where {$_.MacAddress -eq "00155D011404"} Set-VMNetworkAdapter -VirtualSubnetID 5001; } $iface = Get-NetAdapter $WNVNIC -CimSession "ml110g6-02" New-NetVirtualizationProviderAddress -InterfaceIndex $iface.interfaceindex -ProviderAddress " " -PrefixLength 24 -CimSession "ml110g6-02" Invoke-Command -ComputerName "ml110g6-02" -Credential $cred { Get-VMNetworkAdapter "hv3-blue02" where {$_.MacAddress -eq "00155D011E04"} Set-VMNetworkAdapter -VirtualSubnetID 5001; } $iface = Get-NetAdapter $WNVNIC -CimSession "ml110g5-01" New-NetVirtualizationProviderAddress -InterfaceIndex $iface.interfaceindex -ProviderAddress " " -PrefixLength 24 -CimSession "ml110g5-01" Invoke-Command -ComputerName "ml110g5-01" -Credential $cred { Get-VMNetworkAdapter "hv3-bluedg" where {$_.MacAddress -eq "00155D143C02"} Set-VMNetworkAdapter -VirtualSubnetID 5002; } 50

51 実装例 (3) 超応用形 3 台の物理ホスト上に配置された 3 台の仮想マシンでNetwork Virtualizationを実装 仮想マシン2 台はWindows Server もう1 台はSoftware Router Software Router 経由でInternetと通信可能 Software Routerは異なるセグメント ( 異なるVSID) に設定 VSID 間でRoutingを実施 Windows Server 間のトンネル方式はIP Rewrite Windows ServerとSoftware Router 間のトンネル方式はNVGRE 51

52 実装例 (3) 超応用形 構成図 VSID:5001 IP Rewrite VSID:5002 NVGRE Internet ml110g5-01 Virtual Switch#2 (Interface NAT) hv3-blue01 MAC: 00155D CA: hv3-blue02 MAC: 00155D011E04 CA: hv3-bluedg (Software Router) MAC: 00155D143C02 CA: VSID:5001 VSID:5001 VSID:5002 ml110g6-01 Virtual Switch ml110g6-02 Virtual Switch ml110g5-01 Virtual Switch#1 PA: PA: PA:

53 実装例 (3) 超応用形 PowerShell(1) New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011404" -Rule "TranslationMethodNAT" -VMName "hv3-blue01" - CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011E04" -Rule "TranslationMethodNAT" -VMName "hv3-blue02" - CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodNAT" -VMName "hv3-blue-gw" -CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "hv3-bluedg" - CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "BlueWildcard" - CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodEncap" -VMName "hv3- bluedgw" -CimSession "ml110g6-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011404" -Rule "TranslationMethodNAT" -VMName "hv3-blue01" - CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011E04" -Rule "TranslationMethodNAT" -VMName "hv3-blue02" - CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodNAT" -VMName "hv3-blue-gw" -CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "hv3-bluedg" - CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "BlueWildcard" - CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodEncap" -VMName "hv3- bluedgw" -CimSession "ml110g6-02" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011404" -Rule "TranslationMethodNAT" -VMName "hv3-blue01" - CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D011E04" -Rule "TranslationMethodNAT" -VMName "hv3-blue02" - CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5001" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodNAT" -VMName "hv3-blue-gw" -CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "hv3-bluedg" - CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress "00155D143C02" -Rule "TranslationMethodEncap" -VMName "BlueWildcard" - CimSession "ml110g5-01" New-NetVirtualizationLookupRecord -VirtualSubnetID "5002" -CustomerAddress " " -ProviderAddress " " -MACAddress " " -Rule "TranslationMethodEncap" -VMName "hv3- bluedgw" -CimSession "ml110g5-01" 53

54 実装例 (3) 超応用形 PowerShell(2) New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5001" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /0" -NextHop " " -Metric 255 -CimSession "ml110g6-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5001" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-02" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g6-02" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /0" -NextHop " " -Metric 255 -CimSession "ml110g6-02" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5001" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g5-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /24" -NextHop " " -Metric 255 -CimSession "ml110g5-01" New-NetVirtualizationCustomerRoute -RoutingDomainID "{ }" -VirtualSubnetID "5002" -DestinationPrefix " /0" -NextHop " " -Metric 255 -CimSession "ml110g5-01" $cred = Get-Credential "dob1\administrator" $WNVNIC = "WNVNIC" $iface = Get-NetAdapter $WNVNIC -CimSession "ml110g6-01" New-NetVirtualizationProviderAddress -InterfaceIndex $iface.interfaceindex -ProviderAddress " " -PrefixLength 24 -CimSession "ml110g6-01" Invoke-Command -ComputerName "ml110g6-01" -Credential $cred { Get-VMNetworkAdapter "hv3-blue01" where {$_.MacAddress -eq "00155D011404"} Set-VMNetworkAdapter -VirtualSubnetID 5001; } $iface = Get-NetAdapter $WNVNIC -CimSession "ml110g6-02" New-NetVirtualizationProviderAddress -InterfaceIndex $iface.interfaceindex -ProviderAddress " " -PrefixLength 24 -CimSession "ml110g6-02" Invoke-Command -ComputerName "ml110g6-02" -Credential $cred { Get-VMNetworkAdapter "hv3-blue02" where {$_.MacAddress -eq "00155D011E04"} Set-VMNetworkAdapter -VirtualSubnetID 5001; } $iface = Get-NetAdapter $WNVNIC -CimSession "ml110g5-01" New-NetVirtualizationProviderAddress -InterfaceIndex $iface.interfaceindex -ProviderAddress " " -PrefixLength 24 -CimSession "ml110g5-01" Invoke-Command -ComputerName "ml110g5-01" -Credential $cred { Get-VMNetworkAdapter "hv3-bluedg" where {$_.MacAddress -eq "00155D143C02"} Set-VMNetworkAdapter -VirtualSubnetID 5002; } 54

55 ちょっと いや これは人手の管理は無理です orz しかも再起動で設定消えるし 55

56 ちょっと そこで System Center 2012 Virtual Machine Manager 56

57 System Center 2012 Virtual Machine Manager SP1 とてもじゃないですが時間が足りないので ダイジェスト 57

58 お約束ですが 本セクションでは 現在開発中の製品を取り扱っています 仕様および機能は変更される可能性があります 58

59 SC2012VMM SP1 での Network Virtualization SC2012VMM SP1 からサポート ( 現在絶賛 Beta 版提供中 ) VM Networks 単位でNetworkを論理分割 VM Networksが異なると RoutingDomainIDが異なる 異なるVM Networksの場合 同一 Cloudであっても疎通不可 同一のVM Networksに属するVMSubnetであれば 疎通可能 Static IP で VM を展開する場合は テンプレートからの展開が必須 既存 VM を Cloud に参加させ Network Virtualization に追加した場合は DHCP のみ使用可能 SC2012VMM SP1 Beta( 現時点 ) では NVGRE のみサポート ( の模様 ) 59

60 SC2012VMM SP1:Cloud 60

61 SC2012VMM SP1: 物理ホスト Network Adapters 61

62 SC2012VMM SP1: 論理 Network 62

63 SC2012VMM SP1:VM Network 63

64 SC2012VMM SP1:VM Network 64

65 SC2012VMM SP1: 仮想マシン Network Adapters 65

66 SC2012VMM SP1:Network Virtualization 66

67 SC2012VMM SP1 でのキーワード 論理単位である クラウド VM Network/VM Subnet LiveMigration 追従 DHCP Extensions Virtual gateway Extensions 67

68 まとめ 68

69 その前に ちょっと Deep Dive GRE との違いは? GRE L2 カプセリングと違うのは後半 32bit(FlowID と VSID フィールド ) です オプションフィールドを利用して拡張しています ブロードキャストって トンネル通るの? 検証した結果では 現時点 では通りませんでした RFC ドラフトではマルチキャストを利用して通信可能と記載されています 但し For interoperability reasons, future version of this draft will specify a standard way to map VSID to IP multicast address. 現時点では DHCP 使用不可 仮想マシンの設定として DHCP を利用する事は可能ですが その際には SC2012VMM SP1+DHCP Extensions が必要です ARP は仮想 Switch で代理応答します 従って 物理 Network には CA の ARP は漏洩しません データセンター内の経路上で L3/L4 ACL って設定可能? NVGREの場合はGREでカプセル化されてしまうので 無理です GREの中身まで評価できるものであれば可能かも? IP Rewriteの場合はTCP PortやUDP Portが見えるので そこでACL 設定可能です 69

70 Deep Dive その 2 Inner VLAN tag: The inner Ethernet header of NVGRE SHOULD NOT contain inner VLAN Tag. When an NVE performs NVGRE encapsulation, it SHOULD remove any existing VLAN Tag before encapsulating NVGRE headers. If a VLAN-tagged frame arrives encapsulated in NVGRE, then the decapsulating NVE SHOULD drop the frame. 超訳 インナーフレームの VLAN Tag は問答無用で剥ぎ取るからよろしく 2011/09 版 (Ver.00) 2012/07 版 (Ver.01) 70

71 まとめ Network Virtualization は非常に便利な機能です Private Cloud 等で multi-tenant を意識した設計をする場合には お勧め機能の一つです 事業部単位や子会社単位で基盤を提供し 論理的には異なる Network としたい 等々 Server 管理者と Network 管理者で分担していた VLAN 管理が ID 管理に変わります 従って 基盤を一回作ってしまえば その後の更新作業は Server 管理者だけで可能になります VLAN という Black Box から解放されます 実装には SC2012VMM SP1 があると非常に便利です というか ないと管理者の負担が NVGRE 対応機器も出荷が開始されるはずなので ご安心を Broadcom 社 Brocade 社が NVGRE 対応発表済みです 71

72 リファレンス NVGRE draft RFC Hyper-V ネットワーク仮想化の概要 Simple Hyper-V Network Virtualization Demo Simple Hyper-V Network Virtualization Script with Gateway Microsoft System Center Virtual Machine Manager 2012 ファーストルックステップバイステップガイド 72

73 Q & A 73

74 Thank You! 74