DC 間 Layer2 接 続 の 課 題 とSolution - PBB/VPLS 再 訪 Yasuo Kashimura (yasuo.kashimura@alcatel-lucent.com) Alcatel-lucent 1
Data center Architectureの 進 化 2
Vserver model & problem VMはネットワークに 接 続 された サーバー - それぞれCPU/RAMリソース IP/MACアドレス Diskスペース を 持 つ CouldはDynamicなネットワーク ネットワークを 必 要 とする VMの 移 動 変 更 削 除 Service/Applicationアウェアネス AdaptiveなLogical Topology - VMのDynamic allocation Hitless Move - リソースの 効 率 的 な 利 用 クラスタリング Defragmentation - VM 移 動 / 追 加 / 削 除 VM OS IP MAC VM OS IP MAC Blade Server VM OS IP MAC VM OS IP MAC VM OS IP MAC VM OS IP MAC Blade Server VM OS IP MAC ネットワーク 環 境 の 制 限 - サブネット 内 に 限 定 - 従 来 のDC 構 成 ではDC 内 のみ に 範 囲 が 制 限 Blade Center Blade Center 3
DATACENTER DEPLOYMENT: 必要となるCONNECTIVITY SOHO SOHO HQ1 Connectivity type 1: HQ2 IP-VPN/L2VPN: エンドユーザからの データセンタリソースへのアクセス - One IP/MAC per VM WAN: IP/MPLS Connectivity type 2: IP-VPN/L2VPN: VM間のコミュニケーショ ン (web,appl,db VM) Type 1 (IP-VPN/VPLS): customer access to compute resources Type 2 (L2/L3): Intra/inter-DC VM communication - One IP/MAC per VM Connectivity type 3: DC-PE Type 3 (L2): Vmotion, VM Management L2VPN/VPLS: Vmotionのサポート 及び VM マネジメント Core switch - One IP/MAC per server サービスのための サービスのための新 のための新たな要素 たな要素 TOR/ EOR - サービスの柔軟性, モビリティー, アプ リケーションパフォーマンスのSLA - ゼロタッチ プロビジョニング - No-SPT, L2MPサービス VM DC-site 1 4 DC-site 2 DC-site 3
DC 間 接 続 における 課 題 Layer2ドメイン ドメインの 物 理 的 制 限 4K/12bitのVLAN 数 リミテーション 爆 発 的 なMAC 数 の 増 大 IP/ARPの 増 大 Broadcast / Unknown Unicast / Multicastの Flooding 制 御 コンバージェンス 柔 軟 なTraffic Path 制 御 DC 間 ネットワーク 方 式 のオプション 既 存 の/ 将 来 的 なVPNサービス サービスとの 接 続 5
今 後 のデータセンターテクノロジー Datacenter 仮 想 化 によるマルチ テナンシーの 要 求 SAN ネットワーク 設 定 の 自 動 化 6
ELAN/ELINEサービス サービスを 提 供 するScalableなOption: PB 1 st ELAN/ELINE Generation ETHERNET OVER MPLS 2 nd ELAN/ELINE Generation 構 成 の 階 層 化, 効 率 的 なBUM 制 御 3 rd ELAN/ELINE Generation Service ScaleとOne- Touch Provisioning LDP VPLS (RFC4762) PW full mesh, LDP signaled H-VPLS (RFC4762) PW hierarchy BUM-efficient BGP VPLS (RFC4761) PW full mesh, BGP signaled VLL (RFC4447,4448) PWE, LDP signaled BGP VPLS (RFC4761) p2mp LSP for BUM efficiency MS-PW TLDP hierarchy PB PBB for service scale, end-point provisioning ELAN and ELINE 7
IEEE 802.1ah Provider Backbone Bridge Payload EtherType C-VID EtherType PBN (Q-in-Q 802.1ad) PBB BEB PBBN (802.1ah) PBB BEB PBN (Q-in-Q 802.1ad) S-VID Service ID 802.1ah EtherType C-SA C-DA I-TAG EtherType B-VID EtherType B-SA B-DA - Backbone headerをcustomer Ethernet Frameに 付 加 Backbone 内 のForwardingにはB-MAC(B-DA/B-SA)を 使 用 24 bitのservice ID I-SID サービスの 識 別 子 Backbone VLAN IDによりBackboneのbroadcast domainが 決 まる - PBBのEncapsulationがもたらすもの: MACの 階 層 化 によるCOREでの でのMAC 数 を 劇 的 に 削 減 I-SID(16M/24bit)での でのユーザサービス 識 別 B-VIDでの でのユーザサービス 集 約 によるCOREでの でのL2インスタンス 数 削 減 8
PB モデル draft-ietf-l2vpn-pbb-vpls-pe-model 複 数 のUserのサービス()は1つの に 多 重 化 可 能 (M:1) それによりCustomer MAC/VLANはコア 上 ではNo Care Backbone-facing B-component B-VID B-PW B-PW BEB PE BCBs BEB PE BEB PE はBMACの 処 理 のみを 行 う Customer-facing I-component I-VID I-PW I-VID はFrameがを 通 って 他 拠 点 へ 転 送 される 際 にPBBのEncapsulationを 行 う I-TAG (I-SID) はCustoemr serviceの 識 別 ( 多 重 化 / 分 離 )のために 使 用 される CPE MPLS CPE 9
PBBによる によるフレーム 転 送 Customer Payload C-SA C-DA Customer Frame ISID = 1 B-SA = 00:01 B-DA = 00:03 BEB-1 CPE CPE ISID-2 BMAC 00:01 PW-1 BCB PW-2 BEB-2 ISID-2 BMAC 00:02 CPE CPE CPE ISID-3 Ucast Ucast Ucast Mcast FIB 00:01 PW-1 00:02 PW-2 00:03 PW-3 (*,1) PW-1 PW-2 PW-3 PW-3 BMAC 00:03 ISID-3 CPE Mcast (*,2) PW-1 PW-2 BEB-3 CPE 10
PBBによる 使 用 リソースの 削 減 とScalabilityの 向 上 VM MACs Backbone MACs 100,000s Core SWs # MAC Addresses / node Core SWs # MAC Addresses / node ToRs 1,000s ToR Core ToRs ToR 100,000s 1,000s ToR 0 0 ToR Core ToRs 100,000s 10,000s 0 # VLANs-trunks/ node 1,000s VLANs Trks ToR Core SWs VLANs Trks Core SW ToRs VLAN instances VLAN trunks Backbone VLANs Backbone VLAN trunks 100,000s 10,000s ToRs 1,000s VLANs trks ToRs 0 Core SWs # Services-VID trks / node BViDs Btrks 従 来 と 比 較 してほぼ 無 限 に 近 いMACアドレス 及 びELANサービスをサポート Core ToRs 11
PBでの でのBroadcast/Unknown-Unicast/Multicast (M:1 model) Example: 500 501 2つのサービス, 500, 501が1つのB- VPLSにAttachされている 501 Requirement: 500 501 500 IVPLS 500のBUM trafficは IVPLS 500の EndpointのみにFloodされるべき 12
PBBでの でのBUM 制 御 の1つの つのオプション IEEE 802.1ak MMRP (Multiple MAC Registration Protocol) がに 追 加 されると Group B-MAC attributeがを 通 じて Declare/Registerされる : Tx portはgroup MACをDeclareする Rx portはgroup MACをRegisterする Node-1 は 1000のBUM Traffic を 先 方 からRegistrationが 来 るまでB- VPLSにInjectしない Node-3 は 1000のBUM Trafficを Registrationが 来 たPortにのみFloodする Group B-MAC OUI = 01:1E:83 (MRP) (MRP) D/R 1000 D/RD D/R R Node-1 D/RR (MRP) D R (MRP) D R (MRP) Flooding Tree for attribute Group B-MAC 01-1E-83-00-03-E8 Node-3 D/R D/R R (MRP) D/R D/RR (MRP) 1000 Node-2 I-SAP I-SAP 13
Backbone 側 構 成 のオプション - VPLS over IP/MPLS (B-VLAN) 間 をIP/MPLS CORE 上 でVPLSによって 接 続 VPLS Signallingの2つのオプション LDP VPLS (RFC( RFC4762) BGP VPLS (RFC( RFC4761) VPLS peer autodiscovery Service label signaling Data plane Compatible with BGP-AD or RADIUS auto-discovery or NMS provisioning LDP (Standard based VLL signaling) Standard 802.3 bridge functions BGP-based MP-BGP Standard 802.3 bridge functions 14
Backbone側構成 側構成の 側構成のオプション - PB over IP/MPLS Full-Mesh PW Mesh PW間では転送を行わない ことによりLoop防止 IP/MPLS HierarchicalなPW構成 IP/MPLS Mesh <-> Spokeは間は転送OK Full-Meshを最小限にすること でScalabilityを向上 15
Backbone 側 構 成 のオプション - PBB over Ethernet B-VLAN() 側 をPure Ethernet 構 成 に Redundancy ProtocolとしてG.8031/8032を 使 用 Pure Ethernet G.8032 Ring 16
IEEE 802.1aq SPB DRAFT-IETF-ISIS-IEEE-AQ WHAT IS IT? IEEE 802.1aq SHORTEST PATH BRIDGING (SPB) SPBV (SPB VID) for 802.1ad QinQ networks SPBM (SPB MAC) for 802.1ah PBB networks CONTROL PLANE (ISIS)をEthernetに 導 入 Pure Ethernet 上 PW 上 どちらでも 動 作 可 能 WHAT DOES IT BRING? IP-LIKE BEHAVIOR WITH PBB DATA PLANE アドレス 学 習 のUpdateはIS-ISにより 行 われる (event-driven updates) Shortest Path Equal Cost Pathが 使 用 可 能 となる Reverse Path Forwarding Checkベースのloop mitigation COLLATERAL BENEFITS KEY BENEFITS Scalability (1000 nodes) Fast convergence Cloud Service, Ethernet Exchange,Ethernet Whole selling 等 新 たなサー ビスアプリケーションに 適 した 技 術 17
SPBM-802.1AQ: 次 世 代 のEthernet 環 境 を 提 供 SPBM for PBB Scalabilityを 大 きく 拡 張 Flooding 無 し MAC timer 不 要 ループフリー 高 速 なレジリエンシ ロードバランス Destination-2 パスは Symmetricalに 一 致 する (ucast/mcast) 標 準 的 なEthernet OAMに 理 想 的 なシ ステムを 提 供 全 てのリンクが 使 用 可 能 MetricsによるShortest Path Forwarding Destination-1 18
ISISによる によるTopology/Service Discovery DRAFT-IETF-ISIS-IEEE-AQ Intermediate System Intermediate System (IS-IS) IS-IS の 特 徴 : - 高 い 拡 張 性 を 持 つプロトコル - Link State ルーティングプロトコル - Type Length Value(TLV) ベース - Route calculationはbandwidthを 元 にした CostMetricから 行 われる - Event drivenのupdate - Layer2ベースのコミュニケーション - Levelコンセプトによる 高 いスケーラビリティ SPBMはShortest Path Treeの 構 築 及 び VPN InformationのDistributionにIS-ISを 使 用 する BMAC 44:55:66:77:00:10 COST 10 BMAC 44:55:66:77:00:01 ISID-255 COST 10 BMAC 44:55:66:77:00:16 19
STEP 1 ISISによる によるのTopology DiscoveryとUNICAST FDBの 構 築 それぞれのNodeはMetrics を 元 に 他 の 全 てのNodeに 対 するShortest Path Tree を 計 算 する IS-ISがEnableとなり Node/Linkが 自 動 的 に Discoverされる ISIS database FID-1 FID-2 FID-3 MAC Notation: xx:yy xx= first byte yy= last byte SPF FIB BMAC PORT FID Ucast 00:03 to-10 1 Ucast 00:06 to-10 1 Ucast 00:06 to-10 2 Ucast 00:06 to-16 3 Ucast 00:06 to-16 4 CSPFの 計 算 の 結 果 によるFIBがPoplate される Equal Cost Pathsは 別 のFIDを 持 つ(B- VPLS context) Symmetryを 保 障 するため 全 てのNode では 同 じTie Breaking Algorithmを 使 用 する 20
STEP 2 がActivateされると されるとISISによる によるService InformationがFloodされる ISID #1 ( 1) が Nodes 1, 3, 5, 6に Provisionされる IS-ISは 下 記 の 新 しい ServiceをAdvertise: -BMAC 1,, FID1 -BMAC 3,, FID1 -BMAC 5,, FID1 -BMAC 6,, FID1 Network 全 体 に 情 報 が 伝 達 される 全 てのSPBM NodeはISID,Associated Endpoint(BMAC), Associated FIDの 情 報 を 持 つ 21
STEP 3 それぞれのNodeがService Informationを 元 に(S,G) Multicast Treeを 作 成 する FIB* Group-BMAC PORT FID Mcast 01:01/ to-11 1 to-13 1 Mcast 01:03/ to-1 1 to-13 1 Mcast 01:05/ to-1 1 to-11 1 Mcast 01:06/ to-1 1 to-11 1 IS-IS LSP BMAC 00:01 to-10 to-1 Am I on the shortest path between source and other nodes with Update FDB to-11 Y to-13 N IS-IS LSP BMAC 00:03 IS-IS LSP BMAC 00:05 IS-IS LSP BMAC 00:06 Do nothing BMAC 00:03 BMAC 00:01 BMAC 00:05 BMAC 00:06 ECT for (*) Group-BMAC Notation: xx:yy/isid-z xx:yy= SPSourceID z= ISID number 22
SPBM DATA PLANE: BVPLSでは ではFDB AgingやUnknown Floodingは 無 い Regular PBB 6 1 6 1 6 1 FDB FDB FDB FDB DATA PLANE DATA PLANE DATA PLANE Unicast reply Unicast reply Unicast reply Unknown Flooding Unknown Flooding Unknown Flooding 6 1 6 1 6 1 ISIS LSDB ISIS LSDB ISIS LSDB ISIS LSDB CONTROL PLANE CONTROL PLANE CONTROL PLANE SPBM FDB FDB FDB FDB No aging No aging No aging No aging DATA PLANE DATA PLANE DATA PLANE Unicast reply Unicast reply Unicast reply Unicast request Unicast request Unicast request 23
SPBM RPFCによる によるData PlaneのLOOP MITIGATION 13のNodeはRPFC=>FailとしてFrameを DropしLoopを 防 止 する 全 てのNodeでRPFCが 行 われる FID 4 to-10 to-1 to-14 FDB (FID4) BMAC 6 to-14 BMAC 1 to-1 SA.FID(BVPLS)の Ingress Interface は 適 切 か? DROP IP Unicast/MulticastのIP RPFと 同 様 の コンセプト (*) RPFC == Reverse Path Forwarding Check FORWARD 24
新 たなLayer-2 アプリケーションにPBと 共 に 大 きな 価 値 をもたらすSPBM ネットワークデザインの 自 由 度 が 向 上 最 短 経 路 等 コスト 経 路 B/M の 効 率 的 な 制 御 従 来 のLayer2 機 能 は 維 持 しつつフレキシブ ルなActive/Activeトポロジーが 可 能 となる Simple ISID Config VM MAC s Containe d at edge Access Eth TOR EOR Spanning Treeの 置 き 換 え: Fast convergence, Scalability without regions 25
Standard based Automatic VM Discovery IEEE 802.1QBG - VDP 真 のZero-touch Service Creation VDPによるVMアタッチメントポイントの Auto-discovery LLDPベースのアプローチ VM Awarenessのための 新 しい TLV PBB serviceのauto-discovery PB for DC-Interconnect StandardベースのMechanism 多 くのDeployment/Interop 実 績 のある 技 術 をベースとした Solution ToR DC PBB Service Instantiation Service Provider VPNs or Internet Networks B B NIC B DC with PBB/SPB VPLS PEs DC Core DC VDP Notification Blade center VEPA/VEB v-switch GOS MAC IP VM New VM instantiated 26
まとめ:DC 間 接 続 における 課 題 へのアドレス CREATING THE HYBRID CLOUD Layer2ドメイン ドメインの 物 理 的 制 限 Simple service autoinstantiation 4K/12bitのVLAN 数 リミテーション 爆 発 的 なMAC 数 の 増 大 IP/ARPの 増 大 Access コンバージェンス Eth TOR 柔 軟 なTraffic Path 制 御 EOR BUMのFlooding 制 御 コンバージェンス 柔 軟 リミテーション 制 御 DC 間 ネットワーク 方 式 DCG/FCoE VEPA/VEB 方 式 のオプション オプション 既 存 の/ 将 来 的 なVPNサービス サービスとの 接 続 EOR TOR VM MACs contained at edge 802.1ah PBB PB 802.1aq SPBM MMRP ISID-filter PBB o/eth, IP/MPLS IP/VPN 等 L3サービス との 統 合 27
28