_JANOG44_LINE_tsuchiya

Size: px

Start display at page:

Download "_JANOG44_LINE_tsuchiya"

きみつぐらぶり
4 years ago
Views:

1 Next Data Center Networking with SRv6 - Data plane - Toshiki Tsuchiya, LINE Corporation 2019/07/26 JANOG44 Meeting

2 Agenda LINEのサービスとネットワークデータプレーンコントロールプレーン

3 LINE

4 LINE 現状のネットワークと課題 Full L3 CLOS Network * l シングルテナントネットワーク l LINE のメッセンジャーやファミリーサービスなどが稼動 l サービス固有の要件を持つサービスが稼動 l サービスごとにネットワークを構築その他 Fintech Business * JANOG43 Meeting: LINE のネットワークをゼロから再設計した話アンダーレイネットワークの断化設計構築にかかる時間の増加運コストの増加

5 : l アンダーレイネットワークを共通化し運負荷を軽減 l オーバーレイネットワークでサービス ( テナント ) ごとのポリシーを実現柔軟にスケールするオーバーレイテナントで分離独したセキュリティ将来的なサービスチェイニングシンプルな L3 のアンダーレイ

6 VXLAN vs SRv6 VXLAN IPv6 Segment Routing (SRv6) Pros l 運実績や情報が多くある l 多くのネットワーク機器で実装されている Cons l full-l3にした恩恵が損なわれるのでは... l Service chainingを実現するために追加のプロトコルが必要となるプロトコルの多重化 / 複雑性が増す Pros l アンダーレイはIPv6 forwardingのみ l Segment IDを駆使することで SegregationやService chainingが実現できるサービスの要件に合ったポリシーが実現できる Cons l データセンターネットワークでの導事例情報が無い l ネットワーク機器での実装がほぼ無い + SRv6 の将来性に期待

7 Segment ID (SID) l 128bit の IPv6 アドレス表記 SRv6 l Locator: SRv6 を処理するノード ( ペアレントノード ) へルーティングするための情報 l Function: ペアレントノードが実する処理をす情報 Locator 128bit Segment Routing Header (SRH) l IPv6 の拡張ヘッダー Function l 複数の SID をまとめた Segment List と Segment List の現在のポインタである Segment Left などから構成 Well-known function ( function ) l T.Encaps(Encap): パケットに IPv6 ヘッダー SRH を付与してカプセル化する l End.DX4(Decap): SRv6 のパケットから IPv6 ヘッダーと SRH を外して指定された Nexthop に転送 l End.DT4(Decap): SRv6 のパケットから IPv6 ヘッダーと SRH を外して指定された RoutingTable をルックアップして転送 (Linux Kernel で実装されていないため今回の構成では使していません本来であれば DX4 より DT4 が使いたい )

8 SRv6 Data Center Network

9 データプレーン全体構成 DataCenter Router NFV (FW, IDS,...) Network Node-A (SRv6 Node) Switch Network Node-A (SRv6 Node) Switch Network Node (NN) 既存ネットワーク /Internet/ テナント間通信での境界 SRv6 Domain CLOS Network Transit Node SRH は処理せず IPv6 のパケット転送のみをう Switch Switch Switch Switch Hypervisor (SRv6 Node) Tenant A Tenant B Hypervisor (SRv6 Node) Tenant A Tenant B Hypervisor (SRv6 Node) Tenant A Tenant B Hypervisor (HV) からの通信 Encap 宛の通信 Decap Network Node-B (SRv6 Node) SRv6 unaware device

10 データプレーン SID Routing DC SID: C1::A Router SID: C1::B SID: C1::A NFV SRv6 Domain SID: C1::B NN, HV にはテナント単位で VRF (l3master device) を作成各ノード (NN, HV) には IPv6 アドレスを /96 単位で割り当て (Locator) C1::/96 Network Node1 C1::/96 Network Node2 テナント ID を Function として SID を設定 Route Advertise(BGP) 各ノードは Locator として割り当てられた IPv6 の /96 を BGP で経路広報 Hypervisor1 C2::/96 Hypervisor2 C3::/96 SID: C2::A SID: C2::B SID: C3::A SID: C3::B A1 B1 A2 B2

11 データプレーンパケットフロー : テナント内通信 A1 (HV1 TennantA) A2 (HV2 TennantA) DC Router NFV SRv6 Domain SID: C1::A SID: C1::B SID: C1::A SID: C1::B C1::/96 Network Node1 C1::/96 Network Node2 T.Encaps dst = C3::A End.DX4 A2 に到着 Hypervisor1 C2::/96 Hypervisor2 C3::/96 SID: C2::A A1 SID: C2::B B1 SID: C3::A A2 SID: C3::B B2

12 データプレーンパケットフロー : テナント間通信 A1 (HV1 TennantA) B2 (HV2 Tennant B) DC Router NFV SRv6 Domain SID: C1::A SID: C1::B SID: C1::A SID: C1::B C1::/96 Network Node1 End.DX4 NFV へ転送 T.Encaps dst = C1::A Hypervisor1 C2::/96 C1::/96 Network Node2 T.Encaps dst = C3::B End.DX4 B2 に到着 Hypervisor2 C3::/96 SID: C2::A A1 SID: C2::B B1 SID: C3::A A2 SID: C3::B B2

13 データプレーン実際の設定 (Network Node A) Encap 設定 Segment List [NetworkNode-A]# ip route show table encap seg6 mode encap segs 1 [ 2400:dcc0::a7a:4d8d:a9fe:108 ] dev vrf5c b87 scope link encap seg6 mode encap segs 1 [ 2400:dcc0::a7a:4d8e:a9fe:108 ] dev vrf5c b87 scope link encap seg6 mode encap segs 1 [ 2400:dcc0::a7a:4d8f:a9fe:108 ] dev vrf5c b87 scope link 宛先の IPv4 アドレス Locator(HV のアドレス ) Function ( テナント ID) Decap 設定 [NetworkNode-A]# ip -6 route show table local local 2400:dcc0::a7a:4d87:a9fe:102 encap seg6local action End.DX4 nh dev vrf01b1db9dd10f metric 1024 pref medium local 2400:dcc0::a7a:4d87:a9fe:104 encap seg6local action End.DX4 nh dev vrf01b1db7f5d2b metric 1024 pref medium local 2400:dcc0::a7a:4d87:a9fe:108 encap seg6local action End.DX4 nh dev vrf5c b87 metric 1024 pref medium... Locator(HVのアドレス ) Function ( テナントID) VRFに設定したダミーのIPアドレス (End.DX4でVRFのテーブルルックアップをするための細 )

データプレーン実際の挙動 IP: 10.122.12.36 SID: C2::A A1 [-A1]$ ping 10.122.12.35 -c 10 PING 10.122.12.35 (10.122.12.35) 56(84) bytes of data.

14 データプレーン実際の挙動 IP: SID: C2::A A1 [-A1]$ ping c 10 PING ( ) 56(84) bytes of data. 64 bytes from : icmp_seq=1 ttl=63 time=0.356 ms 64 bytes from : icmp_seq=2 ttl=63 time=0.461 ms bytes from : icmp_seq=10 ttl=63 time=0.415 ms ping statistics packets transmitted, 10 received, 0% packet loss, time 9000ms HV1: Encap IPv6, SR header が挿 Hypervisor1 C2::/96 CLOS NW HV2: Decap IPv6, SR header が外れる Hypervisor2 C3::/96 A2 SID: C3::A IP:

15 SRv6 l 情報が無い l Best Practiceが無いのでどうやってSIDを設計すればいいのかわからない l Linux KernelのSRv6を動かすのに苦労 Linux networking l VRF(l3mdev) の挙動 l l l NIC の offload が効かず Decap 時の性能がかなり落ちる l SRv6と組み合わせたときに必ずfragmentされる l バグ : Linux kernelへパッチ提出 (mainstreamに取り込まれています) netfilterとの組み合わせが悪い l l HV(Decap) に通信した場合にFORWARDチェインでは無くOUTPUTチェインで引っかかるからHV 外への通信に関してはtapデバイスをout interfaceに設定したルールに反応しないメーカーと協して調査を実施修正パッチによって性能が幅改善

16 : l SRv6を利したオーバーレイネットワークを設計 SIDやRoutingの設計などを1から設計 l 実環境で構築しマルチテナンシーが実現できていることを確認まもなく実サービス投予定 l 性能問題現時点では NetworkNode, Hypervisor ともに Linux Kernel の SRv6 実装を使今後パフォーマンスが問題になることがにえている性能向上に向けて々と検討中 (SRv6 対応スイッチ /NOS P4 スイッチ Smart NIC NIC HW offload DPDK XDP...) l ネットワーク構成 NFV( 実際は FW) を通す部分は VRF と IP Routing で頑張っている状態のためかなり複雑 SRv6 で Service chaining できる構成に作り変えていきたい

PowerPoint プレゼンテーション

PowerPoint プレゼンテーションのネットワークをゼロから再設計した話 JANOG43 Meeting 2019/01/24 Masayuki Kobayashi LINE Corporation インフラの規模感 2019 年 1 月 1 日イベントトラフィック 165M+ Active Users in JP, TW, TH and ID 30,000+ Physical Servers 1Tbps+ User Traffic