PowerPoint プレゼンテーション

Transcription

1 JANOG44 神戸国際展示場 オープンソースソフトウェアを活用して Disaggregated Router を "1" から開発した話 2019 年 7 月 26 日

2 Agenda ホワイトボックススイッチとはルータ開発の背景 ThalarctOS アーキテクチャ ThalarctOS Demo 開発中の苦労や失敗談 / 今後の展望ディスカッション 質疑 & 応答

3 自己紹介 鈴木 雄一郎 (KDDI株式会社 IPネットワーク部) <経歴 担当業務> Softbank Telecom ( ) 法人向けIPNW(solteria)の設計/構築 NTTドコモ ( ) LTE/3G用のIPバックボーンの構築 EPC開発 KDDI (2018-) :5G用NW設計/構築 ホワイトボックススイッチ開発 仲山 裕也 (KDDI株式会社 IPネットワーク部) <経歴 担当業務> KDDI ( ) IP設備の監視 作業 (2018-) FTTH/5G NW設計/構築 ホワイトボックススイッチ開発 2

4 自己紹介 Hans Tseng (Delta Eelectronics, Inc) <経歴 担当業務> CipherLab Co., Ltd( ) RDIF antenna design, Embedded Linux system Delta Eelectronics, Inc. (2011-) Wireless AP development ONL, SONiC, Linux Driver development 野崎 忠雄 (Delta Electronics Japan Inc.) <経歴 担当業務> 富士通 ( 2014) Delta Electronics Japan Inc (2014-) White Box Switchの拡販活動にFAEとして従事 3

5 ホワイトボックススイッチとは -登場の背景 OTTのトラフィック激増による課題(コスト 機能)対応のために生まれた ハードウェアは仕様を公開しODMメーカより直接調達 ソフトウェアは自社開発 OTTプレイヤーのトラフィックはサービスの拡大に伴い激増 課題① サーバと合わせて大量なNW機器が必要 コスト高 課題② ルータメーカ提供の機能はハイパースケールなDC環境を想定していない 機能不足 解決策① NW機器仕様を公開しODMメーカよりハードウェアを直接大量調達(コスト低減) 解決策② ソフトウェアは自社で必要な機能を開発(ハイパースケールなDC環境に適応) 4

6 ホワイトボックススイッチとは 5 ソフトウェアが含まれないスイッチ ユーザがハードウェアとソフトウェアを選択可能 メーカ提供のスイッチ ホワイトボックススイッチ 専用ソフトウェア ソフトウェア 専用ハードウェア ハードウェア 専用ハードウェアと 専用ソフトウェアの 垂直統合型スイッチ ソフトウェアと ハードウェアが分離 組み合わせを自由に選択可能

7 ホワイトボックススイッチとは 6 ASIC/ハードウェア(ASIC除く)/ソフトウェアの組み合わせにより4種類に分類可能 Type 3/4を本資料ではホワイトボックススイッチ(以降WBSと表記)と呼ぶ メーカ提供スイッチ type 1 type 2 ソフトウェア ソフトウェア ソフトウェア ソフトウェア ハードウェア ハードウェア ハードウェア ハードウェア ASIC ASIC ASIC ASIC 専用/メーカ提供 ホワイトボックススイッチ type 3 type 4 汎用/自前

8 ルータ開発背景 WBS は自由な機能実装やコストの削減において 大きなポテンシャルを秘めていると考えられている しかし 機能実装の難しさ や 導入費用以外のコスト については不明確な点が多い そこで 商用化に向けた課題の確認 および 適用領域の見極め を行うために自社での開発を行った 7 背景 オープンソースのネットワーク OS の登場 チップセットの大容量 オープン化の進展 SP 向けの WBS ラインナップの増加 オープンソースのネットワーク OS や Routing アプリケーションが登場し 自由に使用できるようになった 大容量チップセットの API が一部オープンになり メーカ以外でもチップセットを制御することが可能になった 世界の様々なキャリアからの要望により SP 向けの WBS ラインナップが増加している オープンソースソフトウェアを活用したプロトタイプ機の開発を実施し WBS 導入による効果を確認する

9 アーキテクチャ説明の前に 8 ロゴ作りました!

10 ThalarctOS アーキテクチャ 9 ハードウェア Broadcom社Tomahawk搭載スイッチ 100G 32ポート(Delta:AG9032v1) ソフトウェア ベースOS/ルーティングアプリ/マネジメント系アプリはオープンソースを使用 ルーティング情報をASICに書き込むソフトウェア(Switch Fabric Daemon)を開発 機能 snmp,syslog,if管理理 オープンソース Net-snmp rsyslog iproutes2 開発対象 ソフトウェア部 Routing Mgmt 機能 ルーティングアプリ API オープンソース FRRouting 機能 ベースOS,ハードウェア管理 オープンソース Open Network Linux Switch Fabric Daemon ハードウェア部 メモリ オープンソース なし 機能 ASICのAPI オープンソース open NSL ベースOS CPU 機能 OS上のルーティング情報を ASICに書き込む ASIC

11 ソフトウェアデザイン 目指した事 ホストOSに依存しない柔軟なデーモン設計 デプロイ ロールバックのスピードup ソフトウェアのポータビリティ性向上 10 コンテナ化によりHW/ベースOS との依存関係を減らし DisaggregatedなOSへ vender A White box Mgmt Routing (FRRouting) Container Switch Fabric Daemon API Container ベースOS(Open Network Linux) open network linux (vender A) White box (vender A) vender B White box White box open network linux (vender B) White box (vender B)

12 ThalarctOS 詳細アーキテクチャ

13 ThalarctOS 詳細アーキテクチャ 12 Mgmt Control Plane -FRRoting- Switch Fabric Daemon Data Model Open Configd software (user space) iproute2 rsyslog vtysh BGP OSPF rsyslog Others Netlink routine main UI routine rsyslog KDDI より説明 Netsnmp RIB Mgr IF Mgr FIB Manager IF Manager OS APIs OpenNSL software (Kernel space) Network Stack (Software Packet forwarding) Open Network Linux デルタ電子より説明 Knet driver Broadcom Device Emulation hardware White Box BCM chipset (Hardware Packet forwarding)

14 Switch Fabric Damon 各コンポーネントの役割 Switch Fabric Daemon Netlink routine FIB Manager main UI routine Data Model Open Configd rsyslog IF Manager コンポーネントを分けた理由 依存関係を減らして メンテナンス性を向上 複数のチームで分担して開発 コンポーネント単位での試験実施 生産性向上 IF manager ASIC初期化 パント処理の定義 kernel上のifとwbs上のifの紐づけ WBSのL3IFのテーブル管理(アドレス Link status MTU vlan等) Netlink routine kernelからのnetlink メッセージの受信/解析 FIB/interface Managerに情報書き込み FIB manager IPv4/v6のFIBの維持/管理 ARP/NDテーブルの管理 ASIC上の経路情報の書き込み/消し込み UI routine Command line インターフェースの提供 13

15 Brock Diagram of AG9032v1 14 DDR SSD FAN USB PSU Console port CPU I2C Thernal OOB port PCIE SYS EEPROM SWPLD Broadcom MAC CPUPLD P1 P2 P3 P4 P5 P6 P7 P8 QSFP P25 P26 P27 P28 P29 P30 P31 P32

16 ONL and Hardware Integration ONL: An Operating System for Bare Metal Switches by OCP ONL: A complete Debian distribution + ONLP + associated drivers ONLP: provide abstraction interfaces to SFP, PSU, FAN, LED, etc. ONLPI: provides ONLP with hardware mapping and drivers OpenNSL: external to ONL, provided by Broadcom separately 15 Linux Drivers Standard hardware (OOB, DDR, SSD, etc) ONL (Shell, Libraries, Kernel) ONLP ONLPI (Device attributes, Kernel Drivers) Machine specific hardware (SFP, FAN, PSU, LED, CPLD, etc) OPENNSL Broadcom Device Emulator (BDE) + Knet driver Switch hardware 15

17 OpenNSL kernel modules Network stack: standard Linux Network Stack Knet driver: create/manage multiple virtual network interfaces, relay transactions from/to Linux Network Stack and BDE Broadcom Device Emulation: provides Switch ASIC hardware abstraction 16 FRRouting OS APIs (Socket) Network Stack (Software Packet forwarding) Knet driver Router Application Open Network Linux OpenNSL Broadcom Device Emulation(BDE) Linux-kernel-bde.ko Linux-user-bde.ko Configure ASIC White Box Hardware BRCM chipset (Hardware Packet forwarding) Control plane pkts Port1 - Port32 16

18 Knet driver 17 Create multi network interfaces(32 ports) Trap the control packets(bgp, OSPF, ARP, ND, ICMP) to Linux network stack Send out the control packets generated locally to the outside of the box Physical Link status monitoring and statistics Filtering mechanism can work in conjunction with the switch device field processor Can manage multiple network interfaces using KNET filters to direct CPU bound traffic to the desired network interface Utilize Linux Socket Buffers

19 プロシージャ紹介

20 プロシージャ紹介 経路update Mgmt iproute2 -Control PlaneFRRoting vtysh Netsnmp Switch Fabric Daemon rsyslog BGP rsyslog OSPF RIB Mgr Netlink routine Others FIB Manager (4) (7) OS APIs (2) rsyslog UI routine (3) IF Manager Broadcom Device Emulation White Box 2. カーネル上の経路テーブル (FIB)更新 4. NETLINKメッセージを受信 (6) 5. メッセージを解読し内部テー ブルをアップデート Open Network Linux Knet driver 1. 経路更新発生 3. カーネルがNETLINKメッセー ジ送信 OpenNSL Network Stack (Software Packet forwarding) main Open Configd (5) IF Mgr (1) 19 6.該当の経路をフォワードする IF stateを確認 (8) BCM chipset (Hardware Packet forwarding) 7. 経路更新情報をASICに書 き込むAPIをcall 8. 経路更新情報をASICに書 き込む

21 ThalarctOS デモ

22 デモ ThalarctOS デモシナリオ 1. ThalarctOS 起動 2. 対向ルータとBGP 接続 3. トラフィック疎通確認 Mgmt -Control Plane- FRRouting Container Open Network Linux White Box Switch Fabric Damon Container 21 ebgp トラフィック / /24 Vlan20(TAG 付 ).1 Tester /24 Vlan10(TAG 付 )

23 失敗談 22 Vlan1が意図せず挿入される FRRとASICの経路に差分発生 / /24の経路情報 Ping OK OUT IF ASICでの転送時に Vlan1が挿入されていた FRR ASIC Hu 0/1 Hu 0/2 Hu 0/1 Ping OK NG Hu 0/2 FRRからの経路情報が正しく ASICに書き込まれていない OSPF area 0

24 苦労したこと 23 ① White Box開発だけどBlack BoxなASIC ② Netlinkを介した FRRとの経路情報交換 ① OpenNSLの理解 OpenNSLのドキュメント 関数 引数の説明が詳しくない 更新もされていない 最終更新2017年 Black Boxテスト 謎のFlag /*** create egress object 1 ***/ flags = 0; rv = example_create_l3_egress(unit, flags, out_sysport, out_vlan,ing_intf_out,next_hop_mac, &l3egid); if (rv!= OPENNSL_E_NONE) { printf("error, create egress object, out_sysport=%d. Return code %s n", out_sysport, opennsl_errmsg(rv)); return rv; } ② FRRとNetlinkの動作理解 様々なパターンのメッセージとフラグ 単純な経路追加 経路変更 Single Path Multi Path 等々 v4とv6でメッセージに差分あり Netlinkメッセージの例 タイミング 経路変更 想定 実際 v4 DelRoute AddRoute AddRoute REPLACE FLAG v6 DelRoute AddRoute DelRoute AddRoute

25 今後の展望

26 今後の展望の前に... WIDE 網で実験を開始しました 25 矢上 OSPF 大手町 今回開発したルータでパケット転送

27 今後の展望 26 展望 1 運用機能の拡充 (telemetry 的な!) 展望 2 新 ASIC(Jericho2) への対応 < 参考 >Jericho2 特徴 9.6Tb/s forwarding capacity SR/MPLS/VPLS/E-OAM etc サポート フルルート保持可能 1200 万 (v4) 600 万 (v6) 外部メモリ利用時 25GE/50GE/100GE/200GE/400GE IF サポート ディープバッファ /H-Qos など

28