Ponto Networks, Inc. Delaware C corp, established Dec 2015 PontOS Dataplane agnostic Network Operation System + Stack providing performance, programma

Size: px

Start display at page:

Download "Ponto Networks, Inc. Delaware C corp, established Dec 2015 PontOS Dataplane agnostic Network Operation System + Stack providing performance, programma"

みひなたけはな
7 years ago
Views:

1 プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days 2017 Ponto Networks, Inc. プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

2 Ponto Networks, Inc. Delaware C corp, established Dec 2015 PontOS Dataplane agnostic Network Operation System + Stack providing performance, programmability, openness, scalability and modularity leveraging multiple hardware accelerated dataplanes like programmable silicon powered WhiteBox switches, NPU/FPGA powered SmartNICs and more. Headquarters San Diego, California (USA) Development Tokyo (Japan) + San Jose (USA) Investors Ex-executives of Internet and Mobile industry プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

3 アジェンダプログラマブルデータプレーンとは? 現在課題と未来ネットワークオペレーションスタックの実装例プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

4 データプレーンとは? イーサネットヘッダを解析宛先アドレスを KEY に MAC テーブルを参照学習済みポートへ転送ヘッダ解析 (Parse) テーブル参照 (Match) 変更転送 (Action) パケット処理パイプラインプログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

5 最も柔軟なデータプレーンとは? CPU どんな処理も実装できる ( プログラマブル ) プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

6 ハードウェアデータプレーン (ASIC) を使う理由ピーク性能 Gbps 単価 CPU 300Gbps 10,000 円 ASIC 6.5Tbps 461 円数字は概算 ( 桁感の例 ) です CPU/ASIC 1 個搭載のサーバー / スイッチ価格を 300 万円として比較 CPU: XEON PLATINUM 8180 (PCIe 3 x 48 = 300Gbps) ASIC: Barefoot Tofino (100GbE x 65 port) を Layer 2/3 switch として利用数字は概算 ( 桁感の例 ) です CPU/ASIC 1 個搭載のサーバー / スイッチ価格を 300 万円として比較プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

7 機能追加時に必要な開発体制とコスト CPU ASIC ピーク性能 300Gbps 6.5Tbps Gbps 単価 10,000 円 461 円開発体制数人数十人開発コスト ( 人件費除く ) 数百万円数億円 ASIC 作り直し数字は概算 ( 桁感の例 ) です CPU/ASIC 1 個搭載のサーバー / スイッチ価格を 300 万円として比較プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

8 ASIC のスケーラビリティ + CPU の開発コスト CPU ASIC プログラマブル ASIC ピーク性能 300Gbps 6.5Tbps 6.5Tbps Gbps 単価 10,000 円 461 円 461 円開発体制数人数十人数人開発コスト ( 人件費除く ) 数百万円数億円数百万円数字は概算 ( 桁感の例 ) です CPU/ASIC 1 個搭載のサーバー / スイッチ価格を 300 万円として比較プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

9 プログラマブルデータプレーンの登場イノベーションがスケールする時代に試作試行コストが小さくなるサーバーで起きたイノベーションをネットワークへコスト & 性能の良いプラットフォームでイノベーションが実現個人で開発への参加が可能オープンな活動の活性化より多くの人が新しい試みに参加できるようにプログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

10 プログラマブルデータプレーンを用いた試行 ( 例 ) In-band Network Telemetry (INT) パケット自身にパケットがマッチしたルールや Queue の情報を含める事により SNMP 等ではモニタリングできなかった粒度でネットワークの状況を把握遅延や特定アプリケーションの性能劣化原因を特定トラフィックエンジニアリングへの利用 Tbps Class Load Balancer ラックあたり Tbps クラスのトラフィックに対応した Load Balancer を低コストで構築トラフィック種別により振り分けに利用するフィールドを変更 Pre-processing & Content aware routing for Massive IoT 様々な Client からの細かいデータをサーバーが処理しやすいように前処理データ種別に応じた計算 bit -> Byte データ展開ペイロード中の ID に応じたサーバーへの振り分けストレージへの直接保存アプリケーション毎のペイロードデータフォーマットの定義プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

11 プログラマブルデータプレーンを用いたアプリケーション検討のワーキンググループ発足 (2017 年 11 月 ) プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

12 プログラマブルデータプレーンの現在ハードウェアデータプレーンに関してプログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

13 プログラマブルデータプレーンでプログラムできることヘッダフォーマットの定義パースグラフの構築マッチフィールドの定義テーブルタイプの定義 (Exact / Masked) MAC address IPv4 address proto + TCP ports ( any header fields ) アクションの定義フィールド操作ロジック drop copy forward push / pop add(+) sub(-) multiple(*) bit shift (<<) (>>) ヘッダ解析 (Parse) テーブル参照 (Match) 変更転送 (Action) プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

14 プログラマブルデータプレーン ( ハードウェア ) の現在メーカー製品名称タイプ開発環境 Cavium XPliant ASIC XDK Barefoot Tofino ASIC P4 製品出荷実績多数 ( クラウド事業者 ) OEM:Arista, Brocade 大規模事業者を中心とした限定出荷検証開発用筐体は一般入手可能 Netronome NFP NPU C-based SmartNIC 1 枚から広く入手可能 OEM 多数 ( 非公開アプライアンス製品等 ) NetFPGA (Xilinx) FPGA SDNet NetFPGA は研究教育目的が中心 Xilinx FPGA 搭載ボード (+SDNet) としても入手可能代表的な製品のみ記載他多数のメーカーもプログラマブル ASIC/NPU/FPGA リリースを予定しているプログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

https://www.amazon.co.jp/ Edgecore AS7512 で検索 Cavium Xpliant CNX88091 3.

15 Edgecore AS7512 で検索 Cavium Xpliant CNX Tbps プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

16 プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

17 ( 最もハードルが高い ) ハードウェアは入手可能にプログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

18 ( 最もハードルが高い ) ハードウェアは入手可能にプログラマブルデータプレーン課題と未来プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

19 プログラマブルデータプレーンの課題 (1) メーカー製品名称タイプ開発環境 Cavium XPliant ASIC XDK Barefoot Tofino ASIC P4 Netronome NFP NPU C-based NetFPGA (Xilinx) FPGA SDNet 自由にプログラムからはやや遠い言語もツールも異なる過去の学習が生かされない SDK 入手に別途契約が必要な場合もプログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

上で実行可能な形式にコンパイル Target 毎に提供される P4 Dataplane runtime に従いパケットを処理 Hardware: ASIC, NPU,

20 P4: 汎用データプレーンプログラミング言語の登場 Programming Protocol-Independent Packet Processors P4 Source Code P4 Compiler Target (P4 対応 Dataplane) パケット処理パイプラインの定義パーサーやテーブルアクションなど P4 を Target 上で実行可能な形式にコンパイル Target 毎に提供される P4 Dataplane runtime に従いパケットを処理 Hardware: ASIC, NPU, FPGA Software: CPU プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

21 ヘッダ定義パーサー定義テーブル定義 P4 プログラム ( 例 ) パイプライン定義 C 構造体のようにプロトコルヘッダを定義パーサーテーブルパイプラインを簡単な構文で記述可能プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

22 P4 対応状況メーカー製品名称タイプ開発環境 P4 対応状況 ( 入手状況 ) Cavium XPliant ASIC XDK 対応予定 ( エンドースメントプレスリリース有り ) Barefoot Tofino ASIC P4 Netronome NFP NPU C-based NetFPGA (Xilinx) FPGA SDNet Netronome: NetFPGA: Capilano SDE ( 製品購入者 + 契約 ) Agilio P4C SDK ( 製品購入者 ) P4 NetFPGA / P4-SDNet ( 登録必要 ) プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

23 P4 on Linux ( ソフトウェアリファレンス実装 ) P4 対応 Software Switch ( サンプル CLI 付き ) P4 チュートリアル & サンプル (P4 source code, Protocol agent...) P4 コンパイラ P4 ソフトウェア実装ビルド実行手順サンプルプログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

24 プログラマブルデータプレーンの課題 (2) データプレーンをどうコントロールするか? プログラマブルデータプレーン時代に必要なネットワークオペレーションスタックとは? プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

25 プログラマブルデータプレーン時代のネットワークオペレーションスタックに何が求められるか? 1. 異なるデータプレーンハードウェアへの対応 2. パケット処理パイプラインの管理 (Match/Action Table) 3. プロトコルエージェントの入れ替え 4. ユーザーアプリケーションの動作シェルアクセスサーバー同様の開発ツールチェイン 5. アプリケーションのための API 都度コンパイルでなく grpc/rest 等 API で制御可能 User Applications Modular Protocol Agents Dataplane Abstraction API Config Manager Pipeline Profile Dataplane (ASIC, NPU, FPGA, CPU) CLI プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

26 Open Network OS の現状 Dataplane Abstraction Pipeline Profile Modular Protocol Agents User Apps APIs for Apps OpenSwitch SnapRoute + Dell 〇〇〇 SONiC 〇〇〇 ONL Open Network Linux ーーーープログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

27 プログラマブルデータプレーン時代のネットワークオペレーションスタックの実装例プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

PontOS² コンセプト & アーキテクチャ External Apps Mngment System Operator Application Friendly API

Linux shell (CLI as an Application) オープンソースにより構成されたビルディングブロック Flexible Data plane プロファイル選択により入れ替え可能なパケット処理エンジン

(Forwarding Engine Abstraction) Flex ASIC (XPliant etc.

28 PontOS² コンセプト & アーキテクチャ External Apps Mngment System Operator Application Friendly API ネットワークプログラマビリティを実現するアプリケーションフレンドリーな開発環境 Management Plane User User Apps Apps SDK (Language API) REST API (WebAPI) Linux shell (CLI as an Application) オープンソースにより構成されたビルディングブロック Flexible Data plane プロファイル選択により入れ替え可能なパケット処理エンジン Native Applications Native Native Applications Applications Modular Modular Routing Routing Agents Agents FEA (Forwarding Engine Abstraction) Flex ASIC (XPliant etc.) Data Plane Flexible Data Plane Linux Kernel Network Stack Config Broker (data store) Data Path Profile Manager P4 (SmartNIC, NPU, FPGA) プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

.. 2017 年 3 月 RAN EPC SGi Internet Service Functions enodeb SGW PGW GW GTP-U

29 プログラマブル ASIC デモ GTP Parser & Match/Action + Stats on Cavium XPliant Computex Taipei 台湾台北年 6 月 Open Compute Project サンノゼ年 3 月 RAN EPC SGi Internet Service Functions enodeb SGW PGW GW GTP-U Tunnel GTP-U Tunnel VLAN, etc. プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

GTP TEID match/action & statistics ( デモ構成図 ) GTP トラフィック生成用サーバー (VM) host1 host2 10.0.40.1/24 10.

(TEID=100/200/300/400) XPliant スイッチ (White Box) Parse GTP Header Match/Action based on GTP TEID

30 GTP TEID match/action & statistics ( デモ構成図 ) GTP トラフィック生成用サーバー (VM) host1 host / /24 Mngmnt Port デモ GUI (Web ブラウザ ) 100GbE 100GbE REST API GTP Traffic (TEID=100/200/300/400) XPliant スイッチ (White Box) Parse GTP Header Match/Action based on GTP TEID stats via REST API Mngmnt Port = IP Interface プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

31 PontOS² Implementation ( 実装 ) Zebra 2.0 Open Source Network Stack Fresh rewrite of Zebra/Quagga Data Plane agnostic NetOS Stack PontOS² Seamless integration with multiple Proprietary Data Plane platforms Performance and quality control for service providers Management Plane User User Apps Apps Native Applications Native Native Applications Applications Modular Modular Routing Routing Agents Agents REST API (WebAPI) FEA (Forwarding Engine Abstraction) Flex ASIC (XPliant etc.) Data Plane External Apps Mngment System SDK (Language API) Flexible Data Plane Linux Kernel Network Stack Operator Linux shell (CLI as an Application) Config Broker (data store) Data Path Profile Manager P4 (SmartNIC, NPU, FPGA) プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

32 Zebra 2.0 on GitHub!! Zebra 2.0 Installation Install openconfigd $ go get github.com/coreswitch/openconfigd/openconfigd Install CLI $ go get github.com/coreswitch/openconfigd/cli_command $ cd $GOPATH/src/github.com/ coreswitch /openconfigd/cli $./configure; make $ sudo make install $ cd $GOPATH/src/github.com/coreswitch/openconfigd/bash_completion.d $ sudo cp cli /etc/bash_completion.d/ Install zebra $ go get github.com/coreswitch/zebra/rib/ribd プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

33 Written from scratch in Go openconfigd configuration system yang model CLI (Junos like) etcd for scalability zebra/ribd dataplane management (ex: FIB) zebra/fea multiple dataplane support link/port, bridge domain etc. New bgpd/ospfd multi-core support quaggad & zebra protocol for backward compatibility Zebra 2.0 Architecture openconfigd quagga quaggad bgpd / ospfd Tap interface vtysh grpc (yang model) zebra proto Linux dataplane netlink プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days CLI openconfigd grpc ribd grpc fea zebra grpc JSON grpc etcd bgpd/ospfd HW API (SAI, XDK etc.) Hardware dataplane

34 Zebra 2.0 アーキテクチャの特徴オープンかつモジュラーなアーキテクチャ例 :openconfigd 部分だけを利用して他製品に組み込み Lagopus Router 新しい技術のユースケース確認が身近に例 :SRv6 対応 (2017 年 11 月 ) オープン & オープンソースのデータプレーン管理プラットフォームプログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

35 Zebra2.0 SRv6 on Linux dataplane プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

36 Zebra2.0 + OpenConfigd + Quagga ospfd/bgpd On LXC Containers プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

37 Basic routing/switching features (ACL, NAT etc.) New Protocol Support SRv6 Network Programming Forwarding Engine Abstraction ASIC support (via SAI) P4 dataplane (via SAI or P4-PI) New Protocol Agents BGP, OSPFv2, OSPFv3, IS-IS Zebra 2.0 (future roadmap) プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

38 プログラマブルデータプレーンが必要とされるもう 1 つの理由プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

39 プログラマブルデータプレーンが必要とされるもう 1 つの理由ムーアの法則の終焉待っていても性能は向上しない時代にいかに高価な CPU をオフロードするか? 出典 : プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

40 プログラマブルデータプレーンが必要とされるもう 1 つの理由ムーアの法則の終焉待っていても性能は向上しない時代にいかに高価な CPU をオフロードするか? ユースケース最適なハードウェアの選択が必要に ( ASIC / NPU / FPGA ) 出典 : プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

41 p4alu Arithmetic Logic Unit written in P4 Source Code on GitHub Generic P4 information in Japanese ( 日本語 ) How to Run P4 Behavior Model v2 (JAPANESE) プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

42 p4alu: Arithmetic Logic Unit in P4 In-Network Computing という未来へ GPU => 機械学習 Ethernet ASIC =>??? プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

43 CuiShark packets after going through p4alu op2 result op1 opcode プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

44 CuiShark packets after going through p4alu op2 result op1 opcode プログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

45 プログラマブルデータプレーン時代に目指すものデータプレーンに自由をスケーラブルなデータプレーンを個人がプログラムできる時代にプログラマブルデータプレーンの技術動向とネットワークオペレーションスタックの実装例 Okinawa Open Days

プログラマブル・データプレーン時代に向けたネットワーク・オペレーション・スタック

プログラマブル・データプレーン時代に向けたネットワーク・オペレーション・スタックプログラマブルデータプレーン (P4) & ネットワークオペレーションスタック Okinawa Open Days 2017 Forum 海老澤健太郎 @ Ponto Networks, Inc. [email protected] プログラマブルデータプレーン (P4)& ネットワークオペレーションスタック OkinawaOpenDays フォーラム 2017/12/07 1 Ponto