Lagopus SDN/OpenFlow switch: yet another SDN/OF switch agent and high-performance software switch

Size: px

Start display at page:

Download "Lagopus SDN/OpenFlow switch: yet another SDN/OF switch agent and high-performance software switch"

あやかひでやま
4 years ago
Views:

1 汎用 x86 サーバを用いた高速なソフトウエアパケット処理技術中島佳宏 This research is a part of the project for Research and Development of Network Virtualization Technology supported by the Ministry of Internal Affairs and Communications. 0

2 発表の概要パケット処理の流れ汎用 x86サーバにおける高速化の難しさ高速化技術 Lagopus 1

3 Two Bible 2

4 なぜ汎用 x86 サーバなのか? 汎用サーバはかなり速くなっているほぼ毎年性能が改善されるコア数もどんどん増えているどこでも入手可能かつ実行可能秋葉原や近くの電気屋で買える仮想環境上でも動作可能安い 10 万以下で8 core CPU, 6 port 1GbEの構成予算にあわせて様々な構成で買えるエンジニアはいっぱいいる開発環境コンパイラライブラリは充実 3

5 パケット処理の流れ packet 受信処理 NIC のドライバ処理アルゴリズムの詳細は Bible にてフレーム処理フロー検索ヘッダ書換えパケットのパージング Lookup, Header 書き換え QoS Queue Policer, Shaper Marking 送信処理 packet 4

6 Switch の基本アーキテクチャ外部制御システム BGP, OSPF, OpenFlow 制御エージェント ( 外部システムとの通信データプレーンの制御 ) CLI BGP フロー制御命令イベント情報 (link up, down) 統計情報データプレーン ( パケット処理 ) フロー制御統計情報 5

7 OpenFlow とは (OpenFlow 1.3) 従来のネットワーク機器 OpenFlow の構成 OpenFlow コントローラコントロールプレーン ( ルーティング / スイッチング ) コントロールプレーン ( ルーティング / スイッチング ) OpenFlow プロトコル OpenFlow スイッチデータプレーンデータプレーンフローパターンフローパターン Flow Table アクションアクションカウンターカウンター Flow Table #2 Flow Table #3 Flow Table #4 6 柔軟なフローパターン定義 (Port #, VLAN ID, MAC アドレス, IP アドレス ) フローに対する処理定義 ( 出力ポート指定, ユニキャスト, ブロードキャスト, ドロップ ) フロー統計情報 ( パケット数, バイト数, セッション継続時間 ) 6

8 # of packets per seconds 10Gbps 達成のために必要なパケット処理数 16,000,000 14,000,000 12,000,000 Short packet 64Byte MPPS, 67.2 ns 10,000,000 8,000,000 6,000,000 Computer packet 1KByte 1.2MPPS, 835 ns 4,000,000 2,000, Packet size (Byte) 7

9 汎用サーバにおける高速化の難しさ 8

10 汎用サーバの構成 QPI Memory CPU CPU Memory NIC PCI-Exp PCI-Exp NIC NIC NIC Reference: supermicro X9DAi 9

11 汎用 CPU の構成 CPU スロットあたり複数 CPU コアを保持 6 18CPU コア階層化キャッシュを保持 L1, L2 は CPU コア毎に,L3 は CPU コア間で共有 CPU 間はリングで接続 intel さん資料より 10

12 CPU のキャッシュとメモリの構成階層化されたキャッシュを持っているキャッシュに入っているデータアクセスはとても速いメインメモリのデータを見る場合はとても遅い連続するデータについてはプリフェッチ機構が利用可能 Size (Byte) Bandwidth (GB/s) Latency - random L1 $ 32K clock L2 $ 256K clock L3 $ 6M clock Memory G class cycles (91 ns) 11

13 # of packets per seconds 10Gbps 達成のために必要なパケット処理数 16,000,000 14,000,000 12,000,000 Short packet 64Byte MPPS, 67.2 ns 2Ghz: 134 clocks 3Ghz: 201 clocks 10,000,000 8,000,000 6,000,000 4,000,000 Computer packet 1KByte 1.2MPPS, 835 ns 2Ghz: 1670 clocks 3Ghz: 2505 clocks 2,000, Packet size (Byte) 12

14 典型的なパケット処理にかかる CPU サイクル数 (2Ghz CPU) 10Gbps の壁 1Gbps の壁 DPI 簡単なopenflow 処理 TCP 終端 L2-L4 classification IP routing L2 forwarding # of required CPU cycles 13

15 パケット処理アプリ on Linux/PC ユーザ空間でのパケット処理アプリ ( イベントベースの処理 ) カーネル空間でのパケット処理 ( イベントベースの処理 ) vswitch agent vswitch agent Data plane User space Socket API 2. system call (read) 1. Interrupt & DMA skb_buf Ethernet Driver API 3. system call (write) 4. DMA Kernel space 1. Interrupt & DMA Socket API vswitch Data plane skb_buf Ethernet Driver API 2. DMA NIC packet buffer Driver NIC packet buffer 14

16 パケット処理アプリ on Linux/PC ユーザ空間でのパケット処理アプリ ( イベントベースの処理 ) カーネル空間でのパケット処理 ( イベントベースの処理 ) vswitch agent Contexts switch vswitch agent dataplane User space Socket API 2. system call (read) 1. Interrupt & DMA skb_buf Ethernet Driver API 3. system call (write) 4. DMA Many memory copy / read Kernel space 1. Interrupt & DMA Socket API vswitch dataplane skb_buf Ethernet Driver API 2. DMA NIC packet buffer Driver Interrupt-based NIC packet buffer 15

17 汎用 x86 での高性能パケット処理の課題 1. 高負荷時の大量の受信割り込み処理にサーバは耐えられない 2. 他のプロセスの介入などのタスクスイッチのオーバヘッドが重い 3. CPU と比較して PCI-Express I/O, memory のバンド幅が狭い 4. 複数スレッド時に共有データへの排他処理がボトルネック 5. メモリアクセス単位が 4KB のため, 大量メモリアクセスに伴うアドレス変換機構 (TLB) のキャッシュ頻繁にスワップアウト ( 非効率 ) 16

18 高速化のための技術 17

19 高速化のための技術マルチコア CPU 活用パイプライン処理並列処理マルチスレッド化高速な I/O ライブラリ Intel DPDK Netmap ロックレスライブラリ RCU 高速なフロー検索詳しくは Bible を参照 18

20 高速化のための基本的なアイディア (1) パイプライン化 RX lookup action QoS TX RX lookup action QoS TX RX lookup action QoS TX 並列化 RX lookup action QoS TX RX lookup action QoS TX RX lookup action QoS TX RX lookup action QoS TX RX lookup action QoS TX RX lookup action QoS TX RX lookup action QoS TX RX lookup action QoS TX RX lookup action QoS TX 19

21 高速化のための基本的なアイディア (2) パケットバッチングパケット毎にフロー検索と処理を行うのではなく, パケットを複数まとめて実行 CPU のメモリプリフェッチが活用可能共有データに対するロック削減シンプルな実装入力パケットフロー検索木パケット毎にロックが必要ロックロック解除実装したもの入力パケットフロー検索木 1 回のロックで複数パケット処理が可能 20

22 高速化のための実装の工夫処理のバイパス受信時パケットデータを NIC のバッファから直接 CPU キャッシュへ転送 (Intel Data Direct I/O) カーネルにおける処理のバイパスフロー検索 $ 活用によるフロー検索処理の軽量化メモリアクセスの削減と局所化コンパクトな検索木の作成 Thread local storage の活用パケット処理の部分化とその CPU への明示的な割当てパケット処理の CPU コアへの明示的な割り当て CPU やバスの内部接続を考慮したスレッドの CPU への割り当て 21

23 Intel DPDK X86 アーキテクチャに最適化されたデータプレーン用ライブラリと NIC ドライバメモリ構成を考慮した Queue, buffer 管理ライブラリ packet flow classification ポーリングベースの NIC driver データプレーン処理に最適化された低遅延 & 高性能なランタイム抽象化されたパケット処理 BSD ライセンス :) OSS コミュニティにより開発中 22

24 Intel DPDK の効果 23

25 DPDK パケット処理アプリユーザ空間でのパケット処理アプリ ( イベントベースの処理 ) DPDK アプリ ( ポーリングベースの処理 ) vswitch agent Dataplane Contexts switch User space vswitch agent DPDK dataplane Socket API 2. system call (read) 1. Interrupt & DMA skb_buf Ethernet Driver API 3. system call (write) 4. DMA Many memory copy / read Kernel space Socket API 1. DMA Write Ethernet Driver API 2. DMA READ NIC packet buffer Driver Interrupt-based NIC packet buffer 24

26 汎用 x86 上での高性能パケット処理の課題と解決法 1. 高負荷時の大量の受信割り込み処理はサーバにとって辛いポーリングベースのパケット受信処理 2. 他プロセスによるタスクスイッチのオーバヘッドが重いスレッドの明示的な CPU 割り当て (one thread/one logical CPU) 3. PCI-Express I/O, memory のバンド幅が狭い I/O やメモリへのアクセス回数を可能な限り削減 4. 複数スレッド時に共有データへの排他処理がボトルネックロックレスキューや RCU ライブラリ活用 5. メモリアクセス単位が 4KB のため, 大量メモリアクセスに伴うアドレス変換機構 (TLB) が非効率 Huge DTLB (2MB - 1GB) 25

27 Lagopus: 高速なソフトウエア OpenFlow Switch 26

28 なぜ始めたのか? 高性能なソフトスイッチが欲しかった機能面 MPLSサポートしてほしい PureなOpenFlowスイッチが欲しい性能面 10 万フロー投入に数時間かかる思ったよりパケット転送が遅い管理面インストールがしやすいほうがいいユーザ空間で動作するほうがいい 27

29 背景 Agile and flexible networking 自動化の重要性ユーザ手動の NW 構成設定サーバ仮想化と NFV からの要求により高性能なソフトウエアによるパケット処理が必要レイテンシを可能な限り小さくショートパケット (64B) 時でも高い性能まともな OpenFlow 1.3 ソフトスイッチがない大規模なフローテーブル 10Gbs 回線容易なアップデートや管理の容易化の促進 28

30 Lagopus のターゲット高性能なソフトウエア OpenFlow switch 10Gbps wire-rate packet processing / port 1M flow rules 高速なフローの投入 SDN の広域 NW への適用 data center 以外の領域へのチャレンジ WAN protocols, e.g. MPLS and PBB 管理効率化のための管理プロトコル対応ゲートウェイシステムや仮想化基盤向けの vsw 29

31 Lagopus 設計実装の方針 30

32 設計実装の方針 (1) 複雑にしたら負け複雑骨折しないシンプルな方がCPUの高速化機能を利用できる OpenFlow 1.0をサポートしない教科書に従いフルスクラッチ開発 31

33 設計実装の方針 (2) メモリコピーしたら負け一度 NICからメモリコピーしたら動かさない可能な限りメモリコピーしないロックしたら負けパケットバッチ処理を可能な限り取り入れる可能な限りロックしないようサボるなんでも交換可能フロー検索, ライブラリとか研究プラットフォームとして利用可能なように 32

34 Lagopus 設計シンプルなモジュール構成スイッチ制御データプレーン Switch エージェント統一スイッチ資源モデル HAL を介したデータプレーン制御 (Event Queue ベース ) データプレーン高速 NW I/O ライブラリ (Intel DPDK) 複数フローテーブルに対応したフローキャッシュ 33

35 複数 CPU コアによるパケット処理 OpenFlow data plane processing パケットはコピーせず参照渡しパケット群に対するバッチ処理 Exploit many core CPUs I/O 処理と Flow 処理を分離マルチコア CPU を利用したパイプライン化 CPU D-cache 利用効率を向上 Ring buffer NIC 1 RX NIC 2 RX NIC 3 RX NIC 4 RX NIC RX buffer I/O RX CPU0 I/O RX CPU1 Flow lookup packet processing CPU2 Flow lookup packet processing CPU3 Flow lookup packet processing CPU4 Flow lookup packet processing CPU5 Ring buffer I/O TX CPU6 I/O TX CPU7 NIC TX buffer 34 NIC 1 TX NIC 2 TX NIC 3 TX NIC 4 TX

36 バイパスするためのキャッシュ機構毎回検索するのは厳しいとくに複数テーブル設定時あたったものだけキャッシュシンプルな実装 table1 table2 table3 入力パケット出力パケット実装したもの入力パケット Flow cache 1. 新規フローの場合 table1 table2 table3 出力パケットフローキャッシュ書込み複数テーブル対応フローキャッシュ生成器 2. 既知フローの場合 35 出力パケッ 35

37 Lagopus 評価 36

38 性能評価まとめ Throughput: 10Gbps wire-rate Flow rules: 1M flow rules 4000 flowmod add / sec 評価モデル WAN-DC gateway MPLS-VLAN mapping L2 switch Mac address switching 37

39 性能評価環境 tester Packet size Flows Server Flow cache (on/off) Lagopus Flow table Flow rules Throughput (bps/pps/%) Server spec. CPU: Dual Intel Xeon E core(16 thread), 20M Cache, 2.2 GHz, 8.00GT/s QPI, Sandy bridge Memory: DDR ECC 64GB Quad-channel 8x8GB Chipset: Intel C602 NIC: Intel Ethernet Converged Network Adapter X520-DA2 Intel 82599ES, PCIe v2.0 38

WAN-DC Gateway Throughput vs packet size, 1 flow, flow-cache 10 9 8

rules 10k flow rules 100k flow rules 1M flow rules Throughput vs

Packet size (byte) Throughput (Gbps) 10 9 8 7 6 5 4 3 10k flow rules

40 WAN-DC Gateway Throughput vs packet size, 1 flow, flow-cache Throughput (Gbps) flow rules 100 flow rules 1k flow rules 10k flow rules 100k flow rules 1M flow rules Throughput vs flows, 1518 bytes packet Packet size (byte) Throughput (Gbps) k flow rules 100k flow rules 2 1M flow rules flows 39

41 L2 switch performance (Mbps) 10GbE x 2 (RFC2889 test) Mbps Packet size LINC OVS (netdev) OVS (kernel) Lagopus (software) 40

42 まとめ複雑なことをすると負けメモリコピーしたら負けロックしたら負けシンプル is Best Lagopus は今後も高速化のための拡張を継続していきます! 41

43 Open Source Activity Okinwa Open Days 2014 にてハンズオン OpenFlow 関連 Ryu + Lagopus チュートリアル Internet Week 2014 (11/18) にて BoF Twitter: lagopusvswitch 42

160311_icm2015-muramatsu-v2.pptx

160311_icm2015-muramatsu-v2.pptx Linux におけるパケット処理機構の性能評価に基づいた NFV 導の検討村松真, 川島太, 中裕貴, 林經正, 松尾啓志名古屋業学学院株式会社ボスコテクノロジーズ ICM 研究会 2016/03/11 研究的 VM 仮想 NIC バックエンド機構仮想化環境仮想スイッチパケット処理機構物理環境性能要因を考察汎 IA サーバ NFV 環境に適したサーバ構成を検討