160311_icm2015-muramatsu-v2.pptx

Size: px

Start display at page:

Download "160311_icm2015-muramatsu-v2.pptx"

ちとらみしま
5 years ago
Views:

1 Linux におけるパケット処理機構の性能評価に基づいた NFV 導の検討村松真, 川島太, 中裕貴, 林經正, 松尾啓志名古屋業学学院株式会社ボスコテクノロジーズ ICM 研究会 2016/03/11

2 研究的 VM 仮想 NIC バックエンド機構仮想化環境仮想スイッチパケット処理機構物理環境性能要因を考察汎 IA サーバ NFV 環境に適したサーバ構成を検討 1

3 アウトライン u 研究的 ü パケット処理機構と仮想 NIC バックエンド機構 u 評価内容評価 (1): 物理サーバ上でのパケット転送評価 (2): VMと仮想スイッチ間のパケット転送評価 (3): VM 上でのパケット転送 u NFV 環境のサーバ構成の検討 u まとめと今後の課題 2

4 Network Functions Virtualization (NFV) u ソフトウェアでネットワーク機能を実現専ハードウェア機器 VM VM VM 汎 IA サーバ機器コスト運コストを削減迅速かつ柔軟にサービスを提供可能 3

5 汎 IA サーバの課題 VM 仮想 NIC バックエンド機構パケットコピーコンテキストスイッチ仮想スイッチ OpenFlow 処理パケット処理機構割り込み新たなパケット処理機構 ( 仮想スイッチ )/ 仮想 NICバックエンド機構が提案汎 IAサーバ 4

6 パケット処理機構 / 仮想 NIC バックエンド機構 u パケット処理機構 ( 仮想スイッチ ) ü NAPI: Linux New API (Open vswitch) ü netmap (VALE) ü Intel DPDK (OVS with DPDK, Lagopus) u 仮想 NIC バックエンド機構 ü vhost-net ü vhost-user 5

7 パケット処理機構と仮想スイッチ Linux NAPI netmap DPDK user space Open vswitch VALE スイッチ直接参照 netmap API DMA page DPDK API memory kernel space skb DMA page memory DMA 割り込み DMA / ポーリング netmap ring memory DMA 割り込み DMA / ポーリング DMA from User Space DMA to User Space ポーリング NIC NIC NIC 6

OVS/DPDK と Lagopus の違い OVS/DPDK Linux NAPI (Run to completion) netmap DPDK CPU1 Processing user space I/O RX Processing I/O TX VALEスイッチフロー単位で並列処理 I/O RX Processing I/O TX 直接参照 Open vswitch Lagopus

8 OVS/DPDK と Lagopus の違い OVS/DPDK Linux NAPI (Run to completion) netmap DPDK CPU1 Processing user space I/O RX Processing I/O TX VALEスイッチフロー単位で並列処理 I/O RX Processing I/O TX 直接参照 Open vswitch Lagopus (Pipeline) CPU2 netmap API CPU1 DPDK API DMA I/O page TX (Hugepage) I/O RX memory kernel space I/O RX skb --- 処理 --- 出をパイプライン処理 DMA page Processing memory DMA 割り込み DMA / ポーリング NIC I/O RX Processing netmap ring CPU2 memory DMA 割り込み DMA / ポーリング I/O TX I/O TX NIC CPU3 DMA from User Space NIC DMA to User Space ポーリング 7

9 仮想 NIC バックエンド機構 vhost-net memory vhost-user memory バッファ user space kernel space VM コンテキストスイッチが発 vhost-net メモリコピー memory 参照 VM メモリコピーコンテキストスイッチが発しない物理サーバ物理サーバ 8

10 アウトライン u 研究的 ü パケット処理機構と仮想 NIC バックエンド機構 u 評価内容評価 (1): 物理サーバ上でのパケット転送評価 (2): VMと仮想スイッチ間のパケット転送評価 (3): VM 上でのパケット転送 u NFV 環境のサーバ構成の検討 u まとめと今後の課題 9

11 本研究における評価対象と評価項物理環境の評価対象仮想化環境の評価対象パケット処理機構 Linux NAPI netmap Intel DPDK 仮想スイッチ Open vswitch VALE Lagopus 仮想 NIC バックエンド機構 vhost-net vhost-user 評価項フロー数エントリ数チェーニング数 VM のパケット処理機構単フロー単エントリ単 VM Linux NAPI 複数フロー複数エントリ複数 VM netmap Intel DPDK パケット転送速度パケット転送遅延時間遅延ジッタ 10

12 アウトライン u 研究的 ü パケット処理機構と仮想 NIC バックエンド機構 u 評価内容評価 (1): 物理サーバ上でのパケット転送評価 (2): VMと仮想スイッチ間のパケット転送評価 (3): VM 上でのパケット転送 u NFV 環境のサーバ構成の検討 u まとめと今後の課題 11

13 評価 (1): 評価環境スループット遅延 Open Source Traffic Analyzer エントリ数 : 1 in_port=1, output:2 仮想スイッチパケット処理機構 port2 port1 1 フロー UDP 10G Ethernet 物理サーバ port1 port2 物理サーバの性能 CPU Intel Core i7 3.4GHz (4core, HT:off) Memory 16GB NIC Intel X540-T2 10Gb Ethernet Open Source Traffic Analyzer, OS OVS netmap Lagopus DPDK ソフトウェアバージョン Fedora 22 ( x86 64) v2.4.0 v11.1 v0.2.3 v

14 評価 (1): 評価対象 / 評価内容 u 評価対象 OVS/NAPI VALE/netmap OVS/DPDK Lagopus/DPDK 仮想スイッチ OVS VALE OVS Lagopus ( 動作空間 ) (Kernel) (User) (User) (User) パケット処理機構 NAPI netmap DPDK DPDK u 評価内容 ü パケット転送速度 ü パケット転送遅延 13

15 評価 (1): パケット転送速度 [B] Throughput [Gbps] v0.2.4 で改善約 3.5Gbps (64B) OVS/NAPI VALE/netmap OVS/DPDK Lagopus/DPDK 14

16 評価 (1): 1 パケットに必要な CPU サイクル数 u CPU Hz (3.4G) pps から概算 OVS/NAPI VALE/netmap OVS/DPDK Lagopus/DPDK 2, ,389 OVS/NAPI に焦点を当てて要因を考察 Assessing Soft- and Hardware Bottlenecks in PC-based Packet Forwarding Systems, Paul Emmerich et. al, Technische Universität München, ICN

17 評価 (1): OVS/NAPI の性能要因 skb Cycles L1 Cache header skb Linear Buf memcpy DMA page memory RAM Cycles NIC memcpyだけで約 1000サイクル消費 Data Size [B] Data Size [B] 16

18 評価 (1): OVS/NAPI の性能要因 skb skb の確保 / 解放 header skb Linear Buf lock/unlock 6 回 memcpy DMA page memory 根源的な処理に約 50%(1000~/2294) のサイクル数を消費 NIC netmap, DPDK はゼロコピー, ロック回数の削減により速化を実現 17

19 評価 (1): パケット転送遅延 u 転送レート ü 100K pps Counts 500, , , ,000 OSTA OVS/DPDK VALE/netmap OVS/NAPI 100,000 0 Lagopus/DPDK Latency [us] 18

20 評価 (1): パケット転送遅延 Counts Counts 70,000 60,000 50,000 40,000 30,000 20,000 10, ,000 60,000 50,000 40,000 30,000 20,000 10, K OSTA OVS/NAPI VALE/netmap OVS/DPDK Lagopus/DPDK ハードウェア割り込みとポーリングが半々に混在 Latency [us] 1M OSTA OVS/NAPI VALE/netmap OVS/DPDK Lagopus/DPDK DPDKはポーリングのみであるため遅延ジッタが常に安定ほとんどのパケットをポーリング処理 Latency [us] 19

21 アウトライン u 研究的 ü パケット処理機構と仮想 NIC バックエンド機構 u 評価内容評価 (1): 物理サーバ上でのパケット転送評価 (2): VMと仮想スイッチ間のパケット転送評価 (3): VM 上でのパケット転送 u NFV 環境のサーバ構成の検討 u まとめと今後の課題 20

22 評価 (2): 評価環境 VM の性能 CPU Memory OS 2 cores 1 GB CentOS 7.2 Open Source Traffic Analyzer 1 フロー UDP VM port2 仮想 NIC バックエンド機構 OVS エントリ数 : 1 port1 観測点 in_port=2, output:1 物理サーバ port1 10G Ethernet 21

23 評価 (2): 各実装パターンの評価 Pattern 1 Pattern 2 コンテキストスイッチコンテキストスイッチ以外 VM VM OVS (User) User Kernel User Kernel OVS (Kernel) vhost-net port1 Pattern 3 VM OVS (DPDK) vhost-net User vhost-net port1 Pattern 4 (vhost-user) VM OVS (DPDK) port1 port1 22

24 評価 (2): 評価結果 10 64B 128B 256B 384B 512B 768B 1024B 1500B Throughput [Gbps] 8 6 コンテキストスイッチが発しない 4 2 メモリコピーカーネル / ユーザ空間間のコンテキストスイッチ 0 Pattern 1 Pattern 2 Pattern 3 Pattern 4 23

25 アウトライン u 研究的 ü パケット処理機構と仮想 NIC バックエンド機構 u 評価内容評価 (1): 物理サーバ上でのパケット転送評価 (2): VMと仮想スイッチ間のパケット転送評価 (3): VM 上でのパケット転送 u NFV 環境のサーバ構成の検討 u まとめと今後の課題 24

26 評価 (3): 評価環境 ü Pattern 1 と Pattern 4を対象 vhost-net/ovs(kernel) vhost-user/ovs(dpdk) OVS/ NAPI in_port=3, output:4 port3 VM port4 Open Source Traffic Analyzer in_port=1, output:3 in_port=4, output:2 仮想 NIC バックエンド機構 OVS port2 port1 1 フロー UDP 物理サーバ port1 port2 10G Ethernet 25

27 Throughput [Mpps] 評価 (3): パケット転送速度 Pattern 1 Pattern 4 Theoretical Packet Size [B] Throughput [Mpps] Pattern 1 Pattern 4 評価 (1): OVS/NAPI VMのOVS/NAPIがボトルネックコンテキストスイッチがボトルネック Packet Size [B] 26

28 アウトライン u 研究的 ü パケット処理機構と仮想 NIC バックエンド機構 u 評価内容評価 (1): 物理サーバ上でのパケット転送評価 (2): VMと仮想スイッチ間のパケット転送評価 (3): VM 上でのパケット転送 u NFV 環境のサーバ構成の検討 u まとめと今後の課題 27

29 NFV 環境のサーバ構成の検討 u 評価 (1) に基づく検討 ü 転送速度 ü 遅延時間ジッタ ü 汎性 ü OVS/NAPI ü VALE/netmap ü OVS/DPDK 状況に応じたパケット処理機構と仮想スイッチを選択 7Mpps per worker thread 遅延ジッタが不安定 28

30 まとめと今後の課題 u まとめ ü Linux 上で様々なパケット処理機構を評価し性能要因を考察 ü 転送速度を重要視する場合はnetmap, Intel DPDK New API では memcpy や lock などに処理に半のサイクル数を消費 ü 遅延ジッタはNew API, netmap, Intel DPDKすべてにおいて抑えられることが確認厳密に抑えたい場合は Intel DPDK が適切 u 今後の課題 ü 多数のフローが混在する環境下での評価 ü VM 上で DPDK などのパケット処理機構をいた際の評価 29

31 Lagopus の遅延ジッタ Frequency OSTA OVS/NAPI VALE/netmap OVS/DPDK Lagopus/DPDK Lagopus/DPDK' Latency [ns] 40 Frequency OSTA OVS/NAPI VALE/netmap OVS/DPDK Lagopus/DPDK Lagopus/DPDK' Latency [ns] 40 30

32 cycle vs. pps u CPU = Core i (3.4GHz, Ivy) cycles vs. pps (3.4GHz) Throughtpu [Mpps] Cycles 31

Lagopus SDN/OpenFlow switch: yet another SDN/OF switch agent and high-performance software switch

Lagopus SDN/OpenFlow switch: yet another SDN/OF switch agent and high-performance software switch 汎用 x86 サーバを用いた高速なソフトウエアパケット処理技術中島佳宏 This research is a part of the project for Research and Development of Network Virtualization Technology supported by the Ministry of Internal Affairs and Communications.