作って覚えるDPDKプログラミング

Size: px

Start display at page:

Download "作って覚えるDPDKプログラミング"

よしおしげい
7 years ago
Views:

1 作って覚える DPDK プログラミング Internet Week 2016 Dec 1, 2016 ( 株 ) インターネットイニシアティブ沖勝 [email protected]

2 Agenda DPDKの概要さっそく作ってみるどんなふうに動いてるの? DPDKが提供している機能の紹介 DPDKを使った高速化の秘訣動かすには下準備が必要いくつかの疑問 DPDKプログラミングのまとめ 2

3 DPDK の概要 The DPDK logos are provided by Intel under a Creative Commons Attribution-NoDerivatives 4.0 License (CC BY-ND 4.0). 3

4 ずばりなんなのか Data Plane Development Kit 高速パケット I/O 機能を提供するライブラリ Over 160Mfps とのこと 10GbE ワイヤーレートとか出せます単体動作するスイッチやルータではありませんプロトコルスタックでもありません C 言語で書かれています Linux, FreeBSD で使えます x86 だけでなく ARM や Power8, Tile-GX でも動きますソース提供されているので基本はビルド最近はパッケージ化されたものもあります BSD License です Linux kernel module は GPLv2 4

5 DPDK の歴史 2012 年 9 月 version first public release 32/64bit x86 Linux のみ NIC は Intel の igb(gbe) と ixgbe(10gbe) のみ当時は Intel DPDK 2016 年 4 月よりバージョン命名規則が年. 月に現時点の最新は Power8, Tile-GX, ARM(Cavium, RehiveTech, NXP) でも動作 Mellanox, Broadcom, Qlogic 等の NIC にも対応 Crypto driver(aes 等の暗号化サポート ) も提供されている以降 17.02, 17.05, 17.08, と年 4 回リリース 5

6 さっそく作ってみる The DPDK logos are provided by Intel under a Creative Commons Attribution-NoDerivatives 4.0 License (CC BY-ND 4.0). 6

7 初期化コード #define NPORT 2 #define NRXQ 1 #define NTXQ 1 #define QLEN 144 init(int argc, char *argv[]) { ポートの初期化受信キュー初期化 } rte_eal_init(argc, argv); rte_pktmbuf_pool_create( mbufpool, NB_MBUF, cache_size, 0, MBUF_SIZE, rte_socket_id()); for (portid= 0; portid < NPORT; portid++) { } コマンドライン処理パケット用メモリプールの確保 rte_eth_dev_configure(portid, NRXQ, NTXQ, &portconf); for (n = 0; n < NRXQ; n++) { rte_eth_rx_queue_setup(portid, n, QLEN, ); } for (n = 0; n < NTXQ; n++) { rte_eth_tx_queue_setup(portid, n, QLEN, ); } 送信キュー初期化 7

8 Port0 Port1 へパケット転送 main(int argc, char *argv[]) { init(argc, argv); for (;;) { 初期化コード呼び出し永久ループ Port0 からパケット受信 } } npkts = rte_eth_rx_burst(0, mbufs, NB_MBUF); rte_eth_tx_burst(1, mbufs, npkts); パケットを Port1 に送信起動コマンドライン : sudo fwd_sample -c1 -n2 8

9 複数スレッドでパケット処理 struct ports { int inport; int outport; } ports[] = { { 0, 1 }, { 1, 0 } }; ここでは 2 スレッド動作を前提としていますスレッドのエントリ関数スレッドごとに異なる ID により送受信ポートを決定 thread() { inport = ports[rte_lcore_id()].inport; outport = ports[rte_lcore_id()].outport; } for (;;) { } ひとつのスレッドの処理は最初のサンプルと同じ npkts = rte_eth_rx_burst(inport, mbufs, NB_MBUF); rte_eth_tx_burst(outport, mbufs, npkts); 9

10 Port0 Port1 パケット転送 main(int argc, char *argv[]) { init(argc, argv); 初期化コード呼び出し各コアで thread() を実行 rte_eal_mp_remote_launch(thread, NULL, CALL_MASTER); } rte_eal_mp_wait_lcore(); 全ての thread() の終了待ち起動コマンドライン : sudo fwd_sample2 -c3 -n2 (16 進数 )3 は bit0,bit1 が 1 core0,core1 を使用するメモリチャネル数 1,2,4 のいずれか 10

11 望んだアプリにする受信と送信の間に処理を挟み込む送信先をダイナミックに決定するパケットの中身を加工するがんばればスイッチやルータも作れますプロトコルスタックが不要な処理で威力を発揮 OpenFlow トラフィックジェネレータロードバランサーなど 11

12 パケットデータの参照操作 rte_eth_rx_burst() などで扱うのは mbuf 配列 struct rte_mbuf * *BSD mbuf そのものではないが似ている head room や tail room をあらかじめ空けてある主な API Rte_pktmbuf_alloc() mbufの確保 (bulk 版 APIもある ) rte_pktmbuf_free() mbufの解放 rte_pktmbuf_mtod() mbuf 先頭データの取り出し rte_pktmbuf_len() パケット長の取得 rte_pktmbuf_prepend() 先頭に指定バイト数加える rte_pktmbuf_adj() 先頭から指定バイト数取り除く Rte_pktmbuf_append() 末尾に指定バイト数加える rte_pktmbuf_trim() 末尾から指定バイト数取り除く 12

13 パケットデータを扱う例 struct rte_mbuf *mbufs[nb_mbuf]; n_mbufs = rte_eth_rx_burst(portid, mbufs, NB_MBUF); for (n = 0; n < n_mbufs; n++) { mbuf = mbufs[n]; 先頭からのオフセット指定し指定の型で取り出す typeoff = rte_pktmbuf_mtod_offset(mbuf, uint16_t *, 12); } switch (*typeoff) { case ETHERTYPE_IP: my_ip_input(mbuf); break; default: rte_pktmbuf_free(mbuf); } ether type を参照する dst mac (6bytes) src mac (6bytes) ether type (2bytes) Payload

14 ここで当然の疑問 1 スレッド 1 コア? そのとおりです永久ループつまりぐるぐるまわる受信 APIはブロックするか? しませんパケットを受信していなければ 0 個 pollやselect 相当のAPIは? CPU 利用率? 100% ありません速度至上主義 CPU loadどれだけ食おうがとにかく速くコアやCPUソケットをめちゃくちゃ意識します 14

15 どんなふうに動いてるの? The DPDK logos are provided by Intel under a Creative Commons Attribution-NoDerivatives 4.0 License (CC BY-ND 4.0). 15

16 おおまかな動作イメージ kernelをバイパスしてdpdkでパケット受信パケット送信もDPDKによってkernelをバイパス動作の主体はUser Process User Process DPDK Linux kernel NIC NIC 16

17 PMD (Poll Mode Driver) Linux の uio(userspace I/O) kernel module を利用 DPDK でビルドされる igb_uio.ko を組み込み NIC のドライバはすべて DPDK の中で実装割込みを使わずポーリングするドライバのため PMD (Poll Mode Driver) と名付けられた最初の実装は FreeBSD のドライバからの移植 17

18 コンテキストスイッチの抑制スレッドが走るコアを固定する pthread_setaffinity_np(3) 1 スレッド 1 コア 4 スレッドなら 4 コア必要 PMD によって送受信割り込みを抑制 Page fault を抑制するための hugepage の利用通常 4KB/page で実メモリがないと Page fault で確保 TLB miss 例外が発生して確保後に元の処理に戻る hugepage は 2MB/page あるいは 1GB/page データベースの高速化にも使われる 18

19 ゼロコピーパケット処理の際にコピーを不要とする受信時に hugepage にパケットデータを書き込みポインタをユーザプログラムに渡すユーザプログラムがポインタを送信 API に渡す送信 API はコピーせずそのまま送信処理を実行 19

20 DPDK が提供している機能 The DPDK logos are provided by Intel under a Creative Commons Attribution-NoDerivatives 4.0 License (CC BY-ND 4.0). 20

21 DPDK の主なライブラリの紹介 Environment Abstraction Layer (librte_eal) Ethernet 関連 (librte_ether) パケットデータ操作 (librte_mbuf) LPM (librte_lpm) ACL (librte_acl) ハッシュ関数ハッシュテーブル (librte_hash) パケットのリオーダリング (librte_reorder) IP フラグメント処理 (librte_ip_frag) Lockless なリングバッファ (librte_ring) などドキュメントにて解説されています ( 英語ですが ) 21

22 サンプルプログラム ~src/dpdk$ ls examples/ bond ipv4_multicast link_status_interrupt quota_watermark cmdline kni load_balancer rxtx_callbacks distributor l2fwd Makefile skeleton dpdk_qat l2fwd-cat multi_process tep_termination ethtool l2fwd-crypto netmap_compat timer exception_path l2fwd-jobstats nohuge-test vhost helloworld l2fwd-keepalive packet_ordering vhost_xen ip_fragmentation l3fwd performance-thread vmdq ip_pipeline l3fwd-acl ptpclient vmdq_dcb ip_reassembly l3fwd-power qos_meter vm_power_manager ipsec-secgw l3fwd-vf qos_sched ~/src/dpdk$ 22

23 DPDK を使った高速化の秘訣 The DPDK logos are provided by Intel under a Creative Commons Attribution-NoDerivatives 4.0 License (CC BY-ND 4.0). 23

24 DPDK を使った高速化の秘訣ハードウェアリソースを活用する NIC のオフロード機能 (checksum, TSO) マルチキュー NIC (RSS, flow director) 可能ならスレッド間でリソースを共有しないたとえばスレッド ( コア ) ごとに持たせるマルチキュー NIC のキューごとにコアを割り当てる CPU がなるべく待たないようにするなるべくロックしないなるべくパケットをバルクで処理するなるべくコピーしない 24

25 ハードウェア活用例マルチキュー NIC を利用 Intel の GbE NIC では最大 8 queue RSS(Receive Side Scaling; NIC の機能 ) で振り分け IPv4 src, dst の組から hash 値を計算し振り分ける送信先におけるパケット順序性が保証されるそれぞれのスレッドが互いを気にせず処理 NIC Queue0 DPDK PMD Queue1 Thread A (core 0) Thraed B (core 1) 25

26 高速化の秘訣 2 コアごとに処理内容を分けるたとえば I/O 処理とパケットフィルタリング OSS の OpenFlow スイッチ Lagopus の手法 OpenFlow rx rx OpenFlow OpenFlow OpenFlow tx tx rx 2 コア OpenFlow worker 4 コア tx 2 コア 26

27 ボトルネックの調査 perf コマンドサブコマンドがいろいろあるがまずは perf top 空ループも高負荷に見える点に注意 27

28 動かすには下準備が必要 The DPDK logos are provided by Intel under a Creative Commons Attribution-NoDerivatives 4.0 License (CC BY-ND 4.0). 28

29 下準備 : 実は大きなハードル DPDK のビルド DPDK のトップディレクトリ $RTE_SDK に cd しておき./tools/setup.sh を実行対話形式でビルドできる対話形式でなく make を使うときは下記のようにする make T=x86_64-native-linuxapp-gcc config make hugepage の予約 Linux kernel 起動パラメータに追加 Ubuntu なら /etc/default/grub を編集して update-grub 例 : GRUB_CMDLINE_LINUX= hugepages=2048 /etc/fstab にエントリ追加 none /mnt/huge hugetlbfs defaults 0 0 一度再起動が必要 29

30 もう一つの下準備 PMD 動作に必要なカーネルモジュール組み込み sudo modprobe uio sudo insmod $RTE_SDK/build/kmod/igb_uio.ko UIO を使うよう NIC のドライバの差し替え sudo $RTE_SDK/tools/dpdk-devbind.py パラメータなしで Usage が表示される例 : dpdk-devbind.py --bind=igb_uio 01:00.0 この例の 01:00.0 は PCI アドレス値は ethtool i eth1 など実行するとわかる DPDK のバージョンが古いとスクリプト名が違う OS から NIC が見えなくなる (!) 再起動のたびに上記を実行する必要あり 30

31 いくつかの疑問 The DPDK logos are provided by Intel under a Creative Commons Attribution-NoDerivatives 4.0 License (CC BY-ND 4.0). 31

32 いくつかの疑問仮想環境でも動く? オーバーヘッドは? 動作します virtio PMD や vhost PMD を使えます SR-IOV も使えます CPU100% については後述通常 OS の処理よりいいって本当? DPDK はプロトコルスタックを持っていません DPDK や third party ソフトウェアがない機能は自作が必要最近カーネル内で完結するフレームワークが話題だが (ebpf, XDP) 一長一短一部のパケットだけ DPDK で処理したい可能? 可能と言えば可能 DPDK 提供の KNI(Kernel Network Interface) か tap を使う OS で処理させるパケットのスループットは落ちるうまくすみわけできそうな例 L3 処理で速度を要求されない ICMP はカーネルにその他は DPDK で 32

33 CPU100% 問題解決の糸口 DPDK のパケット受信に機能が追加されてます interrupt mode 内部的にはパケット受信割り込みを uio の fd への poll/select で検知し callback function を呼び出す DPDK の使い方としては関数を登録してフラグを立てておけばこのモードになる Interrupt modeと従来のポーリングループを併用して CPU loadを下げつつ高速転送を実装できそうですいわばLinux NAPIのDPDK 版ただしinterrupt modeがあるだけなので自作が必要 33

34 C 言語以外で使えますか? C++: もちろん使えます (extern C ) 他の言語は wrapper を使って呼び出す Go: go-dpdk Rust: rust-dpdk DPDK のを活かす高速性が維持できてるかは不明 34

35 DPDK 関連の OSS を少し紹介 Pktgen-DPDK DPDK を使ったトラフィックジェネレータ Lagopus OpenFlow 1.3 対応ソフトウェアスイッチ Seastar サーバーアプリケーション向けのフレームワーク VPP Cisco のパケット処理フレームワーク mtcp マルチコアを活用したユーザスペース TCP 実装 35

36 DPDK プログラミングのまとめ The DPDK logos are provided by Intel under a Creative Commons Attribution-NoDerivatives 4.0 License (CC BY-ND 4.0). 36

37 まとめ導入下準備は少々面倒 (3rd party 含め ) ライブラリにない機能は全部自分で組む必要があるプログラミング自体は比較的シンプルサンプルプログラムも豊富 OSS の活用例もこの機会に DPDK プログラミングを始めてみませんか? 37

160311_icm2015-muramatsu-v2.pptx

160311_icm2015-muramatsu-v2.pptx Linux におけるパケット処理機構の性能評価に基づいた NFV 導の検討村松真, 川島太, 中裕貴, 林經正, 松尾啓志名古屋業学学院株式会社ボスコテクノロジーズ ICM 研究会 2016/03/11 研究的 VM 仮想 NIC バックエンド機構仮想化環境仮想スイッチパケット処理機構物理環境性能要因を考察汎 IA サーバ NFV 環境に適したサーバ構成を検討