netmapによる実践パケット処理プログラミング

Size: px

Start display at page:

Download "netmapによる実践パケット処理プログラミング"

とよみかみいしづ
6 years ago
Views:

2 netmap とは? a framework for fast packet I/O ピサ大学の Luigi Rizzo 教授が設計した API 送受信パケット用のバッファを予め確保 userland/kernel でその領域を mmap で共有 index 付き ring buffer を使うことによるパケット領域の高速 swap 2

3 socket そもそも (*BSDで) パケットを入出力する方法 socket(), send()/write(), recv()/read() raw-socket bpf pfil socket(af_inet, SOCK_RAW, ) open( /dev/bpf, ) pfil_add_hook() (kernel) 3

4 netmap の特徴 bpf と pfil の中間くらいに位置する? (bpf と pfil の良いとこ取り ) userland で動く /dev/netmap を開いて ioctl 等で設定 input/output を横取り / ブロック / 書き換えたりできる kernel userland でメモリコピーが無いので効率が良い 4

5 netmap は何ができるのか通常のパケットのフロー 5

6 netmap は何ができるのかネットワークインターフェイスへの input/output 6

7 netmap は何ができるのかホストスタックへの input/output 7

8 netmap は何ができるのかインターフェイスからホストスタックへの転送 8

9 netmap は何ができるのかインターフェイスからインターフェイスの転送 9

10 Hello World Packet 01_hexdump パケットを dump する ( だけ ) 10

11 Hello Packet (1) #include <net/netmap_user.h> #define NETMAP_WITH_LIBS してから #include <net/netmap_users.h> すると便利なマクロや inline 関数等が定義される nm_open() / nm_close() 特にこの nm_open() はめんどくさい初期設定を引き受けてくれるので便利他にもちょっと便利な関数 ( 今回は未使用 ) nm_inject() パケットを出力する nm_dispatch() パケット受信処理を callback で呼んでくれる nm_nextpkt() ring バッファのポインタを次のパケットへと進める 11

12 Hello Packet (2) nm_desc = nm_open("netmap:igb0", NULL, 0, NULL); /dev/netmap を open し ioctl でインターフェイス等を設定 ring バッファを mmap し初期化してくれる netmap:igb0 NICのハードウェアTX/RX ringを開く netmap:igb0^ NICに対応するホストリングのTX/RXを開く netmap:igb0* ハードウェアリングとホストリング両方を開く netmap:igb0-1 NICの1 番目のハードウェアリングだけを開く他にもいろいろ詳しくは net/netmap_user.h を参照 12

13 Hello Packet (3) for (;;) { pollfd[0].fd = nm_desc->fd; pollfd[0].events = POLLIN; poll(pollfd, 1, 100); } ~~~~~~~~ netmap は基本的には poll() で待つ poll() で待ってる間に kernel の netmap ドライバがパケットを入出力してくれる 13

14 Hello Packet (4) for (i = nm_desc->first_rx_ring; i <= nm_desc->last_rx_ring; i++) { } rxring = NETMAP_RXRING(nm_desc->nifp, i); cur = rxring->cur; for (n = nm_ring_space(rxring); n > 0; n--) { hexdump(netmap_buf(rxring, rxring->slot[cur].buf_idx), rxring->slot[cur].len, NULL, 0); cur = nm_ring_next(rxring, cur); } rxring->head = rxring->cur = cur; RX ring から受信パケットを 1 パケットづつ取り出して hexdump する最初のループは NIC によっては ring が複数ある場合のため 14

15 netmap ring の構造 15

16 netmap ring の構造 ( 全体 ) 16

17 RX ring から TX ring への転送 RX ring のスロットを TX ring のスロットへ転送したい 17

18 RX ring から TX ring への転送 RX ring と TX ring のスロットのインデックスを入れ替えるだけでいい ( メモリコピーの必要なし ) 18

19 NIC ring HOST ring NIC RX を HOST TX へ HOST RX を NIC TX へ 19

netmap_slot の swap https://github.com/ryo/netmap_sample/ 02_nic2host indexだけを入れ替える /* swap buf_idx */ tmp = txring->slot[cur].buf_idx; txring->slot[cur].buf_idx = rxring->slot[src].

20 netmap_slot の swap 02_nic2host indexだけを入れ替える /* swap buf_idx */ tmp = txring->slot[cur].buf_idx; txring->slot[cur].buf_idx = rxring->slot[src].buf_idx; rxring->slot[src].buf_idx = tmp; /* set len */ sizeは上書きでok txring->slot[cur].len = rxring->slot[src].len; indexを書き換え /* update flags */ た場合に必要 txring->slot[cur].flags = NS_BUF_CHANGED; rxring->slot[src].flags = NS_BUF_CHANGED; 20

21 NIC から NIC への転送 ( 複数 NIC) nm_open() で複数インターフェイスを開くと packet buffer が独立してしまう ring buffer swap できない?! 21

22 NIC から NIC への転送 ( 複数 NIC) 2 つめの nm_open() に親として 1 つめの nm_desc を渡してパケットバッファを共有する 22

23 NIC から NIC への転送 03_nic2nic NM_OPEN_NO_MMAP と親として nm_desc1 を指定することにより 2 つの netmap ディスクリプタでパケットバッファが共有される 23

24 簡易 firewall 応用編ここで TX に渡す / 渡さないを取捨選択する 24

25 簡易 firewall 04_firewall ここでパケットのテスト 25

26 簡易 firewall 04_firewall パケットは ether header 含む ether header から辿っていく 26

27 簡易 firewall 04_firewall フィルタルールの定義 27

28 簡易 firewall 04_firewall フィルタルールを順番にテスト 28

29 NIC のマルチキュー CPU core はたくさんあるパケット処理は 1 core(1 プロセス ) で動く 1 つの core の CPU 使用量だけ増え他の core は処理空きパケットの処理を分散させられないか? NIC に複数のキューを持たせればいい NIC マルチキュー (RSS:Receive Side Scaling) 29

30 NIC のマルチキューと netmap Intel 等の NIC が対応しているキューの数は 4 8 netmap ではキューの数の分の ring が見える ( デバイスドライバにもよる ) netmap でキューを独立に操作するには? nm_open で指定するデバイス名の後ろに数字を付ける netmap:igb0 NIC のハードウェア TX/RX ring を開く netmap:igb0^ NIC に対応するホストリングの TX/RX を開く netmap:igb0* ハードウェアリングとホストリング両方を開く netmap:igb0-1 NIC の 1 番目のハードウェアリングだけを開く 30

31 マルチプロセッサにおけるチューニング 05_multiqueue RING の数だけ thread を作る一度 nm_open して RING の数を調べる 31

32 TIPS ( あるいはバッドノウハウ ) netmap 対応ドライバが必要現状 em(4), igb(4), ixgbe(4), lem(4), re(4) のみ対応 bridge 等の動作をさせるには別途 promiscuous モードにするなどの操作が必要プログラムで面倒みましょうハードウェアオフローディングと相性が悪い ifconfig txcsum tso 等しておく 32

33 今回解説しなかったこと Appendix vale - a Virtual Local Ethernet と呼ばれる仮想イーサネットスイッチを持っている vale:foo 等で作成使用可能 netmap pipe と呼ばれる netmap ring を使った 1 対 1 pipe 機能を持つ bpf のように観測だけ行う MONITOR モードも持っている (NR_MONITOR_{TX,RX} 33

34 まとめ netmap_user.h の nm_open を使えば簡単に扱える netmap ring からパケットバッファへはインデックスを介して間接アクセスされるそれによりメモリコピーせずにスロットの swap で高速に転送が可能複数の NIC を扱う場合は nm_open に NM_OPEN_NO_MMAP を指定して親子関係を作ってパケットバッファを共有させる高速化するにはハードウェア RING を別々に nm_open してマルチキューマルチコア化 34

160311_icm2015-muramatsu-v2.pptx

160311_icm2015-muramatsu-v2.pptx Linux におけるパケット処理機構の性能評価に基づいた NFV 導の検討村松真, 川島太, 中裕貴, 林經正, 松尾啓志名古屋業学学院株式会社ボスコテクノロジーズ ICM 研究会 2016/03/11 研究的 VM 仮想 NIC バックエンド機構仮想化環境仮想スイッチパケット処理機構物理環境性能要因を考察汎 IA サーバ NFV 環境に適したサーバ構成を検討

netmapによる 実践パケット処理プログラミング

netmapによる実践パケット処理プログラミング