スライド 1

Size: px

Start display at page:

Download "スライド 1"

ありさすえがら
5 years ago
Views:

1 パケット転送を支える技術パラレルス株式会社 Internet Week 2011

2 サーバーの物理構造 DIMM MEM CPU0 CPU1 DIMM MEM QPI IOH (Chipset) PCI Express (PCIe) PCIe PCIe device device (NIC) (NIC) Internet Week

3 パケットの流れ DIMM MEM CPU0 CPU1 DIMM MEM IOH (Chipset) INPUT PCIe PCIe device device (NIC) (NIC) OUTPUT Internet Week

4 仮想化 & パケット転送技術マップ DIMM MEM CPU0 CPU1 VT-x IOH (Chipset) PCIe PCIe device device (NIC) (NIC) MSI MSI-X (IRQ) SR-IOV VT-d PCI Express Internet Week

5 PCI Express - PCIe DIMM MEM CPU0 CPU1 VT-x IOH (Chipset) PCIe PCIe device device (NIC) (NIC) MSI MSI-X (IRQ) SR-IOV VT-d PCI Express Internet Week

6 PCI Express - PCIe とは? パケットベースのプロトコル CRC やデータコーディングによるエラー検出 8b10b エンコーディングオーバーヘッドに考慮 (20%) point-to-point 接続のシリアル通信リンク ( バス ) をスイッチで繋ぐツリー構造ポート速度を処理するのに十分なバス幅を確保 Internet Week

7 パケット構造フレーミングキャラクタシーケンス番号ヘッダデータ ECRC (option) LCRC フレーミングキャラクタ 1 Byte 2 Bytes 3-4 DW DW 1 DW 1 DW 1 Byte トランザクション層データリンク層ソフトウェア層物理層ソフトウェア層トランザクション層データリンク層物理層 TLP (data + signaling) DLLP (signaling) PLP (signaling) トランザクション層データリンク層物理層メカニカル層メカニカル層 Internet Week

8 PCIe の帯域伝送速度実効速度 (8b10b 考慮 ) PCIe 1.1 x 4 10Gbps x 2 8Gbps x 2 PCIe 1.1 x 8 20Gbps x 2 16Gbps x 2 PCIe 2.0 x 4 20Gbps x 2 16Gbps x 2 PCIe 2.0 x 8 40Gbps x 2 32Gbps x 2 10Gbps x 2 port x Full Duplex には PCIe 2.0 x 8 Lane 必要 Internet Week

9 PCIe デバイスを Linux から見てみる ~]$ lspci snip 01:00.0 Ethernet controller: Broadcom Corporation NetXtreme II 01:00.1 Ethernet controller: Broadcom Corporation NetXtreme II 03:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigab 03:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigab BUS:Device.Function で認識 ~]$ lspci snip 01:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet (rev 20) 01:00.1 Ethernet controller: Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet (rev 20) 03:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01) 03:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01) Internet Week

10 PCIe Topology 物理配線 Root Complex VP2P BUS#0 dev#1 dev#2 dev#3 VP2P Host/PCI Bridge VP2P dev#4 dev#5 PF0 PF1 VP2P BUS#1 BUS#2 BUS#3 BUS#4 dev#0 dev#0 VP2P dev#0 PF0 PF1 PF0 Point to Point, パケットベースでの転送バス番号によりスイッチングデバイス番号により宛先特定 BUS#5 dev#1 BUS#6 VP2P VP2P BUS#7 dev#2 Internet Week

11 PCIe Topology - BUS:Device:Function Root Complex VP2P BUS#0 dev#1 dev#2 dev#3 VP2P Host/PCI Bridge VP2P dev#4 dev#5 PF0 PF1 VP2P BUS#1 BUS#2 BUS#3 BUS#4 dev#0 dev#0 VP2P dev#0 PF0 PF1 PF0 バス番号によりスイッチング VP2P が背後にあるバス番号範囲を記憶 BUS#5 dev#1 BUS#6 VP2P VP2P BUS#7 dev#2 Internet Week

12 PCIe Topology - BUS:Device:Function Root Complex VP2P BUS#0 dev#1 dev#2 dev#3 VP2P Host/PCI Bridge VP2P dev#4 dev#5 PF0 PF1 VP2P BUS#1 BUS#2 BUS#3 BUS#4 dev#0 dev#0 VP2P dev#0 PF0 PF1 PF0 デバイス番号はバス毎に固有バス拡張の VP2P もデバイスとして認識デバイス番号により宛先特定 BUS#5 dev#1 BUS#6 VP2P VP2P BUS#7 dev#2 Internet Week

13 PCIe Topology - BUS:Device:Function Root Complex VP2P BUS#0 dev#1 dev#2 dev#3 VP2P Host/PCI Bridge VP2P dev#4 dev#5 PF0 PF1 VP2P BUS#1 BUS#2 BUS#3 BUS#4 dev#0 dev#0 VP2P dev#0 PF0 PF1 PF0 ファンクション (Physical Function) PCI デバイスとしての機能単位 NIC の場合各ポートが 1 Function Sound+Video カードならそれぞれが Function BUS#5 dev#1 BUS#6 VP2P VP2P BUS#7 dev#2 Internet Week

14 PCIe トポロジーを OS から見てみる ~]$ lspci -tv... snip... -[0000:00] Intel Corporation 5500 I/O [01] Broadcom Corp Broadcom Corp [02] [03] Intel Corpora Intel Corpora ~]$ lspci -tv... snip... -[0000:00] Intel Corporation 5500 I/O Hub to ESI Port [01] Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet [02] [03] Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection Intel Corporation 5520/5500/X58 I/O Hub System Management Registers Intel Corporation 5520/5500/X58 I/O Hub GPIO and Scratch Pad Registers Internet Week

15 PCIe トポロジーを OS から見てみる ~]$ lspci -tv... snip... -[0000:00] Intel Corporation 5500 I/O [01] Broadcom Corp Broadcom Corp [02] [03] Intel Corpora Intel Corpora バス番号 : デバイス番号 : ファンクション番号ファンクション 2 = 2 ポート Internet Week

16 デバイスの機能を確認 ~]$ lspci -v -s 03: :00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter X520-2 Flags: bus master, fast devsel, latency 0, IRQ 38 Memory at d (64-bit, prefetchable) [size=512k] I/O ports at fcc0 [size=32] Memory at d98f8000 (64-bit, prefetchable) [size=16k] Capabilities: <access denied> Kernel driver in use: ixgbe Kernel modules: ixgbe root 権限必要 Internet Week

17 ~]$ sudo lspci -v -s 03: :00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01) Subsystem: Intel Corporation Ethernet Server Adapter X520-2 Flags: bus master, fast devsel, latency 0, IRQ 38 Memory at d (64-bit, prefetchable) [size=512k] I/O ports at fcc0 [size=32] Memory at d98f8000 (64-bit, prefetchable) [size=16k] Capabilities: [40] Power Management version 3 Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+ Capabilities: [70] MSI-X: Enable+ Count=64 Masked- Capabilities: [a0] Express Endpoint, MSI 00 Capabilities: [100] Advanced Error Reporting Capabilities: [140] Device Serial Number 00-1b-21-ff-ff-74-5a-f8 Capabilities: [150] Alternative Routing-ID Interpretation (ARI) Capabilities: [160] Single Root I/O Virtualization (SR-IOV) Kernel driver in use: ixgbe Kernel modules: ixgbe Internet Week

18 割込み :MSI / MSI-X DIMM MEM CPU0 CPU1 VT-x IOH (Chipset) PCIe PCIe device device (NIC) (NIC) MSI MSI-X (IRQ) SR-IOV VT-d PCI Express Internet Week

19 割込み :Pin Based Interrupt(Legacy) 割込み線 =1 ファンクション 1 本 Port で送受信した割り込みは同じ CPU(Core) に割り込み Core0 Core2 Core1 Core3 1 電気的に割込み発生 2 CPU に割込み dev#0 PF0 PF1 割込みコントローラー IO-APIC Internet Week

20 割込み :MSI / MSI-X MSI = Message Signaled Interrupt Queue 毎に割込む CPU(Core) を変更可能 MSI =32 個 MSI-X = 2048 個 Core0 Core2 Core1 Core3 Queue 0 Queue 1 Queue 2 PF0 1 MSI-X 割込み (*) Root Complex 2 CPU に割込み Queue N (*) 通常の PCIe Mem Write Request Internet Week

21 割込み : IRQ, MSI/MSI-X [ebiken@iwpf01 ~]$ cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7... snip... 83: PCI-MSI-edge p1p1-txrx-0 84: PCI-MSI-edge p1p1-txrx-1 85: PCI-MSI-edge p1p1-txrx-2 86: PCI-MSI-edge p1p1-txrx-3 87: PCI-MSI-edge p1p1-txrx-4 88: PCI-MSI-edge p1p1-txrx-5 89: PCI-MSI-edge p1p1-txrx-6 90: PCI-MSI-edge p1p1-txrx-7 91: PCI-MSI-edge p1p1:lsc 92: PCI-MSI-edge p1p2-txrx-0 93: PCI-MSI-edge p1p2-txrx-1 94: PCI-MSI-edge p1p2-txrx-2 95: PCI-MSI-edge p1p2-txrx-3 96: PCI-MSI-edge p1p2-txrx-4 97: PCI-MSI-edge p1p2-txrx-5 98: PCI-MSI-edge p1p2-txrx-6 99: PCI-MSI-edge p1p2-txrx-7 100: PCI-MSI-edge p1p2:lsc Internet Week

22 Virtualization Technology for directed I/O DIMM MEM CPU0 CPU1 VT-x IOH (Chipset) PCIe PCIe device device (NIC) (NIC) MSI MSI-X (IRQ) SR-IOV VT-d PCI Express Internet Week

23 DMA : Direct Memory Access CPU を介さずパケットをコピー OS Driver メモリ物理アドレス (0x2000) Buffer 物理アドレス (0x2000) 1 0x2000 へコピー指示 2 物理アドレス 0x2000 へコピー NIC (PCIe device) Buffer (Queue) パケット受信 Internet Week

24 仮想環境 (VM) の場合 VM Driver 物理メモリ VM 物理メモリ VM 物理アドレス (0x1000) Buffer 1 0x1000へコピー指示 VMM (Hyper Visor) VM 物理アドレス (0x1000) 物理アドレス (0x2000) 物理アドレス (0x1000) 2 物理アドレス 0x1000 へコピー?? NIC (PCIe device) Buffer (Queue) パケット受信 Internet Week

25 仮想環境 (VM)+ VT-d サポート VM Driver 物理メモリ VM 物理メモリ VM 物理アドレス (0x1000) Buffer 1 0x1000へコピー指示 VM 物理アドレス (0x1000) 物理アドレス (0x2000) 3 物理アドレス 0x2000 へコピー VMM (Hyper Visor) NIC (PCIe device) DMA Remapping (VT-d) Buffer (Queue) 2 Lookup アドレス変換テーブル VM1 0x1000 物理 0x2000 VM2 0x1000 物理 0x4000 Internet Week

26 VT-d による I/O デバイス割り当て物理デバイス (NIC) を VM に割り当て VM から直接見える ( 割込みのみ VMM 経由 ) パケットを DMA 転送オーバーヘッド = 極小 Guest OS (VM) Physical driver Guest OS (VM) Guest driver 1 ポート ( ) に 1VM のみ ( ) 1 PCIe Function VMM (Host OS) DMA Remapping Hardware (VT-d) Emulated device Physical driver Physical device Physical device Internet Week

27 SR-IOV : Single Root - IO Virtualization DIMM MEM CPU0 CPU1 VT-x IOH (Chipset) PCIe PCIe device device (NIC) (NIC) MSI MSI-X (IRQ) SR-IOV VT-d PCI Express Internet Week

28 SR-IOV & Virtual Function SR-IOV = Single Root - IO Virtualization PCIe Device (NIC) 機能 Virtual Function = Physical Function のサブセット設定は Physical Function 経由データ送受信は Virtual Function <-> Driver 直接 Internet Week

29 I/O デバイス割り当て + 共有 (SR-IOV) 物理デバイス (NIC) を VMに割り当て+ 共有オーバーヘッド= 極小複数 VM での物理ポート共有 Guest OS (VM) VF driver Guest OS (VM) VF driver VM からは VF=NIC(Port) に見える PF driver DMA Remapping Hardware (VT-d) Hypervisor (VMM) PF VF VF VF SR-IOV Physical device Hardware Platform * PF = Physical Function * VF = Virtual Function (PCIe subset) Internet Week

30 SR-IOV パケットフロー SR-IOV 無し :VMM がパケット振り分け SR-IOV 有り :NIC がパケット振り分け VMM はパススルー VM VM VM VM VM VM vnic vnic vnic vnic vnic vnic Rx0 Rx0 Tx0 Rx1 Tx1 Tx1 RxN TxN Hypervisor (VMM) Software Switch MAC / PHY DMA 転送 NIC Rx0 Rx0 VF0 VF1 VFn Tx0 Rx1 Tx1 Tx1 Layer 2 Classifier / Sorter MAC / PHY RxN TxN Rx1 Rx0 RxN Rx0 Tx0 Tx1 Tx1 TxN MAC アドレス VLAN を元に振り分け Rx1 Rx0 RxN Rx0 Tx0 Tx1 Tx1 TxN Internet Week

31 SR-IOV : lspci VMM (Host) [ebiken@iwpf01 ~]$ lspci -tv -[0000:00] Intel Corporation 5500 I/O Hub to ESI Port [01] Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet [02] [03] Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection Intel Corporation 5520/5500/X58 I/O Hub System Management Registers [ebiken@iwpf01 ~]$ sudo modprobe -r ixgbe [ebiken@iwpf01 ~]$ sudo modprobe ixgbe max_vfs=2,2 SR-IOV 設定 [ebiken@iwpf01 ~]$ lspci -tv -[0000:00] Intel Corporation 5500 I/O Hub to ESI Port [01] Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet [02] [03] Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection Intel Corporation Ethernet Controller Virtual Function Intel Corporation Ethernet Controller Virtual Function Intel Corporation Ethernet Controller Virtual Function Intel Corporation Ethernet Controller Virtual Function BUS [03] に Device 10 (Virtual Function) 生成 Internet Week

SR-IOV : lspci -tv @ VM (Guest) BUS [00] : device 06.

32 SR-IOV : lspci VM (Guest) BUS [00] : device 06. function 0 Intel Corporation Ethernet Controller Virtual Function Virtual Function が直接見えている Internet Week

33 VF VMM (Host) [ebiken@iwpf01 ~]$ sudo lspci -v -s 3: :10.0 Ethernet controller: Intel Corporation Ethernet Controller Virtual Function (rev 01) Subsystem: Intel Corporation Device 0003 Flags: bus master, fast devsel, latency 0 [virtual] Memory at c (64-bit, non-prefetchable) [size=16k] [virtual] Memory at c (64-bit, non-prefetchable) [size=16k] Capabilities: [70] MSI-X: Enable+ Count=3 Masked- Capabilities: [a0] Express Endpoint, MSI 00 Capabilities: [100] Advanced Error Reporting Capabilities: [150] Alternative Routing-ID Interpretation (ARI) Kernel driver in use: ixgbevf Kernel modules: ixgbevf driver, modules は ixgbevf (not ixgbe) PF 依存情報は [virtual] Capabilities に SR-IOV 無し Internet Week

VF Capabilities @ VM(Guest) PCI Physical Function として見えている ( [virtual] 無し ) VM 側でも ixgbevf 使用 Capabilities に

34 VF VM(Guest) PCI Physical Function として見えている ( [virtual] 無し ) VM 側でも ixgbevf 使用 Capabilities に PF 機能無し [100] Advanced Error Reporting [150] Alternative Routing-ID Interpretation (ARI) Internet Week

35 VMM (Host) PF の割込み [ebiken@iwpf01 ~]$ cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7... snip... 84: PCI-MSI-edge p1p1-txrx-0 85: PCI-MSI-edge p1p1 86: PCI-MSI-edge p1p2-txrx-0 87: PCI-MSI-edge p1p2 88: PCI-MSI-edge kvm:0000:03: : PCI-MSI-edge kvm:0000:03: : PCI-MSI-edge kvm:0000:03: : PCI-MSI-edge kvm:0000:03: : PCI-MSI-edge kvm:0000:03: : PCI-MSI-edge kvm:0000:03:10.1 VF 割込み Internet Week

36 VM(Guest) eth0, eth1 として認識 eth0:mbx, eth1:mbx = PF/VF 間通信に使用 Internet Week

37 VT-x, VT-d, SR-IOV サポート確認方法 Internet Week

38 Intel CPU VT-x, VT-d サポート確認方法 1) Click!! 2) Click!! Internet Week

39 Intel CPU VT-x, VT-d サポート確認方法 VT-x VT-d Click!! Internet Week

40 Intel CPU VT-x, VT-d サポート確認方法 Internet Week

41 SR-IOV サポートする Intel NIC 一覧 Internet Week

Intel NIC VT-d, SR-IOV サポート確認方法 http://www.intel.

42 Intel NIC VT-d, SR-IOV サポート確認方法 Controller の型番からデータシートや参考資料が入手可能 Internet Week

43 参考文献 Books PCI Express 設計の基礎と応用 (CQ 出版社 ) ISBN PCI Express System Architecture (MINDSHARE) ISBN Linux デバイスドライバプログラミング ( ソフトバンククリエイティブ株式会社 ) ISBN Understanding The Linux Kernel (O REILLY) ISBN PCI-SIG PCI Express Base Specification, Revision 2.1, March 4, 2009 Single Root I/O Virtualization and Sharing Specification, Revision 1.0, September 11, 2007 Intel Intel Virtualization Technology for Directed I/O, Architecture Specification, Revision: 1.3 Intel GbE Controller Datasheet, Revision Number: 2.7 Intel SR-IOV Driver Companion Guide, Revision 1.00, May 2010 PCI-SIG SR-IOV Primer, An Introduction to SR-IOV Technology, Revision 2.5, January 2011 Product Specs from Internet Week

44 予備スライド Internet Week

スライド 1

スライド 1 仮想化環境でのパケット転送 - 性能測定結果 & 考察 - 海老澤健太郎 @ パラレルス株式会社 2011/12/01 Internet Week 2011 性能測定構成 DUT (Device Under Test) - Dell PowerEdge R410 CPU x 2 : Xeon L5520 @ 2.27GHz QEMU VM e1000 VM virtio-net VM vhost-net