ood_nakajima

Size: px

Start display at page:

Download "ood_nakajima"

あきひさみやまる
7 years ago
Views:

1 ネットワークスイッチ OS Lagopus Switch 中島佳宏 Lagopus User Community This research is partially supported by Research and Development of Network Virtualization Technology program commissioned by the Ministry of Internal Affairs and Communications. 0

2 自己紹介 n 中島佳宏 l NTT 未来ねっと研究所 l バックグランド大学時代 High-performance computing Grid Computing 入社後非圧縮映像 IP NW 伝送装置アプリケーション特化の NW 制御システム現在高速なソフトウエアスイッチ開発 Whitebox 向けスイッチ OS の開発 1

3 今日覚えていってほしいこと n ネットワークはプログラミングできます l SDN とか OpenFlow n サーバアプリやサーバインフラ管理理の流流儀でネットワークを管理理できるようになります n サーバで動作する速いソフトウエアスイッチ Lagopus があります! 2

4 Agenda n Software- Defined Networking って? l OpenFlow protocol / OpenFlow Switch l SDN 関連 Open Source n Lagopus: SDN/OpenFlow ソフトウエアスイッチ l 構成 l 実装の工夫 l 性能評価 n Lagopus を使った柔軟なネットワーキングをプログラムすると l 透明人間 l SDN Interop Tokyo

5 現状のネットワーク機器の課題 n 多様なユーザニーズを満たすために多様なプロトコル標準が存在 l 装置仕様の肥大化 l 装置コストの高騰 n 自律律分散が故の動作の複雑さ n 装置の制限により提供可能なサービスが限定使いたい機能は一部だけなのに... 構成を変更更したいけど利利用中のユーザに影響を与えないようにしないと... n 人手中心のオペレーション l CLI l Chef, Puppetしたいのにこの制限がなければもっとよいサービスを提供できるのに... 4

6 なぜ Software- Defined Networking? 大規模なデータセンターを低コストに運用したい構成変更更を迅速に行行いたいサービス要件からネットワークを設計したい 5

7 どのように? SDN 概論論 6

8 どのように? n ネットワーク機器の制御部をプログラム可能に (Software- Defined Networking) l 要件ベースでのネットワーク設計 l 自動化による運用コストの削減 l コモディティハードウェア利利用による設備コストの削減 n ネットワークをプログラムからさわれるように制御部は機器ベンダーが提供制御部と転送部は不不可分制御部をプログラム可能に制御部転送部ネットワーク機器 ( 従来 )? ネットワーク機器 (SDN 対応 ) 7

9 制御と転送を分離離 (OpenFlow) 利利点 : プロトコルおよびスイッチ仕様の標準化による普及制御部を作ることで独自の動作をさせることが可能 OpenFlow コントローラ制御部制御部は機器ベンダーが提供制御部と転送部は不不可分制御部転送と制御を分離離 OpenFlow プロトコル転送部ネットワーク機器 ( 従来 ) 標準化転送部 OpenFlow スイッチ 8

10 OpenFlow 概要 ( スイッチの動作 ) Flow table を参照しパケット処理理 OpenFlow コントローラ (Match, Action) どういうパケットだったら受信ポート番号, パケットヘッダの値 ( 宛先, ソース, 各種 ID...) どういう処理理をするパケットヘッダの追加, 削除, 編集, 転送 ( ユニキャスト, マルチキャスト, ロードバランシング...) コントローラにパケットを転送して処理理も可能 Flow table OpenFlow スイッチ 9

11 イメージ 10

12 OpenFlow 概要 (Match) n L1 (Port #), L2 (Ethernet), L3 (IPv4, IPv6), L4 (TCP, UDP) までのヘッダを使うことが可能 l Ingress port l Ethernet source/destination address l Ethernet type l VLAN ID l VLAN priority l IPv4 source/destination address l IPv4 protocol number l IPv4 type of service l TCP/UDP source/destination port l ICMP type/code 11

13 OpenFlow 概要 (Action) n Forward l Physical ports (Required) さまざまな転送ルール l Virtual ports : All, Controller, Local, Table, IN_ PORT (Required) l Virtual ports : Normal, Flood (Required) n Drop n Modify Field l Set/Add VLAN ID l Set VLAN priority l Strip VLAN Header l Modify Ethernet source/destination address l Modify IPv4 source/destionation address l Modify IPv4 type of service bits l Modify IPv4 TCP/UDP source/destination port ヘッダが書き換えも可能アクションを複数してすることも可能 12

14 データセンターへの OpenFlow 適用例例 SDN 概論論 13

15 データセンターにおけるネットワーク仮想化の課題 1 VM と仮想ネットワークの接続 2 仮想ネットワーク間のトラフィック分離離 Software Switch Virtual Network A Software Switch Physical Virtual Network B Network Software Switch Virtual Network C Software Switch 3 物理理ネットワークの資源管理理 14

16 従来技術を用いた場合の課題従来技術 (VLAN) による構成 VLAN A Software Switch 2 VLAN 数の問題 VLAN A Software Switch VLAN B 1 設定変更更に関する問題 VLAN B VLAN A Physical VLAN B Network VLAN C VLAN B VLAN B Software Switch Software Switch VLAN C 3 STP の限界 VLAN C 15

17 OpenFlow による構成 (Overlay アプローチ ) OpenFlow Switch 2 トンネルによるトラフィック分離離 OpenFlow Switch Physical Network 1 対応関係を OpenFlow により実現 OpenFlow Switch OpenFlow Switch メリット : 既存の物理理インフラを活用可能デメリット : トンネル化によるオーバーヘッド (MTU 長処理理遅延 ) 16

18 OpenFlow による構成 (Hop- by- hop アプローチ ) 2 フロー単位のトラフィック制御 OpenFlow Switch OpenFlow Switch OpenFlow Switches 1 対応関係を OpenFlow により実現 OpenFlow Switch OpenFlow Switch 3 フロー単位で最短パスを形成 17

19 SDNを構成するオープンソース Cloud Computin g Application Layer Business Applications API Control Layer Network Services API Northbound API OSS Controlle r Network Services Ryu trema Southbound API Infrastructure Layer Open contrail OSS virtual switch White box switch Open network linux Copyright 2015 NTT corp. All Rights Reserved. 18

20 OpenFlow で SDN を体験してみたい n NW 制御側 l 自分でコントローラを作る結構しんどいです l フリーなコントローラを見見つける OpenDaylight, Ryu, Trema l ソリューションを購入する OpenFlow 1.3 対応製品を検索索してください n データプレーン側 l 自分でコントローラを作るかなり結構しんどいです l フリーな OpenFlow スイッチを見見つける Open vswitch, Lagopus l ソリューションを購入する OpenFlow 1.3 対応製品を検索索してください 19

21 SDN 制御系 n 自分で NW 制御ロジックを書きたい人向け OpenDaylight Ryu Trema Language Java Python Ruby, C License Eclipse Public v1 Apache v2 GPL 制御可能データプレーン OpenFlow switch v1.0, 13 OpenFlow switch v OVSDB 対応スイッチ OpenFlow switch v1.0, 1.3 (trema-edge) データプレーン設定プロトコル OVSDB, NETCONF OVSDB - プロトコルライブラリ (BGP, BGP) ( いろいろ ) ( いろいろ ) Sample apps いろいろ (L2, L3, LB, firewall) (L2, L3, LB, monitor) 20

22 主な Software OpenFlow switch の実装 n Open vswitch l VMware が開発を主導 l 様々な Linux ディストリで利利用可能 l 様々な仮想化基盤との連携も可能 l Linux カーネルにデータプレーンのモジュールが取り込まれている l n Lagopus l NTT が開発を主導 l 様々なプロトコルのフレームへの OpenFlow 命令令の対応 l 高速化および大規模フローへの対応を主眼 l n LINC, LINCX l flowforwarding が開発を主導 l 最新の OpenFlow 仕様や OF- CONFIG に対応 l 21

23 Lagopus SDN/OpenFlow switch project 22

24 Lagopus プロジェクトの目的 n NFV や SDN を実現するソフトウエアコンポーネントを提供 l スイッチエージェント (OpenFlow, REST) l 高速なソフトウエアデータプレーン l 柔軟拡張可能なスイッチ設定機構 l 高速 I/O ライブラリ (DPDK) l 外部システム連携ライブラリ ( クラウドミドルウエア補助ツール ) l Network I/O ハードウエア拡張 n ソフトウエアパケット処理理の適応領領域の拡大 l キャリアネットワークでも活用可能な高いスケーラビリティ性 l 運用を容易易にする高可用性保守成性の向上 n ネットワーク研究のツールライブラリとしての活用促進 l 高速検索索 QoS コンポーネント次世代ネットワーキングの拡張 23

25 # of packet to be proceeded for 10Gbps with 1 CPU core # of packets per seconds 16,000,000 14,000,000 12,000,000 10,000,000 8,000,000 6,000,000 4,000,000 2,000,000 Short packet 64Byte MPPS, 67.2 ns 2Ghz: 134 clocks 3Ghz: 201 clocks Computer packet 1KByte 1.2MPPS, 835 ns 2Ghz: 1670 clocks 3Ghz: 2505 clocks Packet size (Byte) 24

26 Lagopus の概要 n OpenFlow 1.3 に最も適応したソフトウエアスイッチ l 複数のプロトコルフレーム処理理の対応 Ethernet, Mac in MAC, MPLS, PBB, IPv4, IPv6 l 複数 Flow table やグループテーブルへの対応 l QoS 機能 (queue, policer, meter table) n DPDK を活用した高性能データプレーン l 10Gbps を超えるパケット処理理転送性能 (20MPPS 以上 ) l 100 万フローエントリへの対応 (4K flow mod/sec) n 外部連携 API l CLI や JSON によるスイッチ構成設定 Flow 設定統計情報状況把握 25

27 Lagopus の適応先 n ネットワークのエッジのノード l 柔軟な制御や設定が求められるノード l 多機能で大量量のルート数やルールが求められるノード l 求められるポート数が比較的少ないノード Hypervisor NFV NFV Virtual Switch Hypervisor Hypervisor TOR Gateway Virtual Switch CPE Virtual Switch Data Center Wide- area Network Access Network Intranet Cloud,NFV に対応する仮想スイッチ異異種 NW を接続するゲートウェイ向けソフトスイッチ 26

28 Lagopus vswitch の構成 SDN switch Agent Full OpenFlow support Controller- less basic L2 and L3 support OpenFlow 1.3 agent L3 (IPv4 ICMP) L2 bridge SNMP NET CONF OVSDB JSON IF CLI SDN- aware management API OVSDB, REST Ansible support Switch configuration datastore Pub/sub mechanism Switch config DSL JSON IF support switch configuration datastore (config/stats API, SW DSL) Flow table Flow table flow table switch HAL Lagopus soft dataplane OpenFlow pipeline Flow table Flow table Group table Flow table Flow table meter table DPDK- enabled soft dataplane Over- 10- Gbps performance Low latency packet processing high performance multi- layer flow lookup Soft- dataplane aware FPGA NIC flow lookup FPGA NIC flow cache DPDK libs/pmd driver queue/ policer DPDK NIC DPDK- enabled vnic for NFV (virtq- pmd) 27

29 パケット処理理の高速化 28

30 パケット処理理の流流れ packet Network I/O RX Packet classification & packet distribution to buffers Frame processing Packet parsing Flow lookup & Action lookup, Header rewrite Encap/decap QoS Queue Policer, Shaper Marking Network I/O TX packet 29

31 Intel DPDK n X86 アーキテクチャに最適化されたデータプレーン用ライブラリと NIC ドライバ l メモリ構成を考慮した Queue, buffer 管理理ライブラリ l packet flow classification l ポーリングベースの NIC driver n データプレーン処理理に最適化された低遅延 & 高性能なランタイム n 抽象化されたパケット処理理 n BSD ライセンス :) l OSS コミュニティにより開発中 l dpdk.org 30

32 Intel DPDK によるネットワーク I/O のバイパス Standard linux application application with intel DPDK Event-base packet handling Application packet buffer memory User space Application DPDK Library Polling-base packet handling Socket API 2. system call (read) 3. system call (write) User-mode I/O & HAL skb_buf Kernel space 1. DMA Write 2. DMA READ 1. Interrupt & DMA Ethernet Driver API 4. DMA Ethernet Driver API NIC packet buffer Driver NIC packet buffer 31

33 Intel DPDK の効果 32

34 性能向上に向けての工夫や実装 (1/2) packet Network I/O RX Delayed action (processing) evaluation Packet batching to improve CPU $ efficiency Delayed flow stats evaluation Frame processing Smart flow classification Thread assignment optimization Flow lookup & Action Delayed packet frame evaluation QoS Queue Network I/O TX Parallel flow lookup Lookup tree compaction High-performance lookup algorithm for OpenFlow (multi-layer, mask, priority-aware flow lookup) Flow $ mechanism Batch size tuning packet 33

35 性能向上に向けての工夫や実装 (2/2) n 詳しくはソースコードを! l 34

36 10Gbps パケット処理理の実現にむけての進捗 Flow $ and Lookup optimization with 12 CPU cores Packet processing optimization with 4 CPU cores MPPS Project start point OF lookup improved 2013 Q Q Q Q Q2 DPDK-powered I/O Lookup optimization Lookup performance 35

37 Lagopus の性能評価 n まとめると l Throughput: 10Gbps wire- rate l Flow rules: 1M flow rules 4000 flowmod add / sec Throughput)(Gbps) 10" 9" 8" 7" 6" 5" 4" 3" 2" 1" Throughput vs flows, 1518 bytes packet 10k"flow"rules" 100k"flow"rules" 1M"flow"rules" 0" 1" 10" 100" 1000" 10000" " " flows HW スペック Dual Intel xeon E (8cores) DDR GB Intel X520-DA2 L2 switch performance (Mbps) 10GbE x 2 (RFC2889 test) 36

38 Ryu OpenFlow 1.3 Conformance test Status ( ) Type Action Set field Match Group Meter Total # of test scenario (mandatory, optional) Lagopus OVS (kernel) OVS (netdev) IVS ofswitch LINC Trema (3, 53) 56 (3, 56) 34 (3, 31) 34 (3, 31) 17 (3, 14) 50 (3, 47) 24 (3, 21) 50 (3, 47) 161 (0, 161) 161 (0, 161) 96 (0, 96) 102 (0, 102) 46 (0, 46) 100 (0, 100) 68 (0, 68) 159 (0, 159) 714 (108, 606) 714 (108, 606) 534 (108, 426) 467 (93, 374) 323 (108, 229) 708 (108, 600) 428 (108, 320) 708 (108, 600) 15 (3, 12) 15 (3, 12) 6 (3, 3) 8 (3, 5) 3 (0, 2) 15 (3, 12) 3 (3, 0) 15 (3, 12) 36 (0, 36) 34 (0, 34) 0 (0, 0) 0 (0, 0) 0 (0, 0) 30 (0, 30) 4 (0, 4) 34 (0, 34) 991 (114, 877) 980 (114, 866) 670 (114, 556) 611 (99, 556) 402 (111, 291) 962 (114, 848) 523 (114, 409) 966 (114, 854) 37

39 オープンソース化 n 2014 年年 7 月 31 日に公開 n n 開発への参加 l コードの提供 - > GitHub Pull Request l バグレポート - > GitHub Issues l 議論論 - > Developers ML 38

40 Lagopus を使った柔軟なネットワーキングレイヤを超えて楽しいことができます 39

41 展示デモ n 半透明人間カメラ Lagopus l 講義中, 先生の影が邪魔になって板書しにくい - > 先生を半透明にする l 撮影, 半透明化, 表示の 3 サーバでシステムを構成 l 映像は UDP 送受信 l 映像切切替を Lagopus にオフロード! 先生で板書できない! 先生を半透明に! 40

42 展示デモ n 半透明人間カメラ Lagopus パターン A: 通常表示カメラからのパケットを半透明化サーバとモニタに送信 ( 宛先 MAC,IP,port を書き換えマルチキャスト ) 半透明化サーバからのパケットは drop パターン B: 半透明化カメラからのパケットを半透明化サーバに送信半透明化サーバからのパケットをモニタに送信 ( パケットの宛先は適宜書き換える ) 半透明人間化パターン A パターン B カメラモニタ 41

43 何ができる? n SDN Japan 2014 での実証実験 42

44 何ができる? l ブラジル - 日本間 ( 約 1 万 8,000km) の映像伝送実験 43

45 SDN Interop Tokyo 2015 ShowNet Thanks to NECOMA project (NAIST & University of Tokyo) 44

46 SDN IX の背景 n IX (Internet exchange) l インターネットサービスプロバイダ (ISP) 間の L2 での接続ポイント ISP 間のパブリックな接続プライベート接続 ISP A SW SW ISP B IX ISP- C SW SW ISP- D n やりたいことや困っていること ISP F ISP- E l 接続設定の自動化とポータル化 API 提供 l DDoS トラヒックを削減止めたいリンク帯域を食い尽くすことも入り口で DDoS トラヒックを drop ISP A ISP B ISP- C ISP- D 外部の DPI 装置や FlowSpec との連携 SW IX SW SW SW ISP F ISP- E 45

48 ShowNet rack 47

49 幕張を通ったトラヒック n 平均 2Gbps throughput l パケットドロップは発生なし l ときたま 10Gbps のトラヒックにも耐えた l Interop Tokyo 会期中リブートなし & トラブルなし 48

50 まとめ n 高速な Lagopus ソフトスイッチをオープンソースとして提供 l ネットワークをプログラミングしてみませんか? 既存のサーバで動作可能そこそこの性能で動きます相談にのります Web: Github: 開発に参加してみませんか? Lagopus 本とかも後日公開 ( 予定 ) 49

Lagopus SDN/OpenFlow switch: yet another SDN/OF switch agent and high-performance software switch

Lagopus SDN/OpenFlow switch: yet another SDN/OF switch agent and high-performance software switch 汎用 x86 サーバを用いた高速なソフトウエアパケット処理技術中島佳宏 This research is a part of the project for Research and Development of Network Virtualization Technology supported by the Ministry of Internal Affairs and Communications.