ネットワークスイッチ OS Lagopus Switch 中島佳宏 Lagopus User Community This research is partially supported by Research and Development of Network Virtualization Technology program commissioned by the Ministry of Internal Affairs and Communications. 0
自 己紹介 n 中島佳宏 l NTT 未来ねっと研究所 l バックグランド 大学時代 High-performance computing Grid Computing 入社後 非圧縮映像 IP NW 伝送装置 アプリケーション特化の NW 制御システム 現在 高速なソフトウエアスイッチ開発 Whitebox 向けスイッチ OS の開発 1
今 日覚えていってほしいこと n ネットワークはプログラミングできます l SDN とか OpenFlow n サーバアプリやサーバインフラ管理理の流流儀で ネットワークを管理理できるようになります n サーバで動作する速いソフトウエアスイッチ Lagopus があります! 2
Agenda n Software- Defined Networking って? l OpenFlow protocol / OpenFlow Switch l SDN 関連 Open Source n Lagopus: SDN/OpenFlow ソフトウエアスイッチ l 構成 l 実装の 工夫 l 性能評価 n Lagopus を使った柔軟なネットワーキングをプログラムすると l 透明 人間 l SDN IX @ Interop Tokyo 2015 3
現状のネットワーク機器の課題 n 多様なユーザニーズを満たすために 多様なプロトコル標準が存在 l 装置仕様の肥 大化 l 装置コストの 高騰 n 自律律分散が故の動作の複雑さ n 装置の制限により 提供可能なサービスが限定 使いたい機能は 一部だけなのに... 構成を変更更したいけど 利利 用中のユーザに影響を与えないようにしないと... n 人 手中 心のオペレーション l CLI l Chef, Puppetしたいのに この制限がなければ もっとよいサービスを提供できるのに... 4
なぜ Software- Defined Networking? 大規模なデータセンターを 低コストに運 用したい 構成変更更を迅速に 行行いたい サービス要件からネットワークを設計したい 5
どのように? SDN 概論論 6
どのように? n ネットワーク機器の制御部をプログラム可能に (Software- Defined Networking) l 要件ベースでのネットワーク設計 l 自動化による運 用コストの削減 l コモディティハードウェア利利 用による設備コストの削減 n ネットワークをプログラムからさわれるように 制御部は機器ベンダーが提供制御部と転送部は不不可分 制御部をプログラム可能に 制御部 転送部 ネットワーク機器 ( 従来 )? ネットワーク機器 (SDN 対応 ) 7
制御と転送を分離離 (OpenFlow) 利利点 : プロトコルおよびスイッチ仕様の標準化による普及 制御部を作ることで 独 自の動作をさせることが可能 OpenFlow コントローラ 制御部 制御部は機器ベンダーが提供制御部と転送部は不不可分 制御部 転送と制御を分離離 OpenFlow プロトコル 転送部 ネットワーク機器 ( 従来 ) 標準化 転送部 OpenFlow スイッチ 8
OpenFlow 概要 ( スイッチの動作 ) Flow table を参照し パケット処理理 OpenFlow コントローラ (Match, Action) どういうパケットだったら受信ポート番号, パケットヘッダの値 ( 宛先, ソース, 各種 ID...) どういう処理理をするパケットヘッダの追加, 削除, 編集, 転送 ( ユニキャスト, マルチキャスト, ロードバランシング...) コントローラにパケットを転送して処理理も可能 Flow table OpenFlow スイッチ 9
イメージ 10
OpenFlow 概要 (Match) n L1 (Port #), L2 (Ethernet), L3 (IPv4, IPv6), L4 (TCP, UDP) までのヘッダを使うことが可能 l Ingress port l Ethernet source/destination address l Ethernet type l VLAN ID l VLAN priority l IPv4 source/destination address l IPv4 protocol number l IPv4 type of service l TCP/UDP source/destination port l ICMP type/code 11
OpenFlow 概要 (Action) n Forward l Physical ports (Required) さまざまな転送ルール l Virtual ports : All, Controller, Local, Table, IN_ PORT (Required) l Virtual ports : Normal, Flood (Required) n Drop n Modify Field l Set/Add VLAN ID l Set VLAN priority l Strip VLAN Header l Modify Ethernet source/destination address l Modify IPv4 source/destionation address l Modify IPv4 type of service bits l Modify IPv4 TCP/UDP source/destination port ヘッダが書き換えも可能 アクションを複数してすることも可能 12
データセンターへの OpenFlow 適 用例例 SDN 概論論 13
データセンターにおけるネットワーク仮想化の課題 1 VM と仮想ネットワークの接続 2 仮想ネットワーク間のトラフィック分離離 Software Switch Virtual Network A Software Switch Physical Virtual Network B Network Software Switch Virtual Network C Software Switch 3 物理理ネットワークの資源管理理 14
従来技術を 用いた場合の課題 従来技術 (VLAN) による構成 VLAN A Software Switch 2 VLAN 数の問題 VLAN A Software Switch VLAN B 1 設定変更更に関する問題 VLAN B VLAN A Physical VLAN B Network VLAN C VLAN B VLAN B Software Switch Software Switch VLAN C 3 STP の限界 VLAN C 15
OpenFlow による構成 (Overlay アプローチ ) OpenFlow Switch 2 トンネルによるトラフィック分離離 OpenFlow Switch Physical Network 1 対応関係を OpenFlow により実現 OpenFlow Switch OpenFlow Switch メリット : 既存の物理理インフラを活 用可能デメリット : トンネル化によるオーバーヘッド (MTU 長 処理理遅延 ) 16
OpenFlow による構成 (Hop- by- hop アプローチ ) 2 フロー単位のトラフィック制御 OpenFlow Switch OpenFlow Switch OpenFlow Switches 1 対応関係を OpenFlow により実現 OpenFlow Switch OpenFlow Switch 3 フロー単位で最短パスを形成 17
SDNを構成するオープンソース Cloud Computin g Application Layer Business Applications API Control Layer Network Services API Northbound API OSS Controlle r Network Services Ryu trema Southbound API Infrastructure Layer Open contrail OSS virtual switch White box switch Open network linux Copyright 2015 NTT corp. All Rights Reserved. 18
OpenFlow で SDN を体験してみたい n NW 制御側 l 自分でコントローラを作る 結構しんどいです l フリーなコントローラを 見見つける OpenDaylight, Ryu, Trema l ソリューションを購 入する OpenFlow 1.3 対応製品を検索索してください n データプレーン側 l 自分でコントローラを作る かなり結構しんどいです l フリーな OpenFlow スイッチを 見見つける Open vswitch, Lagopus l ソリューションを購 入する OpenFlow 1.3 対応製品を検索索してください 19
SDN 制御系 n 自分で NW 制御ロジックを書きたい 人向け OpenDaylight Ryu Trema Language Java Python Ruby, C License Eclipse Public v1 Apache v2 GPL 制御可能データプレーン OpenFlow switch v1.0, 13 OpenFlow switch v1.0 1.5 OVSDB 対応スイッチ OpenFlow switch v1.0, 1.3 (trema-edge) データプレーン設定プロトコル OVSDB, NETCONF OVSDB - プロトコルライブラリ (BGP, BGP) ( いろいろ ) ( いろいろ ) Sample apps いろいろ (L2, L3, LB, firewall) (L2, L3, LB, monitor) 20
主な Software OpenFlow switch の実装 n Open vswitch l VMware が開発を主導 l 様々な Linux ディストリで利利 用可能 l 様々な仮想化基盤との連携も可能 l Linux カーネルにデータプレーンのモジュールが取り込まれている l http://openvswitch.org/ n Lagopus l NTT が開発を主導 l 様々なプロトコルのフレームへの OpenFlow 命令令の対応 l 高速化および 大規模フローへの対応を主眼 l http://lagopus.github.io/ n LINC, LINCX l flowforwarding が開発を主導 l 最新の OpenFlow 仕様や OF- CONFIG に対応 l http://www.flowforwarding.org/ 21
Lagopus SDN/OpenFlow switch project 22
Lagopus プロジェクトの 目的 n NFV や SDN を実現するソフトウエアコンポーネントを提供 l スイッチエージェント (OpenFlow, REST) l 高速なソフトウエアデータプレーン l 柔軟 拡張可能なスイッチ設定機構 l 高速 I/O ライブラリ (DPDK) l 外部システム連携ライブラリ ( クラウドミドルウエア 補助ツール ) l Network I/O ハードウエア拡張 n ソフトウエアパケット処理理の適応領領域の拡 大 l キャリア ネットワークでも活 用可能な 高いスケーラビリティ性 l 運 用を容易易にする 高可 用性 保守成性の向上 n ネットワーク研究のツール ライブラリとしての活 用促進 l 高速検索索 QoS コンポーネント 次世代ネットワーキングの拡張 23
# of packet to be proceeded for 10Gbps with 1 CPU core # of packets per seconds 16,000,000 14,000,000 12,000,000 10,000,000 8,000,000 6,000,000 4,000,000 2,000,000 Short packet 64Byte 14.88 MPPS, 67.2 ns 2Ghz: 134 clocks 3Ghz: 201 clocks Computer packet 1KByte 1.2MPPS, 835 ns 2Ghz: 1670 clocks 3Ghz: 2505 clocks 0 0 256 512 768 1024 1280 Packet size (Byte) 24
Lagopus の概要 n OpenFlow 1.3 に最も適応したソフトウエアスイッチ l 複数のプロトコルフレーム処理理の対応 Ethernet, Mac in MAC, MPLS, PBB, IPv4, IPv6 l 複数 Flow table やグループテーブルへの対応 l QoS 機能 (queue, policer, meter table) n DPDK を活 用した 高性能データプレーン l 10Gbps を超えるパケット処理理 転送性能 (20MPPS 以上 ) l 100 万フローエントリへの対応 (4K flow mod/sec) n 外部連携 API l CLI や JSON によるスイッチ構成設定 Flow 設定 統計情報 状況把握 25
Lagopus の適応先 n ネットワークのエッジのノード l 柔軟な制御や設定が求められるノード l 多機能で 大量量のルート数やルールが求められるノード l 求められるポート数が 比較的少ないノード Hypervisor NFV NFV Virtual Switch Hypervisor Hypervisor TOR Gateway Virtual Switch CPE Virtual Switch Data Center Wide- area Network Access Network Intranet Cloud,NFV に対応する仮想スイッチ 異異種 NW を接続する ゲートウェイ向けソフトスイッチ 26
Lagopus vswitch の構成 SDN switch Agent Full OpenFlow 1.3.4 support Controller- less basic L2 and L3 support OpenFlow 1.3 agent L3 (IPv4 ICMP) L2 bridge SNMP NET CONF OVSDB JSON IF CLI SDN- aware management API OVSDB, REST Ansible support Switch configuration datastore Pub/sub mechanism Switch config DSL JSON IF support switch configuration datastore (config/stats API, SW DSL) Flow table Flow table flow table switch HAL Lagopus soft dataplane OpenFlow pipeline Flow table Flow table Group table Flow table Flow table meter table DPDK- enabled soft dataplane Over- 10- Gbps performance Low latency packet processing high performance multi- layer flow lookup Soft- dataplane aware FPGA NIC flow lookup FPGA NIC flow cache DPDK libs/pmd driver queue/ policer DPDK NIC DPDK- enabled vnic for NFV (virtq- pmd) 27
パケット処理理の 高速化 28
パケット処理理の流流れ packet Network I/O RX Packet classification & packet distribution to buffers Frame processing Packet parsing Flow lookup & Action lookup, Header rewrite Encap/decap QoS Queue Policer, Shaper Marking Network I/O TX packet 29
Intel DPDK n X86 アーキテクチャに最適化された データプレーン 用ライブラリと NIC ドライバ l メモリ構成を考慮した Queue, buffer 管理理ライブラリ l packet flow classification l ポーリングベースの NIC driver n データプレーン処理理に最適化された 低遅延 & 高性能なランタイム n 抽象化されたパケット処理理 n BSD ライセンス :) l OSS コミュニティにより開発中 l dpdk.org 30
Intel DPDK によるネットワーク I/O のバイパス Standard linux application application with intel DPDK Event-base packet handling Application packet buffer memory User space Application DPDK Library Polling-base packet handling Socket API 2. system call (read) 3. system call (write) User-mode I/O & HAL skb_buf Kernel space 1. DMA Write 2. DMA READ 1. Interrupt & DMA Ethernet Driver API 4. DMA Ethernet Driver API NIC packet buffer Driver NIC packet buffer 31
Intel DPDK の効果 32
性能向上に向けての 工夫や実装 (1/2) packet Network I/O RX Delayed action (processing) evaluation Packet batching to improve CPU $ efficiency Delayed flow stats evaluation Frame processing Smart flow classification Thread assignment optimization Flow lookup & Action Delayed packet frame evaluation QoS Queue Network I/O TX Parallel flow lookup Lookup tree compaction High-performance lookup algorithm for OpenFlow (multi-layer, mask, priority-aware flow lookup) Flow $ mechanism Batch size tuning packet 33
性能向上に向けての 工夫や実装 (2/2) n 詳しくはソースコードを! l https://github.com/lagopus/lagopus/ 34
10Gbps パケット処理理の実現にむけての進捗 Flow $ and Lookup optimization with 12 CPU cores Packet processing optimization with 4 CPU cores MPPS 14 12 10 8 6 4 2 0 Project start point OF lookup improved 2013 Q2 2013 Q3 2013 Q4 2014 Q1 2014 Q2 DPDK-powered I/O Lookup optimization Lookup performance 35
Lagopus の性能評価 n まとめると l Throughput: 10Gbps wire- rate l Flow rules: 1M flow rules 4000 flowmod add / sec Throughput)(Gbps) 10" 9" 8" 7" 6" 5" 4" 3" 2" 1" Throughput vs flows, 1518 bytes packet 10k"flow"rules" 100k"flow"rules" 1M"flow"rules" 0" 1" 10" 100" 1000" 10000" 100000" 1000000" flows HW スペック Dual Intel xeon E5-2660 (8cores) DDR3-1600 64GB Intel X520-DA2 L2 switch performance (Mbps) 10GbE x 2 (RFC2889 test) 36
Ryu OpenFlow 1.3 Conformance test Status (2015.02.12) Type Action Set field Match Group Meter Total # of test scenario (mandatory, optional) Lagopus 2014.11.09 OVS (kernel) 2014.08.08 OVS (netdev) 2014.11.05 IVS 2015.02.11 ofswitch 2015.01.08 LINC 2015.01.29 Trema 2014.11.28 56 (3, 53) 56 (3, 56) 34 (3, 31) 34 (3, 31) 17 (3, 14) 50 (3, 47) 24 (3, 21) 50 (3, 47) 161 (0, 161) 161 (0, 161) 96 (0, 96) 102 (0, 102) 46 (0, 46) 100 (0, 100) 68 (0, 68) 159 (0, 159) 714 (108, 606) 714 (108, 606) 534 (108, 426) 467 (93, 374) 323 (108, 229) 708 (108, 600) 428 (108, 320) 708 (108, 600) 15 (3, 12) 15 (3, 12) 6 (3, 3) 8 (3, 5) 3 (0, 2) 15 (3, 12) 3 (3, 0) 15 (3, 12) 36 (0, 36) 34 (0, 34) 0 (0, 0) 0 (0, 0) 0 (0, 0) 30 (0, 30) 4 (0, 4) 34 (0, 34) 991 (114, 877) 980 (114, 866) 670 (114, 556) 611 (99, 556) 402 (111, 291) 962 (114, 848) 523 (114, 409) 966 (114, 854) 37
オープンソース化 n 2014 年年 7 月 31 日に公開 n http://lagopus.github.io/ n 開発への参加 l コードの提供 - > GitHub Pull Request l バグレポート - > GitHub Issues l 議論論 - > Developers ML 38
Lagopus を使った柔軟なネットワーキング レイヤを超えて楽しいことができます 39
展 示デモ n 半透明 人間カメラ Lagopus l 講義中, 先 生の影が邪魔になって板書しにくい - > 先 生を半透明にする l 撮影, 半透明化, 表 示の 3 サーバでシステムを構成 l 映像は UDP 送受信 l 映像切切替を Lagopus にオフロード! 先 生で板書できない! 先 生を半透明に! 40
展 示デモ n 半透明 人間カメラ Lagopus パターン A: 通常表 示 カメラからのパケットを半透明化サーバとモニタに送信 ( 宛先 MAC,IP,port を書き換えマルチキャスト ) 半透明化サーバからのパケットは drop パターン B: 半透明化 カメラからのパケットを半透明化サーバに送信 半透明化サーバからのパケットをモニタに送信 ( パケットの宛先は適宜書き換える ) 半透明 人間化 パターン A パターン B カメラ モニタ 41
何ができる? n SDN Japan 2014 での実証実験 42
何ができる? l ブラジル - 日本間 ( 約 1 万 8,000km) の映像伝送実験 43
SDN IX @ Interop Tokyo 2015 ShowNet Thanks to NECOMA project (NAIST & University of Tokyo) 44
SDN IX の背景 n IX (Internet exchange) l インターネットサービス プロバイダ (ISP) 間の L2 での接続ポイント ISP 間のパブリックな接続 プライベート接続 ISP A SW SW ISP B IX ISP- C SW SW ISP- D n やりたいことや困っていること ISP F ISP- E l 接続設定の 自動化とポータル化 API 提供 l DDoS トラヒックを削減 止めたい リンク帯域を 食い尽くすことも 入り 口で DDoS トラヒックを drop ISP A ISP B ISP- C ISP- D 外部の DPI 装置や FlowSpec との連携 SW IX SW SW SW ISP F ISP- E 45
Lagopus @ ShowNet 2015 n 2台のLagopusを設置@ 大 手町と幕張 l アキバで買えるIntel Xeonサーバ 2 x Xeon E5 (Sandy-bridge) 8core CPU 6 x 10GbE NIC Copyright 2015 NTT corp. All Rights Reserved. 46
Lagopus @ ShowNet rack 47
Lagopus@ 幕張を通ったトラヒック n 平均 2Gbps throughput l パケットドロップは発 生なし l ときたま 10Gbps のトラヒックにも耐えた l Interop Tokyo 会期中リブートなし & トラブルなし 48
まとめ n 高速な Lagopus ソフトスイッチをオープンソースとして提供 l ネットワークをプログラミングしてみませんか? 既存のサーバで動作可能 そこそこの性能で動きます 相談にのります Web: http://lagopus.github.io/ Github: https://github.com/lagopus/ 開発に参加してみませんか? Lagopus 本とかも後 日公開 ( 予定 ) 49