SDN最新動向と活用事例

Size: px

Start display at page:

Download "SDN最新動向と活用事例"

ゆたかはらしない
5 years ago
Views:

1 SDN 最新動向と活用事例中島佳宏 NTT 未来ねっと研究所

2 自己紹介中島佳宏 NTT 未来ねっと研究所バックグランド大学時代 High-performance computing Grid Computing 入社後非圧縮映像 IP NW 伝送装置アプリケーション特化のNW 制御システム現在高速なソフトウエアスイッチ開発 Whitebox 向けスイッチOSの開発 Page 2

3 3. SDN 最新動向

4 3.1 標準化動向ネットワークノードをソフトウエアから制御可能にするためのデータモデル API プロトコルの検討

5 SDN 関連標準化団体と領域プロトコルフレームフォーマット主体の標準化 IETF I2RS (Interface to the Routing System) SPRING (Source Packet Routing in Networking) Open Networking Foundation (ONF) アーキテクチャ情報モデル主体の標準化 Optical Internetworking Forum (OIF) ITU-T SG13 コントロールプレーンにおける標準化領域マップ SPR ING NW 制御 I2RS 制御プレーン Open Flow データプレーン対象 IETF ONF OIF ITU-T L3 L2.5 L2 L0 L1 SPRING データプレーンにおける標準化領域 Open Flow アーキテクチャアーキテクチャ Page 5 Protocol 系アーキテクチャ系

6 IETF インターネット技術の標準化推進の組織 IP や MPLS プロトコルを拡張して SDN を実現する関連プロトコルの標準化 I2RS (Interface to the Routing System) NW 制御システムからルータの内部ルーティング情報の取得や設定の API を提供 SPRING (Source Packet Routing in Networking) ネットワークをセグメントとして扱い, 集中型と分散型のハイブリッド型 NW PCE (Path Computation Element) ネットワークノードからパス計算部分を外部に切り出し集中管理として NW パス計算を実施 SPR ING NW 制御 PCE I2RS 制御プレーンデータプレーン Page 6

7 I2RS (Interface to the Routing System) ネットワークエレメントと連携するための標準的なデータモデルの規定ルータを対象 NE の RIB 情報への IF を提供アプリケーションロジックを上位で扱えるようした抽象化されたルーティング情報トポロジデータの収集とエキスポートイベント通知ステート情報の RIB へプッシュコントロールプレーン (BGP OSPF) はそのまま参考資料 [I-D.ietf-i2rs-architecture] [I-D.ietf-i2rs-problem-statement] Apps Apps Apps I2RC Client I2RC agent IF & data model Stats IF BGP BGP- RIB RIB FIB OSPF OSPF- RIB Control plane Stats IF Data plane Page 7

8 SPRING (Source Routing, Segment Routing) 1/2 NW の集中型と分散型の良い点を利用するハイブリッドの NW 制御方式ネットワークをセグメントで表現 (Node と Adjacency) 集中制御 : 可視化自動化 TE 自立分散 : 経路計算障害検知 OAM 迂回 MPLS もしくは IPv6 によるデータプレーン実装メリット Control Plane のシンプル化 Page 8 IGP で segment id を配布, 複雑な LDP,RSVP を排除柔軟かつ Scalable な TE ステートレスかつ, 帯域や遅延を加味した CSPF Transport 的なパス運用にも適応可能 Explicit パス,OAM, BFD, Protection との連携参考資料 [I-D.filsfils-spring-segment-routing], [I-D.filsfils-spring-segment-routing-use-cases], [I-D.filsfils-spring-segment-routing-mpls]. 10 Apps NW controller (PCE etc) CLI, SNMP, BGP-LS Apps 50 adj adj adj adj 30

9 SPRING (Source Routing, Segment Routing) 2/2 MPLS 実装の場合 ingressエッジルータで通過するsegment idを表現するmpls tagをすべてpush 各ルータではCSPFに従いパケット転送を経由するパス対応する segment ID のタグ群を push data data data adj 30 data 13 data 80 adj 30 PHP (penultimate hop popping) data を経由するパス対応する segment ID のタグ群を push data data data data 60 adj 70 adj 80 data data 80 adj PHP (penultimate hop popping) data 30 data Page adj 23

Open Networking Foundation OpenFlow を中心としたオープンな仕様の SDN 関連プロトコルの標準化団体 2011 年 3 月に設立 150 社が加盟 (2014 年 5 月時点 ) OpenFlow の標準スペックをはじめ SDN に関わる仕様の策定 ( 最新スペックは 1.4, 安定版は 1.

10 Open Networking Foundation OpenFlow を中心としたオープンな仕様の SDN 関連プロトコルの標準化団体 2011 年 3 月に設立 150 社が加盟 (2014 年 5 月時点 ) OpenFlow の標準スペックをはじめ SDN に関わる仕様の策定 ( 最新スペックは 1.4, 安定版は 1.3) OpenFlow switch specification Page 10 switch と controller 間のフロー制御命令» Ethernet, VLAN, IPv4, IPv6, ARP, ICMP, L4 port» MPLS, PBB, QinQ OF-CONFIG NETCONF をベースにした OpenFlow switch の初期設定プロトコル OpenFlow コントローラやブリッジ, トンネルポイントの設定 OpenFlow の構成 OpenFlow コントローラコントロールプレーン ( ルーティング / スイッチング ) OpenFlow プロトコル OpenFlow スイッチフローパターンデータプレーン Flow Table アクションカウンターフローパターンアクションカウンター複数プロトコルの処理が可能 ( マルチレイヤ対応, 但し機器の対応が必要 ) ネットワーク制御を自由に記述可能 Config point OF-CONFI

ONF の標準化の進展 Stanford 大の Clean Slate Program から OpenFlow の開発研究標準化団体 ONF

の研究開発 OpenFlow Switch Consortium Open Networking Foundation Stanford 大学

仕様アプデート SDN の OSS 活動 OF 0.8 OF 0.9 OF 1.0 NOX OF1.1 trema OF1.2 Ryu OF1.

11 ONF の標準化の進展 Stanford 大の Clean Slate Program から OpenFlow の開発研究標準化団体 ONF が発足し SDN/OpenFlow の標準化をリード OpenFlow の研究開発 OpenFlow Switch Consortium Open Networking Foundation Stanford 大学 Clean Slate Program OpenFlow 仕様策定標準化通信事業者による NFV/SDN ETSI NFV OpenFlow 仕様アプデート SDN の OSS 活動 OF 0.8 OF 0.9 OF 1.0 NOX OF1.1 trema OF1.2 Ryu OF1.4 OpenDaylight Open Daylight Lagopus 製品化 OpenFlow スイッチコントローラの製品化 Page 11

12 ONF のワーキンググループとプロトコルの標準化 [Wireless] [Optical Transport] 無線や光伝送への適用を検討 Page 12

13 OpenFlow のバージョンの進展 (1/2) OpenFlow 1.0 キャンパスネットワークやデータセンタ内のネットワークを意識したプロトコルをサポート Ethernet, VLAN, IPv4, TCP, UDP 等 OpenFlow 1.1 広域ネットワークで活用されることを想定し機能的な拡張データセンタ間, キャリア網を意識した通信プロトコル対応パケットパイプライン処理を実現するための複数フローテーブルの導入 OpenFlow 1.2 プロトコルの拡張性を意識したパラメータ記述の拡張マッチング記述方式の採用コントローラのフェイルオーバーを可能にすべく複数コントローラへ対応 OpenFlow 1.3 ONF の現在の安定版仕様制御プレーンの IPv6 環境での運用に対応トンネリングプロトコル, リンクアグリゲーションの論理ポートに対応フロー毎の帯域制御を実現する Quality of Service 制御へ対応 (Meter) Page 13

14 OpenFlow のバージョンの進展 (2/2) OpenFlow 1.4 光伝送装置制御のための拡張複数コントローラ対応のためのフロー関連の通知機能ロールの機能テーブルの同期機構 TCPの変更 6633 to 6653 OpenFlow 1.5 ( 策定中 ) Egress Table 対応フローエントリの統計情報と統計トリガ機能 TCPフラグmatch 対応 Page 14

15 3.2 SDN/OpenFlow 実装最新動向

16 SDN 化を進めるために OpenFlow で SDN を体験してみたい NW 制御側 1. 自分でコントローラを作る結構しんどいです 2. フリーなコントローラを見つける OpenDaylight, Ryu, Trema 3. ソリューションを購入する OpenFlow 1.3 対応製品を検索してくださいデータプレーン側 1. 自分でコントローラを作るかなり結構しんどいです 2. フリーな OpenFlow スイッチを見つける Open vswitch, Lagopus 3. ソリューションを購入する OpenFlow 1.3 対応製品を検索してください IaaS 基盤を SDN 化したい 1. 自分で IaaS 基盤を作る超しんどいです 2. OSS なソリューションを見つける A) OpenFlowベース B) OpenContrail C) Midonet 3. ソリューションを購入する SDN 対応 IaaS 基盤の製品を検索してください Page 16

17 3.2.1 SDN/OpenFlow 制御系

18 SDN 制御系自分で NW 制御ロジックを書きたい人向け OpenDaylight Ryu Trema Language Java Python Ruby, C License Eclipse Public v1 Apache v2 GPL 制御可能データプレーン OpenFlow switch v1.0, 13 OpenFlow switch v OVSDB 対応スイッチデータプレーン設定プロトコル OVSDB, NETCONF OVSDB - OpenFlow switch v1.0, 1.3 (trema-edge) プロトコルライブラリ (BGP, BGP) ( いろいろ ) ( いろいろ ) Sample apps? (L2, L3, LB, firewall) (L2, L3, LB, monitor) OSS 系で IaaS 特化で環境を作ってみたい Ryu OpenContrail Midnet License Apache v2 Apache v2 GPL 制御可能データプレーン OpenFlow switch (OVS) vrouter (contrail) OpenvSwitch 対応データプレーンプロトコル GRE, VxLAN OVSDB 対応 NW L2 overlay VxLAN, Gre MPLS over UDP VxLAN Page 18

19 SDN を構成するオープンソース Application Layer Cloud Computing Business Applications API API Northbound API Control Layer Network Services Network Services OSS Controller Ryu trema Southbound API Open contrail Infrastructure Layer OSS virtual switch White box switch Open network linux Page 19

20 Open Daylight (1/2) SDN を実現するための OSS のモジュール型コントローラプラットフォーム OSGi ベースでコントローラの機能を動的にプラグイン可能機能を実現するためフレームワーク SAL (service abstraction layer) の提供上位アプリ向けの双方向の REST による Northbound Interface 提供複数のネットワークノードへの Southbound Interface 対応 OpenFlow 1.0 & 1.3, NETCONF, PCEP, BGP, BGP-LS 大手ネットワークベンダやソリューションベンダが参画 ( 約 40 社 ) リリース 2014 年 2 月 : Hydrogen Base Edition: OpenFlow を中心とした基本的な機能 Virtualization Edition: データセンター向け ( 仮想テナントネットワークやオーバーレイネットワークセキュリティ機能 ) Service Provider Edition: 通信事業者向け (BGP-LS, LISP, Metadata service) 2014 年 9 月 : Helium をリリース OVSDB, Service Function Chaining, AAA の対応 Page 20

21 Open Daylight (2/2) Page 21

22 Ryu: component-based software defined networking framework 既存ネットワークの段階的な SDN 化を実現既存ネットワークプロトコル (BGP など ) のライブラリも提供 SDN アプリケーションを構築するための部品データプレーン制御プロトコル OpenFlow 1.0, 1.2, 1.3, 1.4, Nicira Extensions (OpenvSwitch 専用 ) OF-config, OVSDB JSON (OpenvSwitch 専用 ) 共通機能コンポーネントルーティング : BGP, MPBGP トポロジ検出 : LLDP クラウドテナント L2 分離 : VXLAN GRE VLAN セキュリティ : ファイアウォール高可用化 :VRRP LACP パケットライブラリ : BMP OpenStack 連携 : icehouse から新しい機構へ Ryu converts it Python Object Your application Python Object Ryu generates OF wire protocol OF wire Protocol Data Plane Page 22

23 自動化された Ryu 開発 Unit tests are executed github Docker hub image is updated You can update your Ryu environment with one command Push the new code Ryu certification site is updated Page 23 Ryu certification is executed on test lab

24 Trema RubyによるコンパクトにまとまったOpenFlow controllerフレームワークコントローラ,OFライブラリ,NWエミュレータ機能を提供 OpenFlow 1.0, Trema-edgeにてOpenFlow 1.3 対応少ないコード数で機能の追加や変更が可能少ない工数で柔軟なNI,SIが可能 DCを中心に採用事例あり入門者にやさしい日本語ドキュメントが揃っている trema Page 24

25 OpenStack 連携にみるコントローラ開発の思想の違い集中管理型実装例 : OpenDaylight, NEC PF とかインテリジェントは OpenFlow コントローラに存在 Scalability High availability Single system image 分散管理型実装例 : Ryu (OFAgent driver) インテリジェントはエッジに Scalability, High-availability は他のフレームワークを活用 Compute node VM VM OpenFlow switch OpenFlow OpenFlow Controller OpenStack standard RPC OpenStack REST API Neutron Server Compute node VM VM OpenFlow switch OpenFlow Controller OpenFlow OpenStack REST API Neutron Server OpenStack standard RPC Page 25

26 3.2.2 データプレーンの実装

27 SDN を構成するデータプレーンの実装ソフトウエア実装ハードウエア実装データプレーン制御プロトコル独自プロトコル OpenContrail vrouter (XMPP) Cisco application virtual switch (CISCO ACI) OpenFlow Open vswitch Lagopus LINC Light switch ASIC FPGA NPU Cisco Nexus 9K (Cisco ACI) NEC Programmable Flow SW HP Procurve Pica8 Centec Accton EdgeCore IBM RackSwitch Juniper MX Corsa Brocade MLX NoviFlow NoviKit Netronome Page 27

28 ソフトウエアデータプレーンの実装

29 Intel DPDK X86 アーキテクチャに最適化されたデータプレーン用ライブラリと NIC ドライバメモリ構成を考慮した Queue, buffer 管理ライブラリ packet flow classification ポーリングベースの NIC driver データプレーン処理に最適化された低遅延 & 高性能なランタイム抽象化されたパケット処理 BSD ライセンス :) OSS コミュニティにより開発中 dpdk.org Page 29

30 Intel DPDK によるネットワーク I/O のバイパス Standard linux application application with intel DPDK Event-base packet handling Application packet buffer memory User space Application DPDK Library Polling-base packet handling Socket API 2. system call (read) 3. system call (write) User-mode I/O & HAL skb_buf Kernel space 1. DMA Write 2. DMA READ 1. Interrupt & DMA Ethernet Driver API 4. DMA Ethernet Driver API NIC packet buffer Driver NIC packet buffer Page 30

31 Intel DPDK の効果 Page 31

32 主な Software OpenFlow switch の実装 Open vswitch VMware が開発を主導様々な Linux ディストリで利用可能様々な仮想化基盤との連携も可能 Linux カーネルにデータプレーンのモジュールが取り込まれている Lagopus NTT が開発を主導様々なプロトコルのフレームへの OpenFlow 命令の対応高速化および大規模フローへの対応を主眼 LINC, LINCX flowforwarding が開発を主導最新の OpenFlow 仕様や OF-CONFIG に対応 Page 32

33 Open vswitch (1/2) デファクトスタンダード OpenFlowソフトウエアスイッチ Linux kernelにvswitch moduleがマージ済みメジャーなLinuxディストリでインストール可能高速なフロー検索機構 megaflow 導入による高速化 NW 運用のための統計取得プロトコルサポート NetFlow, IPFIX, sflow, SPAN/RSPAN OpenFlowやOVSDBによる集中管理 Port bonding, LACP, tunneling (VxLAN, GRE, LISP) Linuxベースの仮想化やFreeBSDで動作 Xen, XenServer, KVM, VirtualBox 様々なデータプレーンへの移植 Linux Kernel 空間のソフトデータプレーン DPDKベースのデータプレーン商用スイッチシリコンベースのスイッチ Page 33

34 Open vswitch (2/2) 実装詳細 OpenFlow controller OVSDB server ovsvswitchd ovs-vswitchd Userspace OVS kernel module Kernel-space OVS の構成 1 st packet OVS kernel module Subsequent packet フロー処理 Userspace Kernel-space Page 34

ユーザースペース実装による容易なインストール SDNの広域 NWへの適用を意識したプロトコルサポート data center

35 Lagopus の特徴マルチコアCPUを活用する高性能なソフトウエアOpenFlow switch 10Gbps wire-rateのパケット処理 100 万フローエントリへの対応と高速なフローエントリの投入ユーザースペース実装による容易なインストール SDNの広域 NWへの適用を意識したプロトコルサポート data center 以外の領域へ WAN protocolsのサポート (MPLS and PBB) Intel DPDK 対応ゲートウェイシステムや仮想化基盤向けのvSW Page 35

Lagopus の性能評価まとめ Throughput: 10Gbps wire-rate Flow rules: 1M

(8cores) DDR3-1600 64GB Intel X520-DA2 Throughput (Gbps) 10 9 8 7

rules 100k flow rules 1M flow rules 1 10 100 1000 10000 100000

36 Lagopus の性能評価まとめ Throughput: 10Gbps wire-rate Flow rules: 1M flow rules 4000 flowmod add / sec HW スペック Dual Intel xeon E (8cores) DDR GB Intel X520-DA2 Throughput (Gbps) Throughput vs flows, 1518 bytes packet 10k flow rules 100k flow rules 1M flow rules flows L2 switch performance (Mbps) 10GbE x 2 (RFC2889 test) Page 36

37 Ryu OpenFlow 1.3 スイッチの機能テスト ( ) Page 37

38 ハードウエアデータプレーンの実装

39 ハードウエアの OpenFlow スイッチ大手ベンダからOpenFlow 1.3 対応スイッチが販売内部で使用しているチップ構成により使用可能なOpenFlowの機能はまちまち詳しくは最新のファームウエアに対しての対応結果を CI で公開 Page 39

40 Whitebox switch

スイッチのホワイトボックス化の流れスイッチのハードウエア 1980 年代 : CPU の全盛自社での製造が主流 1990 年代 : カスタムチップ全盛 2000 年代 : 汎用スイッチシリコン台頭 OEM ベンダでの製造が主流 2010 年代 : 商用スイッチシリコン全盛ソフトウエア 1980 年代 : 専用 OS 1990 年代 : 汎用 OS (BSD 系 ) の利用

41 スイッチのホワイトボックス化の流れスイッチのハードウエア 1980 年代 : CPU の全盛自社での製造が主流 1990 年代 : カスタムチップ全盛 2000 年代 : 汎用スイッチシリコン台頭 OEM ベンダでの製造が主流 2010 年代 : 商用スイッチシリコン全盛ソフトウエア 1980 年代 : 専用 OS 1990 年代 : 汎用 OS (BSD 系 ) の利用 2000 年代 : 汎用 OS (Linux 系 ) の台頭 2010 年代 : ほとんど Linux 化管理 1980 年代 : CLI 1990 年代 : CLI 2000 年代 : CLI 2010 年代 : サーバ系設定自動化ツールとの連携 Page 41 汎用スイッチシリコンベース ODM ベンダ製造の HW スイッチエージェント on Linux サーバ系設定自動化ツール

What s white Box Switch 商用 Switch シリコンを使用したスイッチ Broadcom Trident 系 Intel FM6000 スイッチ制御を汎用 CPU で処理 Intel, ARM, Powerpc ODM ベンダが製造 Quanta Accton Pica8 Dell Advantech

42 What s white Box Switch 商用 Switch シリコンを使用したスイッチ Broadcom Trident 系 Intel FM6000 スイッチ制御を汎用 CPU で処理 Intel, ARM, Powerpc ODM ベンダが製造 Quanta Accton Pica8 Dell Advantech Penguin computing OS は自由に選べる Cumulus Linux (Cumulus) Switch light OS (Bigswitch) PicaOS (Pica-8) OpenNetwork Linux (OSS) Page 42 ストレージ PCI-Exp スイッチ制御 CPU 商用スイッチシリコン

43 Whitebox switch はどこで買えるの秋葉原ではまだ買えませんが web からは発注可能 OS は別途購入必要 Page 43

swp3 swp4 # vlan 10 の設定 cumulus@switch:~$ sudo ip link add link swp1 name swp1.

44 Cumulus Linux Linux のディストリのように Network を設定 Bridge 系,IP 系コマンドを使った VLAN, IP の設定 # bridge へのインターフェスの追加 cumulus@switch:~$ sudo brctl addbr my_bridge cumulus@switch:~$ sudo brctl addif my_bridge swp1 swp2 swp3 swp4 # vlan 10 の設定 cumulus@switch:~$ sudo ip link add link swp1 name swp1.10 type vlan id 10 cumulus@switch:~$ sudo ip link add link swp2 name swp2.10 type vlan id 10 既存自動設定ツールを使った一括設定 Page 44

45 OF-DPA DC 向けホワイトボックススイッチ向けの OpenFlow switch agent ファームウェア OF-DPA の提供と OpenFlow の Flow Table デザインレイヤリングの考えを取り入れた Flow table Broadcom Trident 系チップを搭載したホワイトボックススイッチに対応 Page 45

スイッチ OS Switch ASIC への Thrift ベースの抽象化レイヤを提供 Page 46 Reference: https://code.

46 Wedge & FBOSS Facebook が主導する商用スイッチシリコンベースの ToR のスイッチ ToR スイッチを HW とソフトウエアの観点からオープン化を推進 OCP のネットワーク部門としても推進 Wedge: 商用スイッチシリコンを用いたハードウエアのデザイン FBOSS: スイッチ OS Switch ASIC への Thrift ベースの抽象化レイヤを提供 Page 46 Reference:

47 Whitebox 用スイッチ OS の構成現状のスイッチ OS ( ソース公開不可 ) 上位 API だけオープン ( 上部のエージェントのみ OSS 化 ) 真の OSS スイッチ OS User-space User-space User-space Kernel-space SDN switch agent Propriety SDK Switch Driver Kernel-space SDN switch agent Open Switch HAL RPC Propriety SDK Switch Driver Kernel-space SDN switch agent Open HAL Switch Driver Controller CPU Mem Switch Silicon Controller CPU Mem Switch Silicon Controller CPU Mem Switch Silicon Page 47

Lagopus SDN/OpenFlow switch: yet another SDN/OF switch agent and high-performance software switch

Lagopus SDN/OpenFlow switch: yet another SDN/OF switch agent and high-performance software switch 汎用 x86 サーバを用いた高速なソフトウエアパケット処理技術中島佳宏 This research is a part of the project for Research and Development of Network Virtualization Technology supported by the Ministry of Internal Affairs and Communications.