161207_OkinawaOpenLab

Transcription

1 ホワイトボックススイッチと Kubernetes によるネットワーク運 用 自動化事例例のご紹介 2016/12/7 Okinawa Open Days 2016 NTT ソフトウェアイノベーションセンタ (SIC) 石 田渉

2 自 己紹介 名前 : 石 田渉 ( いしだわたる ) 所属 : NTTソフトウェアイノベーションセンタ 仕事 : ソフトウェア ( 特にOSS) の 力力でネットワークをより運 用しやすく より 高効率率率化するための研究開発 Ryu SDN Framework osrg/ryu GoBGP osrg/gobgp 2

3 目次 1. オープンネットワーキングとホワイトボックススイッチ 2. ホワイトボックススイッチと Kubernetes によるネットワーク運 用 自動化事例例 3

4 目次 1. オープンネットワーキングとホワイトボックススイッチ 2. ホワイトボックススイッチと Kubernetes によるネットワーク運 用 自動化事例例 4

5 オープンネットワーキング 脱 垂直統合型ネットワーク機器の潮流流を総称 リーダーは OTT ( Amazon, Google, Facebook, Microsoft ) 垂直統合型の既存装置ではなくハード ソフトが分離離された (disaggregated) 装置を開発, 活 用 価格 面だけでなく 他システムとの連携による 高度度な最適化など より柔軟なインフラ構築のための流流れ APP APP APP APP 垂直統合 OS OS disaggregated! Hardware Commodity HW 5

6 OTT のインフラストラクチャ (1/2) ハードウェア : ODM ベンダに設計, 開発, 製造を委託 ODM ベンダ : Quanta( 世界サーバ出荷台数の 1/7), Accton( 世界最 大の NW 機器 ODM ベンダ ) NW OS 等ソフトウェアは含まない ソフトウェア : 自社, オープンソースソフト (OSS), ベンダ製品を活 用 Facebook のネットワーク装置 - Accton(Edgecore) 製 ソフトの技術 力力を 生かし 安価かつ柔軟なインフラを構築している Capex $/Tbps and Opex are 100x smaller than counterparts for prior networks Albert Greenberg (Microsoft Distinguished Engineer) /14

7 OTT のインフラストラクチャ (2/2) open- r- a- new- modular- routing- platform/ reveals- secret- gear- connects- online- empire/ 独 自ルーティングプロトコルをハードウェア上で稼働させ ベンダの機能追加を待つことなく迅速かつ柔軟にインフラを構築 7 /14

8 オープンネットワーキングが進む 3 領領域 データセンタネットワーク オープンネットワーキングの主戦場 OTTでは脱ベンダ化は 一巡した様 子 キャリア エンタープライズへの普及が今後進んでいく 見見込み OCPなどで議論論 無線ネットワーク ターゲットはWiFi 携帯電話網 (2G, 3G, LTE) まだ未成熟 ( 先進的なOTTは導 入済みかも ) OCP(WiFi), TIP(2G, 3G) などで議論論 オプティカルネットワーク ターゲットはデータセンタ間ネットワーク まだ未成熟 ( 先進的なOTTは導 入済みかも ) TIPなどで議論論 8

9 ホワイトボックススイッチ 従来ネットワーク機器 ホワイトボックススイッチ ソフトウェア ソフトウェア ハードウェア ハードウェア ここだけ ソフトウェアとハードウェアは不不可分 Juniper ハード上で Cisco IOS は動かない 大半のソフトウェアはクローズド ユーザによる機能追加が困難 従来ネットワーク機器を製造してきた ODM ベンダ製品 多くは台湾製 ソフトウェアを含まない ユーザが選択 or 開発 ベアメタルスイッチとも IA サーバではない ソフトウェアを含まない ODM ベンダ製コモディティスイッチ 9

10 ホワイトボックススイッチの中 身 制御パケット (ICMP, ARP 等 ) SDK OS 各種デーモン パケットの流流れ CPU ASIC ASIC : パケット転送を 行行うスイッチの 心臓部 Broadcom 社がリーダー ( Trident, Tomahawk ) Tomahawkチップは100GbE x 32ポート分 (3.2Tbps) の転送帯域 他にはMellanox, Cavium, Barefootなど CPU : スイッチの制御部 / OSが稼働 ハイ ミドルエンド : x86, ローエンド : ARM メモリ : 2-8GB, ストレージ : 4-32GB 10

11 様々なホワイトボックススイッチベンダ 11

12 様々なホワイトボックススイッチ OS Cumulus Linux Cumulus Networks Switch Light OS Big Switch Networks OcNOS IP Infusion PicOS Pica8 ONL (Open Network Linux) Big Switch Networks Ubuntu Snappy Canonical それぞれ特徴が異異なり ユースケースに合わせて選択する必要がある 12

13 ホワイトボックススイッチユーザ会 事例例紹介 NOS 紹介 是 非お越しください! 13

14 目次 1. オープンネットワーキングとホワイトボックススイッチ 2. ホワイトボックススイッチと Kubernetes によるネットワーク運 用 自動化事例例 14

15 nosrg- NET SIC 内実験ネットワーク ホワイトボックススイッチを活 用したネットワークを構築 L3 CLOS ネットワークの採 用 L2 ドメインを 小さく ルーティングは BGP を利利 用 端末管理理の WEB ポータル化 WEB ポータルと連携して DNS/DHCP/ACL を 自動設定 DigitalOcean が OSS 化している NetBox を利利 用 デーモン管理理のために Kubernetes をスイッチ上で稼働 各種デーモンのデプロイ, 死活監視, ロギング, アップデートを担当 スイッチ群を個別に設定するのではなく群れとして設定するための基盤 似たようなコンセプトのソリューション : Big Switch, Apstra 15

16 ネットワーク構成 L3 CLOS Spine switch ToR switch Server L3 CLOS ToR - Server 間 : L2 接続 ( L3 接続化を検討中 ) ToR - Spine 間 : L3 接続 ECMP により冗 長性 負荷分散を 行行う ルーティングには BGP を 用いる 各ラック 1AS 16

17 nosrg- NET ホワイトボックススイッチ構成 APP APP Kubernetes Cumulus Linux EdgeCore スイッチ スイッチは EdgeCore 製, OS は Cumulus Linux を採 用 Cumulus Linux : スイッチを NIC がたくさん搭載されている Linux として扱える サーバの世界のソフトウェアを ほぼ そのまま動かせる 例例 ) Docker, Kubernetes, GoBGP ASIC vs CPU の違いがきれいに吸収できていない部分もある 例例 ) iptables, tc - 挙動が違う or 独 自拡張されている 17

18 nosrg- NET システムアーキテクチャ 利利 用者による端末追加 変更更 ポーリングによる同期 etcd API による notification を契機に設定等をスイッチに反映 DHCP DNS ACL DHCP DNS ACL スイッチ スイッチ 18

19 NetBox - ラック管理理 19

20 NetBox - 端末管理理 ホスト名, 機種, ラック位置, 役割 インターフェイス管理理 - MAC アドレス, IP アドレス, 接続先 20

21 Kubernetes Google 発コンテナオーケストレータ 複数台のサーバ (node) を計算資源のプールとし, コンテナ化されたアプリケーションのデプロイ, スケジューリング, 死活監視, 再起動, ロギング, 負荷分散等の 面倒をみてくれる 使い 方の 一例例 1. web server のコンテナを x 台, どの node でもいいので起動し, ロードバランサで負荷を分散させる (Pod, Replication Controller, Service) web server が何らかの理理由で落落ちたら, 自動的に再起動させる 負荷に応じて, 後から起動数を増減させる 2. 全ての node で node のリソース使 用量量をモニタリングするためのコンテナを起動し, 死活監視も 行行う (Daemon Set) 3. 常駐型のアプリではなく スクリプト等の短時間で終了了する作業を特定の node で ( 定期的に ) 実 行行する (Job, Scheduled Job, Label) 21

22 nosrg- NET での Kubernetes の使い 方 通常 Kubernetes では各コンテナは個別に IP アドレスが割り振られ ホストのネットワークは 見見えないようになっている Linux Network Namespace によるネットワーク空間の分離離 nosrg- NET では主にネットワークのシステムデーモンを管理理するために Kubernetes を利利 用 ( 分散 systemd のように使っている ) ホストのネットワークも 見見えないと困るため ネットワーク空間の分離離機能は利利 用していない Daemon Set を利利 用して複数スイッチに同 一種のコンテナをデプロイ ラベルを利利 用して起動するサービスを使い分けている device- type : server, switch device- role : tor, spine kubectl という kubernetes の CLI で物理理ノードの 一覧と付与されたラベルを表 示 22

23 GoBGP NTT SIC 発 Go 言語 BGP 実装 1. API first の設計 CLI も API を利利 用して実装 2. Go 言語によりマルチコアを最 大限に活 用 3. OpenConfig を採 用し, ベンダニュートラルなコンフィギュレーションモデル 4. Go 言語の BGP ライブラリとして利利 用できる nosrg- NET ではこの 方式で GoBGP を利利 用 23

24 GoBGP - Go 言語 BGP ライブラリとしての使い 方 BGP サーバのインスタンスを作成, 起動 API サーバのインスタンスを作成, 起動 グローバル設定を作成し BGP 機能をスタート ピア設定を作成し ピアを追加 24

25 nosrg- NET での GoBGP の使い 方 - GoBGP をライブラリとして利利 用し, etcd から情報を取得し, BGP 部の設定を 行行いピアから受信した経路路は netlink を使って FIB に書き込む etcd API nosrg- NET BGP デーモンコンテナ デプロイ 死活監視 netlink : 書き 足し部分 25

26 まとめ OTT を中 心に 脱 垂直統合型ネットワーク機器が進んでいる データセンタネットワークではホワイトボックススイッチの活 用によりサーバ側の技術を取り 入れて安価に柔軟なインフラを構築している SIC では社内実験ネットワークにホワイトボックススイッチを導 入 Kubernetes と組み合わせて ネットワークアーキテクチャのシンプル化と運 用の 自動化を進めている 明 日 9 時 45 分 第 7 会議室 ホワイトボックススイッチユーザ会開催します! ぜひお越しください! 26