Agenda 1. はじめに ~ 会社紹介と今回のテーマ ~ 2. ネットワーク 自動化 (?) をやってみた話 3. REST APIのお話 4. 苦労したポイントとわかったこと 5. おわりに

Transcription

1 アドテクに必要な SDN/NFV ( 前編 Japan 2016/1/15 サイバーエージェント アドテク本部 山本孔明

2 Agenda 1. はじめに ~ 会社紹介と今回のテーマ ~ 2. ネットワーク 自動化 (?) をやってみた話 3. REST APIのお話 4. 苦労したポイントとわかったこと 5. おわりに

3 サイバーエージェントについて 1998 年年の創業以来 インターネットを軸に事業を展開し 現在では代表的なサービスである Ameba をはじめ スマートフォン向けに多数のコミュニティサービスやゲームを 提供しています アドテク本部とは インターネット広告において 広告配信の最適化やメディアの収益最 大化という観点からアドテクノロジーの重要度度が 高まっています サイバーエージェントではアドテクノロジー分野における これらのサービスについて各 子会社を通じ開発しておりましたが 各サービスの開発部 門を横断して組織化する専 門部署として アドテク本部が設 立立されました

4 自 己紹介 アドテク本部のインフラエンジニア 主にオンプレのネットワークを担当 ネットワークを監視する Zabbix の活 用事例例 Tokyo infra- summit network- zabbix

5 サイバーエージェントではアドテクサービス向けのクラウド基盤として OpenStack を採 用しています スイッチ ルータといったネットワーク機能はもちろん ロードバランサーなどネットワークサービスも API 経由で ユーザーに提供しています 本講演では変化の激しいサービス基盤を少 人数のチームで運 用するため ネットワークも含めたクラウドをどのように構築し 効率率率的に運 用しているのかについてお話します また 後半では OpenStack Liberty と MidoNet を使って構築している環境についてご紹介します

6 一般的なネットワークのお仕事 VLAN 追加 / 変更更 ルーティング追加 / 変更更 ロードバランサー設定追加 ACL 追加 トラフィック確認 増強などの構成変更更 新技術の検証 トラブルシュート 構成管理理 etc ここに注 力力したい VPN ユーザ追加 / 変更更

7 ネットワークエンジニアの悩み ACL 追加してほしいんだけど 今 日 VPN ユーザって今誰が登録されてましたっけ? トラフィックっていまどのくらい出てます? 面倒に思ったり後まわりにしたいと思いながら作業した経験はありませんか?

8 申請するくらいならその時間で設定しよう ということで 作ってみました

9 コンセプト 自動化というよりセルフサービス化 AWS CLI や gsutil みたいな感じ なんで?( おさらい含む ) 少 人数で運 用してるから 新規サービスの 立立ち上げスピードを損なわないため つまらない作業は極 力力やりたくない ダメ!! 作業ミス リリース 日への影響 エンジニアのモチベーション低下

10 操作イメージと効果 Neutron Region 学習コストが低い ( アプリケーションの開発者が 固有のコマンド GUI 操作を覚える必要がない ) 簡単に JOB に組み込んだりすることが可能 思い 立立ったときにすぐインフラの操作ができる

11 サービスメニュー 新規サービスが 立立ち上がるごとに増えるものや操作するものを基本に構成 基幹系の作業は 一部のユーザの権限のみでしか触れないように制御 サービスメニューは右記以外にも複数存在 DC 内のローカルレポジトリから配布

12 言語 Python Shell Script ソフトウェア Flask Nginx Gunicorn その他 構成管理理 Ansible

13 その他 一般的な WEB サーバと同様にヘルスチェック 用の URL を使って分散 / 冗 長 操作履履歴は API Server 側で簡易易取得 VLAN 変更更などは Ansible とか Chef でまとめたい ( 障壁あり ) CI 的な観点では Develop 用ブランチでつけた Tag を監視して Act/Stb をローリングアップデート テストをした上で本番へ組み込む

14 Chat も活 用した 方が良良い グラフィカルな部分は Chat で完結できるようにしておくと意外と便便利利 頼まれる側 も 頼む側 に取ってもストレスフリー 他の可視化や簡単なデプロイ 用途で活 用

15 REST API アプリケーションプログラミングインタフェース (API 英 : Application Programming Interface) とは ソフトウェアコンポーネントが互いにやりとりするのに使 用するインタフェースの仕様である API には サブルーチン データ構造 オブジェクトクラス 変数などの仕様が含まれる REST API ってエラー処理理が楽 ヒューマンエラーさようなら ( に近づく ) ネットワークエンジニア以外でも操作しやすい 監視装置は情報の宝庫 構成管理理は苦 手 適材適所で使いましょう 出展 アプリケーションプログラミングインタフェース

16 苦労したポイント API なしの機器を操作する場合 expect で対応せざるを得ない 処理理が途中で 止まるとか 負担にならない程度度のエラー処理理を 問題があった時の Debug をどうするか Debug オプションを実装 Client 側で取れるように API のエラーコードとメッセージをクライアント側へ出 力力 REST API の設計 素 人がやったので汚い 苦労した 方が良良かったポイント 後悔

17 わかったこと 権限周りは 自分で作ろう 各機器の機能差を吸収する必要あり 商 用に頼りすぎてベンダーロックインにならないよう注意 コントローラー乱 立立もちょっと でも 自作で俗 人化にも注意 エンジニアに 一定のレベルを チーム開発できる環境を NW エンジニアの世界は狭いかもしれない こうやって学んだことは 色々応 用できるので スキルアップの観点でも Good!

18 おわりに REST API の設計はメーカにより設計の質が異異なる REST API も Ansible などの構成管理理も適材適所 SDN / NFV は別のモチベーションがあってアプローチ Overlay! 5 分の 手作業より 15 分でコードを書きましょう Automation is the new skillset that network engineers need to pick up. Much like sysadmins have had to learn how to use new tools like Chef and Puppet, network engineers are learning that they just can't do things manually anymore. With examples in each chapter, this practical book provides you with baseline skills in network programmability and automation, using a range of technologies including Linux, Python, JSON, and XML. No previous knowledge of software development, programming, automation, or DevOps is required.

19 アドテクに必要な SDN/NFV ( 後編 ) OpenStack Liberty + Midonet Japan 2016/1/15 サイバーエージェント アドテク本部 長 谷川誠

20 自 己紹介 Makoto Hasegawa アドテク本部にて データセンター運 用や Private Cloud(OpenStack) を 構築 運 用したりしてます Twitter

21 Agenda 1. OpenStack とは 2. Midonet とは 3. OpenStack + Midonet 4. 導 入にあたり 5. 今後について

22 OpenStack

23 OpenStack とは 汎 用的なPCサーバやネットワーク機器などの 標準的なハードウェアを 用いて IaaS(Infrastructure as a Service) 型の クラウドコンピューティング環境を構築可能なOSS 簡単に 言うと プライベートクラウドに構築できる AWS のようなもの もともと AWS を参考に開発が始まった

24 Midonet

25 Midonet とは Midokura 社 ( により開発されている L2 から L4 をカバーするネットワーク仮想化ソフトウェア OpenStack のネットワーク機能 Neutron の Plugin として稼働させることができる SPOF の無い分散アーキテクチャを採 用 日本法 人 ( ミドクラジャパン ) があり 日本語のサポートがあることが 地味にうれしい 2014 年年 11 月にオープンソース化 (Community Edition)

26 Midonet の Overlay

27 OpenStack + Midonet

28 OpenStack + Midonet 従来の運 用は OpenStack のネットワークの構成 (Neutron) は ネットワーク管理理者によって決められていた つまりこういうこと この Tenant(project) はこの vlan 使ってね 新しい Tenant 増えたから vlan 増やさなきゃ この vlan どこの Tenant が使ってたっけ? あらかじめ 用意していた vlan がいつの間にか枯渇していた 新規プロジェクト vlan 50 個下さい え

29 OpenStack + Midonet OpenStack 管理理者は Tenant を作成したりするタイミングで Neutron 経由で Network を作成し Tenant に紐紐付ける必要がある ネットワーク管理理者は vlan を払い出したり新規作成したりする そんなめんどくさい運 用から開放されたい そこで ネットワークを仮想化することで解決できるのではないか? と思い 立立ちいろいろ SDN を調べていた

30 OpenStack + Midonet Midonet との出会い とある OpenStack のセミナーにて Midonet の存在を知ることに SPOF が無かったりスケールしやすそうだし 良良さそう しかも 日本のエンジニアがいる しかし当時はまだオープンソースではなかった為導 入には 至らず しかし 2014 年年 11 月に

31

32 OpenStack + Midonet オープンソースが発表されてから様々な検討を重ね この度度社内のエンジニア 用の開発環境 用の OpenStack において Midonet を採 用決定 構築開始 Neutron の Plugin に Midonet を採 用することで OpenStack 利利 用者は 自由にネットワーク構成を構築することが可能に ( 例例えば開発環境でも本番環境と同じ ip アドレスを使うことが可能 )

33

34 導 入にあたり 苦労したポイント 今回チャレンジしたのは OpenStack Liberty ( 最新 ) と Midonet ( 最新 ) という超 cutting edge 正直動くかどうかも分からない 当然 Document 等は揃っていない Midonet の Document は Kilo しかまだない OpenStack の Document は信 用できない そこは過去のノウハウでなんとかカバー

35

36 今後について OpenStack + Midonet の環境は開発環境と相性がよい 利利 用者側が 自由にネットワークを設計できる 現在アドテク本部では個 人 用の開発環境 OpenStack として活躍中 運 用上のノウハウを貯めつつ実際のサービスを 行行う環境へ 持っていくことが 目標 VXLAN の offload 等考慮しなければならないこともある モニタリングをどうするか

37 今後について L3 DSR できるようになったらいいな 現状はいろいろ 手をいれないと実現することができない OpenStack とコンテナ技術との親和性に期待 Midokura 社が積極的に関わっている Kuryr flannel や libnetwork と Neutron を連携させることで OpenStack とコンテナ技術の融合の架け橋に

38 アドテクに必要な Japan 2016/1/15 ご清聴ありがとうございました