ヤフーが手掛けるベアメタル OpenStack とブロケード流自動化

Size: px

Start display at page:

Download "ヤフーが手掛けるベアメタル OpenStack とブロケード流自動化"

よしたかそや
5 years ago
Views:

1 ヤフーが手掛けるベアメタル OpenStack とブロケード流自動化

2 第一部ベアメタル OpenStack

3 ヤフーさんの現在のインフラ規模について教えてください

4 ヤフーでの OpenStack(VM) の規模 400, ,000 0 instances vcpus memory 2014/5/1 2015/5/1 2016/5/1 前年比でインスタンス数が 1.5~2 倍程度増えているハイパーバイザの強化により 1 インスタンス辺りのリソースも増えている伸び率 (YoY) 2015 年 2016 年インスタンス 156% 211% vcpu 286% 284% メモリ 316% 312%

5 仮想化を推進されていますが物理サーバってこれからも増えるんですか?

6 ヤフーでの物理サーバの状況仮想化も進んでいるが物理サーバ台数も拡大している OpenStack の社内展開開始 (2013/09) 後も増えている 3 年で 3 割程度増加

7 物理サーバが増える理由 VM では性能が足りないサービスが存在する CPU リソースが重要なサービス Hadoop などディスク IO が激しいサービス Elastic Search などレイテンシが重要なサービス広告配信など大容量ディスクが必要なサービスオブジェクトストレージのデータノードなど

8 ベアメタルプロビジョニングで登場する Ironic って?

About Ironic OpenStack におけるベアメタルプロビジョン用コンポーネント https://wiki.

9 About Ironic OpenStack におけるベアメタルプロビジョン用コンポーネント Icehouse でスタートし Kilo で integrated プロジェクトに

10 Ironic で出来ること (1/2) ベアメタルノードの情報管理ハードウェアスペック mac アドレス ipmi 接続情報 ipmi 接続情報を node-create 時に入力 Ipmi = Intelligent Platform Management Interface ネットワーク越しにサーバを直接操作する規格ハードウェアスペックと mac アドレスを筐体から取得 Ironic-Inspectorを利用専用 ramdiskでpxebootして取得 (Mitaka から )raid 構成の管理

11 Ironic で出来ること (2/2) ベアメタルノードの操作 ipmiを利用電源操作電源状態管理コンソール接続但しNova-Compute 側のドライバに未実装のためNova-Consoleとは連携できないベアメタルノードへのイメージのデプロイとクリーニング

12 Ironic でのデプロイの流れ Nova- Compute 1. 起動リクエスト 4. 電源オン (Ipmi) 6.TFTP でデプロイ Ramdisk を取得 2.port-create Ironic-Api& Conductor 7.iscsi マウントして OS イメージ焼きこみ (DD) 8. 再起動後ベアメタルノードとして利用 Neutron- Server Glance 3.image-download 5.DHCP で IP 取得 Neutron-Dhcp- Agent

13 従来と比べたメリット使っていないサーバの入れ替えがしやすい従来 : 廃棄するまで同じ利用者がサーバを用途を変えて使っていた Ironic: 使うときのみ払いだす = その他のサーバはすぐ変えられる管理者側でライフサイクルが可能になるラックが歯抜けにならなくて済む ( 利用者からみて ) 利用開始までの時間が早い従来 : 物理サーバの発注から利用開始まで 1 ヶ月 Ironic: デプロイするだけなので 10 分

14 ( 参考 ) ラックの歯抜け問題最初はラックを埋めるように設置されるサーバのライフサイクルがサービス依存のため捨てるタイミングがずれたり違う拠点に移設されたりする残されたサーバが歯抜けになってしまう他所から移設される場合もあるが限界があるラックが埋まらなくなりスペースが無駄になってしまう

15 現在のヤフーさんでの Ironic 取組み状況は?

16 ヤフーにおける Ironic の取り組み Kilo リリースから検証を開始 Liberty リリースのクラスタを複数構築開発環境 1クラスタプロダクション環境 4クラスタ PaaSのバックエンドやElastic Searchなどで利用中 1クラスタ数百台規模

17 ネットワークまわりの要件と課題は?

18 ネットワーク周りの課題事実上 flat の単一ネットワークでしか使えないサーバがつながっているポートのVlanが変えられないノードに対するタグ付けもできない複数 NWを用意してもデプロイ出来ない可能性があるスケジューラからはノードに対応するVlanが分からない違うVlanを設定したノードでデプロイを始めてしまう可能性通信できないのでタイムアウト -> エラーになるヤフーでは 1 クラスタ 1Vlan とすることで回避しているクラスタが乱立する

19 今どんなものを検証されていますか?

20 Ironic Brocade VDX Plugin 単一のflatネットワークからの解放エッジスイッチのVlanをIronicと連動して変更デプロイ完了まではデプロイ用 Vlan デプロイが終わったらテナント用 Vlanに切り替え再起動するとテナント用 Vlan で疎通できるネットワークごとにクラスタをわけなくて良くなるはず Mitakaから利用可能

21 デプロイの流れ (with VDX) Neutronserver Novacompute 1. 起動リクエスト 5. 電源オン (ipmi) 7.TFTP でデプロイ ramdisk を取得 2.port-create Ironic-api& conductor 8.iscsi マウントして OS イメージ焼きこみ (dd) 10. 再起動後ベアメタルノードとして利用 Neutron-dhcpagent Glance 4.image-download 3. 対応ポートをデプロイ Vlan に変更 9. テナント Vlan に変更 VDX 6.DHCP で IP 取得

22 ここで大事なのは? つながること

23 ヤフーさんのデータセンターを支えるブロケードのファブリックスイッチ VDX CM 国内最大級の Hadoop 基盤を構築しビッグデータ活用によるサービス強化を加速 Neutron プラグインにより最適化されたネットワークを構築し LBaaS と FWaaS を実現

24 つながる CM 箱を開けてつなぐだけ Edge Core イーサネットファブリック 1 つなぐだけで自律構成コアルータスケールアップ 2 ループフリーイーサネットファブリックスイッチ VDX シリーズ 3 設定の必要がないポート 4 最短経路を選択

25 2 台ではじめる OpenStack! CM ファブリックスイッチスモールスタートに最適な帯域販売 1. 48ポート1GEからスタート 2. 8ポートだけ10GEにアップグレード 3. ストレージ用にFCポートに変更 4. アップリンクに40GEも追加 5. サービスを止めずにオンデマンド! VDX6740T-1G サーバ簡単構築! ブロケードの仮想ネットワーク 25

26 今後の展望 ( 野望 ) についてお聞かせください

27 今後の展開社内のすべての環境を OpenStack に載せる社内の物理サーバの Ironic 比率を高める最終的にはコントローラノード以外は全て Ironic にできるはず全てをOpenStack 化することで同じAPIで物理サーバもVMも使えるようにする Ironic にすることでハードウェアのライフサイクルも進めやすくするサービスアウトしたノードから取り替える

28 第二部 Brocade の新しい取組み

解析マシンラーニング NVA AMP セキュリティ vepc MEC モバイルネットワーク WLAN スモールセルワイヤレスエッジ

29 ユーザーにより近い場所からサービスを提供データセンターからワイヤレスネットワークエッジまでデータセンターストレージネットワークファブリックスイッチング & ルーティング IP ファブリックキャンパス製品ソフトウェアベースの仮想化 & コントロール vrouter vadc SDN コントローラネットワーク自動化解析マシンラーニング NVA AMP セキュリティ vepc MEC モバイルネットワーク WLAN スモールセルワイヤレスエッジストレージネットワークデータセンタネットワークキャンパスネットワークモバイルソリューション Wi-Fi インフラストラクチャロケーション / ポリシークラウドサービス屋内 LTE (OpenG) 29

Ruckus 無線 LAN の特徴 ( アンテナ技術 ) アンテナ技術の違い (Beam Flex) アンテナ技術の違い (PD MRC) スマートアンテナが端末場所を認識後データ通信に最適なアンテナパターンを使用水平偏波 (Horizontal Polarization) ラジオチップスマートアンテナスマートアンテナソフトウェア端末へのデータ通信電波垂直偏波

30 Ruckus 無線 LAN の特徴 ( アンテナ技術 ) アンテナ技術の違い (Beam Flex) アンテナ技術の違い (PD MRC) スマートアンテナが端末場所を認識後データ通信に最適なアンテナパターンを使用水平偏波 (Horizontal Polarization) ラジオチップスマートアンテナスマートアンテナソフトウェア端末へのデータ通信電波垂直偏波 (Vertical Polarization) 小中学校の教室オフィスやホール大講堂などデバイスが多い環境でも快適データ通信での干渉波を起こさない Ruckus AP ビームフォーミング通信に無関係な干渉波一般的な AP 1. クライアントからのフィードバックにより送信シグナルを最適化 2. デバイスの向きを気にすることなく最適な通信を提供 3. 通信デバイスの反対方向は最小限の電波干渉

データセンターネットワークの自動化 WAN Internet VPLS MLXe MLXe MPLS Cloud Juno Oct 2014 Kilo Apr 2015 MLX ML2 plugin Liberty Oct 2015 MLX ML2 plugin DC コア VDX 8770 VDX 8770 SAN FC VCS/VDX SVI VDX and ICX ML2 Plugin

31 データセンターネットワークの自動化 WAN Internet VPLS MLXe MLXe MPLS Cloud Juno Oct 2014 Kilo Apr 2015 MLX ML2 plugin Liberty Oct 2015 MLX ML2 plugin DC コア VDX 8770 VDX 8770 SAN FC VCS/VDX SVI VDX and ICX ML2 Plugin VDX SVI & ACLs VDX: Private L2 extensions L2/L3 ファブリック VDX 67xx VDX 67xx VDX 67xx VDX 67xx VDX 67xx VDX 67xx VDX 67xx VDX 67xx SAN FC ADC LBaaS SAN FC ADC LBaaS SAN FC Zone alias & vf コンピュート / ソフトウェアネットワーク FWaaS vrouter* vrouter vrouter VPNaaS VPNaaS Brocade vadc Rack-1 Rack-2 Brocade vrouter Rack-n-1 Rack-n-1 VPNaaS vadc* (LBaaS) FWaaS vadc (LBaaS) FWaaS vadc (LBaaS) * Available as private plugin. 31

32 次世代プラットフォームのためのネットワーク大きな変化をとげる転換期 The New IP オーケストレーション OPEN ソフトウェアハードウェアコントロールサービス Intel ARM Broadcom CAVIUM 1. マルチベンダのオープンな環境 2. APIにより物理の縛りからの解放 3. 容易なスケールアウトと高速デリバリ 4. ユーザ自身がつくれるネットワーク

33 The New IP のエッジには NFV が最適あらゆるお客様アプリケーションサービスのニーズに対応ポリシーの設定と実行 L7 L4 Load Balancing VPN NAT Firewall NFV L3 Routing 高速フォワーディングと高信頼アンダーレイ L2 Switching ファブリック

SDI/NFV/Mobile におけるリーダーシップ vrouter Analytics vepc vadc Devops 5G,Wi- Fi Nov 2012 Jan 2013 Jun 2014 Sep 2014 Dec 2014 Feb 2015 Mar 2015 July 2015 April 2016 July 2016 vrouter の導入 vrouter

34 SDI/NFV/Mobile におけるリーダーシップ vrouter Analytics vepc vadc Devops 5G,Wi- Fi Nov 2012 Jan 2013 Jun 2014 Sep 2014 Dec 2014 Feb 2015 Mar 2015 July 2015 April 2016 July 2016 vrouter の導入 vrouter の導入 vrouter の世界最高パフォーマンスを達成業界初の商用版リリース Domain 2.0 で選択 SDN & NFV のサービス開始なぜ BROCADE なのか? データセンターネットワーク N.O.2 ソフトウェアネットワーキングリーダーシップエンタープライズクラウド NFV オープンアーキテクチャイノベーションパートナーとの協業ソリューション

VNF ライセンスの統合管理 (LBaaS) vadc Service Director ライセンスを分け合える Brocade Service Director ADCインスタンスインスタンスをオンデマンドで用意 Brocade VDX 8770 Brocade VDX 8770 Brocade VDX 8770

35 VNF ライセンスの統合管理 (LBaaS) vadc Service Director ライセンスを分け合える Brocade Service Director ADCインスタンスインスタンスをオンデマンドで用意 Brocade VDX 8770 Brocade VDX 8770 Brocade VDX 8770 Brocade VDX 8770 複数 Version を使い分けライセンス規模に応じたライセンスをオンデマンドで配備 WebAppFW/ 機能もオンデマンドで VDX 67xx VDX 67xx VDX 67xx VDX 67xx VDX 67xx VDX 67xx VDX 67xx VDX 67xx メータリングとロギング 35

36 第三部 OpenStack Tacker

37 主な OpenStack プロジェクト Neutron ( ネットワーク ), Cinder ( ストレージ ),Tacker( オーケストレーター ) & Mistral ( ワークフロー ) へフォーカス HORIZON Dashboard NOVA Compute GLANCE Image Service SWIFT Object Store NEUTRON Networking CINDER Volume Service TACKER NFV Orchestration MISTRAL Workflow Service HEAT Orch Templates TROVE DBaaS KEYSTONE Identity Service 37

38 オープンソースへのコミットメント Tacker (NFV Orchestration) Mistral ( Workflow Automation )

39 ETSI MANO ベースの OpenStack VNF 管理 Tacker で提供される機能 VNFカタログ TOSCA テンプレートを展開 VNF ライフサイクルマネージメント TOSCA VNFD テンプレートによるパラメータ指定 VNF ユーザデータの挿入 VNF の設定投入インストレーションやアップデート SDN Controller から NetConf/YANGを利用カスタムマネージメントドライバローダブルKPIとヘルスモニターのフレームワーク

40 OpenStack Tacker による VPN サービスの運用自動化および NFV の障害自動再構成による保守自動化 2016 年 6 月 6 日 : プレスリリース SDI/NFV 部門グランプリ受賞

41 End-to-End ワークフローサイロ型の自動化だけでは足りないセキュリティチームサーバチームネットワークチーム調整アプリケーションチーム調整調整現場からのビジネスニーズに応じたシステム変更に要する時間の 90% が各部門間の調整に使われていて実作業にはたったの 10% しか使われていない. 作業完了までの時間 41

42 End-to-End ワークフロー部門間をまたがった自動化が必要になるクロスドメインオートメーションこそが真の自動化セキュリティチームサーバチームネットワークチーム調整アプリケーションチーム調整調整 Brocade ワークフローコンポーザー部門間の調整に要するワークを自動化そこで発生していた遅延時間を削減数日から数週間の作業を数十秒で完了作業完了までの時間 42

43 ネットワークの境界を越えて究極の自動化の世界へ Security OpenStack Mistral Networki ng

44 仮想障害を起こして耐障害性を日常的に検証人工的にシステム障害を引き起こす逆転の発想のツール Chaos Monkey を Netflix がオープンソースで公開遅延猿お掃除猿あばれゴリラ Amazon EC2 のインスタンスをランダムに落としサービスに対して仮想的な障害を引き起こすこれによりサービスがきちんと冗長化され耐障害性を持つように作られているかを日常的に検証 44

45 ありがとうございました

Brocade vcpe ソリューションと OpenStack Tacker による VNF マネージメントブロケードコミュニケーションズシステムズ株式会社井浩

Brocade vcpe ソリューションと OpenStack Tacker による VNF マネージメントブロケードコミュニケーションズシステムズ株式会社井浩ネットワークに求められる変化デジタルビジネスパーソナル化クラウドオープンでプログラマブル動化仮想化 IoT シームレスな接続ネットワーク The New IP ダイナミックにスケールアウト数億ユーザ数百万のアプリ

ヤフーが手掛けるベアメタル OpenStack とブロケード流 自動化

ヤフーが手掛けるベアメタル OpenStack とブロケード流自動化