Cisco ACI と OpenStack 連携と今後の展望 2015 年 1 月 26 日ネットワンシステムズ株式会社第 2 応用技術部荒牧大樹 0000-0000-0000
今回の論文の要旨 CPU 使用率が 70% 超えたら仮想マシンを拡張 クラウド基盤 メモリ利用率が 50% 超えたら仮想マシンのメモリを増やそう ストレージ容量が 70% 超えたらストレージを拡張しよう NW の視点が抜け落ちている ACI と OpenStack を利用して NW を意識したクラウド基盤の構築 1
今回の論文の概要 OpenStack L2/L3 連携 Cisco ACI 仮想マシンの配置 仮想マシンの再配置 仮想マシンの拡張 縮小 2
ヘルススコアをクラウド基盤で利用するメリット 仮想マシンの配置 仮想マシンの再配置 仮想マシンの拡張 縮小 仮想マシンに信頼性が必要とされる場合はヘルススコアの高いホストを選択する 閾値以下のホストには仮想マシンを配置しない ヘルススコアが低下すると新規仮想マシンを作成して トラフィックをより良い仮想マシンに振る ホストの状況が悪化した場合に自動的に仮想マシンの再配置を行う 自動化 サービス品質の確保 予防措置 3
OpenStack について OpenStack はオープンソースの IaaS/PaaS 基盤を構築するソフトウェアです OpenStack は各種モジュールが集まって構成されています 今回は NW(Neutron) Compute(Nova) 計測 (Ceilometer) 自動化 (Heat) を利用します ダッシュボード (Horizon) ネットワーク (Neutoron) コンピュート (Nova) 計測 (Ceilometer) 自動化 (Heat) ネットワーク 仮想化 計測 テンプレート Cisco NEC KVM VMware CPU Memory HOT VMware BigSwitch Xen Hyper-V Disk NW Cloud Formation 4
ACI と L2/L3 連携 NetOneSystems Co., Ltd. All rights reserved. 5
Neutron の機能 OpenStack で NW 部分は Neutron が担当しています ルーター機能やスイッチ機能等の様々な NW 機能を提供しています Public コンピュートノード ネットワークノード Public eth1 br-ex DHCP サーバー (qdhcp) 仮想ルーター (qrouter) br-int br-tun eth0 br-int br-tun eth0 6
Neutron と ML2 Neutron は 3rd Party と連携する場合は Plugin を利用します 各種 Plugin が提供されていましたが 復数のベンダードライバーを取り扱え無いため現在は ML2 の層を追加して ACI は ML2 のドライバーとして提供されています ホスト OVS Driver Neutron ML2 APIC Driver OVS Agent APIC OVS Leaf 7
ACI と OpenStack の連携機能 OpenStack では Cisco ACI 用に ML2 のドライバーが提供されており OpenStack 上で NW を作成 Router の作成を行うと ACI ファブリック上に対応した EPG/Contract が作成されます 8
ACI 連携現状の問題点 Floating IP の割り当てが出来ない ACI Fabric が NAT 対応していないため OpFlex で NAT の概念が無いため 今後春に向けて対応予定との事 Metadata Proxy への対応がない OpenStack の仮想マシンは起動時に http://169.254.169.254 へのアクセスを試みますが これを ACI 側でリダイレクトする必要があります ACI の Default Gateway は Metadata Proxy 機能が無い 9
L2/L3 機能への今後の期待 ACI 連携時の現状のメリット Default GW の冗長性確保 HW によるトラフィックの処理 今後の期待 Group Policy の連携 Service Graph の連携 (Service Chain) Floating IP/Metadata Proxy への対応 10
OpenStack と Group Policy の連携 Group Policy で作成された Policy は ACI に反映されます 仮想マシンは起動時に EPG に紐付けられた NW に接続すると Policy が適用されます 11
Nova スケジューラーとヘルススコア連携 NetOneSystems Co., Ltd. All rights reserved. 12
Nova のスケジューラーとヘルススコア Nova で仮想マシンを配置するときには Filter Scheduler 利用されます これをホストが接続されている Leaf スイッチのポートのヘルススコアに従って配置が出来るか検討しました Nova Scheduler ヘルススコア (98) Leaf スイッチ ヘルススコア (50) 優先的に仮想マシンを配置 ホスト ホスト 13
ヘルスコアを使った仮想マシン配置の利用例 信頼性が必要とされる場合は Health Score の高いホストを選択する 閾値以下のホストには仮想マシンを配置しない ヘルススコア (98) Leaf スイッチ ヘルススコア (50) ヘルススコア (98) Leaf スイッチ ヘルススコア (50) 信頼性が必要な仮想マシン ホスト ホスト ホスト ホスト 14
ACI のヘルススコアについて ACI はファブリック全体からポートに至るまでの様々な要素を加味して 0-100 のヘルススコアを付けます 15
Nova のスケジューラーについて Nova は仮想マシンの配置に Filter Scheduler を利用します Filter Scheduler は指定したフィルターをかけて必要なホストを絞ります その後重み付けを行い最後の一台を選んで仮想マシンを配置します 16
Utilization Based Scheduling Utilization Based Scheduling は Icehouse から導入された仕組みでホストの動的値を元にスケジューリングを行うことが可能です ホストは定期的に値をスケジューラーにレポートして スケジューラーはそれを元にホストを選択します 2 レポートされた値を元にフィルター / Weight 処理 Filter スケジューラー 1 指定の Python Script を実行して定期的にホスト情報をレポート ホスト A ホスト B ホスト C Python Script 17
Utilization Based Scheduling と ACI のヘルススコア 今回は APIC からホストが接続されている Leaf ポートから Health Score を取得する Python のスクリプトを書いて スケジューラに反映させました import json import requests from nova.compute import monitors class APICController(object): def init (self, apic_ip): self.base_url = 'https://' + apic_ip + '/api/' def login(self, name, pwd): name_pwd = json.dumps( {'aaauser': {'attributes': {'name': name, 'pwd': pwd}}}) login_url = self.base_url + 'aaalogin.json' post_response = requests.post(login_url, data=name_pwd, verify=false) # get token from login response structure auth = json.loads(post_response.text) 18
結果 通常はメモリの空き容量が大きいホストが選択される所が ACI のヘルススコアがより良いホストへ仮想マシンが優先的に配置された事が確認されました Filtered [(osp5com01.noslab.com, osp5com01.noslab.com) ram:38977 disk:8192 io_ops:0 instances:3, (osp5com02.noslab.com, osp5com02.noslab.com) ram:77769 disk:1878016 io_ops:0 instances:1] 通常は RAM が大きい OSP5com02 が選択される Weighed [WeighedHost [host: osp5com01.noslab.com, weight: 1.50118941995], WeighedHost [host: osp5com02.noslab.com, weight: 1.0]] ACI ヘルススコアの良い OSP5com01 が選択されている osp5com01 osp5com02 osp5com01 osp5com02 RAM 38977 RAM 77769 RAM 38977 RAM 77769 通常はメモリの多いこちらを選択 Health Score が考慮されてこちらを選択 19
Auto-Scaling と ACI NetOneSystems Co., Ltd. All rights reserved. 20
Auto-Scaling とヘルススコア ACIのヘルススコアが悪化した場合に仮想マシンのAuto-Scalingが出来ないか検討を行います Heat Nova Ceilometer ヘルススコアが (50) に低下 Leaf スイッチ ヘルススコア (98) 自動的に仮想マシンを追加 ホスト A ホスト B 21
Heat について Heat は復数の仮想マシンの作成とアプリケーションのインストールの自動化を提供しています Ceilometer と連携する事で Auto Scale を提供する事も出来ます HOT テンプレート Cloud Formation テンプレート 自動化 (Heat) ネットワーク (Neutoron) コンピュート (Nova) イメージ (Glance) 22
Ceilometer について Ceilometerは利用状況を各サービスから取得して 保存と統計情報の提供を行うサービスです 閾値を設定してWebHookで発報する事も出来ます Heatと連携することでAuto Scalingを行うことも出来ます Heat 等 Web 発報 Ceilometer 取り出し 保存 Database Ceilometeragent Ceilometeragent Ceilometeragent Ceilometeragent Nova Neutron Cinder Glance 23
Heat と Auto Scaling の機能 Heat はオーケストレーション機能提供します Heat は事前に設定されたテンプレートでの設定を元に Ceilometer の値をから Auto Scaling を実行します 2 Ceilometer から Heat に通知 Ceilometer Heat 3 Heat から Nova に仮想マシンの追加を指示 Nova 1 仮想マシンの CPU 使用量が上昇 ホスト 自動的に仮想マシンを追加 24
Ceilometer へのヘルススコアのレポート Ceilometer に対してポートのヘルススコアを定期的にレポートを行う Python Agent を作成しました import json import requests class APICController(object): def init (self, apic_ip): self.base_url = 'https://' + apic_ip + '/api/' def login(self, name, pwd): name_pwd = json.dumps({'aaauser': {'attributes': {'name': name, 'pwd': pwd}}}) login_url = self.base_url + 'aaalogin.json' post_response = requests.post(login_url, data=name_pwd, verify=false) # get token from login response structure auth = json.loads(post_response.text) login_attributes = auth['imdata'][0]['aaalogin']['attributes'] return login_attributes['token'] 25
問題点 Heat ではホストと仮想マシンをマッピングする手段を持たない為 Ceilometer の値を元に Auto Scaling をトリガー出来ないことがわかりました 定期的にヘルススコアをレポート ACI のヘルススコアが低下 ホスト上の仮想マシン / システムを特定 別ホスト上に仮想マシンを作成 26
仮想マシンの再配置と ACI NetOneSystems Co., Ltd. All rights reserved. 27
仮想マシンの再配置とヘルススコア ACIのヘルススコアが悪化した場合にLive Migrationで自動的に仮想マシンが移動出来ないか検討します Congress Nova Ceilometer Leafスイッチ ヘルススコアが (50) に低下 ヘルススコア (98) 自動的に仮想マシンを移動 ホスト ホスト 28
仮想マシンの再配置の機能 基本的に仮想マシンの再配置の自動化はまだ OpenStack ではサポートされていません 再配置に関しては Congress が有望なプロジェクトとされています Congress Congress は論文時点では実装が始まったばかりだったため動作の確認は出来ませんでした ポリシーを定義 ポリシー違反 自動的に Remediation を行う 現在は DevStack を利用して試す事が出来ます 29
苦労した点 ACI について OpenStack 連携の CCO Document が間違っている APIC ドライバー作成者を Open Source Community で探して直接連絡を取ってやり方を教えてもらう 各種 API の詳細の Document が不足している APIC の API Inspector を使って実際利用している API Call から構文と仕様を推測 OpenStack について 仕様が Document 化されてない Pyhton コードを読んで機能を推測 30
まとめ クラウド基盤 OpenStack と ACI を組み合わせてより良いクラウド基盤へ 31