1 CIPM(Cloud Infrastructure Performance Monitor) によるクラウド 基 盤 の 性 能 監 視 の 紹 介 と 大 規 模 監 視 における 次 期 Zabbixへ 期 待 2015/11/20 NTTコミュニケーションズ 株 式 会 社 クラウドサービス 部 八 久 保 洋 一
自 己 紹 介 2 NTTコミュニケーションズ( 株 )クラウドサービス 部 Enterprise Cloud でのシステム 構 築 監 視 運 用 システムの 企 画 開 発 を 担 当 Zabbix との 関 わり: ( 現 )NTTコムソリューションズ( 株 )に 出 向 中 に 2007.7 2011.12 Zabbix 1.8の 機 能 追 加 高 性 能 化 安 定 性 向 上 を 対 応 現 職 でも 種 々のシステムへのZabbix の 導 入 を 推 進
NTTコミュニケーションズのグローバルクラウド 3 Enterprise Cloudは データセンター ネットワーク サーバが 連 携 した 通 信 事 業 者 ならではのクラウド(IaaS)サービスです 柔 軟 なリソース 提 供 とお 客 さまのご 要 望 に 応 じた 豊 富 なオプションを 装 備 し 基 幹 系 業 務 でも 利利 用 可 能 な 環 境 をご 提 供 いたします お 客 様 カスタマー ポータル/API から 操 作 ー ー /API クラウドセキュリティ オプション (ウイルス 対 策 WAF 等 ) データベースソフトウェア (Oracle, MS SQL) 仮 想 サーバ 仮 想 サーバ コンピュート CPU メモリー ストレージ マネージドサービス (OS/ミドルウェア/アプリケー ションマネジメント 等 ) アプリケーションソフトウェア (HULFT, Acronis 等 ) ネットワーク 仮 想 ネットワーク(SDN) ファイヤウォール ロードバランサー インターネット VPN(IPSec) 接 続 バックアップサービス ファイルストレージ 等 グローバルデータセンター Hybrid Hybrid SDN Hybrid SDN ハイブリッド その 他 サービス IBM Power i コロケーションラック お 客 様 オンプレミス NTT Communica8ons Arcstar Universal One (IP- VPN)に 直 結 Office365 インターネット
特 長 グローバル 標 準 サービス 4 お 客 様 事 業 拠 点 に 応 じて 選 べる 11か 国 14 拠 点 で 標 準 化 されたサービスをご 提 供 いたします グローバル 標 準 サービス ワンコントラクト/ワンSLA/ワンオペレーション 世 界 11ヶ 国 の14のデータセンターにおける 同 一 機 能 / 同 一 品 質 グローバル シングル ポータル 1つのカスタマーポータルから すべてのクラウド 拠 点 をコントロール 可 能 11か 国 14 拠 点 にて 提 供 中 12カ 国 15 拠 点 ( 予 定 )にサービスを 拡 大 予 定 イギリス アメリカ[2 拠 点 ] ドイツ スペイン フランス インド[ 予 定 ] 日 本 [3 拠 点 ] 中 国 [ 香 港 ] タイ シンガポール マレーシア オーストラリア 2015 年 9 月 時 点 [ 凡 例 ] : 提 供 拠 点
クラウド 運 用 は 擾 乱 との 戦 い Pool#1 故 障 故 障 H V 遅 延 リソース 不 足 OS Z VM H V PG Storage NW SPA Data Store 遅 延 Gateway vfw SDN Network 高 IOPS vswitch OS Z 高 負 荷 VM H 高 負 荷 H V V 高 トラヒック キャッシュ ヒット 低 下 Storage H V OS Z VM Storage NW SPB Data Store 輻 輳 輻 輳 VMの 総 合 性 能 = 全 レイヤの 積 分 値 クラウド 基 盤 は 常 に 変 化 (1) VM 数 増 によるHV 負 荷 増 (2) VM 負 荷 の 変 化 (Noisy Neighbor 発 生 ) (3) Live Migrationに 伴 うVM 配 置 の 変 化 (4) 設 備 リソース 追 加 変 更 (5) バースト 負 荷 による 輻 輳 (6) 機 器 故 障 による 負 荷 の 一 時 的 偏 り 等 サービス トポロジー 変 化 の 把 握 と 性 能 監 視 が 必 須 CIPM 開 発 / 導 入 へ
Requirements 6 需 要 予 測 して 先 行 構 築 安 定 運 用 ( 故 障 予 兆 の 把 握 と 対 処 ) 故 障 箇 所 と 影 響 顧 客 の 特 定 自 由 にVM 追 加 変 更 削 除 稼 働 状 態 を 見 たい 故 障 発 生 時 影 響 通 知 Operations 過 剰 在 庫 (リソース) 禁 止 急 な 需 要 増 でも 供 給 可? Customers Business Cloud Infrastructure 顧 客 視 点 のViewと 設 備 管 理 視 点 のViewが 必 要
Analysis 7
8 Cloud DATA STORE
Volume No of Instances Count Type Source Interface Polling Status Poll Group 1 1 VCD NO n / VCD 1 VC VC VC YES n / VC 1 10 Datacenter VC VC YES n / Datacenter 1 10 Switch VC VC YES n / Datacenter 100 500 Datastore VC VC YES VC n / Datacenter 20 30 Cluster VC YES n / Cluster 8 30 200 400 ESX/VC ESX VC Cluster YES n / ESX 50 * 200= 10000 VM VC/ESX ESX YES n / Cluster 1 5 prp VC Cluster YES Cluster n / Cluster 1 100 OrgRP VC Cluster YES 1/OrgRP 10VM/OrgRP vapp VC - NO 1/Cluster 2 10 Storage SMIS SMIS YES 2/Storage 2 SP/Storage SP SMIS Storage YES n/storage 2 100 Volume SMIS Storage YES Storage Total hosts per Datacenter: 10,000 20,000 hosts (VMs, ESXs, Volumes) Total items per 1 vcenter : 100,000 300,000 items/vcenter
System Overview 構成情報 10 性能情報 情報同期
Auto discovery Location VCD smis VC STORAGE NWC DATA CENTER pvdc SP vds OrgVDC VOLUME DATA STORE CLUSTER prp VOLUME RP ESX vorg EXTNW CLUSTER OrgRP vedge ESX vapp GATEWAY DATA STORE OFC OFE OFA vapp OFE
Operations 15 to 30 mins 12
System configuration & Deployment 13 1 cluster * 20 ESX * 50 VM = 1000 VMs Resource pools = 1,000 / 10 = 100 RP i.e 10 VM per customer No of items to poll = 1,100 * Avg 20 = 22,000 per 5 mins 1 cluster polling = 1 poller + 1 sender + 3 sync = 5 processes Total no of processes = Around 15 clusters * 5 = 75 processes Total no of items polled = 22000 * 15 ~ 330,000 items / 5mins 4,000,000 items/h Configuration Manager : Ansible System Maintenance No Data Loss Proxy1 Proxy2 Proxy1 Proxy2 Cluster poller server1 Move Cluster poller server2 Cluster poller server1 Poller change Proxy change
Zabbix Server 14 20,000 Hosts 740,000 items ( 約 50%が60sec 毎 ) Avg. 4.87K NVPS 30GB/day
15 CIPMのViewer と Zabbix の 連 携 デモ 約 8:15 - Movie
次 期 Zabbix への 期 待 16 1. マルチタグによるグルーピングの 柔 軟 化 と 階 層 構 造 への 対 応 (トポロジー 定 義 ) 2. トポロジー 情 報 によるマップ 作 成 の 自 動 化 3. History 情 報 のコンパクト 化 とTrend 情 報 の 別 DBへの 分 離 高 速 化 4. マルチテナントと 顧 客 情 報 連 携 5. Zabbix Serverの 複 数 ノードCluster 化 等 一 言 でいえば 高 速 で 優 秀 な 監 視 エンジンを 活 かすUsability 向 上 部 分 補 強 を 期 待 したい
17 ご 静 聴 ありがとうございました