インタークラウドの 現 況 と 産 総 研 での 取 り 組 み 竹 房 あつ 子 産 業 技 術 総 合 研 究 所 2013 年 3 月 6 日 ( 水 ) グリッド 協 議 会 第 38 回 ワークショップ インタークラウドとオープン 化 1
インタークラウドの 必 要 性 災 害 からのリカバリやサービス 安 定 稼 働 の 実 現 に は,1つのデータセンターでの 処 理 管 理 では 不 十 分 東 日 本 大 震 災 で 岩 手 県 宮 城 県 の4 市 町 で 計 約 3 万 8600 件 の 戸 籍 住 民 基 本 台 帳 のデータが 消 失 レンタルサーバ 会 社 の データ 消 失 事 故 (2012 年 6 月 ) 更 新 プログラムのバグで データを 削 除 2
インタークラウドの 必 要 性 ビッグデータ 処 理 基 盤 への 期 待 情 報 の 爆 発 的 な 増 加 高 エネルギー 物 理 実 験 LHC@CERN Belle II@KEK (50PB/year, 2022までに200PB) DNAシークエンサーのハイスループット 化 2010 年 時 点 で1 台 あたり180GB/week 2012 年 3 月 29 日 Big Data R&D IniKaKve@ 米 国 ビッグデータ 関 連 研 究 開 発 や 教 育 に$200M 公 的 情 報 のオープン 化 の 動 き 米 国 オープンガバメントイニシアティブ (Data.gov)(2009/05) 日 本 電 子 行 政 オープンデータ 戦 略 (2012/07) D. Asner (PNNL), TIP2013 Open DATA METI (β 版 ) hwp://datamek.go.jp/ (2013/1/28) 3
インタークラウド 地理的に分散した複数クラウ ド DC の資源を統合してサー ビスを構築する技術 高い信頼性 可用性を実現可 能 ただし 技術的課題も 自動化 安全性 サービスレベルの保持 利用 管理のI/Fの差異 DC間の大量データの移動 管理 処理!!! 4
現 在 のインタークラウドソリューション インタークラウド 資 源 管 理 が 異 なるI/Fの 差 異 を 吸 収 インタークラウド 資 源 管 理 IaaS 資 源 管 理 A Internet IaaS 資 源 管 理 B 自 動 化 安 全 性 サービスレベル I/Fの 差 異 大 量 データ 管 理 Data Center 各 VMでVPN 設 定 ( 手 動 ) 5
産 総 研 での 取 り 組 み 1 DC 間 ネットワーク 管 理 I/Fの 標 準 化 OGF (Open Grid Forum) Network Service Interface à 自 動 化 サービスレベル 2 インタークラウド 資 源 管 理 技 術 資 源 管 理 システムの 開 発 3 HaaSサービスモデル 仮 想 インフラ 構 築 システム の 開 発 à 自 動 化 安 全 性 à I/Fの 差 異 大 量 データ 管 理 IaaS 資 源 管 理 インタークラウド 資 源 管 理 1 NW I/F NW 資 源 管 理 専 用 回 線 3HaaSサービス 2インター クラウド 資 源 管 理 IaaS 資 源 管 理 6
産 総 研 での 取 り 組 み 1 DC 間 ネットワーク 管 理 I/Fの 標 準 化 OGF (Open Grid Forum) Network Service Interface 2 インタークラウド 資 源 管 理 技 術 資 源 管 理 システムの 開 発 3 HaaSサービスモデル 仮 想 インフラ 構 築 システム の 開 発 IaaS 資 源 管 理 インタークラウド 資 源 管 理 1 NW I/F NW 資 源 管 理 専 用 回 線 3HaaSサービス 2インター クラウド 資 源 管 理 IaaS 資 源 管 理 7
データセンター 間 ネットワーク 任 意 のDC 間 の 十 分 な 帯 域 と 帯 域 の 保 証 が 必 須 常 に 必 要 なわけではなく 必 要 に 応 じて 確 保 したい 動 的 なネットワークのデプロイメントが 必 要 必 要 なときに 必 要 な 帯 域 を 必 要 な 地 点 間 に 確 保 複 数 のネットワークプロバイダにまたがるパスが 必 要 DC 間 ネットワーク 要 求 インタフェースの 検 討 複 数 のネットワークプロバイダにより 提 供 される 広 域 ネッ トワーク 上 に 帯 域 を 確 保 標 準 化 が 重 要 2004 年 末 よりNTT KDDI 研 究 所 と 共 同 提 案 G- lambdaプロジェクト(hwp://www.g- lambda.net/)として NTT KDDI 研 究 所 NICTとI/F 策 定 国 内 外 の 組 織 と 実 証 実 験 を 実 施 2008 年 から Open Grid Forumで 標 準 化 を 進 めている 8
OGF Network Services Interface WG AIST-NTT-KDDI 研 NICT 連 合 を 始 め Internet2, ESnet, GEANT, Phosphorus(EU)などが 標 準 インタフェースを 定 め るためにOpen Grid Forum(OGF)に2008 年 に 設 立 Co- chairs: Guy Roberts (DANTE/GEANT), Tomohiro Kudoh (AIST/G- lambda), Inder Monga (ESnet) 端 点 間 接 続 を 要 求 するConnection Service から 標 準 化 ネットワークサービスエージェント(NSA) 間 で 接 続 サービスを 要 求 / 提 供 するI/F 要 求 者 ó 提 供 者, 要 求 者 ó 仲 介 者, 仲 介 者 ó 提 供 者 ネットワーク 帯 域 等 の 予 約,プロビジョン, 解 放, 予 約 解 除 2011 年,2012 年 に 実 証 実 験 を 欧 米 亜 の 実 ネットワークを 用 いて 実 施 多 くのR&Eネットワークが 導 入 を 計 画 検 討 中 欧 州 :NORDUnet, SURFnet: 2013 年 にサービス 開 始 予 定 韓 国 :KREONET: 2013 年 にサービス 開 始 予 定 9
NSI Making Global NSI partnership of research ConnecKons networks and industry 10
ネットワーク 資 源 予 約 インタフェースのOGF 標 準 準 拠 NSI- CS v2.0 drah 準 拠 実 装 を 行 い 実 証 実 験 を 実 施 11 月 12~15 日 に 米 国 ソルトレークシティで 開 催 されたSC12で 実 施 欧 米 亜 の13の 組 織 ( 学 術 ネットワーク 研 究 機 関 企 業 )が 参 加 産 総 研 は プロバイダの 他,アグリゲータ ポータルを 提 供 11
12
産 総 研 での 取 り 組 み 1 DC 間 ネットワーク 管 理 I/Fの 標 準 化 OGF (Open Grid Forum) Network Service Interface 2 インタークラウド 資 源 管 理 技 術 資 源 管 理 システムの 開 発 3 HaaSサービスモデル 仮 想 インフラ 構 築 システム の 開 発 IaaS 資 源 管 理 インタークラウド 資 源 管 理 1 NW I/F NW 資 源 管 理 専 用 回 線 3HaaSサービス 2インター クラウド 資 源 管 理 IaaS 資 源 管 理 13
インタークラウド 資 源 管 理 (1) Request Resource Manager NRM Resource Manager Resource Manager (3) Use 仮 想 インフラ 構 築 のための 多 種 資 源 の 確 保, モニタリングを 行 う 資 源 管 理 フレームワークを 開 発 Storage service Resource Manager Storage service Resource Manager (2) Provide NRM Storage service Resource Manager 14
GridARSインタークラウド 資 源 管 理 フレームワーク (hwp://www.g- lambda.net/gridars/) 資 源 管 理 システム 要 求 された 仮 想 インフラのための 資 源 の 選 択, 確 保 GRC : グローバル 資 源 コーディネータ User RM (CRM/NRM/SRM) : 資 源 マネージャ アプリケーション 実 行 管 理 システム 確 保 資 源 上 に 仮 想 インフラを 構 築 ( エンドユーザ に 対 するサービス) 分 散 モニタリング システム 仮 想 インフラの 監 視 NRM DMC/C CRM DMC/C Domain 0 ID プラン GRC ニング CRM SRM DMS/A GRC DMS/A GRC DMS/A Domain 1 DMC/C Domain 2 CRM NRM DMC/C GRS DMC/A SRM CRM DMC/C Domain 3 15
標 準 I/Fの 採 用 : NSI, G- lambda GNS- WSI w/jsdl 階 層 型 アーキテクチャでスケー ラブル グローバル 資 源 管 理 が 各 資 源 管 理 と 連 携 して 自 動 的 に 多 種 資 源 を 同 時 確 保 ユーザの 要 求 資 源, 時 刻 に 応 じてプランニング 相 互 運 用 性 機 能 性 の 高 いシステム 永 続 化 セキュリティ 機 能 資 源 管 理 システム NRM CRM プラン ニング GRC Domain 1 Domain 0 CRM ネットワーク GRC 計 算 機 SRM User ストレージ GRC Domain 2 CRM CRM GRS Domain 3 NRM SRM 16
分 散 モニタリングシステム 資 源 管 理 と 連 携 し, 階 層 的 に 情 報 収 集 資 源 予 約 IDをキーとして,モニタリング ツリーを 自 動 生 成 情 報 の 分 散 管 理 ( 集 中 DB) サイトごとに 開 示 ポリシを 規 定 仮 想 インフラのモニタ リング( 物 理 インフラ) VLANのトラフィック 仮 想 計 算 機 上 の 負 荷 RRDtoolを 用 いた モニタリング 可 視 化 NRM DMC/C CRM DMC/C Domain 0 ID GRC CRM SRM DMS/A GRC DMS/A GRC DMS/A Domain 1 User DMC/C Domain 2 CRM NRM DMC/C GRS DMC/A SRM CRM DMC/C Domain 3 17
GLIF2010,SC10 実 証 実 験 RMS,AEM,DMSを 連 携 させ,マルチドメインクラウドで 仮 想 インフラの 自 動 的 な 構 築,モニタリングに 成 功 Monitoring Request GridARS Framework Virtual Job Infrastructure Execution Provisioning Computing Domain D1A クラスタ 環 境 に インタークラウド を 構 築 D1B Network Domain D1N D2N D2C Scheduling & Allocation Testbed intokyo D2D 18
多 種 資 源 の 自 動 的 な 確 保 User Portal ユーザが 仮 想 インフラに 必 要 な 計 算 機,ネットワーク, 予 約 時 刻 の 要 求 を 指 定 GridARS RMSが IPアドレスレンジ, VLANタグIDを 含 む 適 切 な 資 源 を 選 択, 確 保 Selected Reservation Result 19
通 常 のモニタリング 結 果 仮 想 インフラのモニタリング 仮 想 インフラのモニタリング 結 果 Another user status Reservation Status Ganglia Network status All monitoring data are gathered and provided Computer status 20
産 総 研 での 取 り 組 み 1 DC 間 ネットワーク 管 理 I/Fの 標 準 化 OGF (Open Grid Forum) Network Service Interface 2 インタークラウド 資 源 管 理 技 術 資 源 管 理 システムの 開 発 3 HaaSサービスモデル 仮 想 インフラ 構 築 システム の 開 発 IaaS 資 源 管 理 インタークラウド 資 源 管 理 1 NW I/F NW 資 源 管 理 専 用 回 線 3HaaSサービス 2インター クラウド 資 源 管 理 IaaS 資 源 管 理 21
インタークラウド 資 源 管 理 の 実 用 化 に 向 けて グリッドから インタークラウド へ オープンソースIaaSソフトウェアの 普 及 Eucalyptus, CloudStack,OpenStack, OpenNebula,... インタークラウドでやりたいこと DC 間 スケールアウト/スケールイン ディザスタリカバリ プライベート(/ 手 元 の)クラウドとパブリッククラウドの 連 携 シームレス な 統 合 à HaaSサービスモデル 物 理 資 源 貸 出 業 者 がクラウド 事 業 者 に 物 理 資 源 を 貸 し 出 す 22
ネットワークスイッチ( 制 御 網 ) 物 理 計 算 機 物 理 計 算 機 を 要 求 資 源 マネージャ ネットワークスイッチ(データ 網 ) こんなことがしたい 資 源 コー ディネータ データセンター1の 物 理 計 算 機 ネットワークを 提 供 資 源 マネージャ 物 理 計 算 機 を 要 求 DC 間 ネットワークを 要 求 過 負 荷 により サービスレベル 低 下 の 恐 れ 物 理 計 V 算 V M M 機 データセンター1と2の 間 の ネットワークを 提 供 ( 標 準 化 技 術 ) クラウド 管 理 者 V M クラウドOSSで 計 算 機 を 管 理 (E.g., OpenStack) クラウドOSS 資 源 管 理 V M V M V M ネットワークスイッチ(データ 網 ) データセンター1: 物 理 資 源 貸 し 出 し 業 者 データセンター2:クラウド 事 業 者
こんなことがしたい 資 源 コー ディネータ クラウド 管 理 者 資 源 マネージャ 資 源 マネージャ ネットワークスイッチ( 制 御 網 ) 物 理 計 算 機 V M V M データセンター2の クラウド 環 境 を データセンター1へ 拡 張 可 能 物 V 理 V M M 計 算 機 V M クラウドOSS 資 源 管 理 V M V M V M ネットワークスイッチ(データ 網 ) データセンター1: 物 理 資 源 貸 し 出 し 業 者 ネットワークスイッチ(データ 網 ) データセンター2:クラウド 事 業 者
HaaS: Hardware as a Service IaaS 利 用 者 から 無 尽 蔵 な 資 源 プールに 見 えても IaaS 事 業 者 の 資 源 は 有 限 ピーク 需 要 に 対 する 設 備 投 資 は 非 効 率 HaaSはIaaSへ 資 源 を 提 供 するクラウドサービス SaaS: Software as a Service PaaS: Platform as a Service IaaS: Infrastructure as a Service HaaS: Hardware as a Service 25
HaaSサービスへの 要 求 HaaSサービス 利 用 者 (IaaS 事 業 者 ) 既 存 IaaSシステムとの 親 和 性 設 置 作 業 の 最 小 化 資 源 提 供 の 単 位 の 自 由 度 安 定 したDC 間 通 信 HaaSサービス 提 供 者 (HaaS 事 業 者 ) 制 御 ネットワークの 隠 蔽 OpenFlow 複 数 テナントへの 対 応 26
Apache CloudStack IaaSクラウド 基 盤 構 築 管 理 ソフトウェア セルフサービス マルチテナント 国 内 外 に 多 数 の 利 用 実 績 例 : 北 大 アカデミッククラウド NTT Com Cloud n 柔 軟 なネットワーク 構 成 基 本 ゾーン 全 テナントのユーザVMが フラットな 単 一 ネットワークを 共 有 (AWSスタイル) 拡 張 ゾーン VLANによるネットワーク 隔 離 が 可 能 27
CloudStackの 構 成 Management Server Web API Zone 1 Pod 1 Cluster 1 Secondary Storage Cluster 2 Pod 2 Zone 2 Computing Node Computing Node Computing Node VM VM VM Primary Storage 28
HaaSサービスモデル 計 算 資 源 の 貸 出 単 位 計 算 ノード ポッド: 単 一 のL2ネットワークに 接 続 された 計 算 ノードの 集 合 データセンタ 間 ネットワーク 接 続 L2トンネル IPルーティング(L3) DC 間 ネットワーク モデルa 貸 出 単 位 : 計 算 ノード DC 間 ネットワーク:L2 ( 従 来 型 ) 貸 出 単 位 : 計 算 ノード DC 間 ネットワーク:L3 モデルb 貸 出 単 位 :ポッド DC 間 ネットワーク:L2 モデルc 貸 出 単 位 :ポッド DC 間 ネットワーク:L3 貸 出 単 位 29
HaaSサービスモデル モデルa 貸 出 単 位 : 計 算 ノード DC 間 ネットワーク:L2 - 貸 出 単 位 : 計 算 ノード DC 間 ネットワーク:L3 モデルb 貸 出 単 位 :ポッド DC 間 ネットワーク:L2 モデルc 貸 出 単 位 :ポッド DC 間 ネットワーク:L3 HaaS Data Center IaaS Data Center Rent a Compute Node 30
HaaSサービスモデル モデルa 貸 出 単 位 : 計 算 ノード DC 間 ネットワーク:L2 - 貸 出 単 位 : 計 算 ノード DC 間 ネットワーク:L3 モデルb 貸 出 単 位 :ポッド DC 間 ネットワーク:L2 モデルc 貸 出 単 位 :ポッド DC 間 ネットワーク:L3 HaaS Data Center IaaS Data Center Rent a Pod 31
HaaSサービスモデル モデルa 貸 出 単 位 : 計 算 ノード DC 間 ネットワーク:L2 - 貸 出 単 位 : 計 算 ノード DC 間 ネットワーク:L3 モデルb 貸 出 単 位 :ポッド DC 間 ネットワーク:L2 モデルc 貸 出 単 位 :ポッド DC 間 ネットワーク:L3 HaaS Data Center IaaS Data Center Rent a Pod 32
Irisはギリシャ 神 話 で 虹 の 女 神 Iris: HaaS 資 源 管 理 システム 高 野, 中 田, 竹 房, 柳 田, 工 藤. インタークラウドにおける 仮 想 インフラ 構 築 システムの 提 案 (2013/2 情 処 OS 研 究 会 ) 33
HaaSサービスへの 要 求 HaaSサービス 利 用 者 (IaaS 事 業 者 ) 既 存 IaaSシステムとの 親 和 性 設 置 作 業 の 最 小 化 資 源 提 供 の 単 位 の 自 由 度 安 定 したDC 間 通 信 ゲートウェイの 設 置 のみでHaaSと 接 続 三 つのサービス モデルに 対 応 帯 域 保 証 技 術 の 利 用 HaaSサービス 提 供 者 (HaaS 事 業 者 ) 制 御 ネットワークの 隠 蔽 複 数 テナントへの 対 応 仮 想 化 技 術 の 利 用 34
資 源 管 理 HaaSシステムでは 計 算 機 ネットワーク 共 に 2 段 階 の 仮 想 化 が 必 要 (à 仮 想 資 源 を 物 理 資 源 として 提 供 ) 計 算 機 : 入 れ 子 型 仮 想 化 ネットワーク:エッジオーバレイ HaaS Data Center IaaS Data Center IaaS User L2 VM L2 VM L2 VM L1 VM L1 VM L1 VM ユーザネットワーク (VLAN) IaaS Provider L1 VM L1 VM L1 VM L0 L0 L0 仮 想 ネットワーク (OpenFlow トンネル) 物 理 ネットワーク HaaS Provider L0 L0 L0 計 算 資 源 の 仮 想 化 ネットワーク 資 源 の 仮 想 化 35
HaaS 資 源 管 理 システムIris: プロトタイプ 実 装 アプリケーション インタフェース Webサービスは 未 実 装 (インタークラウド 資 源 管 理 連 携,OCCI/CIMI?) CLIスクリプトのみ 対 応 ゲートウェイ Open vswitch 1.4.0ベースに 実 装 計 算 資 源 管 理 ( 入 れ 子 仮 想 化 ) KVM on LXCとNested KVMに 対 応 DC 内 ネットワーク 資 源 管 理 GREトンネル ゲートウェイを 頂 点 とするスター 型 で 実 装 メッシュ 型 を 実 装 中 DC 間 ネットワーク 資 源 管 理 GREトンネル 36
動 作 確 認 実 験 環 境 計 算 サーバ Intel Core2 quad- core Q9550/2.83 GHz メモリ8GB ギガビットイーサネットNIC Ubuntu 12.04 IaaS CloudStack 4.0.0- beta ユーザVMのデプロイ CloudStack 内 部 ではゲスト パブリック 管 理 ネットワー クにVLANを 割 当 て ユーザVMのライブマイグ レーション Cluster 1 (HaaS) IP network (LAN) Cluster 2 (IaaS) control plane HaaS UVM HaaS UVM IaaS UVM IaaS UVM LXC/ KVM LXC/ KVM GW GW data plane host2 host1 head0 head3 host4 host5 37
ユーザVMのデプロイ 時 間 CloudStackの 管 理 ポータルからユーザVMのデプ ロイに 要 する 時 間 を 計 測 (3 回 の 平 均 時 間 ) デプロイ 時 間 にOSの 起 動 時 間 は 含 まない システムVMのデプロイ 時 間 ユーザVMのデプロイ 時 間 への 影 響 はなし 非 同 期 APIを 用 いるので 遅 延 の 影 響 は 限 定 的 と 推 測 IaaS UVM HaaS (L) UVM HaaS (K) UVM 15.81 15.82 15.96 ( 単 位 は 秒 ) 38
ユーザVM 間 の 通 信 性 能 pingのrttとiperfによるtcp 性 能 を 計 測 (10 回 平 均 ) 注 意 :HaaS UVM 間 はGREトンネルなし LXCの 性 能 オーバヘッドは 無 視 できる 一 方 Nested KVMの 性 能 オーバヘッドは 無 視 できない RTTは4.5 倍 に 増 加 グッドプットは30% 減 少 往 復 遅 延 時 間 (ミリ 秒 ) グッドプット(Mbps) IaaS UVM HaaS (L) UVM HaaS (K) UVM client server IaaS UVM HaaS (L) UVM HaaS (K) UVM IaaS UVM 0.36 0.64 1.22 IaaS UVM 934 913 806 HaaS (L) UVM - 0.35 0.87 HaaS (L) UVM 912 934 872 HaaS (K) UVM - - 1.66 HaaS (K) UVM 635 647 621 39
得 られた 知 見 KVM on LXC 性 能 オーバヘッドは 無 視 できるが コンテナ 間 の 隔 離 が 不 完 全 であるため 一 部 サービス(NFSクライアント Open vswitch)において 異 常 動 作 を 観 測 Nested KVM 性 能 オーバヘッドは 大 きいが VM 間 の 隔 離 は 完 全 なので 性 能 以 外 の 制 限 事 項 はない 特 にアドレス 空 間 切 替 のオーバヘッドが 大 Open vswitch 複 数 のVLANを1 本 のGREトンネルでトランクできるので 設 定 が 容 易 c.f. Linux bridge device 40
HaaSサービスモデルの 実 現 に 向 けて HaaSサービスモデルを 実 現 するHaaS 資 源 管 理 シス テムIrisのプロトタイプ 実 装 を 開 発 実 証 実 験 を 実 施 既 存 IaaSシステムに 変 更 を 加 えることなく ゲートウェイの 設 置 だけで HaaS 資 源 を 透 過 的 に 利 用 可 能 2 段 階 の 仮 想 化 によりユーザVMからHaaSの 制 御 ネット ワークを 隠 蔽 可 能 HaaSシステム 上 へのユーザVMのデプロイ 時 間 は IaaSシ ステム 上 と 遜 色 ないことを 確 認 今 後,OpenFlowによるDC 内 ネットワークの 制 御, 自 動 化,ストレージ 連 携,ハードウェア 仮 想 化 技 術 との 連 携 の 検 討 を 行 い,システム 開 発 を 進 める 41
まとめ 災 害 復 旧,サービスの 安 定 稼 働 や,ビッグデータ 処 理 のため,インタークラウドの 期 待 が 高 まる 産 総 研 ではインタークラウドを 実 現 する 技 術 の 開 発 を 進 めている 1 DC 間 ネットワーク 管 理 I/Fの 標 準 化 2 インタークラウド 資 源 管 理 技 術 3 HaaSサービスモデルの 提 案,プロトタイプ 実 装 G- lambdaプロジェクト:hwp://www.g- lambda.net/ GridARSインタークラウド 資 源 管 理 フレームワーク: hwp://www.g- lambda.net/gridars/ 42