Webサービス 化 するインフラと 進 化 するコンピュータの 概 念 株 式 会 社 あくしゅ 山 崎 泰 宏
自 己 紹 介 山 崎 泰 宏 1977/10/7 北 海 道 登 別 市 生 まれ Twitter ID: @sparklegate 5 年 間 大 手 システムインテグレータとして 活 動 研 究 開 発 開 発 方 法 論 プロジェクトマネジメント 営 業 支 援 一 般 社 団 法 人 クラウド 利 用 促 進 機 構 (CUPA) 理 事 株 式 会 社 あくしゅ 代 表 取 締 役 2006 年 7 月 創 立 / 社 員 11 名 / 事 務 所 は 都 庁 の 横 クラウドコンピューティング 向 けの ソフトウェア 開 発
山 崎 泰 宏 の 講 演 や 執 筆 NII ( 国 際 情 報 学 研 究 所 )にてクラウド 関 連 講 義 (11コマ)を 担 当 日 経 コンピュータ(2012/1~2012/3 計 7 回 連 載 ) 今 さら 聞 けないクラウドコンピューティング その 他 クラウド 関 連 の 記 事 を 多 数 執 筆 ぜひご 購 入 下 さい!
開 発 の 現 場 に クラウドコンピューティングは 必 要 か?
最近良く見かけること ビジネス的な展開を思いついてから システム側の準備が整うまでの時間が とにかく短くなっている 短期化 要件 定義 統合 試験 結合 試験 設計 製造
トレンドはすぐに 変 わる
開 発 の 改 善 アジャイル 開 発 軽 量 言 語 の 採 用 フレームワークの 活 用 運 用 の 改 善 DevOps システム 開 発 者 の 苦 悩
しかし 機 材 の 調 達 は 依 然 として 遅 くて 間 に 合 わない
扱 うサーバはどんどん 増 えるが 人 員 は 簡 単 には 増 やせない サーバの 低 価 格 化 回 線 の 高 速 化 スマートフォン 始 め クライアントの 普 及 増 加
高 頻 度 のリリース
システム 開 発 者 の 要 求 は やがてデータセンターへ システム 開 発 者 アプリケーションを 製 造 する 人 アプリケーションを 運 用 する 人 データセンター 管 理 者 システム 開 発 者 をお 客 様 とする 人 ホスティング 事 業 者 または 自 社 データセンターの 管 理 をする 人
データセンターで 受 け 止 める 必 要 な 時 に 必 要 なだけ サーバを 使 いたい! 扱 うサーバが 増 えても 簡 単 に 扱 いたい! データセンター 事 業 者 リリースなどの 頻 度 の 高 い 定 形 業 務 を 自 動 化 したい!
The Solution
クラウドコンピューティング(IaaS) サーバなどの機材調達を高速化できる IaaSの最大のメリット 自動化をするために活用できる ノウハウの残し方を変える 運用業務を できるだけプログラムに置き換えていく 読んで実行できるドキュメントよりも 動くプログラムを残す IaaSには 自動化に便利なWeb APIが備わっている
IaaSクラウド 基 盤 ソフトウェア Wakame-VDC IaaS を 実 現 するソフトウェア オープンソースライセンス (LGPL 3.0) 2009 年 から 開 発 開 始 ファーストリリースは2010/4 Ruby 言 語 で 記 述 されている フクオカRuby 大 賞 優 秀 賞
Wakame-VDCは データセンタの ためのハイパーバイザーです これまで これから お貸し出し 領域 お貸し出し 領域 お貸し出し 領域 ハードウェア ハードウェア 回線 1. 手作業が多かったので 準備に時間がかかった (数日) 2. ハードウェアサイズが 貸し出しの単位となる制約 お貸し出し 領域 お貸し出し 領域 クラウド基盤ソフトウェア Wakame-VDC ハードウェア ハードウェア 回線 1. ソフトウェアが自動化するため 準備が高速になった (数分) 2. ハードウェアは仮想化され 貸し出しの単位が柔軟かつ効率的に
Wakame-VDCは セルフサービスを可能にします これまで これから 作業 お願いします お貸し出し 領域 作業 お願いします お貸し出し 領域 お貸し出し システム開発者 領域 ハードウェア ハードウェア データセンタ管理者 回線 応答速度 お貸し出し 領域 システム開発者 お貸し出し 領域 クラウド基盤ソフトウェア Wakame-VDC ハードウェア ハードウェア データセンタ管理者 回線 低速 高速
効果 開発に求められる高速な レスポンスを得られる データセンタ管理者の 仕事を減らす 物理層のメンテナンスに 集中する お貸し出し 領域 お貸し出し 領域 システム開発者 お貸し出し 領域 クラウド基盤ソフトウェア Wakame-VDC ハードウェア ハードウェア データセンタ管理者 回線
Wakame-VDCは オートメーションを支援します Web API 呼び出し システム開発者 1. システム開発者は プログラムを作成する 2. Wakame-VDCは Web APIで作業依頼される 3. Wakame-VDCは 下記事項を実施します 仮想サーバの作成 破棄 ネットワークの設定 ストレージの作成 破棄 バックアップ お貸し出し 領域 お貸し出し 領域 プログラム お貸し出し 領域 クラウド基盤ソフトウェア Wakame-VDC ハードウェア ハードウェア データセンタ管理者 回線 これらを駆使すると サーバ機器などのリース業務を 自動化(オートメーション)できます
Virtualization Virtual Data Center Wakame-VDC Physical Data Center
アナロジー Virtual Machine Virtual Data Center Binary Data Hypervisor Wakame-VDC Emulator A Computer Physical Data Center Hardware
For A Computer
Virtual Machine Virtual Data Center Binary Data Virtual Data Center Hypervisor Wakame-VDC Emulator Data Center Hypervisor A Computer Physical Data Center Hardware Computers & Network
Computers & Network
Wakame-VDC は 現 在 2つの 仮 想 化 に 対 応 しています Virtual Machine Virtual Network (OpenFlow) Computers & Network
データセンタの 全 てを 仮 想 化 していきます Virtual Data Center
仮 想 化 されたデータセンターは 持 ち 歩 くことができる
他 のデータセンターでも 動 く 高 いポータビリティ データセンター
開 発 環 境 と 本 番 環 境 あなたのPC データセンター
複 製 / 移 動 は 本 番 環 境 への 公 開 も 簡 単 にする 仮 想 データセンター 仮 想 デプロイ データセンター あなたのPC データセンター
開 発 プロセスが 大 きく 変 わる もしWakame-VDCが 無 かったら... 複 数 台 で 動 かすた めの 調 整 をしなけ ればならない 作 成 した システム デプロイ 作 成 した システム( 改 ) あなたのPC データセンター システムに 合 わせ たサーバを 設 計 し 早 めに 調 達 しなけ ればならない
開 発 者 はデータセンターの 構 造 を 気 にする 必 要 がなくなる 仮 想 データセンター デプロイ ほぼ 調 整 不 要 仮 想 データセンター 1 台 のPC 開 発 者 Wakame-VDC 用 のサーバを 調 達 す れば 良 く 開 発 中 に 必 ずしも 調 達 を 終 える 必 要 はない
データーセンターハイパーバイザ 仮 想 データセンター(VDC)を データセンター 環 境 に 左 右 されない 形 で 動 作 させるもの VDCの 可 搬 性 が 開 発 環 境 と 本 番 環 境 の 差 異 を 減 らし 開 発 者 のために 開 発 プロ セスをより 良 いものにすることができる 調 達 のタイミングが 柔 軟 になる
世界中のデータセンターを ひとつのコンピュータにする Wakame-VDCがインストールされた環境は まるで１台のコンピュータであるかのように 振る舞います Web APIで分散と協調をしていきます
Wakame-VDCの 実 際 現 時 点 での 内 部 構 造
Wakame-VDCの 論 理 構 造 Browser User html/json GUI Server (Web UI) Data Center Manager (DCMGR) ssh Naming Service Agent (NSA) DHCP DNS IP hostname DCMGR Web API Queue (AMQP) Hyper Visor Agent (HVA) VM iscsi Instance MySQL DCMGR Collector Storage Target Agent (STA) ZFS Block Device 41
代 表 的 な 機 能 仮 想 サーバ KVM, VMware ESXi, LXC, OpenVZに 対 応 準 備 起 動 ~ 破 棄 までを 操 作 できる 仮 想 アプライアンス SSL 対 応 ロードバランサー 仮 想 ネットワーク Linux Netfilter, Open vswitch (OpenFlow)に 対 応 分 散 スイッチを 統 合 的 に 管 理 する 仕 組 み オーバレイ 方 式 ファイアウォール L2アイソレーション NAT ストレージ 外 部 ボリュームディスクを 管 理 する 仕 組 み ZFS, tgtd, IndelibleFSに 対 応 その 他 SSHキーペア 管 理 インフラ 管 理 コマンド 多 言 語 対 応 GUI Web APIなど 多 数 の 機 能 を 有 する
ネットワークイメージ Proxy (nginx) 外 部 Network SW Instances ovs HVA GNU/Linux GUI Server DCMGR Web API Instances ovs HVA GNU/Linux SW DCMGR Collector マネジメント 系 統 Instances コンピュートノードは ストレージ 用 NICを 別 途 持 つべき ovs HVA GNU/Linux Instances ovs HVA GNU/Linux SW STA GNU/Linux Indelible FS マシンイメージを 格 納 する ブロックストレージとして 利 用 しないのであれば NFSでも 良 い
ソフトウェアOpenFlowスイッチ コスト削減効果を高める構造に 物理スイッチにはインテリジェンスが必要なくなる インテリジェントスイッチは高価 ソフトウェアスイッチは無料 物理 スイッチ 論理的に巨大なスイッチ OF VM (Server) Physical Server OF VM (Server) Physical Server OF VM(Server) Physical Server CONFIDENTIAL. Copyright (C) Axsh Co. 44
1つのOpen vswitchを 管 理 する 論 理 構 成 Trema Open vswitch OpenFlow Controller switch_manager Open vswitch daemon fork Ruby Event Loop switch.{n} openvswitch_mod (Bridge) NIC Wakame Extention Physical Server AMQP Wakame-VDC Data Center Manager Wakame
仮想ネットワークは2012/3時点で どこまでできているか L2/L3の仮想化は既にできるが マイルストーンがある 仮想化方式に2モード用意する 今ココ どちらかのモードを 利用する環境に応じて 切り替える Mac2Mac GRE Tunnel L2 converter L2 over L3 Web API / GUIを用意する ユーザが任意のネットワークを定義し 対応するNICを作成してインスタンスへ挿す 仮想化方式2モードを自動で併用する どちらかのモードを 仮想ネットワークの 範囲に応じて自動的に切り替える Mac2Mac + GRE Tunnel L2 converter + L2 over L3 On-the-flyで新しいネットワークを セットアップするようにする 最適化を行う CONFIDENTIAL. Copyright (C) Axsh Co. 46
事 例
九州電力様の事例 (Hadoopクラスタの構築) バッチ処理Aを 40台で起動せよ 処理終了したらシャットダウン Hadoop Hadoop HDFS バッチ管理 プログラム Web API クラウド基盤ソフトウェア Wakame-VDC ハードウェア ストレージ ハードウェア 回線 結果の保存 Wakame-VDCは 検討 インストール 試験まで実施しておよそ３ヶ月で完了 クリティカルパスであったが その後は無事 バッチ管理プログラム+Hadoopの 試験工程(別会社担当)へと引き継ぐことができた
まとめ
インフラは Webサービス 化 が 更 に 進 む アジャイルやDevOpsに 応 じられるのが クラウドコンピューティングである IaaSにはWeb APIが 備 わっており この 要 求 を 実 現 する 将 来 的 には データセンター 丸 ごと 仮 想 化 される コンピュータはデータセンターレベルで 扱 うものに 変 わる ますますWeb APIは 重 要 なものになる
Wakame-VDC オープンソースの IaaSクラウド 基 盤 ソフトウェア 開 発 者 募 集 中! 開 発 リポジトリ https://github.com/axsh/wakame-vdc ドキュメント http://wakame.jp/wiki/
分 散 と 協 調 がテーマ axsh co., LTD. 52