Copyright 2014 KDDI Corporation. All Rights Reserved 1
KCPSにおけるOCPへの 取 り 組 み KDDI 株 式 会 社 プラットフォーム 開 発 本 部 クラウドサービス 開 発 部 加 藤 真 人
自 己 紹 介 KDDI 株 式 会 社 プラットフォーム 開 発 本 部 クラウドサービス 開 発 部 加 藤 真 人 KDDI 入 社 以 来 インフラ 系 サービスの 開 発 を 担 当 これまでに お 客 様 のシステムを 監 視 するサービスや KCPSの 前 身 であるバーチャルデータセンターなどを 開 発 その 後 KCPS(KDDIクラウドプラットフォームサービス)の 開 発 を 初 期 メン バーとして 参 加 し 現 在 は 数 千 台 のサーバを 支 えるインフラ 設 計 業 務 を 担 当 ODM 機 器 の 採 用 や Open Compute Projectへの 参 加 など 積 極 的 にインフラのコモディティ 化 を 推 進 してる
KCPSの 概 要 サーバインフラミッション サーバ 構 築 短 納 期 と 自 動 化 にチャレンジ 今 後 のOCPへのミッション
KCPSの 概 要 5
KCPSって 何? KCPS(KDDI Cloud Platform Service) CloudStack 専 用 ポータルから 仮 想 サーバ 環 境 をオンデマンド 提 供 するサービス WVSイントラネット 接 続 と 占 有 型 サーバを 標 準 提 供 するIaaS 利 用 ユーザ: 法 人 のお 客 様 KDDI 事 業 用 の 設 備 (AU-Cloud)でも 利 用 データセンタ:4 局 物 理 サーバ: 数 千 台 [インフラの 特 徴 ] 稼 働 率 99.9998%(2015Q3 実 績 ) サーバを 台 湾 ODMから 直 接 調 達 KDDIイントラ 網 に 直 結 物 理 機 器 の 持 ち 込 みができる! 6
KDDI Cloud Platform Service ① HA フェイルオーバー 込みのQuality Cloud SLA99.99 ② 社内システムのクラウド化に必須なイントラ回線接続料は無料 税抜 お客様拠点のアクセス回線は別途費用がかかります ③ 専有サーバも提供 仮想サーバもいつでもリソースを増減可能 全て冗長構成 サーバを 選択 ﾊﾞｯｸｱｯﾌﾟｽﾄﾚｰｼﾞ Active Premium 専有ｻｰﾊﾞ イントラ網 FTTH ｲｰｻﾈｯﾄ Standby ﾒｲﾝｽﾄﾚｰｼﾞ ﾊﾞｯｸｱｯﾌﾟ (ｵﾌﾟｼｮﾝ) Value 仮想ｻｰﾊﾞ 回線利用料込 Remote Access 10G ２ 重 バ ッ ク ア ッ プ ﾊﾞｯｸｱｯﾌﾟ ｽﾄﾚｰｼﾞ インターネット セルフポータルから 専有サーバも即時作成可能 7 Copyright 2014 KDDI Corporation. All Rights Reserved
KCPSの特徴① 専用サーバやイントラ網も利用できる 専有サーバをオンデマンドでタイムリーに構築可能 セルフポータル画面から仮想マシンを直ぐに作成できるから サイジングは気にせずオンプレと同等の環境をクラウド上で利用できる お客さま (KDDI WVS) 簡単 設定 セルフポータル K C P S バックアップ ストレージ 1 専 有 サ ー バ ①専有サーバ(Premium メニュー)の追加 VM 2 3 ②専有サーバ上に仮想マシン を作成(VM作成) ③ バックアップ設定 Internet 8 Copyright 2014 KDDI Corporation. All Rights Reserved
KCPSの特徴② サーバの直接調達 大手サーバベンダーやFacebookにサーバを供給 する台湾ODMベンダーから直接サーバを購入 9 Copyright 2014 KDDI Corporation. All Rights Reserved
KCPSの 特 徴 3 高 信 頼 性 機 能 の 提 供 ストレージハードウェアまで 考 慮 した 分 散 アーキテクチャ エクストラ アベイラビリティ を 採 用! これまでにない 冗 長 構 成 をオンデマンドで 利 用 でき お 客 さまシステムの 可 用 性 を 大 幅 に 向 上! 国 内 クラウド 事 業 者 初! 一 般 的 なクラウド 収 容 ストレージの 指 定 できないため 仮 想 サーバレベルで 冗 長 化 しても ストレージ2 重 障 害 の 影 響 を 受 ける エクストラアベイラビリティ 2015 年 2 月 より 提 供 開 始 Premiumサーバ( 専 有 サーバ)の 収 容 ストレージを 分 散 する 事 により ストレージ2 重 障 害 の 影 響 を 受 けない! お 客 さまPremiumサーバ( 専 有 ) ホストサーバ システム ダウン お 客 さまPremiumサーバ( 専 有 ) ホストサーバ 止 まらず 稼 働! Act Act Act Stb VM Act 冗 長 VM Stb Act Act Stb Act Act Stb VM Act 冗 長 VM Stb ストレージ#1 RAID 10 2 重 障 害 ストレージ#1 RAID 10 10 2 重 障 害 ストレージ#2 RAID 10 2 重 障 害 しても ダウンしない C o p y r i g h t 2 0 1 4 K D D I C o r p o r a t i o n. A l l R i g h t s R e s e r v e d
KCPSの 特 徴 4 フォーメーション 機 能 特 徴 1. 構 成 や 設 定 を 簡 単 に 管 理 可 能 特 徴 2.ユーザ 間 で 最 新 構 成 図 を 共 有 特 徴 3.PDFでのダウンロード 機 能 11
KCPSの 特 徴 5 オブジェクトストレージ 1 高 い 堅 牢 性 99.999999999999%の 堅 牢 性 2クローズドNWで 利 用 ネットワーク 接 続 料 とデータ 転 送 料 が 不 要 で 安 価 3 高 いセキュリティー auスマートパス 基 盤 での 実 績 を 活 かしたサービス 12
KCPSの 特 徴 5 KCPSの 高 い 稼 働 実 績 KDDI Cloud Blogで 稼 働 率 と 故 障 内 訳 を 公 開! 2015.1Q:99.9997% 2015.2Q:99.9999% 2015.3Q:99.9998% 13 C o p y r i g h t 2 0 1 4 K D D I C o r p o r a t i o n. A l l R i g h t s R e s e r v e d
ちょっと宣伝 KDDI クラウドブログ で検索 http://cloudblog.kddi.com/?v=block 14 Copyright 2015 KDDI Corporation. All Rights Reserved
OCP 系 情 報 も 掲 載 中 15
サーバインフラミッション 16
KCPSでのインフラミッション 1 低 価 格 で 高 品 質 な 都 合 のいいHWがほしい 2 発 注 からリリースまで 超 短 納 期 自 動 化 にしたい 3サーバの 運 用 工 数 を 削 減 したい 17
ODMサーバという 選 択 低 価 格 不 要 な 機 能 パーツを 排 除 ダイレクト 購 入 だから 納 得 価 格 不 足 機 能 は 追 加 実 装 可 能 高 品 質 メーカ 製 サーバと 同 一 パーツ 品 質 の 良 いパーツの 指 定 購 入 不 具 合 に 対 する 特 別 対 応 スピード 工 場 での 事 前 構 築 新 機 能 を 逸 早 く 実 装 可 能 サーバ 仕 様 の 変 更 が 柔 軟 18
サーバ 領 域 を 活 かしたSI 領 域 へシフト 2015 年 自 動 構 築 Step2 インベントリー 機 能 2014 年 自 動 構 築 Step1 (OS 構 築 ) 2013 年 Quanta 社 サーバ 導 入 2 社 体 制 2012 年 工 場 構 築 HWセルフテスト 強 化 工 場 キッティング 安 定 供 給 工 期 短 縮 2011 年 Wiwynn 社 サーバ 導 入 開 始 国 内 24/365 保 守
ODMサーバでの 課 題 20
納 期 遅 延 ODMメーカは 基 本 受 注 生 産 を 行 っており 大 量 のサーバパーツは 確 保 していな いため 外 部 要 因 によるパーツ 遅 延 が 発 生 し サーバの 出 荷 遅 延 となることがあ るため この 対 策 が 必 要 である KDDIとしては パーツの 共 通 化 や 代 替 パーツ の 検 討 など 遅 延 が 発 生 した 場 合 の 別 手 段 を 確 保 し 納 期 遅 延 を 未 然 に 防 いでいる 納 品 時 期 を 複 数 回 に 分 け 遅 延 時 の 影 響 を 小 さくする 対 策 も 有 効 である 外 部 要 因 : 台 風 による 洪 水 や 地 震 による 天 災 中 国 政 府 の 輸 出 制 限 パーツ 工 場 の 火 災 海 外 ニュースやODMメーカとの 密 な 連 携 が 重 要 21
初 期 不 良 数 百 台 のサーバを 一 度 に 導 入 するため 初 期 不 良 は 避 けられない 工 場 でのエイ ジング 内 容 を 確 認 しKDDIオリジナルな 試 験 工 程 を 追 加 している これにより 初 期 不 良 の 発 生 率 を 一 桁 へ 低 減 させることが 出 来 た 輸 送 時 や 長 時 間 稼 働 での 初 期 不 良 はKDDIのDCに 到 着 後 実 施 する 後 続 工 程 へのスケジュール 影 響 を 出 さな いよう 高 負 荷 長 期 運 転 パーツの 脱 着 試 験 (1000 回 ) DISK メモリーの 全 面 チェックなどを 徹 底 的 に 行 う 試 験 ポイント 負 荷 や 温 度 による 発 生 物 理 的 な 緩 み 抜 けなどの 確 認 パーツの 正 常 性 ここの 工 程 が 一 番 重 要!! 22
設 定 ミスやVer 管 理 BIOSやFMなどのHW 設 定 は 事 前 にODMメーカの 工 場 にて 設 定 されてきますが 設 定 作 業 が 人 による 手 動 設 定 なため 設 定 間 違 いが 発 生 することは 避 けられませ ん 対 策 としては BIOSにおける 初 期 設 定 をKDDI 仕 様 に 変 更 し ROMに 書 き 込 むという 対 応 を 行 いますが システム 開 発 の 途 中 で 変 更 が 発 生 することがあり どうしても 手 動 設 定 箇 所 が 残 ります 各 種 設 定 を 吸 い 上 げ チェックする 仕 組 み を 取 り 入 れることが ポイントです ポイント 機 械 的 に 設 定 ミスを 見 つける チェック 漏 れを 無 くす 設 定 間 違 いの 経 緯 を 調 査 する 低 レイヤーをいかに 機 械 的 に 制 御 するか! 23
バグやデグレ 試 験 工 程 で 発 見 された バグ や 不 具 合 は 構 築 スケジュールに 大 きなインパ クトを 与 えます いかに 早 く バグを 解 決 し 試 験 を 再 開 させるのか?が 運 用 工 程 においても 重 要 なポイントになります ODMメーカのエンジニアと 初 期 設 計 の 段 階 から 密 な 連 携 をとり 発 生 時 にはパーツメーカを 含 めた 改 修 対 応 が 重 要 です また 改 修 されたプログラムにおいてデグレの 発 生 率 が 非 常 に 高 い 状 況 でした これを 改 善 するために メーカで 実 施 する 試 験 環 境 や 試 験 方 法 を 均 一 化 しテスト しなりを 自 動 化 することで デグレ 発 生 率 を 低 減 させています ポイント 試 験 環 境 をKDDIと 同 じにする 試 験 工 程 を 自 動 化 均 一 化 する エンジニアとの 直 接 パスを 作 る ここでの 経 験 が 運 用 工 程 で 生 かされる 24
KDDIがサーバメーカとなる これまでの サーバを 購 入 して 問 題 があればサーバメーカへ 問 い 合 わせ 調 査 結 果 を 確 認 して 試 験 を 行 うというような 受 け 身 の 姿 勢 から パーツメーカ ODMメーカと 一 緒 に 改 善 改 修 を 行 う 体 制 が 必 要 です これにより 利 用 しているサーバの 部 品 一 つ 一 つに 責 任 をもち くせや 弱 点 を 知 ることにより システム 設 計 段 階 で 弱 点 を 補 うことでシステム 全 体 の 安 定 を 得 る ことができるのです 独 自 のサーバを 自 ら 設 計 する 25
KCPSでのインフラミッション 現 状 1 低 価 格 で 高 品 質 な 都 合 のいいHWがほしい 完 了 2 発 注 からリリースまで 超 短 納 期 自 動 化 にしたい 3サーバの 運 用 工 数 を 削 減 したい 26
サーバ 構 築 短 納 期 と 自 動 化 27
KCPSでの 構 築 工 程 工 場 工 程 日 本 現 地 工 程 テスト 工 程 BIOS 設 定 BMC 設 定 FW 設 定 設 定 確 認 RAID 設 定 OS 導 入 単 体 試 験 結 合 試 験 設 定 変 更 クリーニング 設 計 変 更 に 弱 い 重 要 工 程 は 人 に 頼 る
構 築 工 程 を 完 全 自 動 化!!するしかない CONFIDENTIAL 1 設 定 確 認 の 自 動 化 BIOS,BMC,RAID,FWすべてをCLI APIに 対 応 2OS 導 入 自 動 化 と 高 速 化 PXEを 利 用 しないOS 導 入 機 能 を 搭 載 キックスタート 廃 止 による 設 定 変 更 の 柔 軟 化 設 定 情 報 の 自 動 取 得 設 定 機 能 を 実 装 3 試 験 修 復 の 自 動 化 HW 試 験 から 結 合 試 験 までを 自 動 化 設 定 項 目 をリアルタイム 取 得 確 認 変 更 を 実 装 29
構築工程の概念図 CONFIDENTIAL BMC OS OS OS BIOS ホスト構築後 チェックツールにより インベントリ収集 自動構築ツール ホスト構築 RAID 開発ツールで取得したインベントリ情報を インベントリ用DBにデータ格納 自動構築ツールからマスタDBのデータ取得 構成管理 サーバ 構成管理 DB 構築用 データ格納 マスタDB 構築用 構成データ 設定管理台帳 実データとの整合性チェックし最終 データを構成管理登録 30 インベントリ 用DB 構成管理 Copyright 2015 KDDI Corporation. All Rights Reserved
構築時間の比較 ステ ップ CONFIDENTIAL 作業内容 1 設定値自動取得 HWセルフテスト 2 BIOS / BMC / RAID ファーム ウェアのアップデート 3 BIOS / BMC / RAID の設定 4 BIOS / BMC / RAID の設定値 正当性確認 構成管理登録 5 OSの展開 各種OS対応 6 OSパラメータの設定変更 7 OSの設定値 正当性確認 構成管理DB保管 8 OSセルフテスト 正常性確認 手動 自動構築ツール 20サーバの 構築 20サーバの 構築 約72時間 ２時間未満 72時間 ２時間 31 Copyright 2015 KDDI Corporation. All Rights Reserved
電 源 入 れたら ボタン 一 つで リリース CONFIDENTIAL 32
KCPSでのインフラミッション 現 状 1 低 価 格 で 高 品 質 な 都 合 のいいHWがほしい 完 了 2 発 注 からリリースまで 超 短 納 期 自 動 化 にしたい 完 了 3サーバの 運 用 工 数 を 削 減 したい 道 半 ば 33
今 後 のOCPへのミッション 34
Software-Defined Infrastructureを 見 据 えて 今 後 インフラ 技 術 は 抽 象 化 されたハード ウェアをソフトウェアによってリソースを 様 々な 環 境 の 変 化 に 応 じて 動 的 にコントロー ルできるSDIに 向 っていく ソフトウェアでコントロール 出 来 ない 超 低 レイヤを 汎 用 的 にコントロール 可 能 にする BIOS RAID BMC etc 35
HWレイヤと 上 位 レイヤのつなぎが 必 要 36
HWに 強 い 台 湾 だから つなぎ を 全 て 実 現 出 来 る ハードに 必 要 な 機 能 だけでなく システム 構 築 で 必 要 な 機 能 を 自 由 に 実 装 することができる これが 最 大 のメリットです 自 動 構 築 ツール 合 同 プロジェクト 37
OCPJの 目 的 CONFIDENTIAL 38
OCPJとOCPTのハブになる OCPJ KDDI OCPT 39
エンタープライズをOCP 化 する CONFIDENTIAL OCP ギャップ Enterprise 40
OCPJ&OCPTメンバーとして KCPSでのノウハウをOCPへ 還 元 BMCの 標 準 化 BIOSの 標 準 化 サーバインフラ 以 外 への 拡 大 エンタープライズクラウド 要 素 を 追 加 ODMサーバの 標 準 化 を 推 進 汎 用 的 で 自 由 な インフラツール 開 発 の 共 有 を 推 進 します 41
自 動 構 築 ツールの 開 発 メンバー ITRI CONFIDENTIAL 私 たちは Agile 開 発 に 取 り 組 んでいます! 42
Quality Cloud 43