OpenCloud によるクラウドインフラの変化 ~ 次世代サービス基盤技術への取組み ~ 伊藤忠テクノソリューションズ株式会社クラウドプラットフォーム事業グループ IT インフラサービス企画開発部小岩井裕 Copyright(c) 2013 ITOCHU Techno-Solutions Corp

Size: px

Start display at page:

ゆずさあざみ
5 years ago
Views:

1 OpenCloud によるクラウドインフラの変化 ~ 次世代サービス基盤技術への取組み ~ 伊藤忠テクノソリューションズ株式会社クラウドプラットフォーム事業グループ IT インフラサービス企画開発部小岩井裕

2 サービス基盤とアプリケーションの変遷次世代サービス基盤では OpenCloud が中心になると予想普及時期 1990~ 2010~ 2015~ ハウジングコロケーション ( サイロ型 ) Cloud ( 仮想化 ) OpenCloud (Software Defined) 特徴インフラ / 運用アプリ顧客単位でバラバラ従来型インフラを集約従来型インフラを標準化分散に適したクラウド型アプリ 2

3 Open Cloud とは Cloud OS を中心に構築されたアプリケーションセントリックのインフラ環境ハードウェアセントリックなインフラ ( サイロ仮想化インフラ ) アプリケーションセントリックなインフラ (OpenCloud) 動作要件深い造詣選択従来型のアプリケーション事前に予測された量を処理するインフラ手動構築一部自動化様々な独自性を持った製品群ハードウェアセントリックアプリケーションセントリックアプリ自身が定義 APP 動作する環境を規格化ソフト化された構成要素サーバストレージネットワークモニタリングクラウドネイティブアプリケーション処理量や負荷状態に応じて伸縮するインフラ Cloud OS (Open Stack) イメージング自動構築リージョン 3

4 経済産業省補助事業 : 概要

5 案件経緯一般財団法人クラウド利用促進機構ユーザコミュニティの会計 / 運営を支援運営支援オープンクラウドキャンパスオープンクラウド実証実験 2012/2013 年度日本 OpenStack ユーザ会日本 CloudStack ユーザ会日本 Eucalyptus ユーザ会日本 AWS ユーザ会 OpenStorage 研究会大学任意団体民間企業 5

経産省補助事業概要ソフトウェア制御型次世代情報処理基盤技術開発プロジェクト経産省民間企業研究開発機関等 (

海外クラウドに負けないクラウド基盤の開発が必要クラウドコンピューティングの活性化により IT 機器集約における

) 自動化技術クラウドインフラ制御技術の研究開発に取り組むオープンソースコミュニティを立ち上げ標準 API

6 経産省補助事業概要ソフトウェア制御型次世代情報処理基盤技術開発プロジェクト経産省民間企業研究開発機関等 ( 採択事業者 :CTC IIJ TIS) 事業背景目的国内クラウドの活性化を目的としたクラウド技術開発を実施し海外クラウドに負けないクラウド基盤の開発が必要クラウドコンピューティングの活性化により IT 機器集約における社会基盤として省エネ効果を期待事業概要ソフトウェア制御による新たなクラウド基盤としてクラウド定義 ( 設計 ) 自動化技術クラウドインフラ制御技術の研究開発に取り組むオープンソースコミュニティを立ち上げ標準 API の整備や諸外国の関係機関との連携による海外展開を通じて次世代のクラウドインフラ設計における日本発のデファクト化を図る 6 6

7 CTC が提案した事業内容 IaaS 基盤上で稼働しビッグデータをターゲットにしたクラウドネイティブ APP の開発 1. 開発したソフトウェアはオープンソースソフトウェアとして公開 2. 現行 IaaS 基盤に不足する機能の洗い出しとコミュニティへのフィードバックを実施クラウドの効率的な利用方法の普及と新規分野での国内ソフトウェアの開発活性化 IaaS 基盤の利便性向上を図る業務ユーザ I/F プログラム Real Application Centric Kernel CloudOS 業務ロジックデータ Appicational Resource Operation asakusa hadoop ビッグデータ処理その他アプリ API Authorization Resource Monitoring Resource Scheduler Process Management Shared Memory Signal API OpenStack OpenStack APP1 File System APP2 クラウド対応型開発フレームワーク OpenStack 従来システム Oracle Windows HW 7 7

8 Real Application Centric Kernel(RACK)

9 クラウドネイティブコンセプトアプリケーションが IaaS をコントロール IaaS を制御する機能はアプリケーションに内蔵例えば既存アプリケーションではインフラ主導でスケールアウトをします Ex)ceilometer( 監視ツール ) クラウドネイティブアプリケーションではアプリケーションがスケールアウトをコントロールします Ex) データボリューム量 9

10 RACK 概要 IaaS 利用に一定のルールを設ける仮想マシンを IaaS 上で Linux のプロセスのように扱う仮想マシンは PID&PPID を持ち再帰的な処理を可能にする一般的な機能を実装 Shared Memory( 仮想マシン間のデータの受け渡し ) Signal( 仮想マシン間のメッセージ交換 ) File System( 同じファイルの参照 ) 10

11 RACK 構成概要 Cloud Native Application IaaS User Applications Libraries Real Application Centric Kernel Resources pools Processes(VMs) User interdace programs librack Authorization VM template User logic applications Resource monitoring REST Metadata libdck (libdck.sh) Resource scheduler OpenStack dckinit (cloudinit + α) import or command REST Process Management Shared memory REST VM Signal FileSystem (swift) REST or websocket We are implementing this area now. We are using Open Stack 11

12 利用効果エンドユーザ ( 利用者 ) 分散システム環境を容易に利用可能プライベートパブリックを意識しない IT サービスプロバイダー沢山のリソースを利用してもらえる新しい市場へのアプローチ 12

13 Case study: Processing CSV file - overview - This application is very simple implementation. It parses a line from CSV, and insert parsed data to database. It works in distributed VMs 13

14 Case study: Processing CSV file - 1 st step details - Starting deamon for CSV processing - csv-processing command calls RACK API via libcok. - RACK calls Nova API via ReST API. - VM Starts with PID. $ csv-processing start-daemon (1) librack RACK Nova (2) (3) (4) File Catcher APP Target Database Process(VM) PID=100 14

15 Case study: Processing CSV file - 2 nd step details - Putting CSV file to File Catcher APP - User puts a CSV file to FIle Catcher APP with command. - File Catcher APP calculate necessary number of processes(vms) for processing uploaded CSV. $ csv-processing put-file xxxxx.csv (5) RACK Nova File Catcher APP Target Database Process(VM) PID=100 15

16 Case study: Processing CSV file - 3 rd step details - Generate processes(vms) for processing. - File Catcher APP requests FORK to RACK - RACK forks VM with PID=100, requesting 2 forks here. - Boot 2 VMs with PPID=100, and start CSV Processing APP in each VM. (6) RACK Nova (7) (8) File Catcher APP CSV Processing APP Process(VM) PID=101(PPID=100) CSV Processing APP Process(VM) PID=102(PPID=100) same image Target Database Process(VM) PID=100 16

17 Case study: Processing CSV file - 4 th step details - Processing CSV in child processes(vms). - Consider CSV file is stored in swift and available for each child process(vm) - Child processes(vms) are deleted at the end of data processing. KILL command is sent from CSV Processing APP itself to RACK. (9) File Catcher APP CSV Processing APP CSV Processing APP Target Database Process(VM) PID=101(PPID=100) Process(VM) PID=102(PPID=100) Process(VM) PID=100 17

18 Case study: Processing CSV file - Additional details - Processes(VMs) booting flow IF PPID == NULL - I m parent process ELSE > starting File Catcher APP & Database. - I m child process > starting CSV Processing APP Who have information of PID/PPID? Nova Metadata Server does. 18

19 CTC の取組み 19

20 CTC の取組み SDN/OpenFlow 各種商用ストレージ運用支援ソフトウェアアプライアンスを組み合せたインテグレーションを提供 IaaS 基盤 OpenCloud 標準化 IT インフラ基盤 IaaS 基盤の構築に加えオーケストレーションと組合せたインテグレーションを提供自社のサービス開発にも活用次世代 App 基盤ベースソフトウェアの開発クラウドネイティブなソフトウェアとオープンスタンダードな基盤を提供 20

21 CTC のクラウドサービス ( 将来像 ) 用途ごとに適したサービスを提供し面として要望を受けるクラウド基盤を構築していくユーザー要件業務効率化品質向上結果の把握未来予測価値の創造システム特性予測可能なワークロードに対して早く正確に計算する予測困難なワークロードを処理するシステム要件に応じて連携シンプルな仮想化基盤運用を含めた IT インフラアウトソース基盤データ処理を中心とした特化型クラウド基盤 Web を中心としたハイパースケール基盤 CTC DC で提供他社基盤の利用 21

22 御清聴ありがとうございました 22

Presentation Template Koji Komatsu

Presentation Template Koji Komatsu OpenStack Day 2013 Panel Discussion 2013-03-12 ヴイエムウェア株式会社テクニカルアライアンスマネージャ小松康二アジェンダ VMware のクラウドソリューション VMware と OpenStack クラウド時代の IT エンジニア - 2 - VMware のクラウドソリューション SDDC ( = Software-Defined Datacenter