2.OpenStackで実現する「Cloud Native」な世界

Size: px

Start display at page:

Download "2.OpenStackで実現する「Cloud Native」な世界"

れれやすもと
7 years ago
Views:

1 クラウドを使いこなす技術その到達点 RACK Real Application Centric Kernel 金子雄大

2 アジェンダ CTCのクラウドビジネス CTCが考える Cloud Native Cloud Native Application を実現する RACK Cloud Native Application のデモコミュニティ活動 1

3 CTCのクラウドビジネス 2

4 CTCのクラウドビジネス第 2プラットフォーム基幹システム EDBMS ERP FileServer 第 3プラットフォーム BigData Mobile M2M IoT Social TechnoCUVIC ElasticCUVIC (Virtustream) (Cisco) クラウドインテグレーション運用サービス OpenStack AWS Softlayer Windows Azure HP Helion Cisco CTC DC パートナーDC 3

5 今日のお話第 2プラットフォーム基幹システム EDBMS ERP FileServer 第 3プラットフォーム BigData Mobile M2M IoT Social TechnoCUVIC ElasticCUVIC (Virtustream) (Cisco) クラウドインテグレーション運用サービス OpenStack AWS Softlayer Windows Azure HP Helion Cisco CTC DC パートナーDC 4

6 OpenStackへの取り組み OpenStack 基盤構築 OpenStack/クラウド活用クラウドネイティブオープンハードウェア OpenCompute Project ブロックストレージ SolidFire クラウドOS Mirantis オブジェクトストレージ CleverSafe PaaS 実行環境 Pivotal Web API 統合プラットフォーム apigee クラウドネイティブ環境の実現 CTC RACK Real Application Centric Kernel Cloud Native Application Cumulus Netwoks ネットワークファブリック Penguin Computing Web UI / オーケストレータオリジナル開発 process process process RACK (Kernel) ログ統合 Splunk バージョン管理 Github 監視 (Zabbixなど) ビルド管理 (Jenkinsなど) 構成管理 /デプロイエンジン (Chef/Ansibleなど) テスト自動化 (Serverspecなど) compute network storage 5

7 CTCが考える Cloud Native 6

8 いかに作るかからいかに使うかの段階へシフト OpenStackは使えるか? の議論はすでに終了 OpenStackをいかに活用するか? が現在のテーマ非テクノロジー企業による海外事例 BMW : 車メーカー Expedia : 旅行サイト BBVA : 大手銀行 OpenStack Summit 2014 Paris 7

9 システムの Cloud Native 化システムを Cloud Native にすることで Cloud のメリットを享受できるそのまま移行 monolithic single-tiered legacy Cloud Native化 Chef/Puppet

Cloud Native なシステムとは? Designing for the cloud http://docs.openstack.org/arch-design/content/designing-for-the-cloud.

10 Cloud Native なシステムとは? Designing for the cloud Be a pessimist Put your eggs in multiple baskets Think efficiency Be paranoid But not too paranoid Manage the data Hands off Divide and conquer Think elasticity Be dynamic Stay close Keep it loose Be cost aware すべてのものは壊れると思えマルチプロバイダリージョン AZを活用せよ移植性の高いアプリケーションにせよ自動化を活用せよ Cloud APIの活用コンポーネントは小さくせよ 9

11 高度で複雑な Cloud Native システムアプリケーション自身はCloud APIを使用しない Cloud Native システムのイメージ基本的なアプリケーションのデザインは従来と変わらないためスケーリング等の自動化にはオーケストレーションツールなどが必要となるクラスタにJoin Serf デプロイ API openstack Cloud Native なシステムは運用管理が高度で複雑なものとなるインスタンス追加 Chef / Puppet / Ansible 10

12 CTCが考える真の Cloud Native アプリケーションが自らCloud APIをコントロールし自律的にスケールするデザインにする Cloud Native Application 連携して動作自らデプロイしクラスタにJoin インスタンス追加 API openstack 11

13 Cloud Native Application を実現する RACK 12

14 どうやって Cloud Native Application を実現するか? Non Cloud Native Application Cloud Native Application API openstack Chef / Puppet / Ansible API openstack 13

15 Linux プロセスモデル source compile libraries httpd executable binary options content indication line display range output format fork fork launch(exec) shared memory/pipe process process process signal Linux filesystem 14

16 Cloud Native Applicationのモデルプログラム source compile ライブラリ libraries middleware OS fork process fork process VM Template psコマンド executable binary process openstack options launch(exec) 表 option1 示内容表 option2 示範囲出 option3 力形式 shared memory/pipe signal filesystem 15

17 RACK -Real Application Centric Kernel- Cloud Native Application の実行環境の提供シンプルで簡単なプログラミング環境の提供 Cloud Native Application リソースの抽象化 VM ネットワークストレージといった個別のリソースを抽象化し Unixライクな process としてプログラムから操作可能にする process process process RACK (Kernel) process 起動確認 process(vm) 内部のアプリケーションが正常に動作しているかを確認するプログラム上では隠蔽される compute process 間連携機能の提供 process 間でのデータ共有シグナル通知といった機能をプログラムから操作可能にする network storage openstack 16

18 RACKのアーキテクチャ RACK の構成要素 API ライブラリ (プロセス間連携に利用するソフトウェア群 ) Application RACK server openstack Process(VM) API Nova API rackclient Neutron API Redis Process(VM) rackclient プロセス間連携 Websocket Swift Keystone API 17

19 RACK を使ったプログラミング例 (Python) def parent(args_list): children = fork(args_list) results = pipe.read() file.write( result.txt, results) Parent write File System def child(args): result = something(args) pipe.write(result) fork RACK API read Pipe if name == main : if not ppid: parent(args_list) else: child(args) Child Child write 18

20 Cloud Native Application のデモ 19

21 円周率近似値計算アプリケーションモンテカルロ法というシミュレーション手法を利用する実行過程で大量の乱数生成処理が発生する大量のCPUリソースを必要とする Parent Child Child Child 自律的にスケールアウト(fork)する並列処理で高速に動作する処理が終われば自らkillする CPUリソースをスケールアウトする 20

22 円周率近似値計算アプリケーション montecarlobinary 試行回数プロセス数出力先 boot 親プロセス子プロセスをForkする子プロセスの終了を待つ子プロセスの出力結果を集計してレポートを出力する子プロセスシミュレーションを実行する結果を親に通知する 21

23 実行と結果実行結果 rack process-create --image montecarlo --args trials= , workers=3, stdout=/output/result.txt Property Value trials workers 3 points pi result error time

24 Demonstration 23

25 処理フロー $ rack process-create RACK Functions Parent API boot Pipe put File System binary send results deploy Child Child Child Child 24

26 分散ファイル解析アプリケーション膨大な数のファイルを一度に処理する grepやsedといった簡単なコマンドをクラウドスケールで実行する Parent Child Child Child 自律的にスケールアウト(fork)する並列処理で高速に動作する処理が終われば自らkillする CPUリソースのスケールアウト IOの分散 25

27 分散ファイル処理アプリケーションシェルコマンド distributedshellbinary boot クラスタ数入力ファイルパス出力ファイルパス親プロセスコマンド解析子プロセスをFork 子プロセスの処理を待つ子プロセスファイルを取得コマンドを実行してファイルを処理結果を出力 26

28 実行と結果実行結果 rack process-create --image distributed-shell --args command= grep foo grep bar, stdin=/input, stdout=/output foo bar foo bar foo bar foo bar 27

29 処理フロー $ rack process-create input files output files RACK Functions API File System put fork boot Child (grep) Pipe Child (sed) binary deploy Child (grep) Pipe Child (sed) Parent Child (grep) Pipe Child (sed) 28

30 パフォーマンス( 円周率近似値計算アプリケーション) 試行回数が増えても実行時間は一定試行回数を増やすほど精度が向上 29

31 RACKの可能性 RACKはその名の通り Kernel としての役割を果たすその上で動かすアプリケーションは自由に開発することができる Mobile BigData process IoT process Analytics process RACK (Kernel) compute network openstack storage 30

32 コミュニティ活動 31

33 OpenStack Community OpenStack プロジェクトを運営している OSS コミュニティソースコードレビュー管理システムなどの開発関連ツールの提供や OpenStack Summit の運営などを行っている RACK もこのコミュニティで開発を行っており誰でも開発に参加可能である

34 OpenStack Summit 2014 Paris OpenStack Summit で RACK を発表海外の開発者たちからの注目評価を得た開催場所 :フランス開催期間 :2014 年パリ 11/3~11/7 33

35 Cloud Native Hackathon Cloud Native Application/RACK に関する勉強会ハッカソン等を企画予定オープンな場での意見交換やアプリケーション開発を通して Cloud Native Application の可能性を広げていきたい 34

36 Thank you!

OpenCloud によるクラウドインフラの変化 ~ 次世代サービス基盤技術への取組み ~ 伊藤忠テクノソリューションズ株式会社クラウドプラットフォーム事業グループ IT インフラサービス企画開発部小岩井裕 Copyright(c) 2013 ITOCHU Techno-Solutions Corp

OpenCloud によるクラウドインフラの変化 ~ 次世代サービス基盤技術への取組み ~ 伊藤忠テクノソリューションズ株式会社クラウドプラットフォーム事業グループ IT インフラサービス企画開発部小岩井裕サービス基盤とアプリケーションの変遷次世代サービス基盤では OpenCloud が中心になると予想普及時期 1990~ 2010~ 2015~ ハウジングコロケーション ( サイロ型 )