OpenStack/Contrail integration on k8s

Size: px

Start display at page:

Download "OpenStack/Contrail integration on k8s"

あいとうとだ
5 years ago
Views:

1 Kubernetes を使って OpenStack の運用管理を進化させよう! - Kolla-Kubernetes のご紹介年 12 月 7 日 Yahoo! JAPAN {ytatsumi, tasogabe}@yahoo-corp.jp

2 Agenda Yahoo! JAPAN ご紹介 OpenStack 運用の課題 Docker(Kolla) で解決出来ること Kubernetesで解決できること 2

3 自己紹介 (1) 立見祐介 (Yusuke Tatsumi) Yahoo! JAPAN にて production NW 構築運用に従事最近は OpenStack プライベートクラウドの仮想ネットワークの検証構築を行なう得意技 : ケーブリング ( 物理仮想 ) 3

4 自己紹介 (2) 曽我部崇 (Takashi Sogabe) Yahoo! JAPAN にて OpenStack プライベートクラウドの運用管理を効率化するための技術開発に従事得意技 : AWS(OpsWorks, CodeDeploy etc.) 4

5 5 Yahoo! JAPAN ポータルサイト Overview

6 Yahoo! JAPAN ポータルサイト Overview Monthly Page Views 69+ Billion Apps Total Download 380+ Million Monthly Page Views (Only Smartphone) 39+ Billion Number of services 100+ OpenStack Private Cloud でも主要なサービスを提供中! 6

7 急増する Yahoo! JAPAN のワークロード急激な利用増加により Network を始め安定性の向上が課題となる YoYでリソース2 倍利用増加クラスタ数の爆増 density growth in HV vcpu (x10k) 15 Memory (x10tb) 10 Block (x1pb) year ago Half year ago Today 7

8 OpenStack 運用の課題 (1) Juju/MAAS, Triple-O, Fuel 初期インストールは簡単になった運用は必ずしも楽にならない Security Fix Update OpenStack Cluster の成長 8

9 OpenStack 運用の課題 (2) OpenStack クラウドネイティブアプリを開発運用できるプラットフォームアプリ開発者は大幅に生産性が向上 OpenStack 自体の運用旧来の力技運用 ( ペットのように扱う ) OpenStack Engineer の生産性は以前と変わらず 9

10 OpenStack 運用の課題 (3) クラウドネイティブの世界 CI/CD パイプライン ELK スタック等へのログ集約サービスのメトリクスモニタリング Design for Failure etc. 10

11 11 UPDATE OpenStack 運用管理

12 OpenStack CI/CD パイプライン CI/CD パイプラインを回すことで品質の安定とクラスタの進化を加速 Tox Tempest Rally Commit Build Unit Test Deploy System Test Deploy (Prod) Measure/ Validate 12 Production Feedback

13 Yahoo! JAPAN の取り組み OpenStack のコントローラを Kubernetes 上にデプロイする _k8s/ OpenStack の Controller 部分を k8s 上に載せるのは難しくないただしプロダクションレベルでの運用や Compute / Network ノードを扱うには様々な考慮が必要 13

14 14 Kolla

15 Kolla Docker を用いて OpenStack の CI/CD プロセスを実現 Mission Statement Kolla provides production-ready containers and deployment tools for operating OpenStack clouds. 15

16 Kolla メリット Deploy が簡単 Docker Container を用いて素早く Deploy 運用が簡単 Ansible を用いたコンフィグ管理 16

17 Kolla Architecture Host #n Infrastructure Engineering OpenStack Service Containers Docker CI CD Ansible Registry cgroups OS namespaces 17

18 Quick Start Guide (1) Vagrant + VirtualBox per/kolla/vagrant-dev-env.html 18

19 Quick Start Guide (2) $ git clone -b stable/newton kollanewton $ cd kolla-newton/dev/vagrant $ vi Vagrantfile.custom $ vagrant up 19

20 Quick Start Guide (3) Vagrantfile.custom: (Mac + VirtualBox の例 ) PROVIDER="virtualbox" PROVIDER_DEFAULTS = { virtualbox: { centos: { bridge_interface: "en0: Wi-Fi (AirPort)", base_image: "centos/7", sync_method: virtualbox", kolla_path: "/home/vagrant/kolla" } } } 20

21 Quick Start Guide (4) 21 Guest OS に CentOS(Default) を使う場合は次の patch を Vagrantfile に当てる必要があります master では修正済 $ cd /path/to/kolla-newton/dev/vagrant $ patch_id=dcb102608d05d20c58c7340f948c94dd4b6da971 $ git diff $patch_id^ $patch_id > 00patch.txt $ patch -p4 < 00patch.txt

22 Quick Start Guide (5) Vagrant および VirtualBox をインストールした後に次のプラグインをインストール $ vagrant plugin install vagranthostmanager vagrant-vbguest 22

23 Quick Start Guide (6) Image のビルド $ kolla-build Image のデプロイ $ sudo kolla-ansible deploy 23

24 Quick Start Guide (7) 24 RDO の version 指定をするには? /etc/kolla/kolla-build.conf 内に rpm_setup_config を指定する /etc/kolla/kolla-build.conf (mitaka 例 ) rpm_setup_config = mitaka/current/delorean.repo, entos7-mitaka/delorean-deps.repo

25 Kolla Notes Ocata( 次期リリース ) 以降 Kolla は Kolla および Kolla-Ansible の 2 つに分離される Kolla Docker image のビルド Kolla-Ansible Docker image のデプロイ (Ansible) 25

26 Kolla Design (1) Node type 毎に deploy されるサービスが異なる Controller API や DB 等 OpenStack Controller Network neutron-agent Compute nova-compute Storage cinder volume (LVM or ceph-osd) 26

27 Kolla Design (2) Docker の設定 Networking net=host が用いられる Storage Storage Driver: default の devicemapper だと I/O 性能が出ないため aufs または btrfs への変更が推奨されている Docker host 上の /var/lib/docker 以下にボリュームが保存される 27

28 Kolla Design (3) Under Cloud の構築 Bifrost スタンドアロンで動作する Ironic kolla-ansible コマンドにて deploy できる a/bifrost.html MAAS, Cobbler Docker Host を構築するだけで良いため比較的簡単に作りこめるはず 28

29 Kolla が向いているケース OpenStack クラスタサイズが頻繁に増加しないと見込まれる環境 Docker で CI/CD を回したい Ansible を用いたインベントリ管理で十分今すぐ使いたい 29

30 Kolla-Kubernetes (Kolla-k8s) 30

31 Kolla-Kubernetes Kolla-Kubernetes (Kolla-k8s) Kolla Container を Kubernetes 上で動かす 31

32 Kubernetes が得意なこと Stateless なアプリの運用管理 Front: Nginx Backend: RDS や DynamoDB 等のクラウドサービス環境にフィットする Scale Up, Scale Down Rolling Upgrade 32

33 Kubernetes が苦手なこと Stateful なアプリの運用管理 MySQL や RabbitMQ のようにバックエンドストレージが必要であったりノードの追加削除に別途ロジックが必要なものは実装に工夫が必要特定ホスト上に固定して実行する必要があるアプリ 33

34 OpenStack on k8s 苦手な Stateful アプリをうまく料理できれば Kubernetes の良さ (Scalability, Manageability) を OpenStack でも味わえる! MySQL RabbitMQ 34

35 Kolla-Kubernetes の特徴 Stateful component (MySQL, RabbitMQ) を扱える nova-compute を扱える Workflow tool の形で提供される Ansible (~Newton) Operators/Helm (Ocata~) 35

36 Quick Start Guide 2016/11 現在 Quick Start(Vagrant 等 ) する方法はありません Ocata リリースに向けてアーキテクチャの全面刷新を進めています 2016/11 現在動作するコードは master 上にありません 36

37 Kolla-k8s Design (Ocata) Kubernetes Operators Stateful ソフトウェア等複雑なオペレーションが必要なアプリを k8s 上で運用するためのロジックを実装 Helm Package k8s package manager 37

38 Kolla-k8s Design Under Cloud(k8s cluster) の構築 Public Cloud(AWS, GCE) 向けの Deployment Tool は充実している kube-deploy kops Bare Metal でも使えそうなものは少ない halcyon-kubernetes Juju/MAAS 38

39 Kolla-k8s 課題 (1) Kubernetes cluster の安定運用 cluster 自体の upgrade ができる? High Availability 構成で運用できる? 適切に cluster を構成しないと新たな複雑さを OpenStack にもたらすだけになる安定運用できれば OpenStack を k8s 上に載せることで Scalability, Manageability のメリットが得られる OpenStack Controller のみ Public Cloud 上にデプロイするのは良い考えかもしれない 39

40 Kolla-k8s 課題 (2) Kolla-k8s には課題が沢山ご興味がある人は是非 contribute してください! olla-kubernetes 40

41 まとめ Kolla や Kolla-Kubernetes を使うと得られるメリット OpenStack をクラウドネイティブアプリのように開発運用できる Kolla-kubernetes については Ocata に向けて開発進行中 41

42 42 参考情報

43 OpenStack on Kubernetes (1) Fuel CCP Document 43

44 OpenStack on Kubernetes (2) Stackanetes ckanetes Newton にて tech review がリリースされたコンテナエンジン : rkt 44

45 OpenStack on Kubernetes (3) OpenStack-helm ack-helm Helm を用いて OpenStack を Deploy できる 45

Yahoo! JAPANにおけるOpenStack on Kubernetes導入までの道のり

Yahoo! JAPANにおけるOpenStack on Kubernetes導入までの道のり Yahoo! JAPAN における OpenStack on Kubernetes 導入までの道のり続 Dec 7, 2017 1 ヤフー株式会社システム統括本部サイトオペレーション本部北田駿也木下裕太 Who are we? 北田駿也 (Shunya Kitada) 2013 年からヤフーのOpenStackチームに所属 OpenStackと社内システムの開発 OpenStackのデプロイシステムの開発