NTT Communications Presentation(28pt)

Size: px

Start display at page:

Download "NTT Communications Presentation(28pt)"

つねときあきくぼ
5 years ago
Views:

1 社内プライベートクラウド品質向上に向けたデプロイ, テスト, ベンチマークの自動化 NTT コミュニケーションズ株式会社技術開発部

2 About Us 松本赳明 NTT コミュニケーションズ技術開発部エンジニア 2015~ OpenStack 研究開発 Tempest 等のコンポーネントにコントリビュート 1

3 Agenda 1. 会社概要 2. 背景 3. デプロイとベンチマークの自動化デプロイ (Cobbler, Chef) テスト (Tempest) ベンチマーク (Rally) 評価 4. ユースケース 5. まとめ 6. Rally 最新動向 2

4 OpenStack プロダクト About NTT Communications Enterprise Cloud 2.0 Cloud n VPC type ClosedNW OpenStack コミュニティ活動 OpenStack Foundation Corporate Sponsor Japan OpenStack User Group Bug Report / Bug Fix / Blueprint 3

5 目的運用ノウハウの蓄積 ( バグフィックスアップデート...) 新しいコンポーネントや機能の検証頻繁に設定や構成を変更壊してもすぐに戻せる必要 OpenStack の構築 Background 大量のコンポーネントモジュール設定ファイル複雑なネットワーク構成冗長化 OpenStackのデプロイは容易にできない 4

6 Our Challenge どうやったら品質を維持したまま継続的なデプロイができるか? 5

7 2. デプロイとベンチマークの自動化 6

8 Improvement cycle Deploy OpenStack Functional Test Benchmark Change structure Evaluate Result Output Result 7

9 Our Implementation (2/2) Deploy OpenStack Chef Cobbler Automate Functional Test Tempest Automate Benchmark Rally Change structure Github Enterprise Hand work Fluentd Kibana Elasticsearch Evaluate Result Hand work Output Result Rally Influxdb 8

10 Our Implementation (2/2) Deploy OpenStack Chef Cobbler Automate Functional Test Tempest Automate Benchmark Rally Change structure Github Enterprise Hand work Fluentd Kibana Elasticsearch Evaluate Result Hand work Output Result Rally Influxdb 9

11 Deployment Deploy OpenStack Automate Functional Test Automate Benchmark Change structure Output Result Hand work Evaluate Result Hand work 10

12 Orchestration Configuration Bootstrapping Networking デプロイのステップクラスタの設定それぞれのサーバの設定物理サーバへのOSインストールスイッチの設定 Deployment Chef Chef Cobbler Expect 12

13 Orchestration Configuration Bootstrapping Networking デプロイのステップクラスタの設定それぞれのサーバの設定物理サーバへのOSインストールスイッチの設定 Deployment Chef Chef Cobbler Expect 13

14 Orchestration Configuration Bootstrapping Networking デプロイのステップクラスタの設定それぞれのサーバの設定物理サーバへのOSインストールスイッチの設定 Deployment Chef Chef Cobbler Expect 14

15 Orchestration Configuration Bootstrapping Networking デプロイのステップクラスタの設定それぞれのサーバの設定物理サーバへのOSインストールスイッチの設定 Deployment Chef Chef Cobbler Expect 15

16 Orchestration Configuration Bootstrapping Networking デプロイのステップクラスタの設定それぞれのサーバの設定物理サーバへのOSインストールスイッチの設定 Deployment Chef Chef Cobbler Expect 16

17 Infrastructure as a Code Deployment 環境情報はすべてテキストフォーマットで記述し Gitでバージョン管理するネットワークの設定 OpenStackの構成どのサーバがどの役割をもつノードかそれぞれのノードの設定 Chef Cookbook, Repository 17

role) Configuration Chef の適用 (Configuration role)

18 Deployment flow Deployment Git clone Update Chef Server Networking スイッチの設定 Orchestration Chef の適用 (Orchestration role) Configuration Chef の適用 (Configuration role) Bootstrapping OS インストール 18 Omit Detail process, later let us explain detail each step

19 Deployment flow Deployment Git clone Update Chef Server Networking スイッチの設定 Orchestration Chef の適用 (Orchestration role) Configuration Chef の適用 (Configuration role) Bootstrapping OS インストール 19 Omit Detail process, later let us explain detail each step

20 Deployment flow Deployment Git clone Update Chef Server Networking スイッチの設定 Orchestration Chef の適用 (Orchestration role) Configuration Chef の適用 (Configuration role) Bootstrapping OS インストール 20 Omit Detail process, later let us explain detail each step

yaml - server_1: - eth0: - vlan10: - native - vlan100 - eth1: - vlan10: - native

21 Automate Networking Deployment Networking VLAN の自動設定必要条件 server_port_name の定義命名規則に沿ったスイッチの interface description の設定 Config.yaml - server_1: - eth0: - vlan10: - native - vlan100 - eth1: - vlan10: - native <server_name>_<server_port_name> Naming rule for physical port eth6 eth0 eth1 eth2 eth3 eth4 eth5 21 eth7 When I got servers, I decide it

22 Chef Server Service Automate Networking flow (1/4) Github Enterprise 1 config.yaml (image) - server_1 - eth0 - vlan10 - native - vlan100 - eth1 - vlan10 Benchmark Dashboard Deployment Networking 1. VLAN 設定を含む設定の取得 Tempest Rally Cobbler influxdb 22

23 Automate Networking flow (2/4) Deployment Networking Chef Server Service Github Enterprise Benchmark Dashboard 2. スイッチからポートの descriptionを取得 2 Tempest Rally Cobbler influxdb 23

24 Automate Networking flow (3/4) Deployment Networking Chef Server Service Github Enterprise 3 Benchmark Dashboard Server1 eth0(switch1 port 1/15) => VLAN100, 200 Server1 eth1(switch2 port 1/15) => VLAN100, 200 Tempest 3. 各種情報からスイッチの設定を生成 Rally Cobbler influxdb 24

25 Automate Networking flow (4/4) Deployment Networking Chef Server Service Github Enterprise Benchmark Dashboard 4. 生成されたコマンドの実行 4 Tempest Rally Cobbler influxdb 25

26 Deployment flow Deployment Git clone Update Chef Server Networking スイッチの設定 Orchestration Chef の適用 (Orchestration role) Configuration Chef の適用 (Configuration role) Bootstrapping OS インストール 26 Omit Detail process, later let us explain detail each step

27 Bootstrapping flow (1/3) Deployment Bootstrap Chef Server Service Github Enterprise 1.Chefの適用 Benchmark 2.Cobbler Dashboard のインストールと設定サーバの登録 Hostname IP address 2 Tempest 1 Rally Cobbler influxdb 27

28 Bootstrapping flow (2/3) Deployment Bootstrap Chef Server Service Github Enterprise Benchmark 3. IPMI power Dashboard reset 4. PXEで自動インストールが開始 3 Tempest Rally 4 28 Cobbler influxdb

29 Bootstrapping flow (3/3) Deployment Bootstrap Chef Server Service Github Enterprise Benchmark Dashboard 5. SSHで接続できるかチェック Tempest 5 Rally Ubuntu Cobbler influxdb 29

30 Deployment flow Deployment Git clone Update Chef Server Networking スイッチの設定 Orchestration Chef の適用 (Orchestration role) Configuration Chef の適用 (Configuration role) Bootstrapping OS インストール 30 Omit Detail process, later let us explain detail each step

31 Configuration, Orchestration flow(1/3) Deployment Orchestration Internet Chef Server Github Enterprise 1. Git clone で OpenStack の構成情報を取得 1 definition.json Tempest Rally Configuration { <environment> : { servers : { server1 : backend, server2 : controller }, dependencies : { backend : [], controller : [{ backend :1}] } } } Ubuntu Cobbler influxdb 31

32 Configuration, Orchestration flow(2/3) Deployment Orchestration Internet Chef Server 3 Github Enterprise 2 Benchmark 2. Chefの適用 Dashboard 3. roleの適用 backend configuration role backend orchestration role Tempest Rally Configuration Ubuntu Cobbler influxdb 32

33 Configuration, Orchestration flow(3/3) Deployment Orchestration Internet Chef Server Github Enterprise Benchmark Dashboard 4. Orchestration roleの削除 Orchestration roleは冪等性がないため Configuration 4 Tempest Rally OpenStack Cobbler influxdb 33

role) Configuration Apply Chef (Configuration role) Bootstrapping

34 Deployment is ended Deployment Git clone Update Chef Server Networking Setting switch Orchestration Apply Chef (Orchestration role) Configuration Apply Chef (Configuration role) Bootstrapping OS install 34 Omit Detail process, later let us explain detail each step

35 Review the Automate deployment Deployment Pros いつでも誰でも同じ環境を構築することができる Cons 複数のツールを複雑に組み合わせる必要がある広い知見が必要 35

36 機能テスト 36

37 Functional Test Omit detail process here Deploy OpenStack Automate Functional Test Automate Benchmark Change structure Output Result Hand work Evaluate Result Hand work 37

38 Functional Test Functional Test テストに使用したツール Tempest Tempest とは? Tempest は公式のインテグレーションテストスイート Tempest can test any OpenStack, all in one or 1000 nodes 38

39 Functional Test Tempest は upstream の開発に使用されている Functional Test 39 Community Workflow by

40 What types of test we use Functional Test 実行しているテスト APIテストそれぞれのAPIが単体で正しく動くかのテストシナリオテストユーザーが実際行うような一連の操作のテスト 40

41 How to use Functional Test 実行方法 1. tempest.conf の編集 2../run_tempest.sh の実行 (ostestr, 将来的には tempest) $./run_tempest.sh Ran 1124 tests in s FAILED (failures=4) 41

42 Test flow (1/4) Functional Test Chef Server Service Github Enterprise Benchmark Dashboard 1. Tempest のコンテナの作成 1 Tempest Rally OpenStack Cobbler influxdb 42

43 Test flow (2/4) Functional Test Chef Server Service Github Enterprise Benchmark Dashboard 2. Chefの適用 3. tempest.confの設定 2 3 Tempest Rally OpenStack Cobbler influxdb 43

44 Test flow (3/4) Functional Test Chef Server Service Github Enterprise Benchmark Dashboard 4. OpenStackに対してtempest 実行 Tempest 4 Rally OpenStack Cobbler influxdb 44

45 Test flow (4/4) Functional Test Chef Server Service Github Enterprise Benchmark Dashboard 5. 結果の取得とコンテナの削除 5 Tempest Rally OpenStack Cobbler influxdb 45

46 Review the Test Functional Test Pros 環境に応じた設定の自動デプロイカスタマイズしたシナリオの実行ができる Cons シナリオがシステムの構成パターンを網羅していない Tempestに11 個のパッチを提出 APIレベルでテストケースの制御ができない 46

47 ベンチマーク 47

48 Benchmark Omit detail process here Deploy OpenStack Automate Functional Test Automate Benchmark Change structure Output Result Hand work Evaluate Result Hand work 48

49 Benchmark Benchmark ベンチマークツール Rally ( is one of the OpenStack projects ) Rally とは? Released v0.4.0 in 18 Apr 2016 ベンチマークツールデプロイやテストもサポートしている 49

$json { } "admin": { "password": p@ssw@rd", "tenant_name": admin", "username":$ admin" }, "auth_url": "http://lb:5000/v2.

50 1. Deployment の作成 How to use Rally Benchmark cat config.json { } "admin": { "password": p@ssw@rd", "tenant_name": admin", "username": admin" }, "auth_url": " "type": "ExistingCloud" 既に構築済みの OpenStack を登録 rally@3eba :~$rally deployment create --filename config.json --name existing 50

2. Credential の確認 How to use Rally Benchmark rally@3eba20593250:~$ rally deployment check keystone endpoints are valid and following services are available: +----------+----------+-----------+

51 2. Credential の確認 How to use Rally Benchmark rally deployment check keystone endpoints are valid and following services are available: services type status cinderv2 volumev2 Available glance image Available keystone identity Available neutron network Available nova compute Available

$3. task file の作成 How to use Rally Benchmark rally@3eba20593250:~$ cat benchmarks/nova/boot-and-delete.json {% set flavor_name = flavor_name or "m1.tiny" %} { "NovaServers.$

52 3. task file の作成 How to use Rally Benchmark cat benchmarks/nova/boot-and-delete.json {% set flavor_name = flavor_name or "m1.tiny" %} { "NovaServers.boot_and_delete_server": [ { "args": { "flavor": { "name": "{{flavor_name}}" ] } } } }, "image": { "name": "^cirros.*$" } Task ファイルは json か yaml で記述できて Jinja2 の文法が使える. 52

4. ベンチマークの実行 How to use Rally Benchmark rally@3eba20593250:~$ rally task start benchmarks/nova/boot-and-delete.

53 4. ベンチマークの実行 How to use Rally Benchmark rally task start benchmarks/nova/boot-and-delete.json Response Times (sec) action min median 90%ile 95%ile max avg success count nova.boot_server % 10 nova.delete_server % 10 total % Load duration: Full duration:

54 5. 結果を HTML で出力 How to use Rally Benchmark rally task report --tasks 5e8815a9-10eb-4d67-86b4-6027f4adc634 1f71cb68-9c1e-49e3-8af5-6d21dc34c455 --out result.html --html 54

55 How to use Rally Benchmark ベンチマークの種類ごとに詳細結果を確認できる 1 There is blueprint 55

56 How I use Rally Benchmark Rally task start Benchmark 過去との比較 (Summary) No 異変の発見 OK Rally task report 56 Yes 詳細の確認

57 How I use Rally Benchmark 開発 Rally task start Benchmark Dashboard No OK Benchmark 過去との比較 (Summary) Detect unusual Rally task report 詳細の確認 57 Yes

58 Benchmark Dashboard Benchmark Benchmark Dashboard 2 つの機能を提供過去のサマリーと現在のサマリーを比較詳細レポートへのリンク 58

59 Benchmark Dashboard Benchmark 59

60 Benchmark flow (1/4) Benchmark Chef Server Service Github Enterprise Benchmark Dashboard 1. Rally のコンテナを作成 1 Tempest Rally OpenStack Cobbler influxdb 60

61 Benchmark flow (2/4) Benchmark Chef Server Service Github Enterprise 2. Register Benchmark existing OpenStack 3. ベンチマークの実行 Dashboard Tempest OpenStack 3 2 Rally Cobbler influxdb 61

62 Benchmark flow (3/4) Benchmark Internet 4. report.htmlをbenchmark Dashboard にアップロード Chef Github 5. Influxdb Server にサマリーを Enterprise POST Benchmark Dashboard 4 Tempest Rally 5 OpenStack Cobbler influxdb 62

63 Benchmark flow (4/4) Service Dashboardからサマライズされた結果が見れる Chef Server Github Enterprise Benchmark Dashboard Developer 結果を確認 Tempest Rally OpenStack Cobbler influxdb 63

64 Review the Benchmark Benchmark Pros 過去との結果の比較ができるベンチマークのプロセスがすべて自動化されている Cons たくさんのシナリオはサポートしていないベンチマークのベストプラクティスが明らかでない 64

65 結果の評価 65

66 Deploy and Test and Benchmark cycle Deploy OpenStack Automate Functional Test Automate Benchmark Change structure Output Result Hand work Evaluate Result Hand work 66

67 When benchmark score is bad ボトルネックや問題をみつける必要があるホストが多すぎるログが多すぎる発見が難しい解析基盤の構築データの集約モニタリングアラートの通知 67

68 Architecture to evaluate the result OpenStack logs Host resource data Log Analysis store notify Get WARNING/ERROR notifications Storage 68

69 ユースケース 69

70 What scenario I use Use case ベンチマークシナリオ VMTask scenario (Rally にデフォルトで入っているシナリオ ) 違う並列数のシナリオを複数用意 (30, 50) nova boot ssh login run command via ssh nova delete 70

71 Why I use Use case VMTask シナリオ一般的なユースケースのシナリオ総合的なシナリオインスタンスセキュリティグループテナントネットワークルーター Floating IP ユーザーの数が増えるとどのコンポーネントに影響が出るのかを知りたい 71

72 What happened Use case ベンチマークで起こった問題成功率が 100% にならない 72

73 ベンチマークの詳細を確認 Analyze cause of failure Use case IP のリーチャビリティがない 73

74 Neutron の log をチェック Analyze cause of failure Use case connection pool がオーバーフローしている. DB の設定について見直す必要. 74

75 Change configuration Use case [database] in neutron.conf を変更 - max_retries - retry_interval - min_pool_size - max_pool_size - ide_timeout - max_overflow 75

76 Check again Use case $ git checkout -b change_db_setting_in_neutron_conf $ git commit -am foobar $ git push origin change_db_setting_in_neutron_conf Slack から Jenkins にリクエスト 76

77 Check again Use case 設定変更によって成功率が改善 77

78 まとめ 78

79 conclusion デフォルトの設定はすべてのユースケースにはマッチしない最適な設定をみつける必要がある最適な設定を見つけるにはサイクルを回す必要があるデプロイ, テスト, ベンチマーク, 評価すべてのプロセスを自動化してくれるような魔法のツールはない複数のOSSを組み合わせることで実現可能 79

80 Rally 最新動向 80

81 機能の Plugin 化 Rally 最新動向 (general) Task や Deployment などの基本的な機能を含め Plugin 化あわせて Plugin に関するドキュメントや help コマンドで plugin の help を出せる機能結果のエクスポート機構サンプルとして json ファイルでベンチマークの結果を出力する機能 Plugin を書けばサードパーティのツールに送ることも DB マイグレーション機能 81

82 Rally 最新動向 (general) Output 画面のカスタマイズ機能マルチ API バージョンサポート Task の中で API Version がコントロールできる Heat based VM Workloads Heat でシステムを構築しそのシステム上で workload を流して結果を Rally に収集できるようになった OpenStack 上に複数台から構成されるシステムを想定したベンチマークが可能に 82

83 テストのシナリオ指定 Rally 最新動向 (verify) Tempest のテスト名を羅列したファイルを読み込むことで実行するテストを指定できる Tempest の結果読み込み機能 Xfail 機構失敗することがわかっているテストを指定することでそのテストが失敗しても成功とみなす外部の tempest.conf 読み込み機能 83

84 将来的に実装予定の機能 Rally 最新動向 (future) Tempest Plugin のサポート Rally Task Certification Rally Certificated なベンチマークシナリオリスト Trend & Compare reports 結果の比較機能 HA testing 破壊的なシナリオ Rally as a Service 84

85 License Jenkins image by Jenkins project is licensed under a Creative Commons Attribution-ShareAlike 3.0 Unported License. 85

Congress Deep Dive

Congress Deep Dive NTT 室井雅仁 2016 NTT Software Innovation Center 自己紹介室井雅仁 ( むろいまさひと ) 所属 : NTT OpenStack を利用した OSS クラウドのアーキテクトを担当社内向け OpenStack 環境の運用コミュニティへフィードバック OpenStack Congress Core Reviewer https://wiki.openstack.org/wiki/congress