OpenStackDaysTokyo2015 ホントのところどうなの?OpenStack 機 は 熟 したのか? 2015 /2/4 ユニアデックス 株 式 会 社 戦 略 マーケティング 部 田 中 克 弥 / 吉 本 昌 平
会 社 概 要 社 名 ユニアデックス 株 式 会 社 代 表 者 代 表 取 締 役 社 入 部 泰 (いりべ やすし) 住 所 /TEL 135-8560 東 京 都 江 東 区 豊 洲 1-1-1 03-5546-490( 大 代 表 ) 設 1997 年 3 月 4 日 資 本 7 億 5,000 万 円 従 業 員 数 3,174 名 (2015 年 12 月 1 日 現 在 ) 売 上 高 1,278 億 円 (2015 年 3 月 期 ) * 旧 ネットマークス 分 含 む 日 本 ユニシスグループの インフラトータルサービス 企 業 Copyright 2015 UNIADEX, Ltd. All rights reserved. 1
自 己 紹 介 < 田 中 克 弥 > Copyright 2015 UNIADEX, Ltd. All rights reserved. 2 業 務 マーケティング 担 当 主 な 経 歴 ネットワークエンジニア サーバーエンジニア Linuxアプライアンス 開 発 Webアプリ 開 発 (Vim 派 ) サーバー 仮 想 化 エンジニア 2009 ~2011 年 米 国 駐 在 プライベートクラウド 企 画 趣 味 フットサル 旅
自 己 紹 介 < 吉 本 昌 平 > どんな 人? MSX IBM PS/VMaster 自 作 NE(ASP) PG(Linux) NE( 企 業 コア) 企 画 ( 仮 想 化 SDN) 宅 に ほどある 某 社 ネットワーク 機 器 を 処 分 中 日 々の 仕 事 今 年 からSDNエバンジェリスト/アーキテクト 趣 味 自 作 卒 業 コンピュータ 全 般 卒 業? 写 真 稟 議 中 Copyright 2015 UNIADEX, Ltd. All rights reserved. 3
OpenStackに 関 する SIerの 悩 み Copyright 2015 UNIADEX, Ltd. All rights reserved. 4
興 味 の 幅 が 広 い Copyright 2015 UNIADEX, Ltd. All rights reserved. 5
本 日 のおはなし 1. 入 門 編 OpenStackってどうよ? 2. 上 級 編 Neutronって 何 がうれしい? Copyright 2015 UNIADEX, Ltd. All rights reserved. 6
OpenStackってどうよ? 7 https://flic.kr/p/eh2xbd
Copyright 2015 UNIADEX, Ltd. All rights reserved. 8 https://www.flickr.com/photos/cristianocani/2813932469
群 雄 割 拠 http://commons.wikimedia.org/wiki/file:sekigaharascreen.jpg
Copyright 2015 UNIADEX, Ltd. All rights reserved. 10
いろいろなOpenStack コミュニティ 版 商 用 ディストリビューション Cloudscaling,HP,Mirantis,metacloud,Nebula,StackOps, RedHat,Suse,Oracle,Pistoncloud,Ubuntu,VMware 2015 年 2 月 現 在 商 用 ディストリビューション 提 供 を 発 表 あるいは 計 画 している 企 業 (アルファベット 順 ) http://www.openstack.org/marketplace/distros/ Copyright 2015 UNIADEX, Ltd. All rights reserved. 11
OpenStack 周 辺 機 材 の 注 意 点 対 応 OpenStackA ネットワークメーカーA 非 対 応 OpenStackB ストレージメーカーB 対 応 非 対 応 OpenStackC Copyright 2015 UNIADEX, Ltd. All rights reserved. 12
OpenStackの 落 とし https://flic.kr/p/8z11xd Copyright 2015 UNIADEX, Ltd. All rights reserved. 13
落 とし その1 既 存 環 境 からの 移 Copyright 2015 UNIADEX, Ltd. All rights reserved. 14
おさらい)OpenStackの 主 要 コンポーネント コントローラーノード ネットワークノード ポータル 画 面 Horizon ユーザ 認 証 管 理 Keystone VMイメージ 管 理 Glance データベース 管 理 Trove ビッグデータ 解 析 Sahara AMQP (RabbitMQ/QPID) 仮 想 マシン 管 理 Nova ネットワーク 管 理 Neutron リソース 計 測 Ceilometer 一 括 デプロイ 機 能 Heat MySQL or SDNスイッチ NeutronL2/L3Agent ボリューム コンピュートノード Nova ストレージノード オブジェクト (RabbitMQ/QPID) Cinder Swift Copyright 2015 UNIADEX, Ltd. All rights reserved. 15
落 とし その1) 既 存 環 境 からの 移 OpenStack 環 境 の 構 成 例 パブリックネットワーク 管 理 ネットワーク インターナルネットワーク 利 者 管 理 者 コントローラノード ネットワークノード コンピュートノード レノボエンタープライズソリューションズ 共 同 検 証 済 み 構 成 VMイメージコンバート/IPアドレス 体 系 /MACアドレスの 変 更 が 必 要 Copyright 2015 UNIADEX, Ltd. All rights reserved. 16
落 とし その2 仮 想 化 クラウド Copyright 2015 UNIADEX, Ltd. All rights reserved. 17
落 とし その2)HAに 対 する 考 え 方 仮 想 化 のHAアーキテクチャ クラウドのHAアーキテクチャ アプリケーション ミドルウェア アプリケーション ミドルウェア アプリケーション ミドルウェア ゲストOS ゲストOS ゲストOS ゲストOS 仮 想 化 仮 想 化 仮 想 化 サーバー サーバー サーバー サーバー Copyright 2015 UNIADEX, Ltd. All rights reserved. 18
落 とし その3 コントローラーノードの HA 構 成 Copyright 2015 UNIADEX, Ltd. All rights reserved. 19
落 とし その3)コントローラーHAの 考 え 方 コントローラーノードA コントローラーノードB コントローラーノードC Cinder MariaDB VIP RabbitMQ Nova Novametvncproxy Nova- VIP Cinder VIP Nova MariaDB RabbitMQ Cinder Nova MariaDB RabbitMQ VIP VIP Novavncproxy Novameta Novavncproxy Novameta VIP Keyston Glance VIP Keyston VIP Glance Keyston Glance Horizon VIP Neutron Horizon Neutron Horizon Neutron VIP Copyright 2015 UNIADEX, Ltd. All rights reserved. 20
落 とし その3)コントローラーHAの 考 え 方 コントローラーノードA コントローラーノードB コントローラーノードC Cinder MariaDB VIP RabbitMQ Nova Novametvncproxy Nova- VIP Cinder VIP Nova MariaDB RabbitMQ Cinder Nova MariaDB RabbitMQ VIP VIP Novavncproxy Novameta Novavncproxy Novameta VIP Keyston Glance VIP Keyston VIP Glance Keyston Glance Horizon VIP Neutron Horizon Neutron Horizon Neutron VIP ユーザがHorizonから 仮 想 マシンを 操 作 する 場 合 Copyright 2015 UNIADEX, Ltd. All rights reserved. 21
入 門 編 OpenStackってどうよ? 入 門 編 まとめ 1. 色 々なOpenStackがあります 2. 落 とし に 気 をつけましょう Copyright 2015 UNIADEX, Ltd. All rights reserved. 22
Photo by Martin Fisch https://www.flickr.com/photos/marfis75/14481855815 Nova-Networkではなく Neutronを 選 択 する Copyright 2015 UNIADEX, Ltd. All rights reserved. 23
Nova-NetworkではなくNeutronを 選 択 する OpenStackでネットワークを 構 築 する 場 合 の 選 択 肢 Nova-Network まだまだ 現 役 な いにしえの 技 術 OpenStackマニュアルでは レガシーネットワーク と 表 記 Neutron 次 世 代 のOpenStackNetworkingを 目 指 す 後 発 プロジェクト Copyright 2015 UNIADEX, Ltd. All rights reserved. 24
Nova-NetworkとNeutronのざっくりとした 比 較 Nova-Network 機 能 は 限 られるがシンプルで 動 作 実 績 が 豊 富 度 なネットワークは 実 現 出 来 ない 将 来 的 に 廃 止 が 予 定 されている いつかはNeutronへの 移 を う 必 要 がある 廃 止 に 関 しては 微 妙 な 動 きがあった Neutronが 廃 止 されることはないと 信 じたい Copyright 2015 UNIADEX, Ltd. All rights reserved. 25 Nova-Networkは Havanaで 非 推 奨 としたものの Icehouseで 一 旦 解 除 解 除 の 理 由 はFlatDHCPなどのマイグレーションパスが 欠 如 していた 期 間 限 定 で Nova-networkのパッチ 受 け 付 け 再 開 http:// docs.openstack.org/openstack-ops/content/nova-network-deprecation.html
Nova-NetworkとNeutronのざっくりとした 比 較 Neutron OpenStack 商 環 境 の 半 数 程 度 で 使 われている Nova-Networkに 無 い 度 なネットワーク 機 能 をサポート Nova-Networkを 代 替 する 上 で 不 している 部 分 も マイグレーションパス 単 一 障 害 点 https://wiki.openstack.org/wiki/governance/technicalcommitee/neutron_gap_coverage 開 発 途 上 直 近 のIcehouseでプラグイン 機 構 のアーキテクチャ 変 更 (ML2 化 )があり 不 安 定 な 印 象 もある トラブルシューティングが 難 しい Copyright 2015 UNIADEX, Ltd. All rights reserved. 26
Neutronを 選 択 する 理 由 (Nova-networkは 枯 れてますし シンプルで 間 違 いはないですが) これから 始 めるなら Neutronをオススメしたい! Copyright 2015 UNIADEX, Ltd. All rights reserved. 27
Photo by Stuart Chalmers https://www.flickr.com/photos/gertcha/6945114788 Neutronが 目 指 す ネットワーク 構 成 Copyright 2015 UNIADEX, Ltd. All rights reserved. 28
OpenStackが 目 指 しているのは 管 理 者 全 部 分 で 管 理 するのは 変 利 者 にある 程 度 好 きに 設 定 して 欲 しいけど コントロールが 効 かなくなるのは 嫌 だ なるべく 自 分 たちの 思 い 通 りにしたい 管 理 者 にいちいち 頼 むと 遅 いし だけど 必 要 以 上 の 運 用 は 嫌 だ 利 用 者 管 理 者 と 利 者 間 で 適 切 な 権 限 移 譲 を える 基 盤 の 実 装 マルチテナント(テナント 分 割 ) 機 能 で 解 決 テナント= 一 つのシステムやプロジェクト テナント 単 位 で 管 理 対 象 を 分 けて 利 者 に 移 譲 テナント 内 の 操 作 の 影 響 がテナントの 外 に 及 ばない Copyright 2015 UNIADEX, Ltd. All rights reserved. 29
Neutronが 目 指 すもの テナント 分 割 に 必 要 なネットワーク 機 能 の 実 装 1.テナント 単 位 で 仮 想 サーバーとネットワークを 分 離 2. 各 テナント 毎 に 仮 想 サーバへIPアドレスを 割 当 / 管 理 3. 各 テナントから 外 部 ネットワークへの 通 信 4. 外 部 ネットワークから 仮 想 サーバーへの 通 信 5. 更 に 度 なネットワークの 実 装 (SDN 連 携 やサービスチェイニング 自 動 化 ) ( 外 部 )ネットワーク 仮 想 ルータ 仮 想 スイッチ テナントA 仮 想 サーバ Copyright 2015 UNIADEX, Ltd. All rights reserved. 30 仮 想 ルータ 仮 想 スイッチ テナントB 仮 想 サーバ
Photo by PEO ACWA https://www.flickr.com/photos/acwa/8677845611 Neutronの 実 装 Copyright 2015 UNIADEX, Ltd. All rights reserved. 31
Neutronの 実 装 要 件 1. 各 テナント 毎 に 仮 想 サーバへIPア ドレスを 割 当 / 管 理 2. 各 テナント 内 部 から 外 部 ネット ワークへの 通 信 3. 外 部 ネットワークから 各 テナント 内 部 への 通 信 4. テナント 単 位 で 仮 想 サーバーと ネットワークを 分 離 実 装 Network Namespace 内 で 実 される dnsmasq Network Namespace 内 で 実 される iptables (NAT) Linux ip forwarding Network Namespace 内 で 実 される iptables (NAT) Linux ip forwarding Network Namespace, VLAN, GRE, VXLAN その 他 (ネットワーク 接 続 ) Open vswitch, veth pair, tap, Internal Port Copyright 2015 UNIADEX, Ltd. All rights reserved. 32
登 場 人 物 LinuxBridge OpenvSwitch(OVS) ソフトウェアスイッチ NetworkNamespace 仮 想 ネットワーク, 仮 想 ルータ マルチテナントネットワーク 環 境 を 作 る vethpair 仮 想 NICのペア= 仮 想 LANケーブル InternalPort Junoで 新 しく 採 用 された 低 負 荷 なvethpair TAPdevice 仮 想 サーバーが 利 する 仮 想 NIC Copyright 2015 UNIADEX, Ltd. All rights reserved. 33
Neutronの 内 部 構 成 仮 想 ルータ ( 外 部 )ネットワーク 外 接 用 ブリッジ 内 部 接 続 用 ブリッジ テナント DHCP サーバ 仮 想 サーバ 外 接 用 ブリッジ br-ex br-int 内 部 接 続 用 ブリッジ Copyright 2015 UNIADEX, Ltd. All rights reserved. 34 外 部 ネットワーク Namespace Router Namespace DHCP テナント 10.0.0.3 仮 想 ルータ DHCP サーバ インスタンス Open vswitch Network Namespace Linux Bridge Internal port TAP device Tenant
Neutronの 動 作 特 定 の 場 について, 具 体 的 な 動 作, 通 信 の 流 れを 説 明 します 1インスタンス( 仮 想 サーバ)へ 内 部 IPを 割 り 当 てる 2インスタンスから 外 部 ネットワークへの 通 信 3 外 部 ネットワークからインスタンスへの 通 信 4テナント 単 位 でネットワークを 分 離 Copyright 2015 UNIADEX, Ltd. All rights reserved. 35
1 仮 想 サーバへ 内 部 IPアドレスを 割 り 当 てる Open vswitch neutron-dhcp-agent が namespaceを 作 成 し dnsmasq を 起 動 neutron-dhcp-agent 2dnsmasqが 内 部 IPアドレスを 返 す dnsmasq Namespace DHCP Network Namespace Linux Bridge veth pair Internal port TAP device 10.0.0.2 Tenant br-int Copyright 2015 UNIADEX, Ltd. All rights reserved. 36 インスタンス 10.0.0.3 1インスタンス 起 動 DHCP 問 い 合 わせ
2 仮 想 サーバから 外 部 ネットワークへの 通 信 外 部 ネットワーク neutron-l3-agentが Namespace 内 で iptables,ip forwardingを 設 定 1インスタンスが 外 1インスタンスが 外 部 向 けに 通 信 開 始 br-ex neutron-l3-agent br-int 133.1.1.1 133.1.1.2 Namespace Router ip forward 10.0.0.1 インスタンスに 紐 付 いた NAT 用 IPが 生 成 される (Floating IP) iptables インスタンス 10.0.0.3 Open vswitch Network Namespace Linux Bridge Internal port 2src:133.1.1.2とな るようNATされる TAP device Tenant Copyright 2015 UNIADEX, Ltd. All rights reserved. 37
3 外 部 ネットワークから 仮 想 サーバへの 通 信 外 部 ネットワーク br-ex 1 外 部 からは 133.1.1.2にアクセス neutron-l3-agent 133.1.1.1/24 133.1.1.2 route 10.0.0.1 Namespace Router iptables Open vswitch Network Namespace Linux Bridge 2 宛 先 アドレス 10.0.0.3でNATされ パケット 転 送 Internal port br-int インスタンス 10.0.0.3 TAP device Tenant Copyright 2015 UNIADEX, Ltd. All rights reserved. 38
4テナント 単 位 でネットワークを 分 離 外 部 ネットワーク Open vswitch br-ex Network Namespace テナントA 133.1.1.1/24 Router 133.1.1.2/24 Router テナントB Linux Bridge Internal port 10.0.0.1 10.0.0.1 TAP device DHCP 10.0.0.2 10.0.0.2 DHCP Tenant インスタンス 10.0.0.3 br-int インスタンス 10.0.0.3 Copyright 2015 UNIADEX, Ltd. All rights reserved. 39
Photo by Tim Dorr https://www.flickr.com/photos/timdorr/200171271 OpenStackの 実 環 境 適 用 と SDN 製 品 連 携 の 必 要 性 Copyright 2015 UNIADEX, Ltd. All rights reserved. 40
OpenStackの 実 環 境 適 用 我 々が 最 初 に 通 る 道 オールインワン(シングルノード) 構 成 のOpenStack 実 環 境 マルチノード 構 成 のOpenStack 重 要 なのはノード 間 を 繋 ぐ ネットワーク 例 えば スケーラビリティ 構 成 の 柔 軟 性 と 管 理 品 質 の 維 持 / 管 理 コントローラ ノード ネットワーク ノード コンピュート ノード Copyright 2015 UNIADEX, Ltd. All rights reserved. 41
OpenStack 実 環 境 におけるネットワークの 課 題 スケーラビリティ 物 理 サーバ 追 加 時 にネットワークを 追 加 できるか? 複 数 データセンタ 間 の 接 続 と 管 理 4kVLAN 問 題 構 成 の 柔 軟 性 と 管 理 冗 設 計 がネットワーク 設 計 を 硬 直 化 商 用 ファイアウォールやロードバランサなどの 導 入 品 質 の 維 持 / 管 理 仮 想 マシン 集 約 による 物 理 ネットワークトラフィックの 増 に 耐 えうるか? ヒューマンエラーを 防 止 するには? Copyright 2015 UNIADEX, Ltd. All rights reserved. 42
OpenStack 実 環 境 におけるSDNの 効 果 スケーラビリティ OpenStackノード/スイッチ 追 加 のゼロタッチコンフィグを 実 現 複 数 データセンタ 間 のネットワークを 元 管 理 VLAN 数 制 限 制 限 なし 構 成 の 柔 軟 性 と 管 理 冗 設 計 は 考 慮 不 要 ( 動 的 に 冗 ) 商 用 ファイアウォール/ロードバランサ 製 品 との 連 携 品 質 の 維 持 / 管 理 物 理 ネットワークと 仮 想 ネットワークを 紐 付 けて 監 視 設 定 の 大 半 をソフトウェアが 実 施 (SDN) Copyright 2015 UNIADEX, Ltd. All rights reserved. 43
SDN 製 品 によるNeutron 実 装 1 連 携 パターン BigSwitchNetworks NeutronPluginの 情 報 とLLDPを 使 ってNeutronに 必 要 なネットワークを 自 動 構 成 Spine Leaf 自 動 構 成 BigCloudFabric コントローラ エンドポイント 等 を 成 管 理 API LLDP Big Switch Neutron Plugin OpenStack コンピュート ノード Copyright 2015 UNIADEX, Ltd. All rights reserved. 44 OpenStack コントローラ ノード Horizon (GUI)
SDN 製 品 によるNeutron 実 装 2 代 替 パターン NuageNetworks NeutronPlugin 経 由 でほぼ 全 てのネットワーク 機 能 をSDN 側 が 代 替 Horizon(GUI) ネットワークノード Neutronの の 場 合 Nuage Neutron Plugin Open vswitch Namespace Namespace Open vswitch Linux Bridge Namespace Open vswitch Linux Bridge Nuage VRS Nuage VRS コンピュートノード Copyright 2015 UNIADEX, Ltd. All rights reserved. 45 コンピュートノード
Photo by Panos Photographia https://www.flickr.com/photos/mediterraneaaan/14520243103 おわりに Copyright 2015 UNIADEX, Ltd. All rights reserved. 46
OpenStackNeutronについて 更 に 知 りたい へ http://www.atmarkit.co.jp/ait/articles/1412/08/news009.html Copyright 2015 UNIADEX, Ltd. All rights reserved. 47
ユニアデックスとOpenStack プライベートクラウド 構 築 パブリッククラウド Copyright 2015 UNIADEX, Ltd. All rights reserved. 48
パブリッククラウドU-Cloudのご 紹 介 U-Cloud IaaS 2008/10 企 業 様 向 け 高 いサービス 品 質 安 全 安 心 な クラウドサービス 24 時 間 365 日 万 全 な 監 視 体 制 お 客 様 のご 要 望 に 合 わせる マネージドクラウド Copyright 2015 UNIADEX, Ltd. All rights reserved. 49
U-CloudとOpenStack 監 視 ログ 収 集 障 害 解 析 構 成 管 理 OpenStack クラウド 事 業 者 として 年 培 ったノウハウ 設 備 システムと OpenStackを 組 み 合 わせたIaaSサービスを 検 討 中 Copyright 2015 UNIADEX, Ltd. All rights reserved. 50
Copyright 2015 UNIADEX, Ltd. All rights reserved. 51
Copyright 2015 UNIADEX, Ltd. All rights reserved. 52
Copyright 2015 UNIADEX, Ltd. All rights reserved. 53
Copyright 2015 UNIADEX, Ltd. All rights reserved. 54
まとめ 1.OpenStackをキチンと 動 かすにはノウハウが 必 要 です 2. 構 築 設 計 の 勘 所 さえ 分 かれば 意 外 と 動 きます 3.OpenStack 環 境 構 築 はユニアデックスにご 相 談 ください Copyright 2015 UNIADEX, Ltd. All rights reserved. 55
OpenStackへ 関 わる 全 ての 皆 様 へ 感 謝 します Copyright 2015 UNIADEX, Ltd. All rights reserved.