L2 トンネル技術によるクラウドネット MPLS Japan 2011 パネル クラウド環境におけるネットワークの課題と展望 今井祐二 株式会社富士通研究所クラウドコンピューティング研究センター
IaaS データセンター データセンターの 物理ネットワーク上に 仮想マシン () 仮想ネットワークからなる仮想システムを構築 多数のユーザの仮想システムを集約して搭載 集約によるスケールメリットを追求 A 社仮想システム IaaS データセンター B 社仮想システム A 社 GW B 社 仮想システム間は互いに独立 1
仮想ネットワークの要件 隔離性 ユーザ毎の仮想システムを越えてアクセスが出来てはならない ( 必須 ) 柔軟性 ネットワークの要因で の配置に制限が発生してはならない 耐故障性 機器故障に備えて現実的なコストで冗長構成が組めなければならない スケーラビリティ性 万オーダーの 数増加に追従できなければならない コモディティ性 ボリュームゾーンの機器を使い低コスト化でき オペレーションコストも下げられなければならない 2
VLAN による仮想ネットワーク方式 ユーザの仮想ネットワークをVLANで構築 隔離する方式 データセンター内のSWやサーバ内部に ユーザ毎のVLANを設定 富士通 IaaS(FGCP/S5) も現在この方式を使用 バックボーンネットワーク ユーザ A: VLAN100 Gateway SW SW ユーザ B: VLAN200 ラック 1 ラック 2 ラック m サーバ 1-1 サーバ 2-1 サーバ m-1 サーバ1-2 サーバ 1-3 サーバ 2-2 サーバ 2-3 サーバ m-2 サーバ m-3 サーバ 1-n サーバ 2-n サーバ m-n 3
クラウド内ネット基盤として VLAN が抱える問題 4
スケーラビリティに関する問題点 VLANのID 空間は12bit(=4096) データセンター内部を分割して同一 VLAN-IDを複数のユーザで使ったとしても データセンター全体としては高々 4094のn 倍程度しかサポートできない Gateway SW SW 最大 4094 ユーザしか搭載できない バックボーンネットワーク ラック 1 ラック 2 ラック m サーバ1-1 サーバ2-1 サーバm-1 サーバ1-2 サーバ1-3 サーバ2-2 サーバ2-3 サーバ m-2 サーバ m-3 サーバ 1-n サーバ 2-n サーバ m-n 万オーダー仮想ネットに対応できない 5
柔軟性に関する問題点 データセンター内部を分割し VLAN-ID を重複利用する場合 スケールアウトやライブマイグレーション時に VLAN-ID が衝突 ( バッティング ) する場合がある バックボーンネットワーク Gateway SW SW ユーザ A の VLAN100 を延ばすことができない ユーザA: VLAN100 ラック1 ラック 2 ユーザ B: VLAN200 ラック m サーバ1-1 サーバ1-2 サーバ1-3 サーバ2-1 サーバ2-2 サーバ2-3 ユーザ C: VLAN100 サーバm-1 サーバm-2 サーバ m-3 サーバ 1-n もしここでVLAN100を使ってしまっていたら サーバ2-n サーバ m-n その他のユーザで使用中の ユーザ A をスケールアウトしたい場合 6
耐故障性に関する問題点 冗長構成においてループ経路を防ぐためには 折り返し箇所 ( 渡り線 ) は全体で 1 箇所しか作れない その一箇所の渡り線にトラフィックが集中する バックボーンネットワーク 全体で唯一の渡り線 SW1 SW2 ラック 1 ラック m 1 2 1 2 サーバ 1-1 サーバ 1-2 サーバ 1-3 サーバ 1-n ラック内折り返しトラフィック サーバでは 2NIC で bonding 構成 サーバm-1 サーバm-2 サーバm-3 サーバ m-n バックボーンの SW は容量の大きなものを用いなければならなくなる (= 高くなる ) 7
トンネル技術による 課題解決プロトタイプ 8
プロト 1: 間 IP トンネル L3 over L3 トンネルでユーザ 間を接続する プロト 1 の時点では Linux に L2 トンネルをブリッジする方法が無かった カプセル化処理を実施する仮想ルータをで動かす ユーザ間のL3 経路混在防止のため ごとに仮想ルータを用意 バックボーンネットワークをL3で構成する 仮想 R R R Gateway 仮想 R バックボーンネットワーク 仮想ルータによるトンネル ラック 1 ラック 2 ラック m サーバ1-1 仮想 R サーバ2-1 仮想 R サーバm-1 仮想 R サーバ1-2 仮想 R サーバ2-2 仮想 R サーバ m-2 サーバ 1-n サーバ 2-n サーバ m-n 9
プロト 2: 間 L2 トンネル L2 トンネルでユーザ 間を接続する gretap( ブリッジ可能な GRE I/F) が kernel に入った カプセル化処理は Dom0 で Linux gretap が実施する MAC テーブルは br(linux 仮想ブリッジ ) ごとに持つので ユーザ間混在なし バックボーンネットワークを L3 で構成する GRE_tap Gateway GRE_tap R R バックボーンネットワーク GRE によるトンネル ラック 1 ラック 2 ラック m サーバ1-1 GRE_tap サーバ2-1 GRE_tap サーバm-1 GRE_tap サーバ1-2 GRE_tap サーバ2-2 GRE_tap サーバ m-2 サーバ 1-n サーバ 2-n サーバ m-n 10
トンネリング方式のメリット 柔軟性 仮想リンクを自在に張れるため ユーザ を任意の場所に配置することが可能 耐故障性 バックボーン部分を L3 ネットワークで構築することにより 一般的な冗長化技術を用いることが可能 スケーラビリティ性 VLAN タグ上限に制限されないで増強可能 コモディティ性 トラフィック量に応じたネットワーク機器を使用可能 構成を順次拡張することが可能 11
各方式の評価 ( 定性的分析 ) 各方式の得失の整理 評価ポイント VLAN 方式 IPトンネリング方式 GREトンネリング方式 隔離性 問題なし 問題なし 問題なし 柔軟性 ( 配置 の自由度 ) 高密度化を図るとVIDがバッ自由に配置可能 自由に配置可能 ティングする可能性あり 耐故障性 冗長構成時にトポロジーに制限がある Bonding, VRRP, OSPF による完全二重化 Bonding, VRRP, OSPF による完全二重化 スケーラビリティ VIDによる上限 (4094) がある 制限なし 制限なし コモディティ性 機器コスト オペレーションコスト ( 可読性 ) バックボーンの SW が高くなる VLAN 技術は一般的 必要に応じたポート数 能力の SW でよい 構成が複雑 必要に応じたポート数 能力の SW でよい 一般的技術のみ 12
性能評価 IP トンネル方式は 顧客 L3 経路区分のため仮想ルータを 実装 パケットが Hypervisor, ホスト OS を複数回通過 約 50% の性能劣化 L2 トンネル方式なら Dom-0 ホスト OS でパケット処理が完結 VLAN 方式 IP トンネリング方式 GRE トンネリング方式 VLAN 方式 IP トンネリング方式 GRE トンネリング方式 1000 500 900 450 800 400 700 350 スループット (Mbps) 600 500 400 レイテンシ (μsec) 300 250 200 300 150 200 100 100 50 0 0 2 4 6 8 10 多重度 0 0 2 4 6 8 10 多重度 13
今後の注目ポイント IETF 標準化へ VXLAN: draft-mahalingam-dutt-dcops-vxlan-xx NVGRE: draft-sridharan-virtualization-nvgre-xx NVO3 BoF(?) L2VPNからbranchしたNVO3 WGができる方向 draft-narten-nvo3-overlay-problem-statement-xx OS, ミドルウェアの対応 IaaSミドルウェア Eucalyptus, OpenStack, ware, Citrix, MS, Fujitsu,,, ハイパーバイザ ホストOS Linux, Xen, K, Hyper-V 仮想スイッチ Open vswitch, Nexus 1000v 監視 観測ミドルウェア トンネル方式の運用ノウハウ蓄積 具体論はこれから ( 設計 レビュー 障害対応 ) 14
15 Copyright 2010 FUJITSU LABORATORIES LIMITED