Cumulus Linux MLAG と vsphere vds の LACP 接続検証

Size: px

Start display at page:

Download "Cumulus Linux MLAG と vsphere vds の LACP 接続検証"

たしろうもちやま
5 years ago
Views:

1 Cumulus Linux MLAG と vsphere vds の LACP 接続検証

2 検証の目的 Cumulus Linux でリンクアグリゲーションを構成する場合その形成方法として LACP を使用する比較的簡易な仕様のスタティックリンクアグリゲーションやその他のプロトコル ( たとえば Cisco 社の PAgP 等 ) は現在のバージョンでは使用できないそのため主要な製品のリンクアグリゲーションとの相互接続性をあらかじめ確認しておく

3 検証機材ここでは対向機器として Quanta サーバーにインストールした vsphere を使用して LACP で Cumulus Linux の MLAG に接続する検証を行う 2 x ベアメタルスイッチ : QuantaMesh T1048-LB9-BMS-F(PowerPC) 1 2 x ネットワーク OS: Cumulus Linux Base-T ポートを使用 2 検証時点の最新にアップデート済み /etc/apt/sources.list deb CumulusLinux-2.5 main addons updates deb CumulusLinux-2.5 security-updates 2 x サーバーコンピューター : STRATOS S210-X12RS(x86) 3 2 x 拡張 NIC: HHHL 1Gb RJ45 4 port Intel i350-t4 Intel-I350 PCI-E X 4 Gen 2 I350T4G1P20 2 x ハイパーバイザー : vsphere ESXi 6.0 Enterprise Plus 1 x 仮想化管理サーバー : vcenter Server 6.0 Standard 3 拡張 NIC を使用 1 x マネジメントスイッチ : QuantaMesh T1048-LY4B-F(PowerPC) 1 x ネットワーク OS: QuantaOS

4 検証方法 Cumulus Linux で LACP の MLAG を構成する vsphere の分散スイッチで LACP を構成する Cumulus Linux の MLAG ピアリンク MLAG ポート MLAG バックアップリンクおよび vsphere の分散スイッチの LAG ポートがリンクアップしていることおよび MLAG トポロジーが形成されていることを確認する一方の vsphere 上の仮想マシンから他方の vsphere 上の仮想マシンに Ping が通ることを確認する MLAG ポート 1 のリンク ( 送信元側 ) を切断し Ping の実行結果の統計情報を確認する MLAG ポート 1 のリンク ( 送信元側 ) を復旧し Ping の実行結果の統計情報を確認する MLAG ポート 2 のリンク ( 宛先側 ) を切断し Ping の実行結果の統計情報を確認する MLAG ポート 2 のリンク ( 宛先側 ) を復旧し Ping の実行結果の統計情報を確認する MLAG スイッチ 1 を停止し Ping の実行結果の統計情報を確認する MLAG スイッチ 1 を起動し Ping の実行結果の統計情報を確認する MLAG ピアリンクを切断 ( 全断 ) し Ping の実行結果の統計情報を確認する MLAG セカンダリースイッチの MLAG ポートがシャットダウンされることを確認する MLAG ピアリンクを復旧し Ping の実行結果の統計情報を確認する

5 ネットワーク構成 VM1: /24 VLAN1092 VLAN3030 VLAN3030 / VLAN4094 MLAG Peer-link MLAG Backup-link MLAG Port LAG Port vnic3 ESX1 vnic5 0/7 Mgmt SW 0/9 VM1 Ping VM2 swp2 swp4 eth0 Cumulus1 MLAG Primary swp47 swp48 LACP(MLAG ID1) swp47 LACP swp48 swp2 Cumulus2 MLAG Secondary swp4 eth0 dvportgroup1 lag0 dvswitch1: vmk3 lag1 dvportgroup1 lag2 dvswitch1: vmk3 lag3 LACP(MLAG ID2) vnic3 vnic5 vnic3 vnic5 ESX2 br3030 vnic3 vnic5 bond bond bond1 bond2 bond3 VM2: /24(Flow1) /24(Flow2) swp47 swp48 swp2 swp4

6 Cumulus1 CUMULUS LINUX の設定 (1) $sudo vi /etc/network/interfaces!-- 物理インターフェースの設定 auto eth0 iface eth0 address /24 gateway auto swp2 iface swp2 auto swp4 iface swp4 auto swp47 iface swp47 auto swp48 iface swp48!-- ブリッジインターフェースの設定 auto br3030 iface br3030 bridge-ports bond bond2 bond3!-- ボンディングインターフェースの設定 auto bond1 iface bond1 bond-slaves swp47 swp48 bond-mode 802.3ad bond-miimon 100 bond-use-carrier 1 bond-lacp-rate 1 bond-min-links 1 bond-xmit-hash-policy layer3+4!-- MLAG ピアリンクの設定 auto bond iface bond address /30 clagd-enable yes clagd-priority 4096 clagd-peer-ip clagd-backup-ip clagd-sys-mac 44:38:39:ff:00:00!-- MLAG ポートの設定 auto bond2 iface bond2 bond-slaves swp2 bond-mode 802.3ad bond-miimon 100 bond-use-carrier 1 bond-lacp-rate 1 bond-min-links 1 bond-xmit-hash-policy layer3+4 clag-id 1 auto bond3 iface bond3 bond-slaves swp4 bond-mode 802.3ad bond-miimon 100 bond-use-carrier 1 bond-lacp-rate 1 bond-min-links 1 bond-xmit-hash-policy layer3+4 clag-id 2

7 Cumulus2 CUMULUS LINUX の設定 (2) $sudo vi /etc/network/interfaces!-- 物理インターフェースの設定 auto eth0 iface eth0 address /24 gateway auto swp2 iface swp2 auto swp4 iface swp4 auto swp47 iface swp47 auto swp48 iface swp48!-- ブリッジインターフェースの設定 auto br3030 iface br3030 bridge-ports bond bond2 bond3!-- ボンディングインターフェースの設定 auto bond1 iface bond1 bond-slaves swp47 swp48 bond-mode 802.3ad bond-miimon 100 bond-use-carrier 1 bond-lacp-rate 1 bond-min-links 1 bond-xmit-hash-policy layer3+4!-- MLAG ピアリンクの設定 auto bond iface bond address /30 clagd-enable yes clagd-priority 9192 clagd-peer-ip clagd-backup-ip clagd-sys-mac 44:38:39:ff:00:00!-- MLAG ポートの設定 auto bond2 iface bond2 bond-slaves swp2 bond-mode 802.3ad bond-miimon 100 bond-use-carrier 1 bond-lacp-rate 1 bond-min-links 1 bond-xmit-hash-policy layer3+4 clag-id 1 auto bond3 iface bond3 bond-slaves swp4 bond-mode 802.3ad bond-miimon 100 bond-use-carrier 1 bond-lacp-rate 1 bond-min-links 1 bond-xmit-hash-policy layer3+4 clag-id 2

8 CUMULUS LINUX の設定の解説 bridge-ports bond bond2 bond3 bond-slaves swp47 swp48 bond-mode 802.3ad ブリッジに bond bond2 bond3 インターフェースを接続する swp47 と swp48 をボンディングするリンクアグリゲーションに LACP を使用する bond-miimon 100 リンク状態の確認間隔を設定する ( ミリ秒 ) bond-use-carrier 1 bond-lacp-rate 1 bond-min-links 1 bond-xmit-hash-policy layer3+4 clagd-priority 4096 clagd-peer-ip clagd-backup-ip clagd-sys-mac 44:38:39:ff:00:00 リンクの検出方法を設定する LACP パケットの送信間隔を設定する (0 の場合は 1 秒の Fast モード 1 の場合は 30 秒の Slow モード ) リンクアグリゲーションがリンクアップするために必要な最小アクティブポート数を設定するリンクアグリゲーションのロードバランスアルゴリズムを L3/4 ヘッダーのハッシュ値に設定する MLAG スイッチのプライオリティを設定する ( プライオリティの小さいスイッチが MLAG プライマリースイッチとしてコントロールプレーンの制御権を得る ) 対向 MLAG スイッチのピアリンクインターフェースの IP アドレスを設定する対向 MLAG スイッチのバックアップリンクインターフェースの IP アドレスを設定する ( ポート番号の既定値は UDP5342) MLAG スイッチのシステム MAC アドレスを設定する (LACP と STP で使用される )( 対向 MLAG スイッチと同じ値 ) clag-id 1 MLAG ID を設定する (MLAG ポート毎に一意でなければならない )

9 VSPHERE の設定 (1) 1 リンク集約グループの名前 lag 2 リンク集約グループのポート数 4 3 リンク集約グループのモード有効 Active LACP 4 リンク集約グループのロードバランシングモードソースとターゲットIPアドレスおよびTCP/UDPポート

6 VMkernel(ESX1) のIPアドレス 10.0.0.188 7 VMkernel(ESX1) のサブネットマスク 255.255.255.192 8 VMkernel(ESX2) のIPアドレス 10.0.0.189 9 VMkernel(ESX2) のサブネットマスク 255.

10 VSPHERE の設定 (2) 1 分散スイッチのバージョン分散スイッチの名前 dvswitch1 3 分散スイッチの接続タイプ VMkernel 4 分散スイッチのアップリンク lag0, lag1, lag2, lag3 5 分散ポートグループの名前 dvportgroup1 6 VMkernel(ESX1) のIPアドレス VMkernel(ESX1) のサブネットマスク VMkernel(ESX2) のIPアドレス VMkernel(ESX2) のサブネットマスクリンク集約グループ lag0のアップリンク ESX1 - vmnic3 11 リンク集約グループ lag1のアップリンク ESX1 - vmnic5 12 リンク集約グループ lag2のアップリンク ESX2 - vmnic3 13 リンク集約グループ lag3のアップリンク ESX2 - vmnic5

11 正常系試験 ( リンク ) Cumulus1 cumulus@cumulus1$ clagctl The peer is alive Our Priority, ID, and Role: c:60:0c:xx:xx:xx primary Peer Priority, ID, and Role: c:60:0c:yy:yy:yy secondary Peer Interface and IP: bond Backup IP: (active) System MAC: 44:38:39:ff:00:00 CLAG Interfaces Our Interface Peer Interface CLAG Id Conflicts Proto-Down Reason bond2 bond bond3 bond cumulus@cumulus1$ Cumulus2 cumulus@cumulus2$ clagctl The peer is alive Peer Priority, ID, and Role: c:60:0c:xx:xx:xx primary Our Priority, ID, and Role: c:60:0c:yy:yy:yy secondary Peer Interface and IP: bond Backup IP: (active) System MAC: 44:38:39:ff:00:00 CLAG Interfaces Our Interface Peer Interface CLAG Id Conflicts Proto-Down Reason bond2 bond bond3 bond cumulus@cumulus2$ 結果 : MLAG バックアップリンクを含む MLAG トポロジーは正常に形成されている

12 正常系試験 (PING) Flow1 $ping c 10 i 0.2 s PING ( ) 1392(1420) bytes of data bytes from : icmp_seq=1 ttl=64 time=0.472 ms 1400 bytes from : icmp_seq=2 ttl=64 time=0.531 ms 1400 bytes from : icmp_seq=3 ttl=64 time=0.520 ms 1400 bytes from : icmp_seq=4 ttl=64 time=0.552 ms 1400 bytes from : icmp_seq=5 ttl=64 time=0.601 ms 1400 bytes from : icmp_seq=6 ttl=64 time=0.594 ms 1400 bytes from : icmp_seq=7 ttl=64 time=0.666 ms 1400 bytes from : icmp_seq=8 ttl=64 time=0.531 ms 1400 bytes from : icmp_seq=9 ttl=64 time=0.534 ms 1400 bytes from : icmp_seq=10 ttl=64 time=0.605 ms ping statistics packets transmitted, 10 received, 0% packet loss, time 1799ms rtt min/avg/max/mdev = 0.472/0.560/0.666/0.058 ms Flow2 $ping c 10 i 0.2 s PING ( ) 1392(1420) bytes of data bytes from : icmp_seq=1 ttl=64 time=0.556 ms 1400 bytes from : icmp_seq=2 ttl=64 time=0.589 ms 1400 bytes from : icmp_seq=3 ttl=64 time=0.559 ms 1400 bytes from : icmp_seq=4 ttl=64 time=0.543 ms 1400 bytes from : icmp_seq=5 ttl=64 time=0.554 ms 1400 bytes from : icmp_seq=6 ttl=64 time=0.655 ms 1400 bytes from : icmp_seq=7 ttl=64 time=0.538 ms 1400 bytes from : icmp_seq=8 ttl=64 time=0.581 ms 1400 bytes from : icmp_seq=9 ttl=64 time=0.451 ms 1400 bytes from : icmp_seq=10 ttl=64 time=0.540 ms ping statistics packets transmitted, 10 received, 0% packet loss, time 1799ms rtt min/avg/max/mdev = 0.451/0.556/0.655/0.054 ms 結果 : 仮想マシン間には IP 接続性がある

13 異常系試験 (PING)(1) Flow1 $ping i 0.2 s PING ( ) 1392(1420) bytes of data bytes from : icmp_seq=1 ttl=64 time=0.472 ms 1400 bytes from : icmp_seq=2 ttl=64 time=0.531 ms 1400 bytes from : icmp_seq=3 ttl=64 time=0.520 ms... Flow2 $ping i 0.2 s PING ( ) 1392(1420) bytes of data bytes from : icmp_seq=1 ttl=64 time=0.556 ms 1400 bytes from : icmp_seq=2 ttl=64 time=0.589 ms 1400 bytes from : icmp_seq=3 ttl=64 time=0.559 ms...

14 異常系試験 (PING)(2) MLAG リンク 1 障害 MLAG リンク 2 障害スイッチ筐体障害ピアリンク障害 Ping データサイズ : 1392 byte Ping 実行間隔 : 200msec 通信断時間 (Flow1/2 共通 ) 備考 MLAGリンク1 障害 MLAGリンク1 復旧 MLAGリンク2 障害 MLAGリンク2 復旧スイッチ筐体障害スイッチ筐体復旧ピアリンク障害 ( 全断 ) ピアリンク復旧 2 秒未満 1 秒未満 2 秒未満 1 秒未満 2 秒未満 3 秒未満なしなし結果 : 障害または復旧時のサービスへの影響は小さいといえる

15 異常系試験 ( リンク )(1) Cumulus1 cumulus@cumulus1$ clagctl The peer is not alive Our Priority, ID, and Role: c:60:0c:xx:xx:xx primary Peer Interface and IP: bond Backup IP: (active) System MAC: 44:38:39:ff:00:00 CLAG Interfaces Our Interface Peer Interface CLAG Id Conflicts Proto-Down Reason bond bond cumulus@cumulus1$ ip link show bond2 136: bond2: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue master br3030 state UP mode DORMANT link/ether 2c:60:0c:xx:xx:aa brd ff:ff:ff:ff:ff:ff cumulus@cumulus1$ ip link show bond3 137: bond3: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue master br3030 state UP mode DORMANT link/ether 2c:60:0c:xx:xx:bb brd ff:ff:ff:ff:ff:ff cumulus@cumulus1$

16 異常系試験 ( リンク )(2) Cumulus2 cumulus@cumulus2$ clagctl The peer is not alive Our Priority, ID, and Role: c:60:0c:yy:yy:yy secondary Peer Interface and IP: bond Backup IP: (active) System MAC: 44:38:39:ff:00:00 CLAG Interfaces Our Interface Peer Interface CLAG Id Conflicts Proto-Down Reason bond2-1 - isl-down bond3-2 - isl-down cumulus@cumulus2$ ip link show bond2 194: bond2: <NO-CARRIER,BROADCAST,MULTICAST,MASTER,UP> mtu 1500 qdisc noqueue master br3030 state DOWN mode DORMANT link/ether 2c:60:0c:yy:yy:aa brd ff:ff:ff:ff:ff:ff cumulus@cumulus2$ ip link show bond3 195: bond3: <NO-CARRIER,BROADCAST,MULTICAST,MASTER,UP> mtu 1500 qdisc noqueue master br3030 state DOWN mode DORMANT link/ether 2c:60:0c:yy:yy:bb brd ff:ff:ff:ff:ff:ff cumulus@cumulus2$ 結果 : MLAG ピアリンクが全断した場合スプリットブレインを回避するために MLAG セカンダリースイッチの MLAG ポートが正常にシャットダウンされる

17 まとめ分散スイッチの LACP と Cumulus の LACP の相互接続性は問題なし MLAG のフェイルオーバーおよびフェイルバック時のパケット転送については問題なし ( 最大で 3 秒程度の通信断 ) バックアップリンクを使用している場合 MLAG セカンダリースイッチのすべての MLAG ポートは正常にシャットダウンされるためスプリットブレインの問題を回避できる

日立製作所 Blade Symphony BS500 LAN パススルーモジュールと Apresia15000 接続検証 2013/1/10-31 Copyright 2013, Copyright 2012, Hitachi Cable, Hitachi Ltd. Cable, Ltd.

日立製作所 Blade Symphony BS500 LAN パススルーモジュールと Apresia5000 接続検証 0//0- Copyright 0, Copyright 0, Hitachi Cable, Hitachi Ltd. Cable, Ltd. 目次検証概要検証構成全体構成検証構成概略検証結果検証結果一覧ダイレクトアタッチ (DAC) ケーブル接続試験 ( 構成 )