Emulex 10GbE バーチャルファブリックアダプター Switch Independent Mode(vNIC2) 設定ガイド Lenovo Japan, Enterprise Business Group, SE 本部製品 SE 部 2015/7/13 @lenovox86server
目次 1. 機能概要 2. 設定方法 3. 構成例 4. ご参考 当ガイドでは以下の Flex System 環境での構成を記載しています 今後のバージョンアップに伴い変更される可能性がありますが 基本的に同様の設定となります また 他のラック型サーバーでも基本的には同様の設定となります Flex System x240 M5 - uefi 1.01 - IMM2 1.20 - DSA 10.0 Flex System CN4054 - Emulex UCNA Firmware Update 10.3.83.7 2
対象機器 Emulex BE3/BE3R/XE102/XE104 NIC 搭載機種 Flex System オプション製品 - Flex System x240 オンボード LOM - (00Y3306)CN4054R 10Gb バーチャル ファブリック アダプター - (00JY800) CN4052 2 ポート 10Gb バーチャル ファブリック アダプター - (94Y5160) CN4058S 8 ポート 10Gb バーチャル ファブリック アダプター System x オプション製品 - (00D8540) Emulex 10GbE バーチャルファブリックアダプター III v2 - (00D1996) Emulex VFA5 ML2 デュアルポート 10GbE SFP+ アダプター - (00JY820) Emulex VFA5 2x10 GbE SFP+ PCIe アダプター - (00JY830)Emulex VFA5 2x10 GbE SFP+ アダプター (FCoE/iSCSI) 最新の対象機器については システムガイドをご確認ください http://www.lenovojp.com/server/systemguide 3
1. 機能概要
Virtual Fabric Adapter (VFA) vnic/ufp とは 10Gb イーサーネットを 4 ポートに分割することで 帯域を効率よく使用することができる機能 10Gb ネットワークを最大限に活用 柔軟かつ信頼性の高い各機能 Flex System コンピュート ノード 仮想 NIC (vnic) 物理 NIC (pnic) 論理経路 ( バーチャルパイプ ) アダプター ~ スイッチポート間でのバーチャルチャネル ( 論理経路 ) 毎の帯域制御が可能 UFP:1Gbps 以上 100Mbps 単位 vnic:100mbps 単位 vnic1 送信 受信 双方の通信で帯域制御が可能 vnic3 vnic1 vnic2 vnic3 vnic4 vnic5 vnic6 pnic pnic vnic5 vnic7 vnic2 vnic4 ダイナミックな帯域制御値の割り当て変更が可能 Onboard NIC CN4054R vnic7 vnic8 vnic6 vnic8 ハードウェア FCoE or HW iscsi のサポート 別途有償ライセンスが必要になります 複雑になりがちな仮想化環境において Virtual Fabric ならユーザーネットワーク環境の要求に対して柔軟に対応可能です 5
Virtual Fabric Adapter (VFA) vnic/ufp の特徴 Unified Fabric Port モード (UFP) 帯域制御値などの変更時にサーバー再起動が不要 双方向 ( 送受信 ) の帯域割り当ておよび制御が可能 4つのモードで用途に合わせた柔軟な構成が可能 Tunnelモード Trunkモード Accessモード FCoE モード Flex System EN4093R G8264スイッチとEmulex 10Gアダプターの組み合わせにて提供 Virtual Fabric モード (vnic1) 帯域制御値などの変更時にサーバー再起動が不要 双方向 ( 送受信 ) の帯域割り当ておよび制御が可能 Lenovo NetworkingスイッチとEmulex 10Gアダプターの組み合わせにて提供 Switch Independent モード (vnic2) Lenovo Networkingスイッチ以外のイーサネットスイッチと互換性があり ( 既存環境との親和性 ) 一方向 ( 送信 ) のみで帯域割り当ておよび制御が可能 UEFIメニュー (BIOS 設定 ) による設定画面 IEEE VLANタグによる通信制御 当ガイドの対象範囲 ハイパーバイザー or OS ( 仮想 NIC, 仮想スイッチ ) 物理 NIC 仮想パイプ物理スイッチアップリンク接続 vnic1 VLANxx 仮想スイッチ vnic2 vnic3 vnic4 vnic5 vnic6 vnic7 vnic8 物理ポート vnic1 vnic2 vnic3 vnic4 VLANxx VLANxx VLANxx 帯域制御 UFP/vNIC1: スイッチ側設定 vnic2:uefi 画面での設定 vnic 分割設定 UFP(Tunnel)/vNIC1: VLAN アウタータグ / UFP(Trunk/Access/FCoE)/vNIC2: カスタマー VLAN アップリンク接続 UFP(Trunk):VLAN アウタータグ vnic1:vnic グループ UFP(Trunk/Access/FCoE)/ vnic2: カスタマー VLAN ベース 6
vnic2 モードの動作 仮想アダプターごとに それぞれ独立した LPVID の値を付与することで NIC 分割を行います ( 下記例では 1001) OS 上 VMware であればポートグループ上で付与した VLAN ID(100) はそのまま透過します VLANID が付与されていない NW 通信には LPVID(1001) が付与されます Lenovo Flex System エンタープライズ シャーシ ポートグループ A: VLAN なし ポートグループ B: VLAN100 コンピュート ノード オンボード LOM/VFA EN4093R vswitch0 物理ポート 1 1001 INTA1 LPVID:1001 1001 100 100 スイッチ側では VLAN タグ (100,1001) が透過する設定にする必要があります OS で VLAN タグが付与されない場合でも 上記の通りパケットは NIC において LPVID でタグ付けされます したがって Switch Independent モードの NIC と接続する EN4093R 内部ポートの PVID は捨て VLAN を設定するか PVID タギングを有効化した上で使用する VLAN を設定してください 7
2. 設定方法
UEFI 設定手順概要 マルチチャネルモード (Switch Independent Mode) の有効化 System Settings>Network と遷移し 対象となるアダプターを選択します Multichannel Mode より Switch Independent Mode を選択します Controller Configuration より帯域の下限 上限値 LPVID の値を付与し save をおこないます 同様に他のポートに関しても設定をおこないます 当ガイドでは CN4054 を搭載した構成を使用します 9
UEFI 設定手順 1 VFA( バーチャル ファブリック アダプター ) を搭載したコンピュート ノードの uefi から物理ポートに対して vnic2 設定を行います コンピュート ノードを再起動させ POST (Power On Self Test) 中のメッセージ表示後 F1 キーを押して UEFI を起動させます 10
UEFI 設定手順 2 System settings を選択します 11
UEFI 設定手順 3 Network を選択します 12
UEFI 設定手順 4 Network Device List に表示されている MAC:xx:xx:xx:xx:xx:xx Slot1 Dev PFA xx:xx:0( バス番号 ) を選択します 13
UEFI 設定手順 5 Emulex 10G NIC を選択します 14
UEFI 設定手順 6 Multichannel Mode を選択します 15
UEFI 設定手順 7 Switch Independent Mode を選択します 16
UEFI 設定手順 8 帯域幅とNICを分割するために論理的に使用するLPVIDの値を指定するために Controller Configurationを選択します 17
UEFI 設定手順 9 Configure LPVID を選択します 18
UEFI 設定手順 10 各 vnic に対して LPVID の値を指定します 19
UEFI 設定手順 11 輻輳が発生したときに最低限割り当てられる帯域 (minimum Bandwidth) と帯域に余裕がある場合に使用できる帯域 (Maximum Bandwidth) を設定します まず Configure bandwidth を選択します 20
UEFI 設定手順 12 最小帯域と最大帯域を 100Mbps 単位で指定します 25 と設定した場合は 2.5Gbps が割り当てられます 最小帯域 最大帯域 21
UEFI 設定手順 13 Save Configuration を選択し 設定を保存します 22
UEFI 設定手順 14 NIC 選択画面に戻り 他の NIC についても同様に設定をおこないます 23
UEFI 設定手順 15 同一チップの NIC に関しては共通設定があるため 一部設定はグレーアウトされています 以上でUEFI 設定は完了です P.8にしたがって スイッチ側のVLAN 設定をしてください 24
3. 構成例
vnic2 構成例 1 上位スイッチで筐体冗長構成が可能な場合 主な機能 / 設定 オンボード LOM/VFA で vnic2 を有効にし 物理 10GbE ポートを 4 つの vnic に分割 Flex シャーシ筐体内の EN4093R x 2 台で Stacking を構成 上位スイッチの G8264 x 2 台を VLAG で構成 VLAG + VRRP も可能 EN4093R と G8264 の接続はクロス スタック リンクアグリゲーション -VLAG で接続 Compute Node は Active-Standby の Teaming 構成 <Physical View> Core Network ISL G8264-1 G8264-2 VLAG VLAG Flex System Chassis LAG LAG Stacking EN4093R-1 EN4093R-2 <Logical View> Core Network L3 L2 凡例 1GbE 10GbE 40GbE 64GbE (VC) VNIC/UFP FCoE iscsi FC Teaming 10G LoM/ VFA Teaming 10G LoM/ VFA Teaming Teaming Compute Node Compute Node 26
vnic2 構成例 1 上位スイッチで筐体冗長構成が可能な場合 構成内容 Compute Node 側のオンボード LOM/VFA で vnic2 を有効にする事で仮想的に NIC 数を増やす事が可能です vnic2 を使用する際は動的な設定 双方向の帯域制御が出来なくなりますが Uplink を vnic のグループごとに分けて用意する必要が無い為 ( Uplink Shared が可能 ) 上位スイッチとの接続に使用する物理ポート数を節約する事が可能となります EN4093R 側は vnic2 と Stacking の混在構成を行います 上位スイッチの G8264 x2 台で VLAG を構成する事で冗長性と Active-Active パスを確保する事が可能です (vlag を構成した G8264 の代わりに vpc を構成した Cisco スイッチを使用することも可能です ) また VLAG + VRRP で Flex シャーシ内のゲートウェイを冗長化する事が可能です Compute Node のサーバ OS で Active-Standby の Teaming 構成を行い EN4093/R で Layer2 Failover の設定を行う事で上位スイッチのリンク障害にも対応できます vnic2 では vnic ごとの Failover 設定はできません 物理 10GbE ポート単位での Failover となりますのでご注意ください 以上の構成を行うことで論理的には Loop-Free となり STP は不要となります 27
vnic2 構成例 1 シャーシ内詳細 ( オンボード LOM 使用時 ) オンボード LOM を使用し LPVID でタグを付与する場合 以下のような VLAN 設定 接続イメージとなります vmnic 番号は認識順により異なる場合があります Lenovo Flex System エンタープライズ シャーシ コンピュート ノード vmnic0 vmnic2 vmnic4 vmnic6 vmnic1 vmnic3 vmnic5 vmnic7 オンボード LOM 物理ポート 1 vnic ポート 1 (1001) vnic ポート 2 (1002) vnic ポート 3 (1003) vnic ポート 4 (1004) 物理ポート 2 vnic ポート 1 (2001) vnic ポート 2 (2002) vnic ポート 3 (2003) vnic ポート 4 (2004) 1:x (INTAx) 2:x (INTBx) EN4093R( ベイ1) VLAN1001 VLAN1002 VLAN1003 VLAN1004 EN4093R( ベイ2) VLAN2001 VLAN2002 VLAN2003 VLAN2004 1:43 (EXT1) 1:57 (EXT15) 1:61 (EXT19) 2:43 (EXT1) 2:57 (EXT15) 2:61 (EXT19) Stacking ISL x は内部物理ポート番号で 1 以上 14 以下の整数 スタッキング構成時のポート表記例 : Port Number1~42 までが内部ポート 43~64 までが外部ポート 28
vnic2 構成例 1 シャーシ内詳細 (CN4054 使用時 ) オンボード LOM を外して CN4054 を使用する場合 以下のように vswitch のアップリンクを設定することでアダプター冗長の構成となります Lenovo Flex System エンタープライズ シャーシ コンピュート ノード vswitch0 : vmnic0 vmnic11 vswitch1 : vmnic2 vmnic13 vswitch2 : vmnic4 vmnic15 vswitch3 : vmnic6 vmnic17 vswitch4 : vmnic1 vmnic10 vswitch5 : vmnic3 vmnic12 vswitch6 : vmnic5 vmnic14 vswitch7 : vmnic7 vmnic16 vmnic0 vmnic2 vmnic4 vmnic6 vmnic1 vmnic3 vmnic5 vmnic7 vmnic10 vmnic12 vmnic14 vmnic16 vmnic11 vmnic13 vmnic15 vmnic17 CN4054 物理ポート 1 vnic ポート 1 (1001) vnic ポート 2 (1002) vnic ポート 3 (1003) vnic ポート 4 (1004) 物理ポート 2 vnic ポート 1 (2001) vnic ポート 2 (2002) vnic ポート 3 (2003) vnic ポート 4 (2004) 物理ポート 3 vnic ポート 1 (2001) vnic ポート 2 (2002) vnic ポート 3 (2003) vnic ポート 4 (2004) 物理ポート 4 vnic ポート 1 (1001) vnic ポート 2 (1002) vnic ポート 3 (1003) vnic ポート 4 (1004) EN4093R( ベイ 1) 1:x (INTAx) 1:y (INTBy) EN4093R( ベイ 2) 2:x (INTAx) 2:y (INTBy) * 前頁同様 Stacking ISLの構成が必要 x,y は内部物理ポート番号 x は 1 以上 14 以下の整数 y は 15 以上 28 以下の整数 29
vnic2 構成例 2- 上位スイッチで筐体冗長構成がとられない場合 主な機能 / 設定 オンボードLOM/VFAでvNIC2を有効にし 物理 10GbEポートを4つのvNICに分割 Hot Links 機能により EN4093/Rと上位スイッチの間のリンクをActive/Standbyで切り替える Compute NodeはActive-StandbyのTeaming 構成 上位スイッチ間のリンク切り替えはComputing nodeへのリンク切り替えには影響を与えず 同じリンクを用いて通信が継続される Flexシャーシ筐体内のEN4093R x 2 台でStackingを構成 論理的にはloop-free 構成となる為 Spanning-Tree Protocol 等は不要 <Physical View> <Logical View> 凡例 Core Network LAG Core Network L3 1GbE 10GbE 40GbE 64GbE (VC) VNIC/UFP FCoE iscsi Flex System Chassis Active Standby L2 FC EN4093R-1 EN4093R-2 Teaming 10G LoM/ VFA Teaming 10G LoM/ VFA Teaming Teaming Compute Node Compute Node 30
vnic2 構成例 2- 上位スイッチで筐体冗長構成がとられない場合 構成内容 Compute Node 側のオンボード LOM/VFA で vnic2 を有効にする事で仮想的に NIC 数を増やす事が可能です vnic2 を使用する際は動的な設定 双方向の帯域制御が出来なくなりますが Uplink を vnic のグループごとに分けて用意する必要が無い為 ( Uplink Shared が可能 ) 上位スイッチとの接続に使用する物理ポート数を節約する事が可能となります EN4093/R は Hot Links 機能により 上位スイッチへのリンクが Active/Standby となります Active リンクが Down した際 Standby リンクに即座に切り替えを行います Active/Standby となるため 一部帯域の有効活用ができない点に注意が必要です EN4093/R と上位スイッチとの間のループ構成を回避するため EN4093/R 間のケーブル接続は行いません Compute node は NIC チーミング機能により Active/Standby 構成を取り EN4093/R とのリンクが Down すると Failover 処理を行います vnic2 では vnic ごとの Failover 設定はできません 物理 10GbE ポート単位での Failover となりますのでご注意ください 31
4. ご参考
よくあるご質問 Q1. vnic2 を使用することで スイッチで使用できる機能に制限が出ますか A1. スイッチの機能に依存しないため 制限はでません 言い換えると スイッチは vnic2 を使用していることを意識しません Q2. vnic2 を使用することで VLAN サポート数に制限が発生しますか A2. OS がサポート可能な VLAN 数をサポートします 唯一の例外は ベアメタル Windows OS を使用する際 vnic あたり使用可能なのは最大 63VLAN で Windows バージョンやドライバーのバージョンに依存してもっと少ないケースもあります 33
ご参考資料 Lenovo システムガイド System x http://www.lenovojp.com/server/systemguide/ Lenovo System x 技術情報 http://www.lenovojp.com/server/technical/ System Networking はじめての導入セットアップ ガイド http://www.lenovojp.com/server/technical/gd-networking.shtml Flex System InfoCenter( 英語 ) http://pic.dhe.ibm.com/infocenter/flexsys/information/index.jsp?topic=%2f com.ibm.acc.pureflex.doc%2fp7een_template_landing.html [Redbook] NIC Virtualization in IBM Flex System Fabric Solutions( 英語 ) http://www.redbooks.ibm.com/abstracts/sg248223.html?open 34
免責事項
免責事項 当内容は お客様 販売店様 その他関係者が System x, Flex System などを活用することを目的として作成しました 詳細につきましては URL(http://www.lenovo.com/legal/jp/ja/) の利用条件をご参照ください 当技術資料に含まれるレノボ エンタープライズ ソリューションズ株式会社および Lenovo Enterprise Solutions ( 以下総称して LES) 以外の製品に関する情報は 各提供ベンダーより提供されたものであり LES はその正確性または完全性についてはいかなる責任も負いません 当技術資料の個々の項目は LES にて検証されていますが お客様の環境において全く同一または同様な結果が得られる保証はありません お客様の環境 その他の要因によって異なる場合があります お客様自身の環境にこれらの技術を適用される場合は お客様自身の責任と費用において行なってくださいますようお願いいたします Copyright 2015 レノボ エンタープライズ ソリューションズ株式会社 37