目次 1. 機能概要 2. 設定方法 3. 構成例 4. ご参考当ガイドでは以下の Flex System 環境での構成を記載しています今後のバージョンアップに伴い変更される可能性がありますが基本的に同様の設定となりますまた他のラック型サーバーでも基本的には同様の設定となります Flex

Size: px

Start display at page:

Download "目次 1. 機能概要 2. 設定方法 3. 構成例 4. ご参考当ガイドでは以下の Flex System 環境での構成を記載しています今後のバージョンアップに伴い変更される可能性がありますが基本的に同様の設定となりますまた他のラック型サーバーでも基本的には同様の設定となります Flex"

なつきぜんじゅう
6 years ago
Views:

1 Emulex 10GbE バーチャルファブリックアダプター Switch Independent Mode(vNIC2) 設定ガイド Lenovo Japan, Enterprise Business Group, SE 本部製品 SE 部

2 目次 1. 機能概要 2. 設定方法 3. 構成例 4. ご参考当ガイドでは以下の Flex System 環境での構成を記載しています今後のバージョンアップに伴い変更される可能性がありますが基本的に同様の設定となりますまた他のラック型サーバーでも基本的には同様の設定となります Flex System x240 M5 - uefi IMM DSA 10.0 Flex System CN Emulex UCNA Firmware Update

3 対象機器 Emulex BE3/BE3R/XE102/XE104 NIC 搭載機種 Flex System オプション製品 - Flex System x240 オンボード LOM - (00Y3306)CN4054R 10Gb バーチャルファブリックアダプター - (00JY800) CN ポート 10Gb バーチャルファブリックアダプター - (94Y5160) CN4058S 8 ポート 10Gb バーチャルファブリックアダプター System x オプション製品 - (00D8540) Emulex 10GbE バーチャルファブリックアダプター III v2 - (00D1996) Emulex VFA5 ML2 デュアルポート 10GbE SFP+ アダプター - (00JY820) Emulex VFA5 2x10 GbE SFP+ PCIe アダプター - (00JY830)Emulex VFA5 2x10 GbE SFP+ アダプター (FCoE/iSCSI) 最新の対象機器についてはシステムガイドをご確認ください 3

4 1. 機能概要

Virtual Fabric Adapter (VFA) vnic/ufp とは 10Gb イーサーネットを 4 ポートに分割することで

コンピュートノード仮想 NIC (vnic) 物理 NIC (pnic) 論理経路 ( バーチャルパイプ ) アダプター ~

vnic:100mbps 単位 vnic1 送信受信双方の通信で帯域制御が可能 vnic3 vnic1 vnic2 vnic3

ダイナミックな帯域制御値の割り当て変更が可能 Onboard NIC CN4054R vnic7 vnic8 vnic6 vnic8

5 Virtual Fabric Adapter (VFA) vnic/ufp とは 10Gb イーサーネットを 4 ポートに分割することで帯域を効率よく使用することができる機能 10Gb ネットワークを最大限に活用柔軟かつ信頼性の高い各機能 Flex System コンピュートノード仮想 NIC (vnic) 物理 NIC (pnic) 論理経路 ( バーチャルパイプ ) アダプター ~ スイッチポート間でのバーチャルチャネル ( 論理経路 ) 毎の帯域制御が可能 UFP:1Gbps 以上 100Mbps 単位 vnic:100mbps 単位 vnic1 送信受信双方の通信で帯域制御が可能 vnic3 vnic1 vnic2 vnic3 vnic4 vnic5 vnic6 pnic pnic vnic5 vnic7 vnic2 vnic4 ダイナミックな帯域制御値の割り当て変更が可能 Onboard NIC CN4054R vnic7 vnic8 vnic6 vnic8 ハードウェア FCoE or HW iscsi のサポート別途有償ライセンスが必要になります複雑になりがちな仮想化環境において Virtual Fabric ならユーザーネットワーク環境の要求に対して柔軟に対応可能です 5

6 Virtual Fabric Adapter (VFA) vnic/ufp の特徴 Unified Fabric Port モード (UFP) 帯域制御値などの変更時にサーバー再起動が不要双方向 ( 送受信 ) の帯域割り当ておよび制御が可能 4つのモードで用途に合わせた柔軟な構成が可能 Tunnelモード Trunkモード Accessモード FCoE モード Flex System EN4093R G8264スイッチとEmulex 10Gアダプターの組み合わせにて提供 Virtual Fabric モード (vnic1) 帯域制御値などの変更時にサーバー再起動が不要双方向 ( 送受信 ) の帯域割り当ておよび制御が可能 Lenovo NetworkingスイッチとEmulex 10Gアダプターの組み合わせにて提供 Switch Independent モード (vnic2) Lenovo Networkingスイッチ以外のイーサネットスイッチと互換性があり ( 既存環境との親和性 ) 一方向 ( 送信 ) のみで帯域割り当ておよび制御が可能 UEFIメニュー (BIOS 設定 ) による設定画面 IEEE VLANタグによる通信制御当ガイドの対象範囲ハイパーバイザー or OS ( 仮想 NIC, 仮想スイッチ ) 物理 NIC 仮想パイプ物理スイッチアップリンク接続 vnic1 VLANxx 仮想スイッチ vnic2 vnic3 vnic4 vnic5 vnic6 vnic7 vnic8 物理ポート vnic1 vnic2 vnic3 vnic4 VLANxx VLANxx VLANxx 帯域制御 UFP/vNIC1: スイッチ側設定 vnic2:uefi 画面での設定 vnic 分割設定 UFP(Tunnel)/vNIC1: VLAN アウタータグ / UFP(Trunk/Access/FCoE)/vNIC2: カスタマー VLAN アップリンク接続 UFP(Trunk):VLAN アウタータグ vnic1:vnic グループ UFP(Trunk/Access/FCoE)/ vnic2: カスタマー VLAN ベース 6

vnic2 モードの動作仮想アダプターごとにそれぞれ独立した LPVID の値を付与することで NIC 分割を行います ( 下記例では 1001) OS 上 VMware であればポートグループ上で付与した VLAN ID(100) はそのまま透過します VLANID が付与されていない NW 通信には LPVID(1001) が付与されます Lenovo Flex System

7 vnic2 モードの動作仮想アダプターごとにそれぞれ独立した LPVID の値を付与することで NIC 分割を行います ( 下記例では 1001) OS 上 VMware であればポートグループ上で付与した VLAN ID(100) はそのまま透過します VLANID が付与されていない NW 通信には LPVID(1001) が付与されます Lenovo Flex System エンタープライズシャーシポートグループ A: VLAN なしポートグループ B: VLAN100 コンピュートノードオンボード LOM/VFA EN4093R vswitch0 物理ポート INTA1 LPVID: スイッチ側では VLAN タグ (100,1001) が透過する設定にする必要があります OS で VLAN タグが付与されない場合でも上記の通りパケットは NIC において LPVID でタグ付けされますしたがって Switch Independent モードの NIC と接続する EN4093R 内部ポートの PVID は捨て VLAN を設定するか PVID タギングを有効化した上で使用する VLAN を設定してください 7

8 2. 設定方法

9 UEFI 設定手順概要マルチチャネルモード (Switch Independent Mode) の有効化 System Settings>Network と遷移し対象となるアダプターを選択します Multichannel Mode より Switch Independent Mode を選択します Controller Configuration より帯域の下限上限値 LPVID の値を付与し save をおこないます同様に他のポートに関しても設定をおこないます当ガイドでは CN4054 を搭載した構成を使用します 9

10 UEFI 設定手順 1 VFA( バーチャルファブリックアダプター ) を搭載したコンピュートノードの uefi から物理ポートに対して vnic2 設定を行いますコンピュートノードを再起動させ POST (Power On Self Test) 中のメッセージ表示後 F1 キーを押して UEFI を起動させます 10

11 UEFI 設定手順 2 System settings を選択します 11

12 UEFI 設定手順 3 Network を選択します 12

13 UEFI 設定手順 4 Network Device List に表示されている MAC:xx:xx:xx:xx:xx:xx Slot1 Dev PFA xx:xx:0( バス番号 ) を選択します 13

14 UEFI 設定手順 5 Emulex 10G NIC を選択します 14

15 UEFI 設定手順 6 Multichannel Mode を選択します 15

16 UEFI 設定手順 7 Switch Independent Mode を選択します 16

17 UEFI 設定手順 8 帯域幅とNICを分割するために論理的に使用するLPVIDの値を指定するために Controller Configurationを選択します 17

18 UEFI 設定手順 9 Configure LPVID を選択します 18

19 UEFI 設定手順 10 各 vnic に対して LPVID の値を指定します 19

20 UEFI 設定手順 11 輻輳が発生したときに最低限割り当てられる帯域 (minimum Bandwidth) と帯域に余裕がある場合に使用できる帯域 (Maximum Bandwidth) を設定しますまず Configure bandwidth を選択します 20

21 UEFI 設定手順 12 最小帯域と最大帯域を 100Mbps 単位で指定します 25 と設定した場合は 2.5Gbps が割り当てられます最小帯域最大帯域 21

22 UEFI 設定手順 13 Save Configuration を選択し設定を保存します 22

23 UEFI 設定手順 14 NIC 選択画面に戻り他の NIC についても同様に設定をおこないます 23

24 UEFI 設定手順 15 同一チップの NIC に関しては共通設定があるため一部設定はグレーアウトされています以上でUEFI 設定は完了です P.8にしたがってスイッチ側のVLAN 設定をしてください 24

25 3. 構成例

vnic2 構成例 1 上位スイッチで筐体冗長構成が可能な場合主な機能 / 設定オンボード LOM/VFA で vnic2 を有効にし物理 10GbE ポートを 4 つの vnic に分割 Flex シャーシ筐体内の EN4093R x 2 台で Stacking を構成上位スイッチの G8264 x 2 台を VLAG で構成 VLAG + VRRP も可能 EN4093R と

26 vnic2 構成例 1 上位スイッチで筐体冗長構成が可能な場合主な機能 / 設定オンボード LOM/VFA で vnic2 を有効にし物理 10GbE ポートを 4 つの vnic に分割 Flex シャーシ筐体内の EN4093R x 2 台で Stacking を構成上位スイッチの G8264 x 2 台を VLAG で構成 VLAG + VRRP も可能 EN4093R と G8264 の接続はクロススタックリンクアグリゲーション -VLAG で接続 Compute Node は Active-Standby の Teaming 構成 <Physical View> Core Network ISL G G VLAG VLAG Flex System Chassis LAG LAG Stacking EN4093R-1 EN4093R-2 <Logical View> Core Network L3 L2 凡例 1GbE 10GbE 40GbE 64GbE (VC) VNIC/UFP FCoE iscsi FC Teaming 10G LoM/ VFA Teaming 10G LoM/ VFA Teaming Teaming Compute Node Compute Node 26

27 vnic2 構成例 1 上位スイッチで筐体冗長構成が可能な場合構成内容 Compute Node 側のオンボード LOM/VFA で vnic2 を有効にする事で仮想的に NIC 数を増やす事が可能です vnic2 を使用する際は動的な設定双方向の帯域制御が出来なくなりますが Uplink を vnic のグループごとに分けて用意する必要が無い為 ( Uplink Shared が可能 ) 上位スイッチとの接続に使用する物理ポート数を節約する事が可能となります EN4093R 側は vnic2 と Stacking の混在構成を行います上位スイッチの G8264 x2 台で VLAG を構成する事で冗長性と Active-Active パスを確保する事が可能です (vlag を構成した G8264 の代わりに vpc を構成した Cisco スイッチを使用することも可能です ) また VLAG + VRRP で Flex シャーシ内のゲートウェイを冗長化する事が可能です Compute Node のサーバ OS で Active-Standby の Teaming 構成を行い EN4093/R で Layer2 Failover の設定を行う事で上位スイッチのリンク障害にも対応できます vnic2 では vnic ごとの Failover 設定はできません物理 10GbE ポート単位での Failover となりますのでご注意ください以上の構成を行うことで論理的には Loop-Free となり STP は不要となります 27

vnic2 構成例 1 シャーシ内詳細 ( オンボード LOM 使用時 ) オンボード LOM を使用し LPVID でタグを付与する場合以下のような VLAN 設定接続イメージとなります vmnic 番号は認識順により異なる場合があります Lenovo Flex System エンタープライズシャーシコンピュートノード vmnic0

2 (2002) vnic ポート 3 (2003) vnic ポート 4 (2004) 1:x (INTAx) 2:x (INTBx) EN4093R( ベイ1) VLAN1001 VLAN1002 VLAN1003 VLAN1004 EN4093R( ベイ2) VLAN2001 VLAN2002 VLAN2003 VLAN2004 1:43

28 vnic2 構成例 1 シャーシ内詳細 ( オンボード LOM 使用時 ) オンボード LOM を使用し LPVID でタグを付与する場合以下のような VLAN 設定接続イメージとなります vmnic 番号は認識順により異なる場合があります Lenovo Flex System エンタープライズシャーシコンピュートノード vmnic0 vmnic2 vmnic4 vmnic6 vmnic1 vmnic3 vmnic5 vmnic7 オンボード LOM 物理ポート 1 vnic ポート 1 (1001) vnic ポート 2 (1002) vnic ポート 3 (1003) vnic ポート 4 (1004) 物理ポート 2 vnic ポート 1 (2001) vnic ポート 2 (2002) vnic ポート 3 (2003) vnic ポート 4 (2004) 1:x (INTAx) 2:x (INTBx) EN4093R( ベイ1) VLAN1001 VLAN1002 VLAN1003 VLAN1004 EN4093R( ベイ2) VLAN2001 VLAN2002 VLAN2003 VLAN2004 1:43 (EXT1) 1:57 (EXT15) 1:61 (EXT19) 2:43 (EXT1) 2:57 (EXT15) 2:61 (EXT19) Stacking ISL x は内部物理ポート番号で 1 以上 14 以下の整数スタッキング構成時のポート表記例 : Port Number1~42 までが内部ポート 43~64 までが外部ポート 28

vnic2 構成例 1 シャーシ内詳細 (CN4054 使用時 ) オンボード LOM を外して CN4054 を使用する場合以下のように vswitch のアップリンクを設定することでアダプター冗長の構成となります Lenovo Flex System エンタープライズシャーシコンピュートノード

vswitch6 : vmnic5 vmnic14 vswitch7 : vmnic7 vmnic16 vmnic0 vmnic2 vmnic4 vmnic6 vmnic1 vmnic3 vmnic5 vmnic7 vmnic10 vmnic12 vmnic14 vmnic16 vmnic11 vmnic13

(2003) vnic ポート 4 (2004) 物理ポート 3 vnic ポート 1 (2001) vnic ポート 2 (2002) vnic ポート 3 (2003) vnic ポート 4 (2004) 物理ポート 4 vnic ポート 1 (1001) vnic ポート 2 (1002) vnic ポート 3

29 vnic2 構成例 1 シャーシ内詳細 (CN4054 使用時 ) オンボード LOM を外して CN4054 を使用する場合以下のように vswitch のアップリンクを設定することでアダプター冗長の構成となります Lenovo Flex System エンタープライズシャーシコンピュートノード vswitch0 : vmnic0 vmnic11 vswitch1 : vmnic2 vmnic13 vswitch2 : vmnic4 vmnic15 vswitch3 : vmnic6 vmnic17 vswitch4 : vmnic1 vmnic10 vswitch5 : vmnic3 vmnic12 vswitch6 : vmnic5 vmnic14 vswitch7 : vmnic7 vmnic16 vmnic0 vmnic2 vmnic4 vmnic6 vmnic1 vmnic3 vmnic5 vmnic7 vmnic10 vmnic12 vmnic14 vmnic16 vmnic11 vmnic13 vmnic15 vmnic17 CN4054 物理ポート 1 vnic ポート 1 (1001) vnic ポート 2 (1002) vnic ポート 3 (1003) vnic ポート 4 (1004) 物理ポート 2 vnic ポート 1 (2001) vnic ポート 2 (2002) vnic ポート 3 (2003) vnic ポート 4 (2004) 物理ポート 3 vnic ポート 1 (2001) vnic ポート 2 (2002) vnic ポート 3 (2003) vnic ポート 4 (2004) 物理ポート 4 vnic ポート 1 (1001) vnic ポート 2 (1002) vnic ポート 3 (1003) vnic ポート 4 (1004) EN4093R( ベイ 1) 1:x (INTAx) 1:y (INTBy) EN4093R( ベイ 2) 2:x (INTAx) 2:y (INTBy) * 前頁同様 Stacking ISLの構成が必要 x,y は内部物理ポート番号 x は 1 以上 14 以下の整数 y は 15 以上 28 以下の整数 29

30 vnic2 構成例 2- 上位スイッチで筐体冗長構成がとられない場合主な機能 / 設定オンボードLOM/VFAでvNIC2を有効にし物理 10GbEポートを4つのvNICに分割 Hot Links 機能により EN4093/Rと上位スイッチの間のリンクをActive/Standbyで切り替える Compute NodeはActive-StandbyのTeaming 構成上位スイッチ間のリンク切り替えはComputing nodeへのリンク切り替えには影響を与えず同じリンクを用いて通信が継続される Flexシャーシ筐体内のEN4093R x 2 台でStackingを構成論理的にはloop-free 構成となる為 Spanning-Tree Protocol 等は不要 <Physical View> <Logical View> 凡例 Core Network LAG Core Network L3 1GbE 10GbE 40GbE 64GbE (VC) VNIC/UFP FCoE iscsi Flex System Chassis Active Standby L2 FC EN4093R-1 EN4093R-2 Teaming 10G LoM/ VFA Teaming 10G LoM/ VFA Teaming Teaming Compute Node Compute Node 30

31 vnic2 構成例 2- 上位スイッチで筐体冗長構成がとられない場合構成内容 Compute Node 側のオンボード LOM/VFA で vnic2 を有効にする事で仮想的に NIC 数を増やす事が可能です vnic2 を使用する際は動的な設定双方向の帯域制御が出来なくなりますが Uplink を vnic のグループごとに分けて用意する必要が無い為 ( Uplink Shared が可能 ) 上位スイッチとの接続に使用する物理ポート数を節約する事が可能となります EN4093/R は Hot Links 機能により上位スイッチへのリンクが Active/Standby となります Active リンクが Down した際 Standby リンクに即座に切り替えを行います Active/Standby となるため一部帯域の有効活用ができない点に注意が必要です EN4093/R と上位スイッチとの間のループ構成を回避するため EN4093/R 間のケーブル接続は行いません Compute node は NIC チーミング機能により Active/Standby 構成を取り EN4093/R とのリンクが Down すると Failover 処理を行います vnic2 では vnic ごとの Failover 設定はできません物理 10GbE ポート単位での Failover となりますのでご注意ください 31

32 4. ご参考

33 よくあるご質問 Q1. vnic2 を使用することでスイッチで使用できる機能に制限が出ますか A1. スイッチの機能に依存しないため制限はでません言い換えるとスイッチは vnic2 を使用していることを意識しません Q2. vnic2 を使用することで VLAN サポート数に制限が発生しますか A2. OS がサポート可能な VLAN 数をサポートします唯一の例外はベアメタル Windows OS を使用する際 vnic あたり使用可能なのは最大 63VLAN で Windows バージョンやドライバーのバージョンに依存してもっと少ないケースもあります 33

34 ご参考資料 Lenovo システムガイド System x Lenovo System x 技術情報 System Networking はじめての導入セットアップガイド Flex System InfoCenter( 英語 ) com.ibm.acc.pureflex.doc%2fp7een_template_landing.html [Redbook] NIC Virtualization in IBM Flex System Fabric Solutions( 英語 ) 34

36 免責事項

37 免責事項当内容はお客様販売店様その他関係者が System x, Flex System などを活用することを目的として作成しました詳細につきましては URL( の利用条件をご参照ください当技術資料に含まれるレノボエンタープライズソリューションズ株式会社および Lenovo Enterprise Solutions ( 以下総称して LES) 以外の製品に関する情報は各提供ベンダーより提供されたものであり LES はその正確性または完全性についてはいかなる責任も負いません当技術資料の個々の項目は LES にて検証されていますがお客様の環境において全く同一または同様な結果が得られる保証はありませんお客様の環境その他の要因によって異なる場合がありますお客様自身の環境にこれらの技術を適用される場合はお客様自身の責任と費用において行なってくださいますようお願いいたします Copyright 2015 レノボエンタープライズソリューションズ株式会社 37

お願いここに記載されている情報とそれに対応する製品をご使用になる前に本書をご利用になる前にの事項を必ずご確認ください 2015 年 05 月発行 : レノボエンタープライズソリューションズ株式会社担当 : System x Technical Sales 2

お願いここに記載されている情報とそれに対応する製品をご使用になる前に本書をご利用になる前にの事項を必ずご確認ください 2015 年 05 月発行 : レノボエンタープライズソリューションズ株式会社担当 : System x Technical Sales 2 Virtual Fabric Adapter/vNIC 環境構築ガイド Flex System 版 - Browser Based Interface 2015-05 Windows Server 2008 R2 Flex System x220 Flex System x240 Flex System ファブリック EN4093 10Gb スケーラブルスイッチ Flex System CN4054