お願い ここに記載されている情報とそれに対応する製品をご使用になる前に 本書をご利用になる前に の事項を必ずご確認ください 2015 年 05 月 発行 : レノボ エンタープライズ ソリューションズ株式会社担当 : System x Technical Sales 2

Transcription

1 Virtual Fabric Adapter/vNIC 環境構築ガイド Flex System 版 - Browser Based Interface Windows Server 2008 R2 Flex System x220 Flex System x240 Flex System ファブリック EN Gb スケーラブル スイッチ Flex System CN Gb VFA

2 お願い ここに記載されている情報とそれに対応する製品をご使用になる前に 本書をご利用になる前に の事項を必ずご確認ください 2015 年 05 月 発行 : レノボ エンタープライズ ソリューションズ株式会社担当 : System x Technical Sales 2

3 本書をご利用になる前に 当内容は お客様 販売店様 その他関係者が System x, Flex System などを活用することを目的として作成しました 詳細につきましては URL( の利用条件をご参照ください 当技術資料に含まれるレノボ エンタープライズ ソリューションズ株式会社および Lenovo Enterprise Solutions( 以下総称して LES) 以外の製品に関する情報は 各提供ベンダーより提供されたものであり LES はその正確性または完全性においてはいかなる責任も負いません 当技術資料の個々の項目は LES にて検証されておりますが お客様の環境において全く同一または同様な結果が得られる保証はありません お客様の環境 その他の要因によって異なる場合があります お客様自身の環境にこれらの技術を適用される場合は お客様自身の責任と費用において行ってくださいますようお願いいたします Copyright 2015 レノボ エンタープライズ ソリューションズ株式会社 3

4 INDEX Virtual Fabric Adapter/vNIC 環境構築ガイド Flex System 版...1 要約 5 1. はじめに vnic について 各種ファームウェアについて vnic のマッピングについて vnic の動作環境 本書で参照する各種導入ガイド 9 2. 事前設定 コンピュート ノードの設定 スイッチ モジュールのログイン確認 13 3.vNIC 環境の構築手順 vnic 環境の構築確認 vnic 環境の構築設定 17 4.Trunk Failover の構築手順 NIC Teaming と Trunk Failover について NIC Teaming と Trunk Failover の構築設定 付録 vnic を構成する上での注意点 26 4

5 要約 vnic( 仮想 NIC) とは Flex System コンピュート ノードと Flex System CN Gb バーチャル ファブリック アダプターと Flex System ファブリック EN Gb スケーラブル スイッチで構成できる機能の 1 つです ( 一部の Flex System x240 では 標準で 2 ポート 10Gb Ethernet が LOM(LAN on Motherboard) 標準搭載されております ) vnic の機能を利用することによって 物理的な 10Gb イーサネット ポートを仮想的に 4 ポートに分けることが可能です また 個々の vnic には IBM Flex System ファブリック EN Gb スケーラブル スイッチから帯域制御を行うことできます (100Mbps 単位で 100Mbps~10Gbps まで設定が可能です ) vnic 機能を活用することにより仮想的に物理層レベルでポートを分けるため 他の vnic との分離 隔離が可能となり また vnic 同士での Teaming や Trunk Failover の設定も可能となり 高可用性とセキュリティを確保することができます 本書では 例として Flex System エンタープライズ シャーシ IBM Flex System x240 ( 標準搭載 2 ポート 10Gb Ethernet) Flex System ファブリック EN Gb スケーラブル スイッチなどを使用して 環境設定を行います 活用局面 : 提案時 構築時 運用時情報 : Marketing Technical シリーズ : 単発 定期発行 5

6 1. はじめに 1.1 vnic について Flex System 製品で vnic を行う場合の概要を記載します 仮想化 : 単一物理ポートを複数の仮想ポートに分割して 単一物理 NIC 上で多様なプロトコル ( イーサネット FCoE iscsi など ) を独立に管理することが可能です これにより単一物理ポートのバンド幅を複数の アプリケーション間で共有できます 高速 :10Gb PCIe Gen3 アーキテクチャに基づく仮想ファブリックアダプタを使用しているため高速な通信が 可能です スケーラブル :x220 および x240 では 物理ノードあたり最大 32 ポートまでの仮想 NIC が作成可能です 各仮想ポートは仮想 NIC としても仮想 CNA としても独立かつ自由に使用可能です ( コンピュート ノードに Flex System CN Gb バーチャル ファブリック アダプターを 2 枚搭載し スイッチ側にもアドバンスト ライセンスを適用した場合 ) 柔軟性 : 仮想ポートに帯域制御をかけることが可能です (100Mb~10Gb) 信頼性 :Uplink 障害時には Trunk Failover 機能により可用性を高める事が可能です FCoE や iscsi 仮想 CNA など一部機能に関しましては Feature on Demand(FoD) などでのアップグレード ライセンス が必要になります 詳細に関しましては システム ガイドなどをご参照ください 1.2 各種ファームウェアについて 本書では 以下のバージョンにて手順を記載いたしますが これらより新しいバージョンが公開されている場合には 基本的に構成を行う前に各デバイスに最新のファームウェアを適用することをお勧めいたします 最新版のファームウェアをダウンロードする場合には Fix Central よりダウンロードしてご使用ください また バージョンにより画面表記 構成方法および出力結果が異なる場合があります 適宜読み替えて導入してください Support: Fix Central Flex System x240 (8737) uefi ファームウェアバージョン : 1.10 IMM2 ファームウェアバージョン : Gb NIC ファームウェアバージョン : Gb NIC ドライババージョン : Flex System ファブリック EN Gb スケーラブル スイッチ (49Y4270) ファームウェアバージョン :

7 1.3 vnic のマッピングについて デバイスとして認識される番号と vnic のマッピングについては以下の表および図を参考にしてください INTAx.1 の x については コンピュート ノードが挿入されているシャーシのベイ番号になります 例えば IBM Flex System エンタープライズ シャーシの 2 番のベイにコンピュート ノードが挿入されている場合には デバイス 0 が INTA2.1 になります デバイス番号は ハードウェアとして認識されている番号に なります 必ずしも OS 上で認識されている番号と一致する とは限りません 適宜環境に応じて設定を行ってください FoD などアドバンスト ライセンスを適用した場合は INTB などデバイス名が変更される場合があります 環境に応じ て読み替えてください バーチャル ファブリックアダプター カ ファブリック EN Gb スケーラブルスイッチ デバイス番号 アダプターポート番号 I/O モジュールベイ番号 vnic 番号 vnic 仮想ポート番号 0 1 INTAx INTAx INTAx INTAx INTAx INTAx INTAx INTAx.4 7

8 1.4 vnic の動作環境 vnic 環境を構築 利用するに当たり 以下の機器が必要になります 使用する機器をご確認ください シャーシ Flex System エンタープライズ シャーシ コンピュート ノード Flex System x220/x240 バーチャル ファブリック アダプター カード (10Gb) 一部機種には 10Gb Ethernet が標準搭載されています Flex System CN Gb Virtual Fabric Adapter and EN port 10Gb Ethernet Adapter スイッチ モジュール Flex System ファブリック EN Gb スケーラブル スイッチ バーチャル ファブリック アダプター カード スイッチ モジュール シャーシ コンピュート ノード 本書では Support Fix Central サイトより以下の項目を選択して各種ドライバおよびファームウェアを適用しております 製品グループ :PureSystems PureFlex System Compute Node x240 Conpute Node 8737 Windows Server 2008 x86-64 & 2008 R2 本書では コンピュート ノードとして Flex System x240( オンボード 10Gb Ethernet を使用 ) して環境設定を行います 8

9 1.5 本書で参照する各種導入ガイド 本書では Flex System ファブリック EN Gb スケーラブル スイッチ Flex System CN4054 Virtual Fabric Adapter など使用して vnic 環境を構築しています 構築手順のうち Flex System ファブリック EN Gb スケーラブル スイッチの CLI などでの各ネットワークの設定方法 コマンドの詳細などは記載しておりません 本書では 基本的には vnic 環境構築時の基本設定のみを行います 詳細な設定や機器の詳細などは必要に応じて それぞれのガイドをご参照ください IBM Flex System の詳細な内容を確認することが出来ます homepage.html Flex System インフォメーション センター Flex System ファブリック EN Gb スケーラブル スイッチの初期設定に関しましては 以下のガイドをご参考の上 事前 に設定を行ってください Flex System ファブリック EN Gb Ethernet スケーラブル スイッチ初期設定ガイド 最新の機器情報 サポートされる OS などに関しましては 以下のシステム ガイドおよび ServerProven をご確認ください 本書で は例として Windows Server 2008 R2 にて構成を行います System x/bladecenter 構成情報システム ガイド ServerProven Compatibility( 英語 ) 各種最新のドライバおよびファームウェアに関しましては 以下のサイトよりダウンロードして適用してください 本書では NIC のド ライバとして elx_dd_nic_ _win2k8_32-64.exe をダウンロードして適用しております Support: Fix Central ネットワーク関係の FAQ が記載されております System x ネットワーク FAQ 9

10 2. 事前設定 vnic 環境を構築するために 事前に準備を整えておく必要があります この章では 各コンピュード ノードでバーチャル ファブリック アダプター カードを認識させる設定方法を記載します 2.1 コンピュート ノードの設定 コンピュート ノードに 10Gb Ethernet が搭載されていることを前提に設定を行います バーチャル ファブリック アダプター カードの搭載に関しましては 各コンピュート ノードのインストールとサービスのガイドをご確認ください 本書では コンピュート ノードとして Flex System x240( オンボード 10Gb Ethernet を使用 ) して環境設定を行います Flex System x220 コンピュート ノードインストールとサービスのガイド Flex System x240 コンピュート ノードインストールとサービスのガイド 1. コンピュート ノードを起動します 2. System x のロゴが表示されます しばらくして画面下に <F1> Setup と表示されましたら [F1] キーを押して System Configuration and Boot management 画面を表示させます 3. System Configuration and Boot management 画面から System Settings - Network - MAC:xx:xx:xx:xx:xx:xx Onboard PFA 12:0:0 - Emulex 10G NIC: Bus:Dev:Func 0C:0:0 xx:xx:xx:xx:xx:xx を選択して Multichannel の項目を Enable に設定します (xx:xx:xx:xx:xx:xx は 英数字 ) 10

11 4. 次に Switch Configuration の項目で Switch Independent Mode もしくは IBM Virtual Fabric Mode のどちらかに設定します 違いに関しては以下の通りになりますが ここでは IBM Virtual Fabric Mode を選択します IBM Virtual Fabric Mode メリット受信 / 送信の両方向にて動的な帯域制御が可能です 仮想スイッチ (vswitch) などで複数カスタマー VLAN を定義した場合でも制御可能です 仮想パイプ毎に Trunk Failover 制御が可能です デメリット Emulex+IBM-Flex スイッチの組み合わせに限定されます 上位スイッチ接続に基本 vnic グループ毎に占有接続が必要です Switch Independent Mode メリット単純に VLAN で分離するだけなので LES スイッチ以外のネットワーク機器でも実現が可能です デメリット双方向での帯域制御ができません 帯域の動的変更が不可能であり 再起動が必要になります 8 個以上のカスタマー VLAN の帯域制御ができません 5. [Esc] キーを数回押して System Configuration and Boot management 画面に戻り Save Settings を選択して 保存します その後 Exit Setup Utility を選択します Do you want to exit Setup Utility? で [Y] を押して System Configuration and Boot management を終了します 11

12 6. OS が起動しましたらデバイス マネージャーで認識されているデバイスを確認します 確認できましたらドライバをインストー ルします VFA ドライバとファームウェアに関しましては 冒頭にてご案内しております Fix Central にてダウンロードして適 用してください 本書では elx_dd_nic_ _win2k8_32-64.exe を適用しております 以上でコンピュート ノードの設定は完了です 12

13 2.2 スイッチ モジュールのログイン確認 ここではスイッチ モジュールである Flex System ファブリック EN Gb スケーラブル スイッチの初期設定を行います 初期設定では HTTPS と SSHv2 でのアクセスが利用可能であり HTTP および Telnet は初期設定では無効化されています ( 設定で有効化することは可能です ) ここでは ブラウザ (Browser Based Interface 以下 BBI) からスイッチ モジュールにアクセスを行い 設定を変更する方法を記載いたします その他詳細設定方法に関しましては 冒頭にてご案内しております Flex System ファブリック EN Gb Ethernet スケーラブル スイッチ初期設定ガイド をご確認ください 1. ブラウザから BBI へアクセスを行います スイッチの接続箇所により初期設定時の IP アドレスが異なります 以下の図をご 確認の上 HTTPS にて接続します 初期設定時の IP アドレス I/O module bay 1 : /24 I/O module bay 2 : /24 I/O module bay 3 : /24 I/O module bay 4 : /24 例えば I/O module bay 1 へスイッチ モジュールを挿入した場合には 以下の URL を入力して BBI にて接続を行います 13

14 2. Login 画面が表示されます 初期状態では以下のユーザーが設定されています 任意のユーザー ID およびパスワードを入 力して Submit をクリックします 各種設定を行う必要があるため Administrator クラスでログインする必要があります こ こでは ユーザー名を [USERID] パスワードを [PASSW0RD](0 は数字のゼロ ) でログインします ユーザー名 パスワード クラス USERID PASSW0RD Administrator admin admin Administrator user user user 3. BBI にてログインすると Switch Dashboard 画面が表示されます 初期設定を行うため Configure タブをクリックして設定モ ードに移行します 14

15 4. Configure 画面に移動しましたら 左のペインから IBM Flex System Fabric EN Gb ScSw - System - General をク リックして Switch Management Processor Configuration 画面を表示させます ここでは Syslog サーバーの設定や HTTP や Telnet のアクセス設定 タイムゾーンの設定などを行うことが可能です 環境に応じて設定を行ってください 5. 設定を変更した場合には 画面下部にある Submit ボタンを押して 画面上部にある Apply をクリックして設定を反映させ ます 以上でスイッチ モジュールの設定は完了です 15

16 3.vNIC 環境の構築手順 この項では BBI(GUI) インターフェースを利用して vnic 環境を構築する手順を記載しています 3.1 vnic 環境の構築確認 本書では 下図の構成に vnic 環境設定を行う方法を記載します Flex System エンタープライズ シャーシ Flex System x240( コンピューティング ノードベイ 2 に搭載 ) 10G Port:Port 0 vnic:vnic1 Flex System ファブリック EN Gb スケーラブル スイッチ vnic Group:vNIC Group 1 vnic Group Member:INTA2.1 Bandwidth:2.5Gb Uplink Port:EXT1 16

17 3.2 vnic 環境の構築設定 1. BBI にログインします 2. BBI にてログインすると Switch Dashboard 画面が表示されます まず vnic を有効にするため Configure タブをクリックし て設定モードに移行します 3. Configure 画面に移動しましたら 左のペインから IBM Flex System Fabric EN Gb ScSw - Virtualization - VNIC - General をクリックして VNIC Configuration 画面を表示させます 4. VNIC Configuration 画面が表示されましたら Global VNIC On/Off の項目を ON に設定して Submit をクリックします その後 Apply をクリックして設定を反映させます 17

18 5. 次に vnic インターフェースの設定を行います 左のペインから IBM Flex System Fabric EN Gb ScSw - Virtualization - VNIC - VNICs をクリックして VNIC Configuration 画面を表示させ 設定を行う vnic インターフェースをク リックします ここでは INTA2.1 をクリックします 6. vnic INTAx.x Configuration 画面が表示されましたら State の項目を enabled に設定して Max Bandwidth in increments of 100Mbps(1-100) の項目に任意の帯域制限を設定します 完了したら Submit を押して Apply をクリックし ます 帯域の設定は 100Mbps 単位で設定が可能です 1 つのインターフェース内で複数の vnic を設定する場合には 帯域の 10Gbps 以内になるように設定をしてください 18

19 7. 次に vnic Group の設定を行います 左ペインから IBM Flex System Fabric EN Gb ScSw - Virtualization - VNIC - VNIC Group をクリックして VNIC Configuration 画面を表示させ 設定を行う vnic Group の番号をクリックします ここでは vnic Group 1 をクリックします 8. vnic Groupx Configuration 画面が表示されましたら 以下の内容の設定を行います 完了したら Submit を押して Apply をクリックします vnic Group State : enabled に設定します vnic Group Vlan : 任意の外部 VLAN 番号を設定します Uplink Failover State : Uplink Failover の設定を行う際には enabled に設定します Uplink Port/Trunk : vnic の Uplink Port の設定になります 外部スイッチに接続する際は設定をします vnics Available vnics in Group : vnic Group に参加させる vnic を選択します Ports Available Ports in Group : vnic Group に参加させる物理 port を選択します 19

20 9. 正常に vnic の設定が完了しているかを確認します 各 OS 上にて設定を行った vnic に対して IP アドレスを設定して リン クアップし 疎通の確認を行ってください 以上で vnic 環境の構築設定は完了です 20

21 4.Trunk Failover の構築手順 4.1 NIC Teaming と Trunk Failover について NIC Teaming NIC Teaming とは 複数の物理 NIC を束ねて一つの NIC として扱うことにより 負荷分散 速度 信頼性の向上を実現する技 術です < NIC Teaming を設定した Active-Standby 設定のメリット > 正常時は Active に設定されている NIC A 経路で通信を行い もう一方の NIC B 経路では Standby に設定されています NIC A が Link Down を検知すると NIC B が Active になり NIC B 経路で通信を継続します < 正常時 > < 障害時 > NIC A (Active) NIC A (Down) NIC B (Standby) NIC B (Active) Trunk Failover Trunk Failover とは Ethernet Switch Module の上位ネットワークに対して冗長性を実装する機能です Ethernet Switch Module の外部ポートの Link Down を検知して Ethernet Switch Module の内部ポートを Disable にすることで NIC Teaming の Failover を発生させます NIC Teaming とともに構成することで 上位ネットワークの障害にも対応が可能です 1 上位ネットワークで障害が発生 2 Ethernet Switch Module の内部ポートを Disable にする 3 NIC Teaming の Failover が発生して経路が 切り替わる 21 3

22 4.2 NIC Teaming と Trunk Failover の構築設定 vnic で Teaming を設定するには Emulex 社の OneCommand NIC Teaming and VLAN Manager を使用します これは ドライバの導入時にインストールされるツールです vnic で NIC Teaming をする場合は Team Member に設定する vnic デバイスに注意してください 下表を参照しながら Virtual Fabric Adapter のアダプターポート番号 0 と 1 で分かれている PCIe Function ID( デバイス番号 ) で NIC Temaing を組むと 可用性が高い環境が構築できます バーチャル ファブリックアダプター カ ファブリック EN Gb スケーラブルスイッチ デバイス番号 アダプターポート番号 I/O モジュールベイ番号 vnic 番号 vnic 仮想ポート番号 0 1 INTAx INTAx INTAx INTAx INTAx INTAx INTAx INTAx.4 例として PCIe Function ID( デバイス番号 ) 0(Emulex OneConnect OCl11102-F-X, NIC/TOE #3) と PCIe Function ID( デバイス番 号 ) 1(Emulex OneConnect OCl11102-F-X, NIC/TOE #4) で NIC Teaming を設定する手順を記載します 下図のような Teaming を 構成します ( 外部スイッチへ接続される vnic の設定は 完了しているものとして記載いたします ) 22

23 1. Windows Server 2008 R2 上で OneCommand NIC Teaming and VLAN Manager を起動します 2. OneCommand NIC Teaming and VLAN Manager の画面が表示されましたら Create Team をクリックします 23

24 3. Create Team の設定画面が表示されましたら 以下の項目に従いチーミングの設定を行います 設定が完了しましたら OK をクリックします Team Name : 任意の Team 名を入力します Team Type : チームタイプを選択します ここでは FailOver を選択します FailOver : 障害が発生したノードのパスを引き継ぐ機能 LoadBalancing : 負荷分散機能 802.3ad static : 複数の帯域を束ねて 1 ポートとして使用する機能 (LACP 不使用 ) LACP : 複数の帯域を束ねて 1 ポートとして使用する機能 (LACP 使用 ) Auto FailBack :FailOver を選択した場合に 設定が可能になります 障害復旧した際に 自動的に FailOver 前の状 態に戻す機能になります ここでは Enabled を選択します Available Netwotk Adapters :OS 上で認識されている NIC デバイスです ここからチーミングを設定する NIC デバイスを 選択して Add ボタンをクリックします Team Member Adapters :Available Network Adapters にて選択された NIC デバイスが表示されます 最初に選択さ れた NIC デバイスが Primary になります 24

25 4. チーミングの設定が完了すると OneCommand NIC Teaming and VLAN Manager の画面が表示されます Teams and Available Adapters に先ほどチーミング設定を行った仮想的なアダプタが表示されます OS(Windows Server 2008 R2) 上では 新たに Emulex OneConnect TeamAdapter という名称の NIC が認識されますので 環境に応じたネットワーク設定を行います OS(Windows Server 2008 R2) にて Emulex OneConnect OCl11102-F-X, NIC/TOE #3( ローカルエリア接続 4) と Emulex OneConnect OCl11102-F-X, NIC/TOE #4 ( ローカルエリア接続 5) でチーミング設定を行い ローカルエリア接続 10 が仮想的なアダプタとして設定された場合は以下のように表示されます 作成された仮想的なアダプタに IP アドレスを設定してリンクアップし 疎通の確認を行ってください 以上で NIC Teaming の設定は完了です 25

26 5. 付録 5.1 vnic を構成する上での注意点 vnic を使用する上で 下記の機能を同時に設定する事はできません VMReady vlag 本書で記載している通常の vnic(dedicated Mode) の場合 同じ物理ポートで作成した 2 つ以上の vnic を同じ vnic Group に追加する事はできませんので 別の vnic Group に分けるようにしてください vnic の帯域制御の設定値は 100Mb 単位で行います 外部スイッチとの接続には SFP+ トランシーバー &LC-LC ファイバーケーブル もしくはダイレクト アタッチ ケーブルが必要 になります ケーブル類の詳細に関しましては Top of Rack スイッチのシステム ガイドを参照してください IBM Top of Rack スイッチ構成ガイド System Guide Flex System CN Gb バーチャル ファブリック アダプターには 10G ポートを 4 つ有していますが pnic( 物理 10G) と vnic( 仮想 NIC) を併用する場合 2 つの物理 10G ポート単位で行うことになります (2 ポートは pnic 用 2 ポートは vnic 用等 ) 以上の注意点を踏まえて vnic の構成を行ってください 26