Brocade VDX 6720, Brocade 1860, 1020とETERNUS DX440S2とのFCoE/iSCSI接続検証

Size: px

Start display at page:

Download "Brocade VDX 6720, Brocade 1860, 1020とETERNUS DX440S2とのFCoE/iSCSI接続検証"

なおさわい
6 years ago
Views:

1 ネットワーク統合ソリューション Brocade VDX6720 データセンタスイッチ Brocade 1860 Fabric Adapter (CNA Mode) Brocade 1020 DCB/FCoE CNA 評価レポートブロケードコミュニケーションズシステムズ株式会社 2011 年 9 月 16 日 2011 Brocade Communications Systems, Inc. 1

2 目次はじめに検証環境検証項目一覧検証結果まとめ参考資料 2011 Brocade Communications Systems, Inc. 2

3 はじめに 2011 Brocade Communications Systems, Inc. 3

4 謝辞 Brocade VDX , Brocade 1020 ならびに Brocade 1860 の機能評価のために富士通検証センター ( 東京浜松町 ) の設備ならびに担当の皆様を適宜アサインしてご協力頂きありがとうございました 2011 年 8 月 24 日 ~30 日 (5 日間 ) の検証により下記のデータを得ることができました ETERNUS DX440S2 との FCoE/iSCSI 接続検証 VMware ESX 4.1 でのアダプタ動作検証 Brocade VDX 接続検証ご協力頂きありがとうございましたブロケードコミュニケーションズシステムズ ( 株 ) 2011 Brocade Communications Systems, Inc. 4

5 Brocade ネットワーク統合ソリューション Brocade VDX ファミリ FC, FCoE, iscsi に対応した次世代ファブリックスイッチスパニングツリーを排除したマルチパスネットワーク仮想サーバの移動に対応したスイッチのポート設定移動論理的に一台として動作するロジカルスイッチ管理設定が容易仮想化対応 SAN/LAN 統合高帯域高冗長性をもったネットワークを提供します Brocade 1860 Fabric Adapter HBA, CNA, NIC と 1 枚で 3 役をこなすハイパフォーマンスアダプタ 16G FC をサポートハイスピードハイパフォーマンスハイフレキシビリティを提供します 2011 Brocade Communications Systems, Inc. 5

6 検証環境 L2/3, FCoE/DCB, iscsi が混在した仮想化環境弊社 US データセンター 2011 Brocade Communications Systems, Inc. 6

7 検証環境システム概要図 VMWare vcenter 4.1 Windows Server 2008 R2 Standard SP1 PRIMERGY TX300S5 VM VM VM VMWare ESX 4.1 VM VM VM VMWare ESX 4.1 PRIMERGY RX300S5 Brocade 1860 Fabric Adapter Brocade 1020 FCoE/DCB CAN Driver version 3.0 SH1516G Brocade VDX NOS 2.0.1b FMV E780/A VMWare vclient 4.1 Windows 7 Enterprise SP1 ETERNUS DX440S2 (iscsi/fcoe) iscsi/fcoe iscsi FCoE LAN 2011 Brocade Communications Systems, Inc. 7

8 検証環境ディスク接続図サーバ 1 (ESX-1) サーバ 2 (ESX-2) VMWare ESX 4.1 VM1 VM2 VM3 VM4 VM5 VM6 PRIMERGY RX300S5 (SAS RAID) VM VM VM VM VM VM Brocade 1860 Brocade 1020 HDD (OS) HDD (OS) HDD (OS) HDD (OS) Brocade VDX6720 ETERNUS DX440S2 (iscsi/fcoe) FCoE (OS) FCoE (RDM) LUN x4 iscsi (OS) iscsi (RDM) LUN x4 注 ) RDM は Raw Device Mapping の略 LUN は Logical Unit Number の略 2011 Brocade Communications Systems, Inc. 8

9 検証環境ネットワーク接続図サービスネットワーク ( x/16) 管理ネットワーク ( x/16) VM #1 VM #2 VM #3 VM #4 VM #5 VM #6 vnic #2 vnic #1 vnic #2 vnic #1 vnic #2 vnic #1 vnic #2 vnic #1 vnic #2 vnic #1 vnic #2 vnic #1 PRIMERGY TX300S5 VMWare ESX 4.1 vswitch #1 vswitch #2 vswitch #1 vswitch #2 PRIMERGY RX300S5 Onboard NIC B1020/B1860 Onboard NIC B1020/B1860 SH1516G Brocade VDX6720 FMV E780/A sflow collector ETERNUS DX440S2 (iscsi/fcoe) iscsi/fcoe iscsi FCoE LAN 2011 Brocade Communications Systems, Inc. 9

10 検証環境 ( マルチホップ FCoE) ネットワーク接続図サービスネットワーク ( x/16) 管理ネットワーク ( x/16) PRIMERGY TX300S5 VM #2 vnic #2 vnic #1 VM #3 vnic #2 vnic #1 VMWare ESX 4.1 vswitch #1 vswitch #2 vswitch #1 vswitch #2 PRIMERGY RX300S5 Onboard NIC B1020/B1860 Onboard NIC B1020/B1860 SH1516G Brocade VDX6720 FMV E780/A sflow collector ETERNUS DX440S2 (iscsi/fcoe) FCoE LAN 2011 Brocade Communications Systems, Inc. 10

11 機器仕様 <サーバ> PRIMERGY RX300 S5 CPU: Intel Xeon X GHz 16コア Memory:8GB HDD:GB SAS x3(raid 5) VMWare ESX4.1 PRIMERGY TX300 S5 CPU:Intel Xeon X GHz 16コア Memory:8GB HDD:GB SAS x3(raid 5) Windows Server 2008 R2 Standard SP1 <ストレージ> ETERNUS DX440S2 HDD: 450GB(2.5")/10Krpm 72 CM: 48GB (24GBキャッシュ/CM 2CM) port: iscsi(10gbps), FCoE(10Gbps) <スイッチ> Brocade VDX OS version: NOS 2.0.1b <アダプタ> Brocade 1860, Brocade 1020 Driver version: _rc_bld Brocade Communications Systems, Inc. 11

12 検証項目一覧 2011 Brocade Communications Systems, Inc. 12

13 検証項目検証項目 Brocade1860, Brocade1020 インストール VDX を介した FCoE, iscsi ボリューム認識検証手順内容 Brocade1860, 1020 をサーバにインストールし HCM, vcenter より認識されることを確認する VDX を介して ETERNUS DX440S2 上のディスクを FCoE, iscsi で認識できることを確認する備考 VCS 基本機能検証 VLAN 動作検証 AMPP 機能検証 VLAG 動作検証 sflow 動作検証 VCS が正しく構成できることを確認する vlan を正しく扱えることを確認する vmotion 前後でのポートプロファイル適応状況を確認 ip ハッシュに基づくロードバランシグをしている Active-Active チーミングに対して vlag が動作することを確認する sflow によりトラフィックモニタできることを確認する確認ツールとして sflow trend を用いる 2011 Brocade Communications Systems, Inc. 13

14 検証項目 ( 続き ) 検証項目マルチホップ FCoE 検証 10GbE パフォーマンス測定 PostgreSQL によるパフォーマンス測定 iscsi パフォーマンス測定 FCoE パフォーマンス測定 vmotion 時のパフォーマンス結果検証手順内容マルチホップで構成されたネットーワーク上で FCoE 通信ができることを確認する仮想マシン間で B1860 Fabric Adapter を介して 10GbE の通信ができることを確認する PostgreSQL によりデータベース検索のパフォーマンス測定を行う仮想マシンに DX440S5 のディスクの iscsi 領域をマウントし IOmeter でパフォーマンス測定を行う仮想マシンに DX440S5 のディスクの FCoE 領域をマウントし IOmeter でパフォーマンス測定を行う vmotion 持の IO 断時間を FCoE/iSCSI で測定する備考測定ツールとして NTttcp を用いる測定ツールとして PstgreSQL ベンチマークツールを使用するマウントポイントは 20GB x4lun の領域 4/8/16/32/64/128KB の Read/Write を行うマウントポイントは 20GB x4lun の領域 4/8/16/32/64/128KB の Read/Write を行う測定ツールとして KGEN を用いる 2011 Brocade Communications Systems, Inc. 14

15 検証結果 2011 Brocade Communications Systems, Inc. 15

16 1. 環境構築 2011 Brocade Communications Systems, Inc. 16

17 環境構築 :Brocade 1860, 1020 インストール vcenter, HCM よりアダプタが認識されていることを確認 Any IO Brocade 1860 は HBA, CNA, NIC として動作することが可能本検証では CNA として動作させます 2011 Brocade Communications Systems, Inc. 17

18 環境構築 :VCS(Virtual Cluster Switching) 構築 VDX を使用した VCS の構築 VCS ID 1 FCoE, iscsi FCoE, iscsi FCoE, iscsi FCoE, iscsi Te 1/0/4 Te 1/0/5 Te 1/0/13 Te 2/0/13 Te 2/0/4 Te 2/0/5 Te 1/0/14 Te 2/0/14 Te 1/0/15 Te 2/0/15 Te 1/0/1 Te 1/0/2 ISL Trunk Te 2/0/1 Te 2/0/2 FCoE iscsi FCoE iscsi 2011 Brocade Communications Systems, Inc. 18

19 環境構築 :VCS(Virtual Cluster Switching) 構築 FCoE の設定 CEE map の設定 ( デフォルトのまま ) FCoE の設定 ( デフォルトのまま ) LLDP の設定 ( デフォルトのまま ) 2011 Brocade Communications Systems, Inc. 19

20 環境構築 :VCS(Virtual Cluster Switching) 構築ポートの設定 FCoE ポート設定 interface TenGigabitEthernet 1/0/1 fabric isl enable fabric trunk enable switchport ISL ポート設定 ( デフォルトのまま ) interface TenGigabitEthernet 1/0/13 fabric isl enable fabric trunk enable no shutdown switchport mode access switchport access vlan 1 fcoeport default no shutdown 必要最小限の FCoE 設定はこれだけです iscsi については通常のスイッチポート設定 2011 Brocade Communications Systems, Inc. 20

21 環境構築 : ボリュームの認識 iscsi, FCoE を使用したボリュームの認識 VDX6720 を介して ETERNUS DX440S2 のボリュームを iscsi, FCoE で認識できることを確認 2011 Brocade Communications Systems, Inc. 21

22 2. 機能検証 2011 Brocade Communications Systems, Inc. 22

23 機能検証 :VCS ファブリックの形成 VCS ファブリックが形成されていることを確認する VCS ファブリックの情報を確認する 2 台の VDX を確認 ISL の情報を確認する 30G の ISL トランクが形成されていることを確認 2011 Brocade Communications Systems, Inc. 23

24 機能検証 :802.1Q tag VLAN VLAN tag の動作確認検証手順結果 VDX のポートを trunk mode, vswitch にタグ VLAN を設定し通信できることを確認 VDXのポートでtrunk mode 設定時 vmからのタグなしトラフィックが廃棄されることを確認 no vlan dot1q tag native を設定することでタグなしタグつきとも通信可能になることを確認 2011 Brocade Communications Systems, Inc. 24

25 機能検証 :AMPP (Auto Migration Port Profile) AMPP の動作確認 AMPP とは仮想マシーンの MAC アドレスに紐付けた Port-Profile を仮想マシーンが通信するポートに適用するものです仮想マシーンが vmotion 等で移動した際にスイッチのポート設定を移動に追従させるために使用します Port-Profile には VLAN, ACL, QoS, FCoE のプロファイルを設定可能検証手順仮想マシーンを vmotionする vmotion 前の物理ポートに適用されていた Port-Profile が vmotion 後に通信を行う物理ポートに Port-Profile が適用されていることを確認する検証結果 vmotion 後の物理ポートに Port-Profile が適用されたことを確認 vmotion 前 vmotion 後 2011 Brocade Communications Systems, Inc. 25

26 機能検証 :vlag (virtual link aggregation) vlag が動作することを確認 VCS ID 1 vlag vlag Te 1/0/4 Te 1/0/5 Te 1/0/13 Te 2/0/13 Te 2/0/4 Te 2/0/5 Te 1/0/14 Te 2/0/14 Te 1/0/15 Te 2/0/15 Te 1/0/1 Te 1/0/2 ISL Trunk Te 2/0/1 Te 2/0/2 vlag とは 1 台のデバイスから 2 台の VDX に対して Link aggregation が構成できる技術デバイスからは通常の LAG の設定をする VDX 側では port-channel の設定をする VDX を跨いだ 2 つのポートは論理的に 1 つのポートとして扱われる 2011 Brocade Communications Systems, Inc. 26

vlag を設定した場合しない場合の挙動を確認 vlag を設定しない場合 ping を送信している VM の MAC

27 機能検証 :vlag (virtual link aggregation) vlag が動作することを確認検証手順 vswitch のプロパティでロードバランシングを IP ハッシュに基づいたルートに設定する VM から複数の宛先 IP アドレスに ping を送信する VDX に vlag を設定した場合しない場合の挙動を確認 vlag を設定しない場合 ping を送信している VM の MAC アドレスを二つのスイッチで受信するため MAC テーブル上でフラップが確認される Ping を送信している VM の MAC アドレス 2011 Brocade Communications Systems, Inc. 27

28 機能検証 :vlag (virtual link aggregation) vlag が動作することを確認 VDX1 vlag 設定 show port-channel VDX2 vlag 設定 show port-channel 検証結果 :VMのMACアドレス f.0007がPo 1に登録されていることを確認 pingが正常に通信できることを確認 2011 Brocade Communications Systems, Inc. 28

sflowコレクタでiscsiトラフィックが表示されたことを確認 sflow 設定 SH1516G FMV

29 機能検証 :sflow sflow コレクタを使用したトラフィック状況のモニタ検証手順 iscsi トラフィックが流れているポートを sflow コレクタでモニタする検証結果 sflowコレクタでiscsiトラフィックが表示されたことを確認 sflow 設定 SH1516G FMV E780/A sflow collector Brocade Communications Systems, Inc. 29

30 機能検証 : マルチホップ FCoE 動作確認 VDX が多段に構成されている状態での FCoE 通信確認 FCoE FCoE VCS ID 1 VDX-2 Te 2/0/3 Te2/0/4 Te 2/0/13, 14, 15 Te 1/0/13, 14, 15 VDX-1 2 hops VDXはマルチホップ FCoEをサポートするマルチホップ FCoE とは FCF を持ったスイッチの多段構成における FCoE 接続を意味しています Te 1/0/2 FCoE Brocade 8000 ではこの構成はサポートされておりません 2011 Brocade Communications Systems, Inc. 30

31 機能検証 : マルチホップ FCoE 動作確認 VDX が多段に構成されている状態での FCoE 通信確認検証手順 VDXを多段接続にしログインネームサーバ情報を確認する IO meterを使用してio 試験を行うログイン情報を確認する VDX-2ではBrocade 1020を使用した2 台のESXからのログイン情報を確認 VDX-1ではETERNUS DX440S2のログイン情報を確認 Brocade 1020 ETERNUS DX440S Brocade Communications Systems, Inc. 31

32 機能検証 : マルチホップ FCoE 動作確認 VDX が多段に構成されている状態での FCoE 通信確認ネームサーバの確認 2011 Brocade Communications Systems, Inc. 32

33 機能検証 : マルチホップ FCoE 動作確認 VDX が多段に構成されている状態での FCoE 通信確認ネームサーバの確認 2011 Brocade Communications Systems, Inc. 33

34 機能検証 : マルチホップ FCoE 動作確認 VDX が多段に構成されている状態での FCoE 通信確認検証結果 IO が問題なく行えることを確認 IO meter による IO 確認 FCoE による read, write ISL リンクでの FCoE トラフィック状況 2011 Brocade Communications Systems, Inc. 34

35 3. パフォーマンス測定 2011 Brocade Communications Systems, Inc. 35

10GbE パフォーマンス測定 Brocade 1860 のパフォーマンス試験検証手順仮想マシン間で接続された 10GbE I/F 間で NTttcp を用いて通信速度を計測する NTttcp のパラメータ受信側 ntttcpr m 16,0.192.168.109.

36 10GbE パフォーマンス測定 Brocade 1860 のパフォーマンス試験検証手順仮想マシン間で接続された 10GbE I/F 間で NTttcp を用いて通信速度を計測する NTttcp のパラメータ受信側 ntttcpr m 16, n a 16 w v l fr 送信側 ntttcpr m 16, n a 16 w v l 検証結果 ESX4.1 上の仮想マシン上で NTttcp を用いて Brocade 1860 を用いて 9.464Gbps のスループットが出る事を確認した NTttcp 実行時の画面出力 2011 Brocade Communications Systems, Inc. 36

37 PostgreSQL によるパフォーマンス測定データベースを用いたストレージ別パフォーマンス測定検証手順仮想マシンに PostgreSQL を導入しデータベースを作成する PostgreSQL 用ベンチマークソフトにより TPSの測定を行う ( 測定結果は3 回試行した平均値 ) 仮想マシンを配置したストレージ領域の選択は ESX の Storage vmotion を用い PRIMERGY の内蔵ディスク (SAS) と ETERNUS の FCoE および iscsi のそれぞれの領域に配置して実行した検証結果 FCoE, iscsi, SAS の順番にパフォーマンスが出る事を確認仮想マシン上にデータベースを作成する場合 FCoE 上がパフォーマンスが出ることが分かるベンチマーク試験結果 (TPS 値の測定結果 ) FCoE iscsi SAS 2011 Brocade Communications Systems, Inc. 37

38 iscsi/fcoe パフォーマンス測定 -1 仮想マシン上から IOmeter を用いたストレージ I/O パフォーマンス結果 IOPS (I/O 数 / sec) K 2K 4K 8K 16K 32K 64K 128K スループット (MB/sec) K 2K 4K 8K 16K 32K 64K 128K FCoE Read iscsi Read FCoE Write iscsi Write FCoE Read iscsi Read FCoE Write iscsi Write 検証結果より 8KB 以下は iscsi より FCoE の方がパフォーマンスが良いことが分かった 16KB 以上のIOPS は両者で殆ど変わらない検証結果より 8KB 以下は iscsi より FCoE の方がパフォーマンスが良いことが分かった 16KB 以上は iscsi と FCoE の両者で殆ど変わらない 2011 Brocade Communications Systems, Inc. 38

39 iscsi/fcoe パフォーマンス測定 -2 仮想マシン上から IOmeter を用いたストレージ I/O パフォーマンス結果平均応答時間 (ms) FCoE Read iscsi Read FCoE Write iscsi Write 検証結果より iscsi より FCoE の方が若干応答時間が短いことが分かった 0 1K 2K 4K 8K 16K 32K 64K 128K CPU 使用率 (%) FCoE Read iscsi Read FCoE Write iscsi Write 検証結果より iscsi より FCoE の方が CPU を利用しない事が分かった 0 1K 2K 4K 8K 16K 32K 64K 128K 2011 Brocade Communications Systems, Inc. 39

移動中のストレージパフォーマンスの相違を測定する FCoE 上で vmotion を行った際の I/O パフォーマンス vmotion を行った際の所要時間 (s) iscsi 上で vmotion を行った際の I/O

40 vmotion 時のパフォーマンス結果データベースを用いたストレージ別パフォーマンス測定検証手順 Data Store が FCoE および iscsi 上の仮想マシンにて vmotion を行いストップウオッチで移動時間を計測する ( 測定結果は 3 回試行した平均値 ) 仮想マシン上で KGEN( パフォーマンス測定ソフト ) を用いてストレージ別の移動時間および移動中のストレージパフォーマンスの相違を測定する FCoE 上で vmotion を行った際の I/O パフォーマンス vmotion を行った際の所要時間 (s) iscsi 上で vmotion を行った際の I/O パフォーマンス FCoE iscsi FCoE の方が iscsi より若干 vmotion の時間が短かった vmotion の実行時間 2011 Brocade Communications Systems, Inc. 40

41 まとめ 2011 Brocade Communications Systems, Inc. 41

42 まとめ Fabric Adapter Brocade 1860, CNA Brocade 1020 とも VMware ESX に問題なく認識されファブリックスイッチ Brocade VDX を介して ETERNUS DX440S2 のボリュームを FCoE, iscsi を用いてマウント問題なく IO 通信ができることを確認 Brocade VDX を使用したイーサネットファブリックにおいてFCoE, iscsiのioトラフィック, IPデータトラフィックが混在した環境でのネットワークが構成できることを確認上記により基本動作検証を完了することができました 2011 Brocade Communications Systems, Inc. 42

43 参考資料 2011 Brocade Communications Systems, Inc. 43

44 Brocade 1860 Fabric Adapter HBA/CNA/NIC の機能機能を 1 つのカードにカードに統合 HBA 機能 Brocade 1860 Fabric Adapter CNA 機能 NIC 機能 AnyIO テクノロジ HBA/CNA/NIC 機能を動的かつポート単位に構成 2011 Brocade Communications Systems, Inc. 44

45 Brocade 1860 Fabric Adapter (HBA/CNA/NIC) Cloud や仮想化環境向けの機能を搭載したサーバ向け次世代アダプター主な機能ハイパフォーマンスでマルチ I/O に対応したアダプター 4/8/16G FC HBA と 1/10G DCB/Ethernet に対応したアダプター PCI Express 2.0 x8 対応 1 枚のカードでマルチプロトコルに対応 (AnyIO 対応 ) FC/FCoE ハードウエアオフロード機能 iscsi TLV 機能 NIC オフロード機能に対応アプリケーションサービスへの対応 16 個のPhysical Functionと 255 個のVirtual Functionに対応したSR-IOV SANに関する機能 : Nポートトランキングハードウエアベースの暗号化, FC QoS, FC-SP LANに関する機能 : 仮想マシン毎の仮想アダプタ機能 QoS 機能ハイパーバイザーからオフロードされた仮想スイッチ機能 VEB, VEPAによるL2ハードウエアオフロード機能 VCS/VDXと連携したネットワーク管理を実現 2011 Brocade Communications Systems, Inc. 45

46 Brocade VDX 6720 データセンタスイッチ Ethernet Fabric を提供する業界初のスイッチ Brocade VCS テクノロジー全ての Brocade VDX スイッチは Ethernet Fabric を構成する VCS 技術を搭載第 6 世代の ASIC 低消費電力と低遅延を実現既存の実績のある ASIC 技術 IP Routing RAS Brocade Network OS Brocade VDX Switch Fibre Channel Non-stop Operation Brocade Network OS (NOS) Brocade VDX Switch 実績のある Brocade Fabric OS (Fibre Channel Switch の OS) の堅牢性を継承高可用性を実現 LAN/SAN を統合しコンバージドトラフィックに対応 (FCoE) Ethernet/IP および FCP スタック業界で良く知られている OS と同じ操作感 (CLI) を実現 2011 Brocade Communications Systems, Inc. 46

47 VCS とは VCS の主な機能 VCS ID = 1 Global IP = A RBridge ID = 1 VCS ID = 1 論理筐体 RBridge ID = 2 RBridge ID = 3 RBridge ID = 4 RBridge ID = 5 RBridge ID = 6 RBridge ID = 7 vlag 例 )RBID = 6 の 20 ポートのインタフェース Tengigabitethernet 6/0/20 1. 論理筐体 2. マルチパス 3. vlag 4. 仮想マシンの移動対応 2011 Brocade Communications Systems, Inc. 47

48 ご提供中の技術文書など Brocade VCS による仮想化データセンターネットワークの実現 VCS 対応 Brocade VDX 6720 のデータセンターへの導入イーサネットファブリックと Brocade VCS テクノロジ Brocade VAL による仮想データセンターネットワークの最適化新たなプロトコル FCoE - 概要と機能 Brocade Communications Systems, Inc. 48

ありがとうございましたお問い合わせ先ブロケードコミュニケーションズシステムズ株式会社パートナー営業部第 1 営業部鈴木電話 :03-6203-9100( 代表 )

49 ありがとうございましたお問い合わせ先ブロケードコミュニケーションズシステムズ株式会社パートナー営業部第 1 営業部鈴木電話 : ( 代表 ) FAX: suzuki@brocade.com 2011 Brocade Communications Systems, Inc. 49

富士通PRIMERGYサーバ/ETERNUSストレージとXsigo VP560/VP780の接続検証

富士通PRIMERGYサーバ/ETERNUSストレージとXsigo VP560/VP780の接続検証富士通 PRIMERGY サーバ /ETERNUS ストレージと Xsigo VP560/VP780 の接続検証 2011 年 10 月 6 日謝辞このたびシーゴシステムズ I/O 仮想化コントローラとの接続検証試験にあたり富士通検証センター ( 東京浜松町 ) 本検証関係者の皆様のご協力により相互接続の確認を行うことができました検証およびその準備にあたりご協力いただきましたことを大変感謝申し上げます