はじめに オフィスでのネットワークではギガビット Ethernet が当たり前になり ワークステーション サーバーでは 10Gb Ethernet が主流になってきております ネットワークの高速化により 性能が必要なストレージの分野でも Fiber Channel から iscsi 等へと ユーザーの選択肢が広がりました 現在 40Gb Ethernet も出荷されており 更に高性能ネットワークが使われ始めています もう一つ 高速化でホットな分野が High Performance Computing(HPC) の分野です HPC は 多数の計算ノードをネットワークで接続し 並列処理させることにより 格段の性能を引き出す技術です ここで必要とされることが 各ノード間の転送バンド幅 およびレイテンシの性能です この分野は 主に InfiniBand が主流となっており 速度は SDR(10Gbps) から始まり DDR(20Gbps) QDR(40Gbps) そして FDR(56Gbps) と高速化が進められてきており FDR スイッチに於いては ポート間のレイテンシで 200ns という性能を叩きだしています 従来 これら 2 つのネットワークは別々のネットワークであり 相互に頻繁に通信するということは稀でしたが 近年では ビッグデータの活用など オフィス環境から HPC へ処理を依頼するケースが増えつつあり 両ネットワークを繋ぎ通信する必要性が出てきました 従来ですと 相互通信の為に両方のプロトコルをサポートする専用ゲートウェイを設置する必要がありましたが Mellanox の ConnectX と SwitchX シリコンに搭載された VPI(:Virtual Protocol Interconnect) 技術により Ethernet と InfiniBand 間の高速度インターコネクトが可能となりました 1 個のチップで Ethernet と InfiniBand の両方をサポートすることができ ゲートウェイの機能を持ったスイッチへと発展しました それが Mellanox の SX60xx/SX10xx です ゲートウェイというと セットアップが何となく複雑で難しいと感じられるかもしれませんが いざやってみると そんな難しいものでは有りません 実際に セットアップしてみましょう SX6036 でのスイッチのゲートウェイ設定について Mellanox SwitchX チップを搭載のスイッチは Proxy-ARP 機能により Ethernet ネットワークと InfiniBand ファブリックとの間で IPv4 パケットを送受信することが出来ます ただし Proxy-IP は IP ルーターとしてでは無く IPoE と IPoIB ネットワーク間の Unreliable Datagram 通信を行うというものです 図 1 InfiniBand ホストから送られた ARP Request は Proxy-ARP で一旦受け取られ 新たな ARP リクエストが Proxy-ARP から VLAN インターフェース上の Ethernet ホストへ送られます Ethernet ホストは ARP Reply を Proxy-ARP へ返送します そして Proxy-ARP は InfiniBand ホストへ ARP Reply を返します したがって 一旦 宛先アドレスが解決されると InfiniBand と Ethernet との間で データの送受信ができるようになります 1
このシステムは InfiniBand ARP で 3500 エントリー Ethenet を 100 エントリー迄サポートすることが出来ます Proxy-ARP は 下図のように IP アドレス VLAN およびサブネットの PKEY 値を持つ論理インターフェースです 現時点で Proxy-ARP インターフェースは 32 エントリーまでサポート可能です 今回は次の様な構成で行うものとします 2
[ 注意 ]SX6036/1036 スイッチは Gateway として使用した場合 ルーティング機能が使えませんので Ethernet/Gateway/InfiniBand の IP アドレスは全て同じ Domain にセットして下さい 1) CLI でコマンドを発行するために management port(mgmt0 192.168.10.5) よりスイッチへ ssh で Login します 工場出荷時のホストネームおよびパスワードは下記の通りホストネーム :admin パスワード :admin [root@t2 デスクトップ ]# ssh admin@192.168.10.7 Mellanox MLNX-OS Switch Management Password: Last login: Sat Feb 15 09:36:03 2014 from 192.168.10.136 Mellanox Switch Please read and accept the Mellanox End User License Agreement located at: http://www.mellanox.com/related-docs/prod_management_software/mlnx- OS_EULA.pdf 2) 内部の設定を行うために Configure モードに入ります switch-6284a4 [standalone: master] > enable switch-6284a4 [standalone: master] # configure terminal 3) ライセンスの確認をします 下記の例では 現在インストールされているライセンスの確認をします switch-6284a4 [standalone: master] (config) # show license No licenses have been configured. 4) システムプロファイルの確認 SX6036(InfiniBand)/SX1036(Ethernet) では Gateway License が適用されていると ibsingle-switch モード /eth-single-switch モード /vpi-single-switch モードの 3 種類から選択することが可能です Gateway License が適用されていない場合 SX6036 は ib-single-switch モードのみ SX1036(Ethernet Switch) ですと eth-single-switch モードのみのサポートとなります 下記の SX6036 例では Gateway License が適用前ですので eth-single-switch モードを選択すると そのモードはサポートされていないとの警告が出てきます そして システムプロファイルは ib-single-switch モードのみのサポートとなります switch-6284a4 [standalone: master] (config) # show license No licenses have been configured. switch-6284a4 [standalone: master] (config) # system profile eth-singleswitch % Profile eth-single-switch not supported. 3
switch-6284a4 [standalone: master] (config) # show system profile ib-singleswitch 5) Gateway License の適用 Mellanox 社から入手した License Key を入力します ( 注 : 以下の key は スイッチの Serial# より生成される個別の Key となりますので 他のスイッチには 導入出来ません ) switch-6284a4 [standalone: master] (config) # license install LK2-EFM_SX- 5M11-5K11-5T11-5N11-5HGL-0KAL-64R3-4CAQ-60QK-6D9L-88A0-Y7TX-1V2M-6 License was installed successfully. Please wait 1 minute before further configurations. 6) システムプロファイルの変更 SX6036/1036 を IB-Ethernet Gateway として使用するため vpi-single-switch モードで動作させます システムプロファイルを変更すると スイッチは一旦リセットされ リブート後に新しいプロファイルに変更されます [ 注意 ] この設定は GUI で行うことはできません switch-6284a4 [standalone: master] (config) # system profile vpi-singleswitch Warning! The switch configuration is going to be deleted and the system will be reloaded. Type 'yes' to confirm profile change: yes Note: 1 Web UI request(s) currently in progress began before this change was applied, and may not be affected by this change. switch-6284a4 [standalone: master] (config) # System shutdown initiated -- logging off. Connection to 192.168.10.7 closed. 7) 再度 スイッチ Admin へログインします [root@t2 デスクトップ ]# ssh admin@192.168.10.7 Mellanox MLNX-OS Switch Management Password: Last login: Sat Feb 15 10:34:28 2014 from 192.168.10.136 Mellanox Switch System is initializing! This may take a few minutes Modules are being configured Please read and accept the Mellanox End User License Agreement located at: http://www.mellanox.com/related-docs/prod_management_software/mlnx- OS_EULA.pdf 8) 内部構成の設定を行うために Configure モードに入ります switch-6284a4 [standalone: master] > enable switch-6284a4 [standalone: master] # configure terminal 4
9) システムプロファイルを確認します 下記の例では vpi-single-switch モードに設定され Gateway として動作させることが可能となります switch-6284a4 [standalone: master] (config) # show system profile vpi-single-switch 10) Gateway として動作させる準備が出来ました これ以降は GUI でも設定できるようになります Routing IGMP snooping および (subnet manager) は 工場出荷時に Disable になっておりますが 一度 Configuration を行った場合は 必ず下記の様に Disable にして下さい switch-6284a4 [standalone: master] (config) # no ip routing switch-6284a4 [standalone: master] (config) # no ip igmp snooping switch-6284a4 [standalone: master] (config) # no ib sm なお これらの機能は GUI でも Disable にすることが可能です 11) このスイッチが Gateway 機能をサポート出来ることを確認します switch-6284a4 [standalone: master] (config) # show system capabilities IB: Supported Ethernet: Supported, Full L2, L3 GW: Supported Max SM nodes: 648 IB Max licensed speed: FDR Ethernet Max licensed speed: 40Gb *GUI では Status タブの Profile & Capability で確認することが出来ます 12) Gateway の設定を開始します まずは proxy-arp モードを Enable にします switch-6284a4 [standalone: master] (config) # ip proxy-arp switch-6284a4 [standalone: master] (config) # show ip proxy-arp Proxy-arp: enabled 13) Proxy-arp の番号を指定し作成します そして proxy-arp 機能の CLI コマンドの受付状態にします switch-6284a4 [standalone: master] (config) # interface proxy-arp 1 なおこれからはプロンプトが (Config interface proxy-arp 1) になることに留意して下さい 14) ゲートウェイ自体の IP アドレスを設定します switch-6284a4 [standalone: master] (config interface proxy-arp 1) # ip address 10.10.10.10 15) ゲートウェイのネットマスクを設定します switch-6284a4 [standalone: master] (config interface proxy-arp 1) # ip netmask /24 16) 一旦 proxy-arp の設定コマンドを抜け出して Ethernet 側の VLAN 10 の設定をします switch-6284a4 [standalone: master] (config interface proxy-arp 1) # exit switch-6284a4 [standalone: master] (config) # vlan 10 switch-6284a4 [standalone: master] (config vlan 10) # exit 17) InfiniBand 側で pkey のセットアップをします 5
switch-6284a4 [standalone: master] (config) # interface proxy-arp 1 switch-6284a4 [standalone: master] (config interface proxy-arp 1) # ip pkey 0x7fff 18) Proxy-arp の機能を Enable にします switch-6284a4 [standalone: master] (config interface proxy-arp 1) # no shutdown switch-6284a4 [standalone: master] (config interface proxy-arp 1) # exit 19) 各 Ethenet ポートに所属する VLAN の設定をします switch-6284a4 [standalone: master] (config) # interface ethernet 1/1 switch-6284a4 [standalone: master] (config interface ethernet 1/1) # switchport access vlan 10 switch-6284a4 [standalone: master] (config interface ethernet 1/1) # exit [ 注意 ]CLI コマンドでは ポートの選択を複数選択するコマンドが有りますが Proxy-arp ではポートを一度に選択することは出来ません もしやったとしても下記の様なメッセージが出され CLI コマンドは無効となります switch-6284a4 [standalone: master] (config) # interface ethernet 1/2-1/3 switch-6284a4 [standalone: master] (config interface ethernet 1/2-1/3) # switchport access vlan 10 % interface range is not supported for this command switch-6284a4 [standalone: master] (config interface ethernet 1/2-1/3) # exit 20) 最後に IP route のディフォルト値を設定します switch-6284a4 [standalone: master] (config) # interface proxy-arp 1 switch-6284a4 [standalone: master] (config interface proxy-arp 1) # ip route default 10.10.10.254 switch-6284a4 [standalone: master] (config interface proxy-arp 1) # exit 21) 各インターフェースの状態を見ます switch-6284a4 [standalone: master] (config) # show interface proxy-arp 1 Proxy-arp 1 Admin state: Enabled Operational state: Down GUID: 00:02:C9:03:00:72:04:82 Internet Address: 10.10.10.10/24 Broadcast Address: 10.10.10.255 Description: N/A MTU: 1500 Counters: Enabled Bridged interfaces: vlan 10(D), pkey 0x7fff(D) Vlan counters ------------- RX 0 Unicast packets 0 Multicast packets 0 Unicast bytes 0 Multicast bytes 0 Bad packets 0 Bad bytes TX 0 Unicast packets 0 Multicast packets 0 Unicast bytes 0 Multicast bytes 6
Pkey counters ------------- RX 0 Unicast packets 0 Multicast packets 0 Unicast bytes 0 Multicast bytes 0 Bad packets 0 Bad bytes TX 0 Unicast packets 0 Multicast packets 0 Unicast bytes 0 Multicast bytes switch-6284a4 [standalone: master] (config) # show interfaces proxy-arp brief Interface Description State Bridged interfaces --------------------------------------------------------------------- proxy-arp 1 N/A Down vlan 10(D), pkey 0x7fff(D) switch-6284a4 [standalone: master] (config) # show interfaces proxy-arp brief Interface Description State Bridged interfaces --------------------------------------------------------------------- proxy-arp 1 N/A Down vlan 10(D), pkey 0x7fff(D) switch-6284a4 [standalone: master] (config) # show ip route interface proxy-arp 1 Destination Mask Gateway Interface Source Distance/Metric 10.10.10.0 255.255.255.0 0.0.0.0 proxy-arp 1 kernel 0/0 default 0.0.0.0 10.10.10.254 proxy-arp 1 static 0/0 switch-6284a4 [standalone: master] (config) # この例では ポートに何も接続していませんので State=Down となっておりますが Ethernet/IB の量ポートにノードを接続しますと Active となります 7
GUI によるセットアップ法 Mngm0 ポートの IP アドレスを用いて Web ブラウザでアクセスしますとログイン画面が表示されます 工場出荷時は工場出荷時のホストネームおよびパスワードは下記の通りです ホストネーム :admin パスワード :admin ログインが成功しますと Summary 画面を表示します [ 注意 ] 今後各機能タブの一番右側に "Save と赤で表示されるボタンがございます これが変化する度にこのボタンをクリックしてください 受け付けられますと グレーアウトします 8
まずは どのような License が適用されているかを確認します この例では ライセンスの適用が無い 工場出荷モデルと同じ構成としましたので License としては 何ら登録されていません ここで Mellanox から入手した License Key を入れ Apply ボタンをクリックします 何ら問題無く License Key の適用が出来ました 9
ここでシステムプロファイルの変更を行います CLI の 6) に有りますように System Profile を VPI- Single-Switch モードにします 下記にございますように SX6036 では全てのポートが InfiniBand(SX1036 では全てのポートが Ethernet) に割りつけられております ここで Port1 から Port8 迄を一気に使用プロトコルを InfiniBand から Ethernet へ行います 確かにポート 1-8 が Ethernet ポートに変更されました [ 注意 ]CLI では GUI の様に複数のポートを纏めてプロトコルの変更をすることが出来ません 10
次は Port1-4を VLAN 10へ登録します Ethernet Management タブを選択し メニューから VLAN を選択します まずは Create VLAN 項目で VLAN を10として Apply ボタンをクリックすると VLAN Table に10 番が追加されます ここで VLAN 10と名前を付け Apply ボタンをクリックすることに名前が付けられます Interfaces Switchport Table の Interface 項目をチェックすると 各ポートのモードや Access VLAN が選択できるようになります ここで Port1-4を VLAN 10にセットし Apply ボタンをクリックします ( 複数ポート選択可能です CLI ですと ポートごとに設定を繰り返さなければなりません ) 次に Proxy-ARP の設定を行います Gateway タブの Proxy-ARP Global メニューを選んでクリックしてください 次の様な画面が出たところで IP Proxy-ARP にチェックマークを行い Apply ボタンをクリックします 11
次に Proxy-ARP Interfaces メニューを選び ID=1 とし Apply ボタンをクリックします そうしますと Proxy-ARP Interfaces のリストに Proxy-ARP 1 作られます さて Proxy ARP を選択しクリックしますが この内容は殆どセットされていません 12
ここで Interface Proxy-ARP 1 Configuration のパラメータを一気にセットし完了です また Counter ボックスにチェックマークを入れて APPLY ボタンをクリックすると統計情報も表示できます 13
本内容は 2014 年 4 月時点の内容となります 参考文献 : - SwitchX 36-Port QSFP FDR InfiniBand System Hardware User Manual Rev 2.2 - SwitchX 36 Port FDR IB Switch Installation Guide Rev.1.5 - Mellanox MLNX-OS User Manualfor VPI Rev 2.40 14