AIX間通信の高速化_SMC-R構成ガイド_

Transcription

1 SMC-R 構成ガイド 日本アイ ビー エム Power Systems テクニカル セールス日本アイ ビー エムシステムズ エンジニアリング株式会社 2018 年 3 月 8 日

2 IBM Corporation All Rights Reserved. ワークショップ セッション および資料は IBM またはセッション発表者によって準備され それぞれ独 の 解を反映したものです それらは情報提供の 的のみで提供されており いかなる参加者に対しても法律的またはその他の指導や助 を意図したものではなく またそのような結果を むものでもありません 本講演資料に含まれている情報については 完全性と正確性を期するよう努 しましたが 現状のまま 提供され 明 または暗 にかかわらずいかなる保証も伴わないものとします 本講演資料またはその他の資料の使 によって あるいはその他の関連によって いかなる損害が じた場合も IBM は責任を負わないものとします 本講演資料に含まれている内容は IBM またはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも IBM ソフトウェアの使 を規定する適 ライセンス契約の条項を変更することを意図したものでもなく またそのような結果を むものでもありません 本講演資料で IBM 製品 プログラム またはサービスに 及していても IBM が営業活動を っているすべての国でそれらが使 可能であることを暗 するものではありません 本講演資料で 及している製品リリース 付や製品機能は 市場機会またはその他の要因に基づいて IBM 独 の決定権をもっていつでも変更できるものとし いかなる 法においても将来の製品または機能が使 可能になると確約することを意図したものではありません 本講演資料に含まれている内容は 参加者が開始する活動によって特定の販売 売上 の向上 またはその他の結果が じると述べる または暗 することを意図したものでも またそのような結果を むものでもありません パフォーマンスは 管理された環境において標準的な IBM ベンチマークを使 した測定と予測に基づいています ユーザーが経験する実際のスループットやパフォーマンスは ユーザーのジョブ ストリームにおけるマルチプログラミングの量 出 構成 ストレージ構成 および処理されるワークロードなどの考慮事項を含む 数多くの要因に応じて変化します したがって 個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません 記述されているすべてのお客様事例は それらのお客様がどのように IBM 製品を使 したか またそれらのお客様が達成した結果の実例として されたものです 実際の環境コストおよびパフォーマンス特性は お客様ごとに異なる場合があります IBM IBM ロゴ ibm.com [ 当該情報に関連し商標リスト中に掲載された IBM ブランド 製品名称があれば追加する ] は 世界の多くの国で登録された International Business Machines Corporation の商標です 他の製品名およびサービス名等は それぞれ IBM または各社の商標である場合があります 現時点での IBM の商標リストについては をご覧ください Adobe, Adobe ロゴ, PostScript, PostScript ロゴは Adobe Systems Incorporated の 国およびその他の国における登録商標または商標です IT Infrastructure Library は英国 Office of Government Commerce の 部である the Central Computer and Telecommunications Agency の登録商標です インテル, Intel, Intel ロゴ, Intel Inside, Intel Inside ロゴ, Intel Centrino, Intel Centrino ロゴ, Celeron, Intel Xeon, Intel SpeedStep, Itanium, および Pentium は Intel Corporation または 会社の 国およびその他の国における商標または登録商標です Linux は Linus Torvalds の 国およびその他の国における登録商標です Microsoft, Windows, Windows NT および Windows ロゴは Microsoft Corporation の 国およびその他の国における商標です ITIL は英国 The Minister for the Cabinet Office の登録商標および共同体登録商標であって 国特許商標庁にて登録されています UNIX は The Open Group の 国およびその他の国における登録商標です Cell Broadband Engine は Sony Computer Entertainment, Inc. の 国およびその他の国における商標であり 同社の許諾を受けて使 しています Java およびすべての Java 関連の商標およびロゴは Oracle やその関連会社の 国およびその他の国における商標または登録商標です Linear Tape-Open, LTO, LTO ロゴ, Ultrium および Ultrium ロゴは HP, IBM Corp. および Quantum の 国およびその他の国における商標です 2

3 更新履歴 2018 年 3 8 初版発

4 SMC-R による AIX 間通信高速化 SMC-R は AIX 間の 10Gb ネットワーク通信を 速化 AIX 間の通信を RDMA 化することで低レイテンシーな通信を実現 TCP レイヤーでの制御により標準的な TCP/IP と RDMA 通信の共存可能 SMC-R: Shared Memory Communication over RDMA アプリケーションから透過的 TCP で制御するためアプリ側の対応不要 トランザクションが約 10% 向上 AP-DB 間のレイテンシー向上により TPCC での TPS が向上 10Gb SMC-R 0 TPS E880 上の #EC30(RoCE アダプター ) を持つ LPAR 間で Oracle DB に対して TPCC で TPS を測定

5 検証環境 Node1 AIX7.2TL2SP1 Node2 AIX7.2TL2SP1 ent1 (EC30) ent0 ent0 ent1 (EC30) POWER Hypervisor G G ネットワークスイッチ

6 SMC-R の構成準備 SMC-R の前提パッケージ確認 ofed.smcr.rte が導 されていることを確認 1 # lslpp -L grep ofed ofed.core.rte C F OFED Core Runtime Environment ofed.smcr.rte C F SMCR RoCE アダプターを NIC モードに変更 RoCE アダプターを NIC モードに変更し ent デバイスを構成 1 AIX 7.2TL2 の BOS メディアから導 する # rmdev -dl roce0 roce0 deleted # chdev -l hba0 -a stack_type=ofed hba0 changed # cfgmgr # lsdev grep ^ent ent0 Available Virtual I/O Ethernet Adapter (l-lan) ent1 Available RoCE Converged Network Adapter ent2 Available RoCE Converged Network Adapter

7 SMC-R の構成準備 RoCE アダプターの RDMA 通信有効化 ent デバイスの rdma 属性を設定 # chdev -l ent1 -a rdma=desired ent1 changed # lsattr -El ent1 -a rdma rdma desired Request RDMA True RoCE アダプターに IP アドレス設定 en デバイスに IP アドレスを設定 # ifconfig en1 en1: flags=1e080863,18c0<up,broadcast,notrailers,running,simplex,multicast,grouprt,64bit,checksum_offload(active),largesend,chain> inet netmask 0xffffff00 broadcast tcp_sendspace tcp_recvspace rfc1323 1

8 SMC-R デバイスの構成 SMC-R の有効化 smcr0 デバイスを構成 # mkdev -c tcpip -t smcr smcr0 Available SMC-R の設定 smcr0 デバイスの属性を設定 # chdev -l smcr0 -a enabled=1 smcr0 changed # chdev -l smcr0 -a ip_addr_list= smcr0 changed # chdev -l smcr0 -a port_range= smcr0 changed smcr0デバイスの属性 enabled: 有効化 (1) ip_addr_list: SMC-R 通信に使 する ノードのIPアドレス port_range: SMC-R 通信を使 するポートの範囲

9 SMC-R デバイスの構成 SMC-R の設定確認 smcr0 デバイスの属性を確認 # lsattr -El smcr0 enabled 1 SMCR Enabled True ip_addr_list IP Address List True max_memory 512 Max Memory in MB True port_range TCP Port Range True tx_intr_cnt 128 Tx Interrupt event coalesce counter True tx_intr_time Tx Interrupt event coalesce timer (microseconds) True

10 SMC-R の疎通確認 SMC-R の疎通確認 SMC-R を構成したノード間で FTP 通信を実施 # ftp Connected to e FTP server (Version 4.2 Mon Aug 7 14:37:46 CDT 2017) ready. Name ( :root): root 331 Password required for root. Password: 230-Last unsuccessful login: Mon Jan 29 11:26: on /dev/pts/0 from pvc Last login: Wed Feb 14 23:50: on /dev/pts/0 from pvc User root logged in. ftp> bin 200 Type set to I. ftp> put " dd if=/dev/zero bs=1024k count=100" /dev/null 200 PORT command successful. 150 Opening data connection for /dev/null records in records out 226 Transfer complete bytes sent in seconds (1.711e+05 Kbytes/s) local: dd if=/dev/zero bs=1024k count=100 remote: /dev/null

11 SMC-R の疎通確認 SMC-R の疎通確認 smcr0 デバイスの統計情報確認 (TCP Payload Bytes Sent/Recv の増加を確認 ) # entstat -d smcr ETHERNET STATISTICS (smcr0) : Device Type: IBM Shared Memory Channel (SMCR) Psuedo-Adapter Elapsed Time: 0 days 0 hours 0 minutes 0 seconds IBM Shared Memory Channel (SMCR) Psuedo-Adapter Specific Statistics: Active Link Groups: 2 TCP Payload Bytes Sent: TCP Payload Bytes Recv: 411 CLC Messages Sent: 3 CLC Messages Recv: 3 LLC Messages Sent: 4 LLC Messages Recv: 4 以下略

12 ( 参考 ) 検証環境のネットワークスイッチ設定 G g ネットワークスイッチの設定 Converged Enhance Ethernet (CEE) フィーチャーを使 不可に設定 スパンニング ツリー プロトコル (STP) を使 不可に設定 RS G8264(config)#no cee enable RS G8264(config)#spanning-tree mode disable

13 参考資料 Shared Memory Communications over RDMA (SMC-R) AIX NIC + OFED RDMAhttps:// mm/roce_nicconfiguration.htm