Microsoft Word - Dolphin Expressによる10Gbpソケット通信.docx

Size: px

Start display at page:

Download "Microsoft Word - Dolphin Expressによる10Gbpソケット通信.docx"

なおはぎにわ
5 years ago
Views:

Dolphin Express による 10Gbps ソケット通信 Dolphin Express は標準的な低価格のサーバを用いて強力なクラスタリングシステムが構築できるハードウェアとソフトウェアによる通信用アーキテクチャです

Advanced Switching Interconnect (ASI) を用いた DX シリーズと Scalable Coherent Interface (SCI) を用いた D350 シリーズがありますいずれもホストアダプタは PCI

特にクラスタリングシステムでの採用実績がありますボード間のリンクスピードはシングルリンクで 664MB/s アプリケーション間レイテンシーは 1.

1 Dolphin Express による 10Gbps ソケット通信 Dolphin Express は標準的な低価格のサーバを用いて強力なクラスタリングシステムが構築できるハードウェアとソフトウェアによる通信用アーキテクチャです本資料では Dolphin Express 製品の概要と実際にどの程度の性能が出るのか市販 PC での実験結果をご紹介します Dolphin Express 製品体系 Dolphin Express のハードウェアには通信プロトコルに Advanced Switching Interconnect (ASI) を用いた DX シリーズと Scalable Coherent Interface (SCI) を用いた D350 シリーズがありますいずれもホストアダプタは PCI Express に対応しています D350 Dual Channel SCI D350 シリーズの使用する SCI プロトコルは ANSI/IEEE で標準化されこれまで PCI 用のホストアダプタとして特にクラスタリングシステムでの採用実績がありますボード間のリンクスピードはシングルリンクで 664MB/s アプリケーション間レイテンシーは 1.4us( 利用環境による ) です DX シリーズの使用する ASI プロトコルは PCI Express を機能拡張するために旧 ASI-SIG( 現在 PICMG が仕様を管理 ) により規格化されたプロトコルですボード間のリンクスピードは 1GB/s で PCI Express 同様にレーン数により帯域を上げることが可能です DXH510 PCI Express Host Adapter

DX シリーズ D350 シリーズハードウェアソフトウェアDolphin Express ハードウェアに用意されているソフトウェアにはソケットプログラミング用として SuperSockets と低レベル

極めて低いレイテンシーとハードウェアの持つリンク速度を十分に生かすことができますその結果従来のソケット利用アプリケーションを作りかえることなく 1Gb イーサで 100MB/s

Access) によるプログラミングが可能です以下に DX シリーズと D350 シリーズの特長をまとめてみました通信プロトコル ASI SCI (ANSI/IEEE 1596-1992)

328GB/s トポロジポイント-to-ポイントスイッチによる結線ポイント-to-ポイントリング結線トーラス結線ホストアダプタ PCIe x8 PCIe x8 または x4 その他 PCIe

2 DX シリーズ D350 シリーズハードウェアソフトウェアDolphin Express ハードウェアに用意されているソフトウェアにはソケットプログラミング用として SuperSockets と低レベル API として SISCI(Software Infrastructure for SCI) が用意されています SuperSocket はソケット API 以下の処理をハードウェアに最適化しているため極めて低いレイテンシーとハードウェアの持つリンク速度を十分に生かすことができますその結果従来のソケット利用アプリケーションを作りかえることなく 1Gb イーサで 100MB/s 程度であった通信を容易に 600MB/s 以上に高速化することが可能です組込機器などでソケット API を使用しない場合は SISCI の API を用いて RMA(Remote Memory Access) によるプログラミングが可能です以下に DX シリーズと D350 シリーズの特長をまとめてみました通信プロトコル ASI SCI (ANSI/IEEE ) リンクスピード 1GB/s または 2GB/s 664MB/s または 1.328GB/s トポロジポイント-to-ポイントスイッチによる結線ポイント-to-ポイントリング結線トーラス結線ホストアダプタ PCIe x8 PCIe x8 または x4 その他 PCIe 拡張ユニットあり 300m まで延長可能 PCI,CompactPCI,PCM などのホストアダプタありソケット API SuperSocket 対応 SuperSocket 対応低レベル API SISCI 対応 SISCI 対応 OS Linux Linux Windows( 準備中 ) WindowsXP SISCI は他 OS も対応その他 SCI 用に MPICH あり

3 市販 PC による実験下記スペックの市販 PC を 2 台用意し DXH510 および D350 で 2 台間を直結しデータの転送性能を計測してみました CPU インテル Core 2 Duo E4400 (2GHz, L2 2MB, FSB 800Mhz) チップセットインテル Q35 Express OS CentOS 5.1 x86_64 計測には次のソフトウェアを用いましたスループット計測 netperf レイテンシー計測 netpipe 計測の際にソケット通信においては Gb イーサとの比較を行うため PC に実装されている Gb イーサをスイッチングハブにて PC 間を接続したときの netperf による計測も行いました以下が各インタフェースにおける転送レートとレイテンシーの計測値です Netperf を転送レートの計測に netpipe の 1 バイト転送をレイテンシーの計測に利用しました 1Gb イーサ DXH510 D350 netperf ( 転送レート ) MBytes/s Mbytes/s Mbytes/s netpipe ( レイテンシー ) us 2.18 us 3.07 us 単に転送スループットが高いだけでなく極めて低いレイテンシーであることからデータベースのようにより高速なレスポンスが要求されるアプリケーションにも有効であることがわかります以下は実際に測定を行った際のログです DXH510 と D350 での netperf/nptcp コマンドの前に dis_ssocks_run の記述がありますが dis_ssocks_run はスクリプトになっておりアプリケーションである netperf/nptcp が参照するソケットのライブリ参照を SuperSockets にします 1Gb イーサポートでの netperf [root@pc1 bin]# netperf -H f M TCP STREAM TEST from ( ) to ( )

4 Size Size Size Time Throughput DXH510 での netperf bin]# dis_ssocks_run netperf -H f M TCP STREAM TEST from ( ) to ( ) Size Size Size Time Throughput D350 での netperf [root@pc1 bin]# dis_ssocks_run netperf -H f M TCP STREAM TEST from ( ) to ( ) Size Size Size Time Throughput Gb イーサポートでの netpipe [root@pc1 bin]# NPtcp -h Send and receive buffers are and bytes 0: 1 bytes 1608 times --> 0.12 Mbps in usec 1: 2 bytes 1630 times --> 0.25 Mbps in usec DXH510 での netpipe [root@pc1 bin]# dis_ssocks_run NPtcp -h Send and receive buffers are and bytes 0: 1 bytes 3557 times --> 3.50 Mbps in 2.18 usec 1: 2 bytes times --> 7.09 Mbps in 2.15 usec D350 での netpipe [root@pc1 bin]# dis_ssocks_run NPtcp -h Send and receive buffers are and bytes

5 0: 1 bytes 8602 times --> 2.48 Mbps in 3.07 usec 1: 2 bytes times --> 4.96 Mbps in 3.08 usec 株式会社スターブリッジ技術部お問い合わせは弊社ホームページ ( よりお願いいたします 2008 Starbridge, Inc. All rights reserved. 本書に記載の会社名製品名ロゴなどは各社各団体の登録商標または商標です

目次 1. はじめに用語説明対象アダプタ P HBA/2P HBAで異なる性能付録 ( 性能測定環境 ) P HBAでの性能測定環境 P HBAでの性能測定環境本書の

目次 1. はじめに用語説明対象アダプタ P HBA/2P HBAで異なる性能付録 ( 性能測定環境 ) P HBAでの性能測定環境 P HBAでの性能測定環境本書のホワイトペーパー Hitachi Gigabit Fibre Channel アダプタ - 16G FC アダプタに搭載される FC ポート数の性能への影響について - 2014 年 4 月発行株式会社日立製作所 1 / 9 Copyright 2014 Hitachi, Ltd. All rights reserved 目次 1. はじめに... 3 2. 用語説明... 4 3. 対象アダプタ...