1/8 産業機器に適した高速 高信頼性インターコネクト技術 Serial RapidIO のご紹介 StarFabric PCI Express 10Gigabit Ethernet Serial RapidIO 等 最近のインターコネクト技術では シリアル スイッチ ファブリック技術が標準的に使用

Transcription

1 1/8 産業機器に適した高速 高信頼性インターコネクト技術 Serial RapidIO のご紹介 StarFabric PCI Express 10Gigabit Ethernet Serial RapidIO 等 最近のインターコネクト技術では シリアル スイッチ ファブリック技術が標準的に使用されています その中で テレコミュニケーションやミリタリー市場においては 高帯域で且つ品質 信頼性の面でも優れている Serial RapidIO が標準インターコネクトとしての地位を獲得し 広く採用が進んでいます ここでは 産業機器に代表される組み込みシステムに最適な高速インターコネクト技術として Serial RapidIO をご紹介したいと思います Ⅰ.Serial RapidIO とは? Serial RapidIO はオープンスタンダード技術です! Ericsson 社, Freescale 社, TI 社, Tundra 社, Xilinx 社等のボードベンダーやデバイスメーカ約 40 社が加盟する RapidIO Trade Association で 規格の策定及び管理が行われており Serial RapidIO 規格は RapidIO Trade Association のホームページで無償公開されています URL : Serial RapidIO の特徴 A) 優れた柔軟性 エンドポイント スイッチ間を 1 対 1 接続するスイッチファブリック構成 ツリー スター メッシュ等のトポロジが構成でき 2 重化構成も可能 マルチプロセッサ接続が可能 B) 高帯域 Rev1.3 規格では 1.25, 2.5, Gbaud をサポート Rev2.0 規格では 5, 6.25 Gbaud もサポート 低オーバーヘッド 低レイテンシー マルチキャストをサポート C) 高信頼性 エラー検出やリカバリーをハードウェアが処理 優先制御やフロー制御等の QoS

2 2/8 Ⅱ. インターコネクト技術の比較 インターコネクト技術といっても世の中には様々な規格がありますが それぞれ適している接続部位があります 図 1 で 各シリアルインターコネクト技術が対象としている接続部位を比較してみます PCI Express は 主に CPU のプロセッサバスとグラフィックボードや I/O デバイスを接続するための I/O バスとして使用されます ケーブル拡張の規格もあり筐体間の接続も可能ですが 安定性の面に難があり産業機器への使用は一般的ではありません Ethernet(1G / 10G) は 筐体間や遠隔地接続のような接続距離が長くなるような場合に使用されます これに対して Serial RapidIO は I/O バスだけでなく 筐体内 ( バックプレーン ) 接続や筐体間の接続にも使用でき また光 I/F を使用することで 100m 程度の接続も可能で 用途に幅があることが分かります 図 1 各インターコネクト技術の接続部位の比較 PCI Express 10Gig Ethernet Serial RapidIO の特徴を表 1 に示します Serial RapidIO は ツリー スター メッシュと多種のトポロジをサポートしているため 多種多様なシステム構成に対応する事が可能です また マルチプロセッサ接続やマルチキャスト 冗長性等が考慮されているため 高性能な分散処理システムの構築や 高信頼性のシステムを作る事が可能となります 表 1 各インターコネクト技術の特徴 PCI Express 10Gig Ethernet Serial RapidIO 帯域 1レーン当たり Gen1: 2.5Gbps Gen2: 5Gbps 10Gbps 1レーン当たり Gen1: 1.25, 2.5, 3.125Gbps Gen2: 5.0, 6.25Gbps 距離 数 cm~ 数 m 数 m~ 数 km 数 cm~ 数 m, ~100m( 光 ) トポロジツリースターツリー スター メッシュ レイテンシー小大小 マルチプロセッサ接続限定的可可 マルチキャスト Gen2 のみブロードキャストのみ可 冗長性低高高

3 3/8 図 2 は 各インターコネクト技術のパフォーマンスを比較したグラフです ( 各規格のレビジョンは PCI Express は Gen1 Serial RapidIO は Rev1.3 を使用 ) Serial RapidIO は他の規格に比べて転送効率が高いため 特に転送データサイズが小さい場合にその効果が大きく現れている事がわかります (10G Ethernet の約 2 倍 ) データサイズが大きくなると 10G Ethernet の転送レートが向上し およそ 1kByte を境に Serial RapidIO よりも高いレートとなりますが レイテンシーが大きいため リアルタイム応答性を要求されるようなシステムには向きません その点 Serial RapidIO は データサイズが大きい場合でも 低レイテンシーで且つ 10G Ethernet と同等の転送レートを実現する事が可能です 図 2 パフォーマンス比較 ショートコラム RapidIO の歴史 1997 年に米国 Motorola 社と米国 Mercury Computer Systems 社によって次世代インターコネクト規格の検討が始まり 1999 年に最初の RapidIO 規格が作成されました その後 2000 年に RapidIO Trade Association が設立され RTA により規格が管理される事となります 2001 年に Rev 年に Rev 年には Rev1.3 がリリースされ 最近では 2007 年に Rev2.0 がリリースされています 最初の規格では LVDS 信号を使用したパラレルバスの物理層のみが規定されていますが 2002 年にリリースされた Rev1.2 でシリアルリンクの物理層が追加されたことで シリアルリンクの物理層を使用する RapidIO の事を Serial RapidIO(sRIO) と呼ぶようになりました Rev2.0 では シリアルリンクの帯域が 6.25G まで引き上げられ PCI Express Gen2 を凌ぐ高速インターコネクト技術となっています

4 4/8 Ⅲ.StarFabric から Serial RapidIO への移行 StarFabric は PCI バスをベースにした拡張インターコネクト技術として 多種多様な産業機器で非常に多く使用されています 米国の軍用機器にも使用されており その安定性 信頼性も高く Serial RapidIO と良く似た技術と言えるでしょう StarFabric 技術の概要 PCI バスの拡張技術で PCI バスを利用したスイッチファブリックシステムが構築できる 単純なバス拡張だけでなく 異なる PCI バスセグメント間の接続が可能 CAT5e ケーブルで最大 12m の接続が可能 通信方法は メモリマッピングによる SLS(Simple Load and Store) 方式 Doorbell, Write Message 機能も有り マルチプロセッシング環境の構築が容易 図 3 StarFabric システム ( 例 ) StarFabric と Serial RapidIO の機能の比較を表 2 に示します 物理層やルーティング形式の仕様は異なりますが 通信方式や機能に関しては非常に似ているため アプリケーションからみると ほぼ同様の使用方法が可能です そのため 既に StarFabric を使用しているシステムの Serial RapidIO への移行は比較的スムーズに進める事ができます StarFabric 物理層 LVDS XAUI 帯域 表 2 StarFabric と Serial RapidIO の比較 2.5Gbps(622Mbps x 4 レーン ) 又は 5.0Gbps(622Mbps x 8 レーン ) Serial RapidIO 1 レーン当たり Gen1: 1.25, 2.5, 3.125Gbps Gen2: 5.0, 6.25Gbps ルーティング形式パスルーティングアドレスルーティング 通信方式 Memory Mapped IO (Read/Write) Memory Mapped IO (Read/Write/Atomic) メッセージング機能 Write Message Event(4Byte) Doorbell Message(~4k Byte) Doorbell マルチキャスト機能 有り 有り

5 5/8 StarFabric から Serial RapidIO に移行する際に必要となる ハードウェア及びソフトウェアの変更点を以下に示します ハードウェア構成 スイッチ Serial RapidIOスイッチへ エンドポイント Serial RapidIO I/Fが組み込まれているPPC, DSPの利用 FPGAにSerial RapidIOコアを組み込み I/Oボードを直接接続. Tundra 社 Tsi620(Serial RapidIO to PCIブリッジ ) の利用. ケーブル接続 数 mであれば銅線 (CX4ケーブル) それ以上なら光で接続 ソフトウェア構成 ファブリックの初期化処理と通信設定 ( メモリマッピングの作成 ) 処理を変更 ハードウェアについては ファブリックの構成要素であるエンドポイントとスイッチの置き換えが必要となりますが トポロジに関しては StarFabric と同様の構成を取ることが出来ます ソフトウェアについては 初期化処理や通信設定の処理を Serial RapidIO に対応させる必要はありますが Serial RapidIO のコンフィグレーションとメモリマッピングの作成まで出来てしまえば その後の通信手順は StarFabric と同様に行う事が出来ます 図 3 に示した StarFabric のシステム ( 例 ) を Serial RapidIO のシステムに置き換えた場合の一例を 図 4 に示します 図 3 StarFabric システム ( 例 ) エンドポイントとして Serial RapidIO の I/F を持っている PPC や DSP を使用する場合は 直接 Serial RapidIO のスイッチに接続する事が出来ます FPGA を使用する場合は Serial RapidIO コアを FPGA に実装することで プロセッサと同様に直接スイッチに接続する事が出来ます また Serial RapidIO の I/F を持っていないプロセッサや 従来の PCI リソースを流用する場合には Serial RapidIO と PCI バスをブリッジする Tundra 社の Tsi620 を利用する事で Serial RapidIO に接続する事が出来ます

6 6/8 Ⅳ.Serial RapidIO システムの開発 ここでは Serial RapidIO システムを開発する際に有用なツールや ボード製品 システム製品についてご紹介したいと思います Serial RapidIO Signal Analyzer for Tundra 産業機器では 汎用のボード製品の組み合わせだけでシステムを構築せず 自社でハードウェアの開発を行うケースが多く見られます その際に ハードウェアの動作検証をどのように行うかで 頭を悩ませる技術者も多いのではないでしょうか Link Partner Card Serial RapidIO のハードウェア検証として最初に行う事は シリアル通信部分のアイパターンの測定になります 通常は 高帯域のモニタリングが可能な高性能オシロスコープを使用して測定を行いますが 測定器自体が非常に高価である事や 測定方法を熟知している必要があり 決して容易ではありません Tundra 社の Signal Analyzer は 測定対象のデバイスと Link Partner Card を JTAG 接続するだけでアイパターンの測定を行う事が出来るツールで Windows GUI である On-chip scope の操作により誰でも簡単にアイパターンの測定が可能となります On-chip scope RapidFET & Probe 分散処理システムのようなマルチプロセッシングシステムを構築する場合 Serial RapidIO ファブリックの規模が大きく複雑になります このようなシステムのデバッグを行う場合 各ノード間のトラフィックの状態や ルーティング情報 エラー情報等をモニタすることが デバッグの効率化への鍵となります RapidFET は 通常では可視化できないファブリック状態を Windows GUI 上に表示するソフトウェアで RapidIO トランザクションの状態監視やレジスタアクセス ルーティング情報 エラー情報のモニタ等が可能となります 本ツールを使用する事で開発効率が向上でき またシステムメンテナンス時のモニタリング等にも利用する事が可能です RapidFET Client Software Client PC RapidFET Probe PPC,DSP 等

7 7/8 Advenced Mezzanine Card 及び MicroTCA システム Serial RapidIO は 既にいくつかの標準プラットフォームに採用されており その一つに産業機器向けの標準化団体である PICMG によって規格化された Advanced Mezzanine Card(AMC) 規格があります AMC は 通信機器向けのプラットフォームである AdvancedTCA 用のメザニンボードの規格として作成されましたが 高い機能と性能を備えているため AMC ボードのみでシステムを構成するためのプラットフォームとして MicroTCA 規格も作成されました 小型のシステムでありながら 高い機能 性能を持つシステムが実現出来る事から AMC 及び MicroTCA は産業機器には最適なプラットフォームであると言えます AMC ボード製品 AMC-D4F1 Full Size,Single Width AMC ボード. TI 社 DSP C6455 x4, Xilinx 社 FPGA Virtex-4 FX100 x1 SRIO スイッチ Gigabit Ethernet スイッチを搭載. 各 DSP と FPGA を 4x SRIO 及び Gigabit Ethernet で接続. AMC ポート (4x が 2 つ ), 及びフロントパネル (CX4) より SRIO の外部接続が可能. AMC-V5F Mid Size,Single Width AMC ボード. Xilinx 社 FPGA Virtex-5 SX95T x1. SRIO スイッチ及び Gigabit Ethernet スイッチを搭載. 2 つの SFP ソケット. フロントパネルより SRIO 又は RocketIO を出力 (CX4). 低ジッタのプログラマブル PLL 回路. AMC-3C87F Full Size,Single Width AMC ボード. TI 社マルチコア DSP TCI6487 x3, Xilinx 社 FPGA Virtex-5 SX95T x1. SRIO スイッチ及び Gigabit Ethernet スイッチを搭載. 2 つの SFP ソケット. フロントパネルより SRIO 又は RocketIO を出力 (CX4). 低ジッタのプログラマブル PLL 回路. AMC-3C87F3-GPS Full Size,Single Width AMC ボード. TI 社マルチコア DSP TCI6487 x3, Xilinx 社 FPGA Virtex-5 LX110T x1. SRIO スイッチ及び Gigabit Ethernet スイッチを搭載. 3 つの SFP ソケット. GPS Receiver を搭載. 低ジッタのプログラマブル PLL 回路.

8 8/8 Advenced Mezzanine Card 及び MicroTCA システム MicroTCA システム製品 AMC スターターキット 電源 ファン 3 スロット μtca バックプレーン付き AMC ボードの評価 開発に最適 NAT-MCH (MicroTCA Carrier Hub) 12 枚の AMC 2 つの冷却ユニット 4 つの電源ユニットをサポート 冗長構成が可能 ファブリック I/F として PCI Express SRIO XAUI を選択可能 クロックモジュールを選択可能 Linux 及び Windows ホストで動作する Java ベースの GUI ショートコラム インターオペラビリティー Serial RapidIO に対応した ASIC FPGA や それらを実装したボードが各社よりリリースされています ここで重要となるのが各社製品間の相互接続性 ( インターオペラビリティー ) です これについては メーカーから独立した RapidIO Interoperability Lab (RIOLAB) で行われる コンプライアンステスト及びインターオペラビィリティーテストにより 各社製品の相互接続性が検証 確認されています RIOLAB で行われるインターオペーラビリティーテストでは RapidFET ツールが使用されており そのツールの品質の高さや有用性が証明されています また MicroTCA システムや AMC ボードについては 世界規模のインターオペラビリティーワークショップが開催され Serial RapidIO の動作確認のみでなく システムとしてのインターオペラビリティーが 検証されております