20ポート10GイーサスイッチLSIとその応用

Size: px

Start display at page:

Download "20ポート10GイーサスイッチLSIとその応用"

ひろとさわなか
6 years ago
Views:

A 20-port 10 Gigabit Ethernet Switch LSI and Its Application あらまし 10ギガビットイーサネット (10GbE) は,10 Gbpsの伝送速度を持つ次世代のイーサネットである

著者らは10GbEを低価格化しITシステムに広範に適用できるようにするため,10GbEスイッチのLSI 化に2001 年から取り組んでおり, これまでに, 世界初の 12ポート10GbEスイッチLSIを開発してきた

LSIの特長について述べ,10Gシリアルインタフェース内蔵を実現した高速 IO 回路について説明し, 最後に本 LSIを活用して開発した小型スイッチ装置 XG2000 を紹介する Abstract The next-generation Ethernet

Because the performance of server systems and the amount of data to be processed are increasing, 10GbE is attracting attention as

To lower the cost of 10GbE and widely apply it in IT systems, we have been developing a single-chip 10GbE switch LSI and

To further expand the field of 10GbE switches, we developed a new 10GbE switch LSI the MB86C68 having 20-ports and a built-in 10

1 A 20-port 10 Gigabit Ethernet Switch LSI and Its Application あらまし 10ギガビットイーサネット (10GbE) は,10 Gbpsの伝送速度を持つ次世代のイーサネットである近年のサーバシステムの性能向上や, 処理データの大容量化に伴い, システム間を高速に, 低いコストで接続できるネットワーク技術として,10GbEが注目されてきているこうした中, 著者らは10GbEを低価格化しITシステムに広範に適用できるようにするため,10GbEスイッチのLSI 化に2001 年から取り組んでおり, これまでに, 世界初の 12ポート10GbEスイッチLSIを開発してきた今回,10GbEスイッチの適用範囲をより拡大できる,20ポートへの対応,10Gシリアルインタフェース内蔵などを実現した新 10GbE スイッチLSI MB86C68 を開発した本稿では, 本 LSIの特長について述べ,10Gシリアルインタフェース内蔵を実現した高速 IO 回路について説明し, 最後に本 LSIを活用して開発した小型スイッチ装置 XG2000 を紹介する Abstract The next-generation Ethernet the 10 Gigabit Ethernet (10GbE) has a transmission speed of 10 gigabits per second. Because the performance of server systems and the amount of data to be processed are increasing, 10GbE is attracting attention as a technology for connecting IT resources such as servers and storage at reasonable cost. To lower the cost of 10GbE and widely apply it in IT systems, we have been developing a single-chip 10GbE switch LSI and developed the world s first 12-port 10GbE switch LSI. To further expand the field of 10GbE switches, we developed a new 10GbE switch LSI the MB86C68 having 20-ports and a built-in 10 Gbps serial interface. This paper describes the MB86C68; the high-speed IO circuit of its built-in 10 Gbps serial interface; and the XG2000 switch box, which features the new LSI. 清水剛 ( しみずたけし ) 米国富士通研究所高性能インタコネクトテクノロジ部門所属現在, 高性能インタコネクトの研究開発に従事日高康雄 ( ひだかやすお ) 米国富士通研究所高性能インタコネクトテクノロジ部門所属現在, 高速 IO 回路の研究に従事西川克彦 ( にしかわかつひこ ) ビジネスインキュベーション研究所所属現在,10ギガイーサシステムの開発とビジネス化に従事 246 FUJITSU.58, 3, p (05,2007)

2 まえがき近年, サーバやストレージなどのITシステム間の高速大容量ネットワークとして10ギガビットイーサネット (10GbE) が注目を集めてきている著者らは,2003 年に12ポートの1チップ10GbEスイッチLSIを開発して以来,LSIの高性能化高機能化と並行して,10GbEソリューションの研究開発を推進してきた (1),(2) 今回, その一環として, 機能および性能を大幅に向上させた次世代 10GbEスイッチLSI MB86C68 を開発した本稿では, MB86C68 の特長と構成, および特長の一つである10Gシリアル信号を伝送可能な高速 IO 回路について説明し, さらに, 本 LSIを内蔵することによって小型高性能を実現した10GbEスイッチ XG2000 を紹介するスイッチLSIの特長 MB86C68 は,MB87Q3140 (2) の後継となる 1チップの10GbEスイッチLSIである MB86C68 では, レイヤ2スイッチとしての基本機能を踏襲しつつ, 表 -1に示すように, 従来品に比べ機能性能の大幅な向上を実現した主要なものを以下に説明する (1) ポート数の増大と性能向上 90 nmのcmosテクノロジを採用し, スイッチコア部の大幅な性能強化により,12ポートから 20ポートにポート数を増やすとともに, それに対応可能な約 1.7 倍のスイッチング帯域 (400 Gbps) を持つ共有メモリを1チップに集積したさらに, 従来は約 450 nsであった入出力間の遅延時間を約 300 nsと2/3に短縮した (2) 10Gシリアルインタフェースの搭載 20ポートの10GbEインタフェースすべてに,10G シリアルインタフェースを搭載したこれにより外部インタフェースチップを追加することなく, 今後普及が見込まれるXFP(10 Gigabit Small Form Factor Pluggable) などの小型光モジュールを直接接続することができ, コスト, 遅延時間, 消費電力の大幅な削減を可能にしたまた, 従来品と同様に 10GbE における電気インタフェースである XAUI/CX4にも準拠しており, 標準の電気インタフェースを介した銅線ケーブル接続やバックプレーン接続, 光モジュール接続も可能にしているふくそう (3) 高度な優先度制御機能と輻輳制御機能の実現内部の優先度クラス数を4から8に増やすとともに, 優先度キュー制御の選択肢を増やしたさらに, データセンタ向けの先進的な輻輳制御機能として, 表 -1 MB86C68 と MB87Q3140 の比較項目 MB86C68 MB87Q GbE ポート数 20 個 12 個インタフェース XAUI 10GBASE-CX4 10G シリアル XAUI 10GBASE-CX4 スイッチング帯域 400 Gbps 以上 240 Gbps 遅延時間 300 ns( 無負荷 / カットスルー時 ) 450 ns( 無負荷 / カットスルー時 ) MAC アドレス数 16 K エントリ 8 K エントリ内蔵データバッファ容量 2.9 M バイト 600 K バイト内部優先度 8 レベル 4 レベル最大フレームサイズ 16 K バイト 15 K バイトフロー制御 IEEE 802.3x Priority PAUSE BCN IEEE 802.3x 制御インタフェース GMII/MII 2 MPC860 バスパッケージ FCBGA 1156 (35 mm 35 mm) FGBGA 728 (35 mm 35 mm) 消費電力 18.6 W( 標準 ) 16 W( 標準 ) 使用テクノロジ 90 nm CMOS 110 nm CMOS そのほか優先度制御強化分類機能強化 FUJITSU.58, 3, (05,2007) 247

優先度ごとのフロー制御機構 (Priority PAUSE) と, 出力ポート側の輻輳情報を送信側端末に伝えるためのメッセージ機構 (BCN:Backward Congestion Notification) を実装した (4) 制御インタフェースの改善 LSIの制御インタフェースを従来の汎用プロセッサバスから, ギガビットイーサネットインタフェース (GMII/MII)2 本に変更し,

3 優先度ごとのフロー制御機構 (Priority PAUSE) と, 出力ポート側の輻輳情報を送信側端末に伝えるためのメッセージ機構 (BCN:Backward Congestion Notification) を実装した (4) 制御インタフェースの改善 LSIの制御インタフェースを従来の汎用プロセッサバスから, ギガビットイーサネットインタフェース (GMII/MII)2 本に変更し, さらに独自仕様のマイクロコントローラを内蔵したこのマイクロコントローラにより, チップ上でのリアルタイム処理と, トランザクションに基づく抽象度の高いAPI (Application Program Interface) を外部の管理プロセッサに提供しているまた, イーサネットを用いることで, 管理プロセッサとLSIとの間の物理的な配置や接続を柔軟に設計できるようになったスイッチLSIの構成および性能 MB86C68 のチップのダイ写真を図 -1に示す本 LSIは90 nmのcmosテクノロジを用い, 約 1500 万論理ゲート相当の論理回路と, 業界最大規模の 2.9 Mバイトの内蔵データバッファを262 mm 2 の大きさのチップ上に集積したスイッチ設計においては, パケットを固定長のブロック ( セル ) に分割して交換するセルスイッチング方式が一般的に用いられているが, この方式で 20ポートの10GbEスイッチを実現すると, コア部の動作周波数が高速になり過ぎるため, 実装面で大きな制約が生じる著者らは従来品のMB87Q3140 において, セルスイッチング方式に変えて, 複数のメモリバンクと多段ネットワークを用いる独自の共有メモリ ( マルチポートストリームメモリ ) 方式を開発した MB86C68 では, さらにその方式を強化改良し, 性能向上を実現する一方で, コアの動作周波数を従来品と同様の312.5 MHzに抑えたこの周波数低減は単一クロックによるレイテンシの短縮と, 消費電力の削減に寄与しているまた, ダイを従来品と同じ35 mm 35 mmのfcbga(flip Chip Ball Grid Array) パッケージに封入し, 組込み用途への適用も容易にした性能面では, 全ポート間で通信を行う20ポートのフルメッシュ試験 (RFC2889スループット試験 ) で,64バイトから16 Kバイトまでのどのフレームサイズにおいてもフレーム落ちは生じないことを確認した高速 IO 回路 MB86C68 の高速 IO 回路は, 従来と同様の XAUI/CX4モードと,10Gシリアルモードで動作する 10Gシリアルインタフェースを内蔵した 10GbEスイッチLSIは MB86C68 が世界で初めてである高速 IO 回路における信号伝送の概略を図 -2に示す XAUI/CX4モード { 図 -2(a)} では,3.125 Gbps の高速差動ドライバとレシーバを各 4チャネル並列に用いて10GbEの信号伝送を行うこのモードの特長は, 光モジュールやほかの10GBASE-CX4 ( 銅線ケーブルを用いる10GbEの規格 ) チップを使高速差動ドライバ Gbps 4 高速差動レシーバ (a)xaui/cx4 モードにおける信号伝送コ3.125 Gbps 4 ネクタ銅線ケーブル ( 最長 15 m) 各方向ごとに Gbps 4 コネク差動リファレンスクロック光ファイバ ( 最長 40 km) XFP 光モジュール (b)10gシリアルモードにおける信号伝送 -2 高速 IO 回路の信号伝送タ図 161 MHz 差動クロックドライバ Gbps 1 高速差動ドライバ Gbps 1 高速差動レシーバ光モジュール各方向ごとに Gbps 1 図 -1 MB86C68 のダイ写真 Fig.1-MB86C68 die photograph. Fig.2-Signal transmission of high-speed IO circuits. 248 FUJITSU.58, 3, (05,2007)

うことなく,10GBASE-CX4 互換の銅線ケーブルを用いて, スイッチチップから, 最長 15 m までの距離を直接伝送できることである XAUI/CX4 モードを実現する際の課題は, ケーブルが長くなると, 表皮効果や誘電損失と呼ばれる電気的特性によって, 信号中の高周波成分が大きく減衰し, レシーバへの入力波形が, ドライバの出力波形と大きく異なってしまうことである

3125 Gbps の高速差動ドライバレシーバを1チャネルずつ用いて10GbEの信号伝送を行うこのモードの特長は, 小型の光モジュールであるXFPモジュールを直接接続できることである XAUI/CX4のみをサポートしているほかの10GbEスイッチチップの場合, 追加チップとしてXFPとの間に,3.125 Gbps 4チャネルの信号と10.

4 うことなく,10GBASE-CX4 互換の銅線ケーブルを用いて, スイッチチップから, 最長 15 m までの距離を直接伝送できることである XAUI/CX4 モードを実現する際の課題は, ケーブルが長くなると, 表皮効果や誘電損失と呼ばれる電気的特性によって, 信号中の高周波成分が大きく減衰し, レシーバへの入力波形が, ドライバの出力波形と大きく異なってしまうことであるこの課題を解決するため, 信号中の高周波成分を増幅, または低周波成分を減衰するイコライザ ( 等化器 ) 回路技術として, ドライバ側ではプリエンファシス ( 波形強調 ) 回路, レシーバ側ではリニアイコライザ回路を開発し適用した 10Gシリアルモード { 図 -2(b)} では, Gbps の高速差動ドライバレシーバを1チャネルずつ用いて10GbEの信号伝送を行うこのモードの特長は, 小型の光モジュールであるXFPモジュールを直接接続できることである XAUI/CX4のみをサポートしているほかの10GbEスイッチチップの場合, 追加チップとしてXFPとの間に,3.125 Gbps 4チャネルの信号と Gbpsの信号との変換を行うSERDES(SERializer/DESerializer) チップを使用する必要があった本 LSIで実現した10G シリアルモードにより,SERDESチップを使わずに光モジュールを直接接続することで, レイテンシ, 実装面積, 消費電力, 部品コストを削減し, 信頼性を向上させることができる高周波成分の減衰は, 10Gシリアルモードでも問題になるが, 光モジュールまでの伝送距離が限られているため,XAUI/CX4 送信データ ( パラレル ) シリアライザドライバ回路 (4 チャネル ) プリエンファシスドライバドライバ出力モードの場合ほど問題にはならない一方,1ビットあたりの伝送時間が約 100ピコ秒 ( 光が真空中を3 cm 進む時間 ) と非常に短いため,10Gシリアルモードでは, クロック品質の改善が課題となるクロック品質改善のため, ジッタの少ないLC 共振回路を用いたPLL(Phase Locked Loop) を使用した高速 IO 回路のブロック図を図 -3に示すドライバ回路は, コアロジック部からパラレルの送信データを受け取り, シリアライザでシリアルデータに変換し, プリエンファシス機能を持つドライバで伝送線路を駆動するレシーバ回路は, 入力信号をリニアイコライザで元の波形に戻し, デシリアライザでパラレルデータに戻して, 再生クロックとともにコアロジック部に引き渡すリニアイコライザのパラメタは, 特定の学習パターンや符号化を必要としない新規開発の適応制御方式 (3) により, 使用ケーブルなどの減衰量に応じて自動的に調節される LC PLLは, オンチップスパイラルインダクタ ( チップ上に形成した渦巻状のコイル ) を用いたLC 共振回路による低ジッタクロックをシリアライザ回路, デシリアライザ回路に供給する実現した高速 IO 回路の1ポートあたりの面積は, μm μm, 消費電力は,10Gシリアルモードで 600 mw,xaui/cx4モードで545 mwであり, 小型で低消費電力な回路を実現した小型高性能 10GbEスイッチ XG2000 MB86C68 を用いて,ITシステムを構成するサーバ間接続やサーバストレージ間接続に最適な小型高性能な10GbEスイッチ装置 XG2000 を開発した ( 図 -4) XG2000 は MB86C68 の特長を生かし, (1) 帯域幅 400 Gbps 以上, 遅延時間 300 nsの高性能 LC PLL リファレンスクロック入力レシーバ回路 (4 チャネル ) 再生クロック再生データ ( パラレル ) デシリアライザリニアイコライザレシーバ入力図 -3 高速 IO 回路のブロック図 Fig.3-Block diagram of high-speed IO circuits. 図 -4 XG2000 の外観 Fig.4-XG2000 photograph. FUJITSU.58, 3, (05,2007) 249

(2) XFPを20ポート搭載可能ながら, 約 45 mm (1ラックユニット) の高さに小型化を実現した本スイッチは, エンタプライズ向けの ITシステムの高速大容量ネットワークの実現のみならず, 非圧縮ハイビジョン映像のリアルタイム伝送や映像制作システムのネットワークなど, 広帯域が必要とされる様々なシーンでの活用が期待される

5 (2) XFPを20ポート搭載可能ながら, 約 45 mm (1ラックユニット) の高さに小型化を実現した本スイッチは, エンタプライズ向けの ITシステムの高速大容量ネットワークの実現のみならず, 非圧縮ハイビジョン映像のリアルタイム伝送や映像制作システムのネットワークなど, 広帯域が必要とされる様々なシーンでの活用が期待されるむすび本稿では,1チップで10GbEを20ポート持つスイッチLSI MB86C68 の機能と, その特長の一つである高速 IO 回路について説明し, 最後にLSIを活用した小型高性能 10GbEスイッチ XG2000 を紹介した今後も, 本 LSIを発展させ,ITシステムの高性能化を実現する研究開発を行う予定であるなお, 本研究の一部はNEDO( 独立行政法人新エネルギー産業技術総合開発機構 ) の高信頼低消費電力サーバの研究開発の委託で実施した参考文献 (1) T. Shimizu et al.:a Single Chip Shared Memory Switch with Twelve 10 Gb Ethernet Ports.Hot Chips 15,August (2) T. Horie et al.:single-chip, 10-Gigabit Ethernet Switch LSI.FUJITSU Sci. Tech. J.,Vol.42,No.2, p (2006). (3) Y. Hidaka et al.: A 4-Channel 3.1/10.3 Gb/s Transceiver Macro with a Pattern-Tolerant Adaptive Equalizer.ISSCC Dig. Tech. Papers,paper 24.4, p (february 2007). 250 FUJITSU.58, 3, (05,2007)

大規模ブレードサーバ向け10ギガビットイーサネットスイッチブレード

大規模ブレードサーバ向け10ギガビットイーサネットスイッチブレード 10 Gigabit Ethernet Switch Blade for Large-Scale Blade Servers あらまし近年, ブレードサーバの導入が急速に進んでいるブレードサーバのネットワーク機能を提供する重要な構成要素であるスイッチブレードは, 以下のような要件が求められるまず,FCoE(Fibre Channel over Ethernet) といったストレージ用ネットワークのイーサネットへの統合技術の普及に対しても対応できる高い通信性能,