A 20-port 10 Gigabit Ethernet Switch LSI and Its Application あらまし 10ギガビットイーサネット (10GbE) は,10 Gbpsの伝送速度を持つ次世代のイーサネットである 近年のサーバシステムの性能向上や, 処理データの大容量化に伴い, システム間を高速に, 低いコストで接続できるネットワーク技術として,10GbEが注目されてきている こうした中, 著者らは10GbEを低価格化しITシステムに広範に適用できるようにするため,10GbEスイッチのLSI 化に2001 年から取り組んでおり, これまでに, 世界初の 12ポート10GbEスイッチLSIを開発してきた 今回,10GbEスイッチの適用範囲をより拡大できる,20ポートへの対応,10Gシリアルインタフェース内蔵などを実現した新 10GbE スイッチLSI MB86C68 を開発した 本稿では, 本 LSIの特長について述べ,10Gシリアルインタフェース内蔵を実現した高速 IO 回路について説明し, 最後に本 LSIを活用して開発した小型スイッチ装置 XG2000 を紹介する Abstract The next-generation Ethernet the 10 Gigabit Ethernet (10GbE) has a transmission speed of 10 gigabits per second. Because the performance of server systems and the amount of data to be processed are increasing, 10GbE is attracting attention as a technology for connecting IT resources such as servers and storage at reasonable cost. To lower the cost of 10GbE and widely apply it in IT systems, we have been developing a single-chip 10GbE switch LSI and developed the world s first 12-port 10GbE switch LSI. To further expand the field of 10GbE switches, we developed a new 10GbE switch LSI the MB86C68 having 20-ports and a built-in 10 Gbps serial interface. This paper describes the MB86C68; the high-speed IO circuit of its built-in 10 Gbps serial interface; and the XG2000 switch box, which features the new LSI. 清水剛 ( しみずたけし ) 米国富士通研究所高性能インタコネクトテクノロジ部門所属現在, 高性能インタコネクトの研究開発に従事 日高康雄 ( ひだかやすお ) 米国富士通研究所高性能インタコネクトテクノロジ部門所属現在, 高速 IO 回路の研究に従事 西川克彦 ( にしかわかつひこ ) ビジネスインキュベーション研究所所属現在,10ギガイーサシステムの開発とビジネス化に従事 246 FUJITSU.58, 3, p.246-250 (05,2007)
まえがき近年, サーバやストレージなどのITシステム間の高速 大容量ネットワークとして10ギガビットイーサネット (10GbE) が注目を集めてきている 著者らは,2003 年に12ポートの1チップ10GbEスイッチLSIを開発して以来,LSIの高性能化 高機能化と並行して,10GbEソリューションの研究開発を推進してきた (1),(2) 今回, その一環として, 機能および性能を大幅に向上させた次世代 10GbEスイッチLSI MB86C68 を開発した 本稿では, MB86C68 の特長と構成, および特長の一つである10Gシリアル信号を伝送可能な高速 IO 回路について説明し, さらに, 本 LSIを内蔵することによって小型 高性能を実現した10GbEスイッチ XG2000 を紹介する スイッチLSIの特長 MB86C68 は,MB87Q3140 (2) の後継となる 1チップの10GbEスイッチLSIである MB86C68 では, レイヤ2スイッチとしての基本機能を踏襲しつつ, 表 -1に示すように, 従来品に比べ機能 性能の大幅な向上を実現した 主要なものを以下に説明する (1) ポート数の増大と性能向上 90 nmのcmosテクノロジを採用し, スイッチコア部の大幅な性能強化により,12ポートから 20ポートにポート数を増やすとともに, それに対応可能な約 1.7 倍のスイッチング帯域 (400 Gbps) を持つ共有メモリを1チップに集積した さらに, 従来は約 450 nsであった入出力間の遅延時間を約 300 nsと2/3に短縮した (2) 10Gシリアルインタフェースの搭載 20ポートの10GbEインタフェースすべてに,10G シリアルインタフェースを搭載した これにより外部インタフェースチップを追加することなく, 今後普及が見込まれるXFP(10 Gigabit Small Form Factor Pluggable) などの小型光モジュールを直接接続することができ, コスト, 遅延時間, 消費電力の大幅な削減を可能にした また, 従来品と同様に 10GbE における電気インタフェースである XAUI/CX4にも準拠しており, 標準の電気インタフェースを介した銅線ケーブル接続やバックプレーン接続, 光モジュール接続も可能にしている ふくそう (3) 高度な優先度制御機能と輻輳制御機能の実現 内部の優先度クラス数を4から8に増やすとともに, 優先度キュー制御の選択肢を増やした さらに, データセンタ向けの先進的な輻輳制御機能として, 表 -1 MB86C68 と MB87Q3140 の比較 項目 MB86C68 MB87Q3140 10GbE ポート数 20 個 12 個 インタフェース XAUI 10GBASE-CX4 10G シリアル XAUI 10GBASE-CX4 スイッチング帯域 400 Gbps 以上 240 Gbps 遅延時間 300 ns( 無負荷 / カットスルー時 ) 450 ns( 無負荷 / カットスルー時 ) MAC アドレス数 16 K エントリ 8 K エントリ 内蔵データバッファ容量 2.9 M バイト 600 K バイト 内部優先度 8 レベル 4 レベル 最大フレームサイズ 16 K バイト 15 K バイト フロー制御 IEEE 802.3x Priority PAUSE BCN IEEE 802.3x 制御インタフェース GMII/MII 2 MPC860 バス パッケージ FCBGA 1156 (35 mm 35 mm) FGBGA 728 (35 mm 35 mm) 消費電力 18.6 W( 標準 ) 16 W( 標準 ) 使用テクノロジ 90 nm CMOS 110 nm CMOS そのほか 優先度制御強化分類機能強化 FUJITSU.58, 3, (05,2007) 247
優先度ごとのフロー制御機構 (Priority PAUSE) と, 出力ポート側の輻輳情報を送信側端末に伝えるためのメッセージ機構 (BCN:Backward Congestion Notification) を実装した (4) 制御インタフェースの改善 LSIの制御インタフェースを従来の汎用プロセッサバスから, ギガビットイーサネットインタフェース (GMII/MII)2 本に変更し, さらに独自仕様のマイクロコントローラを内蔵した このマイクロコントローラにより, チップ上でのリアルタイム処理と, トランザクションに基づく抽象度の高いAPI (Application Program Interface) を外部の管理プロセッサに提供している また, イーサネットを用いることで, 管理プロセッサとLSIとの間の物理的な配置や接続を柔軟に設計できるようになった スイッチLSIの構成および性能 MB86C68 のチップのダイ写真を図 -1に示す 本 LSIは90 nmのcmosテクノロジを用い, 約 1500 万論理ゲート相当の論理回路と, 業界最大規模の 2.9 Mバイトの内蔵データバッファを262 mm 2 の大きさのチップ上に集積した スイッチ設計においては, パケットを固定長のブロック ( セル ) に分割して交換するセルスイッチング方式が一般的に用いられているが, この方式で 20ポートの10GbEスイッチを実現すると, コア部の動作周波数が高速になり過ぎるため, 実装面で大きな制約が生じる 著者らは従来品のMB87Q3140 において, セルスイッチング方式に変えて, 複数のメモリバンクと多段ネットワークを用いる独自の共有メモリ ( マルチポートストリームメモリ ) 方式を開発した MB86C68 では, さらにその方式を強化 改良し, 性能向上を実現する一方で, コアの動作周波数を従来品と同様の312.5 MHzに抑えた この周波数低減は単一クロックによるレイテンシの短縮と, 消費電力の削減に寄与している また, ダイを従来品と同じ35 mm 35 mmのfcbga(flip Chip Ball Grid Array) パッケージに封入し, 組込み用途への適用も容易にした 性能面では, 全ポート間で通信を行う20ポートのフルメッシュ試験 (RFC2889スループット試験 ) で,64バイトから16 Kバイトまでのどのフレームサイズにおいてもフレーム落ちは生じないことを確認した 高速 IO 回路 MB86C68 の高速 IO 回路は, 従来と同様の XAUI/CX4モードと,10Gシリアルモードで動作する 10Gシリアルインタフェースを内蔵した 10GbEスイッチLSIは MB86C68 が世界で初めてである 高速 IO 回路における信号伝送の概略を図 -2に示す XAUI/CX4モード { 図 -2(a)} では,3.125 Gbps の高速差動ドライバとレシーバを各 4チャネル並列に用いて10GbEの信号伝送を行う このモードの特長は, 光モジュールやほかの10GBASE-CX4 ( 銅線ケーブルを用いる10GbEの規格 ) チップを使 高速差動ドライバ 3.125 Gbps 4 高速差動レシーバ (a)xaui/cx4 モードにおける信号伝送コ3.125 Gbps 4 ネクタ銅線ケーブル ( 最長 15 m) 各方向ごとに 3.125 Gbps 4 コネク差動リファレンスクロック光ファイバ ( 最長 40 km) XFP 光モジュール (b)10gシリアルモードにおける信号伝送 -2 高速 IO 回路の信号伝送タ図 161 MHz 差動クロックドライバ 10.3125 Gbps 1 高速差動ドライバ 10.3125 Gbps 1 高速差動レシーバ 光モジュール 各方向ごとに 10.3125 Gbps 1 図 -1 MB86C68 のダイ写真 Fig.1-MB86C68 die photograph. Fig.2-Signal transmission of high-speed IO circuits. 248 FUJITSU.58, 3, (05,2007)
うことなく,10GBASE-CX4 互換の銅線ケーブル を用いて, スイッチチップから, 最長 15 m までの 距離を直接伝送できることである XAUI/CX4 モー ドを実現する際の課題は, ケーブルが長くなると, 表皮効果や誘電損失と呼ばれる電気的特性によって, 信号中の高周波成分が大きく減衰し, レシーバへの入力波形が, ドライバの出力波形と大きく異なってしまうことである この課題を解決するため, 信号中の高周波成分を増幅, または低周波成分を減衰するイコライザ ( 等化器 ) 回路技術として, ドライバ側ではプリエンファシス ( 波形強調 ) 回路, レシーバ側ではリニアイコライザ回路を開発し適用した 10Gシリアルモード { 図 -2(b)} では,10.3125 Gbps の高速差動ドライバ レシーバを1チャネルずつ用いて10GbEの信号伝送を行う このモードの特長は, 小型の光モジュールであるXFPモジュールを直接接続できることである XAUI/CX4のみをサポートしているほかの10GbEスイッチチップの場合, 追加チップとしてXFPとの間に,3.125 Gbps 4チャネルの信号と10.3125 Gbpsの信号との変換を行うSERDES(SERializer/DESerializer) チップを使用する必要があった 本 LSIで実現した10G シリアルモードにより,SERDESチップを使わずに光モジュールを直接接続することで, レイテンシ, 実装面積, 消費電力, 部品コストを削減し, 信頼性を向上させることができる 高周波成分の減衰は, 10Gシリアルモードでも問題になるが, 光モジュールまでの伝送距離が限られているため,XAUI/CX4 送信データ ( パラレル ) シリアライザ ドライバ回路 (4 チャネル ) プリエンファシスドライバ ドライバ出力 モードの場合ほど問題にはならない 一方,1ビットあたりの伝送時間が約 100ピコ秒 ( 光が真空中を3 cm 進む時間 ) と非常に短いため,10Gシリアルモードでは, クロック品質の改善が課題となる クロック品質改善のため, ジッタの少ないLC 共振回路を用いたPLL(Phase Locked Loop) を使用した 高速 IO 回路のブロック図を図 -3に示す ドライバ回路は, コアロジック部からパラレルの送信データを受け取り, シリアライザでシリアルデータに変換し, プリエンファシス機能を持つドライバで伝送線路を駆動する レシーバ回路は, 入力信号をリニアイコライザで元の波形に戻し, デシリアライザでパラレルデータに戻して, 再生クロックとともにコアロジック部に引き渡す リニアイコライザのパラメタは, 特定の学習パターンや符号化を必要としない新規開発の適応制御方式 (3) により, 使用ケーブルなどの減衰量に応じて自動的に調節される LC PLLは, オンチップスパイラルインダクタ ( チップ上に形成した渦巻状のコイル ) を用いたLC 共振回路による低ジッタクロックをシリアライザ回路, デシリアライザ回路に供給する 実現した高速 IO 回路の1ポートあたりの面積は,2218.72μm 1585.36μm, 消費電力は,10Gシリアルモードで 600 mw,xaui/cx4モードで545 mwであり, 小型で低消費電力な回路を実現した 小型 高性能 10GbEスイッチ XG2000 MB86C68 を用いて,ITシステムを構成するサーバ間接続やサーバ ストレージ間接続に最適な小型 高性能な10GbEスイッチ装置 XG2000 を開発した ( 図 -4) XG2000 は MB86C68 の特長を生かし, (1) 帯域幅 400 Gbps 以上, 遅延時間 300 nsの高性能 LC PLL リファレンスクロック入力 レシーバ回路 (4 チャネル ) 再生クロック 再生データ ( パラレル ) デシリアライザ リニアイコライザ レシーバ入力 図 -3 高速 IO 回路のブロック図 Fig.3-Block diagram of high-speed IO circuits. 図 -4 XG2000 の外観 Fig.4-XG2000 photograph. FUJITSU.58, 3, (05,2007) 249
(2) XFPを20ポート搭載可能ながら, 約 45 mm (1ラックユニット) の高さに小型化を実現した 本スイッチは, エンタプライズ向けの ITシステムの高速 大容量ネットワークの実現のみならず, 非圧縮ハイビジョン映像のリアルタイム伝送や映像制作システムのネットワークなど, 広帯域が必要とされる様々なシーンでの活用が期待される むすび本稿では,1チップで10GbEを20ポート持つスイッチLSI MB86C68 の機能と, その特長の一つである高速 IO 回路について説明し, 最後にLSIを活用した小型 高性能 10GbEスイッチ XG2000 を紹介した 今後も, 本 LSIを発展させ,ITシステムの高性能化を実現する研究開発を行う予定である なお, 本研究の一部はNEDO( 独立行政法人新エネルギー 産業技術総合開発機構 ) の 高信頼 低消費電力サーバの研究開発 の委託で実施した 参考文献 (1) T. Shimizu et al.:a Single Chip Shared Memory Switch with Twelve 10 Gb Ethernet Ports.Hot Chips 15,August 2003. (2) T. Horie et al.:single-chip, 10-Gigabit Ethernet Switch LSI.FUJITSU Sci. Tech. J.,Vol.42,No.2, p.206-213(2006). (3) Y. Hidaka et al.: A 4-Channel 3.1/10.3 Gb/s Transceiver Macro with a Pattern-Tolerant Adaptive Equalizer.ISSCC Dig. Tech. Papers,paper 24.4, p.442-443(february 2007). 250 FUJITSU.58, 3, (05,2007)