Open It FPGA 研 究 会 汎 用 VME マザーボード PT6 の 開 発 東 京 大 学 大 学 院 理 学 系 研 究 科 物 理 学 専 攻 素 粒 子 物 理 国 際 研 究 センター 坂 本 研 究 室 神 谷 隆 之 2011 年 2 月 16 日 2011/2/16 1
1. 開 発 の 背 景 2011/2/16 2
LHC と ATLAS のアップグレード LHC 加 速 器 のアップグレード CERN の LHC 加 速 器 は Higgs や SUSY 探 索 のパフォーマンスを 上 げるためにルミノシティを 10 34 cm -2 s -1 5 10 34 cm -2 s -1 にする 計 画 ATLAS 検 出 器 のアップグレード 放 射 線 損 傷 による 測 定 機 及 び 加 速 器 の 寿 命 検 出 器 自 体 の 交 換 の 必 要 性 エレキで 用 いられている 技 術 デバイスが 古 い 検 出 器 の 交 換 に 合 わせて 全 取 り 換 え 高 ルミノシティに 伴 う 高 トリガーレート 新 トリガーシステムの 開 発 それに 伴 う 新 モジュールの 開 発 2011/2/16 3
Rx / Tx Tx / Rx TGC システム 読 み 出 し 系 のアップグレード Present system PS-Board on TGC HSC VME on BW VME at USA15 ASD Trigger L1B BCID H-pT SL TRG Read out SSW ROD JRC HSC CCI SBC Control Phase-2 upgrade ASD 素 子 の 高 集 積 化 に 伴 い 多 くのモジュールをまとめてコンパクトに PS-Board on TGC BCID ASIC Controller XXX crate at USA15 TRG SL L1B SSW ROD Controller FPGAs SBC Trigger Read out Control 案 の1つの 例 であるが 全 システムを1から 新 しく 作 り 直 す 予 定 である 2011/2/16 4
開 発 計 画 開 発 のタイムスケール 2020 年 ~インストール 2015 年 ~ 建 設 R&D は 今 から 必 要 2020 年 LHC 高 輝 度 化 改 造 TGC システム 読 み 出 し 系 の R&D をするための 環 境 構 築 プロトタイピングを 行 うテストベンチ プロトタイプ 用 汎 用 モジュール 2011/2/16 5
2. 開 発 の 目 的 2011/2/16 6
ROD (Read Out Driver) について ATLAS のデータ 読 み 出 しモジュール 直 前 までの 複 数 のモジュール (SSW, 最 大 10 個 )からの 入 力 をうけ, 1つにまとめて 出 力 入 出 力 には G-Link, S-Link という CERN の 光 通 信 規 格 を 用 いている 入 力 の 転 送 速 度 640Mbps (G-Link) 出 力 の 転 送 速 度 1Gbps (S-Link) 最 新 のものでは 2Gbps 2011/2/16 7
LHC アップグレード 後 の ROD にかかる 負 担 Level 1 トリガーレートは pt の threshold によって 調 整 可 能 アップグレード 後 は ルミノシティの 増 加 に 伴 い Level 1 トリガーレートの 上 限 を 75kHz から 150kHz にする 予 定 イベントサイズも 増 加 する (1.3 倍 程 度 ) 入 力 データ 量 75Mbps 200Mbps 出 力 データ 量 750Mbps 2Gbps FPGA 内 部 で 今 までの2 倍 以 上 のデータ 処 理 能 力 が 必 要 2011/2/16 8
新 ROD への 要 請 入 力 データ 量 200Mbps 640Mbps の G-Link で 大 丈 夫 出 力 データ 量 2Gbps CERN で 4Gbps の S-Link 開 発 中 2 ~ 3 倍 のデータ 処 理 能 力 高 速 大 規 模 な FPGA が 必 要 高 度 なエラー 処 理 診 断 機 能 ソフトウェア 処 理 がしたい 組 み 込 み CPU エラーメッセージ 出 力 診 断 用 のコンソール Ethernet インターフェース システムを 拡 張 させるための 並 列 化 分 散 化 システム 高 速 なモジュール 間 通 信 高 速 シリアル 通 信 インターフェース 2011/2/16 9
ROD の 開 発 方 針 1. 技 術 導 入 評 価 ボードを 使 った 検 証 プロトタイプ 用 汎 用 モジュール 作 成 の 際 の 仕 様 検 討 2. プロトタイプ 用 汎 用 モジュールの 作 成 PT6 (VMEモジュール) 評 価 ボードでは 出 来 なかった 技 術 評 価 も 行 う プロトタイプのビルディングブロックとして 用 いる 3. PT6 を 用 いた 実 機 開 発 のための R&D ( 来 年 度 以 降 ) 2011/2/16 10
3. PT6 の 開 発 2011/2/16 11
ROD 開 発 用 プロトタイプ PT6 の 開 発 VME 6U A32D32 スレーブモジュール Spartan6 LX150T FPGA 搭 載 従 来 の10 倍 の 容 量, 大 規 模 なロジック 構 成 可 能 ソフト CPU コアが 搭 載 可 能 Rocket IO インターフェース4 口 搭 載 並 列 分 散 化 データ 処 理 のモジュール 間 通 信 に 使 える 入 力 3 口, 出 力 1 口 等 のテストベンチ 構 成 も 可 能 Ethernet インターフェース 搭 載 エラーメッセージ 出 力 診 断 用 コンソールとして 用 いる 3 種 の 外 部 メモリを 搭 載 OS 搭 載 を 想 定 Mezzanine Card Slot を 搭 載 従 来 の ROD の 光 ファイバーインターフェースである G-Link や S-Link の 機 能 の 子 ボードを 搭 載 可 能 2011/2/16 12
PT6 で 新 たに 導 入 した 技 術 MicroBlaze Xilinx 社 製 の FPGA に 搭 載 可 能 なソフト CPU コア FPGA 上 でソフトウェアを 動 作 可 能 Rocket IO ギガビットトランシーバ Xilinx 社 製 の 一 部 の FPGA に 組 み 込 ま れている 高 速 シリアル 通 信 用 トランシーバ 125MHz の CLK で 1.25Gbps, 2.5Gbps S-Link 等 の 光 通 信 に 比 べて 光 信 号 変 換 器 や 外 付 けのシリアライザなどがいらない 2011/2/16 13
PT6 を 用 いた MicroBlaze のテスト MicroBlaze のデザインは Xilinx Platform Studio を 用 いて 生 成 できる 今 回 は Hello PT6 という 文 字 列 を 出 力 するプログラムを 作 成 し FPGA にダ ウンロード Xilinx Platform Studio 2011/2/16 14
PT6 を 用 いた MicroBlaze のテスト MicroBlaze からの 出 力 を RS232 の 信 号 線 に 出 力 させて, Tera Term 端 末 に 表 示 正 しい 出 力 が 確 認 でき MicroBlaze の 動 作 が 確 認 できた 2011/2/16 15
Rocket IO GTP Rocket IO ギガビットトランシーバ Xilinx 社 製 の 一 部 の FPGA に 組 み 込 ま れている 高 速 シリアル 通 信 用 トランシーバ 125MHz の CLK で 1.25Gbps, 2.5Gbps S-Link 等 の 光 通 信 に 比 べて 光 信 号 変 換 器 や 外 付 けのシリアライザなどがいらない Serial 10b Serialize Encode Deserialize Decode Parallel 8bit 8b/10b 高 速 シリアル 通 信 の 方 式 2bit 付 加 し テーブル 変 換 によって 0 や 1 のバランスをとる 安 定 した 高 速 通 信 が 可 能 例 000 00000 100111 0100 000 00001 011101 0100 111 11111 101011 0001 2011/2/16 16
HSSDC2 ケーブル Rocket IO 伝 達 用 のケーブルは 市 販 評 価 ボードでは SMA ケーブル Rocket IO GTP は 差 動 信 号 のため 送 受 信 で 計 4 本 必 要 場 所 をとる スマートでない PT6 では HSSDC2 (High Speed Serial Data Connector) を 使 用 Rx ± Tx ± GND 1 本 のケーブルで 信 号 線 が7 本 1 本 で 全 二 重 通 信 が 可 能 Max 5Gbps, 2.5Gbps では 17m までの 通 信 が 可 能 2011/2/16 17
Rocket IO GTP コアの 生 成 Xilinx 社 の CORE Generator で Spartan-6 FPGA GTP Transceiver Wizard を 選 択 PT6 の 場 合 REFCLK が 125MHz なので Line Rate は 1.25Gbps, 2.5Gbps が 選 択 可 2011/2/16 18
基 本 的 な 使 い 方 CORE Generator によるサンプルデザイン FPGA への パラレル 出 力 ケーブルからの シリアル 入 力 2011/2/16 19
高 速 シリアル 通 信 インターフェース Rocket IO ギガビットトランシーバのテスト 8bit 幅 で 2 8 = 256 パターンのデ ータを 生 成 して Rocket IO で 送 受 信 し FIFO メモリーに 保 存 して 順 に 読 みだすテストを 行 った 1.25Gbps, 2.5Gbps どちらの 場 合 でもテストは 成 功 した Rocket IO からの 信 号 を 直 接 オシロスコープで 観 た 様 子 100 111 0100 2011/2/16 20
苦 労 したこと Rocket IO ギガビットトランシーバを 使 用 していた 例 は 身 近 に なかったため 全 て 独 学 今 は 基 本 的 な 使 い 方 は 分 かったので wiki 等 に 記 録 している シリアル 信 号 は どこがデータの 区 切 りか 分 からないため 何 も 考 えていないとエンコードした 値 とデコードした 値 が 違 ってい ることがよくあった 01100010100011101110001011000111000 適 宜 カンマ 信 号 (K28.5) を 入 れてやる 必 要 がある 0011111010, 0110011011, 10011101010 2011/2/16 21
その 他 の 機 能 についてもテスト VME アクセス (CPLD ロジックの 作 成 ) NIM 入 出 力 Mezzanine Card による 光 信 号 入 出 力 Gigabit Ethernet (SiTCP 利 用 ) 各 種 メモリへアクセス 全 て 良 好 に 動 作 2011/2/16 22
まとめ ATLAS 実 験 のデータ 読 み 出 しモジュール (ROD) のアップグレー ドの 研 究 開 発 のためのプロトタイプモジュール (PT6) を 開 発 した 新 ROD に 要 求 されている 高 速 シリアル 通 信 のインターフェースや CPU コアの 動 作 を 確 認 できた PT6 をビルディングブロックとして 使 うための 環 境 を 整 えた 新 ROD のエラー 診 断 システム 分 散 並 列 化 システムの 具 体 的 な 開 発 はこれからになるが その 開 発 をするための 基 盤 を 整 えた 2011/2/16 23
Back Up 2011/2/16 24
ATLAS の 現 在 の 読 み 出 し 系 ヒット 情 報 Slave Board トリガーデータ Central Trigger Processor ヒット 情 報 Read 読 み 出 しデータ Out Driver レベル1トリガー μ Max 75kHz Read Out System TGC 検 出 器 2011/2/16 25
LHC 加 速 器 の 主 要 パラメーターのまとめ 主 リング 周 長 26658.883 m 陽 子 ビームエネルギー( 入 射 エネルギー) 7.0 TeV (450 GeV) 最 高 ルミノシティ- (IP1, IP5) 1.0 10 34 cm -2 s -1 バンチ 間 隔 25 nsec 40 MHz バンチ 数 2808 /ring バンチ 当 りの 陽 子 数 1.15 10 11 ビームエミッタンス(7 TeV) 3.75 10-6 m mrad 二 口 径 双 極 電 磁 石 1232 台 双 極 電 磁 石 長 磁 場 14.3 m,8.33 Tesla 曲 げ 半 径 2803.95 m 回 転 周 波 数 11.245 khz RMSビームサイズ(IP1, IP5) 16.7 mm RMSバンチ 長 さ(IP1, IP5) 7.55 cm ビーム 衝 突 角 度 (IP1, IP5) ±142.5 mrad 交 差 平 面 (ATLAS, CMS) 垂 直 (ATLAS), 水 平 (CMS) バンチ 衝 突 当 りの 陽 子 衝 突 数 19 全 ルミノシティ- 寿 命 14.9 hour シンクロトロン 放 射 損 失 エネルギー 3.6 kw / ring, 6.71 kev/turn 2011/2/16 26
LHC/ATLAS アップグレード 2010 5 24 徳 宿 克 夫 背 景 放 射 線 損 傷 による 測 定 器 および 加 速 器 のパーツの 寿 命 シリコントラッカー Inner Triplet Magnetなどは(フルルミノシティ 運 転 で)5 年 程 度 LHCの 初 期 の 結 果 によって 高 エネルギーの 研 究 方 針 がきちんと 定 まる が 2020 年 を 超 えてLHC 実 験 を 進 めていくということは 現 時 点 では 重 要 な 戦 略 (なんにせよUpgradeが 不 可 欠 ) CERNの 暫 定 方 針 LHC 運 転 の 目 標 2030 年 ぐらいまでに 積 算 ルミノシティ2000-3000fb -1 最 大 ルミノシティーは5x10 34 (cm -2 s -1 ) クラブ 空 洞 などを 使 って ルミ ノシティーを 一 定 にする ATLAS 5x10 34 に 対 応 できる 測 定 器 への 改 善 : 内 部 のトラッカーの 全 面 交 換 ( 放 射 線 高 ルミ 対 策 ) 必 要 なデータが 取 れるためのトリガーの 改 善 日 本 グループは これまでも 担 当 してきた ミューオントリガーと シリコン 検 出 器 (ストリップ ピクセル)に 参 加 実 際 に 作 り 始 めるのは2015 年 ぐらいであるが R&Dは 今 からやらな いと 間 に 合 わない 2011/2/16 27
入 力 データ0 (SSW 0) 出 力 データ (Rx_OUT) Frame Header 0x0B0F SSW 0 Header 0x080F SSW 0 DATA SSW 0 Trailer Frame Trailer 0xE0F0 入 力 データ1 (SSW 1) Frame Header 0x0B0F SSW 1 Header 0x088F SSW 1 DATA SSW 1 Trailer Frame Trailer 0xE0F0 Rx Logic Rx Header 0xFACE SSW 0 Header SSW 0 DATA SSW 0 Trailer SSW 1 Header SSW 1 DATA SSW 1 Trailer Rx Trailer 0xCAFE コントロールビット(2ビット) + データビット(16ビット) コントロールビット(2ビット) + データビット(16ビット) 2011/2/16 28
32*2+32*2+32*2*18 = 1280 bit = 160 byte 2011/2/16 29