LHC- ATLAS 実験アップグレードに向けた新しいミューオントリガー装置読み出しの研究開発 日本物理学会 2014 年春季大会東海大学 加藤千曲, 坂本宏, 二ノ宮陽一, 徳永孝之, 浦野祐作, 鈴木翔太佐々木修 A, 石野雅也 B, 田代拓也 B, 池野正弘 A,C, 内田智久 A,C 他 ATLAS 日本 TGC グループ東大素セ, 高エ研 A, 京都大 B, Open- ItC 1
L1 Endcap ミューオントリガーのアップグレード RUN1(2012) RUN2(2015~) RUN3(2018~) 重心系 energy [TeV] 8 13~14 13~14 Luminosity [cm - 2 s - 1 ] 0.7 x 34 2.0 x 34 3.0 x 34 バンチ間隔 [ns] 50 25 25 p T threshold [GeV] 15 20 20 Trigger rate [khz] 6 34 > 20 60 > 20 救仁郷 2014 年春物理学会 TGC 新検出器 Z 鈴木友 2011 年秋物理学会 2018 年 RUN3 では, フェイクを落とすために新検出器を導入する. ミューオン運動量判定装置 Sector Logic (SL) を新しくする必要がある η 2
SL と新 SL Ø Sector Logic (SL) R と φ の hit 分布でミューオンの運動量を判定する 新 SL では内側の新検出器を用いてフェイクを落とす 入力が約 5 倍になるため新しい装置が必要になる 新 SL 開発に向けた試作機の製作新しい FPGA 読み出しの性能評価 幅 入力 = 幅 x 40 MHz 出力 = 幅 x 0 khz x 3 / 0 SL 202 bit 8 Gbps 0.6 Mbps 新 SL 768 + 202 = 970 bit 39 Gbps 3 Mbps 新 SL では 入力 39 Gbps メモリ 2000 kbit 出力 3 Mbps を要求する 3
SL と新 SL の読み出し SL 読み出し : ASIC で読み出し FPGA Vertex- 2 で運動量判定 SLB ASIC StarSWitch L1Buffer 202 x 128 bit FIFO 202 x 128 bit LVDS ROD 新 SL 読み出し : 新検出器入力の追加 読み出しも FPGA で行う SiTCP を使う FPGA Kintex- 7 Switching Hub L1Buffer 970 x 128 bit FIFO 970 x 24 bit SiTCP ROD L1Buffer は Level1 トリガー判定である L1A を待つ間データを保持する FIFO は L1A のばらつきを吸収する 4
新 SL 入力 GTX Tx ブロック図 高速シリアル通信技術 Xilinx 最新 FPGA 7 Series に搭載 最大 12.5 Gbps/lane を 16 lane 1 世代前では最大 3.125 Gbps/ lane serializer deserializer encoder decoder Tx I/F Rx I/F Rx Equalizer で高周波補償 8bb 転送方式が可能 Rx Equalizer Rx ブロック図 新 SL 最大入力約 39 Gbps を再現出来る 5
新 SL 出力 SiTCP Readout FPGA TCP 処理技術 FPGA からは FIFO にみえる PC からはサーバーにみえる Control GbE PHY SiTCP FPGA UDP による制御 PROM 書き込み用ファイルで MAC アドレスを変更可能 00BASE- T (1 Gbps) 0BASE- TX (0 Mbps) 新 SL 出力約 3 Mbps を TCP で読み出せる 6
新 SL 試作機 PT7 Ø 仕様 Xilinx 最新 FPGA Kintex- 7 XCK325T- 2ffg900 SiTCP 用 PHY DP83865 GTX 4 lane 用 Infiniband 4x 接続を 2 つ Timing Trigger Control (TTC) 受信機接続 LHC clock 40 MHz や L1 トリガー信号 L1A を受信する G- link, LVDS メザニンカード接続 DDR3-1333 SDRAM MT41J64M16 RS232C 制御 Ø 経過 2013 年 2 月 1 号機完成 2013 年 8 月 GTX clock 配線などを修正し PT7 2 号機を発注した 2013 年 11 月 PT7 2 号機完成 2013 年 8 月 TTC 接続試験 7
PT7 GTX 性能評価 BER (Bit Error Rate) PT7v1 BER PT7v2 BER X0Y0 b115 X0Y1 b115 X0Y2 b115 X0Y3 b115 X0Y8 b117 X0Y9 b117 X0Y b117 X0Y11 b117 < 8.0 < 8.1 < 8.1 < 8.2 ~4.4 ~4.1 ~4.1 ~4.0 x - 13 x - 13 x - 13 x - 13 x - 1 x - 1 x - 1 x - 1 <5.5 < 5.6 < 5.6 < 5.6 < 5.6 < 5.6 < 5.6 < 5.6 x - 13 x - 13 x - 13 x - 13 x - 13 x - 13 x - 13 x - 13 connector connector bank115 bank116 bank117 bank118 clock PT7v1 connector connector bank115 bank116 bank117 bank118 clock PT7v2 Kintex- 7 XCK325T- 2ffg900 は 115 116 117 118 の 4 bank を持つ 1 bank 4 lane で 1 lane 最大 12.5 Gbps である 内部 loopback と Infiniband 1m loopback を Gbps で試験した PT7v2 では 8 lane 全て Gbps 可能 8
PT7 SiTCP 性能評価 PT7 PT7 PT7 Switching Hub DAQ PC Throughput[Mbps] 00 900 800 700 600 PT7 SiTCP Maximum Throughput Scalability 00BASE-T 0BASE-TX 500 400 300 200 0 最大速度 考察 0 0 0.5 1 1.5 2 2.5 3 Number of PT7[] 00BASE- T(1 Gbps) 891 Mbps PC 側の限界で帯域の 95% 以下 0BASE- TX(0 Mbps) 95 Mbps Number of PT7 最大データ 1460 Byte に対して, Ethernet TCP/IP のヘッダーが 76 Byte で約 95% 新 SL の出力約 3 Mbps を読み出せる 市販の Switching Hub で収集できる 9
まとめと今後 970 bit X 40 MHz = 38.8Gbps FPGA Kintex- 7 L1A 0 khz Clock 40 MHz ~1/0 GTX L1Buffer FIFO Zero Suppress SiTCP 58 bit x3 x 0 khz/0 ~ 3 Mbps Ø まとめ 新 SL 試作機 PT7 の clock 配線などを修正し PT7v2 を製作した PT7v2 GTX は入力要求 39 Gbps に対して 80 Gbps 可能 FPGA BRAM は要求約 2000 kbit に対して 16020 kbit 可能 SiTCP は出力要求約 3 Mbps に対して 891 Mbps 可能 Ø 今後 GTX を調整し新 SL 入力を再現する トリガーや収集系, 例外処理を実装し性能評価を進める PT7 の結果をもとに新 SL を設計する
backup 11
LHC と ATLAS 実験 TGC LHC 加速器 陽子陽子衝突型加速器 周長 27.6 km 衝突頻度 40 MHz 2012 年重心系エネルギー 8 TeV 2012 年ルミノシティ 0.7x 34 cm - 2 s - 1 ATLAS 検出器 内部飛跡検出器 (Pixel detector, SCT, TRT) カロリメーター (ElectroMagnetc, Hadronic) ミューオンスペクトロメーター (MDT, CSC, RPC, TGC(Thin Gap Chamber)) ヒッグス粒子や新物理の探索 12
ATLAS のトリガーシステム 12 m ~5 khz ~700 Hz Ø 3 段階のトリガーを採用 Ø Level1 (L1) トリガー ハードウェアによるトリガー 2.5μs 以内に処理 ミューオンやカロリメーター Ø L1 Endcap ミューオントリガー Z [m] 1.05 < η < 2.4, η = - log{tan(θ/2)} 磁場で曲げられ 3 層の TGC にヒット 無限運動量の直線からのずれで運動量の大きいミューオンを選び出す 13
現在の TGC 読み出し LVDS LVDS G- link SLB ASIC Readout (Star SWitch) G- link S- link x8 本研究はミューオン運動量判定装置 Sector Logic (SL) のアップグレードに関わる 新検出器情報を読み出すためには SL と後段の読み出しを改良する必要がある 14
Thin Gap Chamber (TGC) Graphite layer Pick-up strip +HV 50 µm wire 1.8 mm 1.4 mm 1.6 mm G- Big Wheel (BW) Endcap : 1.05 < η < 1.92 Forward: 1.92 < η < 2.70 M1 staton: triplet z~13 m M1 staton: doublet z~14 m M1 staton: doublet z~14.5 m Triplet: 3 wire 2 strip layer Doublet: 2 wire 2 strip layer 直交する anode wire と cathod strip により 2 次元情報を出力する. wire 間は 1.8 mm, wire strip 間は 1.4 mm と短く, 25 ns 以内に応答する. 4~33 wire が R 1 ch, 1 strip が φ 1 ch. 1cm 程度の位置分解能 440000 ch. CO 2 :n- pentane = 55:45 ガスを用いる. CO 2 が電離し, n- pentane が紫外線を吸収する. 15
New Small Wheel (NSW) Ø MicroMegas Mesh: Stainless Steel 325 lines/inch Amplificaton gap: 128 μm Dri{/conversion gap: 5 mm Resistve strips: 20 MΩhm/cm Readout strip pitch: 0.425 0.445 mm Gas: Ar:CO2=93:7 HV on resistve strips: 550 V Ø stgc grid of 50μm gold- plated tungsten wires with a 1.8mm pitch two cathode planes at a distance of 1.4 mm from the wire plane The cathode planes are made of a graphite- epoxy mixture with a typical surface resistvity of 0 kω/cm 2 sprayed on a 0 μm thick G- plane 16
NSW データ形式と NSL データ形式 dθ は分解能 1 mrad 以上を 15 mrad 4 bit でカットし, 正負 1 bit で 5 bit BW TGC 分解能は η: 0.025, φ: 0.033, ~1 cm BW TGC RoI η: (2.4-1.3)/0.025 = 44- >6 bit, φ(large): 2π/12/0.033 = 15.9- >4 bit NSW RoI η: 8 bit, φ:6bit. BW RoI より数倍細かい NSW offline 要求 ~0 μm, online 要求 ~ 1mm ~1mrad 17
PT7 GTX 5Gbps IBERT EYE PT7 GTX Gbps IBERT EYE 縦軸電圧 7.7 mv / codes, 横軸 0.1 ns / UI でオフセットをつけて測定した BER Infiniband 1m で測定したが Gbps ではケーブル長や接続の回数での減衰が予想される. 光接続の場合はケーブル長による減衰はより少ないことが知られている. 18
PT7 TTC 接続試験 PT7 TTC 128bit Register ShiftRegister FIFO SiTCP Readout TTC 装置 PT7v1 Throughput[Mbps] 140 120 0 80 3bunch read out 1bunch read out 60 TTC 受信機 40 20 2013 年 8 月 CERN 研究所で行った PT7v1 では GTX が使えなかった 4A 31 33 33 33 22 22 22 11 11 11 00 00 00 CC CC 4A 32 33 33 33 22 22 22 11 11 11 00 00 00 CC CC 4A 33 33 33 33 22 22 22 11 11 11 00 00 00 CC CC Bunch count 12 bit, track 24 x 4 bit, comma 16 bit そこで新検出器入力を意図した 128 bit register を用意した 従来の SLB ASIC のように L1Buffer L1A FIFO SiTCP の順に読み出した Random L1A の平均頻度を変えて読み出した 0 0 50 0 150 200 250 300 Random L1A Rate[kHz] 読み出し量とデータの順番は正常だった TTC 受信機で LHC clock 40 MHz と L1A を受信できる 従来の SLB ASIC を FPGA に組み込める 19
PT7 FPGA 温度測定 Temperature [ C] 80 70 60 PT7 KC705 GTX 8 lane FPGA Die Temperature PT7 VME extender PT7 in VME crate KC705 default fan 50 40 30 20 0 1 2 3 4 5 6 7 8 9 GTX Throughput [bps/lane] ATS- 533D- C2- R0. 500LFM で 6.3 C/W の熱抵抗 LFM(Linear Feet per Minute): 200LFM = 1m/s Kintex- 7 評価ボード KC705 は 85 C 以下の運用を推奨している KC705 は FPGA 冷却用のファンを持つが PT7 は持たない PT7 で GTX などの高速信号を扱った際の温度上昇を確認する必要があった KC705 は Gbps 8 lane でも 40 C 以下に保たれた PT7 は Gbps 8 lane では約 60 C まで上昇した 気温が高い環境や装置が密集した場合には注意が必要 ヒートシンク ATS- 533D- C2- R0 の導入を検討する 20
新 SL FPGA メモリ資源 Slice は FPGA の論理資源 2 slice/clb で 4 LUT/slice 約 1/3 の slice は LUT を distributed 64- bit RAM か 32- bit shi{ registers として使える. BRAM は slice 消費 0 Slice と BRAM は PT7 と同じ FPGA で足りる メモリは全て BRAM の FIFO で実装する 21
新 SL Busy 確率 probability of buffer overflow [] 1 0.8 0.6 0.4 0.2 probability of buffer overflow =0.8 =0.2 =0.5 0 0 5 15 20 25 30 buffer Depth [] buffer depth probability of buffer overflow [] -7-9 -11-17 -19-21 -23-1 1-3 =0.8-5 =0.2 =0.5-13 -15-25 probability of buffer overflow 0 50 0 150 200 250 buffer Depth [] buffer depth 入力と処理の状態が持続する確率が過去に依存しない場合 平均入力を λ, 平均処理能力を μ とすると平均使用率 ρ: ρ = λ/μ 深さ K が満たされる確率 P K : P K = (1 ρ)ρ K /(1 ρ K+1 ) ρ = 0.5 の場合 K = 7 では - 2 程度だが, K = 128 では - 25 以下である 読み出し幅を 8 bit まで縮めること, 3 bunch 読み出すことを考慮する Derandomizer FIFO を約 1 kbit width x 2kbit depth とする メモリ約 2000 kbit を要求し busy 確率を - 25 以下とする 22
新 SL 基板設計 DDR3: 高速 Bank 32 33 34 を用いる. PT7v2 では 33 に 200 MHz. 各 bank に VRP/N 80.6 kω, VREF 0.75 V をつける. IO に使う場合などは internal vref や dci cascade 制約をする. 電源電圧を揃えておく. Clock: SiTCP 125 MHz, GTX 125 MHz, DDR3 200 MHz をつける. 場所は PT7 と同じで良い. FPGA 内部分周器は制約が多くいつも使えるとは限らない. GTX: bank 115, 117 を使う場合は 116 に ref clock 200 MHz をくべる. 基本的に上下の bank からしか基準クロックを供給できない. 23
Schedule of New Sector Logic Board 24