ATLAS muon triggerにおけるTCPを用いたDAQ

Size: px

Start display at page:

Download "ATLAS muon triggerにおけるTCPを用いたDAQ"

ありみちさかいざわ
4 years ago
Views:

1 ATLAS muon triggerにおける TCPを用いたDAQ 東京大学素粒子物理国際研究センター大谷育生

2 目次 ATLAS のアップグレードに関する読み出しプロトタイプの開発について o ミューオントリガーシステムのアップグレード o SiTCP および GTX Transceiver の検証 o SL プロトタイプの開発について ATLAS ミューオントリガーにおける TCP の導入例 o 読み出し系における問題 o Raw data taking のスキーム o 開発状況 2012/11/6 2

3 ATLAS アップグレードに関する研究開発 2012/11/6 3

4 ATLAS 実験地下 100m LHC 陽子陽子衝突型加速器周長 26.7km 衝突頻度 40MHz ビームエネルギー 7TeV ルミノシティ cm -2 s -1 ATLAS detector 大型汎用検出器 o o o トラッカー (Pixel, SCT,TRT) カロリメータ (EM, Hadronic) ミューオンスペクトロメータ (MDT, CSC, RPC, TGC) ヒッグス粒子や未知の物理の探索 Thin Gap Chamber (TGC) 2012/11/6 4

5 トリガーシステム 3 段階のトリガー Level 1 (~100kHz) o 2.5μs 以内に発行する必要がある o ゆえに全てハードウェアによるトリガー o TGCやカロリメータが担当 Level 2 (~ 数 khz) Event Filter (~ 数 100Hz) TGC L1 トリガーミューオンは磁場で曲げられ 3 枚の TGC にヒットを生じさせる無限運動量のパス ( 直線 ) からのずれで運動量を算出し高い運動量のミューオンを選び出す 2012/11/6 5

ATLAS のアップグレード高ルミノシティ LHC(HL-LHC) へ 2020 年代へ向け段階的アップグレードルミノシティ : 0.

L1 トリガーの 9 割超がフェイクミューオン ( 衝突点以外からくるミューオン ) でかかってしまっている 2018

6 ATLAS のアップグレード高ルミノシティ LHC(HL-LHC) へ 2020 年代へ向け段階的アップグレードルミノシティ : cm -2 s -1 ATLAS 検出器のアップグレード放射線損傷した検出器の交換新トリガーシステムの検討 o o 現行では TGC L1 トリガーの 9 割超がフェイクミューオン ( 衝突点以外からくるミューオン ) でかかってしまっている 2018 年に向けてインナーステーションの情報を用いた新しいトリガーシステムを構築する関連エレクトロニクスのアップグレードが必要 A が衝突点由来のミューオン B, C は別由来だが衝突点から来るように見える 2012/11/6 6

7 SL のアップグレード TGC SL (Sector Logic) R 方向と φ 方向の情報を統合し運動量を割り出すモジュールフェイクを落とすためにインナーステーションの情報を入れられる新 SL を作る予定新 SL 開発に向けたプロトタイプの設計 =my work Inner station Magnetic Field ΔR Δφ 67bit 34bit SL SL board 320bit 2012/11/6 7

8 新 SL における改善点インプットの増量 o 従来の入力 :optical 101bit(4Gbps) o インナーステーションからの追加入力 :optical 320bit (12.8Gbps) 4 倍のインプット新しいリードアウトラインの構築 o 現行ではリードアウトバッファは他モジュールのASICを流用 o ASICの出力に合わせて後段のDAQも他のラインに組み込んでいるバッファをFPGA 内に作り独立した経路を確立する SL LVDS SSW opt ROD opt 2012/11/6 8

9 新 SL プロトタイプに必要な技術入力 : GTX Transceiver Xilinx 社のハイエンド / ミドルクラス FPGA に搭載されたギガビットトランシーバ少ないリソースで新 SL の入力を再現可能出力 : SiTCP Bee Beans Technologies 社の提供する FPGA ベースのネットワークプロセッサ TCP を用いることで後段の DAQ が容易に GTX TCP prototype Ethernet Switch これらの技術を実装したプロトタイプを制作しテスト環境を構築する PC 2012/11/6 9

10 GTX Transceiver 高速シリアル通信用ギガビットトランシーバ o Xilinx 社のKintex7 FPGAなどに搭載されたハードマクロ o 1レーンで最大 12.5Gbps o 全二重通信可種々のプロトコルに対応 o PCIe, 10GBASE-R, Serial RapidIO o 8b10b を用いた単純なコーディングも可能 serial parallel SER DES encoder decoder FPGA User logic Kintex7 FPGA 2012/11/6 10

5Gbps = 20bit x 125MHz o 送信データは単純なカウンター SMA ケーブルで tx から自身の rx

11 GTX Transceiver の検証 1 Kintex7 評価ボード KC705 を用いる GTX Transceiver Wizardでデザインを生成する o 2.5Gbps = 20bit x 125MHz o 送信データは単純なカウンター SMA ケーブルで tx から自身の rx へループバックさせるデバッグツール ChipScope pro を用いて検証 : 次ページ o JTAG 経由で内部信号が見れるツール JTAG SMA RX± SMA TX± 2012/11/6 11

12 GTX Transceiver の検証 1 TXDATA RXDATA データ ( カウンター ) が正しく転送できている 2012/11/6 12

13 GTX Transceiver の検証 2 IBERT(Integrated Bit Error Ratio Test) を用いて検証 o JTAG 経由で BER (Bit Error Rate) を計測するツール 2.5Gbps でリンクが取れている BER 1.8E E13bit 送ってエラーなし 2012/11/6 13

14 SiTCP ハードウェアによるネットワークプロセッサ o KEKの内田さんにより開発された技術 o FPGAに組み込むことで手軽にギガビットイーサネットが使える o FPGA 側からはFIFO PC 側からはサーバーに見える TCPによる高速リードアウト o 最大 1Gbps UDPベースのプロトコルにより外部からのコントロールも可能 PC Readout Control GbE PHY SiTCP FPGA 2012/11/6 14

15 SiTCP の検証 Kintex7 評価ボードKC705を用いる Kintex7 用 SiTCP(ver50) をデザインに組み込む o 送信データは単純なカウンター Cat5eケーブルでPCとつなぐ Bee Beans Technologiesのデバッグツールを用いて検証 : 次ページ cat5e Full duplex Tx Rx 1000M Link 2012/11/6 15

16 SiTCP の検証データ ( カウンター ) が正しく転送できている 2012/11/6 16

17 新プロトタイプの開発名称 :ProtoType7(PT7) o 6UサイズのVMEモジュール o 汎用モジュールとしても使用可能 Kintex7 FPGA(XC7K325T) を搭載 GTX Transceiverを8レーン使用 o コネクタはinfiniband 4xを2つ使用 SiTCPによるギガビットイーサネット DDR SDRAMを搭載 Mezzanine Cardでインターフェイスの拡張可能 MicroBlaze CPUを組み込むことを想定 PT7 概略図 MC CPLD FPGA GbE GTX SDRAM 2012/11/6 17

18 部品の選定 :FPGA, SDRAM SDRAM = MT41J64M16JT-15E コンポーネント DDR3 SDRAM o 省スペース 16bit x 8Meg x 8banks = 1Gb バスクロック667MHz (DDR3-1333) o 1333MT/s x 16 = 21Gbps o 新 SL の入力 17Gbps を受けられる FPGA = XC7K325T-2FFG900 デバイス :XC325T o 最大 User IOが500と多い o 評価ボードKC705と同じパッケージ :-2FFG900 o DDR3: 最大 1333MT/s o GTX: 最大 Gbps FPGA Logic cell Block RAM GMT CMT DSP User IO 6SLX150T 150,000 5Mb 8GTP K160T 160,000 12Mb 8GTX K325T 325,000 16Mb 16GTX K410T 410,000 29Mb 16GTX /11/6 18

19 部品の選定 :GTX コネクタ :Infiniband 4x SMA では tx± と rx± の計 4 本のケーブルが必要になる Infiniband ではこれら 4 本を 1 レーンにまとめて全二重通信を可能にするさらに 4x タイプなら 4 レーンを 1 ケーブルでまかなう DDR (double data rate) 対応のケーブルを用いることで 5Gbps x 4 = 20Gbps 1x-4x タイプのケーブルで PT6 との互換性の確保 4x copper cable 4x receptacle 2012/11/6 19

20 開発状況回路図の作成と部品の選定は終了現在は配線作業中 12 月中旬ごろ試作機が完成予定できあがり次第年末にかけてテストを行う 2012/11/6 20

21 ATLAS ミューオントリガーにおける TCP の導入例 2012/11/6 21

(Read Out Driver) SSW からのデータをまとめて ATLAS 共通のフォーマットに変換するよく

22 TGC readout TGC 読み出し系 TGC のデータは Star Switch (SSW) に集められ圧縮を受ける SSW10 個分のデータが Read Out Driver (ROD) に集められる ROD (Read Out Driver) SSW からのデータをまとめて ATLAS 共通のフォーマットに変換するよく busy を起こして run がとまる原因を究明するために SSW からの raw data を見る必要あり 2012/11/6 22

23 Raw data taking scheme SSW optical ファンアウト ROD PT6 は光入力を受け TCP で PC に送る ROD の前に optical fanout を挿入し raw data を PT6 に渡す TCP スイッチ PT6 2012/11/6 23

24 PT6 ボード ROD のアップグレードプロトタイプとして開発された VME モジュール Spartan6 FPGA に SiTCP を搭載してギガビットイーサネットを使用可能 Mezzanine Card を載せることで SSW2 つからの光入力を受けられる CPLD XC2C256- PQ208 VME bus FPGA LXT150T- FGG676 Mezzanine GbE PHY B: data R: address G: config data 2012/11/6 24

FIFO に格納する ROD が busy になると SSW からのデータが止まり PT6 もデータを流せなくなる PC

25 PT6 側 DAQ の方法 1:PC にバッファ PT6 は SSW から受けとった ( 中身のある ) データを全て SiTCP に渡す PC 側 PC は複数の PT6 と TCP connection を確立しておく Select システムコールでポーリングし到着したデータを FIFO に格納する ROD が busy になると SSW からのデータが止まり PT6 もデータを流せなくなる PC はデータが来ない時間をカウントして一定時間経ったらファイルにダンプする timer SSW PT6 PC FIFO file FIFO write file 2012/11/6 25

26 PT6 側 DAQ の方法 2:PT6 にバッファ PT6 内の Block RAM を用いて SSW からくるデータをバッファする ROD が busy になると SSW からのデータが止まるのである一定期間データがこないときに busy と判断してトリガトリガがかかったらバッファにあるすべてのデータを SiTCP に渡す PC 側 PC は複数の PT6 と TCP connection を確立しておく Select システムコールでポーリングしデータが到着していたらファイルにダンプ timer SSW PT6 PC file FIFO write file 2012/11/6 26

27 長所短所 PT6 にバッファ利点帯域を節約できる ( データは止まっているのでゆっくり投げればよい ) 欠点 HDL による記述でデバッグしにくいバッファが限られる PT6 の Block RAM は最大 600kbyte 600k / 400 = 1.5k event = 約 30ms PC にバッファ利点バッファの大きさを大きくできるソフトウェアによる処理なので開発やデバッグが容易欠点 1 つの PT6 が占める帯域が大きい 2 つの SSW から 400byte x 50kHz 160Mbps( せいぜい PT6 は 5 つまで ) 今回はリソースも限られているため PT6 にバッファする方針で行く私が関連する Software と Firmware の開発を行った 2012/11/6 27

データが届いていないときに正しくトリガしバッファ内のデータを全てダンプできたしかし読み出したデータに誤りが見受けられ

28 コンフィギュレーション Firmware のテスト SSW の代わりとなる PT6 を 2 台その間に試験対象の PT6 を配置中心の PT6 は NIM でクロックの分配と TCP でデータ読み出し両端の PT6 はカウントデータを光で送る結果データが届いていないときに正しくトリガしバッファ内のデータを全てダンプできたしかし読み出したデータに誤りが見受けられどこで生じているか探している 11 月下旬の LHC machine development までに fix する予定 2012/11/6 28

29 Software のテストコンフィギュレーションイーサネットスイッチ経由で 2 台の PT6 を PC とつなぐ最大限の速さでデータをプッシュする結果 2 台の PT6 からデータを正しくダンプできた速度はおよそ 900Mbps 前述の Firmware のデバッグが済み次第統合試験をする予定 2012/11/6 29

まとめ ATLAS アップグレードに関して ATLAS ミューオン検出器の運動量判定モジュール SL のアップグレードプロトタイプとして VME モジュール PT7 を開発中 Kintex7 に SiTCP を載せる予定で評価ボードを用いて動作検証した現在配線作業中で 12

30 まとめ ATLAS アップグレードに関して ATLAS ミューオン検出器の運動量判定モジュール SL のアップグレードプロトタイプとして VME モジュール PT7 を開発中 Kintex7 に SiTCP を載せる予定で評価ボードを用いて動作検証した現在配線作業中で 12 月中に完成予定 TCP の導入例についてデータ読み出しモジュール ROD の busy の原因追及のため raw data をファンアウトして TCP で読み出すシステムを開発中 PT6 にバッファをおく方法で Firmware と Software が 1 通り完成した 2012/11/6 30

日本物理学会草稿

日本物理学会草稿 ATLAS 実験アップグレードに向けたレベル 1 ミューオントリガーにおける読み出し系の開発日本物理学会 2012 年秋季大会於 : 京都産業大学大谷育生, 坂本宏, 結束晃平, 二ノ宮陽一, 佐々木修 A, 石野雅也 B, 田代拓也 B, 池野正弘 A,C, 内田智久 A,C 他 ATLAS 日本 TGCグループ東大素セ高エ研 A 京都大 B Open-It C 目次研究の背景となる LHC