100Gを使い切るNAOJ SDN

Transcription

1 100G を使い切る NAOJ SDN 大江将史 天文データセンター 国立天文台 MPLSJP 1

2 自己紹介 大江将史 ( おおえまさふみ ) 所属 : 自然科学研究機構国立天文台 天文データセンター なにしてるのか? 助教 専門は ネットワークセキュリティ 衛星通信 無線通信など 天文と情報ネットワークの融合に関する研究等 国立天文台のネットワーク運用や設計等 おおえまさふみ 検索 星を見るのにデータセンタ? ネットワーク? その疑問はごもっともです. MPLSJP 2

3 Mt. Mauna kea, Hawaii Subaru Telescope MPLSJP 3

4 天文学とデジタル化の事例 複数のデータセンターにてアーカイブコンピュータで解析データ公開 天体のデジタルデータ 巨大なデジタルカメラ 高感度 CCD -100 に冷却合計約 8 億 7000 万画素 すばる望遠鏡のあたらしい目 HSC: Hyper-Suprime-Cam すばる望遠鏡 MPLSJP 5

5 コンピュータとネットワークなしには天文学は成り立たない 天体望遠鏡からの観測データコンピュータでの 観測データの計算機解析 数値シミュレーション観測装置や計算機を支えるシステム ネットワークを活用 コンピュータ & ネットワークによる成果 各拠点をネットワーク接続 JGN-X/SINET-4/ 10 ギガ : 水沢 大手町 DC 三鷹 1 ギガ : 岡山 ハワイ ( ) 他もすべて接続されています. MPLSJP 6

6 今日のテーマ 天文学におけるデジタル データ 様々な観測機器からデータが生まれる ネットワークの果たす役割 ネットワークに関する研究開発事例 MPLSJP 7

7 さまざま種類のトラフィック 水沢 ~ 大手町 ~ 三鷹 MPLSJP 8

8 1) スーパーコンピュータ : アテルイ 特徴 水沢観測所 ( 岩手県奥州市 ) に設置 500TFlops 級の Cray 社のスーパーコンピューターシステム 2014 年度に 1PFlops 級へアップグレード MPLSJP 9

9 1) スーパーコンピュータ : アテルイ 計算ジョブ ( 最長 8 時間 ) の間隔でデータが出力 ジョブ完了 水沢から三鷹へデータ送信 ジョブ継続 再度ジョブ投入 8 時間単位で, ネットワークに負荷がかかる可能性 IP ネットワーク ストレージノード群 ( 三鷹 ) HPC 計算ノード群 ( 水沢 ) 汎用計算サーバ群 ( 三鷹 ) 専用計算ノード群 ( 三鷹 ) MPLSJP 10

10 2)VERA: VLBI Exploration of Radio Astrometry VERA is a VLBI array to explore the 3-D structure of the Milky Way Galaxy IRIKI( 入来 ), KAGOSHIMA MIZUSAWA( 水沢 ), IWATE Correlation center ISHIGAKIJIMA( 石垣島 ), OKINAWA MITAKA( 三鷹 ), TOKYO OGASAWARA( 小笠原 ), TOKYO 望遠鏡 ( 山口 茨城 他 ) MPLSJP 11

11 2)e-VLBI : ネットワークで結ぶ VLBI 観測中は, まさに DDoS 観測日 & 時間スケジューリング月平均 400 時間 年平均 Connect to the 4000 correlator 時間 Correlation in real-time Correlator ATOMIC CLOCK ATOMIC CLOCK Image High speed Network (2Gbps~ per Station) ATOMIC CLOCK Earth MPLSJP 12

12 そのほか クラウドシステム プライベートクラウドサービスを 4 拠点で運用 実機より速い が合言葉 三鷹地区 大手町地区 水沢地区 岡山地区に分散したクラウドシステム iscsi ネットワーク VM ノード コンテンツ配信 デジタル 4 次元シアター (4D2U) のコンテンツ提供 スパコンや観測成果に基づく科学コンテンツの配信 アウトリーチ : 観測所と学校を結んで最先端の科学にふれる HD ビデオ双方向中継 (1 から多地点 ) 天文現象の中継 ( 皆既日食 彗星など ) MPLSJP 13

13 さまざまなプロパティを持つトラフィックが広域網を流れる スパコン 水沢の計算ノードからの結果出力を, 三鷹の恒久ストレージへ効率よく伝送 ノンリアルタイム 利用者の利用傾向に基づく帯域の占有予測 伝送中は高効率化により帯域を占有 ロスは許容されない. VLBI 水沢から三鷹へ観測データをバーストトラフィックで伝送 スケジュールされた観測時間に連動した帯域確保 パケットロスには寛容 通信としてのプライオリティは低い扱い クラウド コンテンツ配信 帯域は, クラウドのマイグレーション, ストレージトラフィック, コンテンツ配信などに強く依存 帯域の変動幅が大きい パケットロスに非寛容. 帯域利用率 [%] 140 各システムの帯域利用率イメージ :00 4:00 8:00 12:0016:0020:00 0:00 Cloud and etc. HPC VLBI 時刻 MPLSJP 14

14 トラフィックを制御する 今の解決策 : 必要は発明のナントカ MPLSJP 15

15 ULTRA 計画 (2012~) を開始 天文学を支えるハイパフォーマンスなネットワークへの要求 天文学専用スパコンシステム VLBI 観測システム クラウド 映像中継等々 汎用化機器の高性能化 専用機の開発コスト効率の悪化 地理的に分散する ( 天文学 ) 情報システムと IP ネットワークを効率よく連携させる仕組みが自然科学の発展には必要不可欠 + 計算機の運用ノウハウ習得 高コストパフォーマンスの実現と応用 MPLSJP 16

16 ミドルボックス : データ伝送の効率化 MPLSJP 17

17 ULTRA200 構成 40GbE (10GbE x 4) 超高速キャッシュ Application トラフィックアプリケーションにフロールールに応じて制御 コントローラ 広域網 (JGN-X) の利用状況に応じて Forwarding Engine を制御 10GbE ストレージトラフィック ストレージトラフィック None-Realtime Acceleration Engine accelerated traffic Forwarding Engine 標準の IP Forwarding 処理 エラー 遅延補償 CentOS 6.x ULTRA ルータ ( 現状, ストレージしか考慮されていません ) MPLSJP 18

18 網の高度化ではなく.. エンドの高度化で.. 天文台 ( 一部 ) は, エンドの高度化でアプローチ PCサーバで十分な性能を叩き出せるという目算 40GbE SSDフルダンプ箱開発 100GbE L3ルーターの開発 コストパフォーマンスの追及 挑戦はするけど冒険はしない. 水沢 大手町 三鷹地区に, ミドルボックスを設置し, 広域網 { へ, から } のトラフィックを広域網からもらえるウェザー情報に基づき制御するアプローチをとる. MPLSJP 19

19 コストの観点から見る開発 構築 ゾーンコスト フルカスタムチップ カスタム ASIC (PC +) FPGA (PC +) FPGA on NIC 20Gbps NIC + FPGA PC+NIC 40Gbps FPGA PC + NIC 性能 この領域が ULTRA 計画の開発ゾーン MPLSJP 20

20 コストの観点から見る開発 構築ゾーン 低遅延性能 カスタム LSI/ カスタム ASIC/FGPA などハードを生かした高価 ( 開発コスト ) なシステムの有利な領域 安価な PC で踏み込める領域 広帯域 MPLSJP 21

21 コストの観点から見る開発 構築ゾーン 低遅延性能 カスタム LSI/ カスタム ASIC/FGPA などハードを生かした高価 ( 開発コスト ) なシステムの有利な領域 Cisco gnodal (>60/200nsec) (>150nsec) 安価な PC で踏み込める領域 2011 PC ルータ 20Gbps Intel DPDK ARISTA (>500nsec) 2012 第 1 世代 ULTRA40 大沢 ( 割り込みモデル ) IP フォワーディング 45Gbps 100Gbps コンテンツ送信性能 広帯域 MPLSJP 22

22 コストの観点から見る開発 構築ゾーン 2012 年 ULTRA40 野川 & 大沢 低遅延性能カスタムLSI/ カスタムASIC/FGPA 多機能などIPルーター Cisco gnodal ハードを生かした 4GB/sec 読み書き可能な高速ストレージ (<60/200nsec) (<150nsec) 高価 ( 開発コスト ) なシステムの有利な領域 100Gbps コンテンツ送信性能 45Gbps IPフォワーディング性能 18x 10Gbase-R or 2x 40Gbase-R I/F 搭載 ARISTA (<500nsec) 安価なPCで踏み込める領域 2011 PC ルータ 20Gbps?msec PC 性能向上の方向性? 2012 ULTRA40 大沢 45Gbps / 12msec ULTRA40 野川 4GByte/sec SSD Storage 広帯域 MPLSJP 23

23 コストの観点から見る開発 構築ゾーン 低遅延性能 カスタムLSI/ カスタムASIC/FGPAなど 2013 gnodal 年での Cisco ハードを生かした挑戦すべき方向性 (<60/200nsec) (<150nsec) 高価 ( 開発コスト ) なシステムの有利な領域非常識ですが風穴をあけてみたい 安価な PC で踏み込める領域 ARISTA (<500nsec) 2011 PC ルータ 20Gbps?msec 2012 ULTRA40 大沢 45Gbps / 12msec ULTRA40 野川 4GByte/sec SSD Storage 広帯域 MPLSJP 24

24 PC サーバの性能 連雀 : 高機能 PC サーバ ルータ基盤 Intel SandyBridge-E overclock PCI-E 2.0 2x 10GbE-SFP+ x 10 ( 最大 12port) Interop2013 オープンルーターコンペティション (ORC) 富士通賞受賞 国立天文台が天文データ処理用の PC サーバ / ルータープラットフォームとして開発 Linux OS を基に低遅延 広帯域処理能力を目標に設計 開発 MPLSJP 25

25 遅延 連雀 の性能: 低遅延 & 広帯域の両立 [μsec] フルメッシュ IP フォワーディング性能を計測器で長時間検証 7μsec~ 18usec を安定して達成 広帯域 & 低遅延を両立 時間 MPLSJP 26

26 連雀 NIC オフロードの効果 : 200Gbps のトラフィック処理をおこなっていても 15% の CPU リソース消費に抑えられている MPLSJP 27

27 連雀 + : L3 120Gbps(=240Gbps) 40GbE 対応 / 広帯域 低遅延の追及 Intel SandyBridge-E overclock PCI-E 3.0 2x 40GbE-QSFP+ x 5 Full 40GbE / PCI-E 3.0 対応版 MPLSJP 28

28 PC サーバの性能向上 低遅延性能 FGPA など高価なハードウェアならでわの領域 安価な PC で踏み込める領域 2013 ULTRA200 連雀 + 240Gbps / <10μsec 2013 ULTRA200 連雀 200Gbps / <17μsec 2011 PC ルータ 20Gbps?msec 2012 ULTRA40 大沢 45Gbps / 12msec ULTRA40 野川 4GByte/sec SSD Storage 広帯域 MPLSJP 29

29 PC サーバの性能向上は今後も続く, 手段を問わず研究開発を継続 2011 年?? Intel Core + PCI-E2.0 1x10GbE NIC なんとか 10Gbps を絞り出せるレベル 2012 年 大沢 野川 ( 第 1 世代 )Intel Nehalem + PCI- E2.0 2x10GbE NIC + Offload 機器は <50 万円程度 10Gbps どころか, 誰もが 100Gbps~ 200Gbps を扱える時代 コンテンツ送信力は,100Gbps 2013 年 連雀 ( 第 2 世代 )Intel SandyBridge-E + PCI-E2.0 2x10GbE NIC + Offload 連雀 + その処理力は,200Gbps へ向上 2014 年 ( 第 3 世代 )Intel Haswell + PCI-E3.0 NIC Full 40GbE NIC + Offload 割り込みモデル or ポーリングモデル その処理力は,400Gbps へ? MPLSJP 30

30 おしらせ * 国立天文台三鷹キャンパスでは, 毎月 2 回公開天体望遠鏡を使った観望会を開催中! 詳しくは国立天文台ホームページをご覧ください. ありがとうございました 口径 30m 次世代超大型望遠鏡 (TMT) 始動 円から参加できる TMT 第二期寄付金募集中! MPLSJP 31 TMT 完成予想図 (c) 2010 Thirty Meter Telescope