Contents A. 本発表について概要自己紹介ネットワークによる時刻供給の背景 B. NPの特色 C. 共同研究とその成果について D. 安定した時刻情報配信について -2 -

Size: px

Start display at page:

Download "Contents A. 本発表について概要自己紹介ネットワークによる時刻供給の背景 B. NPの特色 C. 共同研究とその成果について D. 安定した時刻情報配信について -2 -"

しまないちぬの
5 years ago
Views:

1 インターネット上の高精度な時刻配信サーバの運用伊藤大輔, インターネットマルチフィード株式会社 -1 -

2 Contents A. 本発表について概要自己紹介ネットワークによる時刻供給の背景 B. NPの特色 C. 共同研究とその成果について D. 安定した時刻情報配信について -2 -

3 概要目的内容インターネット上の高精度な時刻サーバの運用について共同研究の成果を報告するとともに高精度かつ安定した時刻情報配信についてその運用管理手法を積極的に議論していきたい概要 NPの特色共同研究とその成果について安定した時刻情報配信について -3 -

4 自己紹介所属 : インターネットマルチフィード株式会社 1999 年よりインターネット上の時刻配信に関する共同研究に携わるとともに 2001 年に実験公開した NP サーバの実際的な運用管理を担当インターネットマルチフィード社について 1997 年設立東京大手町にてデータセンタを運営 2001 年に JPNAPサービスを開始商用インターネット相互接続 (IX) サービス現在 MAX 45Gbps 相当のトラフィックを交換 -4 -

5 ネットワークによる時刻供給の背景 Ⅰ インフラ基盤としてのインターネットの確立暗号技術の発展に伴うインターネット上での電子商取引の増加証券取引等における時刻情報の重要性時刻同期の重要度の向上ネットワーク機器の時刻合わせ (log の精度向上 ) 録画予約などによる時間指定のアプリケーションの存在家電のネットワーク化時刻同期に対するニーズの高まり -5 -

6 ネットワークによる時刻供給の背景 Ⅱ イントラネット等ネットワーク利用の普及ネットワークに接続された計算機の増加簡易な時刻情報取得の方法としてネットワークを利用本発表ではネットワーク上の時刻同期プロトコルとしてインターネット上で非常に多く使われている NP (Network ime Protocol) を取り上げる -6 -

7 Contents A. 本発表について B. NPの特色 NPの概要 NPの特色 SNPの概要 C. 共同研究とその成果について D. 安定した時刻情報配信について -7 -

8 NP の概要 RFC1305 Network ime Protocol (Version 3) Specification, Implementation David L. Mills インターネットなどのネットワークに接続された計算機内蔵時計の時刻を合わせるための技術多くはサーバ上にて動作 ntpd ( 事実上の標準多くのディストリビューション機器に実装 Version4を開発中 openntpd ( openbsdプロジェクトが開発 -8 -

9 NP の特色 Ⅰ 階層化計算機ネットワークに接続された計算機を階層状に接続ネットワークで接続される計算機間の時刻同期のための通信を 1 つのサーバに集中させない NP Server NP Server Stratum1 階層構造 NP の参照 NP Server Stratum2 NP Server 利用者時刻同期のための通信を一つのサーバに集中させない NP の参照 NP Server NP Server Stratum3 利用者 -9 -

10 NP の特色 Ⅱ Stratum NP における計算機の階層名 Stratum1 が最上位の階層 ( 第一階層 ) GPS, 原子時計などの時刻源 (Stratum0) に直結のサーバを示す Stratum16 が最下位 Stratum16 に同期することは出来ない ntptrace で階層状態の確認が可能

11 NP の特色 Ⅲ 複数サーバからの選択サーバの選択 Stratum 優先どんなに不安定で精度が悪い Stratum1 でも Stratum2 より優先して選択される同じ Stratum の場合参照毎に精度 (offset) と分散 (dispersion) を計算しもっとも安定していると思われるサーバを Reference とする

12 NP の特色 Ⅳ 時刻合わせ双方向通信で行われ回線による遅延時間をキャンセルして時刻同期の精度を高める様に考慮 Client 1 応答要求 4 Client の時間 Server 2 応答 3 Server の時間 offset = ((2-1) (4-3)) 2 得られた offset を Client は時刻のずれとして計算伝送遅延が行きと帰りで同じであることが前提

13 SNP の概要 RFC2030 Simple Network ime Protocol(SNP) Version 4 for IPv4, IPv6 and OSI D.Mills RFC1361 Simple Network ime Protocol (SNP) D.Mills NP の簡易版階層の末端で利用することを推奨多くはクライアント上にて動作多数のアプリケーションが存在 OS として標準装備も

14 Contents A. 本発表について B. NPの特色 C. 共同研究とその成果についてインターネットへの日本標準時供給サービスに関する共同研究研究成果時刻供給ネットワークネットワーク構築時の注意点 : ARPの影響ネットワーク構築時の注意点 : 参照台数日本標準時配信実験としてサーバを公開 Stratum1とStratum2の精度について D. 安定した時刻情報配信について

15 インターネット上への日本標準時供給サービスに関する共同研究目的インターネット上に安定した高精度な時刻情報配信配送網構築を行うこと参加団体期間独立行政法人情報通信研究機構 (NIC) 旧通信総合研究所 (CRL) 日本電信電話株式会社 (N) 株式会社インターネットイニシアティブ (IIJ) インターネットマルチフィード株式会社 (MFEED) 平成 11 年 6 月 23 日 ~ 平成 14 年 3 月 31 日利用プロトコル NP

16 研究成果 NIC の日本標準時を MFEED から配信可能に NIC の原子時計の時刻を大手町の MFEED より配信公開 NP サーバを利用してアクセス状況を観測多アクセス高精度

17 時刻供給ネットワーク NIC のサーバを複数台参照した Stratum2 で時刻を供給 MFEED ntp1 Private Network (L2 Extention) Stratum1 NIC 日本標準時時刻配信 ntp2 ntp3 DA64K Stratum1 Stratum1 Stratum1 原子時計原子時計専用線越しに NIC サーバを参照日本標準時に同期した Stratum1 サーバ

18 ネットワーク構築時の注意点 : ARP の影響 ARP による遅延を NP は計算していない Client 1 Arp 要求想定外の時間 NP 要求 4 Client の時間応答応答 Server 2 3 Server の時間 ((2-1) (4-3)) 2 = offset + Arp delay Arp の遅延により得られる offset が大きく変化 Arp Cache の Clear のタイミングで精度が変化実験の精度計測により発覚

19 ネットワーク構築時の注意点 : ARP の影響 (continued) Static な Arp Entry を設定して解決 MFEED ntp1 Private Network (L2 Extention) Stratum1 NIC ntp2 DA64K Stratum1 ARP Entry 登録 ntp3 Stratum1 Stratum1 Gateway への delay が大きいところでは同様の影響が想定される

20 ネットワーク構築時の注意点 : 参照台数何台の Stratum1 を参照すれば Stratum2 サーバの精度は十分に保てるか? 精度を計測計測サーバ MFEED ntp1 ntp2 ntp3 Private Network (L2 Extention) Stratum1 参照台数を変更 Stratum1 Stratum1 Stratum1 NIC NIC 側 Stratum1 サーバの参照台数を変更しつつ Stratum2 サーバの精度を計測サーバから観測計測サーバは日本標準時と 1msec 以内に同期計測サーバは被計測サーバに十分に近い

21 4 台参照時の精度 (graph)

22 3 台参照時の精度 (graph)

23 2 台参照時の精度 (graph)

24 ネットワーク構築時の注意点 : 参照台数 (Continued) 3 台以上で 1msec 以内の精度が維持可能ただし実験ネットワークは参照用ネットワークが独立しているほとんど輻輳がない遅延が一定 ( 約 40msec) 参照サーバが 2 台でも一定の精度は保持 1msec は保てないこともあった実験ネットワークでは 4 台を参照冗長性を考慮

25 日本標準時配信実験としてNPサーバを公開 ntp1.jst.mfeed.ad.jp ntp2.jst.mfeed.ad.jp ntp3.jst.mfeed.ad.jp Celeron 500MHz / Memory 128MB xntpd ( 私家版パッチ済 ) 2001 年 4 月 10 日より公開開始耐久度の目安としてアクセス数 / 精度を次頁より紹介

26 公開時のアクセス状況 (graph) 123/UDP の 1 パケットを 1 アクセスとカウント

27 公開時の配信サーバの精度 (graph) 計測用 Stratum1 サーバのメンテナンスによる

28 最近のアクセス状況 (graph) 最近の 60 日で計測 123/UDP の 1 パケットを 1 アクセスとカウント ntp1: 約 2300 万アクセス /day ntp2: 約 710 万アクセス /day ntp3: 約 940 万アクセス /day

29 最近の配信サーバの精度状況 (graph) 最近の 60 日で計測計測用 Stratum1 サーバからの時刻差分 1msec 以内で非常に安定アクセス数と合わせて見ると NP サーバの耐久度は非常に高い

30 Stratum1 と Stratum2 の精度について近い Stratum2 と遠い Stratum1 ではどちらを参照した方が高い精度が得られるのか? MFEED 内設置の計測用 Stratum1 サーバより計測 Stratum1 サーバは独立して日本標準時に1ms 以内の誤差で稼働計測用 Stratum1 サーバと被計測サーバとの時刻の差をoffsetとして記録対象は以下の 2 台近い Stratum2 サーバ : ntp1.jst.mfeed.ad.jp 公開配信サーバのうちの一つ計測用 Stratum1サーバと2hop 以内遠い Stratum1 サーバ : clock.nc.fukuoka-u.ac.jp 公開されているNP Stratum1 サーバの一つ計測用 Stratum1サーバとおよそ15hopほど

31 Stratum1 と Stratum2 の精度について (graph) 200 Stratum1 と Stratum2 の精度比較 100 offset(ms) clock.nc.fukuoka-u.ac.jp ntp1.jst.mfeed.ad.jp /3/1 0: /3/16 0: /3/31 0:00 Date(JS) 近い Stratum2 の方が得られる精度がよい Stratum 信仰の誤り

32 Contents A. 本発表について B. NPの特色 C. 共同研究とその成果について D. 安定した時刻情報配信について遅延の考察サーバの耐久度の考察サーバの選択の考察監視の考察その他

33 遅延の考察 NPは行きと帰りの遅延が同じであることを仮定高精度な時刻配信ではケアが必要 L2 Network GPSが屋上など地理的条件に縛られる場合可能性あり Gatewayもしくは配信サーバへの距離が遠いネットワーク Arp Request による遅延を配慮 Ethernet CDMA Switched Network への転換 L3 Network Client と Server の通信の経路は行きと帰りで同じか? ACL BGP Multihome 環境 Hot Potato DynamicRoutingProtocolのcost 付け冗長化プロトコル etc

34 サーバの耐久度の考察 NP サーバ自体の負荷は高くない 3000 万アクセス /dayの環境にて 2msec 未満の精度を保持トラフィックも1Mbps 未満分散は必要か? アクセスの分散目的としては優先度低いそれよりも冗長目的で

35 サーバの選択の考察遠い Stratum1 より近い NP サーバをサーバへの距離が遠いほど行きと帰りの遅延差が大きくなる確率が高い ntpd は Stratum 優先冗長目的のために遠い Stratum1 サーバを参照するとそれが Reference になる精度への悪影響の懸念参照サーバの Stratum をよく検討

36 監視の考察間違った時刻を配信するインパクト生存確認だけでは監視にならない MFEED の施策 Stratum1 からの監視二種類のしきい値正しい時刻はどちらか? 監視サーバ自体の時刻が狂う可能性多数決のアルゴリズム

37 NP による高精度な時刻配信のために ( まとめ ) ネットワーク通信の行きと帰りの遅延差を極力なくすことサーバ - サーバサーバ - クライアントサーバ運用 NPの負荷は高くないので高級なサーバで1 台より安価なサーバで複数台が冗長的に望ましい上位サーバを参照する際は Stratum1にこだわるより出来るだけ近くて信頼できるNPサーバの方が望ましい間違った時刻の配信を避けるための仕組みを Stratum1 からの監視多数決による監視

38 Stratum1 がある場合の時刻配信例時刻源となる Stratum1 と配信用の Stratum2 を分けると冗長性が確保できかつ Stratum1 の精度を守ることが出来る遅延差のないように Stratum2 ntp1 Stratum1 Stratum1 ntp2 ntp3 Stratum1 Stratum1 3 台以上が望ましい ( 実験結果より ) S1 から監視も上位サーバを参照 ( 他ユーザは S1 を参照出来ない )

39 Stratum1 がない場合の時刻配信例ネットワーク的に近くかつ信頼できる NP サーバを参照多数決による監視出来るだけ遅延差のないように多数決で監視 StratumY ntp1 ntp2 ntp3 監視 Other Networks StratumX StratumX StratumX 上位サーバを参照同じ Stratum で揃えたい (Stratum が高いサーバに同期してしまう ) 3 台以上が望ましい ( 実験結果より )

40 ( 参考 ) NP version4 RFC 化はまだ行われてないただし SNP は先行して RFC 化 (RFC2030) IPv6 Enable

41 ( 参考 ) 実験公開サーバの今後について同じIPアドレスにて正式サービス化を予定詳細検討中

42 Any question or comments? ご静聴ありがとうございました

2 つの遅延マスターとスレーブの遅延とスレーブとマスターの遅延を計算しなければなりませんまずマスターとスレーブの差を計算します : 最初に送られるタイムスタンプは T1 です T1 はマスターがその Ethernet のポートに Sync message を送った時刻であり Follow-up

2 つの遅延マスターとスレーブの遅延とスレーブとマスターの遅延を計算しなければなりませんまずマスターとスレーブの差を計算します : 最初に送られるタイムスタンプは T1 です T1 はマスターがその Ethernet のポートに Sync message を送った時刻であり Follow-up White Paper W H I T E P A P E R "Smarter Timing Solutions" Precision Time Protocol (PTP/IEEE-1588) IEEE-1588 に定義された PTP ( Precision Time Protocol ) は LAN 上のコンピュータを高精度に時刻同期させる手段となります IEEE-1588 のために構築されたLANにおいて

Contents A. 本発表について 概要自己紹介ネットワークによる時刻供給の背景 B. NPの特色 C. 共同研究とその成果について D. 安定した時刻情報配信について -2 -

Contents A. 本発表について概要自己紹介ネットワークによる時刻供給の背景 B. NPの特色 C. 共同研究とその成果について D. 安定した時刻情報配信について -2 -