スライド 1

Transcription

1 インターネット上の不正経路広告 に対する現状と課題 インターネットマルチフィード ( 株 ) JPNIC IRR/RPKI 動向調査専門家チームChair 吉田友哉 (yoshida@mfeed.ad.jp) 1

2 IRR/RPKI動向調査専門家チーム [メンバー] チェア 吉田友哉 インターネットマルチフィード株式会社 有賀征爾 NTTコミュニケーションズ株式会社 川村聖一 ＮＥＣビッグローブ株式会社 中野達也 KDDI株式会社 平井則輔 ソフトバンクBB株式会社 松崎吉伸 インターネットイニシアティブ株式会社 渡辺英一郎 Telecom-ISAC Japan インターネットマルチフィード株式会社 インターネットにおける経路制御の現状 専門家チームメンバにて調査を実施 IRRの動向 2013年1月 6月 RPKIの動向 詳しくは今後公開予定の報告書をご参照 ください 今後の展望 2

3 Agenda インターネット経路制御を脅かす脅威 経路ハイジャック, miss-origination 過去の事例 IRR と RPKI の現状と課題 今後の展望 3

4 インターネット経路制御を脅かす脅威 機器等の故障による物理的なもの ルータが reload を繰り返し 経路情報が不安定な状態が継続する etc.. 制御機器 ( ルータ等 ) の解釈の違いや Bug Malformed AS_PATH attribute がついた経路情報を neighbor から受信し flap し続ける etc.. 人為的な問題で経路制御に不具合が発生 ポリシーとは異なる経路広報 経路ハイジャック miss-origination 4

5 Telstra/AS1221 blackout (2012/02) Telstra とその配下の ISP が約 30 分程度孤立状態 source: 5

6 Telstra/AS1221 blackout (2012/02) 通常時 upstream upstream Upstream/Peer telstra route Telstra (AS1221) customer route DoDo(AS38285) 6

7 Telstra/AS1221 blackout (2012/02) 通常時 異常時 upstream upstream Upstream/Peer upstream upstream Upstream/Peer telstra route customer route Telstra (AS1221) DoDo(AS38285) fullroute Telstra (AS1221) DoDo(AS38285) 何れも filter の適応がされていない状態だったらしい 7

8 Telstra/as1221 blackout (2012/02) 通常時 異常時 telstra route upstream upstream Upstream/Peer upstream upstream Upstream/Peer Maximum prefix limit で peer down customer route Telstra (AS1221) DoDo(AS38285) fullroute Telstra (AS1221) DoDo(AS38285) 何れも filter の適応がされていない状態だったらしい 8

9 インターネット経路制御を脅かす脅威 機器等の故障による物理的なもの ルータが reload を繰り返し 経路情報が不安定な状態が継続する etc.. 制御機器 ( ルータ等 ) の解釈の違いや Bug Malformed AS_PATH attribute がついた経路情報を neighbor から受信し flap し続ける etc.. 人為的な問題で経路制御に不具合が発生 ポリシーとは異なる経路広報 経路ハイジャック miss-origination 9

10 Case-1 > /16 10 > / > /16 10 AS20 ibgp /16 AS / /16 > / /24 AS /16 AS40 AS10:Customer of AS20 AS40:Customer of AS30 AS20 and AS30 is peering 10

11 Case-1 > /16 10 > / > / > /24 40 AS20 > /16 10 > / ibgp / /24 AS / / / /16 > / > /24 i /24 AS / /24 AS40 AS10:Customer of AS20 AS40:Customer of AS30 AS20 and AS30 is peering ロンゲストマッチにより AS40 に引き込まれる Global Impact 11

12 Case-2 * > /16 10 i /16 30 i > / /16 i > /16 10 AS20 ibgp /16 AS / /16 > / AS /16 AS40 12

13 Case-2 * > /16 10 i > /16 30 i > / > /16 i AS /16 > / /16 30 ibgp /16 AS / / / /16 > / AS /16 AS40 AS20の中でも AS30 向けに引き込まれるルータと AS10をベストパスに選択するルータと2 種類存在 同一 AS 内でもベストパスが異なるケースもある Regional Impact 13

14 経路ハイジャック, miss-origination ２つの要因 Operational fault (Fat finger) Intentional fault ちなみに 2008年に発生した youtube incident は Fat finger, Intentional fault両 方に該当する パキスタンテレコムが自国に経路をまげるために内 部からyoutubeのprefixを広告 それを上流のtransitISPがneighborに広告してし まった 14

15 (1) Fat finger 1. IP アドレスの数字の書き間違え 第二オクテット 第三オクテットの間違いが比較的多い 第一オクテットが同じ = 同一地域からのケースが多い IRR の prefix 情報なども間違っていて Filter も通過してしまうケースもある ( 上流の ISP も信じている ) 2. Redistribute によるもの IXのセグメントをredistribute Private Peerのセグメントをredistribute 他のASから受信したPrefixをredistribute 3. 検証環境での不慮の事故 勝手に検証環境内部で他人の global アドレスを利用していて それを誤って対外に広告してしまうケース 1/8 や 2/8 等のわかりやすい数字の発生率は高い 15

16 (1) Fat finger 4. ブラックホールの不慮の事故 ブラックホールの経路に no-export をつけ忘れ 本当は一部の限定的なところに経路広報する予定がグローバルに流れてしまった 5. BGP を使って何かしら情報交換を実施 通常は別チャネルで実施するところ BGP を使ってアドレス情報等を交換し 誤って経路広報してしまう 16

17 (2) Intentional 例 1. 故意にパケットを収集するために広告 Longer prefix Shorter prefix /0 /1 とか 2. 一時的に経路広報し SPAMを送信する 他人が使っていない空間を利用 リアルに他人の空間を利用 3. サイバーテロ 17

18 事例紹介 多くの Prefix が何らか影響を受けた Facebook の Prefix が不正に leak F-root DNS IPv6 prefix が不正に leak 18

19 大規模な経路ハイジャック (2010/4/9) China Net(AS23724) による大規模ハイジャック 約 15 分間 全世界に広告されたわけではなく 局所的なハイジャック事象の模様 ( 観測地点により異なる ) 最大で約 3 万 7 千経路がハイジャックされた模様 日本と特定できる Prefix は 604 経路との報告あり 経路奉行では ほとんど検出せず 1AS(IX セグメントの経路 ) のみアラート発生 2010 年 11 月の 米中経済安全保障検討委員会 の報告書に本事象が記載され 当時再び脚光を浴びる 19

20 米中経済安全保障検討委員会の報告書より 20

21 Prefixの影響範囲 国別 Country => number of prefixes hijacked by AS23724 US => CN => KR => 2857 AU => 1650 MX => 885 IN => 719 JP => 604 BR => 592 FR => 508 RU => 471 CA => 425 TH => 372 ID => 369 IT => 338 CO => 328 GB => 322 CL => 302 SE => 281 source: HK => 276 EC => 272 OCNは100以上の約8割5分のPrefixが影響を受けていた模様 DE => 227 当時の自分のOfficeのPrefixも1/37213に入ってました 21

22 facebook prefix leak (2011/03) facebook のトラフィックが SK Telecom(AS9318) や China telecom(as4134) を一時的に経由 IIJ ASpath: KDDI ASpath: / / / / / / / / / /22 元々沢山 Prepend をしているため AS_PATH が近くなって優先 22

23 ATTで観測されたPrefixとAS_PATH Prefix AS_PATH / / / / / / / / / / Prefix毎 あるいは観測地点により状況が異なっていた模様 23

24 F root diversion to China using ipv6 (2011/10) DNS は通常各 root が Anycast で世界中に同じ Prefix を広告している 通常は以下の AS あたりから広告されている 3557 ISC-F-ROOT Internet Systems Consortium, Inc 1280 ISC-AS1280 Internet Systems Consortium, Inc ISC-AMS1 Internet Systems Consortium, Inc. ある時 見慣れない AS_PATH が観測 F-root server ISC-PEK2 (Beijing, China). CNCGROUP-BACKBONE-NORTH China Next Generation Internet Beijing IX China Internet Network Information Center CHINA SCIENCE AND TECHNOLOGY NETWORK 24

25 数年前の日本での事例 Case-1 Case-2 Case-3 時期 2004/6 2004/9 2006/11 不正経路広告元日本国内 ISP アジア ISP アジア ISP Prefix Action Longer, Invalid /24x2, /25x1, /29x1 広告元に連絡のち経路広報停止 Longer, Invalid /24x2 PeerISP に連絡し対処をうながすのち経路広報停止 Impact 約 150 分約 2 日間約 5 分 備考 全てオペレーションミスによるものと推察 Same, Invalid /14x2, /17x2 NO Action ( のち withdrawn) のちの解析により 他の経路も含め広範囲にわたって経路を誤って広告していた模様 25

26 じゃあどうする? 1. 自 AS が他人に影響を与えないようにする フィルタリング ( 推奨 :JC ) IRR の活用 2. 他からやられても自 AS で影響を最小化 検知 ( 経路奉行, ISAlarm, BGPMON etc) 情報分析 (whois, IRR, looking glass) 対処 (peeringdbやnogでコンタクト先検索, 上流 ISPに頼る ) 3. 経路運用者の協調 経路監視システムの協調運用 ( 経路奉行 ) 26

27 IRR Internet Routing Registry の略で インターネット上でのデータの道筋を示す経路情報やその優先性に関する情報を蓄積するデータベース 日本では JPIRR が 2002 年から ( 試験 ) 運用開始 現在約 7 割程度の AS が JPIRR にルートオブジェクトを登録 顧客や Peer の経路フィルタ生成に活用 経路奉行の監視システムとの連携 ( 経路台帳としての利用 ) 27

28 世界の IRR のルートオブジェクト数 radb ****************************************************** (556849) ripe********************* (216679) nttcom ***************** (173142) level3 ******** (87882) savvis ******** (84921) apnic ******** (83583) bell ** (29497) reach ** (25073) arin ** (20785) Altdb * (12346) Epoch (8658) JPIRR (6242) 28

29 経路制御におけるIRR活用の課題 どのIRRを利用者は選べば良いか 日本でもRADBの利用率は高い JPIRRとRADB両方に登録しておくと安心だが 両方に登録して おく必要があるのか 情報参照先IRRにより保有データが異なる IRRサーバ同士のミラーリングの関係に依存 オブジェクトの名前空間がIRR毎に独立 一定のルールはあるものの 統一性が無い 得られた情報の信憑性 日本はまじめにやっている or RIR等のレジストリは割り振り情 報と連動するなど 一定の保証はあるが 全てがそうとは限ら ない サービスの安定運用 29

30 不正経路広報への運用対処 IRR を活用したフィルタ生成 検知システムの活用 Miss-origination の発生を防ぐた めの抜本的な対処方法は? 30

31 不正経路広報への運用対処 IRR を活用したフィルタ生成 検知システムの活用 Miss-origination の発生を防ぐた めの抜本的な対処方法は? Resource Public Key Infrastructure RPKI 31

32 RPKI Source: JPNIC 木村氏講演資料より 32

33 経路情報の認証 IPアドレスの割り当て先 リソース証明書 作成 BGPルーター RPKIキャッ シュ 他のBGPルーターから受け取った IPアドレスや経路の情報が正しい かどうかが分かる ROA 経路の情 報 Source: JPNIC木村氏講演資料より 33

34 RTRプロトコル(ROA情報の取得 Source: JANOG講演資料より 吉田 34

35 不正経路を検出 / / /24 ROA 経路の情報 ROA 経路の情報 Source: JPNIC木村氏講演資料より 35

36 Case-1 > /16 10 [valid] > / [invalid] > / > /24 40 RPKI AS20 > /16 10 [valid] ibgp / /24 AS / / /16 > / > /24 i /24 AS / /24 AS40 AS10:Customer of AS20 AS40:Customer of AS30 AS20 and AS30 is peering Regional Impact 36

37 RPKI Deployment 国や地域単位から徐々に実装していくイメージ 日本国内の事業者間で RPKI を適応すれば 少なくとも日本国内の間の通信は正常に保たれる ISP-A ISP-B IX ISP-C 37

38 RPKI Deployment 最終的にはグローバルに RPKI 環境を目指す 38

39 RPKI活用の環境 証明書公開場所 証明書発行組織 xir,xnic) ROAs ROA利用者 ISPや企業などAS Source: JPNIC岡田氏講演資料より 39

40 RPKI活用モデル 経路情報の不整合検知 顧客経路のフィルタ情報としての活用 Peer/上流ISPからの受信経路制御 IXのroute-serverでの信憑性向上 IRRへの自動オブジェクト登録(rpki2irr) 持ち込みアドレスの認証 リソース保持の証明 40

41 RPKI 普及に関する要素と現状 Cisco, Juniper (Alcatel soon) 実装上の工夫が必要 運用者の慣れ RPKI ハッカソン (JPNIC 他 ) 各種会議で紹介中 ルータ対応 最終的に問題なく RPKI が動作する環境の整備とオペレーション考慮 ツールの充実 RPKItools 運用ツールの改良 カミンスキーのような事例?? インパクト事例の発生 RPKI の提供 5RIR では運用済み JPNIC も実験運用中 本格運用信頼性向上が必要 Source: JPNIC 岡田氏の講演資料を元に作成 41

42 Multiple Origin の場合 AS4713 と AS2497 の multiple origin の例 ( 適切な ROA 登録や運用上考慮が必要な事例 ) ISP-D ISP-B (AS4713) ISP-C (AS2497) ISP-A (private) 42

43 Multiple Origin の場合 ISP-A の経路が AS4713 と AS2497 を通じて ISP-D へ広告 ISP-D ISP-B (AS4713) ISP-C (AS2497) ISP-A (private) 43

44 Multiple Origin の場合 AS4713 の経路がベスト 4713 *(best) 2497 ISP-D ISP-B (AS4713) ISP-C (AS2497) ISP-A (private) 44

45 Multiple Origin の場合 4713 *(best) AS4713 のベスト経路を ISP-E に広告 ISP-E 4713 *(best) 2497 ISP-D ISP-B (AS4713) ISP-C (AS2497) ISP-A (private) 45

46 Multiple Origin の場合 4713 *(best) ISP-E RPKI 4713 *(best) 2497 ISP-E で RPKI を動作 ISP-D ISP-B (AS4713) ISP-C (AS2497) ISP-A (private) 46

47 Multiple Origin の場合 4713 *(best) ISP-E RPKI 4713 *(best) 2497 ISP-E で RPKI を動作 ISP-D ISP-B (AS4713) ISP-C (AS2497) ROA (2497) ISP-A (private) AS2497 origin の ROA 発行 47

48 Multiple Origin の場合 4713 *(best) ROA (2497) ISP-E RPKI 4713 *(best) 2497 AS2497 の ROA を取得 ISP-D ISP-B (AS4713) ISP-C (AS2497) ROA (2497) ISP-A (private) 48

49 Multiple Origin の場合 4713 *(best) ROA (2497) ISP-E RPKI 4713 *(best) 2497 ROA と BGP の origin が異なるため invalid ISP-B (AS4713) ISP-D ISP-C (AS2497) ROA (2497) ISP-A (private) 49

50 Multiple Origin の場合 4713 *(best) ROA (2497) ISP-E RPKI 4713 *(best) 2497 ISP-D ROA (4713) ISP-B (AS4713) ISP-C (AS2497) ROA (2497) AS4713 origin の ROA も発行 ISP-A (private) 50

51 Multiple Origin の場合 4713 *(best) ROA (4713) ROA (2497) ISP-E RPKI 4713 *(best) 2497 AS4713 の ROA も取得 ISP-D ROA (4713) ISP-B (AS4713) ISP-C (AS2497) ROA (2497) ISP-A (private) 51

52 Multiple Origin の場合 4713 *(best) ROA (4713) ROA (2497) Invalid の status が valid へ ROA (4713) ISP-E RPKI ISP-B (AS4713) 4713 *(best) 2497 ISP-D ISP-C (AS2497) ROA (2497) ISP-A (private) 52

53 RPKIを活用したルーティングの普及 経路へ適用 普及度 検知でのテスト導入 ルーティング運用者への 普及 NIR/LIR対応 仕組み RIR対応 作り ２０１１以前 ルータ対応 ２０１２ ２０１３ ２０１４ Source: JPNIC岡田氏講演資料より 53

54 ご清聴ありがとうございました 54