New IANA allocation な IP Address 利用の手引き ~1. 悲しい編 ~

New IANA allocation な IP Address 利用の手引きご協力者の皆様と河野誠松崎吉伸水口孝則吉田友哉 BBテクノロジー株式会社株式会社インターネットイニシアティブ NTTコミュニケーションズ株式会社 NTTコミュニケーションズ株式会社

新しいアドレスが使えない!! RIR/NIR からのアドレス割り振り新しいアドレスブロック取得経路を広告して利用開始でもなんだか通信できない! wwwが見えませんほにゃららにアクセスできませんなにが起こってる? 2006/07/13 copyright @ maz and taka and tomo 3

新規アドレス利用までの簡易プロセス A) NIR/RIRへのアドレス申請 B) NIR/RIRによる審議 C) アドレス割り振り D) 上流 ISPへのアドレスFilterの解除依頼 E) IRRへの登録 F) 経路広告 G) アドレスの利用開始 2006/07/13 copyright @ maz and taka and tomo 4

通常想定される原因上流 ISP の問題経路フィルタ顧客経路フィルタの設定ミスピアピアISP ISPへの経路広告フィルタの設定ミスピアピアISP ISPでのフィルタ解除依頼の誤りパケットフィルタ顧客用のパケットフィルタの更新ミス urpf が Strick モード設定され経路が選択されていない場合経路フィルタ IP Prefix AS-Path 生成方法手動 IRR で自動化 IRR の登録誤り Route AS-Set 経路フィルタパケットフィルタ経路フィルタ経路フィルタ ISP 10.0.0.0/8 上流 ISP Peer ISP 2006/07/13 copyright @ maz and taka and tomo 5

障害時の状況上流 ISP での確認経路を受信している OK! ピア ISP に広告し相手にも到達している OK! 状況の整理上流 ISP は通信可能 OK! その他の ISP でも通信可能 OK! 特定のサイトのみ通信できないどの上流 ISP 経由でも通信できない特定の DNS が引けない 2006/07/13 copyright @ maz and taka and tomo 6

特定箇所でのフィルタ! 経路フィルタ (AS-Path/prefix) 経路が受け取ってもらえてない更新されてない Bogon 経路フィルタパケットフィルタパケットが受け取ってもらえてないホスト単位アプリケーション単位更新されてない Bogon パケットフィルタさらには内部利用プライベートアドレス代わりに使ってるその昔誰かがこれで設定した 2006/07/13 copyright @ maz and taka and tomo 7

Bogon とは Bogon prefix とは本来使われないアドレス空間 Bogon が使われる場合 DDoS のランダムアドレススプーフ一時的に広報して SPAM/ フィッシング /Pharming に利用デフォルトルートプライベートアドレスループバックアドレスリンクローカルアドレス TEST-NET ベンチマークテストマルチキャストアドレス IANA Reserve 0.0.0.0/0 10.0.0.0/8 172.16.0.0/12 192.168.0.0/16 127.0.0.0/8 169.254.0.0/16 192.0.2.0/24 198.18.0.0/15 224.0.0.0/3 2006/07/13 copyright @ maz and taka and tomo 8

Bogon をフィルタして何が問題か? 正しい Bogon のフィルタは OK!! IANA リザーブなアドレス空間が問題新しく IANA から割り振られた元 Bogon アドレスをフィルタしたまま!! 2006/07/13 copyright @ maz and taka and tomo 9

更新されないフィルタの原因推察安易な実装その時はそれで良かった設計者から運用者へのフィードバックがない一個人による実装継続性の無い運用導入時には頑張るが継続できてないセキュリティポリシーの崩壊更新されていない template 新しいアドレス割当に対応していない古いBogonリストなどを参照 2006/07/13 copyright @ maz and taka and tomo 10

更新されていない template ベンダによる設定例某社のコンフィギュレーションガイドみんな注意書きを読んでくれるかな? Note that these ACLs might not be up to date. Visit IANA for update list. 有志による設定例 BIND, linux, cisco, juniperなどなど secure-template iptable 等アプリケーション毎の設定例 2006/07/13 copyright @ maz and taka and tomo 11

ある ISP での事例河野さんよろしくお願いします! これから話される内容はあくまで事実にもとづく話ですフィクションではありません 2006/07/13 copyright @ maz and taka and tomo 12

New IANA allocation な IP Address 利用の手引き ~2. 対応編 ~

IANA リザーブアドレスフィルタの状況! 複数の ISP で Bogon として設定している http://www.ris.ripe.net/debogon/2006/07/20060709.html 大企業の Web サーバなどでも設定されている cnn.com microsoft.com フィルタの更新タイミングは? IANAのアドレス割当開始時に更新すべきマニュアルの運用では限界があるサーバは数が多いので運用上の問題が大きい 2006/07/13 copyright @ maz and taka and tomo 14

対応時の問題点切り分け上の問題障害箇所影響範囲の特定が困難ネットワークホスト単体アプリケーション / ポート番号フロント窓口では詳しい調査をしてもらえない修復後も原因連絡がないコンタクトを持っていない直接コンタクトが必要上流 ISP はサポートとして機能する程度コンタクトの特定が難しい 2006/07/13 copyright @ maz and taka and tomo 15

対応時の問題点 2 能動的な障害発見が困難不特定多数のISP サーバで発生しうるしている通信障害が起こるまでわからない影響範囲影響アプリが特定しづらい対応日数連絡から対応まで数週間から数ヶ月くらい間接的なため強く依頼できない疎通が完全にはならないだろう 2006/07/13 copyright @ maz and taka and tomo 16

問題発生時の対応策問題発生箇所の管理者に対応を依頼サーバネットワークなどの管理者個別の連絡 ( メール電話 Messenger?) 複数の宛先へメールする電話は正しいコンタクト先を探すのが難しい inoc-dbaは便利! 上流 ISP との連携コンタクトをサポートしてもらう 2006/07/13 copyright @ maz and taka and tomo 17

宛先の探し方ネットワーク系 noc@ http://puck.nether.net/netops/nocs.cgi IR/IRR whois のコンタクト (tech, admin) inoc-dba で AS の運用者に一斉同報コンテンツ系 webmaster@, hostmaster@ 友達の友達オープンな ML(NANOG 等 ) へポストする駄目もとで上流 ISP に聞いてみる 2006/07/13 copyright @ maz and taka and tomo 18

対応お願い時の工夫いくつかのパターンを問い合わせる相手の検索を手助けする異なるマスク長でフィルタしているかもしれない例 : X.0.0.0/15 - 自 Prefix X.0.0.0/8 - IANA リザーブ X.0.0.0/3 -??? ping/traceroute を試せる宛先を用意他の CIDR ブロック route-server looking-glass 2006/07/13 copyright @ maz and taka and tomo 19

対応を素早くするために状況を分かりやすく説明する送信元宛先ネットワークの疎通は? アプリレベルの問題か? 問題箇所を推測して連絡する素早く必要な人にエスカレーションしてもらう 2006/07/13 copyright @ maz and taka and tomo 20

RIR の対応策 ( 例 :APNIC) 新規アドレスの到達性に関して問題認識有割当前に複数の経路を広告し疎通性を確認し公開している http://www.ris.ripe.net/debogon/ 最近の APNIC, RIPE, Afrinic の経路で開始不到達の場合 : 主要 ML(*nog) への通知 APNIC は個別に ISP へ連絡を実施することも # 強制力はなく強くは押せていない #ARIN/RIPE は未対応 2006/07/13 copyright @ maz and taka and tomo 21

つまり新しいアドレス空間だと届かないことがあるフィルタ勝手に内部利用到達性を得るために不断の努力が必要新規利用の周知更新のためのコンタクト 2006/07/13 copyright @ maz and taka and tomo 22

New IANA allocation な IP Address 利用の手引き ~3. 議論編 ~

ここでやりたいこと対応策や事例の共有をしましょう要注意箇所の共有!! 事前に確認した方が良いこととか古い文章は更新を依頼しましょうテンプレートを使う時は注意書きを読んで IANA リザーブのフィルタを止める? どうせ IPv4 リザーブはあと数年??? IPv6 でやられると同じ問題がさらに大変継続的な運用を頑張って更新 or 自動化などの手法を検討しましょう xxnog などで訴えましょう遠方の ISP の意識は低い??? 2006/07/13 copyright @ maz and taka and tomo 24

提案 :RIR/LIR の協力新規 IANA 割り振りの周知の充実化新規ブロック (/8) はまず到達性を確認経路を広報し到達性を確認できるアドレスを用意経路の受信を確認皆がping/tracerouteを試せるその後に割り振り開始 2006/07/13 copyright @ maz and taka and tomo 25

Bogon フィルタ会場への質問!! Bogon フィルタを設定している人! IANA リザーブアドレスを設定している人! どこでしてますか?( ルータの人 ) その種別は? 経路フィルタパケットフィルタ 2006/07/13 copyright @ maz and taka and tomo 26

Bogon フィルタ会場への質問!(2) どこでしてますか?( サーバの人 ) その種別は? サーバ単体に関するフィルタ? アプリケーション毎のフィルタ? 更新方法は? 2006/07/13 copyright @ maz and taka and tomo 27

Bogon Filter の自動化 (Bogon-RS 編 ) ポイント Bogon-RS から bogon 経路を受信する Bogon 経路を Blackhole するように設定する Bogon-RS は IANA/RIRs/NIRs と連携運用 1 事前に特定アドレスを破棄する設定 ip route 192.0.2.1 255.255.255.255 null0 ebgp Multi-hop Bogon 経路 1.0.0.0/8 2.0.0.0/8 : 169.254.0.0/16 : Bogon-RS 2 受信時にNexthop 変更 Recived-Route Nexthop 1.0.0.0/8 192.0.2.1 2.0.0.0/8 192.0.2.1 : : 169.254.0.0/16 192.0.2.1 : : Dest=bogon なパケットを破棄できる Src=bogon を防ぎたい場合には ACL Filter or urpf (loose) 等で対処 2006/07/13 copyright @ maz and taka and tomo 28

Bogon Filter の応用 (IRR+uRPF 編 ) ポイント経路フィルタ :IRR filter-set からがっつり生成パケットフィルタ :urpf にまかせる 1IRR より bogon ルート情報を取得サーバ等が自動 script で config 生成 Bogon 経路の参照 JPIRR 2 入口等で urpf loose mode の適応 2006/07/13 copyright @ maz and taka and tomo 29

Bogon Filter の自動化 (IRR 編 ) RIPE/RADB の Filter-set を利用 fltr-unallocated IANA の IPv4 未割当アドレス. fltr-martian IPv4 用特定利用 (loopback Private) アドレス. fltr-bogons 上記 2 つの合計 IRRToolSet の RtConfig を利用 2006/07/13 copyright @ maz and taka and tomo 30

Bogon Filter の自動化 (IRR 編 ) Team Cymru が Filter-set object を更新 $ whois -h jpirr.nic.ad.jp fltr-martian filter-set: fltr-martian filter: { 0.0.0.0/8^+, 10.0.0.0/8^+, 127.0.0.0/8^+, 169.254.0.0/16^+, : } source: JPIRR $ RtConfig -s JPIRR h jpirr.nic.ad.jp RtConfig> @RtConfig access_list filter fltr-martian! no access list 100 access list 100 permit ip 0.0.0.0 0.0.0.0 255.0.0.0 0.0.0.0 access list 100 permit ip 10.0.0.0 0.0.0.0 255.0.0.0 0.0.0.0 : Source=RIPE のやつは changed: radb@cymru.com 20040420 が若干古いですが更新されてます ( 今度言っときます ) RtConfig を使って Filter-set object からルータの設定を作成他 Cisco prefix-list, JUNOS, NORTEL などにも対応参照 : http://www.janog.gr.jp/meeting/janog9/pdf/yoshida_janog9.pdf 2006/07/13 copyright @ maz and taka and tomo 31

謝辞今回の発表に際しご協力ご助言頂いた皆様にこの場をお借りしてお礼申し上げます NEC ヒックローフ株式会社 KDDI 株式会社富士通株式会社南雄一様榎本啓様中庭憲一様 2006/07/13 copyright @ maz and taka and tomo 35

2006/07/13 copyright @ maz and taka and tomo 36

New IANA allocation な IP Address 利用の手引き ~4. おまけ編 ~

なぜ bogon を Filter するのか? DDoS の軽減 RFC2827 - Network Ingress Filtering: Defeating Denial of Service Attacks which employ IP Source Address Spoofing http://www.ietf.org/rfc/rfc2827.txt 不要な経路トラフィックの Filter の推奨 Team Cymru Bogon List http://www.cymru.com/documents/bogon-list.html RFC3704 - Ingress Filtering for Multihomed Networks http://www.ietf.org/rfc/rfc3704.txt RFC3330 - Special-Use IPv4 Addresses http://www.ietf.org/rfc/rfc3330.txt JANOG Comment 0001 (xsp のルータにおいて設定を推奨するフィルタの項目について ) http://www.janog.gr.jp/doc/janog-comment/jc1001.txt 2006/07/13 copyright @ maz and taka and tomo 38

Bogon/Bogus の現状 Bogon Prefix 13 Prefixes (2006/7/2) Bogus ASN 参照グラフ :http://www.cymru.com/bgp/robbgp-bogon.html 参照グラフ :http://www.cymru.com/bgp/asnbogusrep.html 2006/07/13 copyright @ maz and taka and tomo 39

packet filter と traceroute packet filter と traceroute の関係には要注意 pingは届かないけどtracerouteは届く source addressが違う場合がある 2006/07/13 copyright @ maz and taka and tomo 40

ping SRC addr_a echo request DST addr_b addr_a addr_b addr_c SRC addr_b echo reply DST addr_a 2006/07/13 copyright @ maz and taka and tomo 41

traceroute だとこんな事も SRC addr_a request DST addr_b addr_a addr_b addr_c SRC addr_c reply DST addr_a 2006/07/13 copyright @ maz and taka and tomo 42