4-octet ASを用いた実験・調査の概要

Size: px

Start display at page:

Download "4-octet ASを用いた実験・調査の概要"

きょういちむこやま
7 years ago
Views:

1 4-byte AS の世界へようこそ JANOG0 ( ) 外山勝保 (*1) 藤崎智宏新延史郎松本存史 NTT 情報流通プラットフォーム研究所 (*1) 現所属 : インターネットマルチフィード株式会社

2 本日の論点インターネットサービスを継続して提供するプロバイダの目線で 4 バイト AS への対応を議論したい 4 バイト AS への対応 ( 移行 ) は容易なのか一気に変える? それとも徐々に変えていける? 4 バイト対応 ( 移行 ) するとしたらいつ頃がよい? 設備計画工事計画お客様への連絡などもあるしそもそもいま何か問題は生じていないか? 対策は? などなどみなさんと情報共有議論したいと思います 007 (c) Nippon Telgraph and Telephone Corp.

3 アウトライン (1) 4 バイト AS について (1.1) 背景 (1.) 4バイトASの基本的な仕組み (1.3) 4バイトAS 割当スケジュール ()4 バイト AS の現状 (3) プロバイダの対応 (4) 課題と議論 007 (c) Nippon Telgraph and Telephone Corp. 3

4 (1.1) 背景 : AS 番号の枯渇 (1) AS 番号の消費トレンド議論 000 年頃すでに Geoff Huston 氏 Tony Bates 氏 J.Scott 氏などが AS 番号についても割当トレンドと将来予測を実施 Geoff Huston 氏は当時指数関数的に伸びると 005 年には AS 番号は足りなくなるペースと予想した Model 1 Model Model 3 Values Geoff Huston Tracking the Internet s BGP table, ISMA workshop 000, CAIDA lks/huston/index.htm 0 8-Oct Mar-97 4-Jul-98 6-Dec Apr-01 1-Sep-0 14-Jan-04 8-May Oct (c) Nippon Telgraph and Telephone Corp. 4

5 (1.1) 背景 AS 番号の枯渇 () 近年の予測 005 年 8 月当時の予測では 010 年後半頃に枯渇 AS 番号は 16 ビット空間上限個 (0 とプライベート AS を除く ) Goeff Huston, Exploring Autonomous System Numbers, ISP Column, Aug (c) Nippon Telgraph and Telephone Corp. 5

6 (1.) AS 番号の枯渇対策技術 -- 4 バイト化 IETF idr working group で長ーく議論最初のドラフト draft-chen-as4bytes-00 は 000 年 11 月に submit されているこの時点で New AS PATH (AS4_PATH) は盛り込まれていない 000 年 1 月の IETF49 で議論 idr working group 001 年 1 月に draft-ietf-idr-as4bytes-00 FC 直前の I-D: draft-ietf-idr-as4bytes 年 5 月に FC4893 に 007 (c) Nippon Telgraph and Telephone Corp. 6

7 (1.) AS 番号の 4 バイト化設計目標既存のバイト対応 BGP スピーカには影響を与えないこと 4 バイト化の要点 BGP でピアを張る相手が 4 バイトかどうかを確認する OPEN message の capability チェックを使う 4 バイト対応ルータは AS 番号をすべて 4 バイトとして取り扱う AS_PATH 属性および AGGEGATO 属性 4 バイト対応ルータがバイト対応ルータと通信する際に 4 バイト側がすべてをケアするバイト側へ経路広告する際に AS_PATH 属性や AGGEGATO 属性の中をバイトへ書き換える AS4_PATH 属性を新たに定義 (Optional Transitive) し 4 バイトで表現した AS PATH をバイト対応ルータがスルーして流せるようにするバイト対応ルータから受け取った AS_PATH( バイト表現 ) とスルーされた AS4_PATH 属性から 4 バイト対応ルータは 4 バイトの AS_PATH を復元する 007 (c) Nippon Telgraph and Telephone Corp. 7

8 (1.) 4 バイト AS のしくみ最初のネゴシエーション (4 バイトバイト ) New BGP Speaker Old BGP Speaker My AS Capability Code Length ASN Capability (65) を知らないから相手は4バイト対応していない OPEN message NOTIFICATION message OPEN msg err 7 Unsupported 65 4 OPENと同じ.3 情報を返す 007 (c) Nippon Telgraph and Telephone Corp. 8

9 (1.) 4 バイト AS のしくみ最初のネゴシエーション ( バイト 4 バイト ) New BGP Speaker Old BGP Speaker OPEN message OPEN message 4710 Capability (65) が入っていないから相手は 4 バイト対応していない 007 (c) Nippon Telgraph and Telephone Corp. 9

10 (1.) 4 バイト AS のしくみ (AS_PATH の扱い ) Origin 4 バイト /4 AS1.1 AS_PATH 属性 : 各 AS を 4 バイトで表現 1.1 相手が 4 バイト AS 対応であれば AS_PATH = となるバイト長の AS_PATH と 4 バイト AS_PATH を保存する AS4_PATH 属性に分けて広告 4 バイト AS1. AS_PATH 属性 : 各 AS をバイトで表現 AS4_PATH 属性 : 4 バイト AS 列を保存バイト AS4697 optional transitive 隣接 AS へそのまま伝搬させるバイト AS バイト AS1.3 バイト長のAS_PATHと 4バイト AS_PATHを保存したAS4_PATH 属性から 4バイト長のAS_PATH を復元する 007 (c) Nippon Telgraph and Telephone Corp AS_PATH 属性 : 各 AS を 4 バイトで表現

11 (1.) 4 バイト AS のしくみ ( ループ検出 ) AS-PATH のなかに自 AS が含まれていることでループを検出するバイト AS の世界でも <->4 バイト変換がきちんと行われていれば自 AS を as-path に発見してループ検出できるただし 4 バイト AS が含まれている経路 (AS3456 が含まれている ) をバイト AS にて aggregate するとその後 aspath が復元できずループ検出できない場合がある as-path 中に AS3456 が飛び飛びで複数含まれていてもループとはみなさない例 : [4byte] [byte] ループではない 007 (c) Nippon Telgraph and Telephone Corp. 11

12 (1.3) 4 バイト AS の配布スケジュール You are here! 1.5 年後奥谷泉, IPアドレスのルール作りとオペレーションコミュニティ, JANOG18, Jul (c) Nippon Telgraph and Telephone Corp. 1

13 アウトライン (1) 4バイトASについて () 4バイトASの現状 (.1) 4バイトAS 割当状況 (.) 4バイトASに係わるアドレス広告状況 (.3) 4バイトAS 対応ソフトウェア (3) プロバイダの対応 (4) 課題と議論 007 (c) Nippon Telgraph and Telephone Corp. 13

14 4 バイト AS の割り当て IANA から I に割り当て委譲済 Specially designated Autonomous System Numbers: 3456 AS_TANS [FC4893] 割り当て (007 年 7 月 4 日現在 ) 範囲割り当て eserved APNIC IPE NCC LACNIC AfriNIC AIN eserved AS.5 - AS.14 は,JPNIC-4Byte-ASBLOCK-AP として委譲されている 007 (c) Nippon Telgraph and Telephone Corp. 14

15 4 バイト AS 取得状況 007 (c) Nippon Telgraph and Telephone Corp. 15

16 4 バイト AS の状況 ~IPv4 広告 ~ 5/ 6/6 1/17 初観測 007 (c) Nippon Telgraph and Telephone Corp. 16

17 4 バイト AS の状況 ~IPv4 広告 ~ 007 年 7 月 10 日 Network Path > / i > / i > i > i > i 007 年 5 月日連続した4バイトAS i > i 007 年 6 月 6 日連続した 4 バイト AS/ バイト AS をトランジット > / i / i 007 (c) Nippon Telgraph and Telephone Corp. 17

18 4 バイト AS の状況 ~IPv6 広告 ~ 6/1 個目 4/1 初観測 007 (c) Nippon Telgraph and Telephone Corp. 18

19 4 バイト AS の状況 ~IPv6 広告 ~ 007 年 7 月 10 日 > 001:df0:::/ i > 001:4810:000::/ i 007 (c) Nippon Telgraph and Telephone Corp. 19

20 (.3) 現在使える 4 バイト AS ルータ IOS X3.4.0 以降 (CISCO CS-1,GS) JUNOSe (Juniper E-series) OpenBGPD (3.9, 4.0) + 4-byte AS patch Quagga (0.99.6, ) + 4-byte AS patch 007 (c) Nippon Telgraph and Telephone Corp. 0

21 各社ルータの 4 バイト AS 対応状況ベンダルータ等 4 バイト AS 対応版出荷予定時期 AlaxalA - - リリース時期検討中 CISCO CS-1, GS* IOS-X 3.4 以降対応済み Force10 E100, E600, E600i, E300 FTOS 年 11 月予定 Foundry NetIron XM 008 年 Q 予定 NetIron MLX BigIron X 008 年 Q 予定 008 年 Q3 予定 Juniper E-Series JUNOSe 対応済み T,M-Series JUNOS 年 Q 予定 *GS: Processor=PP/PP, Interface Card=Engine3 007 年 7 月 6 日問い合わせ時点での情報 007 (c) Nippon Telgraph and Telephone Corp. 1

22 実装比較 : quagga のメモリ使用量実験環境リフレクタに, 同スペックの PC を二台接続し, 4byte AS 対応 / 非対応の quagga を同時にスタートさせた. bgpd プロセスのメモリ使用量を 10 分おきに観測 eflector 4-byte 対応 4-byte 非対応 007 (c) Nippon Telgraph and Telephone Corp.

23 実装比較 : quagga のメモリ使用量 Kbytes IPv4 約万経路で差は 6MB 程度分 007 (c) Nippon Telgraph and Telephone Corp. 3

24 アウトライン (1) 4 バイト AS について () 4 バイト AS の現状 (3) プロバイダの対応 (3.1) バイト AS の世界に居続けるとどうなるか? 経路フィルタをかける点で問題はあるか? (3.) プロバイダはバイト AS の世界から 4 バイト AS の世界に簡単に移行可能なのか? 具体的にはネットワークを止めずにバイト対応から 4 バイト対応化できるのか? (4) 課題と議論 007 (c) Nippon Telgraph and Telephone Corp. 4

25 (3.1) バイト AS の世界に居続けると 4 バイト AS がすべて AS3456 に見えてしまう問題点 MED による経路選択に影響が出る可能性 FC4893 にも指摘あり通常異なる隣接 AS からの経路の MED 値は比較されないしかし隣接する AS に 4 バイト AS が複数あると同じ AS として扱ってしまう AS PATH フィルタで区別できない AS PATH フィルタを用いる際に 4 バイト AS を明示的に記述できない例 : AS.3 と AS.7 が同じ上流プロバイダの場合 AS.3 の Origin の経路を AS.7 から流してもバイトの世界では区別できない 007 (c) Nippon Telgraph and Telephone Corp. 5

26 (3.1) いつかはバイト AS の世界から 4 バイト AS の世界へ移行する必要がある 4 バイト AS 移行の意味例えば AS4697 AS.3 へ変えるのではなく AS4697 内のルータを 4 バイト AS 対応のソフトウェアに更新し AS 化するという意味 007 (c) Nippon Telgraph and Telephone Corp. 6

27 (3.) プロバイダの 4 バイト AS 移行は容易か? ebgp での接続はうまくいくらしいしかしプロバイダに取っては内部の移行も重要プロバイダの内部の BGP 構成にはフルメッシュ (full-mesh) リフレクタ (reflector) コンフェデレーション (confederation) などがあるうまく移行可能か実験してみたフルメッシュリフレクタ ( クライアント側リフレクタ側 ) 007 (c) Nippon Telgraph and Telephone Corp. 7

28 フルメッシュの場合フルメッシュ参加の BGPスピーカ1 台を 4 バイト AS 対応にする (c) Nippon Telgraph and Telephone Corp. 8

29 リフレクタのクライアント側の場合 4 バイト AS 対応にする 4 eflector 構成の BGP スピーカ 1 台を 007 (c) Nippon Telgraph and Telephone Corp. 9

30 リフレクタの場合 4 バイト AS 対応にする 4 eflector を 007 (c) Nippon Telgraph and Telephone Corp. 30

31 実験 AS AS sw 4 ebgp eflector 5 eflector 1 3 ルータソフト (-byte のみ ) ソフト (4-byte 対応 ) CISCO GS1404 (1GB) CISCO GS1404 (1GB) CISCO GS1404 (GB) IOS 1.0(31)S IOS 1.0(31)S IOS 1.0(3)S6 IOS X PC + Quagga _ _ w/ 4byte-AS patch (v.7) 5 PC + Quagga _ 007 (c) Nippon Telgraph and Telephone Corp. 31

32 結果 : 良好どのケースも実験の範囲内では大きな問題は見られなかった New BGP Speaker Old BGP Speaker 4byte byte ibgp OPEN Ver: 4 AS: Holdtime: Cap: 65 AS: or OPEN Ver: 4 AS: Holdtime: AS 番号がのときは MyAS としてその AS 番号が入る 007 (c) Nippon Telgraph and Telephone Corp. 3

33 3 4 AS NTTv6-GS1#sh ip bgp /4 BGP routing table entry for /4, version Paths: ( available, best #) Not advertised to any peer , (received & used) from ( ) Origin IGP, localpref 100, valid, internal Community: Originator: , Cluster list: , (received & used) from ( ) Origin IGP, localpref 100, valid, internal, best Community: Originator: , Cluster list: P/0/0/CPU0:NTTv6-GS3#sh bgp /4 BGP routing table entry for /4 Versions: Process bib/ib SendTblVer Speaker Paths: (1 available, best #1) Advertised to update-groups (with more than one peer): 0. Path #1: eceived by speaker , (eceived from a -client), (received & used) from ( ) Origin IGP, localpref 100, valid, internal, best Community: 914:40 914: : : (c) Nippon Telgraph and Telephone Corp. 33

34 実験結果よりプロバイダ内部のルータを一つ一つ 4 バイト対応に移行することは可能と考えられるつまりネットワーク全体を止めなければならない事態は回避できそうもちろん各社のネットワーク機器 ( 性能やメモリ ) トポロジー ( 特に ibgp や ebgp のピアリング ) 顧客収容状況フィルタなど様々な要因があるため容易に移行できるかどうかは各社ごとに異なる 007 (c) Nippon Telgraph and Telephone Corp. 34

35 プロバイダとしての移行順序ピアリング先 ( プロバイダや顧客 ) が 4 バイト AS で接続してくる場合には当面収容ルータを分けておくリフレクタ構成の場合リフレクタのクライアントを4バイトAS 対応 OSにしてから最後にリフレクタを4バイトAS 対応とする順序が良さそうフルメッシュの場合はやめにすべて4バイト対応化しておくほうが良い? 007 (c) Nippon Telgraph and Telephone Corp. 35

36 アウトライン (1) 4バイトASについて () 4バイトASの現状 (3) プロバイダの対応 (4) 課題と議論 (4.1) 実際には問題は生じていないのか? (4.) 4バイトAS 化に伴って変更すべき点は? (4.3) みなさんの活動紹介... 議論 007 (c) Nippon Telgraph and Telephone Corp. 36

37 ( 事象 1) ある日突然 ibgpピアがダウン eflectorがupdateメッセージを処理できずピアを切断していたしばらくしてピアが再接続しても経路数がある程度増えたところで再度ダウン処理できないUpdateメッセージを調べてみるとある特定の経路のところで事象が発生していた 001:4810:000::/35 AS_PATH 6.3 その経路をフィルタするとiBGPピアは上がるあるルータがその経路に対して壊れたUpdateメッセージをiBGP 側に送出していたのが原因他 AS upstream ルータのソフトを更新して直った 001:4810:000::/35 Origin=AS6.3 壊れた UPdate reflector reflector 007 (c) Nippon Telgraph and Telephone Corp. 37

38 ( 事象 ) 隣接 AS に 4 バイト AS を接続した 4 バイト対応の Quagga をリフレクタクライアントとして接続していたが bgpd が Abort して接続できなくなった bgpd が Abort する原因を調べてみると Quagga が 4 バイトの AS_PATH を再構築するときに隣接 AS が 4 バイト AS の場合解放済みのメモリを参照するバグを発見 (by 松本存史 ) パッチを当てると問題なく動くようになったパッチは Quagga を 4 バイト AS 化した作者へ送付済み AS.3 4 reflector /4 Origin AS =.3 AS_PATH =.3 reflector bgpd が Abort 007 (c) Nippon Telgraph and Telephone Corp. Patchを当てた 38 Quagga に

39 39 ( 事象 3) JUNOS を下記ルータ A にインストールルータ G(AS11111) からルータ F(AS1.10) 経由で経路を送信 as-path: この as-path を受けると A-B 間のピアがダウンする右端のルータ G(AS11111) を止めるとピアは回復する 4 バイト AS がトランジットした as-path で Juniper のピアがダウンする

40 (4.) 4 バイト化に伴い影響を受ける点 Community 属性 xflow (NetFlow, sflow) MTフォーマット MIB IPv4マルチキャストアドレス (GLOP) I PSL 007 (c) Nippon Telgraph and Telephone Corp. 40

41 Community 属性 Community 3 ビットのうち上位 16 ビットは AS 番号を入れて使う Four-octet AS Specific BGP Extended Community, draft-rekhter-as4octet-extcommunity-0.txt で議論中 007 (c) Nippon Telgraph and Telephone Corp. 41

42 xflow 関係 NetFlow Version 9 (FC3954) AS 番号は 4 バイト長で表現可能デフォルトはバイト Version 5 sflow バイトのみ 4 バイト対応のルータで Netflow v.5 を export するとき 4 バイト AS の AS 番号はやはり AS_TANS(3456) で export するのか? 007 (c) Nippon Telgraph and Telephone Corp. 4

43 NetFlow v.9 のパケット 4 バイト幅になっている 007 (c) Nippon Telgraph and Telephone Corp. 43

44 MT フォーマット MT routing information export format (draft-ietf-grow-mrt) にて規定 -0 (March 6, 006) より,4バイトAS 対応 BGP4MP_MESSAGE_3BIT_AS (-03まで) BGP4MP_MESSAGE_AS4(-04より ) Type 名が変わった他,BGP4+ へのフル対応などの変更が入っている. Quagga の 4 バイト対応パッチが MT フォーマットの情報をはける ( ように見える ) 007 (c) Nippon Telgraph and Telephone Corp. 44

45 MIB 関連現状, 最新の MIB は,FC473:Definitions of Managed Objects for BGP-4 ) AS 関係は,Inteter3 として規定されているが, bgplocalas OBJECT-TYPE SYNTAX Integer3 ( ) なっており, 改訂が必要. draft-ietf-idr-bgp4-mibv に取り込まれる方向で議論が進行中が, 現在, このドラフトは Expire 状態 007 (c) Nippon Telgraph and Telephone Corp. 45

46 IPv4 マルチキャストアドレス GLOP アドレス (FC3180) の対応 GLOP アドレス 33 16bit AS Local bits 一応,FC に,16bit の AS でしか使えないよ, とは書いてはある. eglop アドレス (FC3138) GLOP アドレスの, プライベート AS 番号部分 ( ) 部分を配布する配り方を規定 (FC365,FC770(FC3180),SSM じゃだめなことを説明する必要あり ) eglop アドレスの配布について,I で提案中 APNIC では, 次回のミーティングに提案があがっている 007 (c) Nippon Telgraph and Telephone Corp. 46

47 (4.3) 他のみなさんの活動次世代 IX 研究会 (Distix) ルータ相互接続 WG ( 主査 : 高知工科大学 : 菊池先生 ) George Michaelson dix-ie に4バイトASスピーカを設置ピアリング募集中連絡先 : 東大加藤朗先生 007 (c) Nippon Telgraph and Telephone Corp. 47

48 まとめプロバイダとしての今後の対応すぐに起きうる問題点への対処当面 ebgp および ibgp に注意を払う秘孔を突く経路が突然来るかもしれないルータ OS のバグ情報に注意する 4 バイト対応 OS への移行基本動作としては問題なしネットワークを止めずに移行できる自社で使っているルータの OS がいつ 4 バイト AS 対応となるかをベンダに確認しておく場合によっては設備更改にあわせて 4 バイト化する 4 バイト対応にはメモリを増やす CPU 性能を上げる必要が出てくるかもしれない事前に類似環境で検証し問題がないか確認しておくと良い 007 (c) Nippon Telgraph and Telephone Corp. 48

49 対処のスケジュール感バイト AS 割当 ( 希望すれば 4 バイト AS) 4 バイト AS 割当 ( 希望時バイト AS) 4 バイト / バイト区別せず AS 割当 009 年ぐらいまでには対処が必要 Peering ルータは先に対処開始一気に置き換える内部は時間をかけて少なくともピアリングするルータは 009 年には 4 バイト AS 対応しないとまずそうベンダさんへのお願いいつ頃対応できるのかの情報を早めに教えて下さいね予定通りに安定したバージョンを提供して下さいねルータを買い換えなくても済むように配慮して下さいね 007 (c) Nippon Telgraph and Telephone Corp. 49

50 ご静聴ありがとうございました質問コメント議論など 007 (c) Nippon Telgraph and Telephone Corp. 50

スライド 1

スライド 1 4byte AS 技術動向 NTT コミュニケーションズ吉田友哉 [email protected] はじめに今 2byte を持っている人が 4byteAS を取得しなおさないといけないという事ではありません某 AS のお客さんから問い合わせがいくつかありました 2009/1/21 copyright (c) NTT Communications 2 AS 番号の枯渇このままだと 2011