BGP 編時代と共に ~10 年の歴史を振り返りながら ~ Yoshida tomo Tomoya <yoshida@ocn.ad.jp> Matsuzaki maz Yoshinobu <maz@iij.ad.jp> 2007/07/13 maz&tomo 1
0. 昔ばなし編 OCN IIJ 2007/07/13 maz&tomo 2
OCN の昔話 ( おかげさまで 10 周年 ) OCN1996 12 25 2 OSPF OSPF/28, /29 1 LSDB 2007/07/13 maz&tomo 3
OCN の昔話 ( 続き ) JPNIC Static OSPF BGP no-export BGP Confede 2007/07/13 maz&tomo 4
2007/07/13 maz&tomo 5 OCN バックボーンの変遷 GW ATM-SW ATM-SW ABR FDDI-SW FE-SW FE-SW FE-SW GW FDDI-SW FDDI-SW ABR ABR GW cluster cluster cluster Service fluster Service cluster Service cluster Service cluster After After
最近 100km 2007/07/13 maz&tomo 6
2007/07/13 maz&tomo 7 7 月末現在の OCN バックボーン ( 主要部分 ) 80G 20G 2 80G 20G 2 2.4G 2 2.4G 2 20G 2 20G 2 2.4G 2 2.4G 2 30G 2 2.4G 2 60G 2 100G 2
OCN バックボーンの経路制御 : OSPF ECMP OSPF V4/V6 : BGP V4/V6 2007/07/13 maz&tomo 8
IIJ の昔ばなし static BGP/OSPF /24 /24 BGP OSPF ASaccess-list as_path filter 2007/07/13 maz&tomo 9
IIJ の昔ばなし ( その後 ) BGP ASprefix-list bgp community /bgp community / 2007/07/13 maz&tomo 10
1. 経路の推移を見てみよう編 2007/07/13 maz&tomo 11
IPv4 経路数 http://bgp.potaroo.net/rv-index.html 2007/07/13 maz&tomo 12
IPv6 経路数の推移 6bone http://www.cidr-report.org/v6/as6447/index.html 2007/07/13 maz&tomo 13
2007/07/13 maz&tomo 14 IPv4 経路数の推移 ~ 予測と過去の実測値 ~ 666510 574578 495326 427005 368107 317334 273564 235831 203302 175261 150712 130873 112821 97259 83844 72279 62310 53715 2 1.15 1.15 1.15 1.15 1.15 1.15 1.15 1.15 1.15 1.16 : 1.15 : -1.15-1.15-1.15-1.15-1.15-1.15-1.16 65067 1998-1.16 74827 1999-1.16 86051 2000-1.16 98958 2001-1.16 113802 2002 1.15 : 150712 2004 1.16 : 175261 2005 1.16 201550 2006 1.16 231782 2007 1.16 266550 2008 1.16 306532 2009 1.16 352512 2010 1.16 405389 2011 1.16 466197 2012 1.16 536127 2013 1.16 616546 2014 130873 2003-1.16 56580 1997 1 2003
IPv4 経路数の推移予測 600000 Number of routes 500000 400000 300000 200000 2003 2004 1.15 2004 2005 1.16 2005 2006 1.17 540 1.15 times 1.16 times 1.17 times 100000 0 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2007/07/13 maz&tomo 15
IPv4 経路数の推移予測 ( 続き ) 1200000 Route aggregation をきちんと実施していこうという draft も 1000000 800000 600000 400000 200000 0 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 年に 1.15 倍 ~1.17 倍の増加 ( 最近は倍率が増加傾向 ) 割り振りが停止しても一定期間は広告経路の増加は継続される ( 予想 ) 2007/07/13 maz&tomo 16 1.15 1.16 1.17
/8 毎に見ると 12000 CIDR allocation 202/8 203/8 1 10000 8000 6000 4000 2000 Nov-2004 Nov-2006 0/8 8/8 16/8 24/8 32/8 40/8 48/8 56/8 64/8 72/8 80/8 88/8 96/8 104/8 112/8 120/8 128/8 136/8 144/8 152/8 160/8 168/8 176/8 184/8 192/8 200/8 208/8 216/8 224/8 232/8 240/8 248/8 number of routes Class-B 2007/07/13 maz&tomo 17 0
プリフィックス長毎に見てみると 増減 2003- 増減 2004-5 増減 2005-6 2003 末 2004 末 2005 末 2006 末 4 /1 0 0 0 0 0 0 0 /2 0 0 0 0 0 0 0 /3 0 0 0 0 0 0 0 /4 0 0 0 0 0 0 0 /5 0 0 0 0 0 0 0 /6 0 0 0 0 0 0 0 /7 0 0 0 0 0 0 0 /8 19 19 18 19 0-1 1 /9 4 3 5 10-1 2 5 /10 6 7 8 13 1 1 5 /11 14 15 17 30 1 2 13 /12 57 61 81 111 4 20 30 /13 100 138 187 222 38 49 35 /14 277 314 340 397 37 26 57 /15 483 553 666 794 70 113 128 /16 7506 8113 8597 9077 607 484 480 /8~/16 は微小ながら増加している 2003 末 : 130873 2004 末 : 150712 2005 末 : 175261 2006 末 : 204725 2007/07/13 maz&tomo 18
半分が /24 2003 末 2004 末 2005 末 2006 末 増減 2003-4 増減 2004-5 増減 2005-6 /17 1829 2270 2880 3625 441 610 745 /18 3334 3933 4871 5826 599 938 955 /19 8716 9818 11026 12664 1102 1208 1638 /20 9249 10402 12142 14281 1153 1740 2139 /21 6656 8007 10194 12838 1351 2187 2644 /22 9386 11066 13440 16203 1680 2374 2763 /23 10943 12707 14626 17682 1764 1919 3056 /24 71541 82382 95225 109219 10841 12843 13994 /25 182 252 345 658 70 93 313 /26 233 239 292 468 6 53 176 /27 156 130 194 364-26 64 170 /28 70 69 26 69-1 -43 43 /29 21 54 12 44 33-42 32 /30 50 120 36 80 70-84 44 /31 0 0 3 0 0 3-3 /32 41 40 30 31-1 -10 1 2003 末 : 130873 2004 末 : 150712 2005 末 : 175261 2006 末 : 204725 2007/07/13 maz&tomo 19
何が伸びてるのか 2007/07/13 maz&tomo 20
APNIC 地域の /8 毎のトレンド 202/8, 203/8 1/10 Nov-04 Nov-05 Nov-06 58/8 59/8 60/8 61/8 116/8 117/8 118/8 119/8 120/8 121/8 122/8 123/8 124/8 125/8 126/8 202/8 203/8 210/8 211/8 218/8 219/8 220/8 221/8 222/8 2000 0 12000 10000 8000 6000 4000 58/8 59/8 60/8 61/8 116/8 117/8 118/8 119/8 120/8 121/8 122/8 123/8 124/8 125/8 126/8 202/8 203/8 210/8 211/8 218/8 219/8 220/8 221/8 222/8 2007/07/13 maz&tomo 21
APNIC 地域を細かく見ると 2007/07/13 maz&tomo 22
RIPE 地域の /8 毎のトレンド Nov-04 Nov-05 62/8 77/8 78/8 79/8 80/8 81/8 82/8 83/8 84/8 85/8 86/8 87/8 88/8 89/8 90/8 91/8 193/8 194/8 195/8 212/8 213/8 Nov-06 217/80 6000 62/8 77/8 78/8 5000 79/8 80/8 81/8 82/8 4000 83/8 84/8 85/8 3000 86/8 87/8 88/8 89/8 2000 90/8 91/8 193/8 1000 194/8 195/8 212/8 213/8 217/8 2007/07/13 maz&tomo 23
2007/07/13 maz&tomo 24 ARIN 地域の /8 毎のトレンド Nov-04 Nov-05 Nov-06 24/8 64/8 66/8 68/8 70/8 72/8 74/8 76/8 97/8 99/8 204/8 206/8 208/8 216/80 1000 2000 3000 4000 5000 6000 7000 24/8 63/8 64/8 65/8 66/8 67/8 68/8 69/8 70/8 71/8 72/8 73/8 74/8 75/8 76/8 96/8 97/8 98/8 99/8 199/8 204/8 205/8 206/8 207/8 208/8 209/8 216/8
LACNIC 地域の /8 毎のトレンド 8000 200/8 7000 6000 5000 4000 3000 2000 189/8 190/8 201/8 200/8 1000 0 Nov-04 May-05 Nov-05 May-06 Nov-06 201/8 189/8 2007/07/13 maz&tomo 25
AfriNIC 地域の /8 毎のトレンド 41/8 300 250 200 150 100 41/8 50 0 Nov-04 May-05 Nov-05 May-06 Nov-06 41/8 2007/07/13 maz&tomo 26
2.BGP でトラフィック制御編 2007/07/13 maz&tomo 27
トラヒック制御の手法例 Path Attribute LocalPreference MED IGP cost closest exit ebgp multihop multipath ibgp ebgp 2007/07/13 maz&tomo 28
Local Preference default: 100 AS Path LP: 100 traffic LP: 200 2007/07/13 maz&tomo 29
MED max AS Path IGP Cost always-compare? deterministic? traffic MED: 1000 AS AS MED: 2000 2007/07/13 maz&tomo 30
優先制御の憂鬱 BGP LP:200 AS LP:100 LP:200 W/D AS LP:100 LP:200 LP:100 AS LP:100 LP: 200 LP: 100 AS AS AS 2007/07/13 maz&tomo 31
closest exit AS/ 2007/07/13 maz&tomo 32
closest exit の維持 LocalPref MED IGP confederation route reflector MED +2000 2007/07/13 maz&tomo 33
ebgp multihop で負荷分散 loopback static ebgp IP TTL loopback ebgp static ebgp static 2007/07/13 maz&tomo 34
BGP multipath Best Path BGP Best Path selection LocalPreference, AS PathMED next_hopbgp Path multipath ibgp 1Best Path Path ebgp multipathnext_hop attribute ibgp 2007/07/13 maz&tomo 35
ebgp multipath ebgp Path Multipath ebgp multihop ebgp MultiPath!! ebgp 2007/07/13 maz&tomo 36
ibgp multipath ibgp Path Multipath ibgp ibgp MultiPath! ebgp ebgp 2007/07/13 maz&tomo 37
経路制御の苦悩 closest exit IX FE GbE GbE 10GE 10GE???? 2007/07/13 maz&tomo 38
ISP 間でバックアップの難しさ / or 2007/07/13 maz&tomo 39
最近の ISP 間トラヒック制御 closest exit multipath MED closest exit 10GE multipath 2007/07/13 maz&tomo 40
ゆくゆくはこんな接続を希望... 1 #1 #2 #2 2007/07/13 maz&tomo 41
3.BGP タイマー編 2007/07/13 maz&tomo 42
keepalive UPDATE (keepalive ) keepalive/holdtime 30 /90(Juniper?) 60 /180(Cisco?) IIJ10 /40 2007/07/13 maz&tomo 43
最近の keepalive BFD keepalive BFD OCNInteropBFD for BGP 1000msec 3 2007/07/13 maz&tomo 44
MRAI timer UPDATE Cisco () ibgp 5 ebgp 30 RR ebgp ibgp ebgp UPDATE MRAI MRAI 2007/07/13 maz&tomo 45
最近の MRAI 0sec for ibgp 30sec for ebgp Cisco 12.0(32)S or R3.3 Juniper MRAI0sec 2007/07/13 maz&tomo 46
bgp damping 2007/07/13 maz&tomo 47
bgp damping( 続き ) Cisco Juniper One flap 1000 2000 Cisco is 1000 Juniper is 2000 15 minutes withdrawn 1000 readvertisement1000 One flap 505 1505 1010 3010 suppress 15 minutes Stable 15 minutes 753 1505 In this time Juniper s route is not used 375 750 reused Default suppress : Cisco 2000, Juniper 3000 2007/07/13 maz&tomo 48
最近の bgp damping OCN MRAI 2007/07/13 maz&tomo 49
他 MD5 2004TCP Vulnerability ISP http://www.bugest.net/irs/docs_20040707/ Tcp_Vulnerability_yoshida.pdf e i Cluster-ID loopback( ) 2007/07/13 maz&tomo 50
4. これから編 2007/07/13 maz&tomo 51
経路数の増大 22 /24 22 http://www.cidr-report.org/ Route Aggregation http://www.ripe.net/docs/ripe-399.html 2007/07/13 maz&tomo 52
細かい経路を減らす努力 /25(/25 ) IIJ/OCN PA IGP aggregate 2007/07/13 maz&tomo 53
AP 地域 頑張ろう APNIC de-aggregation routes 1prefix AS TOTAL APNIC ARIN RIPE AfriNIC LACNIC BGP routing table entries 213110 48310 104128 44039 2527 14058 after maximum aggregation 114382 19415 61213 28738 964 4050 Deaggregation factor 1.86 2.49 1.7 1.53 2.67 3.47 Total ASes present 24455 2877 11364 9195 180 760 Origin ASes announcing only one prefix 10282 782 4363 4831 59 246 42.0% 27.2% 38.4% 52.5% 32.8% 32.4% * BGP Routing Table Analysis Reports * Routing Table Report 04:00 +10GMT Mon 26 Feb, 2007 2007/07/13 maz&tomo 54
BGP 経路情報の信頼性向上 Secure Inter-domain Routing WG Inter-domain Routing RPSEC WG 2006WG http://www.ietf.org/html.charters/sidrcharter.html 2007/07/13 maz&tomo 55
もろもろの課題 10G Link-aggregation 100GE 1TE? 100G IX(eBGP) BFD for BGP 4-octet ASN Deployment AS23456(AS_Trans) 3 4-octet ASN IPv6 NW 2007/07/13 maz&tomo 56
もろもろの課題 2 20 40 IPv4+IPv6 aggregation Intra Inter-AS 2007/07/13 maz&tomo 57
日本のすごさをもっとのすごさをもっと国際的国際的にアピールできるよう 今後今後ともとも頑張頑張ってって参ります おしまい 2007/07/13 maz&tomo 58