MEDって 曲 者? ~BGPベストパス 選 択 の 実 際 ~ JANOG19 Meeting NTTPCコミュニケーションズ 堀 優 1
Agenda 1.MEDについて(おさらい) 2.BGPベストパス 選 択 の 動 作 について 3. 通 常 のアルゴリズムではループする 4.MEDの 振 舞 を 変 更 する2つの 実 装 5.MEDに 関 連 したRFCs 6.RR/Confederation 環 境 での 注 意 点 7. まとめ 2007 NTTPC Communications, Inc. 2
1-1. MEDについて(おさらい) - 議 題 の 主 役 ( 曲 者?)の 紹 介 そもそもMED(MULTI_EXIT_DISC)って 何 だっけ? -BGPのパス 属 性 の 一 つ -Optional non-transitive 属 性 - 値 が 小 さい 方 が 優 先 -2つのAS 間 での 接 続 が 複 数 ある 場 合 に どのリンクを 優 先 して 欲 しいかをピア 先 に 通 知 AS2の 意 図 通 り トラフィックが 流 れるかは AS1 のポリシー 次 第 AS1 R3 R4 MED:10 MED:20 AS2 R1 10.0.0.0/8 R2 青 のリンクに 流 して 欲 しい 2007 NTTPC Communications, Inc. 3
1-2. MEDについて(おさらい) - 隣 接 ASの 差 異 により ベストパス 選 択 時 の 比 較 の 動 作 が 異 なる ASごとに 管 理 ポリシーは 違 うので 隣 接 ASが 異 なる 場 合 には MEDの 比 較 は 行 われない [R2のBGPテーブル] R1(10) 100 2 1 >AS2(0) 200 3 1 AS10 R1 10 MED:100 MED:200 AS2 AS1 10.0.0.0/8 R2 AS3 IGPコスト 2007 NTTPC Communications, Inc. 4
2-1. BGPベストパス 選 択 について - 経 路 情 報 の 管 理 (C 社 の 場 合 ) 2 種 類 のテーブルで 経 路 を 管 理 -BGPテーブル -BGPピアから 受 信 した 全 経 路 情 報 を 管 理 -ルーティングテーブル -BGPに 限 らず IGPの 経 路 情 報 も 管 理 -BGPの 経 路 情 報 に 関 しては ベストパスとして 選 択 された 経 路 情 報 のみを 登 録 管 理 する J 社 等 すべて1つのテーブルで 管 理 する 実 装 もある 2007 NTTPC Communications, Inc. 5
2-2. BGPベストパス 選 択 について -BGPテーブルとルーティングテーブルの 関 係 BGPテーブル BGP ピア Adj-RIBs-In ( 受 信 経 路 ) Loc-RIB (ベストパス) Adj-RIBs-Out ( 広 報 経 路 ) BGP ピア 他 のルーティング プロトコル OSPF ルーティング テーブル IS-IS RIP フォワーディング テーブル (パケット 転 送 ) 2007 NTTPC Communications, Inc. 6
2-3. BGPベストパス 選 択 について - 経 路 情 報 の 登 録 順 序 新 しく 受 信 した 経 路 情 報 が 一 番 上 に 登 録 される BGPテーブルから 削 除 されない 限 り 登 録 順 序 は 変 化 しない [R4のBGPテーブル] Prefix NH AS-PATH 10.0.0.0/8 R3(5) 100 10.0.0.0/8 R2(2) 100 10.0.0.0/8 R1(10) 100 AS200 R4 R1 R2 AS100 Prefix:10.0.0.0/8は R1 R2 R3の 順 に 受 信 R3 10.0.0.0/8 2007 NTTPC Communications, Inc. 7
2-4. BGPベストパス 選 択 について -ベストパス 選 択 プロセスの 動 作 ベストパス 選 択 は 優 先 度 の 高 い 属 性 を 一 番 上 の エントリから 順 番 に タイブレーク 方 式 で 比 較 していく 一 度 ベストパスを 決 定 した 後 それ 以 降 の 比 較 は best として 認 識 している 経 路 とのみ 比 較 する [R4のBGPテーブル] Prefix NH AS-PATH 10.0.0.0/8 R3(5) 100 > 10.0.0.0/8 R2(2) 100 10.0.0.0/8 R1(10) 100 1 回 目 の 比 較 ( 紫 vs 赤 ) 2 回 目 の 比 較 ( 赤 [1 回 目 の 勝 者 ] vs 青 ) R4は 最 終 的 に 赤 (R2から)の 経 路 を 選 択 2007 NTTPC Communications, Inc. 8
2-5. BGPベストパス 選 択 について - 経 路 比 較 の 優 先 順 位 (C 社 の 場 合 ) 優 先 順 位 属 性 内 容 1WEIGHT Cisco 固 有 2 LOCAL_PREF Local_Pref 値 の 大 きい 経 路 を 優 先 3 LOCAL Localで 生 成 された 経 路 を 優 先 4 AS-PATH AS-PATH 長 の 短 い 経 路 を 優 先 5 ORIGIN IGP>EGP>INCOMPLETEの 順 で 優 先 6 MED 値 が 小 さい 経 路 を 優 先 7 Peer Type ebgp>ibgp 8 IGP Metric ネクストホップへのIGPコストが 小 さい 経 路 を 優 先 9 Oldest Path 比 較 経 路 がeBGPの 場 合 古 い 経 路 ( 現 状 のベストパス)を 優 先 10 Router-ID Router-IDが 最 も 小 さい 経 路 を 優 先 ただし 経 路 のNEXT_HOP 属 性 への 到 達 性 があることが 前 提 で NEXT_HOPに 到 達 できない 経 路 は 無 視 される 2007 NTTPC Communications, Inc. 9
2-6. BGPベストパス 選 択 について - 評 価 対 象 の 内 容 によって 比 較 動 作 が 異 なる 常 に 同 じように 比 較 するもの -LOCAL_PREF -AS-PATH -ORIGIN 必 ずしも 同 じようには 比 較 されない( 出 来 ない)もの -MED - 隣 接 ASが 同 一 の 場 合 は 比 較 し 異 なる 場 合 は 比 較 しない -IGP Metric - 基 本 的 に 各 BGPスピーカごとに 変 化 2007 NTTPC Communications, Inc. 10
2-7. BGPベストパス 選 択 について -BGPスピーカは ベストパスのみ 通 知 する 比 較 する 経 路 情 報 は それぞれのBGPスピーカごとに 変 わってくる ルートリフレクタや コンフェデレーションを 使 用 すると 比 較 する 経 路 情 報 が 少 なくなりやすい 比 較 対 象 経 路 なし AS1 RRC1 AS2 RRC4 RR1 RRC2 比 較 対 象 経 路 が3つ RRC3 10.0.0.0/8 2007 NTTPC Communications, Inc. 11
3-1. 通 常 のアルゴリズムではループする -BGPテーブルの 登 録 順 序 次 第 でループは 起 きる 始 めは 問 題 なかった AS10 GW11 MED:10 AS2 R1 3 GW12 MED:10 MED:20 AS3 AS1 10.0.0.0/8 R2 50 60 30 GW23 [R1のBGPテーブル] GW11(50) 10 2 1 GW12(60) 10 3 1 > GW23(33) 20 3 1 [R2のBGPテーブル] GW11(53) 10 2 1 GW12(63) 10 3 1 > GW23(30) 20 3 1 2007 NTTPC Communications, Inc. 12
3-2. 通 常 のアルゴリズムではループする -BGPテーブルの 登 録 順 序 次 第 でループは 起 きる- 続 き R2がRebootし BGPテーブルの 登 録 順 序 が 変 わると AS10 GW11 R1 3 GW12 MED:10 MED:10 MED:20 AS2 AS3 AS1 R2 50 60 30 10.0.0.0/8 GW23 [R1のBGPテーブル] GW11(50) 10 2 1 GW12(60) 10 3 1 >GW23(33) 20 3 1 [R2のBGPテーブル] NH GW11(53) GW23(30) 10 20 23 1 GW12(63) GW11(53) 10 10 32 1 > >GW23(30) GW12(63) 20 10 3 1 2007 NTTPC Communications, Inc. 13
3-3. 通 常 のアルゴリズムではループする - 何 が 問 題 でループが 起 きるか? 以 下 の2つの 動 作 が 同 時 に 働 くためにBGPテーブルの 登 録 順 序 次 第 で パケットループを 引 き 起 こすことがある -BGPテーブル 上 に 複 数 の 経 路 情 報 が 存 在 した 場 合 でも 比 較 の 対 象 はベストパスの 経 路 とのみ - 隣 接 ASの 差 異 によって MED 値 の 扱 い 方 が 変 化 MEDの 存 在 により タイブレークルールが 完 全 には 行 われなくなっている 2007 NTTPC Communications, Inc. 14
4-1. MEDの 振 舞 を 変 更 する2つの 実 装 -always-compared-medと deterministic-med bgp always-compare-med とは? - 隣 接 ASの 差 異 に 関 係 なく MED 値 を 常 に 比 較 bgp deterministic-med とは? - 隣 接 ASごとに 比 較 対 象 の 経 路 をグループ 化 し 同 一 AS 内 でのベストとなる 経 路 を 選 択 した 後 違 うASグループでベストとなる 経 路 と 比 較 する - 隣 接 ASごとの 経 路 のグループ 化 は すべて 内 部 処 理 で 行 われる ベストパス 選 択 アルゴリズムが 変 わるため AS 内 の すべてのBGPスピーカに 同 一 の 設 定 が 必 要 になる 2007 NTTPC Communications, Inc. 15
4-2. ループしないようにするためには? -MEDの 振 舞 を 変 更 する#1(bgp always-compare-med) bgp always-compare-med を 有 効 にすると - 常 にMEDを 比 較 する 以 外 に 変 更 なし AS10 GW11 R1 3 GW12 MED:10 MED:10 MED:20 AS2 AS3 AS1 10.0.0.0/8 R2 50 60 30 GW23 [R1のBGPテーブル] > GW11(50) 10 2 1 GW12(60) 10 3 1 GW23(33) 20 3 1 [R2のBGPテーブル] GW23(30) 20 3 1 > GW11(53) 10 2 1 GW12(63) 10 3 1 2007 NTTPC Communications, Inc. 16
4-3. ループしないようにするためには? -MEDの 振 舞 を 変 更 する#2(bgp deterministic-med) bgp deterministic-med を 有 効 にすると -BGPテーブルは 登 録 順 序 のままの 表 示 (わかりにくい) AS10 GW11 R1 3 GW12 MED:10 MED:10 MED:20 AS2 AS3 AS1 10.0.0.0/8 R2 50 60 30 GW23 [R1のBGPテーブル] > GW11(50) 10 2 1 GW12(60) 10 3 1 GW23(33) 20 3 1 [R2のBGPテーブル] GW23(30) 20 3 1 > GW11(53) 10 2 1 GW12(63) 10 3 1 R1,R2とも 以 下 の 動 作 ( 赤 と 紫 の 勝 者 ) vs 青 2007 NTTPC Communications, Inc. 17
5-1. MEDに 関 連 したRFCs -RFC3345と RFC4451(ともにInformational) RFC3345 Border Gateway Protocol Persistent Route Oscillation Condition RR/Confederation 環 境 で 発 生 しうる BGPの 経 路 が 収 束 しない 問 題 と その 対 処 策 RFC4451 BGP MULTI_EXIT_DISC Considerations MEDの 変 更 / 削 除 と 経 路 選 択 プロセスの 動 作 missing-medの 扱 い -なし 0 2^32-1 問 題 IGPコストを MEDに 反 映 した 場 合 のdisadvantage -Route Flap Damping Update Packingへの 影 響 2007 NTTPC Communications, Inc. 18
5-2. MEDに 関 連 したRFCs -RFC3345のType 1,2 Chrunとは? RFC3345では BGPの 経 路 情 報 が 激 しく 変 動 する 状 況 を 2つに 分 類 Type 1 Chrunの 条 件 (AND) -1つのPrefixを 2つ 以 上 のASから 受 信 - 任 意 のMED 値 を 許 可 または 設 定 - 階 層 化 していないRR/Confederation 環 境 Type 2 Chrunの 条 件 (AND) -1つのPrefixを 2つ 以 上 のASから 受 信 - 任 意 のMED 値 を 許 可 または 設 定 - 階 層 化 したRR/Confederation 環 境 2007 NTTPC Communications, Inc. 19
6-1. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて bgp deterministic-med が 有 効 でも RR/Confederation 環 境 では ルーティングループが 発 生 することがある RR1 5 4 AS1 1 RR2 12 Type 1 Churnの 条 件 (AND) 1RR/Confederationが シングルレベル ( 階 層 化 されていない) RRC11 RRC12 RRC21 MED:10 MED:1 MED:0 AS10 AS6 21つのPrefixを 2つ 以 上 のASから 受 信 し 任 意 のMEDを 許 可 AS100 10.0.0.0/8 2007 NTTPC Communications, Inc. 20
6-2. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて- 続 き 始 めの 状 態 AS1 RR1 1 RR2 5 4 12 RRC11 RRC12 RRC21 RR1)sh ip bgp 10.0.0.0/8 >RRC12(4) 1 6 100 RRC11(5) 10 10 100 RR2)sh ip bgp 10.0.0.0/8 >RRC12(5) 1 6 100 MED:10 AS10 MED:1 AS6 AS100 10.0.0.0/8 RRC21)sh ip bgp 10.0.0.0/8 >RRC12(17) 1 6 100 2007 NTTPC Communications, Inc. 21
6-3. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて- 続 き RRC21が 新 しくAS6から 紫 の 経 路 情 報 を 受 信 すると RR1 5 4 AS1 1 RR2 12 RRC11 RRC12 RRC21 MED:10 MED:1 MED:0 AS10 AS6 AS100 10.0.0.0/8 RR2)sh ip bgp 10.0.0.0/8 >RRC21(12) 0 6 100 RRC12(5) 1 6 100 RRC21)sh ip bgp 10.0.0.0/8 >RRC21(0) 0 6 100 RRC12(17) 1 6 100 RRC21,RR2 共 に 紫 の 経 路 がベストパス に! 2007 NTTPC Communications, Inc. 22
6-4. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて- 続 き RR2が RR1へ 新 しいベストパス( 紫 の 経 路 )をUpdateすると AS1 RR1)sh ip bgp 10.0.0.0/8 RR1 1 RR2 RRC21(13) 0 6 100 5 4 12 > RRC12(4) 1 6 100 > RRC11(5) 10 10 100 RRC11 RRC12 RRC21 MED:10 MED:1 MED:0 AS10 AS6 AS100 10.0.0.0/8 1 回 目 の 比 較 : 紫 vs 赤 -MEDにより 紫 の 勝 利 2 回 目 の 比 較 : 紫 vs 青 -IGPコストにより 青 の 勝 利 青 の 経 路 がベストパス 2007 NTTPC Communications, Inc. 23
6-5. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて- 続 き RR1のベストパスが 青 の 経 路 に 変 化 すると RR1 5 4 AS1 1 RR2 12 RRC11 RRC12 RRC21 RR1)sh ip bgp 10.0.0.0/8 RRC21(13) 0 6 100 RRC12(4) 1 6 100 >RRC11(5) 10 10 100 MED:10 MED:1 MED:0 AS10 AS6 AS100 10.0.0.0/8 新 しくベストパスになった 青 の 経 路 をUpdate 旧 のベストパスである 赤 の 経 路 をWithdrawn 2007 NTTPC Communications, Inc. 24
6-6. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて- 続 き RR2が RR1からのUpdate/Withdrawnを 受 信 すると RR1 5 4 AS1 1 RR2 12 RRC11 RRC12 RRC21 MED:10 MED:1 MED:0 AS10 AS6 AS100 10.0.0.0/8 RR2)sh ip bgp 10.0.0.0/8 > RRC11(6) 10 10 100 > RRC21(12) 0 6 100 RRC12(5) 1 6 100 青 の 経 路 がベストパス に! 2007 NTTPC Communications, Inc. 25
6-7. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて- 続 き RR2のベストパスが 変 更 されると RR1 5 4 AS1 1 RR2 12 RR2)sh ip bgp 10.0.0.0/8 > RRC11(6) 10 10 100 > RRC21(12) 0 6 100 RRC11 RRC12 RRC21 MED:10 MED:1 MED:0 AS10 AS6 青 の 経 路 をUpdate 紫 の 経 路 をWithdrawn AS100 10.0.0.0/8 2007 NTTPC Communications, Inc. 26
6-8. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて- 続 き RR1が 紫 の 経 路 をwithdrawnされると RR1 5 4 AS1 1 RR2 12 RR1)sh ip bgp 10.0.0.0/8 RRC21(13) 0 6 100 > RRC12(4) 1 6 100 > RRC11(5) 10 10 100 RRC11 RRC12 RRC21 MED:10 MED:1 MED:0 AS10 AS6 AS100 10.0.0.0/8 赤 の 経 路 がベストパス に! 赤 の 経 路 をUpdate 青 の 経 路 をwithdrawn 2007 NTTPC Communications, Inc. 27
6-9. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて- 続 き RR2がRR1からのUpdate/Withdrawnを 受 信 すると RR1 5 4 AS1 RR2 RRC11 RRC12 RRC21 MED:10 MED:1 MED:0 AS10 AS6 1 12 AS100 10.0.0.0/8 RR2)sh ip bgp 10.0.0.0/8 RRC12(5) 1 6 100 > >RRC11(6) 10 10 100 > RRC21(12) 0 6 100 MEDにより 紫 の 経 路 を べストパスに 選 択 以 降 endless loopは 続 く 2007 NTTPC Communications, Inc. 28
6-10. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1 Churnについて- 続 き Type 1 Churn 問 題 を 回 避 する 方 法 1. RR 環 境 の 場 合 -cluster 間 IGPメトリック > cluster 内 IGPメトリック 2. Confederation 環 境 の 場 合 -sub-as 間 IGPメトリック > sub-as 内 IGPメトリック 3. MEDを 評 価 させない -LOCAL_PREF -MEDをすべて 同 じ 値 に 上 書 き 4. bgp always-compare-med を 使 用 する 5. ibgpをフルメッシュに 張 る(?!!!) 2007 NTTPC Communications, Inc. 29
6-11. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 2 Churnについて AS1 Sub-AS 65001 Rb 10 Ra Sub-AS 65000 Rc 40 2 Rd Rg 40 Sub-AS Re 65002 2 3 Rf Type 2 Churnの 条 件 (AND) 1RR/Confederationが 階 層 化 されている 21つのPrefixを 2つ 以 上 のASから 受 信 し 任 意 のMEDを 許 可 MED:0 MED:1 MED:なし AS200 AS300 Endless loopの 動 作 は 省 略 AS400 10.0.0.0/8 2007 NTTPC Communications, Inc. 30
6-12. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 2 Churnについて- 続 き Type 2 Churn 問 題 を 回 避 する 方 法 1. MEDを 評 価 させない -LOCAL_PREF -MEDをすべて 同 じ 値 に 上 書 き 2. bgp always-compare-med を 使 用 する 3. RR/Confederationを 階 層 化 しない(?!!!) 4. RR 環 境 では RRCとのiBGPをフルメッシュ 5. Confederation 環 境 では 同 じ 階 層 にいる ボーダルータ 間 で BGPをフルメッシュ (Type 2 Churnの 例 で RbとRe 間 にeBGPを 張 る) 2007 NTTPC Communications, Inc. 31
6-13. RR/Confederation 環 境 での 注 意 点 -RFC3345 Type 1,2 Churnは 何 故 起 きる? 以 下 の3つの 特 性 が Endless loopを 引 き 起 こす 隣 接 ASが 同 じでないと MEDは 評 価 しない BGPプロトコルは ベストパスしか 通 知 しない RR/Confederation 環 境 下 では 経 路 選 択 に 使 用 した 情 報 が Cluster/Sub-AS 内 に 隠 される 階 層 化 すると より 顕 著 に! やっぱり MEDって 曲 者? 2007 NTTPC Communications, Inc. 32
7-1. まとめ -BGPをスケールする 環 境 に 関 係 なく 有 効 な 手 段 とは? MEDを 評 価 させない#1 -LOCAL_PREF MEDを 含 め 他 の 属 性 が 評 価 されなくなる MEDを 評 価 させない#2 -ネットワークの 入 り 口 で MEDを 同 じ 値 に 上 書 き MED 以 外 の 属 性 はすべて 評 価 される bgp always-compare-med を 使 用 する -MEDを 書 き 換 えている(ほとんどのISP?) 場 合 に 最 も 運 用 しやすく 現 実 的? Tunnel 技 術 と 併 用 する - 遠 いところを 近 く 見 せる( 隠 れた 経 路 を 見 せてやる) 2007 NTTPC Communications, Inc. 33
7-2. まとめ -MEDの 振 舞 は すぐには 変 えられない 通 常 のアルゴリズムから bgp deterministic-med 等 MEDの 振 る 舞 いを 変 更 しようにも 現 用 のNWでは 各 BGPスピーカが 別 のベストパス 選 択 アルゴリズムを 動 作 させると 余 計 にループを 引 き 起 こすことになる 1MEDの 評 価 をさせないようにする 2 各 BGPスピーカの ベストパス 選 択 アルゴリズムを 変 更 する 3 新 しいポリシーを NWに 展 開 する 2007 NTTPC Communications, Inc. 34
7-3. まとめ -MEDってどう 運 用 すべき? BGPを 運 用 していく 上 で MEDに 振 り 回 されないための ベストプラクティスについて 議 論 しましょう MEDの 扱 い - 使 う/ 使 わない -ピアからのMEDを 受 け 入 れる/ 書 き 換 える - 隣 接 ASの 差 異 を 考 慮 する/しない BGPをスケールしていく 時 の 注 意 点 は? -ibgp full-mesh/rr/confederation -IGPとの 関 わり その 他 思 わぬ 落 とし 穴 とか 2007 NTTPC Communications, Inc. 35