Non Stop Routing の実装と課題 ノーテルネットワークス株式会社近藤卓司 tkondo@nortelnetworks.com
はじめに ルータのノードレベルの High Availability 実現技術の一つとして コントロールプレーンがリスタートする際の影響をいかにして最小化するか? 2 つのアプローチがある いかにしてフォワーディング処理を継続するか? Graceful Restart (Non Stop Forwarding) いかにしてルーティング処理を ( もちろんフォワーディング処理も ) 継続するか? Non Stop Routing Copyright 2004 Nortel Networks. All rights reserved. 1
アプローチ比較 Graceful Restart (Non Stop Forwarding) フォワーディング処理継続 ルータ / スイッチ的発想 隣接交渉型 標準およびドラフトに基づいた一般的な実装 割と簡単 Non Stop Routing ルーティング処理継続 交換機的発想 自己解決型 一部ベンダ ( ノーテルなど ) 独自の実装 かなり難しい Copyright 2004 Nortel Networks. All rights reserved. 2
Graceful Restart 基本動作 隣接ルータに事前にリスタートすると言う通知を出してリスタート リスタートルータ (Local ルータ ) とそれを助ける隣接ルータ (Helperルータ ) はその間のルーティング処理は行わず 直前の FIB 情報に基づいて Stale ( 古い Fresh でない ) フォワーディングを継続 リスタート完了後にルーティング処理を再開し同期 Graceful Restart に対応するためにプロトコルごとの拡張が必要 現時点での対応は BGP IS-IS OSPF L REVP-TE プロトコルごとに動作が異なる 大きく分けると T ベースは事前通知型 Hello ベースは直前 ( または直後 ) 通知型 Copyright 2004 Nortel Networks. All rights reserved. 3
Control Plane (active) (backup) (failed) Data Plane (active) (stale) (clear) ピア確立 T ベース Graceful Restart ( 例 : BGP) Restarting ルータ 最初にお互いの能力を通知してピアを確立 Capabilities negotiation Attribute 64 BGP Open Helper ルータ リスタート開始 ピア (T セッション ) ダウン Hold Time Hold Time 内でリスタート完了 経路情報を Stale にしてフォワーディング継続 ( 現在の実装ではパケットロスゼロが可能 ) ルーティング処理は中断 BGP Open All updates ピアを再確立して同期 Hold Time Hold Time 内でリスタート失敗 ピアのダウンを認識しリルーティング Copyright 2004 Nortel Networks. All rights reserved. 4
Control Plane (active) (backup) (failed) Data Plane (active) (stale) (clear) ネイバー確立 リスタート開始 Hold Time Hold Time 内でリスタート完了 Hold Time 内でリスタート失敗 Hello ベース Graceful Restart ( 例 : IS-IS) Restarting ルータ Adjacency Full 直前 ( または直後に ) リスタート通知 Hello w/rr bit set Hello w/ra bit set Hello w/o RR set LSDBs sync d Adjacency ダウン 経路情報を Stale にしてフォワーディング継続 ( 現在の実装ではパケットロスゼロが可能 ) ルーティング処理は中断 ネイバーを再確立して同期 ネイバーのダウンを認識しリルーティング Helper ルータ Hold Time RR: Restart Request RA: Restart ACK Copyright 2004 Nortel Networks. All rights reserved. 5
Graceful Restart の課題 Non Stop Forwarding と言うと聞こえは良いが 実際には長い時間 Headless フォワーディングをする リスタート中にルーティングループやブラックホールを起こす可能性がある タイマー値の設計が要求される Hold タイマー値はノーテルの Default では BGP 360 秒 IS-IS 90 秒 OSPF 30 秒 L 180 秒 RSVP-TE 30 秒 最適なタイマー値はネットワークのトポロジや規模にも依存する 短すぎるとリスタートできない間に Stale フォワーディングを中断してしまい意味がなくなり 長すぎると Stale フォワーディング状態が継続し危険が多い 実はコントロールプレーンが冗長化されてなくても使えるが リスタート時間がより長くなるケースが多いのでタイマー値には注意が必要 オペレーションに負担がかかる Copyright 2004 Nortel Networks. All rights reserved. 6
Graceful Restart の課題 Graceful Restart 動作はピアやネイバーに完全に依存 隣接ルータに Graceful Restart Helper モードサポートが必須 異なるベンダ間の場合は相互接続性の問題も発生 IP-VPN の場合 ユーザの CE ルータに実装と相互接続性を要求することになる 基本的には Unplanned リスタートには向いていない RFC3623 Graceful OSPF Restart にも記述があるように Unplanned にも使えるが推奨しない オペレータ側に準備ができている Planned と異なり コントロールプレーンの故障 ( 障害 ) や予期せぬスイッチオーバなどの Unplannedの Stale フォワーディングには危険が多い Copyright 2004 Nortel Networks. All rights reserved. 7
Non Stop Routing 基本動作 ルータ内に ActiveとBackupの2 つの環境を作りその間を完全に同期化 Active の環境に障害が発生するとすぐに Backup 環境に切り替えてルーティング処理を継続 もちろんフォワーディング処理も継続 プロトコルごとに基本動作に違いはない 自己解決型であり ピアやネイバーに実装を必要としない タイマー値の設計が不要 Unplanned リスタートにも向いている ただし 冗長化されたコントロールプレーンが前提 Copyright 2004 Nortel Networks. All rights reserved. 8
Control Plane (active) (backup) (failed) Data Plane (active) (stale) (clear) ピア確立 T ベース Non Stop Routing ( 例 : BGP) Restarting ルータ 特別な事前通知は不要 BGP Open ピアルータ リスタート開始 ピア (T セッション ) 保持 高速スイッチオーバ ルーティングおよびフォワーディング継続 ( パケットロスゼロ ) ピアはスイッチオーバに気が付かない ( ルーティングも継続 ) リスタート完了 ピア (T セッション ) 保持 All updates リスタート失敗 ピアのダウンを認識しリルーティング Copyright 2004 Nortel Networks. All rights reserved. 9
Control Plane (active) (backup) (failed) Data Plane (active) (stale) (clear) ネイバー確立 リスタート開始 Hello ベース Non Stop Routing ( 例 : IS-IS) Restarting ルータ Adjacency Full リスタート通知不要 Adjacency 保持 ネイバールータ 高速スイッチオーバ ルーティングおよびフォワーディング継続 ( パケットロスゼロ ) ネイバーはスイッチオーバに気が付かない ( ルーティングも継続 ) リスタート完了 Adjacency 保持 All updates リスタート失敗 ネイバーのダウンを認識しリルーティング Copyright 2004 Nortel Networks. All rights reserved. 10
Non Stop Routing 内部動作 ( 例 : OSPF) Restarting ルータ Hot LSA and neighb or info. OSPFn Stable LSA and neighb or info. OSPFn Hello LS-Update ネイバールータ Journaling Timer LS-Ack Hello Backup Control Plane Active Control Plane 通常時すべての OSPF 情報 ( ネイバー AdjacenciesやLSA データベース ) はJournaling により Active プロセスから Backup プロセスへ同期化 Backup 側はこの OSPF 情報をインタフェース情報と合わせてショーテストパスの計算や RIB の生成に使用し Active 側と全く同じ状態を保持 Copyright 2004 Nortel Networks. All rights reserved. 11
Non Stop Routing 内部動作 ( 例 : OSPF) Restarting ルータ Hot LSA and neighb or info. OSPFn LS-Ack Stable LSA and neighb or info. OSPFn Hello LS-Update ネイバールータ Journaling Timer LS-Ack Backup Control Plane Active Control Plane Planned および Unplanned リスタート時は Active 側から Backup 側へ高速切り替えを実施してルーティングと Fresh なフォワーディングを継続 ただし 現状の実装では障害検出は数 ms で可能だが 切り替え ( 主に障害解析や通知情報作成などの準備 ) に1~2 秒程度かかる ( 実際にはその間のルーティング処理は中断し Stale フォワーディング ) Copyright 2004 Nortel Networks. All rights reserved. 12
Non Stop Routing の課題 実装には高度で複雑な HW/SW 環境が必要 コントロールプレーン間のハイキャパシティメッセージング環境やマルチ U などのハードウェアが必要 JournalingはOS のカーネルレベルで組み込まないと難しい 既存のルータにプロトコル的に後付けで載せて動くような技術ではない T ベースのプロトコルには現時点では拡張性に課題がある 例えば BGPはT を用いるがアプリケーションレベルの ACK がない T セッション状態を同期するにはアプリケーションの同期の後に T の同期を取る必要があり T ACK に遅延が生じる Copyright 2004 Nortel Networks. All rights reserved. 13
T ACK の遅延問題 ( 例 : BGP) Update 到着 パケット確認 リード待ちループ T ACK T Active Done (x msgs) BGP プロセス更新 処理したデータを送信 Standby T セッション情報 / アップデートを送信 Ack Ack BGP T セッション情報を更新 T ACK は以下が完了するまでの遅延が発生 : Active BGP がデータを処理 Standby BGP が処理されたデータを受信 Standby T がセッション情報を受信 Copyright 2004 Nortel Networks. All rights reserved. 14
Non Stop Routing の実装戦略 Protocol OSPF IS-IS BGP L RSVP-TE Graceful Restart Non Stop Routing Planned Planned BGP には IP-VPN のための MP-BGP L には PWE3 のための E-L を含む 他社との接続のため Graceful RestartのHelper モードは必須実装 vs ではなく両方式を実装 Non Stop Routing の実装に時間がかかるプロトコルは Graceful Restart でカバー 両方式の柔軟な設定を提供 例えば IP-VPN などでは VRF ごとに選択設定可能 Copyright 2004 Nortel Networks. All rights reserved. 15
Non Stop Routing の設定例 ( 例 : OSPF) routing { ospf { non-stop-routing no-non-stop-routing; graceful-restart { disable; no-unplanned; recovery-time <seconds>; services { vrf { vrf-instance-name vrf1 { ospf { non-stop-routing no-non-stop-routing; graceful-restart { disable; no-unplanned; recovery-time <seconds>; Copyright 2004 Nortel Networks. All rights reserved. 16
Non Stop Routing の状態表示例 ( 例 : OSPF) mpe> show routing carrier-grade OSPF Service State: Active Non-Stop-Routing: Enabled Sparing State: In-Sync Spare Objects: Count Adds Deletes Updates LSAs: 2455 2469 14 154 Interfaces: 14 18 4 2 Adjacencies: 11 15 4 0 Graceful-Restart: Enabled Local-Mode: Disabled Copyright 2004 Nortel Networks. All rights reserved. 17
Non Stop Routing の今後 T ACK の遅延問題の解決 遅延を生じさせず同期を取る独自技術を開発中 切り替え時間の更なる短縮 ルーティング処理断ゼロ切り替えは難しいが 少なくとも 50ms 以内の切り替えが目標値 Graceful Restart と同様にマルチキャストと IPv6 プロトコルへも対応 BRAS アプリケーションへの応用 Session Manager (PPPoX L2TP) AAA (DH Radius) などの Non Stop Routing (Hot Standby) Copyright 2004 Nortel Networks. All rights reserved. 18