2014/07/18 1

Size: px

Start display at page:

Download "2014/07/18 1"

あまめかんざとばる
4 years ago
Views:

1 2014/07/18 1

2 2014/07/18 2

3 2014/07/18 3

4 頑張れ IP anycast Matsuzaki maz Yoshinobu 2014/07/18 4

5 IP anycast 主にサーバ側で利用する技術実は単なるunicast 複数箇所に同じIPネットワークでもルータは単に宛先に投げてるだけ anycastは状態だと思うのが良いかもユーザからは anycast のノード数は分からない 1 以上のノードが稼働していればサービスは可能 2014/07/18 maz@iij.ad.jp 5

6 クライアントとサーバクライアントクライアント / :db8:2::/ :db8:2::1 サーバ 2014/07/18 6

7 複製したらほら IP anycast / :db8:2::/ / :db8:2::/ :db8:2::1 anycast ノード :db8:2::1 anycast ノード 2014/07/18 7

8 AS 間だと BGP で制御 AS AS BGPで広報 / :db8::/32 BGP で広報 / :db8::/32 AS AS :db8:2:: :db8:2::1 2014/07/18 8

AS 内だと適当に制御 AS 192.0.2.0/24 2001:db8:2::/64 192.0.2.0/24 2001:db8:2::/64 192.0.2.1 2001:db8:2::1 192.

9 AS 内だと適当に制御 AS / :db8:2::/ / :db8:2::/ :db8:2:: :db8:2::1 2014/07/18 9

10 AS 内での anycast 制御 unicast の経路制御と同じ手法矛盾さえ無ければ何だって使える connected stamc OSPF IS- IS BGPとかとか prefix 長も好きにして良い /32 とか /128 でもいいし /24 とか /64 でも大丈夫 2014/07/18 10

11 anycast 用アドレスの BGP 経路広報大きな prefix に含めて広報 PA ブロックとか専用の prefix だったらそのまま広報 /24 とか /48 とか 2014/07/18 11

12 普通は管理用の IP アドレスも付けるよ anycast は loopback 運用別途経路制御が必要 stamc or dynamic 別インタフェースで実装インタフェースが複数必要 / :db8:2::/ / :db8:2::/64 管理用ネットワーク管理用ネットワーク 2014/07/18 12

13 IP anycast の嬉しさ一つの IP アドレスでサーバを地域分散できる遅延の軽減負荷分散攻撃を局所化できるどのノードを利用するかユーザ側で制御できない他のノードを直接攻撃するのは難しい anycast ノードをそれぞれ独立して運用できる障害の連鎖とかが少ない 2014/07/18 13

14 2007/02 root への攻撃時 2014/07/18 14

15 こんな事にも anycast 使ってました全ルータの loopback に同じ IP アドレスを追加 connected 経路に見えるので IGPでは広報せず NTPサーバとして参照すると直近ルータが答える tracerouteすると流入点のルータが応答参照用のNTPサーバを専用に用意して縮退ユーザの参照用 DNS 直近のノードが応答するばらまきすぎて効率が悪くなったので縮退 2014/07/18 15

16 実際の IP anycast 権威 DNS root DNS hyp:// servers.org/ JP DNS hyp:// d.dns.jp の事例 hyp:// acmvimes/ddnsjp/ 2014/07/18 16

17 実際の IP anycast キャッシュ DNS google public DNS hyps://developers.google.com/speed/public- dns/ OpenDNS hyp:// 2014/07/18 17

18 実際の IP anycast CDN CloudFlare hyps:// Microso` Azure CDN hyp://azure.microso`.com/ja- jp/services/cdn/ [janog:12473] からのスレッドも参照 2014/07/18 18

19 ノード障害とブラックホールサービス障害時経路を迂回させるか該当経路の広報停止や優先度の変更 2001:db8:2::1 2001:db8:2::1 2014/07/18 19

20 IP anycast 実装の難しさ監視生死コンテンツサービスの一貫性サービスと経路制御の連携経路制御必須サービス連携が無ければブラックホール化もノード間での負荷分散ノード縮退時の再分散も難しい入りのトラヒック制御が難しいのと同じトラブルシュート 2014/07/18 20

21 IP anycast の制限事項同じクライアントからの通信でも異なる anycast ノードにパケットが届くかも経路変動や mulmpath での負荷分散双方向通信が継続できないかも途中ルータからは異なるノードに向かうかも Path MTU Discovery が動かないかも anycast ノード - > クライアント方向で大きなパケットの際その他 ICMP エラーもきちんと受け取れないかも 2014/07/18 maz@iij.ad.jp 21

22 IP anycast と fragment 便乗攻撃応答サイズの調整が必須の場合 ICMP パケットを標的が参照している anycast ノードに届ける必要がある IP anycast されているとこれが難しい anycast ノード anycast ノード吸い込まれちゃう ICMP too big ほんとの通信攻撃者毒入れ標的 2014/07/18 22

23 障害切り分け anycast ノード ISP-B ISP-A local network このそれぞれに IP anycast 故の複雑さが絡むノード障害経路障害パケットフィルタ 2014/07/18 23

24 ノード特定 anycast ノード ISP-B ISP-A local network traceroute アプリケーションで応答 id.server (l- root の場合 RFC7108) まだ標準手法はなさそう 2014/07/18 24

25 障害連絡ユーザ側ではサービスが IP anycast かどうか分からない URL や対象 IP アドレスで障害申告する anycast ノードとしては一意ではない障害受付側でもサービスやネットワークに関する知識が必要手元ではうまく動く場合があり申告したユーザ固有の問題に見えることも 2014/07/18 25

26 聞いてみたい IP anycast 利用事例こんな事に使ってる! IP anycast 運用 & 導入悩み管理とかどうしてる? 心配事がある? IP anycast 利用者の立場近い事は良いことだ? 困ったときに困る? 2014/07/18 26

27 おわり 2014/07/18 27

28 anycast の恐怖ノードを追加したけど経路が広報されてなくて anycast に参加してなかった BGP コミュニティ (no- export) で制御していたら経路が届いていない AS があった投入したノードのサービスが anycast アドレスを listen してなかった運用者が anycast を理解してなくてトラブル発生トラブルシュートできないおまけ付き 2014/07/18 28

29 監視の課題リモートからはどの anycast ノードを監視してるか分からないサービスしてるのは anycast 用アドレスリモートから監視できるのは管理用 IP アドレス anycast ノード自身で監視? プロセス監視ローカルで接続テスト 2014/07/18 29

30 予備ノードいざって時のためのバックアップ正副に加えて予備系での冗長化経路の優先度を落として日頃見えない攻撃者からも見えない困ったら簡単な設定変更でサービス開始経路優先度の変更他ノードの停止 2014/07/18 30