PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

ことこすえたけ
5 years ago
Views:

1 IPv6 PMTU Discovery Blackhole の盲点株式会社ビーコンエヌシーデータセンター事業部國武功一 1

2 github.com/kunitake 2 児の父親明日長女の 5 歳の誕生日なのに高松までうどん食べに来た父を許しておくれ 2

3 この発表の動機いつまでたっても PTMU Discovery Blackhole がなくならない起きてても意外と気づいてない偉そうに語ってる自分もミスった orz ごく最近でも IPv6 に強そうな某社がやってた模様 3

4 Agenda PMTU Discoveryおさらいよく知られた事例 Filteringの盲点そもそも Too bigを発生させない方法最後に 4

5 Path MTU Discovery おさらい 5

6 Path MTU Discovery おさらい IPv6 では中継ノードでフラグメントしない ( 始点ノードが実施 ) IPv4 ではルータ等の中継ノードがフラグメントを実施送信パケットに対する ICMPv6 Error Message を受信時 MTU を変更最初のリンクの MTU が初期値 ICMPv6 Packet Too Big Message 受信時始点ノードでフラグメントして再送 IPv6 最小 MTU は 1280byte L2 SW の MTU にひっかかった場合は破棄される Path MTU Discovery の実装が難しいノードは 1280byte 固定 6

7 Path MTU Discovery おさらい client MTU1500 MTU1454 MTU1500 MTU1280 MTU1500 Size=1500 Server Packet Too Big (MTU=1454) Size=1454 Packet Too Big (MTU=1280) Size=1280 7

8 Path MTU Discovery おさらい Too big 作る人! ( 転送先の MTU が小さい ) client MTU1500 MTU1454 MTU1500 MTU1280 MTU1500 Size=1500 Server Packet Too Big (MTU=1454) Size=1454 Packet Too Big (MTU=1280) Size=1280 Too big を受け取る人! ( 大きなデータを送ってるノード ) 8

9 Blackhole の主な原因 1. Too big パケットが作れない 2. Too big パケットが受信転送できない 9

10 Too big 受け取るのはだれ? コンテンツを送信する側ウェブサーバメール送信者 ( 大きな添付ファイルとか ) Dropbox 的ななにか 10

11 PMTUD Blackhole なぜ困る? IPv4 と違って IPv6 では途中ルータがパケットをフラグメントすることは禁止されており PMTU Dicovery が動作することによる再送を期待しているため Too big が届かないと通信ができない! 11

12 実際の切り分けデモ一発でわかるワンパターン体験今日日のエンジニアは telnet すら使わないとか人から聞きましたが 12

13 僕らには Happy Eyeball があるじゃないか!! TCP のセッションは張れてるのでだめです 13

14 つまり Too big を必ず届ける受け取る! or/and Too big を発生させない! が IPv6 通信には必須 14

15 よく知られた事例 15

16 ここを疑え! L3 s icmp rate limit Firewall Policy 1.Too big パケットが作れない 2.Too 別の意味でここを疑え bigパケットが転送できない!( 後述 ) LB 構成で Too big がちゃんとエンドに届くか 2.Too big パケットが転送できない 16

17 ここを疑え! 頑張っちゃって link local addressのみでネットワーク作っちゃったかつ異なるMTUサイズを混ぜちゃった 1.Too big パケットが作れない RFC4291: Routers must not forward any packets with link-local source or destination addresses to other link. UPS/UTM のおせっかい <- TODAY 2.Too big パケットが転送できない 17

18 Filtering の盲点 18

19 Firewall 見直しこれで安心? 実は Firewall のポリシーでは事実上 Too big は落とせない ( フロー上自動的に許可される ) なんとこんな設定書いても Too big は落とせない 19

20 iptables/ip6tables でも -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT RELATED meaning that the packet is starting a new connection, but is associated with an existing connection, such as an FTP data transfer, or an ICMP error. 20

21 では誰が落としてるの? こんなメッセージに見覚えはありませんか? [00001] :00:00 [Root]system-critical-00436: Large ICMP packet! From 2001:db8:ffff::222 to 2001:db8::80, proto 58 (zone Untrust, int ethernet0/1). Occurred 6 times. 21

22 たとえばこんな機能 [ScreenOS] Large Size ICMP Packet (size > 1024) in IPv6 environment. ( 多くの ICMP パケットは大きくないため 1024 バイト以上の ICMP パケットを攻撃パケットや Loki (ICMP Tunnel) の通信などとみなしてたたき落としてくれる素敵機能 22

23 なぜひっかかるのか? 3.2. Packet Too Big Message Type Code Checksum MTU As much of invoking packet + as possible without the ICMPv6 packet + exceeding the minimum IPv6 MTU [IPv6] こいつだ! 23

24 Too big のパケット長 1280byte 以下であることは仕様で決まっているがどこまでパケットを頑張って詰め込むかは実装依存今回問題になった Firewall では 1000byte 1000 byte < 1024byte. 24

25 10 秒でできるチェック Rancid リポジトリを export Find 一発ね? 簡単でしょ? # find. print0 xargs -0 grep icmp-large -l 25

26 氷山の一角か他の製品でも UTM/IPS でこんな感じのおせっかい機能がありそうエンタープライズ向けの Firewall は単純にポリシーだけを見ていると足元をすくわれることも今回の例では IPv4/IPv6 で設定が共通なので最初は問題なくても IPv4 由来で途中で有効化すると気付かないうちに IPv6 で問題が発生するまたフィルタリングポリシーよりも優先される 26

27 そもそも Too big を発生させない! 27

28 TCP 3way handshake 復習 Client Server SYN+options(TCP MSS) SYN, ACK+options(TCP MSS) ACK MSS ( Maximum Segment Size ) 互いに自身の MSS を通知 28

29 ということは TCP MSS option が動作する前提でサーバ側の MTU を 1280 octets に設定しておけば Packet Too big は発生しない MTU サイズ変更の境界にいることの多いブロードバンドルータが TCP MSS Clamping に対応した場合も Packet Too big は発生しない ( ただし Path MTU を知っているわけではないことに注意 ) 29

30 TCP MSS Clamping 嬉しさいろいろ Path MTU Discovery blackhole の回避サーバにおける MTU キャッシュの削減 TCP 再送の抑制輻輳回線での Too big のドロップ時の影響回避 IPv4 で上手くやれてきた実績 30

31 TCP MSS で解決? 救えるのは TCP だけ UDP はもともとフラグメントを嫌って short packet でやり取りしていることが多いが留意する必要があるサーバ側で MTU=1280 に設定することでスループットが落ちる可能性結局 Path MTU Discovery Blackhole 問題の隠ぺいでしかない 31

32 なぜ気づけない? テストテストテスト Too big を通すにはセオリーなだけに設定を見直すだけで安心している? 運用経験がまだ浅いワンパターンな問題だと気づけるのは場数を踏んでこそ監視がイケてないポートチェックだけでは検知できない 32

33 設定変更時再発防止策いま入れようとしている設定が IPv6 にも影響を与える設定なのか与えるなら悪い影響を与えないかを検討する必要がある MTU が小さくなるクライアント環境を用意し継続的に監視導入前テストポート監視だけではだめ 1280 バイト以上となるコンテンツが取得できることのチェックが必要 33

34 たとえばこんな監視環境サーバからデータ MTU 1500 Firewall Too big 作る人! ( 転送先の MTU が小さい ) MTU 1280 MTU 1500 監視サーバポート監視ではなく文字列監視を 34

35 こんなことしちゃだめよ? MTU が小さくなる環境構築クライアント環境で以下を実行するだけ # ifconfig en0 mtu 1280 これは Too big を受け取れるかのテストにはならず TCP MSS による調整が発生する逆にいえばこれで問題解消する場合は Path MTU Discovery Blackhole が原因 35

36 最後に実は PMTU Discovery Blackhole を引き起こす環境を作るのは難しい起きてしまった時の PMTU Discovery Blackhole の罪深さ TCP のセッションは普通に張れるので happy eyeballs では救えない IPv4 にフォールバックもしない 36

37 Special Thanks to ネットワークチーム ( 弊社事例解析 ) 資料作れと背中を押した人ネタの提供 taji_

38 参考 JANOG33.5 Interim Meeting フラグメンテーションの今後を考えよう第 6 回 IPv6 オペレーションズフォーラム IPv6 Path MTU の傾向と対策 - MTU が小さくて何が悪い!? 38

IPv6ネットワーク運用とセキュリティ

IPv6ネットワーク運用とセキュリティ Internet Week 2014 T3 IPv6 ネットワーク運用とセキュリティスカイリンクス株式会社技術本部國武功一 1 本プレゼンテーションに関して IPv6 ネットワークを構築運用する際に注意すべき観点について解説します (90 分 ) 主にサーバセグメントについて解説します IPv6 only ネットワークについては取り上げません 2 Agenda IPv6 ネットワーク概要 (