NetFlow sflow 使ってるけど NetFlow,sFlow( 以下 xflow) でしたいでもどう設定すれば正解なのかワカランなんとなくサンプルコンフィグ通りに設定なんとなくデータが見えてるしまいっか 2009/1/23 2

Size: px

Start display at page:

Download "NetFlow sflow 使ってるけど NetFlow,sFlow( 以下 xflow) でしたいでもどう設定すれば正解なのかワカランなんとなくサンプルコンフィグ通りに設定なんとなくデータが見えてるしまいっか 2009/1/23 2"

しょうこたておか
6 years ago
Views:

1 明日から使える NetFlow sflow 設定術田島弘隆進藤資訓ファイブフロント ( 株 ) 2009/1/23 1

2 NetFlow sflow 使ってるけど NetFlow,sFlow( 以下 xflow) でしたいでもどう設定すれば正解なのかワカランなんとなくサンプルコンフィグ通りに設定なんとなくデータが見えてるしまいっか 2009/1/23 2

3 である時に気づくあれ? MRTGのグラフよりズレてるなぁあれ? トラヒックがインパルス状になってるぞあれ? いきなりグラフが見えなくなったぞあれ? etc 2009/1/23 3

4 で今日の趣旨現場ですぐ使える xflow の Know How を語る日本で一番 xflow でハマってる ( 注 1) 我々が実際に遭遇した実例をもとにしてします JANOG らしく技術ネタをどっぷりと仕様だけでは実感しにくい xflow のパラメータを実践的に考えます ( 注 1) 熱中でなくていろんな罠にハマってる 2009/1/23 4

5 念のためのお約束明日使えるノウハウが趣旨なのでできるだけ実際の機器名やメーカ名を出しますでもリリース時期やバージョン等によって機器動作は当然違いますもちろん特定機器にダメ出しする意図はまったくありません本稿を 100% 信じずに必ず検証してください 2009/1/23 5

6 xflow 基本知識省略 2009/1/23 6

7 てのもなんなのでイメージ図トラフィックフローエクスポータ (exporter) トラフィックトラフィックフローレコード (flow record) フローコレクタ (collector)

8 みおとしがちな基本の基本 IF に xflow 設定が無いと xflow が出ませんちなみに必ず全部の IF に xflow 設定を入れる必要はありません監視したいトラヒックが通過する IF にのみで OK interfaces { xe-1/0/0 { unit 0 { family inet { address /24; filter { input cflowd; }}} fxp0 { unit 0 { family inet { address /24; }}}}

9 だからといって例えばうちはボーダーのトラフィックしか興味ない見たいトラフィックはすべてボーダーの IF を通過するよってボーダーのみで xflow を enable にすればいい

10 フローレコード生成のトリガー原則的に Ingress で効きますまれに Egress で効く奴設定で Ingress or Egress を指定できる奴がいたりします

11 なのでこんなことになります xflow が enalbed な IF xflow が disalbed な IF

12 パラダイムシフトみなさん SNMP 脳からフロー脳に切り替えましょう!

13 では deep な世界へどうぞ 2009/1/23 13

14 ケース 1 MRTG(SNMP) のグラフと違うんですけどトラヒック量がちょっとズレてる場合 2009/1/23 14

15 ケース 1: 原因 1. サンプリングレートが低すぎる 2. SNMPとxFlowはL2?L3? 問題 3. ルータで終端するトラヒックとマルチキャスト 4. その他の明日つかえるトリビア 2009/1/23 15

16 原因 1: サンプリングレートが低すぎるサンプリングレート選定の大原則サンプルをいくつ集めればよいかで決める ( レート値は必要サンプル数から導かれる結果論である ) すごく簡単にいうとサンプルをたくさん集めるほど精度が高くなる低トラヒック (~ 数 Mbps) では高レートが必要でも必要以上な高レートはCPUのむだつかい 2009/1/23 16

17 サンプリング理論誤差率 = 196 sqrt( 1/c ) c: サンプル数 (= 集めたパケット数 ) 詳細は参考文献にて注 : 信頼区間 95% の場合注目すべきは誤差率はレートでなくサンプル数に依存すること 2009/1/23 17

18 計算例 1Gbps が流れてる IF を誤差 1% で見たい (STEP1) 必要なサンプル数 ( パケット数 ) を求める誤差率 1% にしたいので最低必要なパケット数は 1=196 sqrt(1/c) c=196^2=38416 パケット (STEP2) 観測する周期毎に流れるパケット数を求めるパケットサイズが平均 500Byte とすると PPS = 1Gbps/(500Byte 8)=250 kpps 観測周期が 5 分の場合 5 分間に流れるパケット数 = 250 kpps 300sec=75 M パケット (STEP3) 必要なサンプリングレートを求める 75M パケット /35416 パケット 1952 解 : 1/1952 以上にすればよい 2009/1/23 18

19 ただしあくまでも理論値サンプリングレートの理論値誤差率 % \ パケットサイズ /7809 にしても誤差はわずか % エクスポータの負荷と求める精度のバランスを考えましょう 2009/1/23 19

20 原因 2:SNMP と xflow は L2?L3? 問題取得できるトラヒック量の違い SNMP は L2 ( フレーム長 ) xflow は L3 ( パケット長 ) 一般的に xflow によるトラヒックは MRTG より少なめに表示される 2009/1/23 20

21 原因 2:SNMP と xflow は L2?L3? 問題 (cont.) 2009/1/23 21

22 原因 2:SNMPとxFlowはL2?L3? 問題 (.cont) ただし例外もある! Juniperの論理 I/F のSNMPはL3で答えてくれるよってJuniperの論理 I/Fはほぼ同じ値になる 2009/1/23 22

23 原因 3: ルータで終端するトラヒックとマルチキャスト提供されるトラヒック情報の素性が違う SNMPは各 IF 毎のトラヒック量を提供 xflowはin&out IF 番号とトラヒック量を提供 SNMP xflow IF1 IF2 IF1 IF2 inif=1, outif=2 IF2 のトラヒック IF1 のトラヒック 2009/1/23 23

24 原因 3: ルータで終端するトラヒックとマルチキャスト (cont.) xflow のイメージ (Ingress の場合 ) ルータ止まりルータ発マルチキャルト IN の ACL OUT の ACL inif=1, outif=0?? inif=1, outif=0? inif=1, outif=2? SNMP ではいずれも IF 毎に計上される ( と思う ) 2009/1/23 24

25 他にもこんなトリビアがほかにもある要素 IP 以外のトラヒック (AppleTalk 等 ) V6がのらないxFlow を使用している xflow 実装の機器による違い etc サンプリングレートが原因と考えがちですが他の要素も疑ってみてください 2009/1/23 25

26 ケース 2 MRTG(SNMP) のグラフと違うんです part2 描画されないグラフがある 2009/1/23 26

27 ケース 2: 原因 1. 論理 I/F と物理 I/F の違い 2. 出力の IF 番号がゼロになるエクスポータ 3. その他飲み会で使えるスベらない話 2009/1/23 27

28 原因 1: 物理 I/F と論理 I/F 論理 I/F のフロー情報が出ない実装もある SNMP get できる = flow 情報が採れるではない! VLAN I/F バンドル I/F は特に注意 2009/1/23 28

29 原因 2: 出力 IF がゼロになるエクスポータ L2 製品は一般的に出力 IF 番号がゼロ Catalyst 系で flow mask 設定がないとゼロ mls flow ip interface-full SNMP は出力も当然カウントされる IP フローの入力と出力は関係ないから 2009/1/23 29

30 他にもこんな飲み会ネタが IFにxFlow 設定が入っていないルータの再起動で ifindexが変ってしまった SNMP と xflow のifIndexが異なっていた etc 2009/1/23 30

31 ケース 2: トラヒックがドカンと出てきたしばらく観測されなかったトラヒックが一定時間後にドカンとでてきた

32 ケース 2: 原因 1. active-timeout パラメータ 2. first-seen と last-seen の利用方法

33 長寿命フロー原則 NetFlow はフローが終了した際にフローレコードが出る TCP なら FIN or RST 一定時間当該フローが観測されなかった場合長寿命なフローは (e.g. ストリーミング P2P 検証時の generator トラフィック等 ) はどうなんねん? さすがに 1 日後にフローレコードが出ても

34 active-timeout パラメータ Active-timeout で指定された時間以上継続したフロー情報をフラッシュする Cisco のデフォルトは 30 分フロー Flow Record スパイク問題解決策 30 分 active-timeoutを短かい時間 ( たとえば1 分 ) にすればよい例 : ip flow-cache timeout active 1

35 でもちょっと心配?? 補足 : active-timeout を短かくしたら CPU が痛くなるんじゃね? ( 大抵は ) 問題ない長寿命フローはトラフィックボリュームには寄与しているがフロー数には寄与していない!

36 first-seen と last-seen を使えば? フィールドの意味 first-seen: IP フローが初めて観測された時間 last-seen: IP フローが最後に観測された時間理論的には Active-timeout が 30 分のときでも first-seen でグラフ補正が可能 { first-seen, last-seen } first-seen last-seen

37 でも難しいのよ ( 涙 ) でもほとんどのコレクタは {first,last}-seen は見ない理由 1 統計処理がえらい複雑になる理由 2 30 分前のグラフが書き変わるのは現実的でない active-timeout を 1 分にするのが現実解

38 まとめ xflow のパラメータを理解して使いましょうサンプルコンフィグの鵜呑みは危険エクスポータだけでなくコレクタの実装にも注意が必要です xflow の仕様だけ読んでも不十分です脳みそ切り替えてください 2009/1/23 38

39 参考文献 Packet Sampling Basics 勝手な日本語訳と補足説明 : フローベースのトラフィック計測と解析 Flow 最新情報 ( 注 : もう古いです ) /1/23 39

Microsoft PowerPoint - JANOG19-u10-GigaPcap（NonAnim）.ppt

Microsoft PowerPoint - JANOG19-u10-GigaPcap（NonAnim）.ppt Non-Sampling Flow Inspection を支える技術ユーテンネットワークス株式会新籾晶アジェンダ Non-Sampling Flow Inspection を支える技術背景のおさらいトラヒック解析の問題点 (Non-Sampling 観点 ) 解決策ハードウェア作っちゃいました!! 本当に Non-Sampling は実現できたのか? 性能比較による検証まとめ 1 背景

NetFlow sflow 使ってるけど NetFlow,sFlow( 以下 xflow) で したい でも どう設定すれば正解なのかワカラン なんとなくサンプルコンフィグ通りに設定 なんとなくデータが見えてるし まいっか 2009/1/23 2

NetFlow sflow 使ってるけど NetFlow,sFlow( 以下 xflow) でしたいでもどう設定すれば正解なのかワカランなんとなくサンプルコンフィグ通りに設定なんとなくデータが見えてるしまいっか 2009/1/23 2