Microsoft PowerPoint - irs-sflow-kokai.ppt

Transcription

1 sflow で遊ぼう! さくらインターネット ( 株 ) 技術部大久保修一 ohkubo@sakura.ad.jp AS9370, AS9371, AS /9/22 IRS10

2 アジェンダ 自己紹介 弊社での事例紹介 使っているツールの説明 sflow の憂鬱 その他 2006/9/22 IRS10 2

3 自己紹介 さくらインターネットにてネットワークの仕事を担当さくらインターネットって? 専用サーバ 法人向けハウジングサービス 個人向けレンタルサーバサービス IP トランジット オンラインゲーム (MMORPG) も.. AS9370, AS9371, AS7684 一応 上場してます ^^; 設計? 運用? ケーブル配線 機材設置 ネットワーク設計 ~ 運用 やや うちのようなうちのような小さいさい会社会社ではそんなもの 分かれてません ;; スイッチ ルータのオペレーション ピアリング交渉とか DNS サーバとか 何でもやらされます ( 涙 2006/9/22 IRS10 3

4 弊社における sflow 利用事例 sflow によるトラフィック解析導入のきっかけ 2 年ほど前より 主にトラフィックエンジニアリング目的で 何がどこに向かって流れているのかしら? トラフィック調整 ちょっとトラフィック ばらしたいなぁ ピア ISP さんとの交渉 プライベートピアしませんか? ちょっと DIX-IE から JPN P に移してもらえると うれしいんですけど 2006/9/22 IRS10 4

5 NetFlow or sflow? NetFlow に比較して若干マイナー?? NetFlow に対応してないルータが多数 Foundry Force10 日立 (GR シリーズ ) 仕方がなく sflow へ あんまり深い理由はなかったり GR シリーズは NetFlow も OK 2006/9/22 IRS10 5

6 ネットワーク構成図 external sflow コレクタ 大手町 コアネットワーク サンシャイン池袋東新宿西新宿代官山 カスタマ サーバー類 2006/9/22 IRS10 6

7 ルータ設定例 Foundry の例 sflow enable sflow destination xx.xx.xx.xx sflow polling-interval 30 sflow sample 8192 interface ethernet 1/2 sflow forwarding コレクタ サンプリングレート サンプリングするインターフェイスへ GR4000 の例 ALAXALA も同様 sflow yes destination xx.xx.xx.xx コレクタ sample 8192 サンプリングレート version 4 packet-information-type ip extended-information-type router gateway BGPの情報を利用する場合 port 3/0-3,5,7-11 サンプリングするインターフェイスへ 2006/9/22 IRS10 7

8 設定の注意点 コレクタの指定について sflow destination xx.xx.xx.xx sflow destination xx.xx.xx.xx 複数定義した場合 同じデータが送信される バックアップコレクタを立てる場合など サンプリングレートについて sflow sample 8192 任意の値が指定できるわけではない たとえば 2 4^n 等 装置によって異なる 1,2,8,32,128,512,2048,8192,32768 小さな値を指定する場合 CPU 負荷に注意!! 2006/9/22 IRS10 8

9 sflow に対応したコレクタは? 商用のものはいろいろあるが フリーソフトでお手軽に使えるツールは? NetFlow に比べると情報が少ない 結局 自作の解析ツールを開発することに 2006/9/22 IRS10 9

10 コレクタの構成 クライアント sflow パケット コレクタ sflowtool Apache テキスト形式へダンプ perl CGI 積み上げグラフ作成 rrd ファイル rrdtools 下記 URL で公開中 /9/22 IRS10 10

11 sflowtool の使い方 ダウンロード コンパイル %./configure % make libpcap(tcpdump) 形式へ % sflowtool t tcpdump r - NetFlow 形式へ % sflowtool c hostname d port テキストへダンプ ( 引数なし ) % sflowtool 2006/9/22 IRS10 11

12 どんな情報がとれるのか? テキストへダンプした出力結果 meanskipcount 8192 inputport 1 outputport 144 sampledpacketsize 1498 dstmac 000b45b7XXXX srcmac XXXX srcip XXX.XXX dstip XXX.XXX IPProtocol 6 IPTTL 60 サンプリングレート ポート番号 (MIB の値 ) フレームサイズ ( 要注意!) MAC アドレス IP アドレス IP プロトコル (6=TCP) TTL 2006/9/22 IRS10 12

13 どんな情報がとれるのか? テキストへダンプした出力結果 TCPSrcPort 80 TCPDstPort 3726 nexthop XXX.XXX srcsubnetmask 30 dstsubnetmask 16 my_as 9370 src_as 0 dst_as_path dst_as 4134 dst_peer_as 2497 ポート番号ネクストホップマッチするPrefixのlength AS 情報 2006/9/22 IRS10 13

14 例 : ポート番号別統計 サンプルコード $agent = $header{'agent'}; $inputport = $sflow{'inputport'}; $length = $sflow{'sampledpacketsize'}; $rate = $sflow{'meanskipcount'}; $tcpport = $sflow{'tcpsrcport'}; if ($agent eq ' ') { if ($inputport == 50) { $count{$tcpport} += $length * $rate; } } フレーム長とサンプリングレートの積をカウント 調べたいルータインターフェイス 2006/9/22 IRS10 14

15 例 : ポート番号別統計解析結果 この場限り 2006/9/22 IRS10 15

16 例 :AS 番号別統計 サンプルコード $agent = $header{'agent'}; $inputport = $sflow{'inputport'}; $length = $sflow{'sampledpacketsize'}; $rate = $sflow{'meanskipcount'}; $dstas = $sflow{'dst_as'}; if ($agent eq ' ') { if ($inputport == 50) { $count{$dstas} += $length * $rate; } } 2006/9/22 IRS10 16

17 例 :AS 番号別統計解析結果 この場限り 2006/9/22 IRS10 17

18 例 :Prefix 別統計 サンプルコード $agent = $header{'agent'}; $inputport = $sflow{'inputport'}; $length = $sflow{'sampledpacketsize'}; $rate = $sflow{'meanskipcount'}; $dstip = $sflow{'dstip'} $dstmask = $sflow{'dstsubnetmask'} $prefix = &prefix($dstip prefix($dstip, $dstmask dstmask); if ($agent eq ' ') { if ($inputport == 50) { $count{$prefix} += $length * $rate; } } 2006/9/22 IRS10 18

19 例 :Prefix 別統計解析結果 この場限り 2006/9/22 IRS10 19

20 例 :AS Hop 数統計 サンプルコード $agent = $header{'agent'}; $inputport = $sflow{'inputport'}; $length = $sflow{'sampledpacketsize'}; $rate = $sflow{'meanskipcount'}; $ashop = scalar(split(/ (/ -/, /, $sample{'dst_as_path sample{'dst_as_path'})); '})); if ($agent eq ' ') { if ($inputport == 50) { $count{$ashop} += $length * $rate; } } 2006/9/22 IRS10 20

21 例 :AS Hop 数統計解析結果 この場限り 2006/9/22 IRS10 21

22 sampledpacketsize の微妙な違い 最長フレームの場合 Foundry BigIron RX Foundry NetIron HITACHI GR OK! FCS が抜けてる ペイロードだけ? 最短フレームの場合 Foundry BigIron RX4 64 Foundry NetIron HITACHI GR OK! FCS が抜けてる ペイロードだけ? プロトコルによりさらに短いこともある コレクタ側で補正して カウントする必要がある ( 涙 2006/9/22 IRS10 22

23 AS 番号フィールドの微妙な違い 正しいルーター dst_as_path dst_as dst_peer_as 2914 HITACHI GR4000 dst_as 2914 dst_peer_as dst_as_path Foundry BigIron RX4( 昔のバージョン ) 意味が逆になっている ひっくり返って 途中が抜けている dst_as_path 途中が 0 に コレクタ側で補正して カウントする必要がある ( 涙 2006/9/22 IRS10 23

24 その他注意点 サンプリングレートの設定あまり頻度を上げると CPU 負荷が上昇 GR シリーズでは 推奨値がマニュアルに掲載 ch/gs4k/1002/html/cfrefhy2/0049.htm Extended Gateway(BGP の情報 ) の対応状況 Force10 未対応 コレクタ側で頑張れるか?? サンプリングのタイミングの違い Ingress Foundry ALAXALA 日立 GR シリーズ Egress Force10 QoS やパケットフィルタによって 結果が異なる場合も 2006/9/22 IRS10 24

25 Ingress VS Egress Ingress ルータ自身から発せられるパケットがサンプリングできない Egress でフィルタされるパケットがサンプリングされてしまう Egress 側で QoS が掛かっていると 実際のパケット送出順序とサンプルの到着順序が異なる場合がある Egress ルータ自身に向かうパケットがサンプリングできない どちらかというと Ingress よりも実状に近いサンプリングが可能 あまり気にする必要はないかもしれませんが 2006/9/22 IRS10 25

26 Discussion! Exporter の微妙な差異を吸収するノウハウ!? あの箱は とか この箱は とか サンプリングレート どれくらいあれば十分? 課金に使うのであれば 誤差が気になるところ 森さんの発表で聞けるでしょうか? DoS アタックの検出もできればいいんだけど うーん やっぱり商用の箱を使うしかないのか!? 2006/9/22 IRS10 26