IPv4アドレス共有技術設計方法とネットワークデザイン上の注意点

紹介塚要 2006 年 NTT コミュニケーションズ社 2006 OCN(AS4713) エッジ NW 設計開発 2008 他社 ISP(AS****) 提案運 2012 IAC( 先端 IP アーキテクチャセンタ ) にて CGN 関連技術の IETF 標準化活動等社外活動 JANOG28 実委員 JANOG30 会場運営委員など Copyright 2013 NTT Communications. All Rights Reserved. 2

CGN/LSN とは? CGN/Carrier Grade NAT( あるいは LSN/Large Scale NAT) とは? Common Requirements for Carrier-Grade NATs(CGNs) [RFC6888:BCP127] 通常の NAT と異なるキャリア網 NAT としての要求条件セッション上限機能 Fullcone NAT 機能ポート割当法 ( 動的 / 静的 ) セッション保持時間 NAT Log の記録標準化とともに CGN の実装は洗練されてきましたこれからどのように展開するかが重要なフェーズです Copyright 2013 NTT Communications. All Rights Reserved. 3

2. 今回の発表で想定する NW コアルータプロバイダ網コアルータ < 条件 > 1 中規模のプロバイダ ( あるいは規模プロバイダの 1 エリア ) 2 左記 POI 配下に 15 万ユーザ 3 現状 IPv4 ユーザのみエッジルータ L3 GW ebgp アクセス網エッジルータ L3 GW CGN の導 <Question> 1 どれだけアドレスが必要か 2CGN 周辺システム ( ログ等 ) はどのくらい必要か 3 アプリケーションへの影響は 4CGN の性能はどのくらい必要か 5 どこに CGN をれるかどのようにルーティングするか Copyright 2013 NTT Communications. All Rights Reserved. 10

3.CGN 設計レシピアドレス設計編 CGN のアドレッシングソースアドレスがグローバル IPv4 アドレスの通信 Home /Office インターネット (IPv4/IPv6) CGN 提供エリア CGN ソースアドレスが共 IPv4 アドレスの通信 CPE CPE CPE CPE プライベートアドレス空間グローバル IPv4 アドレス数は 11 ユーザアドレスあたりのポート使数 2 ポート割当法 ( 動的か静的か ) によって決まります共 IP アドレス空間は 100.64.0.0/10 アドレスを配布します [RFC6598] 提供エリア内の設備アドレスはグローバルをいたが良いと思います Copyright 2013 NTT Communications. All Rights Reserved. 12

3.CGN 設計レシピアドレス設計編 11 ユーザアドレスあたりのポート使数について SPDY/WebSocket などの次世代 Web 技術によってセッションが重畳されるため 1 ユーザあたりのポート使数に変化が起きています SPDY Google Map は複数ポートを利するアプリケーションの象徴として使われてきましたが現在はほとんどポートを消費しません (10 15) Copyright 2013 NTT Communications. All Rights Reserved. 13qq

3.CGN 設計レシピアドレス設計編 Google MAP 閲覧時の同時セッション数 80 SPDY(IE10) vs SPDY(firefox21.0) [ 同時セッション数 ] 70 60 50 40 IE10.pcap firefox.pcap 30 20 3 分の 1 以下 10 0 [sec] 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148 155 162 169 176 183 190 197 204 211 218 225 232 239 246 253 260 Copyright 2013 NTT Communications. All Rights Reserved. 14

3.CGN 設計レシピアドレス設計編代表的なウェブサイトやアプリケーションオンラインゲーム等のセッション数をそれぞれ測り通常の利シーンなどを想定しながら 1 ユーザ当たりのセッション数を明らかにします < 法 > パケットキャプチャによって TCP/UDP セッション数を計測クライアント : Windows7 ( 最新の chrome/firefox) サイト : 本の Top100 サイトおよび有名サービスから抽出対象サイト / サービス ( 抜粋 ) Webmail 映像 / テレビ系映像 / テレビ系 (adult) portal EC blog 検索 Online PC game Online Banking gmail, yahoo mail, hot mail ustream, youtube, ニコニコ動画, Hulu, daily motion, daum, qq fc2, dmm.co.jp, xvideos yahoo.co.jp rakuten, amazon.com, apple.com livedoor blog, ameba blog google aeria games, ameba pig, nexon, 777town, hangame みずほ銀行, DCカード Copyright 2013 NTT Communications. All Rights Reserved.

3.CGN 設計レシピアドレス設計編各サービス分類における平均セッション数 100 90 80 70 60 50 40 30 20 TCPセッション数内 )port 80 内 )port 443 内 ) その他 DNS クエリ数 10 0 メジャーなサイトの https 対応および省セッション化の傾向が反映 Copyright 2013 NTT Communications. All Rights Reserved.

3.CGN 設計レシピアドレス設計編 11 ユーザアドレスあたりのポート使数 ( 観測に基づく仮定 ) 平均セッション数 ( 許容 ) 最セッション数 1ユーザ当たり 100 1000 2 ポート割当法 ( 動的か静的か ) 動的割り当て 1 ユーザあたりの平均ポート利数 (=100) が key factor 1 グローバルアドレスあたり約 600 ユーザ静的割り当て 1 ユーザの最ポート利数 (=1000) が key factor 1 グローバルアドレスあたり約 60 ユーザ 15 万ユーザ収容の場合動的割り当て静的割り当てプールアドレス数 250 2500 Copyright 2013 NTT Communications. All Rights Reserved. 17

3.CGN 設計レシピログ編 NAT ログの積もり Jan 29 16:00:45 sp-ax3000-1 NAT-TCP-C: 100.64.16.1:58622 -> 133.4.40.146:58622 to 133.4.48.65:2000 時刻 CGNホスト名 TCP/UDP 種別送信元アドレス : ポート番号変換後送信元アドレス : ポート番号送信先アドレス : ポート番号 ASCII format: 120byte/record Binary format: 26byte/record (20 25%) 15 万ユーザ収容の場合 1 1 か 2 年 NAT ログ量 1TB 30TB 720TB NAT ログの収集はストレージ価格の低廉化によって現実的なレベルではありませんまたポートブロック割り当てなどログの量を軽減する法も発達しています Copyright 2013 NTT Communications. All Rights Reserved. 19

3.CGN 設計レシピログ編要注意静的割り当ておよびポートブロック割り当てでは警察対応できないケースがあります通信先サーバがポート情報を保持 (RFC6302 対応 ) していない場合 CGN で通信先サーバ情報をログ取得しないとユーザの特定が不可能 P:aʼ を通知ユーザ A を同定可能送信元ユーザ A アドレス : ポート =A:a 変換後 P:aʼ プールアドレス P 通信先サーバ X(RFC6302 対応 ) 送信元ユーザ B B:b 変換後 P:bʼ 通信先サーバ Y( 対応 ) P のみを通知 CGN で宛先サーバを記録していればユーザ B を同定可能送信元ポート情報のない申告に対して法的対応をするには送信先ログの取得が必要となりますしかし送信先ログを取得しようとすると静的割り当てやポートブロック割り当ての旨みは出ません Copyright 2013 NTT Communications. All Rights Reserved. 20

3.CGN 設計レシピアプリケーション編以下に挙げたタイプの挙動をするアプリケーションは CGN を超えることができません VPN 型 P2P 型 SIP 型代表的アプリケーション CGN(NAT) を超えられない理由 L2TP/IPsec, PPTP TCP/UDP のポート番号も暗号化されるため NAT でポート変換ができない skype, P2P file share NAT 外部から不特定多数の接続を待ち受けるアプリケーションであり NAT テーブルが存在しないため VoIP(050plus 等 ) IP アドレス情報がペイロードに含まれており NAT で変換されないため CGN 側対策実装 ALG Fullcone NAT ALG アプリケーション側対策実装 IPsec NAT トラバーサル (UDP カプセル ) STUN/UDP hole punching, TURN TURN ALG (Application Level Gateway) : CGN においてアプリケーションごとに NAT 越えをサポートする機能 Copyright 2013 NTT Communications. All Rights Reserved. 22

3.CGN 設計レシピアプリケーション編 <VPN 型 > L2TP はクライアント側の IPsec NAT トラバーサル (UDP カプセル ) の実装が進んでおり NAT 越えができるケースが多い PPTP に関しては例えば Docomo SP モード網は ALG を OFF にしているとみられる <P2P 型 /SIP 型 > CGN を Fullcone NAT で動作させることによって STUN/UDP hole punching を利した P2P 通信をすることが可能になるしかしアプリケーション側の作りによっては Fullcone NAT であっても P2P 通信を利せずに TURN( サーバ経由通話 ) にフォールバックする (Skype の例 ) CGN にはトランスペアレンシをめるために ALG や FullconeNAT の機能が実装されていますしかし処理が常に重く救済対象とするアプリケーションを選択しなければなりません Copyright 2013 NTT Communications. All Rights Reserved. 23

3.CGN 設計レシピ性能評価編 <CGN の性能評価 > 仮想マシン群から ISP 規模 :1 万 100 万を模したトラフィックを成し負荷をかけた CGN の性能値を測定した DNS サーバについて複数の設置パターンを構成し DNS クエリが CGN に与える影響を調べた障害を模擬した切替実施により HA(High Availability) 構成の有効性を確認した仮想マシンを利した基盤により規模ユーザを模したトラフィックを成するアプリケーションアプリケーションサーバ DNS サーバ A DNS サーバ B DNS サーバの設置場所の変更による CGN に対する影響を計測 2 台の CGN をい HA の構成を作るユーザY Copyright 2013 NTT Communications. All Rights Reserved. 25

3.CGN 設計レシピ性能評価編 < 検証構成 > クライアント側 StarBED DNS サーバ B.125 End-to-End 測定 PC syslog セグメント 192.168.0.0/24 2510 DNS サーバ A.124 サーバ側 StarBED.1 100.64.0.0/20.2.126.1 VRF.2 VIP.4.3 CGN-1 CGN-2.2 VIP.4.3 syslog サーバ群.1.126 VRF.1 133.4.48.0/26.2 100.64.16.0/20 133.4.48.64/26....64.5 CGN-3.5....64 100.67.240.0/20 2501 2502 2503 2504 133.4.63.192/26 100.100.1.0/25 100.100.10.0/28 133.4.16.0/28 133.4.17.0/25 Pool Address 133.4.32.0/20 Copyright 2013 NTT Communications. All Rights Reserved. 26

3.CGN 設計レシピ性能評価編 < 顧客規模と発セッションについて > 顧客の契約数から最同時セッション数の導出は実際のネットワークごとの特徴があり観測が必要となるが以下の仮定に基づいて検証で発させる負荷を算出した契約数 Active 率 (25%) 同時セッション数 (400) = ネットワーク上で想定される最のセッション数検証想定数検証ケースユーザ数アクティブユーザ数同時セッション数小規模 ISP 10000 2500 1000000 中規模 ISP 100000 25000 10000000 大規模 ISP 1000000 250000 100000000 同時セッション数 100M 10M 規模 ISP 中規模 ISP 規模 ISP 1M 1 万 10 万 100 万契約数 Copyright 2013 NTT Communications. All Rights Reserved. 27

3.CGN 設計レシピ性能評価編 A10 AX3000-11 を例として性能評価の結果を記載する AX3000-11 では 16M セッション (=16 万ユーザを想定 ) で限界を迎えた右の表は実証実験でいた装置のカタログスペックである実際には 16M セッション 20K セッション / 秒程度で性能限界に達することがわかった CGNカタログスペック同時セッション数 67M (67 万ユーザ規模 ) セッション / 秒 440K 16 万ユーザ規模を想定したセッション (16M セッション ) を CGN 装置に印加した場合全てのセッションを確することができた (16 万ユーザ規模は収容可能 ) CPU 使率は 80% 程度 26 万ユーザ規模を想定したセッション (26M セッション ) を CGN 装置に印加した場合 20M セッションで限界となった (26 万ユーザ規模は収容不可能 ) CPU 使率は 90% 程度 ( 閾値超過の警告発 ) Copyright 2013 NTT Communications. All Rights Reserved. 28

3.CGN 設計レシピ性能評価編以下の 3 パターンについて同の負荷を印加し CGN の性能への影響を検証したパターン1 パターン2 パターン3 ユーザに配布するDNS サーバ CGNの外側に置かれた DNSサーバ CGNの内側に置かれたDNS サーバ CGNの内側に置かれたDNS サーバ新規 DNSの設置についてなし CGN 配下のドメインに新規に DNSサーバを設置 CGN 配下のドメインに新規に DNSサーバを設置内側外側の - CGNを通る CGNを通らない DNSサーバ間通信通過するクエリ全てのDNSクエリがCGN を通過する第三者の運用するDNSを利用しているユーザのDNSクエリフォワーダからフルリゾルバへの DNSクエリ + 第三者 DNSを利用しているユーザのDNSクエリパターン 1 パターン 2 パターン 3 アプリケーション DNSサーバA フルリゾルバアプリケーション DNSサーバA フルリゾルバアプリケーション DNSサーバA フルリゾルバアプリケーションサーバアプリケーションサーバアプリケーションサーバ DNS サーバ B DNS サーバ B フォワーダフォワーダ Copyright 2013 NTT Communications. All Rights Reserved. 29

3.CGN 設計レシピ性能評価編 A10 AX3000-11 を例として DNS クエリの影響の評価を記載する AX3000-11 では DNS クエリの影響がほとんどないことがわかった負荷トラフィックとして 16M 同時セッションとなる TCP 通信 (port80) に加えてホスト名を解決するための 16M クエリの UDP 通信 (port53) を発させたパターン 1 とパターン 2 を較するとった影響はられなかった AX3000 では DNS のセッション保持時間のが 3 秒と短いため最でも 40K セッションしかセッションエントリを消費しなかったパターン 1 とパターン 3 の較では実際にキャッシュ効果により CGN を通る DNS パケット数が減少することが確かめられたこの場合でも DNS クエリによる負荷の増はられなかったパターン 1 パターン 2 パターン 3 Copyright 2013 NTT Communications. All Rights Reserved. 30

3.CGN 設計レシピ性能評価編 < 冗構成検証 > トラフィックを印加した状態で HA 構成の 2 台へ通信を切り替える切り替えによっても通信影響が発しないことを確認する多くの CGN は Act-Sby 構成で動作しセッション情報の同期をう 16 万ユーザ規模のセッションを印加し 0 系の CGN をダウンさせ 1 系側にセッションを移すアプリケーションアプリケーションサーバ Heart Beat 線を接続しセッション情報をやり取りして共有している Copyright 2013 NTT Communications. All Rights Reserved. 31

3.CGN 設計レシピ性能評価編 A10 AX3000-11 を例として Act-Sby の切替の結果を記載する HA 切替によって 30msec 程度の遅延が発することが確認された切り替えの前後でセッション数が減少しないのはセッション同期がわれているためこれは CPU 使率の推移からもわかる切り替えの前後でパケットロスは発しなかったが若の遅延が発したしかしながらサービスにきな影響を与えるものではなく CGN で HA 構成をとることは ISP が安定してサービスを提供する上で選択し得るソリューションとなる切り替え実施切り替え実施 Copyright 2013 NTT Communications. All Rights Reserved. 32

3.CGN 設計レシピルーティング編性能評価の結果より 10 数万ユーザ程度を集約する階層にも設置が可能考慮すべき点 ebgp や ibgp といったダイナミックルーティングができない CGN が多いため以下の部分には設置できない ebgp の境界 ibgp が動作するルータの間ネットワーク設計例エッジルータのルーティングを論理的に分割しこの間に設置する ( ダイナミックルーティングをエッジルータで終端できる ) 2 台 1 セットにする (HA 構成を取り耐障害性をめる ) L3 GW L3 GW Copyright 2013 NTT Communications. All Rights Reserved. 34

4.IPv6 化によるトラフィックオフロード CGN を提供する際には IPv6 サービスと抱合せて提供することを推奨します IPv6 が提供されていれば 1 ユーザ当たりの CGN に対する負荷は軽減されますさもなくば暫定解である CGN への依存が継続しコスト ( なおかつ低スペック ) なサービスであり続けることになります Copyright 2013 NTT Communications. All Rights Reserved. 35

5. まとめ CGN を含む全てのアドレス共有技術は暫定解アプリケーションへの影響をゼロにはできないため暫定解として極使える技術を選択したい NAT444+IPv6 DS-lite 464xlat MAP-E 特に CGN はベンダの実装が進みアプリケーションへの影響も詳しく調べられており対処できるものが進んでいる CGN の適材適所 CGN 設計指針となる連の流れを紹介しました Copyright 2013 NTT Communications. All Rights Reserved. 36

謝辞 This research and experiment are conducted under the great support of Ministry of Internal Affairs and Communications of Japan. 本研究は H24 年度 IPv4 アドレス枯渇に伴う情報セキュリティ等の課題への対応に関する実証実験において総務省からの援を基にった成果です Copyright 2013 NTT Communications. All Rights Reserved. 37