JANOG30会場ネットワークこんな感じで作ってみた

Size: px

Start display at page:

Download "JANOG30会場ネットワークこんな感じで作ってみた"

りさこかみいしづ
4 years ago
Views:

1 JANOG30 DAY2 昼休みセッション JANOG30 会場ネットワークこんな感じで作ってみた JANOG30 会場運営委員大久保修一川上雄也高橋祐也

2 Agenda JANOG30 会場ネットワークの概要 ( 大久保 ) バックボーン無線 LANの構成 ( 高橋さん ) LISPの構成 ( 川上さん ) 4rdの構成 ( 大久保 ) 質疑応答

3 会場ネットワークの目的 Internet connectivity 提供スタッフ向け ( イベント運営のため ) 発表者向け一般出席者向け出展社向けストリーミング中継のためおもしろテクノロジーのチャレンジ & トライアルということでいろいろ遊んでみました!

4 実験ネットワークのコンセプト IPv6 ネイティブバックボーンにおける IPv4 オーバレイ方式の実装具体的には 4rd( 旧 4rd draft-murakami-softwire-4rd) LISP

6 バックボーン Standard 4rd LISP アクセス部分

7 高橋さんよろしくおねがいします!

8 アクセス周り +α

9 KCT 様バックボーン IPv4/IPv6 インターネットボーダルータ EX4200 janog30-vmware1,2 4rd CE FNSC 様 IPI 様 IIJ 様総ケーブル長 : 約 500 メートル SW1(AT-x210-24GT) SW2 FS909M-PS SW3 FS917M-PS SW4 FS917M-PS SW6 FS909M-PS SW5 FS917M-PS SW7 FS909M-PS AP1 AP3 AP2 AP5 AP11 AP9 AP8 AP10 SW8 FS909M-PS AP13 AP4 AP6 AP7 AP12 SW9 FS926M-PS 発表者席ストリーミング司会席スタッフ席スタッフ控室受付出展社参加者控室

10 バックボーンダークファイバ (1Gbps)

11 NOC

12 KCT 様バックボーン IPv4/IPv6 インターネットボーダルータ EX4200 janog30-vmware1,2 4rd CE FNSC 様 IPI 様 IIJ 様総ケーブル長 : 約 500 メートル SW1(AT-x210-24GT) SW2 FS909M-PS SW3 FS917M-PS SW4 FS917M-PS SW6 FS909M-PS SW5 FS917M-PS SW7 FS909M-PS AP1 AP3 AP2 AP5 AP11 AP9 AP8 AP10 SW8 FS909M-PS AP13 AP4 AP6 AP7 AP12 SW9 FS926M-PS 発表者席ストリーミング司会席スタッフ席スタッフ控室受付出展社参加者控室

13 ケーブリング

14 ケーブリング

15 KCT 様バックボーン IPv4/IPv6 インターネットボーダルータ EX4200 janog30-vmware1,2 4rd CE FNSC 様 IPI 様 IIJ 様総ケーブル長 : 約 500 メートル SW1(AT-x210-24GT) SW2 FS909M-PS SW3 FS917M-PS SW4 FS917M-PS SW6 FS909M-PS SW5 FS917M-PS SW7 FS909M-PS AP1 AP3 AP2 AP5 AP11 AP9 AP8 AP10 SW8 FS909M-PS AP13 AP4 AP6 AP7 AP12 SW9 FS926M-PS 発表者席ストリーミング司会席スタッフ席スタッフ控室受付出展社参加者控室

16 Access Point Janog30 Janog30-a Janog30-4rd-fnsc Janog30-4rd-seil Janog30-4rd-ipi Janog30-staff コントローラー

17 Wireless LAN AP2 AP1 AP5 AP4 AP3 1ch 6ch 11ch AP7 AP6 ホール外 6 台計 13 台

18 Wireless LAN

19 Wireless LAN 時間

20 監視系

21 sflow CentreCOM AT-x210-24GT でサンプリング

22 sflow CentreCOM AT-x210-24GT でサンプリング

23 Cache DNS Cache DNS Server Unbound ldns OpenSSL 1.0.1c ECDSA 楕円暗号に対応

24 みなさまからの声 Ustream きれい! プロみたい

25 カメラマンスイッチャー

27 ストリーミングスライド中継車 Ustream

28 話がそれましたが

29 LISP 川上さんお願いします

30 この資料では理解を容易にするため一部技術的には正しくない表現や図が用いられています

31 LISP という技術がありまして今回その β ネットワークを提供しています SSID: janog30-lisp

32 LISP?

33 LISP? (for-each print (map (lambda (x) (cond ((= (modulo x 15) 0) "FizzBuzz") ((= (modulo x 5) 0) "Buzz") ((= (modulo x 3) 0) "Fizz") (else x))) (iota 100 1)))

34 LISP Location Identifier Separation Protocol IP アドレスには場所を示す Locator とホストを特定する Identifier の 2 つの機能が混在しいるそれらを分離することでいろいろな問題を解決する経路爆発とかモビリティとか TE とか Locator (RLOC) IP アドレス Identifier (EID)

35 LISP site 同士の通信 /24 xxx.xxx.xxx.73

36 ルータにパケットを送る /24 xxx.xxx.xxx.73 IP(153.) Paylaod

37 Map-Resolver というものがある Map-Resolver MR /24 xxx.xxx.xxx.73 IP(153.) Paylaod

38 Identifier と Locator の Mapping を解決するはどこにいる? Map-Resolver MR /24 xxx.xxx.xxx.73 IP(153.) Paylaod

39 Identifier と Locator の Mapping を解決するはどこにいる? Map-Resolver MR xxx.xxx.xxx.73 だよ /24 この図は正確ではありません xxx.xxx.xxx.73 IP(153.) Paylaod

40 カプセル化して送るはどこにいる? Map-Resolver MR xxx.xxx.xxx.73 だよカプセル化 /24 この図は正確ではありません xxx.xxx.xxx.73 IP(211.) LISP(UDP) IP(153.) Paylaod

41 decap してホストに届けるはどこにいる? Map-Resolver MR xxx.xxx.xxx.73 だよカプセル化 /24 この図は正確ではありません xxx.xxx.xxx.73 IP(153.) Paylaod

42 LISP 用語はどこにいる? Map-Resolver MR ITR xxx.xxx.xxx.73 だよ EID カプセル化 /24 この図は正確ではありません xxx.xxx.xxx.73 RLOC IP(RLOC) LISP(UDP) IP(EID) ETR Paylaod

43 この動作どこかで見た

44 それ DNS? ちょっとだけ違います

45 LISP-DDT (Delegated Database Tree) ETR-MS Resist Map-Request Map-Referral Map-Reply Map-Resolver 3 ITR MR 4 6 DDT-node Mapping 解決 9 DDT DDT MS ETR LISP ROOT /0 1Prefix 移譲 LISP-Beta /16 2Prefix 移譲 Asia-Pacific Map-Server /20 3Mapping 登録 JANOG /24

46 Identifier から Locator を解決ホストアドレスを維持したままネットワークの場所を変えられる

47 Q.Mapping が解決するまでパケットはどうなってるの? A.Drop されてます

48 最初の数パケット落ちる ping #ping source Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to , timeout is 2 seconds: Packet sent with a source address of !!! Success rate is 60 percent (3/5), round-trip min/avg/max = 32/33/36 ms #ping source Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to , timeout is 2 seconds: Packet sent with a source address of !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 32/32/36 ms お手元の環境では既に resolve されているのでネットワークの品質に問題ありません

49 LISP-site と Internet の通信 ( 昨日 ) PxTR 鯖 apanpxtr LISP Tunnel (v4 over v4) (v6 over v6) xtr janog -xtr xtr = ITR/ETR JANOG /24

50 往路の traceroute % traceroute -q 1 traceroute to candy.janog.gr.jp ( ), 64 hops max, 52 byte xtr packets 1 janog-xtr.lisp4.net ( ) ms static.cx.kct.ne.jp ( ) ms static.cx.kct.ne.jp ( ) ms ( ) ms GW 5 r025.tr9.kct.ne.jp ( ) ms 6 l070.tr4.kct.ne.jp ( ) ms 7 p025.net tokai.or.jp ( ) ms ( ) ms ( ) ms 10 r otemachi.net.bbx.ad.jp ( ) ms 11 d48i016.bbx.ad.jp ( ) ms ( ) ms 13 xg2-1-notemachi-core16.sphere.ad.jp ( ) ms 14 g0-9-fdm-arena-gw1.sphere.ad.jp ( ) ms 15 g0-1-fdm-arena-gw4.sphere.ad.jp ( ) ms ( ) ms

51 復路の traceroute % traceroute -q traceroute to ( ), 64 hops max, 52 byte packets 5 po1.sr7.b9a.freebit.net ( ) ms 6 ae0.26.tr2.b9a.freebit.net ( ) ms ( ) ms ( ) ms ( ) ms ( ) ms 11 alaxala1.otemachi.wide.ad.jp ( ) ms 12 ve-5.foundry6.otemachi.wide.ad.jp ( ) ms 13 apan-pxtr.otemachi.wide.ad.jp ( ) ms 14 janog-xtr.lisp4.net ( ) ms ( ) ms xtr PxTR

52 今回のテーマは IPv6 バックボーンで IPv4 接続性

53 Proxy ETR を使って往路も IPv6 でトンネル! router lisp ipv4 use-petr 2001:200:E000:17::172 ipv6 use-petr 2001:200:E000:17::172

54 今日の LISP-site と Internet の通信 PxTR 鯖 apanpxtr LISP Tunnel over IPv6!! xtr janog -xtr JANOG /24

55 往路の traceroute /Users/yuyarin% traceroute -q 1 traceroute to candy.janog.gr.jp ( ), 64 hops max, xtr 52 byte packets 1 janog-xtr.lisp4.net ( ) ms 2 apan-pxtr.alt.lisp4.net ( ) ms 3 tyo-t1600-xe jp.apan.net ( ) ms 4 tpr2-ae0-6.jp.apan.net ( ) ms PxTR ( ) ms 6 cm-ote255.kddnet.ad.jp ( ) ms ( ) ms 8 xg3-3-notemachi-core16.sphere.ad.jp ( ) ms 9 g0-9-fdm-arena-gw1.sphere.ad.jp ( ) ms 10 g0-1-fdm-arena-gw4.sphere.ad.jp ( ) ms ( ) ms

56 往路の traceroute6 /Users/yuyarin% traceroute6 -q 1 -n traceroute6 to candy.janog.gr.jp (2001:2c0:44e:1::106) from 2610:d0:3216::69ff:22a9:a6c9:1444, 64 hops max, 12 byte packets :d0:3216:: ms :e90:30:1000:: ms :e90:30:2:: ms :e90:5190:12:: ms :e90:0:38:: ms :e90:0:26:: ms :268:f702:e:: ms :268:fb30:7:: ms :268:fb02:41:: ms :268:fb02:2:: ms :268:f702:1a:: ms :200:901:7:: ms :200:e000:17:: ms :200:901:7:: ms 15 * :218:6000:2000:: ms xtr PxTR トンネルの間の経路も見えるよ!! プロトコルがマッチすると TTL を写す仕様なので v4/v4 や v6/v6 ではトンネル区間も見える

57 今回のトラブル

58 6 月 26 日昼ホットステージで LISPコンフィグ中にオーストラリアにある APNICのMR-MSが落ちる壊しちゃったのかと焦る

59 6 月 28 日急遽シンガポールに新しい MR-MS が立てられるでもうまく動かない... ありがとうございます

60 7 月 3 日昼 JANOG 設営前日なのにオーストラリアのMR-MSがまた落ちるしかもハードウェア障害 \(^o^)/

61 7 月 5 日朝まで新しいMR-MSを参照するも一部のサイトに対しては依然として通信が通らない US は独立記念日でお休み \(^o^)/

62 MSS の問題でした m( )m interface GigabitEthernet0/0 description janog30-lisp ip address ip tcp adjust-mss 1400 ipv6 address 2610:D0:3216::1/64 戻りのパケットがカプセル化される時に MTU サイズをオーバーしてしまう

63 LISP-site と Internet の通信 ( 昨日 ) PxTR 鯖 LISP Tunnel apanpxtr janog -xtr ここでカプセル化される時に MTU サイズをオーバーしてしまう xtr JANOG /24

64 無事 LISP つながりました! つながらないサイトがあったら教えてくださいはつながりません

65 おーくぼさんんへ!

66 4rd について

67 4rd(MAP) とは? IPv6 ネットワークを超えて IPv4 ネットワークを提供する方式 6rd の逆パターンアクセス側 (ISP 等 ) で使用される技術宅内ルータ (CE 側 ) で NAT を行うキャリア側 (BR 側 ) はステートレスよく DS-Lite と対比される ( キャリア側で NAT) 現在 IETF で MAP という名称で標準化作業がなされている

68 アドレスとポートのマッピング Port-set ID <--- CE 4rd prefix --- -> IPv4 shared address ' IPv4アドレスとポート番号 < > EA-bit length : : : : IPv6アドレス : : : / : Domain IPv6 suffix : : Domain IPv6 prefix EA-bits ' < max > < CE IPv6 address (128) >

69 4rd BR 4rd CE

70 4rd の構成 IPv6 インターネット IPv4 インターネット IPv6 ルータ KCT さんデータセンター 4rd Border Relay 本会議場 ( 芸文館 ) 4rd CE IPv6 バックボーン FNSC SEIL IPI IPv6 IPv4 IPv6 IPv4 IPv6 IPv4

71 3 社様による 4rd 相互接続実験 SSID janog30-4rd-fnsc janog30-4rd-seil janog30-4rd-ipi 提供社様名古河ネットワークソリューション株式会社様株式会社インターネットイニシアティブ様 IP Infusion Japan 合同会社様是非試してみてください!

72 パラメータ Domain 4rd prefix: xx.xx.xx.0/24 Domain IPv6 prefix: xxxx:xxx::/32 CE IPv6 prefix: xxxx:xxx:31::/48 (FNSC) xxxx:xxx:32::/48 (SEIL) xxxx:xxx:33::/48 (IPI) Port-Set ID: 8bit Domain IPv6 suffix: ::1 4rd BR IPv6 address: xxxx:xxx:30:1::2 Tunnel Interface IPv4 MTU: 1460

73 簡単に言うと IPv6/32を持っているISPを想定 1ユーザ当たりIPv6/48を配布 1つのIPv4アドレスを256ユーザで共有 1ユーザあたりの割当ポート数 :240 個

74 CE 毎の IP アドレスポート番号 CE IP アドレスポート番号 FNSC xxx.xx.xxx ~ ~ ~ ~4895( 計 240 個 ) SEIL xxx.xx.xxx.0 省略 ( 計 240 個 ) IP Infusion xxx.xx.xxx.0 省略 ( 計 240 個 ) XXXX:XXX:0031::/48 IP アドレス xxx.xx.xxx.0 ポート番号 XXXXXXX 39040~ XXXXXX 19520~ XXXXX 9760~ XXXX 4880~4895

75 4rd BR の写真倉敷ケーブルテレビさんのデータセンターに古河ネットワークソリューションさんの装置を置かせていただいてます!

76 4rd CE の写真会場内舞台そでに設置 FNSC さん IIJ さん IPI さん

77 アクセスの状況昨日 (7/5) の状況 4rd BR のトラフィック無線 AP の接続数全体の 1/3 くらいのユーザが 4rd

78 ソースポート番号分布 ( 標準 ) 接続回数 JPNE 久保田さん調査ソースポート番号ソースポートはインクリメント

79 ソースポート番号分布 (FNSC) 128 ソースポートを検知 JPNE 久保田さん調査ソースポートは 4rd の 1 ブロックのみを利用その中でインクリメントブロック上限に達した所で最初のポートが開放されているのか再利用

80 ソースポート番号分布 (SEIL) 240 ソースポートを検知 JPNE 久保田さん調査ソースポートは 4rd の 4 ブロックを利用その中でインクリメントブロック上限に達した所で次のブロックから割り当て

81 ソースポート番号分布 (IPI) 240 ソースポートを検知 JPNE 久保田さん調査ソースポートは 4rd の 4 ブロックを利用その中でインクリメントブロック上限に達した所で次のブロックから割り当て

82 実装上注意した点 4rd CE 側で TCP MSS 調整を効かせる IPv6 MTU = 1460 ( ) TCP MSS = 1440 ( )

83 テスト結果より一部アプリケーション動作の制約 VPN 系 (PPTP L2TP/IPsec) P2P(Skype がスーパーノード経由 ) FTP Active mode( サポートしていない実装もあり ) NAT の挙動ヘアピン NG エンドポイント非依存マッピング NG の実装あり

84 最後に

85 回線機材提供企業様株式会社倉敷ケーブルテレビ様シスコシステムズ合同会社様アライドテレシス株式会社様古河ネットワークソリューション株式会社様株式会社インターネットイニシアティブ様 IP Infusion Japan 合同会社様丸紅アクセスソリューションズ株式会社様さくらインターネット株式会社様 JANOG30 実行委員会および JANOG 運営委員ご協力ありがとうございます m( )m

86 サーベイご協力のお願い tools の wiki にサーベイ用のページを作成しました最後の休憩 (15:40) 以降一部ネットワークの撤収を始めますのでそれまでに

87 質疑応答

3. LISP B EID RLOC ETR B 4. ETR B ITR A 1: LISP 5. ITR A B EID RLOC 6. A SYN 7. ITR A ITR A B EID RLOC SYN ITR A RLOC ETR B RLOC 8. ETR B SYN ETR B B

3. LISP B EID RLOC ETR B 4. ETR B ITR A 1: LISP 5. ITR A B EID RLOC 6. A SYN 7. ITR A ITR A B EID RLOC SYN ITR A RLOC ETR B RLOC 8. ETR B SYN ETR B B L-020 SYN Cookies Locator/ID Separation Protocol Locator/ID Separation Protocol implementation considering SYN Cookies Watanabe Takaya Takashi Imaizumi 1. AS Autonomous System ISP IETF Locator/ID Separation

JANOG30会場ネットワーク こんな感じで作ってみた

JANOG30会場ネットワークこんな感じで作ってみた