StarBED を用いた大規模ネットワークにおける分散システム検証 National Institute of Information and Communications Technology 原井洋明情報通信研究機構光ネットワーク研究所ネットワークアー

Size: px

Start display at page:

Download "StarBED を用いた大規模ネットワークにおける分散システム検証 National Institute of Information and Communications Technology 原井洋明情報通信研究機構光ネットワーク研究所ネットワークアー"

ゆいとたつざわ
4 years ago
Views:

1 StarBED を用いた大規模ネットワークにおける分散システム検証原井洋明情報通信研究機構光ネットワーク研究所ネットワークアーキテクチャ研究室長実験実施者 : 藤川賢治戸室知二田崎創大西真晶森岡和行福島裕介 2015 年 10 月 20 日新世代ネットワーク推進フォーラム第 22 回テストベッドネットワーク推進 WG

2 StarBED といえばプロジェクトでは纏まった数のサーバ調達が困難 1000 台を超える実機を用いて検証ができる発表者の研究室スタッフの充実に伴ない使わせて戴くことにした数学的検証方式検討シミュレーション検証大規模検証ソフトウェアハードウェア開発実験室小規模検証大規模エミュレーション検証テストベッド検証 2

3 利用した StarBED サーバグループ名 PCサーバの型式設置数導入年利用数 F NEC Express Rg HA R HI G Proside Amazelast neo H HP ProLiant DL320 G5p I Cisco UCS C200 M J Cisco UCS C200 M2 82* K Cisco UCS C200 M L Cisco UCS C200 M M Cisco UCS C200 M N DELL PowerEdge C O SeaMicro SM15000-XE

4 講演の内容研究の方向性と内容 StarBED 3 をさまざまな分散システムの検証に階層型自動番号割当 HANA インターネット規模でサーバ協調によりアドレス空間を配布局所情報を用いた分散経路制御リンクノードの join/leave が時々刻々と変動する環境で全域情報の把握に頼らず到達性を求める ID ロケータ分離機構 HIMALIS 故障時の経路切替検証何度も StarBED を利用させていただき改めてこの場をお借りして御礼申し上げます 4

5 将来ネットワーク ITU-T 勧告 Y つの目的 12 個の設計目標 Rec ITU-T Y.3001, Future Networks: Objectives and Design Goals 5

6 ネットワークアーキテクチャ研究室研究開発ターゲット Service Diversity Functional Flexibility Energy Consumption Network Management Reliability Data Access Mobility ( 局所情報による経路制御 ) 2020 年の未来社会を支えるネットワークをつくります Data Access Identification Mobility Reliability and Security 6

HRKc302kssv0400 0/5 HRKc302kssv0500 0/6 HRKc302kssv0600 0/7 HRKc302kssv0700 ホスト名 0/8 IP HRKc302kssv0800 GW IP HRKc104krsv01000/9 10.192.127.20 HRKc302kssv0900 10.192.1 HRKc104krsv01010/10 10.192.127.1 HRKc302kssv1000 10.

7 ネットワーク設定が煩わしい... ネットワーク構築がメンドーでしょ? 大規模ネットワーク構築で設定ミスしたらたいへんですね保全対策冗長化 IP アドレス割当ネットワーク更改ネットワーク増設安全対策接続ポートタグ付け VLAN 割当確認確認指差し確認収容 SW ポート番号サーバホスト名 HRKc302pf /1 HRKc302kssv0100 0/2 HRKc302kssv0200 0/3 HRKc302kssv0300 0/4 HRKc302kssv0400 0/5 HRKc302kssv0500 0/6 HRKc302kssv0600 0/7 HRKc302kssv0700 ホスト名 0/8 IP HRKc302kssv0800 GW IP HRKc104krsv01000/ HRKc302kssv HRKc104krsv01010/ HRKc302kssv HRKc104krsv01020/ HRKc302kssv HRKc104krsv01030/ HRKc302kssv HRKc104krsv01040/ HRKc302kssv HRKc104krsv01050/ HRKc302kssv HRKc104krsv HRKc303pf /1 HRKc303kssv0100 HRKc104krsv /2 HRKc303kssv0200 HRKc104krsv HRKc104krsv01090/ HRKc303kssv HRKc104krsv01ma0/ HRKc303kssv KHNcd02krsv01000/ HRKc303kssv KHNcd02krsv01010/ HRKc303kssv KHNcd02krsv01020/ HRKc303kssv KHNcd02krsv01030/ HRKc303kssv KHNcd02krsv01040/ HRKc303kssv 消費者向けサービス事業で総務省に報告される規模の事故で人為要因は2013 年 133 件 ( 全体の2%)

もちろんIPv6でも小さな経路表で網安定と省エネ複数のロケータ上位部と組合せロケータを割当 ZebOS AX-OS

8 階層型自動番号割当 [HANA] 人手をかけず稼働率の高いネットワークを構築する技術ロケータ上位部ロケータ上位部特長同時複数経路で耐障害性向上自動割当で管理者負担軽減 PC 千台の網で番号設定負担 1/100 アドレス更新も簡単 IPv4でももちろんIPv6でも小さな経路表で網安定と省エネ複数のロケータ上位部と組合せロケータを割当 ZebOS AX-OS ロケータ下位部はネット内部で割当ネットワーク検証実績 JGN-X にネットワーク構築動作検証 46,000 ネットワークでの動作検証 SDN との連携耐災害の観点からの検証仙 -8- 台

StarBED 3 における HANA 検証 (2011 年 ) 10,000 AS

UCS C200 M2) Locator Assign Visualization Setup

9 StarBED 3 における HANA 検証 (2011 年 ) 10,000 AS エミュレーション Debian GNU/Linux 6.0 の LXC に実装 Emulation on StarBED 3 Group H 80 nodes (HP ProLiant DL320) Group L 100 nodes (Cisco UCS C200 M2) Locator Assign Visualization Setup Time Control Overhead(10K AS) AS ごと 2.5kbps K. Fujikawa, H. Tazaki, H. Harai, SAINT2012 9

10 HANA を北陸 StarBED 技術センターの皆様に宣伝いただきました御礼申し上げますこれが世界最大規模のテストベッドの全貌だ : 潜入! 北陸 StarBED 技術センター IT Media Inc Master of IP Network ( ) 記事によるとすでに 1 万 AS での検証は完了し今は 3 万 6000AS での大規模検証が行われているとのこと発表文献をくださいと聞かれる... やるにはやったんですが発表は StarBED のこの会までとっておきましたそうこうしてる間に見える AS が 4 万 6000 に増えてましたが 10

11 HANA のインターネット規模性検証 (2012~) 実インターネット AS 規模の 46,000 ノードで HANA を稼動ノード間でのアドレス空間割当動作を検証 IPv4 および IPv6 アドレス体系ともに検証制御量は AS 平均 10kbps HANA 実験の構造 (CAIDA の実測データベースより作成 ) 最上位 AS 数 821 中間 AS 数 6,234 最下位 AS へのアドレス空間割当最下位 AS 数 39,122 合計 AS 数 46,177 機器毎の HANA 制御メッセージ量親を沢山もつ AS の親数 44 子を沢山もつASの子数 4,275 BGPで利用するリンク数 177,397 HANAで利用するリンク数 81,661 平均値 :AS ごと 10kbps リンクごと 6kbps StarBED3 で利用した 10 機の物理サーバの諸元 CPU Intel Xeon E (2.00GHz 8 core ) x 2 Memory 128 GB (DDR3-1333)

12 Simulation Example (1) Initial Status Each administrator of toplevel ASes assigns address space AS1: 1/8 AS2: 2/8

13 Simulation Example (2) TCP connection TCP connection established

14 Simulation Example (3) Midfix allocation M:0.1/8-16 M:0.1/8-16 M:0.2/8-16

15 Simulation Example (4) Prefix distribution P:1/8 P:2/8 P:2/8

16 Simulation Example (5) TCP connection TCP TCP connection connection established established

17 Simulation Example (6) Midfix allocation M:0.0.2/16-24 M:0.0.1/16-24 M:0.0.1/16-24 M:0.0.2/16-24

18 Simulation Example (7) Prefix distribution P:1.1/16 P:2.1/16 P:2.2/16 P:1.1/16 P:2.2/16

19 Simulation Example (8) Prefix is changed Administrator changes prefix from 1/8 to 3/8.

20 Simulation Example (9) Changed prefix distribution P:3/8 P:3.1/16 P:3.2/16

21 HANA のインターネット規模性検証 ( 可視化 ) 全体へのドレス空間割当最下位 AS へのアドレス空間割当

0/24 VM HANA Router VM VM VM HANA Router VM VM VM HANA Router VM VM 20VMs 従来までのフラットな構成物理ノード 10 台 (200 台まで拡張可能 ) VM は計 200 台 ( 計

22 StarBED 利用者向けネットワークを HANA で構築階層的な IP ネットワークを StarBED で簡単に構築できるようになりました実験の自由度が広がります L2 スイッチは物理ノードの個数分 (10~200 個 ) の MAC アドレスを学習 L2SW TOP HANA Router HANA がアドレスを自動設定外部接続時にリナンバリングやマルチホーム構成も容易 (VM の一つにより実装 ) / / /24 VM HANA Router VM VM VM HANA Router VM VM VM HANA Router VM VM 20VMs 従来までのフラットな構成物理ノード 10 台 (200 台まで拡張可能 ) VM は計 200 台 ( 計 4,000 台 ) L2 スイッチは最大 4,000 個の MAC アドレス学習が必要障害切分けも困難 L2SW /16 DHCP Server DHCP サーバもしくはネットワーク管理者がアドレスを設定 VM VM VM VM VM VM VM VM VM

局所情報を用いた分散経路制御ドロネーオーバレイ迂回ルーティング Cf) M. Ohnishi, H. Harai, APSITT 2015.

位置座標に基づいてデータを目的地に近い方向へ転送近隣だが転送の仕組み上到達不能の場所がある近隣だが物理制約上到達不能の場所がある迂回経路を作る =>

23 局所情報を用いた分散経路制御ドロネーオーバレイ迂回ルーティング Cf) M. Ohnishi, H. Harai, APSITT 災害時等トポロジーが変動するネットワークの全体トポロジを把握せずに経路表を構築全方位の近隣ノードに対してのみ経路表を作成位置座標に基づいてデータを目的地に近い方向へ転送近隣だが転送の仕組み上到達不能の場所がある近隣だが物理制約上到達不能の場所がある迂回経路を作る => 局所の情報で作る JAVA VM を用いた実装の2,500ノード検証 Cisco UCS C200 M2 を最大125機 CPU Intel Xeon X5670 (2.93GHz 6 core ) x 2 Memory 48 GB 23

24 ID通信機構 HIMALIS のホスト2000台規模ネットワーク構築 IPアドレスに依存しない通信モビリティマルチホーム認証故障回復通信障害検知回復等のゲートウェイ間連携レジストリ間連携など分散シ path failure detection ステムの検証評価 link failure injected Transit Network 3rd PT expired (failure detected) recovery complete Send (ID layer) HNR1 RT1 RT2 IPv4 Edge Network1 MH 1600 received datagrams 1400 Send (Dump) hop 平均 RTT 283 µs HG2-2 HG3-1 AAR2 Edge Network2 LNS2 HG3-2 AAR3 Edge Network Time (s) 24 3rd PT expired failure detected 1682 IPv4 IPv6 LNS Recv (Dump) HG1-2 HG2-1 HG Recv (ID layer) RT4 RT3 X 4-hop 平均 RTT 706 µs 26 location update for CH 1680 LNS3 packet redirection switch from HG1-2 to HG1 X CH received datagrams Time (s) lively path exploration 100 nodes モバイルホスト 20VMs/node ホスト2,000台規模検証環境 path recovery Cf) Y. Fukushima et al., ICUFN Cisco UCS C200 M2 (グループ K, L) CPU Intel Xeon X5670 (2.93GHz 6 core ) x 2 Memory 48 GB, 6 GbE NICs 24 Packet ID DNR Packet ID IPv4 AAR1 2nd PT expired 1st PT expired

HIMALIS シグナリングストームの検出改善 Transit Network HNR ホスト 2 千台の ID ロケータ情報登録検索 mh 1 1.5 2 2.5 3 3.

25 HIMALIS シグナリングストームの検出改善 Transit Network HNR ホスト 2 千台の ID ロケータ情報登録検索 mh Time [s] locator allocation (DHCP) host registration host authentication location update ホスト 1 台のときのネットワーク接続時間 ( 秒 ) HG HG ホスト認証の負荷増大により接続シーケンスタイムアウト再接続多発位置情報更新名前解決アクセス制御ノード番号発表者都合により非公開認証サーバネームレゾルバロケータ割振りホスト認証 Time [s] ロケータ割振り locator allocation (DHCP) ホスト認証 host authentication ローカルホスト登録 host registration 位置情報更新 location update ホスト 100 台のネットワーク接続 (2014 年 4 月時点 ) Edge Network HIMALIS の認証付き制御プレーン認証サーバネームレゾルバの負荷増大による接続シーケンスの爆発 ( ストーム ) を検出 => ソフトウェアの改善策導出ホスト 1,000 台の接続を確認 (2015 年現在 ) 25

26 StarBED 3 利用 Tips (2013 年 12 月 ) ノード操作がより簡単にディスク読み書込み速度が改善今年度操作スクリプト一新 350GB のディスクコピーが 2 時間程度以前は信用のおける定量データがないので感覚で割当てマシンスペックに大きく依存と思いますが 2011 年ごろのマシンでは終夜ディスクコピーしてた (250GB 以上と思います ) 100 台使用すると数台は同じ作業を行っても結構な割合で不具合あると感じる理由は色々 : ディスク障害メモリ障害 NIC BIOS 設定不備など ) 利用要望書は早め提出時間が足りない時は延長申請可来月の利用申請は毎月 15 日 2013 年度現在の利用要望は 300% 超 KVM コンソールが応答しない昨日できたことができないとき StarBED 側の問題である可能性大すぐに連絡あまり頑張らない一部非公開 26

27 まとめ分散システムの大規模検証階層型自動番号割当 HANA 局所情報経路制御 ID ロケータ分離 HIMALIS レイヤ 3 のネットワークを組む際のアドレッシングが煩わしい方ご相談ください新世代ネットワークの研究開発に大規模なサーバ群を用いた検証は不可欠動作実績性能面でのバグ検出 5G IoT など数が必要な場面は登場している 27

28 関連文献 K. Fujikawa, H. Harai, and M. Ohta, The Basic Procedures of Hierarchical Automatic Locator Number Allocation Protocol HANA, Proc. Asia Workshop on Future Internet Technologies (AWFIT 2011), pp , October K. Fujikawa, H. Tazaki, H. Harai, Inter-AS Locator Allocation of Hierarchical Automatic Number Allocation in a 10,000-AS Network, Proc. SAINT 2012, July M. Ohnishi, M. Inoue, and H. Harai, Incremental distributed construction method of Delaunay overlay network on detour overlay paths, Journal of Information Processing (JIP), Vol. 21, No. 2, February M. Ohnishi and H. Harai, "Delaunay Overlay Network Construction Method for Super-Wide Area Disaster Situations," APSITT 2015 (10th Asia-Pacific Symposium on Information and Telecommunication Technologies), pp , August V. P. Kafle, R. Li, D. Inoue, H. Harai, "Design and Implementation of Security for HIMALIS Architecture of Future Networks," IEICE Transactions on Information and System 2013, Vol. E96-D, No. 2, pp , February Y. Fukushima, V. P. Kafle, T. Tomuro, and H. Harai, Implementation of Communication Path Recovery Mechanism in a Multihomed ID/Locator-split Network, The Sixth International Conference on Ubiquitous and Future Networks (ICUFN 2014), pp , July

PowerPoint Presentation

PowerPoint Presentation 仮想ルータを用いた HANA 広域ネットワークの展開 ( 独 ) 情報通信研究機構光ネットワーク研究所藤川賢治小針康永原井洋明 2013/11/14 1 内容 Hierarchical/Automatic Number Allocation (HANA) の概要 HANA

StarBED を用いた大規模ネットワーク における分散システム検証 National Institute of Information and Communications Technology 原井洋明 情報通信研究機構 光ネットワーク研究所ネットワークアー

StarBED を用いた大規模ネットワークにおける分散システム検証 National Institute of Information and Communications Technology 原井洋明情報通信研究機構光ネットワーク研究所ネットワークアー