Microsoft PowerPoint - janog25-cloudhour-kimai

Size: px

Start display at page:

Download "Microsoft PowerPoint - janog25-cloudhour-kimai"

そうりんあいきょう
5 years ago
Views:

1 クラウド作ってみた IaaS のネットワーク設計運用監視の実際今井祐二株式会社富士通研究所クラウドコンピューティング研究センター

2 IT cell ( 富士通研 IaaS プロトタイプ ) エンドユーザ Web App. DB Web App. DB アプリ運用者 VAS (virtual application systems) 仮想資源 ITcell manager データセンタ運用者サーバディスクネット Cells ( 物理機器 ) 1

1 <application_systemname= SAMPLE-VAS-0123"> 2 <vi rtual_machine_manager>xen</virtual_machine_manager> 3

0/24</address_range> 4 <ser ver _lis t> 5 <server name= centos52-db" res_class="normal-basic"> 6 <max_instances>3</max_i

<gateway_l ist> 12 <gateway name="ext_gw1" type="vlan"> 13 <parameter name="fascicle_id">fasci cle01</parameter> 14

dst="centos52-db" type="balance"> 19 <parameter name="delegate_address">172.17.132.

</link> 23 <link src="centos52-db" dst="centos52-db" type="self"/> 24 </li nk_list> 25 </appl ication_system>

>3</max _i ns tances > 7 <min_instances>1</min_instances> 8 <i ns tances >1</ inst anc es> 9 </s er v er > 10

3 1 <application_systemname= SAMPLE-VAS-0123"> 2 <vi rtual_machine_manager>xen</virtual_machine_manager> 3 <address_range> /24</address_range> 4 <ser ver _lis t> 5 <server name= centos52-db" res_class="normal-basic"> 6 <max_instances>3</max_i nstances> 7 <min_instances>1</min_instances> 8 <i ns tances >1</ inst anc es> 9 </s er v er > 10 </server_list> 11 <gateway_l ist> 12 <gateway name="ext_gw1" type="vlan"> 13 <parameter name="fascicle_id">fasci cle01</parameter> 14 <parameter name="vlan_tag">132</parameter> 15 </gateway> 16 </gateway_list> 17 <link_list> 18 <link src="ext_gw1" dst="centos52-db" type="balance"> 19 <parameter name="delegate_address"> </parameter> 20 <parameter name="delegate_port">3306</parameter> 21 <parameter name="protocol">tcp</parameter> 22 </link> 23 <link src="centos52-db" dst="centos52-db" type="self"/> 24 </li nk_list> 25 </appl ication_system> 1 <application_systemname= SAMPLE-VAS-0123"> 2 <vi rtual_machine_manager>xen</virtual_machine_manager> 3 <address_range> /24</address_range> 4 <ser ver _lis t> 5 <server name= centos52-db" res_class="normal-basic"> 6 <m ax _inst anc es >3</max _i ns tances > 7 <min_instances>1</min_instances> 8 <i ns tances >1</ inst anc es> 9 </s er v er > 10 </server_list> 11 <gateway_l ist> 12 <gateway name="ext_gw1" type="vlan"> 13 <parameter name="fascicle_id">fasci cle01</parameter> 14 <parameter name="vlan_tag">132</parameter> 15 </gateway> 16 </gateway_list> 17 <link_list> 18 <link src="ext_gw1" dst="centos52-db" type="balance"> 19 <parameter name="delegate_address"> </parameter> 20 <parameter name="delegate_port">3306</parameter> 21 <parameter name="protocol">tcp</parameter> 22 </link> 23 <link src="centos52-db" dst="centos52-db" type="self"/> 24 </li nk_list> 25 </appl ication_system> 仮想アプリシステム起動の流れエンドユーザアプリ運用者 8. 運用開始 Web App. DB 7. GW 設定 2. VAS 起動 1.VAS 登録 4. イメージ展開 6. VM 起動 5. ネット開設 3. ディスク割付 VAS リポジトリサーバネット機器ディスク 2

4 データセンタのハード構成単位ホスティングマルチテナント可能なアプリケーションで大規模ユーザを収容ハウジング顧客ごとのオーダーメードシステムをお預かりハードウェアプール共通プラットフォームとなるサーバネットワークを可能な限り大きなロットで設置ド以中長期需要見通しに基づいてロット単位に入替後クラウド以前クラウ3

5 事前の構想顧客仮想システムは分離して運用 OK! Xen を使って OS レベルで分離ストレージはiSCSIをdom-0 経由でxsd( 仮想ブロックデバイス ) として見せるネットワークはVLANで切る工夫してみましたそれなりに冗長性作り込みもしてみようストレージはRAID-1 L2はdom-0でeth0, 1をbonding スイッチも2 重化冗長化された部分が故障したら別ノードにVMマイグレーション OK! OK! OK! 4

6 紹介する工夫ポイント 1. VM 間 IP トンネル仮想システム間ネットワーク分離 2. Rack & Go ネットワークによる物理インストレーション支援 5

7 1. VM 間 IP トンネル仮想システム間ネットワーク分離

8 VLAN 設計の選択肢 1. Vanilla-L2 ネットすべての tag フレームを素通しネット隔離は dom-0 の仮想スイッチがどの tag で足を出すかで制御 STP 系の使用を避けるとループフリーなトポロジにしておきたくなるがスケーラビリティに限界が出そう 2. VM 配置に連動して tag-vlan を切る仮想システムの起動停止 VM 増設マイグレーションで猫の目のようにスイッチの設定が変化正しく設定できるか? 正当性を検証監査できるか? 不測の事態に対応できるエンジニア確保が大変そう 7

9 工夫してみました (VM 間 IP トンネル ) ユーザVMと1:1に仮想ルータ用 VMを起動 VM 間トラフィックをIPトンネルでくるむ外部接続用 GWにも仮想ルータVMを起動トンネルと外のVLANを中継バックボーンはプレーンL3 (OSPF, VRRP, bonding) 仮想 R Gateway 仮想 R R バックボーンネットワーク R 仮想ルータによるトンネルラック 1 ラック 2 ラック m ラック SW ラック SW ラック SW サーバ1-1 VM 仮想 R サーバ2-1 VM 仮想 R サーバm-1 VM 仮想 R サーバ1-2 VM 仮想 R サーバ2-2 VM 仮想 R サーバ m-2 サーバ 1-n サーバ 2-n サーバ m-n 8

10 VM 間 IP トンネル利点欠点がんばりどころ利点 L3 バックボーンはいつものやつネットワークエンジニアオペレータは容易に理解障害時迂回経路ネット拡張はOSPFにおまかせブロードキャスト問題から開放ネット分離検査はトンネル & 経路設定チェックでOK 欠点見慣れない組合わせ VM と IP トンネルアプリエンジニアオペレータへの説明が大変評価中 / これからのがんばりどころ仮想ルータによる性能劣化は許容範囲か? 9

11 2. Rack & Go ネットワークからの物理インストレーション支援

12 日々是インストール想定 150 万台物理サーバプールを3 年償却で保持年 50 万台のサーバ入替 ( 2500 台 / 日 ) ラックへのマウントケーブリング ( ラック内ラック間 ) インストレーション (BIOS 設定 OS ミドルウェア ) 検査故障交換時にはノード単位で同様の作業が発生どうしろっていうんだ 11

13 工夫してみました (Rack&Go) サーバ物理ラッキング終了時に USB メモリを刺して電源を入れて待っているとインストールが完了 1) サーバ搭載ネット結線情報を DB 登録 2) 工場で事前ラック搭載データセンタ搬入設置 & ケーブリング 3) Fedora Live USB メモリを挿入し電源 ON テンポラリ IP アドレスを DHCP で獲得 IPMI SOL (Serial over LAN) を enable MAC アドレスをサーバに報告 (ipmi, eth0, eth1) 4) SW の MAC 学習テーブルをスキャンサーバの各 I/F MAC が正しいポートに出てくるか検査 5) dhcpd に正式なアドレス (IP & MAC) 登録 6) IPMI SOL 経由で BIOS 設定 (ipmitool & expect) 7) PXE Boot でソフトウェアインストレーションプロビジョニング OSS 各種 (Kickstart, Cobber, Puppet) 12 Copyright 2010 FUJITSU Copyright LABORATORIES FUJITSU LIMITED LIMITED 2009

14 Rack & Go 利点がんばりどころ利点インストレーション品質向上は実感ケーブル結線異常は確実に検出上位層担当 SEの物理設定エラーへの懸念解消これからのがんばりどころ作業効率向上は本当にあがったのか評価が必要サーバ BIOS 設定の機種依存部を吸収したい netconf でのネットワーク機器設定もやりたい 13

15 14

Microsoft PowerPoint - mplsjp

Microsoft PowerPoint - mplsjp L2 トンネル技術によるクラウドネット MPLS Japan 2011 パネルクラウド環境におけるネットワークの課題と展望今井祐二株式会社富士通研究所クラウドコンピューティング研究センター IaaS データセンターデータセンターの物理ネットワーク上に仮想マシン () 仮想ネットワークからなる仮想システムを構築多数のユーザの仮想システムを集約して搭載集約によるスケールメリットを追求 A