Microsoft PowerPoint - Nova.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - Nova.ppt"

いとはしまむね
5 years ago
Views:

1 Nova のはなし江口裕之

2 今回のテーマ Nova のmigration 機能について Nova のmigration 機能は以下の 3 つ 1. Migration 機能 2. Live-migration 機能 3. Block-migration 機能今回は Live-migration とBlock-migration について説明したいと思います

3 1.Migration 機能いわゆるコールドマイグレーション停止している VM を他のホストに移動 rsync によりディスクイメージ等をコピー ssh 鍵の事前設定が必要コマンドの必須パラメータは server(vm) のみ移動先は指定しない command # nova migrate <server> VM (SHUTOFF) rsync VM (SHUTOFF)

4 2.Live-Migration 機能稼動している VM を他のホストに移動 libvirtd によりメモリをコピー libvirtd 設定が必要共有ディスク環境必須 VM 情報の格納場所 (/var( var/lib/nova/instances) ) を共有するコマンドに server(vm VM) ) と host( ( 移行先ホスト ) を指定 command # nova <server> <host> VM (ACTIVE) libvirtd VM (ACTIVE) /var/lib/nova/instances 共有ディスク

5 3.Block-Migration 機能稼動している VM を他のホストに移動 libvirtd によりディスクおよびメモリをコピー libvirtd の設定が必要共有ディスク環境は必要なしコマンドに server(vm VM) ) と host( ( 移行先ホスト ) を指定コマンドとしてはコマンドオプションとして --block_migrate と指定することで Block-Migration を実施 command # nova --block_migrate [--disk-over-commit] <server> <host> VM (ACTIVE) libvirtd VM (ACTIVE)

6 では実際のソース ( 一部抜粋 ) を見ながら Live-migration (Block-migration) について解説していきます

7 nova-api api API 権限パラメータチェックスケジューラに依頼 nova-scheduler 処理概要各種事前チェック ( 移行元 ) 移行先に事前チェック依頼移行元に事前チェック依頼 ( 移行先 ) 依頼前処理 Thread 前処理終了時点で API に応答本処理は別スレッドで実施本処理 Live-migration 後処理 ( 移行元 ) Live-migration 後処理 ( 移行先 )

8 nova-api api API 権限パラメータチェックスケジューラに依頼 nova-scheduler nova-api api 各種事前チェック ( 移行元 ) 移行先に事前チェック依頼移行元に事前チェック依頼 ( 移行先 ) 依頼前処理 <nova-apiapi の役割 > 前処理終了時点で API に応答 -> 権限パラメータチェック本処理は別スレッドで実施 -> > nova-scheduler への処理依頼 Thread 本処理 Live-migration 後処理 ( 移行元 ) Live-migration 後処理 ( 移行先 )

9 nova-api api 権限パラメータチェック nova/api/openstack/compute/contrib/admin_actions.py api/openstack/compute/contrib/admin_actions.py def _migrate_live(self_ migrate_live(self, req,, id, body): context = req.environ["nova.context"] "] authorize(context,, 'migratelive' migratelive') try: block_migration = body["os-migratelive"]["block_migration migratelive"]["block_migration"] disk_over_commit = body["os-migratelive"]["disk_over_commit migratelive"]["disk_over_commit"] host = body["os-migratelive"]["host migratelive"]["host"] except (TypeError( TypeError, KeyError): try: msg = _("host and block_migration must be specified.") raise exc.httpbadrequest(explanation=msg msg) instance = self.compute_api.get(context,, id) self.compute_api.live_migrate(context,, instance, block_migration, except Exception: disk_over_commit,, host) raise exc.httpbadrequest(explanation=msg msg) return webob.response(status_int=202) 権限チェックパラメータチェック nova-scheduler への処理依頼

10 nova-scheduler への処理依頼 nova/compute/api.py =[vm_states.active]) def live_migrate(self,, context, instance, block_migration, disk_over_commit,, host): """Migrate a server lively to a new host.""" LOG.debug(_("Going to try to live migrate instance to %s"), host, instance=instance instance) instance = self.update(context,, instance, task_state=task_states.migrating task_states.migrating, expected_task_state=none) self.scheduler_rpcapi.live_migration(context, block_migration, disk_over_commit,, instance, host) nova-scheduler への処理依頼

11 nova-api api API 権限パラメータチェックスケジューラに依頼 nova-scheduler nova-scheduler 各種事前チェック ( 移行元 ) 移行先に事前チェック依頼移行元に事前チェック依頼 ( 移行先 ) 依頼前処理 <nova-scheduler の役割 > -> 各種事前チェック前処理終了時点でAPIに応答本処理は別スレッドで -> 移行先に事前チェック依頼実施 Thread 本処理 Live-migration 後処理 ( 移行元 ) Live-migration 後処理 ( 移行先 )

12 nova/scheduler/driver.py driver.py 各種事前チェック def schedule_live_migration(self,, context, instance, dest, # Check we can do live migration block_migration, disk_over_commit): self._live_migration_src_check(context,, instance) self._live_migration_dest_check(context,, instance, dest) self._live_migration_common_check(context,, instance, dest) migrate_data = self.compute_rpcapi.check_can_live_migrate_destination( context, instance, dest, block_migration, disk_over_commit) # Perform migration src = instance['host'] '] self.compute_rpcapi.live_migration(context,, host=src src, instance=instance instance, dest=dest dest, block_migration=block_migration block_migration, migrate_data=migrate_data migrate_data)

13 移行元に対しての事前チェック nova/scheduler/driver.py driver.py def _live_migration_src_check(self_ live_migration_src_check(self,, context, instance_ref): # Checking instance is running. if instance_ref['power_state'] ']!= power_state.running: raise exception.instancenotrunning( instance_id=instance_ref['uuid instance_ref['uuid']) ']) VM のステータスチェック # Checking src host exists and compute node src = instance_ref['host'] '] try: services = db.service_get_all_compute_by_host(context, src) except exception.notfound: raise exception.computeserviceunavailable(host=src src) ホストのチェック # Checking src host is alive. if not utils.service_is_up(services[0]): raise exception.computeserviceunavailable(host=src src) の死活チェック

14 移行先に対しての事前チェック nova/scheduler/driver.py driver.py def _live_migration_dest_check(self_ live_migration_dest_check(self,, context, instance_ref, dest): # Checking dest exists and compute node. dservice_refs = db.service_get_all_compute_by_host(context, dest) dservice_ref = dservice_refs[0] ホストのチェック # Checking dest host is alive. if not utils.service_is_up(dservice_ref): raise exception.computeserviceunavailable(host=dest dest) # Checking whether The host where instance is running # and dest is not same. src = instance_ref['host'] '] if dest == src: raise exception.unabletomigratetoself( instance_id=instance_ref['uuid instance_ref['uuid'], '], host=dest dest) # Check memory requirements self._assert_compute_node_has_enough_memory(context, instance_ref, dest) の死活チェックホストのチェック移行元 = 移行先でないかリソースの空きチェック

15 nova/scheduler/driver.py driver.py def _live_migration_common_check(self_ live_migration_common_check(self,, context, instance_ref, dest): dservice_ref = self._get_compute_info(context, dest) src = instance_ref['host'] '] 共通の事前チェック oservice_ref = self._get_compute_info(context, src) # Checking hypervisor is same. orig_hypervisor = oservice_ref['hypervisor_type'] '] dest_hypervisor = dservice_ref['hypervisor_type'] '] if orig_hypervisor!= dest_hypervisor: raise exception.invalidhypervisortype() ハイパーバイザチェック # Checking hypervisor version. orig_hypervisor = oservice_ref['hypervisor_version'] '] dest_hypervisor = dservice_ref['hypervisor_version'] '] if orig_hypervisor > dest_hypervisor: raise exception.destinationhypervisortooold() ハイパーバイザのバージョンチェック

16 nova-api api API 権限パラメータチェックスケジューラに依頼 nova-scheduler nova-scheduler 各種事前チェック ( 移行元 ) 移行先に事前チェック依頼移行元に事前チェック依頼 ( 移行先 ) 依頼前処理 <nova-scheduler の役割 > -> 各種事前チェック前処理終了時点でAPIに応答 -> 移行先に事前チェック依頼本処理は別スレッドで実施 Thread 本処理 Live-migration 後処理 ( 移行元 ) Live-migration 後処理 ( 移行先 )

17 に対しての事前チェック依頼 nova/scheduler/driver.py driver.py def schedule_live_migration(self,, context, instance, dest, # Check we can do live migration block_migration, disk_over_commit): self._live_migration_src_check(context,, instance) self._live_migration_dest_check(context,, instance, dest) self._live_migration_common_check(context,, instance, dest) migrate_data = self.compute_rpcapi.check_can_live_migrate_destination( context, instance, dest, block_migration, disk_over_commit) # Perform migration src = instance['host'] '] self.compute_rpcapi.live_migration(context,, host=src src, instance=instance instance, dest=dest dest, block_migration=block_migration block_migration, migrate_data=migrate_data migrate_data) 移行先へ事前チェック依頼

18 nova/compute/manager.py publisher_id=publisher_id publisher_id()) def check_can_live_migrate_destination(self, ctxt,, instance, block_migration=false, disk_over_commit=false): dest_check_data = self.driver.check_can_live_migrate_destination(ctxt, try: instance, block_migration, disk_over_commit) self.compute_rpcapi.check_can_live_migrate_source(ctxt, finally: 移行先上での事前チェック instance, dest_check_data) self.driver.check_can_live_migrate_destination_cleanup(ctxt, dest_check_data) if dest_check_data and 'migrate_data' migrate_data' ' in dest_check_data: return dest_check_data['migrate_data'] '] 共有ディスク環境チェック /var/lib/nova/instance に一時ファイルを作成移行元へ事前チェック依頼作成した一時ファイルを読めるか ( 共有ディスク環境であるか ) をチェックする

19 移行元上での事前チェック nova/compute/manager.py publisher_id=publisher_id publisher_id()) def check_can_live_migrate_source(self, ctxt,, instance, dest_check_data): self.driver.check_can_live_migrate_source(ctxt,, instance, dest_check_data) 本処理の中で一時ファイルを読み込めるか確認

20 nova-api api API 権限パラメータチェックスケジューラに依頼 nova-scheduler 各種事前チェック ( 移行元 ) 移行先に事前チェック依頼移行元に事前チェック依頼 ( 移行先 ) 依頼前処理 Thread < の役割 > 前処理本処理終了時点でAPIに応答 -> > (block migration(block-migration) migration) の実施本処理は別スレッドで実施 -> 前処理本処理移行元での後処理 Live-migration 後処理 ( 移行先 ) 移行先での後処理の 4 処理 Live-migration 後処理 ( 移行元 )

21 nova/compute/manager.py manager.py def pre_live_migration(self, context, instance, block_migration=false, disk=none): # If any volume is mounted, prepare here. block_device_info = self._get_instance_volume_block_device_info( ce_info( context, instance['uuid']) # TODO(tr3buchet): figure out how on the earth this is necessary fixed_ips = network_info.fixed_ips() if not fixed_ips: 前処理 raise exception.fixedipnotfoundforinstance( instance_uuid=instance['uuid']) uid']) self.driver.pre_live_migration(context, instance, block_device_info, self._legacy_nw_info(network_info)) ork_info)) # NOTE(tr3buchet): setup networks on destination host self.network_api.setup_networks_on_host(context, instance, self.host) # Creating filters to hypervisors and firewalls. self.driver.ensure_filtering_rules_for_instance(instance, self._legacy_nw_info(network_info)) volume 設定 NW 事前設定 FW 事前設定

22 nova-api api API 権限パラメータチェック nova-scheduler ( 移行元 ) スケジューラに依頼 < の役割各種事前チェック > 移行先に事前チェック依頼 -> > (block migration(block-migration) migration) 移行元に事前チェック依頼の実施 -> 前処理本処理本処理移行元での後処理移行先での後処理の4 処理前処理依頼移行先での後処理の4 処理 ( 移行先 ) Thread 前処理終了時点で API に応答本処理は別スレッドで実施本処理 Live-migration 後処理 ( 移行元 ) Live-migration 後処理 ( 移行先 )

23 nova/vir/libvirt/driver.py vir/libvirt/driver.py 本処理 def live_migration(self, ctxt, instance_ref, dest, post_method, recover_method, block_migration=false, ion=false, migrate_data=none): greenthread.spawn(self._live_migration, ctxt, instance_ref, ef, dest, post_method, recover_method, block_migration) 本処理はこれだけ内部メソッド self._live_migration を別スレッドで実行

24 本処理 nova/vir/libvirt/driver.py vir/libvirt/driver.py def _live_migration(self, ctxt, instance_ref, dest, post_method, try: recover_method, block_migration=false): dom.migratetouri(flags.live_migration_uri % dest, except Exception as e: logical_sum, None, FLAGS.live_migration_bandwidth) with excutils.save_and_reraise_exception(): recover_method(ctxt, instance_ref, dest, block_migration) def wait_for_live_migration(): """waiting for live migration completion""" try: self.get_info(instance_ref)['state'] except exception.notfound: timer.stop() post_method(ctxt, instance_ref, dest, block_migration) timer.f = wait_for_live_migration timer.start(interval=0.5).wait() migration 実行 migration 完了待ち

25 nova-api api API 権限パラメータチェック nova-scheduler ( 移行元 ) スケジューラに依頼 < の役割各種事前チェック > 移行先に事前チェック依頼 -> > (block migration(block-migration) migration) 移行元に事前チェック依頼の実施 -> 前処理本処理本処理移行元での後処理依頼移行先での後処理のの4 処理前処理 ( 移行先 ) Thread 前処理終了時点で API に応答本処理は別スレッドで実施本処理 Live-migration 後処理 ( 移行元 ) Live-migration 後処理 ( 移行先 )

26 移行元での後処理 nova/vir/libvirt/driver.py vir/libvirt/driver.py def _post_live_migration(self, ctxt, instance_ref, # Detaching volumes. dest, block_migration=false): for bdm in self._get_instance_volume_bdms(ctxt, instance_ref['uuid']): self.remove_volume_connection(ctxt, bdm[ volume_id volume_id ], instance_ref) # Releasing vlan. network_info = self._get_instance_nw_info(ctxt, instance_ref) # Releasing security group ingress rule. self.driver.unfilter_instance(instance_ref, self._legacy_nw_info(network_info)) # Define domain at destination host, without doing it, self.compute_rpcapi.post_live_migration_at_destination(ctxt, instance_ref, block_migration, dest) if block_migration: else: self.driver.destroy(instance_ref, self._legacy_nw_info(network_info)) self.driver.unplug_vifs(instance_ref, self._legacy_nw_info(network_info)) Volume デタッチ VLAN 開放 FW 設定解除 VM 削除

27 移行先での後処理 nova/compute/manager.py manager.py def post_live_migration_at_destination(self, context, instance, block_migration=false): self.network_api.setup_networks_on_host(context, instance, self.host) st) network_info = self._get_instance_nw_info(context, instance) nce) self.driver.post_live_migration_at_destination(context, instance, # Restore instance state self._legacy_nw_info(network_info), block_migration) current_power_state = self._get_power_state(context, instance) self._instance_update(context, instance['uuid'], host=self.host, power_state=current_power_state, vm_state=vm_states.active, task_state=none, expected_task_state=task_states.migrating) DB 更新

28 Grizzly リリースでの機能以下の 2 機能が追加される予定 BootFromVolume VM の機能 BootFromVolume VM の volume-migration migration 機能

29 BootFromVolume とは Essex リリースにて実装された機能 Volume から VM を起動可能 command それまでは Volume は追加ディスクとしてアタッチする用途が主事前に Volume に起動可能なシステム領域を格納しておき VM を稼動 # nova boot --block_device_mapping vda=< =<volume_id>:<type>:<size>:< >:<type>:<size>:<delete_on_termination> <server_name> VM (ACTIVE) 仮想ディスク volume VM (ACTIVE) volume cinder-volume cinder-volume 主な volume の使い方 BootFromVolume

30 BootFromVolume VM の共有ディスク環境なしでが可能 VM (ACTIVE) VM (ACTIVE) volume cinder-volume

31 BootFromVolume VM の volume-migration migration volume のmigration が可能 VM (ACTIVE) volume volume-migration volume cinder-volume cinder-volume

32 おわりご静聴ありがとうございました

仮想マシンのリソース制限日本 OpenStack ユーザ会第 17 回勉強会 2014/01/20 株式会社日立製作所横浜研究所運用管理システム研究部クラウドサービスプロジェクト西島直 Hitachi, Ltd All rights reserved.

仮想マシンのリソース制限日本 OpenStack ユーザ会第 17 回勉強会 2014/01/20 株式会社日立製作所横浜研究所運用管理システム研究部クラウドサービスプロジェクト西島直 Hitachi, Ltd All rights reserved. 仮想マシンのリソース制限日本 OpenStack ユーザ会第 17 回勉強会 2014/01/20 株式会社日立製作所横浜研究所運用管理システム研究部クラウドサービスプロジェクト西島直 Contents 1. クラウドにおけるディスク I/O の問題点 2. 仮想マシンのリソース制限 3. リソース制限した結果 1 1. クラウドにおけるディスク I/O の問題点 2 1-1 クラウドにおけるディスク