Xen 3.0 のすべて 内部実装詳解 VA Linux Systems Japan K.K. 山幡為佐久 Linux Kernel Conference

Transcription

1 Xen 3.0 のすべて 内部実装詳解 VA Linux Systems Japan K.K. 山幡為佐久 Linux Kernel Conference

2 目次 イントロダクション Xen 概要 ドメイン管理 時間管理とCPUスケジューラ 割り込み / 例外処理の仮想化 I/O デバイス仮想化 MMU 仮想化 完全仮想化 今後の展望

3 イントロダクション

4 仮想化とは マシン上で複数の Virtual Machine を動作させる技術 VM 上で OS を動作させる 古くは 1960 年代 IBM メインフレームの頃に遡る アプリアプリアプリ OS VM OS VM HW OS VM

5 仮想化手法の分類 完全仮想化 (full virtualization) マシンを完全にエミュレートする オーバーヘッド大 OS がそのまま動作 実際は x86 アーキテクチャ上完全な仮想化は難しくバイナリパッチをあてるなどする 例 ) bochs, qemu, vmware, virtualpc 準仮想化 (para virtualization) 仮想化された環境を提供 ゲスト OS に修正が必要 ゲスト OS のソースコードが必要 アプリケーションは修正不要 例 ) Xen, User Mode Linux(UML)

6 Xen3.0 新機能 SMP 対応 ゲスト OS SMP 化 64bit 対応 (x86_64) 完全仮想化 VT x(virtualization Technology for IA32) 管理ツール デバイスドライバ用フレームワーク XenBus XenStore

7 Xen 概要 以降は IA32 アーキテクチャに限定

8 ドメイン Xen では VM をドメインと呼ぶ 特権あり 特権なし Domain0 特権あり 起動時に必ず起動 管理ツールが動作 実デバイスの制御 DomainU ユーザが必要に応じて作成 / 破壊 Xen 仮想デバイスを使用

9 準仮想化 (para virtualization) 管理ツール アプリアプリアプリアプリケーションは修正不要 Domain0 Xen Linux DomainU Xen Linux DomainU Xen NetBSD DomainU Xen Plan9... Xen 環境向けに修正されたゲスト OS が動作する Xen HW

10 準仮想化 (para virtualization)(cont.) デバイスドライバモデル Domain0 DomainU DomainU Linux デバイスドライバ バックエンドドライバ フロントエンドドライバ フロントエンドドライバ Xen HW

11 特権レベル アプリ アプリ OS level0 level1 level2 level3 通常 OSは特権レベル0で動作 Xen 化 hypercall ゲスト OS Xen level0 level1 level2 level3 Xen が特権レベル 0 で動作 OS は特権レベル 1 で動作ゲスト OS から Xen を保護はセグメント機能を使用

12 マシンアドレス ゲスト OS は Xen が管理する仮想アドレス空間上で動作する Xen はゲスト OS が物理アドレス上で動作している幻想を与える ゲスト OS が実際に扱うのは疑似物理アドレス Xen が管理している本当の物理アドレスをマシンアドレスと呼び区別する アプリ virtual address アプリ ゲスト OS virtual address (pseudo) physical address OS physical address Xen machine address HW HW

13 空間レイアウト Xen は仮想アドレスの高位 64MB を使用する (32bit の場合 ) ゲスト OS は上位 64MB を使用しないように修正される マシンアドレス > 物理アドレス変換テーブルを持ち Xen は read write でアクセスでき, ゲスト OS は read only でアクセスできるようマップする machine to physical translation table 高位 16MB 4MB =12MB をストレートマップ 高位 4MB は I/O 用に予約

14 shadow linear pagetable 0x HYPERVISOR_START RO_MPT_VIRT_START ro machine to physical translation table FRAMETABLE_VIRT_START frame info table RDWR_MPT_VIRT_START rdwr machine to physical translation table LINEAR_PT_VIRT_TABLE guest linear pagetable SH_LINEAR_PT_VIRT_START PERDOMAIN_VIRT_START perdomain mapping MAP_CACHE_VIRT_START map domain page cache DIRECTMAP_VIRT_START ストレートマップ領域 Xen の text, data がおかれる IOREMAP_VIRT_START I/O remapping area IOREMAP_VIRT_END=0xffffffff ゲスト OS が使用 Xen が使用 64MB

15 GDT/LDT の仮想化 ( セグメンテーションの仮想化 ) perdomain 領域に vcpu 毎 GDT,LDT 領域を確保 GDT の後部を xen が使用 PERDOMAIN_VIRT_START ゲスト OS は hypercall を使用して書き換える GDT_VIRT_START(ed) Xen が使用 LDT_VIRT_START(ed)... GDT LDT... PERDOMAIN_VIRT_END

16 ドメイン管理 ドメインに対応ハッシュテーブルに繋がれる struct domain vcpu[] 各ドメインの仮想 CPUに対応 struct vcpu low shared_info_t shared_info vcpu_data[] struct cpu_info スタック high このページはゲスト OS がアクセス可能なアドレスに map する

17 時間管理と CPU スケジューラ

18 Xen のタイマ処理と ソフトウェア割り込みと時間管理 Xen のタイマ割り込み処理は AC_TIMER_SOFTIRQ ソフトウェア割り込みをあげるのみ タイマソフトウェア割り込みで実際の処理 ゲスト OS は実タイマ割り込みを全て受け取れるわけではない ゲスト OS でのタイマティックのカウントが難しい ゲスト OS がアクセスできる shared_info_t に時刻情報を含める ゲスト OS は shared_info_t を読み取って時刻を知る

19 shared_info_t システム時刻 wall clock 更新タイムスタンプ VIRQ_TIMER 通知 ゲスト OS domain 時刻更新 t_timer 時刻更新 timer タイマ xen スケジューリング タイマ割り込みハンドラ AC_TIMER_SOFTIRQ ハンドラ SCHEDULE_SOFTIRQ ハンドラ ソフトウェア割り込みをあげる schedule_data[].s_timer ソフトウェア割り込みをあげる タイマ割り込み

20 CPU スケジューラ SEDF と BVT の二つのスケジューラが提供されている Xen 起動時に選択可能 SEDF がデフォルト スケジューリングする単位は vcpu 構造体 SEDF: Simple Early Deadline First scheduler BVT: Borrowed Virtual Timer scheduler どちらも良く知られたリアルタイムスケジューリングを実装したもの ゲスト OS が CPU を手放すのはゲスト OS の idle 時のみと考えられる

21 SEDF スケジューラ それぞれの vcpu に一定期間 (period) とその期間内に使用可能な cpu 時間 (slice) が与えられる 各 vcpu への重み付け (weight) に比例して slice を決定 デッドラインが一番短いものにcpuが与えられる デッドライン deadl_abs period period slice period 内に slice だけ実行できる

22 SEDF スケジューラ (cont.) extra キュー idle 時に実行する vcpu を優先度順に繋ぐ penalty: 使用しなかった CPU 時間 CPU 時間を使いきらずに CPU を手放した時の残り時間 utilization: extraweight( ユーザが設定 ) で決定 extraweight が低いものを優先する cpuを手放す使用可能だったが使わなかった時間 penalty period slice period

23 struct schedule_data[] struct sedf_cpu_info sched_priv runnableq waitq extraq[extra_pen_q] extraq[extra_util_q] 実行可能キュー待ちキュー penaltyキュー utilizationキュー idle 実行可能キューに vcpu が無ければ extraq にあるものを実行する

24 割り込み / 例外処理の仮想化

25 hypercall ゲストOS Xen level0 level1 callback callback Xen からゲスト OS への呼び出し ゲスト OS 上のスタックへ待避レジスタを積み 実行ポインタを事前に登録されたアドレスにしてゲスト OS へ制御を移す ゲスト OS が処理すべき割り込み / 例外処理と event channel( 後述 ) 配送に使用

26 割り込み / 例外の仮想化 必要があれば Xen はゲスト OS に割り込み / 例外を通知する 実割り込み / 仮想割り込み event channel を通じてゲスト OS に通知 例外処理 ゲスト OS が登録したハンドラを callback する システムコール Xen が介入せずにゲスト OS が直接呼び出されるように IDT を設定する

27 割り込み / 例外の仮想化 (cont.) event channel コールバック event channel コールバック 例外処理コールバック ゲスト OS IRQ pirq_to_evtchn[] で irq=>event 変換 virq_to_evtchn[] で virtual irq=>event 変換 Virtual IRQ 例外ハンドラ vcpu_guest_context trap_ctxt[].vector で例外番号を変換 xen 割り込み 例外 hw

28 I/O デバイス仮想化

29 event channel Xen domain/domain domain 間の event 通知機構 ゲスト OS はポート番号で event を区別 event 発生源からポート番号の対応付けにより状態が分かれる shared_info_t 構造体 pending/mask メンバ イベントの pending/mask 状況 pending: xen からゲスト OS へ event があることを知らせる mask: ゲスト OS がイベントの配送を mask することを xen に知らせる

30 event channel domain shared_info_t xen pending[] mask[] 2. mask 解除時 pending を見て pending されている event があると event 配送依頼 hypercall (pending もクリアする ) 4. イベント配送 ポート番号でイベントを区別 1. event 発生 pending にビットを立てる mask を見て mask されていなければ callback する hypercall 3.callback して event を配送する

31 grant table 非特権ドメインが別のドメインのページにアクセスすることを許す機構 特権 domain はどのドメインのページにもアクセスできる アクセスさせるだけでなく ページを渡すこともできる ( ページ所有権の移動 ) 主にデバイスドライバ間でデータをやり取りする為に使用

32 ゲスト OS shared grant_entry_t[] Xen domain active active_grant_entry_t[] domain ゲスト OS 実際に他 domain からマップされているエントリ domain が許可しているエントリ domain が直接書き換える maptrack grant_mapping_t[] マップしている情報を追跡 page page ページをマップ domain 間でデータを共有

33 Device Channel (I/O ring) Device Channel(I/O ring) ゲスト OS のフロントエンドドライバ / バックエンドドライバでのデータをやり取りする機構 domain 間でページを共有 フロントエンド / バックエンドドライバ間のインターフェース xen からは共有したページの使用方法には関知しない ドライバはリング上で情報をやり取りする memory reservation ドメインが xen にページを返したり ページを確保したりする balloon driver が使用 ドメインの使用メモリ量を調整

34 MMU 仮想化

35 MMU 仮想化 保護の為にゲスト OS の MMU の設定が妥当なものか調べる必要がある Xen は多様な MMU 仮想化をサポート direct mode, writable page table mode, shadow mode Xen はページをゲスト OS の使用目的別にタイプに分けて追跡する page table(pml4, PDP, PD, PT), gdt, ldt, writable( 通常のページ ), その他 タイプは排他的 writable 以外はドメインは原則として read only でしかアクセスできない

36 direct mode ドメイン内のページテーブルを直接使用 ページテーブルは read only でマップしゲスト OS は直接書き換えられない hypercall を利用して変更する ゲスト OS は (pseudo) 物理アドレスとマシンアドレスの変換をする ページテーブルにはマシンアドレスが入る

37 domain xen CR3

38 writable page table mode direct mode を拡張したもの ゲスト OS は (pseudo) 物理アドレスとマシンアドレスを意識する ゲスト OS がページテーブル (PT のみ ) へ書き込むことを許可する

39 1.write read only 0.page table は read only でマップされている 2. ページフォルトが起き Xen に制御が移る domain xen CR3

40 read write domain 3. page table を read write でマップしなおす 4. page table を指している PD エントリを無効化 5. ゲスト OS に処理を戻し write が行われる xen CR3

41 6.page table がマップしている ( とゲスト OS が思っている ) アドレスにアクセス read only domain 7. ページフォルトが起きXenに制御が移る 8. 書き換えられたページテーブルを調べ 妥当な値であることをチェックする 9. ページテーブルをread onlyに戻し 無効化したエントリを元に戻す 10. ゲストOSに制御を戻す CR3 xen

42 shadow mode ページテーブルは Xen のもの (shadow page table) を使用する ゲスト OS は (virtual) page table を直接書き変える Xen はゲスト OS が設定したエントリを必要に応じ shadow page table を設定する マップしている page を non present or read only にマップすることにより access bit, dirty bit を立てる

43 shadow mode (cont.) 1. ゲスト OS は ( ゲスト用 ) ページテーブルを直接書き換え (guest) page table 2. 必要に応じ Xen は guest page table から shadow page table を更新 3.access/dirty bit は便宜 xen が反映する domain CR3 xen shadow page table shadow 0. 実は xen が本当のアドレス変換を管理

44 shadow mode(cont.) shadow mode にもいろいろモードがある refcounts: ページを参照カウンタで追跡 write all: 全てのゲストページテーブルへの write を許す (pte の許可属性に関わらず ) log dirty: ダーティーページを記録 live migration に使用 translate: xen が (pseudo) 物理アドレス > マシンアドレスの変換を行う external: 完全仮想化で使用

45 shadow mode(cont.) promote writable( 通常ページ ) > page table への変換 ゲスト OS があるページを新たに ( ゲスト ) ページテーブルにする時に全てのシャドウページテーブルを調べて read write でマップしているものがあれば read only にマップしなおす demote promote の逆 ゲストページテーブルの追跡に使用した資源を解放する

46 着目しているページテーブル 1. write read only 0. ( ゲスト ) ページテーブルは read only でマップされる domain 2. ページフォルトし制御が Xen に移る 3. ( ゲスト ) ページテーブルを read/write でマップしなおす 4. 制御をゲスト OS へ戻し write される CR3 xen shadow

47 5. ゲスト OS は TLB をフラッシュする (hypercall or 特権命令を使用 ) read write domain 6. hypercall あるいは特権違反で制御が Xen に移る 8. 制御をゲスト OS へ戻す 7. 書き込み可能にしていた xen ( ゲスト ) ページテーブルを調べ shadowページテーブルを更新する CR3 shadow

48 完全仮想化

49 VT x(virtualization Technology for IA32) 1. 特権命令,I/O 命令などを intercept アプリ VM exit 2.Xen が命令を emulate アプリ OS level0 level1 level2 level3 VMX non root operation ゲスト OS Xen level0 level1 level2 VM enter level3 3.emulate 後ゲストOSに処理を戻す VMX root operation

50 ゲスト OS 0. I/O を発行 (pio or mmio) I/O emulation Xen 1.VM exit domain0 shared_io_page io emulation に使用するページ共有される 2. 命令を解析して io_reqst_t に変換 io emulator 3. event channel I/O 要求があったことを通知 4. 処理が完了したら完了フラグを立て event を送信して完了通知

51 今後の展望 一層の安定化 デバッグ支援ツール 性能測定ツール テストツール 他アーキテクチャへの対応 IA64 PPC 完全仮想化 Pacifica 対応 デバイスエミュレーション xenfs: ファイルシステムの仮想化

52 今後の展望 (cont.) リソースコントロール NUMA ホットプラグ 仮想デバイス 使いやすい仮想デバイス

53 ご静聴ありがとうございました オープンソースマガジン Xen 実装解説連載予定 乞うご期待