仮想マシンの高速ライブマイグレーション技術 Yabusame: Postcopy Live Migration for Qemu/KVM

Size: px

Start display at page:

Download "仮想マシンの高速ライブマイグレーション技術 Yabusame: Postcopy Live Migration for Qemu/KVM"

えりかふじがわ
5 years ago
Views:

1 準仮想化ページフォルトを用いたポストコピー型ライブマイグレーションの性能向上手法広渕崇宏 * 山幡為佐久 ** 伊藤智 * * 産業技術総合研究所 ** VA Linux Systems Japan コンピュータシステムシンポジウム年 12 月 6 日本スライドは 2012 年 12 月当時のものですその後実装を改良し包括的な性能評価を行いました下記の論文をご参照ください Qemu Linux Kernel 4.3 以降においてはポストコピー型ライブマイグレーションの機能が標準的に組み込まれています Postcopy Live Migration with Guest-cooperative Page Faults, Takahiro Hirofuchi, Isaku Yamahata, Satoshi Itoh, IEICE Transactions on Information and Systems, pp , Vol.E98-D, No.12, IEICE, Dec 2015 DOI: /transinf.2015PAP0011 PDF (Full Text)

2 背景プレコピー型ライブマイグレーション今日一般的に使用されている方式メモリを宛先に転送してから実行ホストを切り替えポストコピー型ライブマイグレーション実行ホストを切り替えてからメモリを転送短時間かつ必ず一定時間で移動が完了する積極的なサーバコンソリデーションで省エネハードウェアメンテナンスを容易化 Yabusame を Qemu/KVM 向けに開発中でも性能低下してしまう場合がある VM が未転送のメモリページにアクセスするとゲスト OS を一時的に止めないといけない 2

3 本研究の貢献ポストコピー型ライブマイグレーションの性能低下を緩和する手法を提案 VM が未転送のメモリページにアクセスしたらゲスト OS 全体を止めるのではなくそのページにアクセスしたゲスト OS 上のプロセスのみ止め他のプロセスの実行は継続する仕組み評価の結果性能低下の緩和効果が確認できた 3

4 発表のながれポストコピー型ライブマイグレーション動作原理本研究で取り組む課題提案手法設計動作概要実装評価評価実験関連研究開発状況まとめ 4

5 5 ポストコピー型の動作概要 (1) 実行ホストを切り替えた後にメモリーをコピー停止 VM 計算機 A 計算機 B 1. 移動元で VM を停止 2. レジスタとデバイス状態を宛先にコピー 3. 宛先で VM 実行を再開 4. 必要なメモリページをオンデマンドに取得

6 6 ポストコピー型の動作概要 (2) 実行ホストを切り替えた後にメモリーをコピー 1. 移動元で VM を停止 VM 2. CPU レジスタとデバイス状態を宛先にコピー計算機 A 計算機 B 3. 宛先で VM 実行を再開 4. 必要なメモリページをオンデマンドに取得 CPU レジスタとデバイス状態をコピー VGA デバイス無しならたった 256KB => ほぼ瞬間的な実行ホスト切り替えが可能

7 7 ポストコピー型の動作概要 (3) 実行ホストを切り替えた後にメモリーをコピー計算機 A 再開サービス VM 計算機 B 1. 移動元で VM を停止 2. CPU レジスタとデバイス状態を宛先にコピー 3. 宛先で VM 実行を再開 4. 必要なメモリページをオンデマンドに取得

8 8 ポストコピー型の動作概要 (4) 実行ホストを切り替えた後にメモリーをコピー計算機 A サービス VM 計算機 B メモリページの転送 1. 移動元で VM を停止 2. CPU レジスタとデバイス状態を宛先にコピー 3. 宛先で VM 実行を再開 4. 必要なメモリページをオンデマンドに取得並行して残りも転送

9 Qemu/KVM におけるポストコピー型ライブマイグレーションの実装 (Yabusame) Qemu プロセス VM の実行と並行してメモリ転送を担う特殊なドライバとデーモンを実装 Guest OS fork() Qemu の子プロセス Main Thread (Network I/O,etc.) VCPU Thread VCPU Thread Disk I/O Threads Umemd Thread 仮想マシンの RAM 領域 mmap() KVM Driver Kernel Memory UMEM Driver Manager あるページに対する初めてのアクセスをページフォルトハンドラでトラップ宛先ホスト 9

10 オンデマンドなページ転送 3. ページ番号を移動元 Qemu プロセスに通知 4. 要求されたページの内容を転送 7. ゲスト OS の再開 Guest OS Main Thread (Network I/O,etc.) VCPU Thread VCPU Thread Disk I/O Threads Umemd Thread 0. ページフォルト発生 5. ページ内容の書き込み KVM Driver 1. UMEM ドライバのページフォルトハンドラの呼び出し Kernel Memory Manager 6. ページフォルトハンドラの完了 UMEM Driver 2. フォルトしたページの転送を依頼オンデマンドなページ転送の処理中はゲスト OS が停止してしまう 10

11 バックグラウンドでのページ転送既存の性能低下緩和手法オンデマンドな処理と並行して残りのメモリページ群を転送 3. ゲスト OS を即座に再開 Guest OS Main Thread (Network I/O,etc.) VCPU Thread VCPU Thread Disk I/O Threads Umemd Thread KVM Driver 0. ページフォルト発生 Kernel Memory Manager ページ内容の書き込み ( プレキャッシュ ) UMEM Driver 1. UMEMドライバのページ 2. ページフォルトフォルトハンドラの呼び出しハンドラを即座に完了バックグラウンドでのページ転送はアクセス頻度が高いメモリ領域を先に転送してオンデマンドな転送の発生頻度を抑制する 11

12 本研究で取り組む問題バックグラウンドでの転送 ( プレキャッシュ ) は一定の効果があるものの依然としてキャッシュミスによる性能低下の可能性が残るメジャーフォルトの一回あたりの停止時間はごくわずか (GbEで数 ms) だが頻出すると大きく性能が低下するキャッシュミスがある程度起きるのはしょうがないので起きてしまったときに緩和できる方法を考える 12

13 提案手法オンデマンドなページ転送を VM の実行に対して並行動作可能にすることで性能低下を抑制する VM が未転送のメモリページにアクセスした場合にはゲスト OS に特殊な割り込みを投入しゲスト OS を即座に再開するゲスト OS のプロセススケジューラはカレントプロセスの実行のみを停止し他のプロセスの実行は継続する転送が完了するまで当該プロセスの実行のみを遅延新たに追加する割り込み Page Not Present KVM: そのページは今から転送するからちょっと待って! ゲスト OS カーネル : それまで他のプロセス実行しよう Page Present KVM: そのページの転送が完了したよ! ゲスト OS カーネル : そのページ待ちだったプロセス再開しよう 13

14 14 実行例 (SystemTap による分析 ) 提案手法ありページフォルト処理中でも仮想マシンを実行できているページフォルト処理期間仮想マシン実行期間提案手法なしページフォルト処理期間ページフォルト処理中は仮想マシンを一切実行できない仮想マシン実行期間

15 提案機構の動作概要 (Page Not Present 割り込みの投入 ) 7. ページフォルトを起こしたプロセスを RUN キューから除外プロセス A プロセス B 6. VM ENTRY (Page Not Present 割り込みの投入 ) 1. VM EXIT ( ページフォルト ) 0. あるページにはじめてアクセス KVM umemd 3. ページが転送済みか確認 => 未転送だった UMEM Workqueue (kernel thread) 4. ページフォルトハンドラをページ不在オプション付きで完了 Kernel Memory Manager 5. 遅延処理用のカーネルスレッドを起動 2. ページフォルトハンドラをノンブロッキングフラグで呼び出し 15

16 提案機構の動作概要 (Page Present 割り込みの投入 ) 9. ページ取得待ちだったプロセスを RUN キューにつなぐ 8. VM ENTRY (Page Present 割り込みの投入 ) プロセス A プロセス B 3. ページ内容の取得 7. VM EXIT umemd 4a. ページ内容の書き込み 2. ページ転送を依頼 6. 次回 VM ENTRY 時に割り込み投入を依頼 KVM Workqueue (kernel thread) 4b. ページ取得済みとマーク 5. フォルトハンドラの完了 Kernel Memory Manager UMEM 1. ページフォルトハンドラを通常フラグで呼び出し 16

17 実装 KVM および Linux が備える Asynchronous Page Fault (APF) 機能を拡張して実装 VMのメモリページがホストOS 上でスワップアウトされていた時にページフォルト処理を非同期化する仕組み APFに対応したKVMドライバおよびゲストOSカーネルであればそのまま提案機構にも対応実はAPFの割り込み通知をそのまま流用提案機構ではUMEMドライバおよびデーモンを非同期処理に拡張 17

18 評価の前に提案機構の注意点ゲスト OS 上で複数の CPU 待ちプロセスが存在しないと効果がないページ転送処理を非同期化できるのは VCPU スレッドがゲスト OS 内を走行しているときに発生したページフォルトのみメインスレッドやディスクの I/O スレッドは対象外 VCPU スレッドがゲスト OS 外でページにアクセスする処理 (APIC の処理等 ) は対象外転送待ち中のページに対して再度ページフォルトが発生すると通常のページフォルト処理にフォールバックするあるページの取得を複数のプロセスが待っている場合に発生 18

19 評価環境物理ハードウェア Intel Xeon E5620 x2 (EPT あり ), 24GB RAM マイグレーション用 NIC:10GbE (RTT 150us) 負荷生成用 NIC:GbE 仮想マシン 1VCPU, 1GB RAM マイグレーションメジャーフォルト発生ページの前後 8 ページを一度に転送バックグラウンドの転送は無効 VM Host A 10GbE GbE Live Migration Host B Web Server Benchmark Host C 19

メモリスキャンの完了時間を計測 Thread 1 Thread 2 Thread 3 Thread 4

20 動作確認単純なベンチ - マークを準備 4 スレッドがそれぞれ 200MB のメモリ領域を確保実行ホスト切り替え後各スレッドがそれぞれメモリ領域の先頭から末尾まで順番にページアクセスメモリスキャンの完了時間を計測 Thread 1 Thread 2 Thread 3 Thread 4 メモリスキャン 200MB 200MB 200MB 200MB ホスト OS( 移動元 ) ホスト OS( 移動先 ) 10Gb Ethernet 20

21 完了時間提案機構あり :9.8 秒提案機構なし :17.6 秒ベンチマーク結果単位実時間あたりのゲスト OS 実行時間 VMX Non Rootモードの走行時間提案機構あり :0.55 提案機構なし :

22 SystemTap による提案機構の動作解析スレッド 1 がページ番号 0x180d に対してページフォルトを発生した場合ホストOS 時刻 (us) 200 400 600 ページ番号 0x180d に対してページフォルト発生 VM EXIT 状態 ( 時刻 198-242us)

22 22 SystemTap による提案機構の動作解析スレッド 1 がページ番号 0x180d に対してページフォルトを発生した場合ホストOS 時刻 (us) ページ番号 0x180d に対してページフォルト発生 VM EXIT 状態 ( 時刻 us) キャッシュ済みか確認 => 未取得と判明ページの取得 ( 時刻 us) 提案機構がなければこの期間が VM EXIT ゲストOS 時刻 (us) Page Not Present 割り込み Page Ready 割り込みスレッド 1 の wait( 時刻 us)

23 VM ウェブサーバを用いた評価 Apache プレフォーク ( 最大 128 プロセス ) 静的ウェブコンテンツ 100KB x 5000 個計測開始前にすべてページキャッシュに載せるクライアント HTTP クライアントを 128 スレッド各スレッドはランダムな順番でウェブコンテンツにアクセス各リクエストの応答時間を計測 23

24 24 リクエスト応答時間提案機構あり提案機構なし提案機構により HTTP リクエストの応答時間の悪化を緩和できた

25 25 単位実時間に占めるゲスト OS 実行時間の割合提案機構あり提案機構なし提案機構ありの場合においてページフォルト処理に並行してゲスト OS を実行した時間ゲスト OS 実行時間の差を概ね説明できる

26 26 転送待ち中のページに対して再度ページフォルトが発生した回数 100ms あたりの発生回数実はほとんど発生していない冒頭のスパイクはテキスト領域など

27 関連研究 (1) ダブルページング問題への対処手法 VM のメモリがホスト OS 上でスワップアウトされた時に VM のページフォルト処理遅延が増加ページフォルト処理の非同期化 IBM z/vm の Pseudo-Page-Fault Interruption Linux KVM の APF 提案機構は同様の仕組みをポストコピー型ライブマイグレーションにはじめて適用 27

28 関連研究 (2) ポストコピー型の性能向上手法 SnowFlock とその後継の研究ポストコピー型による VM の高速クローン機構 malloc() を準仮想化移動先で malloc したページは転送しないゲストページテーブルの解析関連性が高いページ群をまとめてプレキャッシュ Lagar-Cavilla らのポストコピー型ページフォルト発生前後のページからプレキャッシュ我々のポストコピー型でも実装済みプレコピー型とポストコピー型のハイブリッドプレコピー型を開始しその後ポストコピー型へ移行ポストコピー時のキャッシュミスを低減我々のポストコピー型でも実装済み ( 要評価 ) RDMA の利用メジャーフォルトの処理遅延を低減 28

29 Yabusame 開発史 (1) 2009 年度はじめ頃最初のプロトタイプを作り始めるそれ以前はディスクのポストコピー型を作っていた 2009 年 8 月 SWoPP Qemu/KVM に対する VM 本体のポストコピー型を研究発表その後 IC2009 ComSys09 CCGrid10 等で発表その後応用事例の研究もいくつか発表した 2010 年半ば頃プロダクションレベルの実装を開発する話が持ち上がる 29

30 Yabusame 開発史 (2) 2011 年初頭再実装を開始 (VA Linux に依頼 ) 2011 年夏頃対外的に発表 KVM Forum 2011 Linux Plumbers 年初頭 Yabusame のコードを公開 APF を実装 2012 年秋 KVM Forum 2012 実装を再度ブラッシュアッププレコピーとポストコピーのハイブリッドを実装 30

31 開発与太話 Qemu/KVM にマージしたいがなかなか難しいプレコピーの改良をまずはできる限り行うべきもっとエンタープライズな環境で評価しないとダメ本当にそれが必要っていう理由付けが必要 IBM や Redhat のビジネス戦略にのせる必要とはいえパッチを当てればいつでも使える状態になっているのでまずは是非使ってみてください! どんな場合もAISTでサポートしますいろんな環境で評価して頂けるとうれしいです使って論文を書いて頂けるのもうれしいです 31

32 今後の課題エンタープライズ環境への対応 10GbEやInfiniband RDMA 化など産総研ではインターンを募集しています上記ネタやその他 Yabusame に関連する研究に取り組める方あなたの卒論修論博論ネタとなるように開発だけではなく研究としてサポートします結構な (?) バイト代払います 32

33 まとめポストコピー型ライブマイグレーションの性能低下を緩和する手法を提案 VMが未転送のメモリページにアクセスしたらゲストOS 全体を止めるのではなくそのページにアクセスしたゲストOS 上のプロセスのみ止め他のプロセスの実行は継続する仕組みページフォルトを準仮想化することで実現既存のQemu/KVMと親和性の高い実装 Linux 以降のカーネルであれば改変を施すことなくゲストOSとして提案機構に対応評価の結果性能低下の緩和が確認できたみんな遊んでみてね (qemu) migrate p 33

都鳥 : メモリキャッシュによるライブマイグレーションの高速化第 30 回仮想化実装技術勉強会 2011 年 12 月 19 日穐山空道 ( 東大情報理工創造情報 M2) 1

都鳥 : メモリキャッシュによるライブマイグレーションの高速化第 30 回仮想化実装技術勉強会 2011 年 12 月 19 日穐山空道 ( 東大情報理工創造情報 M2) 1 都鳥 : メモリキャッシュによるライブマイグレーションの高速化第 30 回仮想化実装技術勉強会 2011 年 12 月 19 日穐山空道 ( 東大情報理工創造情報 M2) 1 背景 : VMの動的再配置によるクラウド効率化 (1/2) Dynamic VM Consolida9on[1] 低負荷 à 共有サーバに集約し電力削減高負荷 à 分散配置し性能保障 VM3 VM1 VM4 VM2 動的再配置