都鳥 : メモリキャッシュによるライブマイグレーションの高速化第 30 回仮想化実装技術勉強会 2011 年 12 月 19 日穐山空道 ( 東大情報理工創造情報 M2) 1

Size: px

Start display at page:

Download "都鳥 : メモリキャッシュによるライブマイグレーションの高速化第 30 回仮想化実装技術勉強会 2011 年 12 月 19 日穐山空道 ( 東大情報理工創造情報 M2) 1"

みさえわにべ
4 years ago
Views:

1 都鳥 : メモリキャッシュによるライブマイグレーションの高速化第 30 回仮想化実装技術勉強会 2011 年 12 月 19 日穐山空道 ( 東大情報理工創造情報 M2) 1

2 背景 : VMの動的再配置によるクラウド効率化 (1/2) Dynamic VM Consolida9on[1] 低負荷 à 共有サーバに集約し電力削減高負荷 à 分散配置し性能保障 VM3 VM1 VM4 VM2 動的再配置 VM1 VM2 共有サーバ VM3 共有サーバ VM4 サスペンドサスペンド 2 [1] Reac9ve consolida9on of virtual machines enabled by postcopy live migra9on, VTDC2011, Hirofuchi et al.

3 背景 : VMの動的再配置によるクラウド効率化 (1/2) Dynamic VM Consolida9on[1] 低負荷 à 共有サーバに集約し電力削減高負荷 à 分散配置し性能保障 VM3 VM1 VM4 VM2 動的再配置 VM1 VM2 共有サーバ VM3 共有サーバ VM4 サスペンドサスペンド 3 [1] Reac9ve consolida9on of virtual machines enabled by postcopy live migra9on, VTDC2011, Hirofuchi et al.

4 背景 : VM の動的再配置による Memory Buddies[2] クラウド効率化 (2/2) メモリの似た VM を集約しメモリ共有 à メモリ使用量削減 SnowBird[3] VM がデスクトップ計算ノードデータベース間を移動 à アプリケーション実行時間削減 [2] Interac9ve Resource- Intensive Applica9on Made Easy, Middleware2007, Largar- Cavilla et al. [3] Memory Buddies: Exploi9ng Page Sharing for Smart Colloca9on in Virtualized Data Centers, VEE2009, Wood et al. 4

5 Pre- copy Live Migra9on [4] 全メモリをコピーした後実行ホストを移動コピー中に更新されたメモリ à 再コピーコピー量が十分減少 à VM を停止し残りをコピーメモリ vcpu ネットワークディスクイメージ [4] Live Migra9on of Virtual Machines, NSDI2005, Clark et al. 5

6 Pre- copy Live Migra9on [4] 全メモリをコピーした後実行ホストを移動コピー中に更新されたメモリ à 再コピーコピー量が十分減少 à VM を停止し残りをコピーメモリ vcpu ネットワークディスクイメージ [4] Live Migra9on of Virtual Machines, NSDI2005, Clark et al. 6

7 Pre- copy Live Migra9on [4] 全メモリをコピーした後実行ホストを移動コピー中に更新されたメモリ à 再コピーコピー量が十分減少 à VM を停止し残りをコピーメモリ vcpu ネットワークディスクイメージ [4] Live Migra9on of Virtual Machines, NSDI2005, Clark et al. 7

8 Pre- copy Live Migra9on [4] 全メモリをコピーした後実行ホストを移動コピー中に更新されたメモリ à 再コピーコピー量が十分減少 à VM を停止し残りをコピーメモリ vcpu ネットワークディスクイメージ [4] Live Migra9on of Virtual Machines, NSDI2005, Clark et al. 8

9 Post- copy Live Migra9on [5][6] 実行ホストを移動した後全メモリをコピーページフォールトによるon- demandなコピーバックグラウンドでのコピーメモリ vcpu ネットワークディスクイメージ [5] SnowFlock: Rapid Virtual Machine Cloning for Cloud Compu9ng, EuroSys2008, Largar- Cavilla et al. [6] Enabling Instantaneous Reloca9on of Virtual Machines with a Lightweight VMM Extension, 9 CCGrid2010, Hirofuchi et al.

10 Post- copy Live Migra9on [5][6] 実行ホストを移動した後全メモリをコピーページフォールトによるon- demandなコピーバックグラウンドでのコピーメモリ vcpu ネットワークディスクイメージ [5] SnowFlock: Rapid Virtual Machine Cloning for Cloud Compu9ng, EuroSys2008, Largar- Cavilla et al. [6] Enabling Instantaneous Reloca9on of Virtual Machines with a Lightweight VMM Extension, 10 CCGrid2010, Hirofuchi et al.

11 Post- copy Live Migra9on [5][6] 実行ホストを移動した後全メモリをコピーページフォールトによるon- demandなコピーバックグラウンドでのコピーメモリ vcpu page fault ネットワークディスクイメージ [5] SnowFlock: Rapid Virtual Machine Cloning for Cloud Compu9ng, EuroSys2008, Largar- Cavilla et al. [6] Enabling Instantaneous Reloca9on of Virtual Machines with a Lightweight VMM Extension, 11 CCGrid2010, Hirofuchi et al.

12 Post- copy Live Migra9on [5][6] 実行ホストを移動した後全メモリをコピーページフォールトによるon- demandなコピーバックグラウンドでのコピーメモリ vcpu ネットワークディスクイメージ [5] SnowFlock: Rapid Virtual Machine Cloning for Cloud Compu9ng, EuroSys2008, Largar- Cavilla et al. [6] Enabling Instantaneous Reloca9on of Virtual Machines with a Lightweight VMM Extension, 12 CCGrid2010, Hirofuchi et al.

13 Post- copy Live Migra9on [5][6] 実行ホストを移動した後全メモリをコピーページフォールトによるon- demandなコピーバックグラウンドでのコピーメモリ vcpu ネットワークディスクイメージ [5] SnowFlock: Rapid Virtual Machine Cloning for Cloud Compu9ng, EuroSys2008, Largar- Cavilla et al. [6] Enabling Instantaneous Reloca9on of Virtual Machines with a Lightweight VMM Extension, 13 CCGrid2010, Hirofuchi et al.

14 Live Migra9on の問題点全メモリを転送する VM のメモリサイズは小さくない ( 一般に数 GB) 長いマイグレーション時間 ( メモリサイズ / 帯域幅 ) 1. マイグレーション中はアプリケーションパフォーマンス (workload によって 8%~30% [7]) 2. サーバ集約時に複数のマイグレーション受け入れが同時に起こりやすくなる [8] [7] Live Migra9on of Mul9ple Virtual Machines with Resource Reserva9on in Cloud Compu9ng Environments, IEEE CLOUD 2011, Ye et al. [8] Performance Modeling of Concurrent Live Migra9on Opera9ons in Cloud Compu9ng Systems 14 using PRISM Probabilis9c Model Checker, IEEE CLOUD 2011, Kikuchi et al.

15 Memory Reusing: 着想 VM の全メモリをコピーすることはコスト大 ( 特に積極的な再配置環境下 ) ポイント : VM が動的再配置されるとき VM は一度実行されたホストに戻ってくる可能性更新されていないメモリページを再利用! VM 15

16 Memory Reusing: 着想 VM の全メモリをコピーすることはコスト大 ( 特に積極的な再配置環境下 ) ポイント : VM が動的再配置されるとき VM は一度実行されたホストに戻ってくる可能性更新されていないメモリページを再利用! VM 16

17 Memory Reusing: 着想 VM の全メモリをコピーすることはコスト大 ( 特に積極的な再配置環境下 ) ポイント : VM が動的再配置されるとき VM は一度実行されたホストに戻ってくる可能性更新されていないメモリページを再利用! VM 17

18 Memory Reusing: 着想 VM の全メモリをコピーすることはコスト大 ( 特に積極的な再配置環境下 ) ポイント : VM が動的再配置されるとき VM は一度実行されたホストに戻ってくる可能性更新されていないメモリページを再利用! VM Reuse the memory! 18

19 Memory Reusing: アルゴリズム 1. メモリページの世代 VM の起動時に 0 初期化マイグレーション毎に更新ページの世代を VM の移動時移動元にメモリをキャッシュ 3. VM が戻ってくる時キャッシュの世代と最新の世代を比較世代が同じページ à 再利用世代が違うページ à ネットワーク越しにコピー * システム動作のスライドで図解 19

20 実装 : 都鳥 QEMU , KVM を利用変更前 : 全メモリページを転送変更後 : 更新されたページのみ転送 (pre, post 両方式に対応 ) 世代管理サーバを開発既存 VMM への変更を少なく詳細世代は 4 バイト符号なし整数 ( 実用上十分 ) ホストは IP アドレスで区別 VM は uuid で区別 (VM,host) の組が host にある VM のメモリキャッシュを表す 20

21 都鳥の動作 : 最初のマイグレーション 0. VM が動作中ホスト A ホスト B (VM, A) = [0, 0, 0, 0, 0, 0] (VM, B) = [*, *, *, *, *, *] 世代管理サーバホスト A à ホスト B 21

22 都鳥の動作 : 最初のマイグレーション 1. VM を停止ホスト A ホスト B (VM, A) = [0, 0, 0, 0, 0, 0] (VM, B) = [*, *, *, *, *, *] 世代管理サーバホスト A à ホスト B 22

23 都鳥の動作 : 最初のマイグレーション 1. VM を停止ホスト A ホスト B 2. 世代をインクリメント (VM, A) = [0, 1, 1, 1, 0, 0] (VM, B) = [*, *, *, *, *, *] 世代管理サーバホスト A à ホスト B 23

24 都鳥の動作 : 最初のマイグレーション 1. VM を停止 3. マイグレーションホスト A ホスト B 2. 世代をインクリメント (VM, A) = [0, 1, 1, 1, 0, 0] (VM, B) = [*, *, *, *, *, *] 世代管理サーバホスト A à ホスト B 24

25 都鳥の動作 : 戻るマイグレーションメモリキャッシュ 0. VM が動作中ホスト A ホスト B (VM, A) = [0, 1, 1, 1, 0, 0] (VM, B) = [0, C 1, 1, 1, 0, 0] 世代管理サーバホスト B à ホスト A 25

26 都鳥の動作 : 戻るマイグレーションメモリキャッシュ 0. メモリが更新されるホスト A ホスト B (VM, A) = [0, 1, 1, 1, 0, 0] (VM, B) = [0, C 1, 1, 1, 0, 0] 世代管理サーバホスト B à ホスト A 26

27 都鳥の動作 : 戻るマイグレーションメモリキャッシュ 1. VM を停止ホスト A ホスト B (VM, A) = [0, 1, 1, 1, 0, 0] (VM, B) = [0, C 1, 1, 1, 0, 0] 世代管理サーバホスト B à ホスト A 27

28 都鳥の動作 : 戻るマイグレーションメモリキャッシュ 1. VM を停止ホスト A ホスト B 2. 世代をインクリメント (VM, A) = [0, 1, 1, 1, 0, 0] (VM, B) = [0, C 1, 2, 2, 0, 0] 世代管理サーバホスト B à ホスト A 28

29 都鳥の動作 : 戻るマイグレーションメモリキャッシュ 1. VM を停止ホスト A ホスト B 2. 世代をインクリメント (VM, A) = [0, 1, 1, 1, 0, 0] (VM, B) = [0, C 1, 2, 2, 0, 0] 3. (VM, B) と (VM, A) を比較世代管理サーバホスト B à ホスト A 29

30 都鳥の動作 : 戻るマイグレーション再利用可能! 1. VM を停止ホスト A ホスト B 4. 再利用可能ページを通知 2. 世代をインクリメント (VM, A) = [0, 1, 1, 1, 0, 0] (VM, B) = [0, C 1, 2, 2, 0, 0] 3. (VM, B) と (VM, A) を比較世代管理サーバホスト B à ホスト A 30

31 都鳥の動作 : 戻るマイグレーション 5. マイグレーション 1. VM を停止再利用 4. 再利用可能ページを通知ホストA 再利用不可能ページのみネットワーク越しに転送 2. 世代をインクリメント (VM, A) = [0, 1, 1, 1, 0, 0] (VM, B) = [0, C 1, 2, 2, 0, 0] ホスト B 3. (VM, B) と (VM, A) を比較世代管理サーバホスト B à ホスト A 31

32 実験 : 目的と環境マイクロベンチマーク (pre) ページ書き込み速度と再利用率の関係 (Xeon X5460, 8GB memory, GibEthernet, QEMU , Linux , KVM ) 3 アプリケーションベンチマーク (pre/post) Web サーバワークロードをシミュレート (Phenom II X4 955, 4GB memory, QEMU , Linux , KVM ) 1 KVMのバグのためゲストはともにUbuntu server, 1GB memory 32

33 マイクイロベンチマーク (1/2) 1. ホストAで500MBのランダムデータを用意 2. ホストAからホストBへマイグレーション 3. データを更新 ( 三種類の速度 ) 200 pages/s, 1000 pages/s, 5000 pages/s 秒後にホスト B からホスト A に戻るランダムデータホスト A ホスト B 33

34 マイクイロベンチマーク (1/2) 1. ホストAで500MBのランダムデータを用意 2. ホストAからホストBへマイグレーション 3. データを更新 ( 三種類の速度 ) 200 pages/s, 1000 pages/s, 5000 pages/s 秒後にホスト B からホスト A に戻るメモリキャッシュ行きホスト A ホスト B 34

35 マイクイロベンチマーク (1/2) 1. ホストAで500MBのランダムデータを用意 2. ホストAからホストBへマイグレーション 3. データを更新 ( 三種類の速度 ) 200 pages/s, 1000 pages/s, 5000 pages/s 秒後にホスト B からホスト A に戻るメモリキャッシュホスト A ホスト B 35

36 マイクイロベンチマーク (1/2) 1. ホストAで500MBのランダムデータを用意 2. ホストAからホストBへマイグレーション 3. データを更新 ( 三種類の速度 ) 200 pages/s, 1000 pages/s, 5000 pages/s 秒後にホスト B からホスト A に戻る帰りホスト A ホスト B 36

37 マイクロベンチマーク (2/2) ー転送量 (MB) 総ー時間 ( 秒 ) 更新速度 (pages/s) 更新速度 (pages/s) 低速更新時 : 転送量移動時間共に 9 割以上の削減高速更新時 : 削減率が下がるものの 5 割ほど削減 37

38 アプリケーションベンチマーク (1/2) KiB 1024 個の静的 html を apache で公開接続 /s で 10 周読み込み ( 約 100 秒 ) 秒後に Aà B さらに 30 秒後 Bà A sta9c html ホスト A 100conns/s ホスト B 38

39 アプリケーションベンチマーク (1/2) KiB 1024 個の静的 html を apache で公開接続 /s で 10 周読み込み ( 約 100 秒 ) 秒後に Aà B さらに 30 秒後 Bà A ホスト A 100conns/s ホスト B 39

40 アプリケーションベンチマーク (1/2) KiB 1024 個の静的 html を apache で公開接続 /s で 10 周読み込み ( 約 100 秒 ) 秒後に Aà B さらに 30 秒後 Bà A 行きホスト A 100conns/s ホスト B 40

41 アプリケーションベンチマーク (1/2) KiB 1024 個の静的 html を apache で公開接続 /s で 10 周読み込み ( 約 100 秒 ) 秒後に Aà B さらに 30 秒後 Bà A ホスト A 100conns/s ホスト B 41

42 アプリケーションベンチマーク (1/2) KiB 1024 個の静的 html を apache で公開接続 /s で 10 周読み込み ( 約 100 秒 ) 秒後に Aà B さらに 30 秒後 Bà A 帰りホスト A 100conns/s ホスト B 42

43 アプリケーションベンチマーク (2/2) pre- copy post- copy ー転送量 (MB) ー転送量 ( ー ) 9 割以上の削減ファイル読込はメモリを更新しない ( 手法の適用可能領域 ) 43

44 関連研究単発のライブマイグレーションに関する研究 pre- copy 型の繰り返しコピーで差分のみを run- length で圧縮して転送 [9] メモリではなく実行ログを転送 à 転送量削減 [10] メモリページを特性によってクラスタリングし post- copy におけるプリフェッチ精度を向上 [11] 本研究は繰り返し発生するライブマイグレーションに着目した点が異なる [9] Evalua9on of Delta Compression Techniques for Efficient Live Migra9on of Large Virtual Machines, VEE2011, Svärd et al. [10] Live Migra9on of Virtual Machine Based on Full System Trace and Replay, HPDC2009, Liu et al. [11] Kaleidoscope: Cloud Micro- Elas9city via VM State Coloring, EuroSys2011, Bryant et al. 44

45 今後の課題 1. メモリキャッシュの効率的な管理 1GB の VM を実行したホスト à 当該 VM のメモリキャッシュに 1GB の RAM を消費単純にはあるホストで更新されたページはその他のホストのキャッシュから解放可能 ( 再利用できない ) 2. 実環境での評価負荷に応じたサーバ集約との統合評価ワークロード?( 検討中 ) 45

46 結論従来のライブマイグレーションでは全メモリを転送 à 多くの転送量, 長い転送時間 VM の積極的な再配置による最適化では問題 VM のメモリを再利用し上記を削減実装 ( 都鳥 ) により有用性が示された今後の課題効率的なキャッシュ管理実環境での評価 46

47 ComSys2011 での Q&A 提案手法のオーバーヘッドは? メモリ書き込み監視によるオーバーヘッドは実用上十分小さい (NPB で確認 ) 移動元移動先世代管理サーバ間で通信するが ( メモリサイズ 4K) ビットと小さいキャッシュを先に転送しておくことは可能か? 可能負荷予測が必要なため現状 out of scope どのようなワークロードに適用? ファイルキャッシュが大きいとよく効く具体的には現在検討中 47

仮想マシンの高速ライブマイグレーション技術 Yabusame: Postcopy Live Migration for Qemu/KVM

仮想マシンの高速ライブマイグレーション技術 Yabusame: Postcopy Live Migration for Qemu/KVM 準仮想化ページフォルトを用いたポストコピー型ライブマイグレーションの性能向上手法広渕崇宏 * 山幡為佐久 ** 伊藤智 * * 産業技術総合研究所 ** VA Linux Systems Japan コンピュータシステムシンポジウム 2012 2012 年 12 月 6 日本スライドは 2012 年 12 月当時のものですその後実装を改良し包括的な性能評価を行いました下記の論文をご参照ください

都鳥 : メモリキャッシュによる ライブマイグレーションの高速化 第 30 回仮想化実装技術勉強会 2011 年 12 月 19 日 穐山空道 ( 東大情報理工創造情報 M2) 1

都鳥 : メモリキャッシュによるライブマイグレーションの高速化第 30 回仮想化実装技術勉強会 2011 年 12 月 19 日穐山空道 ( 東大情報理工創造情報 M2) 1