HPE HPC & AI フォーラム 2018 より使いやすい GPU 環境へ! HPE の Engineering VDI 最新情報 日本ヒューレット パッカード株式会社ハイブリッド IT 事業統括コアソリューション部久保田隆志
本日の内容 Engineering VDI 技術変遷 HPE SimpliVity 380 パブリッククラウド環境の利用 NVIDIA GRID 最新情報 まとめ 1
Engineering VDI 技術変遷おさらい 2
Engineering VDI の振り返り GPU プリエンプション対応 Bare Metal GPU Passthrough vgpu NVIDIA GRID HCI & Cloud VDI 技術 Single Image 管理 HA 対応 Live Migration 対応 画面転送プロトコル NVENC 対応 2008 2012 2014 2018 3
GPU パススルー方式 CAD も快適に - 仮想マシンに直接 GPU を 1 枚割当てる方式 仮想マシン 仮想マシン 仮想マシン 仮想マシン 仮想マシン アプリケーション アプリケーション アプリケーション アプリケーション アプリケーション OS OS OS OS OS Graphics Driver Graphics Driver Graphics Driver Graphics Driver Graphics Driver Hypervisor VMware ESXi Citrix XenServer Microsoft Hyper-V Server GPU GPU GPU GPU GPU 4
NVIDIA GRID vgpu 方式 GPU 分割機能 - さらに集約率を高める 管理コンソール 仮想マシン 仮想マシン 仮想マシン 仮想マシン GRID vgpu Manager アプリケーション OS アプリケーション OS アプリケーション OS アプリケーション OS NVIDIA Kernel Driver NVIDIA Driver NVIDIA Driver NVIDIA Driver NVIDIA Driver Hypervisor GPU MMU メモリ メモリ メモリ メモリ Server with NVIDIA GRID 5
NVENC - 画面転送プロトコル最適化手法 CPU 負荷削減 操作レスポンス向上 System Memory RGB YUV エンコード CPU パワーを消費 CPU CPU 内部遅延が発生 Graphics API NVIDIA GPU GPU Frame Buffer NIC 6
NVENC - 画面転送プロトコル最適化手法 CPU 負荷削減 操作レスポンス向上 System Memory CPU CPU Graphics API NVIDIA GPU GPU Frame Buffer NVENC ASIC (*) NIC (*) NVENC ASIC NVIDIA GPU に搭載されている H.264/265 専用の HW エンコーダ 7
NVIDIA GPU プリエンプション対応 Maxwell 世代までの GPU はプリエンプションがなかった ( グラフィックスだけを考えればこれでもよかった ) VM1 Graphcis VM2 Graphcis VM3 Graphcis VM4 Graphcis time Pascal からはプリエンプション対応なので以下のような処理が可能 VM1 GPU GPU プリエンプション処理 VM2 GPU VM3 GPU VM4 GPU time 8
プリエンプション対応によるメリット vgpu 環境でも CUDA を利用可能 ( これまでは GPU 占有して使用しない限り CUDA を利用できなかった ) GPU ModeSwitch が不要に (*) Maxwell まで Pascal 以降 CAD VM CUDA Graphics VM CUDA VM Hypervisor OS Hypervisor Server + NVIDIA Server + NVIDIA Server + NVIDIA Graphics GPU ModeSwitch ( 要再起動 ) Compute (*) ECC メモリの扱いには注意が必要 9
Engineering VDI 進化のまとめ NVIDIA GRIDの登場 柔軟なGPUリソースの割り当てが可能 VDI 技術のGPU 対応 GPUがあっても一般のVDIと同じ管理が可能 NVENC 対応 CPU 負荷の削減および操作レスポンスが向上 NVIDIA GPUのプリエンプション対応 CAD/CUDAの仮想マシンの共存が可能 10
HPE SimpliVity 380 Hyper Converged Infrastructure 11
マーケットリーダーの製品を信頼のサーバーで提供開始 ビジネスに必要不可欠なあらゆる機能をビルトインで提供する高性能かつ多機能なハイパーコンバージドインフラストラクチャ ( ) データ効率 PCI Acceleratorカードを用いたFPGA テクノロジでCPU/ メモリのリソースを専有せずにデータ圧縮 重複排除 データ保護 1TBの仮想マシンのローカルバックアップローカルリストアを1 分で完了 シンプル コンソール画面から3クリックで仮想マシンのバックアップ リストア 移行 複製が可能 管理性 複数サイトにまたがる1000もの仮想マシンに対して1 分未満でバックアップポリシーの作成 更新が可能 可用性 ローカルもしくはリモートサイトへ停止時間ゼロでシステム追加リプレイス可能 2018 年 5 月 Hyper-V 版も登場
HPE SimpliVity による画期的な VDI 運用 SimpliVity は 30 年来の不可能を 可能 にできる RPO RTO NOT ALL バックアップによる性能影響がないため 最短 10 分おきに PC 状態を保存できる 容量に限らず バックアップもリストアも一瞬で処理完了 すべての VDI 仮想マシンを一台一台 PC 丸ごとイメージバックアップできる ファイル単位で戻すことも可能 13
HPE SimpliVity を利用した構成例通常サーバーを組み合わせた柔軟な構成が可能 SimpliVity Federation GTC Japan 2018 で事例発表 9/14( 金 ) 14:00 14:25 @ Room 2-2 Compute Node evdi ホストとして利用 VDI 管理サーバー群が稼働ストレージ領域として利用 バックアップサーバーとして利用 HPE ProLiant DL380 Gen10 HPE SimpliVity 380 メイン NFS HPE SimpliVity 380 バックアップ 14
パブリッククラウド環境の利用ハイブリッド環境への適合 15
パブリッククラウドはやはり必要かなぁ 高いけど... データセンターの拡張 遅延に敏感なアプリの配置最適化 BCP/DR 対策の提供 一時的なデスクトップおよびアプリ環境の提供 クイックな POC 環境としての利用 16
Citrix Cloud XenApp & XenDesktop Service コントロールプレーンの Cloud 化 Citrix Cloud NetScaler Gateway Studio Director License Server StoreFront Delivery Controller SQL Cloud Connector オンプレミス Cloud Connector NetScaler Gateway WS VM VDA WS VM VDA Hypervisor Active Directory Active Directory (Replication) WS VM VDA WS VM VDA 17
Horizon 7 with VMware Cloud on Amazon Web Services Cloud Pod アーキテクチャ (CPA) AWS もしくはオンプレミスの Pods Horizon 7 Connection Servers グローバルデータレイヤー vsphere / VMware Cloud ポッド間コミュニケーション通信 AWS もしくはオンプレミスの Pods Horizon 7 Connection Servers vsphere / VMware Cloud 柔軟なデプロイメント Horizon7 CPA を用いたハイブリッドクラウド環境の構築 Horizon 7 on VMC on AWS スタンドアローン環境 展開のサポート シンプルな vsphere 環境の展開と時間課金の選択肢 Horizon および Workspace ONE サブスクリプションライセンスの提供 18
Horizon on VMC は DaaS (Desktop-as-a-Service) ではない デスクトップ & アプリ デスクトップ & アプリ デスクトップ & アプリ 顧客の管理スコープ Horizon インフラ SDDC Horizon インフラ SDDC Horizon インフラ SDDC ハードウェア ハードウェア ハードウェア オンプレミスのインフラ VMware Cloud on AWS マネージドクラウドサービス 19
Software-Defined Data Center のデプロイ 20
こまめな消灯をお忘れなく 電源管理は Cloud ではとても大事 21
NVIDIA GRID 最新情報最適な GPU 選択のためのヒント 22
STANDARD SCHEDULER これまでのスケジューラ VM 1 6 4 2 1 ベストエフォート型のスケジューラ VM 2 VM 3 8 7 5 3 Round Robin Scheduler 8 7 6 5 4 3 2 1 GPU Engine タイムスライス ラウンドロビンでスケジューリング タイムスライスでタスクは実行される SHARE OF GPU CYCLES VM3 VM2 VM1 23
STANDARD SCHEDULER の課題ベストエフォート型の限界 VM 1 VM 2 8 6 4 2 1 Round Robin Scheduler GPU Engine 1 計算タスクのような長時間 GPU を占有するタイプのジョブが実行されると ラウンドロビンスケジューラでは 1 つのタスクしか実行できない事が想定される VM 3 7 5 3 SHARE OF GPU CYCLES VM1 24
EQUAL SHARE SCHEDULER QoS を保証するスケジューラ VM 1 VM 2 VM 3 8 6 4 7 5 3 2 1 Equal Share Round Robin Scheduler 8 1 7 6 1 5 4 1 GPU Engine 新しいスケジュラー : Equal Share Scheduler (Pascal 以降の HW のみ ) 長時間実行されているタスクはプリエンプトされ 再スケジューリング時にコンテキストを保存して再開される VM 単位で GPU サイクルが決定される SHARE OF GPU vgpu 対応 VM は GPU サイクルを同等にシェアされる VM3 VM1 VM2 25
FIXED SHARE SCHEDULER 固定型のスケジューラ VM 1 VM 2 VM 3 8 7 5 6 4 2 1 3 Fixed Share Round Robin Scheduler 8 6 7 4 5 2 GPU Engine 3 1 Fixed Share Round Robin Scheduler タイムスライスでスケジュールされる VM 単位で GPU の利用率は固定 GPU プロファイル ( 分割数 ) で性能が決まる 各 VM の性能は 1/vGPU 分割数 SHARE OF GPU クラウド事業者向けを想定 ( 常に一定の性能を保証する ) None VM1 VM3 VM2 26
NVIDIA Tesla 製品一覧仮想環境向けのグラフィックス製品 M10 P4 P40 P100 V100 P6 GPU 4 Maxwell GPUs 1 Pascal GPUs 1 Pascal GPUs 1 Pascal GPUs 1 Volta GPUs 1 Pascal GPUs CUDA cores 2,560 2,560 3,840 3,584 5,120 2,048 Memory Size 32GB GDDR5 (8GB per GPU) 8GB GDDR5 24GB GDDR5 16GB HBM2 16GB HBM2 16GB GDDR5 H.264 1080p30 streams 28 24 24 36 36 24 Max vgpu instances 64 (512MB Profile) 8 (1GB Profile) 24 (1GB Profile) 16 (1GB Profile) 16 (1GB Profile) 16 (1GB Profile) vgpu Profiles 0.5GB, 1GB, 2GB, 4GB, 8GB 1GB, 2GB, 4GB, 8GB 1GB, 2GB, 3GB, 4GB, 6GB, 8GB, 12GB, 24GB 1GB, 2GB, 4GB, 8GB, 16GB 1GB, 2GB, 4GB, 8GB, 16GB 1GB, 2GB, 4GB, 8GB, 16GB Form Factor PCIe 3.0 Dual Slot (rack servers) PCIe 3.0 Single Slot (rack servers) PCIe 3.0 Dual Slot (rack servers) PCIe 3.0 Dual Slot (rack servers) PCIe 3.0 Dual Slot (rack servers) MXM (blade servers) Power 225W 50 75W 250W 250W 250W 90W (70W opt) Thermal passive passive passive passive passive bare board USER DENSITY Optimized PERFORMANCE Optimized BALDE Optimized 27
NVIDIA Tesla 製品一覧仮想環境向けのグラフィックス製品 M10 P4 P40 P100 V100 P6 32G 8G 24G 12G 16G 16G 50W 8G 16G 32G 75W 16G USER DENSITY Optimized PERFORMANCE Optimized BALDE Optimized 28
無視してはいけない大事な疑問 どの GPU を選択するのが賢い? どのスケジューラを使用するのが賢い? 同じビデオメモリサイズのプロファイルなら GPU が違ってもパフォーマンスは同じ? 分割数上げても本当に大丈夫? 29
どの GPU を選択するのが賢い? Best Effort スケジューラにおける GPU パフォーマンス差 1.2 Best Effort スケジューラを使用した場合のパフォーマンス比較 (Tesla P4 を 1 とした場合の相対比較 ) 1 0.8 0.6 0.4 0.2 0 Catia NX SolidWorks P4 P40 V100-32G V100-FHHL 仮想マシン 1 台だけで実施 30
どの GPU を選択するのが賢い? えっ 違わないの? [ 正しい理解 ] はい Best Effort では ピーク性能は FRL(Frame Rate Limitter) でキャップされてしまう ( 仮想マシン 1 台だけでは差が全くないように見える ) GPU の性能差は多重度を上げたときに現れる ( 多重度を上げてもパフォーマンス劣化の度合いが少ない ) 31
どの GPU を選択するのが賢い? 本来の GPU 性能差の確認 4.00 SPEC viewperf 13 ベンチマーク (Tesla P4 を 1 とした時の相対比較 ) 3.50 3.00 2.50 2.00 1.50 1.00 0.50 0.00 3dsmax-06 catia-05 energy-02 maya-05 medical-02 showcase-02 snx-03 sw-04 Tesla P4 Tesla P40 Tesla V100-32G Tesla V100 -FHHL Equal Share を使用し 全て 2G のプロファイルを使用 ( 仮想マシン 1 台だけで実施 ) 32
どのスケジューラを使用するのが賢い? Best Effort と Equal Share どちらが良い? (Fixed Share はクラウド事業者向けなので普通使わないのはわかったけど ) [ 正しい理解のために ] ベンチマーク結果を見てみましょう 33
どのスケジューラを使用するのが賢い? スケジューラの比較 : Best Effort vs. Equal Share 6 5 Tesla P40 におけるスケジューラの比較 (Best Effort を 1 とした時の相対比較 ) 5.28 4 3 3.37 2.91 2 1 0 Catia NX SolidWorks Best Effort Equal Share 仮想マシン 1 台だけで実施 34
どのスケジューラを使用するのが賢い? じゃ Equal Share を使用すれば OK? [ 正しい理解 ] そうとは限りません Equal Share は ホスト上で稼働している仮想マシン数で 必ず 等分される (GPU の性能を使いきれない状況が発生する可能性 ) Best Effort は FRL でキャップされた状態だが GPU リソースを使えるだけ使える ( 分割数は多いが 同時に負荷の高い仮想マシンが少ない場合は有利 ) 35
どのスケジューラを使用するのが賢い? ベンチマーク結果 - Tesla P40 分割数による違い 6.00 Best Effort (VM=1) と Fixed Share のパフォーマンス劣化について (Best Effort (VM=1) を 1 とした場合の相対比較 ) 5.4 5.00 4.00 3.5 3.00 2.3 2.5 2.9 2.2 2.00 1.00 1.5 1.5 1.1 1.1 0.7 0.7 0.5 0.5 0.3 0.4 1.7 1.4 1.1 0.9 0.7 0.00 Catia NX SolidWorks Best Effort 1 分割 2 分割 3 分割 4 分割 6 分割 8 分割 12 分割 36
同じビデオメモリサイズのプロファイルならパフォーマンスは同じ? P4-2G vs. V100D-2G パフォーマンスは同じなんだよね? [ 正しい理解 ] 先のベンチマーク結果からご想像いただけると思いますが 分割数がパフォーマンスに影響を与えます ベンチマーク結果を見てみましょう 37
同じビデオメモリサイズのプロファイルならパフォーマンスは同じ? 分割数がパフォーマンスに与える影響度 (2GB のプロファイルを使用 ) 1.2 Fixed Share スケジューラを使用した場合のパフォーマンス比較 (Tesla P4 を 1 とした場合の相対比較 ) 1 0.8 0.6 0.4 0.2 0 Catia Creo NX SolidWorks Tesla P4 (4 分割 ) Tesla P40 (12 分割 ) Tesla V100-32G (16 分割 ) Tesla V100 - FHHL (8 分割 ) 38
NVIDIA GRID まとめ Best Effort では GPU の性能差がパフォーマンス差として現れない ただし 性能の高い GPU は多重度を上げてもパフォーマンスの劣化度は少なくなる 分割数には注意 単純に GPU の集約率を上げてしまうと期待したパフォーマンスが得られない可能性 スケジューラの選択について Best Effort の方が失敗する確率は低い 明確に Equal Share を選ぶ方が良いケースは CUDA を利用する仮想マシンの共存を考える場合と分割数が少なめの場合に限られる 39
まとめ 40
まとめ VDI 環境において GPU があることによる制限はほとんどなくなった HCI 製品を利用した展開によって管理がより容易に 全てクラウドに移行するのではなくコントロールプレーンのみ移行等 より柔軟な選択 ( ハイブリッド環境 ) が可能に NVIDIA GRID の進化により CAD と CAE の垣根がさらに低くなった GPU の選択 ( とくに分割数 ) は注意が必要 41
様々な製品で Engineering VDI を支援していきます HPE ProLiant DL380 Gen10 HPE SimpliVity 380 HPE Apollo 2000 XL190r Gen10 HPE Synergy 480 Gen10 引き続き 日本ヒューレット パッカード株式会社をよろしくお願いいたします 42
Thank you 43
ベンチマーク環境について Server 項目構成備考 HPE ProLiant DL380 Gen9 CPU: Intel Xeon E5-2667 (3.2GHz, 2P/16Core) Memory: 160GB Storage: 15krpm SAS 600GB (RAID 5) GPU NVIDIA Tesla P4 / P40 / V100-32G / V100-FHHL NVIDIA GRID 6.2 VDI vsphere ESXi 6.5U1 VMware Horizon 7.5 Virtual Machine Windows 10 64bit Enterprise (1709) CPU: 4vCPU Memory: 16GB HDD: 200GB Benchmark Software SPEC viewperf 13 現時点では Best Effort およ び Equal Shareでcreoのベン チマークを取得できない 44
搭載可能 NVIDIA GPU ラインアップ 括弧内は最大搭載枚数 太字は vgpu 対応 緑字のものは今後搭載予定 DL380 SimpliVity 380 Synergy 480 Apollo 2000 Quadro P2000 (5) Quadro P4000 (5) Quadro P6000 (3) Quadro GV100 (3) Tesla M10 (2) Tesla P4 (5) Tesla P40 (3) Tesla P100-12G (3) Tesla P100-16G (3) Tesla V100-16G (3) Tesla V100-32G (3) Tesla V100-FHHL (5) Tesla M10 (1) Tesla P40 (1) Single Wide Quadro M3000SE (1) Tesla P6 (1) Expansion Module - MXM Quadro M3000SE (7) Tesla P6 (6) Expansion Module - PCIe Quadro P6000 (2) Tesla M10 (2) Tesla P40 (2) Quadro P4000 (4) Tesla M10 (4) Tesla P40 (4) Tesla P100-12G (4) Tesla P100-16G (4) Tesla V100-16G (4) Tesla V100-32G (4) 45