パススルー I/O の実装と今後 2008 年 11 月 21 日島田雄二 NECシステムテクノロジー
目次 1. パススルー I/O の実装 2. 今後の予定 3. パススルー I/O の課題 4. まとめ 2 NEC Corporation 2008
1. パススルー I/O の実装
パススルー I/O とは Domain へ I/O デバイスを割り当て Guest ソフトウェアから直接制御する HBA を割り当て ストレージへ高速アクセス NIC を割り当て ネットワークへ高速アクセス Domain #1 HBA#1 Dual Port NIC 割り当て Domain #2 HBA#2 本発表では HVM Domain のパススルー I/O について説明する 4 NEC Corporation 2008
MMIO 仮想化 パススルー I/O 概要 (1) Guest Physical AddressからMachine Addressへページ単位で対応付け I/Oデバイスのリソース再割り当て BIOSが割り当てたMMIOリソースが ページ サイズにアラインされていなければ Domain0 Linuxがページ サイズにアラインされているMMIOリソースをI/Oデバイスに再割り当て 改造点 1 コンフィグレーション レジスタ アクセス仮想化 ioemu は Guest ソフトウェアからのコンフィグレーション レジスタ ア クセスをトラップし ビットのタイプに応じてそのままパススルーまたはエミュレート改造点 2 5 NEC Corporation 2008
パススルー I/O 概要 (2) DMA 仮想化 デバイス ドライバはI/OデバイスにGuest Physical Addressを書き込む I/OデバイスはGuest Physical Addressを使用してDMAを実行 チップセット上のIOMMUがGuest Physical AddressをMachine Addressに変換 ポート I/O 仮想化 Hypervisor は IN/OUT 命令をトラップし Guest ソフトウェアの代わりに I/O デバイスにアクセス 割り込み仮想化 Hypervisor は I/O デバイスから割り込みを受け 割り込みコントローラをエミュレートし 割り込みを HVM Domain へインジェクト 6 NEC Corporation 2008
Net work 問題 改造点 1 I/O デバイスのリソース再割り当て BIOS により割り当てられたリソースがページ サイズにアラインされていなければ HVM Domain への I/O デバイス割り当てに失敗 改造内容 DISK Error: pci: 0000:00:1d.0: non-page-aligned MMIO BAR found. BIOSが割り当てたリソースを開放し I/Oデバイスにページ サイズにアラインされたリソースを再割り当て リソース再割り当て対象のI/Oデバイスを指定するブート パラメータを追加 NIC HBA 00:1d.1 00:1d.0 00:01.0 page size 10004000h 10003000h 10002000h Memory Resource assigned by BIOS (Machine Address Space) reassigndev=00:1d.0, 00:1d.1, 00:01.0 Boot Xen 00:1d.1 00:1d.0 00:01.0 10004000h 10003000h 10002000h Reassigned Memory Resource (Machine Address Space) BIOS によるリソースの割り当て状況に関わらず HVM Domain に I/O デバイスを割り当てることが可能に Boot HVM Domain No Error 7 NEC Corporation 2008
改造点 2 コンフィグレーション レジスタ アクセス仮想化 (1) 問題 Configuration Header Type 0 以外のレジスタはリード オンリーであった為 HVM Domain に割り当てることのできる I/O デバイスが限定 改造内容 Guest ソフトウェアが次のレジスタにリード / ライト アクセス可能とし 他のレジスタは隠蔽 Configuration Header Type 0 MSI Capability Structure MSI-X Capability Structure PCI Express Capability Structure PCI Power Management Capability Structure Vital Product Data Capability Structure Vendor Specific Capability Structure Device Specific Register (HeaderとCapability Structureを除く ) 8 NEC Corporation 2008
改造点 2 コンフィグレーション レジスタ アクセス仮想化 (2) 改造内容 ( 続き ) Guestソフトウェアが直接制御可能なビットはパススルー BIOS 設定値を保護すべきビット 特殊な処理が必要なビットはエミュレート Configuration Access by Guest Software ioemu Emulated Configuration Registers I/O Device Physical Configuration Registers Pass-through type Emulate type PCI Express Capability Structure 31 16 15 0 PCI Express Capability Register Device Status Link Capabilities Link Status Slot Capabilities Slot Status Root Capabilities Root Status Device Capabilities Next Pointer Device Control Link Control Slot Control Root Control HVM Domain に USB や SAS HBA など様々なデバイスを割り当て可能に 不正な Guest ソフトウェアからシステム全体を保護 Capability ID Pass-through type Emulate type offset Capability Pointer Capability Pointer + 04h Capability Pointer + 08h Capability Pointer + 0Ch Capability Pointer + 10h Capability Pointer + 14h Capability Pointer + 18h Capability Pointer + 1Ch Capability Pointer + 20h 9 NEC Corporation 2008
2. 今後の予定
今後の予定 (1) Guest ソフトウェアから I/O デバイスの電源制御 デバイスの電源制御 / 状態レジスタ (PMCSR) による直接制御 D0~D3hotをサポート 省電力化 high power low power 割り込みのリダイレクトを削減 Xen 3.3.0 において, 割り込みは一つのプロセッサに集中 ( 仮想プロセッサ 0 番 ) そのプロセッサが Guest ソフトウェアが指定したプロセッサでなければ割り込みをリダイレクト 割り込みのリダイレクトを削減するために Guest ソフトウェアが設定したプロセッサへの割り込み配送をサポート 割り込み配送のパフォーマンス向上 11 NEC Corporation 2008
ioemu のログ改善 今後の予定 (2) ioemu のログに日付情報 プロセス ID を付加 example [2008-11-21 16:10:05 4567] can't store dev vc name for domid 1 in /parallel/0 from a stub domain [2008-11-21 16:10:06 4567] qemu_map_cache_init nr_buckets = 10000 size 3145728 [2008-11-21 16:10:06 4567] shared page at pfn 1fffe 障害発生時の解析負担軽減 Stub Domain によるパススルー I/O をサポート Stub DomainはDomain0の代わりにI/Oをエミュレーション Stub Domainを使用したパススルー I/Oを可能に スケーラビリティ向上 Domain0 縮小 Dom0 HVM Dom Hypervisor Hardware Stub Dom HVM Dom ioemu 12 NEC Corporation 2008
3. パススルー I/O の課題
課題 1 パススルー I/O に適さないデバイス デバイス ドライバから取得した Physical Address を内部メモリへのアクセスに使用する I/O デバイスは動かない Device Driver Processor Access with Machine Address Pass Guest Physical Address Pass Guest Physical Address Translate Chipset (IOMMU) System Memory Access with Guest Physical Address PCIe Host Interface BAR Firmware Internal Processor Internal Bus Internal Memory I/O Device Access with Guest Physical Address Some Interface Internal Memory Access DMA パススルー I/O を使用する際に デバイス ドライバが使用する Physical Address は Guest Physical Address であり Machine Address とは異なる DMA 時は IOMMU が Guest Physical Address を Machine Address へ変換する 内部メモリへのアクセス時は IOMMU は Address を変換しない その結果 アクセスに失敗する 14 NEC Corporation 2008
課題 1 この問題を引き起こす 仮想化の穴 I/O デバイスがデバイス ドライバから取得した Guest Physical Address を DMA 以外の目的で使用する場合は Guest Physical Address を Machine Address へ変換することができない これは IOMMU ベースの Hypervisor で共通する問題 Adapter Vender が I/O デバイスをパススルー I/O に適する設計にしてほしい 15 NEC Corporation 2008
課題 2 ioemu が PCIe をサポートしていない ioemu は以下の機能が無い MMCFG メカニズム メモリ空間にアクセスすることでコンフィグレーション レジスタにアクセス オフセットが 100h から FFFh のレジスタへのアクセスに必要 100h から FFFh にある Capability Structure 例 : Device Serial Number Capability Structure PCI Express VSEC Structure Root Port PCIe 固有の機能を制御するレジスタを持つデバイス Advanced Error Reporting (AER) PCIe エラーを通知 PCIe ホット プラグ ACPI ホット プラグより新しいホット プラグの仕組み その結果 Guest ソフトウェアが 必要なレジスタ Capability Structure へアクセスできない Guestソフトウェアからみたトポロジが PCIe マシンではない Guestソフトウェアは PCIeエラーをリカバリできない ACPIホット プラグを使用しなければならない 16 NEC Corporation 2008
課題 2 PCIe をサポートするための開発 まずはMMCFGメカニズム (1) とRoot Portエミュレータ (2) を ioemuに追加 次に 他のものを実装 Guest Physical Address Space FFF...FFFh F000 0000h E000 0000h MMCFG <256MB> (1) Memory Processor Root Port Virtual Machine Topology Host Bridge Legacy Device CD-ROM Display KB / Mouse RTC / PI DMAC I/O APIC PIT / HPET COM ISA Bridge IDE Cont. ACPI Cont. VGA Cont. Platform Device 0h Passthrough Device (2) Assigned Processor / Memory / I/O Emulated I/O Device 一人の開発者 / 一つのチームが全てを開発することは難しい みなさんの協力が必要 17 NEC Corporation 2008
4. まとめ
まとめ パススルー I/O は実用的になってきた 我々は今後もパススルー I/O 関連の機能を開発していく パススルー I/O には解決すべき課題が残っている 様々な技術者の力が必要 19 NEC Corporation 2008
謝辞 皆様に深く感謝致します 関係者の方々 Xen コミュニティ技術者の方々 20 NEC Corporation 2008