PowerPoint Presentation

Transcription

1 Copy On Write を用いた オーバーレイブロックデバイスの実装 丹英之, 須崎有康, 飯島賢吾, 八木豊志樹 {k.suzaki, k-iijima, 株式会社アルファシステムズ 独立行政法人産業技術総合研究所 1

2 発表の概要 背景 : ライブ CD の現状 目的 : 次世代ライブ CD 目的を達成するための手段の検討 関連研究 Loop デバイス, Device-mapper, Unionfs, User-mode Linux 本研究では 方針,Overlay Block Device のソフトウェア階層, 処理シーケンス, 差分情報を保持するファイル, 関連研究との違い OBD の実装とライブ CD への組み込み KNOPPIX, 圧縮ループデバイス, OBD-KNOPPIX の起動シーケンス, ディレクトリ構成 OBD の評価 スループットの確認, Unionfs との比較, 組み込んだライブ CD の評価 まとめ 今後の検討 / 展開 2

3 背景 : ライブ CD(CD 起動の OS) 以前から CD 起動の OS が用いられてきた 常用 OS を HD にインストールするため HD メンテナンス用 概して非 常用 OS Linux Conference なので CD 起動 Linux 3

4 背景 : ライブ CD が広まりつつある プレスで安価に大量複製 雑誌の付録 / 自由なソフトウェアの配布手段 メディアが持つロバスト性 ユーザが想定外の操作をしても再起動で復旧 教育分野などへの適用 KNOPPIX-Edu, etc. アプリケーションに特化した PC への適用 PC ベースアプライアンス / ゲーム専用機? 4

5 背景 : ライブ CD 普及への阻害要因 起動が遅い この課題の解決方法は, 機会があったらお話します. 書き込みできない メディア自体が書き込み不可能 メディア上にのるファイルシステムは変更できない ユーザはそのディレクトリツリーに変更を加えることができない システムを弄り倒したいユーザ / 改変していく用途には, やっぱり OS が HD にインストールされている必要がある? ロバストである長所は, 適用先によっては短所となる 利点を生かしつつ適用範囲を広げたい 5

6 目的 : 次世代のライブ CD 利点を生かしつつ適用範囲を広げるには ディレクトリツリーをユーザが自由に変更できるようになれば,( ある層に ) 受けが良くなるかもしれない. 他にも沢山あるはず. 面白いネタがあったら一緒にやりましょう. 6

7 目的を達成するための手段の検討 ユーザが自由にファイル変更できるようにしたい CD-ROM への書き込みは不可能. ユーザには書き込みできているように見せ掛けるしかない. ユーザの見えない所で擬似的な書き込みを実現する. どのソフトウェア階層で実現するか? 7

8 関連研究 ブロックデバイスの仮想化 Loop デバイス Device-mapper 擬似的書き込みを実現する仮想 FS Unionfs 仮想 OS のデバイス User-mode Linux(UML) の UML Block Device 8

9 関連研究 (1) Loop デバイス ファイルをブロックデバイスのイメージとして扱う仮想ブロックデバイス User Process Filesystem Layer read() / write() Virtual Filesystem Switch Ext2FS, Ext3FS, ReiserFS, XFS, etc. Loop Device Driver Physical Block Device Driver User Kernel ファイルを仮想的なブロックデバイスとして扱った場合のデータの流れ ブロックデバイスにそのまま重ねた場合のデータの流れ Storage 9

10 関連研究 (2) Device-mapper 複数の物理ブロックデバイスを統合し論理ブロックデバイスとして提供するソフトウェアレイヤ User Process Filesystem Layer read() / write() Virtual Filesystem Switch Ext2FS, Ext3FS, ReiserFS, XFS, etc. User Kernel Device-mapper Physical Block Device Driver 複数の物理ブロックデバイスを扱える Storage A Storage B Storage C 10

11 関連研究 (3) Unionfs 二つのディレクトリ ( マウントポイント ) を一つに束ねる仮想ファイルシステム Filesystem Layer Read User Process read() / write() Virtual Filesystem Switch ISO9660fs Unionfs Ext2FS Physical Block Device Driver User Kernel Read and Write 書き込み可能なファイルシステム Ext3FS, ReiserFS, XFS, etc. Read Only Media Rewritable Storage 11

12 関連研究 (4) User-mode Linux (UML) のUML Block Device (UBD) 仮想 OS 内部から参照する仮想ブロックデバイス 仮想 OS 内部で動くプロセス Host の kernel 上では一つのプロセス shell ls firefox network xmms Drivers Audio Relay shell User-mode Linux UBD ls 指定ファイルが UML のブロックデバイスとなる Host kernel TUN/TAP /dev/dsp File System NIC driver Sound driver Block Device driver Copy On Write 機能によって Hardware ブロックデバイスの更新分を参照元の差分として COW ファイルに保持できる 12

13 関連研究のまとめ Loop デバイス ファイルをブロックデバイスのイメージとして扱う仮想ブロックデバイス. 仮想ブロックデバイスとそのデータ元 ( ファイル / 物理ブロックデバイス ) は 1 対 1. Device-mapper 複数の物理ブロックデバイスを統合し論理ブロックデバイスとして提供するソフトウェアレイヤ. Copy On Write で差分を他のブロックデバイスに保持できる. 扱う対象はブロックデバイスのみ. Unionfs 二つのディレクトリを一つに束ねる仮想ファイルシステム User-mode Linux の UML Block Device 仮想 OS 内部で参照するブロックデバイス. Copy On Write で指定ファイルからの差分を COW ファイルに保持できる. 13

14 本研究では どのレイヤで擬似的書き込みを実現するか? 楽な実装 / 他のライブ CD 応用系 (UML-KNOPPIX, HTTP-FUSE-KNOPPIX, etc.) との連携 ブロックデバイスレベルでの実現 対象とするブロックデバイスに重ねる仮想デバイス 差分はどうするか? 差分データは扱い易く 仮想デバイス内で Copy On Write 処理差分データはファイルに出力 14

15 Overlay Block Device (OBD) の ソフトウェア階層 Filesystem Layer User Process read() / write() Virtual Filesystem Switch Ext2FS, Ext3FS, ReiserFS, XFS, etc. User Kernel 差分データをファイルに保持 Overlay Block Device Physical Block Device Driver Loop デバイスと同じ階層 Read Only Media Rewritable Storage 15

16 差分情報を保持するファイル User-mode Linux の UBD で用いる COW ファイル (v3) と同じフォーマット Header Bitmap magic, バージョン, 対象デバイスのサイズ, 最終更新時刻, セクタサイズ 更新状況を保持 (1 bit/sector) Modified sectors 更新されたセクタの内容 Bitmap と更新内容の部分はスパース 未使用 ( 零 ) 部分は, 物理的なディスク領域を消費しない. 16

17 ストレージへ書き出す場合 User Process write() Virtual Filesystem Switch Ext2FS, Ext3FS, ReiserFS, XFS, etc. (1) 更新されるセクタのフラグを立てる. (2) 書き込みデータを差分ファイルに出力. Overlay Block Device Physical Block Device Driver Read Only Media Rewritable Storage 17

18 ストレージから読み込む場合 User Process read() Virtual Filesystem Switch Ext2FS, Ext3FS, ReiserFS, XFS, etc. Overlay Block Device (3) Physical Block Device Driver Read Only Media (2) Rewritable Storage (1) 読み込むセクタのフラグを確認. (2) フラグありでは, 差分ファイルから読み込む. (3) フラグなしでは, 元のブロックデバイスを参照する. 18

19 関連研究と本研究 (OBD) の違い Device-mapper も COW によって差分を扱える Device-mapper はデバイスのみ OBD はデバイスとファイルが対象 Unionfs も擬似的書き込み機能を提供する Unionfs は仮想ファイルシステム OBD は仮想ブロックデバイスでレイヤが異なる Overlay Block Device User-mode Linux の UBD と同等の機能を, リアルなハードウェアで動く Kernel で実現する仮想ブロックデバイス. 19

20 OBD の実装 デバイスドライバ Loop デバイス (kernel/device/block/loop.c) を元に実装 (kernel , kernel ) Copy On Write の機能 COW ファイル設定の ioctl 追加 procfs での状況表示 COW ファイル設定コマンド util-linux の losetup を元に実装 (util-linux-2.12b) 20

21 ライブ CD への組み込み ユーザがディレクトリツリーを自由 に変更できるライブ CD を作ろう. ライブ CD といえば KNOPPIX 21

22 ライブ CD KNOPPIX CD 起動の Debian GNU/Linux ディストリビューション Knopper 氏が開発,AIST で日本語化 AutoConfig による強力なデバイス認識機能 Linux で使用可能なハードウェアは自動設定 cloop/zlib を用いた圧縮ループデバイス 展開すると 1.8GB,OS + Appli で CD 一枚 Windows マシンをすぐに Linux Box にできる 22

23 圧縮ループデバイス cloop ループデバイス + ブロック伸張機能 cloop イメージファイル Index Table n 番のセクタから読み出したい m 番ブロックの位置 inflate 読み出しデータ 伸張 (Read) だけで, 圧縮 (Write) できないデバイス これに Overlay Block Device を適用する 23

24 OBD-KNOPPIX の起動シーケンス Boot Loader [isolinux] システムのディレクトリツリー構築 Kernel, miniroot /etc/init /linuxrc /etc/init.d/knoppix-autoconfig mount /cdrom, /cloop, /tmpfs cp /cloop/{etc, home, var} /tmpfs ln -s /cloop/{bin, lib, sbin, usr} / ln -s /tmpfs/{etc, home, var} / ハードウェア検出 / 設定 hwsetup mkxf86config ライブ CD 特有のシーケンス デスクトップ環境の起動 /etc/init.d/xsession xserver KDE 通常の KNOPPIX /bin/chobdroot uml_mkcow /tmpfs/cloop_cow.img losetup -c /tmpfs/cloop_cow.img /dev/oloop /dev/cloop mount /dev/oloop /new_root mount -bind /{dev, proc, sys} /new_root chroot /new_root umount /new_root /etc/init.d/xsession OBD 下でデスクトップ起動 OBD-KNOPPIX 24

25 OBD-KNOPPIX のディレクトリ構成 RO /dev/cloop Compressed Loop Device Overlay Block Device Copy On Write /tmpfs/cloop_cow.img RW /dev/oloop /new_root chroot mount /cdrom/cloop_ext2fs.img startx 25

26 OBD の評価 仮想化レイヤを挟むことによるスループット劣化の確認 異なる階層での実装で擬似書き込み機能を提供するソフトウェア (Unionfs) との比較 26

27 OBD の評価 (1) 仮想化レイヤを挟むことによるスループット劣化の確認 OBD, デバイスの直接参照 (Direct), デバイスを loop 経由で参照 (bd-loop), ファイルシステム上のイメージを loop 経由で参照 (fs-loop) の 4 パターンに, 読み書きのスループットを測定. ファイルシステムは Ext2FS bonnie++1.03a, linux CPU:P4-2GHz, MEM:512MB, HD:MAXTOR 5T040H4 (40.9GB, 7200RPM, 2MB CACHE, ATA-100),UltraDMA Mode 2 27

28 スループットの確認 (Write) 40,000 35,000 30,000 (KB/sec) 25,000 20,000 15,000 10,000 5,000 OBD Direct bd-loop fs-loop 0 putc put_block rewrite デバイスの直接参照 (Direct), デバイスを loop 経由で参照 (bd-loop), ファイルシステム上のイメージを loop 経由で参照 (fs-loop) OBD は, 他の階層の組み合わせと比較しても遜色ない. 28

29 スループットの確認 (Read & Seek) Read Seek 30, (KB/sec) 25,000 20,000 15,000 10,000 5,000 (/sec) OBD Direct bd-loop fs-loop 0 getc get_block 0 Random seeks デバイスの直接参照 (Direct), デバイスを loop 経由で参照 (bd-loop), ファイルシステム上のイメージを loop 経由で参照 (fs-loop) OBD は, 他の階層の組み合わせと比較しても遜色ない. 29

30 OBD の評価 (2) 異なる階層での実装で擬似書き込み機能を提供するソフトウェア (Unionfs) との比較 サイズ 0 のファイル 50,000 個を生成, 消去に要する時間を測定. CPU:P4-2GHz, MEM:512MB, HD:MAXTOR 5T040H4 (40.9GB, 7200RPM, 2MB CACHE, ATA-100),UltraDMA Mode 2 tmpfs 上に100MBのExt2FSイメージ Unionfs , linux

31 Unionfs との比較 (sec) OBD Unionfs 0 既存ファイルの消去ファイルの生成生成ファイルの消去 OBD は,Unionfs よりも高速である. 31

32 OBD を組み込んだライブ CD の評価 パッケージの追加や削除など,HD にインストールされた Linux ディストリビューションと同様の操作が可能となった. X のセッション終了後,COW ファイルを退避し, 次回起動時に適用することで, 前回の更新内容が反映されたファイルシステムを再現できた. 差分ファイルが扱いにくい cloop はブロックサイズに, 伸張後のサイズを返す. COW ファイルはスパースで差分が零でも, 論理的には 1.8GB. 32

33 まとめ Copy On Write 機能を実現する仮想デバイスOverlay Block Deviceを実装した. パフォーマンスを測定した結果,Loopデバイスと同程度のスループットを得た. ライブCDに組み込むことで, ファイルシステムをユーザが自由に変更できるようになった. 33

34 今後の検討 / 展開 (1/2) ファイルフォーマットの検討 COWファイルはスパースでも, 論理的にはサイズが大きく扱いにくい. 差分情報を時系列で管理すると, ブロックデバイスのスナップショット機能が実現できる. cloopとの統合で透過的に圧縮される書き込み可能なloopデバイス? 34

35 今後の検討 / 展開 (2/2) OBD を組み込んだライブ CD 公開? slashdot.org, 2005/03/02, Knoppix 3.8 at CeBIT w/ Kernel 2.6, FF, and More Operating Systems Posted by timothy on Wednesday March from the slicing-edge dept. clsc writes "The German tech news site Heise Online reports that Knoppix 3.8 is being presented at CeBIT (Hall 9, Stand C39). Knoppix 3.8 has kernel 2.6 as default, KDE 3.3.2, OpenOffice 1.1.4, as well as... Firefox 1.0 and Thunderbird 1.0. There's also a really neato new thing involving unionfs. It seems to imply that you can change most anything on the running system, even as it is running from CD - and changes can be stored too (even on NTFS)." Kernel Patch で Kernel-ml デビュー? From: roland <for_spam@gmx.de> Date: 2005/05/26 9:52 Subject: cowloop - copy-on-write loop driver To: linux-kernel@vger.kernel.org 35

36 ご清聴ありがとうございました 教育用途向けライブ CD, KNOPPIX Edu LinuxWorld Expo/Tokyo 2005 弊社 ( アルファシステムズ ) 出展ブース No.304.org パビリオン,KNOPPIX-Edu ブースにて配布中! 教育におけるオープンソースデスクトップの実証実験 成果報告をもうすぐ公開 36