Clonezilla-LCA2011

Size: px

Start display at page:

Download "Clonezilla-LCA2011"

さやいさし
7 years ago
Views:

1 Clonezilla を使ったビッグデータシステム構築と Backup as a service Steven Shiau, Ceasar Sun, Thomas Tsai clonezilla.org Q1, 2016

2 全体の流れ Clonezilla の紹介ビッグデータシステム構築 Clonezilla-BD Clonezilla を使った Backup as a service 機能 2015 年秋からのアップデート基本的なアイデア方法事例 Q&A 2

3 全体の流れ Clonezilla の紹介ビッグデータシステム構築 Clonezilla-BD Clonezilla を使った Backup as a service 機能 2015 年秋からのアップデート基本的なアイデア方法事例 Q&A 3

4 システムのイメージ化と複製バックアップ写真元 : maggiesfarm.anotherdotcom.com and jervisdabreo.com 4

5 大規模システムの構築 5

6 私達について DRBL, Clonezilla 等のフリーソフトウェア開発者です Steven は GParted Live CD のメンテナーでもあります台湾では NPO 法人 NCHC 国立 HPC センターに勤務しています Taiwan image source: wikipedia.org 6

7 Clonezilla とは True image や Ghost と同様のディスクパーティションのイメージ化複製ツール GPL ライセンス下記 OS の物理マシンリカバリー VMFS VMware ESX/ESXi *1 *2 *3 *4 *5 *6 * ロゴ元 : (1) Larry Ewing, Simon Budig and Anja Gerwinski, (2) Apple,(3) Microsoft, (4) Marshall Kirk McKusick, (5) VMWare (6) Distrowatch.com 7

8 Clonezilla の機能フリーソフトウェア (GPL) 対応ファイルシステム : Ext2/3/4, ReiserFS, Reiser4, XFS, JFS, HFS+, BrtFS, F2fs, UFS, Minix, VMFS, F2FS, NILFS2, FAT, NTFS LVM2 対応一部のハードウェア RAID チップ対応 ( カーネル機能 ) ファイルシステムの効率的な複製未対応のファイルシステムは dd コマンドによるセクタ単位コピーを実施ブートローダー : syslinux, grub 1/2 ; MBR と隠しデータ ( 存在する場合 ) シリアルコンソール自動化モード１イメージから複数のローカルデバイスへのリストア Clonezilla サーバ版 (SE) によるマルチキャスト対応イメージフォーマットは透過的でオープンかつ柔軟 8

9 DRBL Live Clonezilla サーバ版 9

10 Clonezilla Live 10

11 開発者 Steven Shiau K. L. Huang Ceasar Sun Jazz Wang Thomas Tsai Jean-Francois Nifenecker Louie Chen Nagappan Alagappan 11

12 翻訳ボランティア英語 (en_us): Dylan Pack. ドイツ語 (de_de): Michael Vinzenz. ハンガリー語 (hu_hu): Greg Marki スペイン語 (es_es): Juan Ramón Martínez and Alex Ibáñez López. フランス語 (fr_fr): Jean-Francois Nifenecker and Jean Francois Martinez. イタリア語 (it_it): Gianfranco Gentili. 日本語 (ja_jp): 吉山晃 and Annie Wei. ブラジルのポルトガル語 (pt_br): Marcos Pereira da Silva Cruz. ロシア語 (ru_ru): Anton Pryadko and Igor Melnikov. スロバキア語 (sk_sk): Ondrej Dzivy Balucha トルコ語 (tr_tr): Ömer YILDIZ 中国の中国語 (zh_cn): Zhiqiang Zhang and Liang Qi. 台湾の中国語 (zh_tw): T. C. Lin. 12

13 パートナー Clonezilla を自社製品に使っているか Clonezilla を宣伝している企業一覧 : Linmin eracks Open Source Systems Miracle Linux 13

14 2015 年秋からの変更点と機能 NILFS2 ファイルシステムへの新規対応 NVME デバイス複製に対応例 /dev/nvme0n1 /dev/sda レガシー BIOS を使ったマシン上で特殊な bios_boot パーティションがある GPT ディスクに対応デフォルトでリストア前にイメージの完全性をチェックするように変更複製リストア後に全ての通常ファイルの md5sum/sha1sum/ sha256sum/sha512sum チェックが可能に ( テストリリース版 Clonezilla Live 以降 ) 14

15 世界中の Clonezilla ユーザー 1,300 のダウンロード万以上のダウンロード 1,300 万以上 15

16 全体の流れ Clonezilla の紹介ビッグデータシステム構築 Clonezilla-BD Clonezilla を使った Backup as a service 機能 2015 年秋からのアップデート基本的なアイデア方法事例 Q&A 16

17 ビッグデータシステムの構築大規模多数ノード大規模構築が必要複雑 : システムインストールビッグデータアプリケーション Hadoop 種別説明 Apache CDH HDP MapR オリジナルの Hadoop プロジェクト Cloudera Distribution Hadoop Hortonworks Data Platform (Yahoo 子会社 ) MapR Inc. Apache ライセンス Apache ライセンス商用 Cloudera Manager Apache Ambari 商用ライセンス Apache ライセンスツール Apache Ambari １からの構築 OS 備考 RHEL 5/6 CentOS 5/6 Oracle Linux 5/6 SLES 11 Ubuntu 12.04/14 Debian 7 古い GNU/Linux Apache Ambari RHEL 5.7/6.4~6.6 Oracle Linux 5.6/6.4~6.6 SLES 11 Ubuntu 12.04/14.04 Debian 6/7.0/7,1 新しい GNU/Linux 構築にライセンス費が必要 ( カスタム版 ) RHEL 6x/7x CentOS 6x/7x Oracle Linux 6.x/7.x SLES 11 Ubuntu 12.04/14.04 Debian 7x 新しい GNU/Linux Apache Ambari ( カスタム版 ) RHEL SLES Ubuntu 商用

18 Clonezilla-BD の理由イメージ手法によるビッグデータ構築プログラム Hadoop クラスタ構築の簡単な方法メリット簡単 : 自動設定サービスアカウント鍵ソフトウェア設定サービス等を含む互換性 : 物理仮想マシン両方で動作 Clonezilla True Image 他で使用可能２つの方法ノード単位構築 Clonezilla-SE 必要条件構築時に計算ノードの全 MAC アドレスが１ファイルに記載されている必要があります

19 方法 1- ノード単位構築スタート基本的な対応 OS: Debian x32/x64 Ubuntu x32/x64 Hadoop クラスタ NN DN 1 clz bd インストールネットワーク設定パッケージインストール Mac アドレスパッケージ構築にイメージ複製ツールを使用システム設定パッケージ設定 DN 3. システム設定最終的なテンプレート DN 2 インストール後の設定 DN n サービス起動

20 方法 2- Clonezilla-SE スタート NN Clonezilla サーバ Mac アドレス DN 1 clz bd インストールパッケージ DN 2 パッケージ準備インストール後の設定システム設定パッケージ設定基本的な対応 OS: Clonezila イメージ Clonezilla によるマルチキャストインストール. Debian x32/x64 Ubuntu x32/x64 DN 3 DN n サービス起動

21 プロジェクトとスクリーンショット github.com/ceasar sun/clz bd

22 今後の Clonezilla-BD の開発 Hadoop エコシステムパッケージの追加リソース監視構築通知機能の追加モジュールユーザが Hadoop バージョンと関連パッケージを選択可能に中央管理機能の追加ノードの動的追加削除 Ansible 利用より軽量な自動構築ツール Python + SSH のみ

23 全体の流れ Clonezilla の紹介ビッグデータシステム構築 Clonezilla-BD Clonezilla を使った Backup as a service 機能 2015 年秋からのアップデート基本的なアイデア方法事例 Q&A 23

24 Backup as a service システムバックアップの要件 : ローカルクラウドバックアップセキュリティ柔軟性物理マシンのリカバリー Clonezilla によるイメージベースのバックアップイメージリポジトリ : local, NFS, CIFS, SSHFS, WebDAV 128 ビット AES( または 256 ビット ) Images source: wikipedia.org 24

25 Backup as a service サーバ側 BaaS サーバサーバは以下のサービスのうち１つを提供 WebDAV SSHFS CIFS NFS OpenStack Swift Amazon S3 FOSS ソリューション : OwnCloud FreeNAS GNU/Linux + Apache WebDAV/SSHFS/CIFS/NFS OpenStack Swift... 25

26 Backup as a service クライアント側 : 対話モード Clonezilla Live 以降バックアップしたいマシン上で Clonezilla Live を起動ネットワーク接続を設定イメージリポジトリを選択 : SSHFS CIFS NFS WebDAV S3 Swift 暗号化方式を選択 Not ready for S3 & Swift 26

27 Backup as a service クライアント側 : ほぼ自動化 Clonezilla Live 以降起動パラメータでの事前設定例: locales=en_us.utf-8 keyboard-layouts=none ocs_prerun1= dhclient -v eth0 ocs_prerun2= ocs-tune-conf-for-webdav ocs_prerun3= mount -t davfs -o noexec /home/partimag ocs_live_run= ocs-sr -q2 -j2 -z1p -enc -p true savedisk myimg sda 注 davfs2 のキャッシュ機構の制限によりボリュームサイズは空きメモリに依存 27

28 起動パラメータ 28

29 起動中 WebDAV 認証暗号化のパスフレーズ 29

30 暗号化イメージディレクトリ中のファイル -rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 blkdev.list -rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 blkid.list イメージディレクトリ中の唯一の平文テキストファイル他のファイルは暗号化 -rw-r--r-- 1 www-data www-data 16K Feb 20 21:29 clonezilla-img -rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 dev-fs.list -rw-r--r-- 1 www-data www-data 12K Feb 20 21:29 disk -rw-r--r-- 1 www-data www-data 141 Feb 20 21:29 ecryptfs.info -rw-r--r-- 1 www-data www-data 12K Feb 20 21:29 parts -rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 sda-chs.sf # This image was saved with ecryptfs disk_of_img="sda" parts_of_img="sda1 sda5" time_of_img=" " disks_size_all_of_img="_8590mb" -rw-r--r-- 1 www-data www-data 1.1M Feb 20 21:27 sda-hidden-data-after-mbr -rw-r--r-- 1 www-data www-data 12K Feb 20 21:27 sda-mbr -rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 sda-pt.parted -rw-r--r-- 1 www-data www-data 12K Feb 20 21:29 sda-pt.parted.compact -rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 sda-pt.sf -rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aaa -rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aab -rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aac -rw-r--r-- 1 www-data www-data 95M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aad -rw-r--r-- 1 www-data www-data 73M Feb 20 21:29 sda1.ext4-ptcl-img.gz.aae -rw-r--r-- 1 www-data www-data 760K Feb 20 21:29 sda5.ext4-ptcl-img.gz.aaa -rw-r--r-- 1 www-data www-data 12K Feb 20 21:28 swappt-sda6.info Ocs tune conf for webdav によって再セットされたボリュームサイズ現状 AES は既存の辞書攻撃に対する脆弱性は確認されていない 30

31 デモ (WebDAV にイメージを保存 ) サーバ側 : WebDAV (Ubuntu 上の Apache2 WebDAV で提供 ) URL: クライアント側 : Clonezilla Live 使用 ( ローカルディスクをイメージとして保存するよう事前設定 ) locales=en_us.utf-8 keyboard-layouts=none ocs_prerun1= dhclient -v eth0 ocs_prerun2= ocs-tune-conf-for-webdav ocs_prerun3= mount -t davfs -o noexec /home/partimag ocs_live_run= ocs-sr -q2 -j2 -z1p -enc -p true savedisk myimg sda 31

32 まとめ Clonezilla-BD によりビッグデータ処理用の Hadoop クラスタを構築できますイメージ暗号化により同じイメージリポジトリ上で複数ユーザへのシステムイメージ化用 BaaS を提供できますファイルシステム対応の問題により ecryptfs は s3fs (S3 用 ) や cloudfuse (Swift 用 ) との互換性問題があります我々は s3ql 利用に向けて開発していますがまだ完了していません WebDAV サービスはより柔軟ですが幾つかの制限事項が出る可能性があります例サーバ側の１ファイルサイズ上限そのため WebDAV サービスと Clonezilla との互換性を確認する必要があります 32

33 参考 Clonezilla: DRBL: Clonezilla-BD: 33

34 Questions? Great!????? 34

Clonezilla-LCA2011

Clonezilla-LCA2011 Clonezilla を用いたバックアップサービス (Backup as a Service with Clonezilla) clonezilla.org Q1, 2015 概要 Clonezilla 紹介 Clonezilla 利用のバックアップサービス機能 2014 年春からのアップデート基本的なアイデア方法事例 Q&A 2 概要 Clonezilla 紹介 Clonezilla 利用のバックアップサービス