Sheepdog: 仮想化環境のためのクラスタストレージシステム

Size: px

Start display at page:

Download "Sheepdog: 仮想化環境のためのクラスタストレージシステム"

ふじきみはぎにわ
7 years ago
Views:

1 Sheepdog: 仮想化環境のためのクラスタストレージシステム NTT サイバースペース研究所森田和孝 2010/11/24 Internet Week 2010

2 Sheepdog とは仮想マシン専用のクラスタストレージシステム仮想マシンに任意のサイズの仮想ディスクを提供 Sheepdog のクライアント機能は QEMU で標準機能として採用されている OpenStack などと組み合わせて動かせるようにしようと検討中

3 仮想化環境用ストレージ IaaS 環境に適した, Amazon EBS のようなストレージシステムが OSS では存在しない IaaS 環境仮想マシン仮想ハードディスクホストマシン仮想化環境用ストレージの要件 - 拡張性 - 信頼性 - 運用性 3

4 既存のストレージ技術 SAN ストレージ大規模な SAN ストレージは非常に高価拡張性集中型アーキテクチャなので単一障害点になりうる信頼性分散ファイルシステム (Ceph, Luster) 規模が大きくなってくると, クラスタの管理が大変になる運用性仮想マシンホストマシン FC スイッチ SAN ストレージ仮想マシンホストマシンイーサネットスイッチメタデータサーバデータサーバ分散ファイルシステム 4

5 Sheepdog 完全等質なクラスタストレージ仮想マシンホストマシン拡張性数百台でも動作可能信頼性データは冗長化されて保存されている単一障害点なしイーサネットスイッチ運用性自律動作クラスタメンバの動的管理高度なディスク操作機能 5

6 設計 : 仮想マシン専用ストレージ制限を加えることで, 非常にシンプルな設計を実現 API は仮想化ソフトウェア QEMU に特化通常のファイルシステムとしては利用できない同じ仮想ディスクを複数の仮想マシン間で共有できない他サーバの sheep デーモンと通信 sheep sheep ( サーバデーモン ) ゲスト OS ゲスト OS sheep ディスク入出力 QEMU ホストマシン 6

7 仮想ハードディスクの保存方法仮想マシンにオブジェクトストレージを提供仮想ハードディスクは 4 MB 単位のデータオブジェクトに分割されて保存される仮想ハードディスクとデータオブジェクトの対応関係は VDI オブジェクトに保存される /dev/hda 仮想ハードディスク VDI オブジェクトデータオブジェクト VDI オブジェクトオブジェクトストレージ 7

8 クラスタのマシン管理 Corosync 高信頼アトミックマルチキャスト, 動的メンバ管理の実装有名な OSS (Pacemaker, GFS2, etc) に採用されている Sheepdog は Corosync の高信頼マルチキャストを用いて, メタデータサーバを不要にしたマシン A マシン B Lock volume a Lock volume b Lock volume a Lock volume b Lock volume b (failed) Lock volume b (failed) マシン C Lock volume a Lock volume b Lock volume b (failed) 8

9 性能 Sheepdog NFS (NetApp FAS 2020) VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM Ethernet Ethernet NFS CPU : Core2 Quad 2.4GHz メモリ : 2 GB ネットワーク : 1 Gbps ディスク : SATA 7200 rpm ホストマシン台数 : 8 64 仮想マシン台数 : データ冗長度 : 3 FAS 2020 (NetApp storage) 9

10 性能 $ dbench -s -S 物理マシンを増やすと全体のスループットが上昇する 10

11 まとめ Sheepdog は拡張性, 運用性, 信頼性を考慮した, IaaS 環境用のクラスタストレージシステム Sheepdog のクライアントは QEMU より標準機能化開発者, ユーザ募集中その他の情報プロジェクトページメーリングリスト 11

12 12

13 付録 13

14 Architecture: fully symmetric Zero configuration about cluster members Similar to Isilon architecture VMs Host machines ethernet switch ethernet switch VMs Sheepdog cluster Sheepdog cluster Use sheepdog as a network storage VMs Use sheepdog as a virtual infrastructure 14

15 Snapshot Copy VDI Object, and make allocated data objects read-only Updating read-only objects causes copy-onwrite VDI Object VDI Object VDI Object VDI Object (snapshot) VDI Object (snapshot) Create snapshot Copy-on-write 15

16 Sheepdog の構成要素 corosync corosync corosync gateway VM qemu VM qemu gateway VM qemu クラスタ管理オブジェクトストレージ gateway storage server storage server storage server 16

17 オブジェクトストレージ可変長のデータ ( オブジェクト ) を一意の識別子を指定して保存できるクライアントはオブジェクトがどこに保存されるかを気にしなくてよい Sheepdog に存在するオブジェクトは二種類 Writable オブジェクト Read-only オブジェクト write read オブジェクトオブジェクト 17

18 オブジェクトストレージの実装コンシステントハッシュ法を利用マシンの参加や離脱によって, データ配置が大きく変わらないことが特徴 NAME: E ID : NAME: A ID : Sheepdog のサーバ, オブジェクトはコンシステントハッシュリングの上に配置される 125 NAME: D ID : NAME: B ID : 55 NAME: C ID : 81 18

19 Replication Many distributed storage systems use chain replication to maintain I/O ordering Sheepdog can use direct replication because write collision cannot happen Chain replication gateway Direct replication gateway storage server storage server storage server storage server storage server storage server write read write (parallelizable) read (from one of them) 19

20 Node membership history All nodes store the history of node membership Objects are stored with the version of node membership (epoch) epoch 1 A, B Node membership 2 A, B, C 3 A, B, C, D, E 4 B, C Machine A Machine B Machine C Machine D Machine E obj:1 obj:1 Time Machine C joined Machine D, E joined obj:1 obj:1 obj:2 obj:2 obj:2 obj:2 obj:3 obj:3 Machine A, D, E left obj:4 obj:4 20

21 クラスタのマシン管理 Totem リングプロトコル動的なメンバの管理を実現全順序かつ高信頼なマルチキャストを実現仮想同期を実現マシン A MSG1 MSG2 MSG3 B is down MSG4 MSG5 マシン B MSG1 MSG2 MSG3 マシン C MSG1 MSG2 MSG3 B is down MSG4 MSG5 21

22 Strong consistency Avoid reading old objects If requested object is not valid, system must return I/O error A and B stores obj (epoch 1) Without epoch A B C obj obj With epoch A B C obj:1 obj:1 C joined (epoch 2) obj obj obj:1 obj:1 obj is updated to obj' obj obj' obj' obj:1 obj':2 obj':2 B and C are failed (epoch 3) obj Is this obj valid? obj:1 Invalid This obj may be updated in epoch 2 22

23 Corosync problem Totem single-ring protocol with a large number of nodes doesn't work well

24 Approach: use multiple rings Consider several local rings (blue, red, and green) and one central ring (gray). Each ring uses a different multicast port. Each node is placed on one of the multiple local nodes 1 2 Central ring 11 7 Representative nodes of each ring are also placed on a central ring Each ring has a master node (with a bold line) Local ring Local ring Local ring

25 Total order multicast Send multicast message in the local ring 2. If master node receives the message, the node resends the multicast message in the central ring 3. If master nodes receive the message in the central ring, each master node resends the multicast message in the local ring Message ordering is coordinated by multicast in the central ring

i Ceph

i Ceph 23 Ceph I/O 20 20115107 i 1 1 2 2 2.1.............................. 2 2.1.1..................... 2 2.1.2.................. 3 2.1.3....................... 3 2.2 Ceph........................ 4 2.2.1.................................