i Ceph

Size: px

Start display at page:

Download "i Ceph"

たつぞうひきぎ
7 years ago
Views:

1 23 Ceph I/O

2 i Ceph CRUSH RADOS

3 1 1 Ceph Ceph RADOS, Ceph I/O I/O

4 2 2 Ceph OS 2 1 2

5 NAS Network Attached Storage NFS Network file system CIFS Common Internet File System 1

6 4 2.2 Ceph Ceph Ceph Ceph 3 Ceph 4 write read

7 5 client メタデータの操作 Metadata Server 名前空間の管理とメタデータの操作を行うノード群ファイルデータの操作格納メタデータの永続化 Storage ストレージを構成するノード群 1: 1 Ceph [ ]

6 Ceph Ceph CPU 2.2.2 1 client 2 monitor 1.

8 6 Ceph Ceph CPU client 2 monitor 1. メタデータの操作 fileopen,rename, etc 2. ファイルデータの I/O 3. メタデータの I/O Metadata server 3 Object storage device 2: Ceph Ceph 2 4 Ceph Ceph OSD

9 7 MDS Ceph Ceph VFS Ceph write read open close VFS VFS Ceph Ceph POSIX Ceph

10 8 CRUSH Controlled Replication Under Scalable-Hashing CRUSH EBOFS Extent and B-tree based Object File System EBOFS FUSE Filesystem in Userspace VFS i raw Ceph

11 9 Ceph ACK Paxos part-time Parliament part-time Parliament

12 10 ACK ACK Paxos ACK CRUSH CRUSH ID CRUSH

13 11 CRUSH データデータもしくはメタデータを分割 fid fid1 fid2 fid3 チャンクデータとPG をマッピング PG pgid1 pgid2 pgid3 CRUSHでPGと OSD をマッピングオブジェクトストレージディバイス 3: 3 INO OID PG PG OID PG PG CRUSH

14 RADOS RADOS RADOS RADOS GFS GFS 1 2 1??

15 13 ファイルデータへのアクセスを要求障害が発生ファイルデータの有無クライアントのアクセス権限などを確認 Metadata Server client データの配置情報を送信ファイルデータにアクセス分散ファイルシステム ( 簡易モデル ) Storage 4: 複数のクライアントが同時にアクセス client1 client2 client3 大きな負荷が生じる Metadata Server 分散ファイルシステム ( 簡易モデル ) Storage 5:

16 / Metadata Server1 dir3 dir1 dir2 dir4 Metadata Server2 dir5 dir6 dir7 dir8 Metadata Server3 6: 6 Ceph 3

17 15 / Metadata Server1 dir1 dir2 client2 dir3 dir4 Metadata Server2 dir5 dir6 dir7 dir8 Metadata Server3 client1 client3 7: 7

18 16 / Metadata Server1 dir1 dir2 client2 dir3 dir4 dir5 dir6 dir7 dir8 Metadata Server2 file2 INO=5 等 file7 INO=8 等 client1 file9 INO=9 等 Metadata Server3 client3 8: 8

19 17 3 Ceph CRUSH CRUSH 4 Ceph CPU Ceph 1

20 18 4 Ceph read write 4.1 Ceph MB write read read write KB/sec Ceph 1: server OS Ceph version CPU Memory HDD Ubuntu11.04 v.0.37 Core i5 750 / 2.67GHz 8GB 290G Ethernet (1Gbps) OS Ceph 1

21 (KB/sec) MDS1 台 MDS2 台 MDS3 台 MDS1 台 MDS2 台 MDS3 台 : write (write100% read0%) 10: read (write0% read100%) MB write (KB/sec) 7 9 write MB read write

22 20 read write read write read write MDS1 台 MDS2 台 MDS3 台 MDS1 台 MDS2 台 MDS3 台 : write (write70% read30%) 12: read (write70% read30%) write 120 read 2 11 write 12 read write read read 7 write 9 write write 200 read 2

23 MDS1 台 MDS2 台 MDS3 台 MDS1 台 MDS2 台 MDS3 台 : write (write50% read50%) 14: read (write50% read50%) 13 write 14 read read write MDS1 台 MDS2 台 MDS3 台 MDS1 台 MDS2 台 MDS3 台 : write (write30% read70%) 16: read (write30% read70%) write 280 read 2 15 write 16 read read

24 MDS32500 MDS2 MDS MDS3 MDS2 MDS1 17: write 18: read Wireshark IP IP IP Ceph write read 4 ( ) read write

25 23 5 Ceph write read write ( write 200 read ) Wireshark 1 ( ) ( ) ( ( ) )

26 24 6 Ceph 400 write read I/O ( ) Ceph I/O Wireshark Ceph I/O I/O [1] Sage A. Weil. Ceph: Reliable, Scalable, and High-Performance Distributed Storage. PhD thesis, University of Califonia, SantaCruz, December [2] Sage Weil, Scott A. Brandt, Ethan L. MIller, and Carlos Maltzahn. Crush: Controlled, scalable, decentralized placement of replicated data, November 2006.

27 25 [3] Sage Weil, Scott A. Brandtand Ethan L. MIller, and Carlos Maltzahn. Rados: A fast, scalable, and reliable storage service for petabyte-scale storage clusters, November 2007.

DEIM Forum 2012 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoo

DEIM Forum 2012 C2-6 Hadoop Web Hadoop Distributed File System Hadoop I/O I/O Hadoo DEIM Forum 12 C2-6 Hadoop 112-86 2-1-1 E-mail: [email protected], [email protected] Web Hadoop Distributed File System Hadoop I/O I/O Hadoop A Study about the Remote Data Access Control for Hadoop