<4D F736F F F696E74202D B E C995AA8E C815B F67816A82F0914

Size: px

Start display at page:

Download "<4D F736F F F696E74202D B E C995AA8E C815B F67816A82F0914"

よしたかかんざとばる
4 years ago
Views:

1 プライベートクラウドに分散ストレージ (Sheepdog) を選んだ理由株式会社エーティワークスプロダクト開発本部辻正博

2 自己紹介氏名辻正博所属株式会社エーティークスプロダクト開発本部担当業務製品やサービスの開発 AT-LINKのサーバ運用サービス開発

3 エーティーワークスのご紹介サービス事業サーバの製造販売事業 at+link のサーバの運用管理ユーザポートを担当 at+link で利用するサーバも製造 3

4 at+link プライベートクラウド 4

5 アジェンダストレージはクラウドの実体オブジェクトストレージ? ブロックストレージ? ストレージのソフトウエア化 at+linkプライベートクラウドのデモ 5

6 ストレージがクラウドの実体 6

7 サーバーの構成ハードディスク CPU メモリー node1 7

8 ハードディスク ( ストレージ ) の役割 CPU やメモリーはどのサーバも同じハードディスクのデータがサーバの動作を決めるハードディスクにインストールした OS やアプリケーションが動作するハードディスクは置き換えができない RHEL 6.5 Web Server RHEL 6.5 DB Server Windows2012 SQL server 8

9 クラウドと物理サーバの対比物理サーバクラウドより 9

10 クラウドにおけるストレージの重要性 Coumute node ネットワークストレージのハードウエアは冗長化などで故障に備える事ができるストレージに蓄積したデータが重要ストレージのデータクラウドの実体 10

11 クラウドストレージに求められるもの必要な要件データの保全性が高いこと継続利用できる ( ハードウエア故障が発生しても停止しない ) 容量やパフォーマンスが拡張可能であることが求められる用途コンテンツの保存などデータの保存仮想サーバの仮想ディスク 11

12 ブロックストレージ? オブジェクトストレージ? 12

13 クラウドのストレージストレージの種類例接続元ストレージサービス Dropbox Google drive OneDrive(Microsoft) ブラウザー利用者が直接ファイルなどを保存オブジェクトストレージブロックストレージ Swift(OpenStack) S3(AWS) Cinder(OpenStack) EBS(AWS) Sheepdog GlusterFS Ceph Virtual SAN(WMWare) 専用ソフト (API) API を使てオブジェクトを保存仮想ディスクとして利用 13

14 ストレージの分類アプリケーションアプリケーションアプリケーションファイルシステム Ethernet(NFS) Ethernet (REST API) Ethernet(iSCSI) ファイルシステム REST API ファイルシステムブロックストレージ iscsi の例 NAS NFS サーバの例オブジェクトストレージ 14

15 ストレージの特長分類ブロックストレージ NAS オブジェクトストレージランダムアクセス ( 任意の箇所へのアクセス ) ( セクター単位 ) ( ファイルの任意の箇所のデータにアクセスできる ) ( ファイル全体の読み書き ) 複数のアクセス元からの同時アクセスボリュームを分けるなど管理が必要ストレージのスケールアウト仮想サーバのディスクとしての利用 15

16 オブジェクトストレージ AWS S3 S3 AWS が 2006 年にリリースしたサービス AWS のサービスの中でも最初に提供された S3API を使って使用する ( プログラムから使う ) クライアントツールの例 s3cmd (Linux 用コマンドラインツール ) s3fs (Linux 用バケットをファイルシステムとしてマウント ) S3Browser (Windows 用 GUI 操作 ) Cloudberry (Windows 用バケットをファイルシステムとしてマウント ) 16

17 その他のオブジェクトストレージ Cloudian Riak CS (Basho) Swift (Openstackのに含まれている) S3 互換 APIで利用できる 17

18 ブロックストレージの利用例物理サーバ 1 物理サーバ 2 物理サーバ 3 物理サーバ 4 管理サーバ node1 VM1 VM2 VM3 VM4 VM5 ブロックストレージ装置 18

19 サーバ障害時の対応サーバ故障時でも仮想サーバを他のノードで起動することで復旧できる物理サーバ 1 物理サーバ 2 物理サーバ 3 物理サーバ 4 管理サーバ node1 ディスクの内容はどの物理ノードからでもアクセス可能 VM1 VM2 VM3 VM4 VM5 ブロックストレージ装置 19

20 サーバーのライブマイグレーションメモリーや CPU の内容を複製して切り替えることで動作させたまま移動できる物理サーバ 1 物理サーバ 2 物理サーバ 3 物理サーバ 4 管理サーバ node1 ディスクの内容はどの物理ノードからでもアクセス可能 VM1 VM2 VM3 VM4 VM5 ブロックストレージ装置 20

21 ブロックストレージ接続方法 FC 接続や iscsi 接続の機器が一般的 1GEthernet+iSCSI 構成が低コストで導入できる数年前は速度を要求される場合は FC 接続が主だったが最近では 10GEthernet+iSCSI が普及している記録媒体 1 SAS/SATA 2 SSD/HDD 混在 + ティアリングソフト構成 3 SSD 専用に設計の機器 3 の構成が増えてきている 21

22 HP P4000 G2 SAN(Left Hand) HP 社 LeftHand の例 22

23 Dothill PRO5000 Series Automated Tiering( アクセス頻度の高いデータを高速なディスクに自動で割り当てる ) SSD/SAS/Nearline SAS に対応 FC/iSCSI 接続 23

24 Pure Storage Flash Array ALL SSD 圧縮と重複排除をリアルタイムに実施 iscsi 接続無停止で容量拡張パフォーマンス増強可能 24

25 ストレージのソフトウエアのソフトウエア化 25

26 ストレージ専用機の次は? ストレージ機器はベンダーロックイン専用ハードウエアでコストが高いコモディティ化したサーバ+ソフトウエアでストレージを実現したい 26

27 大容量低価格 ARX200 S8(ATWORKS) 1U 3.5inch 12 disk サーバ ( 参考 ) 追加コストを必要しない搭載ディスク数の多いサーバもある HDD の大容量化 (3.5inch ディスクで 6~8TB) 27

28 PCIe 接続の高速 SSD の普及 Virident FlasMAX(HGST) P3000 Series(Intel) iodrive2(fusion-io) 28

29 NVDIMM( ( 不揮発性 DIMM) メモリーモジュール停止時にも内容を保持する機能を持っている SSD 以上に高速でデータを保存できる DDR4( 次世代のメモリ規格 ) に仕様が盛り込まれている今後の普及が予想される NVDIMMモジュール (Viking) より 29

30 分散ストレージソフトソフトに必要必要な機能冗長性サーバ一台ではサーバ故障時にデータが喪失してしまう複数サーバで冗長化する必要があるボリュームの管理複数の仮想ディスクに論理的に分ける管理が必要仮想サーバとの接続 Hypervisor(KVM や VMWare) が対応している必要がある 30

31 プライベートクラウドのストレージスモールスタートできること ( 導入コストが低い ) 管理運用が容易であること仕組みがシンプルであること ( 不安定要因の排除 ) 容量をあとから増設できる性能を後から向上できる ( スケールアウト ) 31

32 Sheepdog オープンソースの分散ストレージソフトウェア 2009 年初頭 NTT ソフトウェアイノベーションセンタの森田和孝氏が中心となって立ち上げ現在もコミュニティベースで開発が進められている Linux カーネルに採用されている KVM 専用のブロックストレージとして開発がスタート現在は iscsi 接続や S3 互換プロトコルによるオブジェクトストレージ機能も提供されている 32

33 Sheepdog( ( 分散の仕組み ) サーバ 5 台各サーバに 300GB のディスク 3 レプリケーション実用量 500GB=300GB 5 3 仮想ディスク 100GB 3 33

34 Sheepdog( ( 運用面 ) 管理サーバのようなものは不要ですべてのノードの役割が同一ノードの追加削除すると自動的に処理される (Corosync の働き ) ノード構成が変わった場合ディスクの使用量を均一化する処理が自動実行されるより 34

35 Sheepdog の構成要素構成要素 Sheep dog Corosync qemu-kvm tgt 説明デーモンとして働く Sheepdog の本体 CLI のコマンド Sheep の状態をみたりクラスターの制御を行うクラスターマネージャ zookeeper を使用することもできる ( ノード数が多いときは zookeeper 推奨 ) KVM ハイパーバイザー QEMU 0.13 から sheepdog のクライアントがビルトインしている RHEL6 の qemu は対応していないのでパッチあてが必要 iscsi target driver iscsi プロトコルで Sheepdog のボジュームを扱える (2013 年 9 月リリース ) KVM のブロックストレージとして利用できる

36 Ceph オブジェクトストレージやファイルシステムブロックデバイスとして利用できる Linux カーネルにマージされているオープンソース OpenStack からも利用する Driver があり Inktank 社が Redhat 社に買収され今後 Redhat 製品に導入されると思われる 36

37 Virtual SAN(VSAN) VMWare で分散ストレージを実現するソフトウエアサーバのローカルディスクや SSD をクラスター化できる VMWare 専用より 37

38 ストレージ専用機との比較種類 Sheepdog iscsi ストレージ機導入コスト中 ~ 大規模向き容量の増設スケールアウトディスク性能はディスク増設で向上するがコントローラの性能は上がらない運用管理可用性ベンダー非依存レプリケーション Erasure Code ハードウエアの制約が無いオープンソースでソースの修正も可能 RAID1,5,6 等 38

39 Erasure Code とは RAID6 の様にパリティデータを付加して一部データがなくなっても読み書きできるしくみレプリケーションに比べてディスク容量を効率よく利用できる CPU による演算負荷が高いが最近の CPU の処理能力ではリアルタイム処理が可能レプリケーション Erasure Code ディスク 1TB 6 サーバ 1TB 6 サーバ冗長構成 3 レプリケーションデータ 4 パリティ 2 総容量 6TB 冗長構成実用量 2TB 4TB 台数が増えるほど ErasureCode の実行容量は物理容量に近づく 39

40 Erasure Code の応用最近分散ストレージやオブジェクトストレージへの導入が進んでいる Swift Ceph(1.2 で対応 ) Sheepdog(0.8.0 で対応 ) Intel も Erasure Code のライブラリーを公開しストレージ技術への応用に注目している 40

41 AT+LINK プライベートクラウド 41

42 at+link プライベートクラウドの構成 42

43 最小構成サービス用ネットワークサービスネットワーク eth0 eth0 eth0 eth0 eth0 node1 node2 node3 node4 node5 eth1 eth2 eth1 eth2 eth1 eth2 eth1 eth2 eth1 eth2 SW1 ストレージネットワーク SW2 43

44 論理構成サービス用ネットワーク仮想ネットワーク (VLAN 使用 ) サービスネットワーク VLAN20 VLAN10 eth0 eth0 node1 node2 KVMによる仮想サーバ eth0 eth0 node3 node4 DB Web Web eth0 node5 eth1 eth2 eth1 eth2 eth1 eth2 eth1 eth2 eth1 eth2 SW1 Sheepdog ストレージストレージネットワーク SW2 44

45 at+link プライベートクラウド 45

<4D F736F F F696E74202D204E505F8E9F90A291E E815B CFC82AF B838B B838B C5E B8D5C91A E E4E41532E7

<4D F736F F F696E74202D204E505F8E9F90A291E E815B CFC82AF B838B B838B C5E B8D5C91A E E4E41532E7 次世代エンタープライズ向けスケールアップ & スケールアウト型モジュラー構造 Tiered クラスタ NAS 平成 22 年 4 月 1. トレンドファイルサービスとして CIFS ファイルシェアリングが主流に Windows Active Directry によるセキュリティ管理下の流れ低価格大容量スケーラブルな NAS のニーズハイパフォーマンススケールアウト NAS 用途の拡大アプリケーションから見たストレージ