Software Defined Storageの 真 実 ~ 検 証 結 果 からScaleIOは 使 えるのか?その 答 えに 迫 ります! ~ ネットワンシステムズビジネス 推 進 本 部 第 二 応 用 技 術 部 PFチーム 神 保 敏 幸
要 約 EMCのSDS 製 品 であるScaleIOについて 設 計 導 入 拡 張 運 用 さまざま 目 線 での 検 証 結 果 について 解 説 致 します OpenStackとの 親 和 性 や 類 似 製 品 であるCephとの 比 較 など 製 品 単 体 で はなく 実 際 どのように 利 用 できるのか?といった 疑 問 にお 答 えできる 内 容 と なっております OpenStackをご 検 討 中 のお 客 様 はもちろん ScaleIOってどんなストレージ? というお 客 様 必 見 のセッションです! 2
Agenda SoftwareDefinedStorage の トレンドと 定 義 OpenStack とScaleIOの 関 係 の 理 解 ScaleIO vs Ceph 比 較 各 製 品 機 能 のおさらい 機 能 観 点 運 用 観 点 OpenStackとの 連 携 ( 親 和 性 ) パフォーマンス 試 験 結 果 テスト 環 境 (サーバ ストレージ ネットワーク) ハイパーコンバージド 構 成 におけ る 性 能 測 定 ScaleIO 2tier 構 成 に お け る 性 能 測 定 ScaleIO vs Ceph 検 証 結 果 まとめ まとめと 設 計 に 関 する 考 察 3
SoftwareDefinedStorageの 定 義 SOFTWARE-DEFINED STORAGE 特 定 ベンダハードウェアに 依 存 しない コモディティサーバで 稼 働 させることが 可 能 4
OpenStackとは 2010 年 にNASAとRackspaceで 開 始 非 常 に 拡 張 性 の 高 いパブリックおよび プライベート クラウドを 構 築 する 為 のオープン ソース ソフトウェアです 自 社 データセンター 内 の Amazon に 相 当 します 5
OpenStackのおさらい リリース 名 は アルファベット 順 でOpenStack Summitが 開 催 される 場 所 の 周 囲 の 都 市 or 通 りの 名 前 であること https://wiki.openstack.org/wiki/release_naming/m_proposals Libertyの 次 リリース 名 :Meiji( 来 年 春 リリース) 6か 月 ごとにリリース 4/5 月 リリース or 10/11 月 リリース バージョン 形 式 は 西 暦.リリース 番 号 Juno : 2014.2 サポートリリースは2/3か 月 ごと Juno : 2014.2.1 https://wiki.openstack.org/wiki/releases 6
リリースバージョン Juno April 2014 Icehouse April 2014 Havana October 2013 Folsom Sept 2012 Grizzly April 2013 Liberty October 2015 2011 2012 2013 2014 2015 Essex April 2012 Austin Oct 2010 Bexar Feb 2011 Catus April 2011 Diablo September 2011 Kilo April 2015 7
オープンスタックのコンポーネント 8
Red Hat Enterprise LinuxOpenStack Platform Red Hat Enterprise Linuxでの 稼 働 を 実 施 するOpenStack Platformがディストリビューション デプロイの 簡 素 化 の 方 法 として PackstackやForemanが 提 供 さ れている 日 本 語 サポート Linuxも 含 めた 幅 広 いサポートが 特 徴 9
BlockStorageのCinder 連 携 複 雑 化 するストレージの 要 件 テナントにより 異 なる SLA や 機 能 性 能 コスト 要 求 OpenStack 変 化 のスピードへの 追 従 Cinderが 提 供 する 機 能 Cinderは 仮 想 物 理 のインスタンスに 対 して ブロックストレージ 機 能 を 提 供 する Cinderでは 作 成 されるスト レージ 領 域 を ボリューム と 呼 び その 作 成 削 除 添 付 スナップショット 作 成 が 可 能 だ ボリュームを 作 成 する 際 に ボリュームソースとしてイメージを 選 択 すると イメージサービス Glance からイメージが 転 送 されて ボ リューム 内 に 保 存 される Glanceから 提 供 されるイメージがOS 起 動 イメージである 場 合 そのボリュームからイン スタンスが 起 動 可 能 となる Cinder 連 携 とカタログ 化 Cinderでは 管 理 者 がストレージをカタログ 化 することで 利 用 者 はボリューム 作 成 時 にカタログからストレージ の 種 別 を 選 択 できる このストレージカタログの 作 成 では RAIDの 種 別 SSDの 利 用 有 無 サードパーティのス トレージなどの 要 件 を 自 由 に 加 味 できる Cinderは 標 準 でLVM(Logical Volume Manager) 上 の 領 域 を 利 用 するが EMCやNetAppといった 大 手 ストレージベンダーが 提 供 しているCinder 用 のドライバを 利 用 することにより サードパーティのストレージ 製 品 との 連 携 が 可 能 となる これによって スナップショット 作 成 などの 各 種 作 業 をストレージシステム 側 にオフロードで きる EMC ScaleIOもCinder 用 ドライバーを 提 供 10
ScaleIOのおさらい ソフトウェアベースのストレージ 拡 張 規 模 は1000 台 以 上 サーバの 内 蔵 ディスクを 共 有 ストレージ 化 主 要 OS ハイパーバイザにインストール 可 能 Redhat,Suse,Centos,Xentserver,Windows VMware,KVM,Citrix XenServer,Hyper-v OpenStackのブロックストレージとして 使 用 可 能 Cinder Driverを 提 供 可 能 アプライアンス 製 品 の 発 表 サーバーを 組 み 合 わせた 検 証 済 み 構 成 の ScaleIO Node 11
ScaleIOの 基 本 機 能 ストレージ 容 量 と 性 能 のプール 化 Flash SSD HDD RAID Cache RAM Bare Metal KVM VMware Hyper-V Servers 100 IOPS 1 TB 100 IOPS 1TB 100 IOPS 1TB 100 IOPS 1TB 100 IOPS 1TB 100 IOPS 1TB 100 IOPS 1TB 100 IOPS 1TB 100 IOPS 1TB 100 IOPS 1TB Network 1,000 IOPS 10TB s Converged Architecture Storage 12
Cephおさらい RADOS 核 となるオブジェクト ストレージ 基 盤 高 信 頼 性 自 己 修 復 分 散 型 をテーマとし た 論 文 の 理 論 を 実 装 し その 後 起 業 OSD データの 読 み 書 きを 担 う 自 身 や 他 OSDの 状 態 監 視 Monitor Ceph クラスター 階 層 マップを 管 理 LIBRADOS RADOS 機 能 に 直 接 アクセスするライブラリ RBD RADOSをブロックストレージとして 見 せる RGW S3, Swift 等 Ceph ネイティブ でない API 用 のゲートウェイ 13
Cephの 構 成 上 の 制 限 最 新 版 は1.3 最 低 3 物 理 ノード 必 要 Mgmtx1/Monx3/OSDx3(Mgmt/MonはOSPノード 同 居 可 能 ) ボリューム 容 量 のサブスクリプションライセンス 2015/9/1~ 提 供 開 始 RAID Controllerは 非 推 奨 使 用 する 場 合 はRAID0でストライピングでの 構 成 がRedhat 推 奨 14
機 能 観 点 での 比 較 軸 APP 1 APP 2 APP 3 フォールトトレランス 保 護 効 率 性 弾 力 性 マルチテナンシー ラックレベル 高 可 用 性 書 き 込 み 可 能 スナップショット シン プロビジョニング 自 動 リバランス IOPS and QoS Controls インターオペラビリティ パフォーマンス セキュリティ モニタリング 運 用 管 理 性 Openstack Cinder Restful API Flash Cache データマスキング MDM & SDC SNMP & Call Home GUI 15
フォールトトレランス 比 較 項 目 データ 複 製 数 (デフォルト) EMC (1.32) 実 効 容 量 物 理 容 量 の1/2 ( 障 害 用 のスペア 領 域 を 除 く) ラックレベル 高 可 用 性 RedHat Ceph Storage(1.3) 2 面 ミラー 3 面 ミラー 物 理 容 量 の1/3 ( 障 害 用 のスペア 領 域 を 除 く) 特 記 事 項 16
効 率 性 比 較 項 目 EMC (1.32) RedHat Ceph Storage(1.3) シンプロビジョニング 特 記 事 項 ボリューム 単 位 に 適 用 デフォルトはThick Thin 指 定 により 適 用 可 能 実 際 に 消 費 している ディスク 容 量 サーバが 認 識 する ディスク 容 量 17
保 護 比 較 項 目 EMC (1.32) RedHat Ceph Storage(1.3) 特 記 事 項 書 込 み 可 能 スナップ ショット アタッチして 読 み 書 き 可 能 Volume 1 ボリュームから スナップショット 作 成 Snapshot 1 Volume 1 スナップショットから ボリューム 作 成 18
弾 力 性 比 較 項 目 EMC (1.32) RedHat Ceph Storage(1.3) 特 記 事 項 自 動 リバランス 追 加 した/dev/sdxを 追 加 すると 自 動 でVolumeのチャンクが 自 動 で 再 配 置 される OSD Prepare 後 OSD Activateで 追 加 後 に reweightすれば 再 配 置 される Cephの 場 合 手 動 で 再 配 置 設 定 が 必 要 19
マルチテナンシー 比 較 項 目 EMC (1.32) RedHat Ceph Storage(1.3) 特 記 事 項 IOPS and QoS Controls EMCではストレージの 種 別 や QoS シンプロビジョニングの 有 無 等 のEMC 特 有 の 情 報 をカタログの 一 部 とする 事 ができます 非 対 応 Extra Specs 説 明 sio:pd_name プロテクションドメインを 指 定 します デフォルト 設 定 を 上 書 きします sio:sp_name ストレージプールを 指 定 します デフォルト 設 定 を 上 書 きします Bronze Volume 50 IOPS Silver Volume 1000 IOPS Gold Volume 制 限 なし sio:iops_limit sio:bandwidth_limit sio:provisioning ボリュームのIOPS 制 限 を 指 定 します 制 限 をかける 場 合 には IOPSの 数 値 は10 以 上 で 設 定 する 必 要 が 有 ります 数 値 を0に 設 定 すると 制 限 がかかりません ボリュームの 帯 域 制 限 (KB/sec)を 指 定 します 数 値 を0に 設 定 すると 制 限 がかかりません シンプロビジョニング 機 能 を 使 用 したい 場 合 に thin を 指 定 します 指 定 しない 場 合 にはデフォ ルトのシックプロビジョニングが 行 われます 20
オープンスタック 連 携 OpenStack 操 作 スナップショットの 作 成 削 除 スナップショットからのボリューム の 作 成 ストレージ 側 連 携 機 能 項 目 書 込 み 可 能 スナップ ショット 連 携 書 込 み 可 能 スナップ ショット 連 携 EMC Scale IO(1.32) RedHat Ceph Storage(1.3) ボリュームの 接 続 切 断 - ボリュームの 追 加 削 除 拡 張 シンプロビジョニング 連 携 IOPS and QoS Controls 連 携 イメージからのボリュームの 作 成 - ボリュームからのイメージの 作 成 - ScaleIOはボリューム 単 位 でストレージQoS(IOPSやMB/s)を 実 施 できる 特 記 事 項 21
運 用 管 理 性 比 較 項 目 GUI 管 理 画 面 での 初 期 構 成 追 加 構 成 容 量 の 拡 張 性 能 の 拡 張 導 入 容 易 性 運 用 容 易 性 運 用 コスト EMC (1.32) プール 作 成 プールへのデバイス(/dev/sdx)の 追 加 可 能 Volume 作 成 のみCLI GUI or CLIで 提 供 追 加 するストレージメディアに 特 段 の 意 識 不 要 GUI or CLIで 提 供 追 加 するストレージメディアに 特 段 の 意 識 不 要 GUIやコマンドによる 入 力 の 必 要 を 最 小 限 に 抑 えら れており インストールは 簡 単 サーバ 管 理 者 による 運 用 システムによる 性 能 管 理 バランシングが 自 律 的 に 稼 働 し 性 能 管 理 障 害 時 の 対 応 が 容 易 運 用 容 易 であり 少 ない 人 数 で1000 台 までに 拡 張 するスケールサーバを 管 理 しやすい RedHat Ceph Storage(1.3) プールの 作 成 のみ 可 能 プールへのデバイス(/dev/sdx)の 追 加 と Volume 作 成 はCLI CLIのみで 提 供 ジャーナルの 意 識 が 必 要 (5HDDあたり1SSD) CLIのみで 提 供 ジャーナルの 意 識 が 必 要 (5HDDあたり1SSD) コマンドや 導 入 の 手 順 が 複 雑 でイントールに 高 度 な 設 計 知 識 を 要 する トレーニングを 受 けた 専 任 技 術 者 による 維 持 運 用 が 不 可 欠 専 任 技 術 者 による 維 持 運 用 が 必 要 で 運 用 管 理 ツールでの 自 動 化 など 導 入 事 例 100 台 規 模 の 導 入 事 例 あり 10PBでの 稼 働 実 績 比 較 的 多 くの 導 入 実 績 あ り 特 記 事 項 22
パフォーマンス 比 較 項 目 EMC (1.32) RedHat Ceph Storage(1.3) 特 記 事 項 キャッシュ 機 構 DRAM read cache per volume and increased number of volumes per SDC. Flash Pool ティアリング メタ 情 報 メモリ 上 に 保 持 (8PBのボリューム 領 域 に 関 する 情 報 に 対 して SDC では 約 2MBのメモリが 必 要 SSDを 構 成 し メタ 情 報 (Journal 領 域 )を 配 置 する 23
検 証 結 果 NetOneSystems Co., Ltd. All rights reserved. 24
検 証 項 目 ハイパーコンバージド 構 成 における 性 能 測 定 ScaleIO 2tier 構 成 における 性 能 測 定 ScaleIO vs Ceph 検 証 結 果 まとめ 25
ハードウェア 構 成 10GbE Fabric Interconnect 6248 UCS B22M3 1 UCS B22M3 2 UCS C240M3 1 UCS C240M3 2 UCS C240M3 3 UCS C240M3 4 UCS Bシリーズ 26
ハードウェアスペック モデル CPU メモリ ディスクドライブ Cisco UCS B22M3 Intel XeonE5 2470 (2.30GHz 8core TH) x2 192GB ー モデル CPU メモリ ディスクドライブ Cisco UCS C240M3 Intel XeonE5 2680V2 (2.80GHz 10core TH) x2 64GB 300GB SAS 15K RPM 2.5 inch x 8 200GB SSD x 6 (emlc) 27
C240 M3 RAID 構 成 とLocal Storage R1 R0 R0 R0 R0 R0 R0 R0 R0 R0 R0 R0 R0 R0 HDD(OS 領 域 ) R1 RAID 1 HDD(ソフトウェアストレージ 用 ) SSD(ソフトウェアストレージ 用 ) R0 RAID 0 Type スペック SSD 200GB SSD(eMLC) HDD 300GB SAS 15K RPM 2.5 inch 28
ソフトウェアバージョン # ソフトウェア バージョン 備 考 1 RHEL OSP6 OpenStack Red Hat Enterprise Linux Server 7.1 Kernel 3.10.0-229.14.1.el7.x86_64 2 EMC 1.34 3 RedHat RHEL 7.1 4 Flexible IO tester(fio) 2.2.9 5 Ceph 1.3 29
ハイパーコンバージド 構 成 における 性 能 測 定 クライアントとストレージが 同 一 サーバにおける 構 成 の 性 能 測 定 を 実 施 します 尚 RedHat Cephは 本 構 成 は 推 奨 されておりませんので EMC のみの 測 定 を 行 います S C S C S C S C S C S C ETH/IB S C S C S C S C S C S C 30
EMC 検 証 論 理 構 成 図 OpenStack Controller Node UCS B22M31 10GbE ネットワーク OpenStack Cinder Volume Manager Cinder Driver Fabric Interconnect6248 UCS C240M31 UCS C240M32 UCS C240M33 UCS C240M34 Instance Instance Instance Instance OpenStack Nova Nova Driver OpenStack Nova Nova Driver OpenStack Nova Nova Driver OpenStack Nova Nova Driver SDC SDS Tie Breaker SDC SDS MDM Primary SDC SDS MDM Secondary SDC SDS REST Gateway OpenStack Compute Nodes & Storage Nodes 31
EMC ストレージ 構 成 イメージ 図 (SSD) Instance RHEL RHEL (benchmark tool) (benchmark tool) RHEL (benchmark tool) RHEL (benchmark tool) RedHat (KVM) RHEL RHEL RHEL RHEL Volume 320GB 320GB 320GB 320GB Pool SSD Pool (4.3TB) Disk Node1: Node2: Node3: Node4: SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD 32
EMC ストレージ 構 成 イメージ 図 (HDD) Instance RHEL RHEL (benchmark tool) (benchmark tool) RHEL (benchmark tool) RHEL (benchmark tool) RedHat (KVM) RHEL RHEL RHEL RHEL Volume 480GB 480GB 480GB 480GB Pool Disk Node1: Node2: Node3: HDD Pool (6.5TB) HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD Node4: HDD HDD HDD HDD HDD HDD 33
ストレージノード 分 離 構 成 における 性 能 測 定 クライアントとストレージが 異 なるサーバにおける 構 成 の 性 能 測 定 を 実 施 します EMC とRedHat Cephの 両 方 の 性 能 測 定 を 実 施 し 比 較 を 行 います RedHat CephでAll SSD 構 成 は 推 奨 されておりませんので HDDでの 測 定 を 行 います C C C C C C ETH/IB S S S S S S 34
EMC 検 証 論 理 構 成 図 OpenStack Controller Node UCS B22M31 10GbE ネットワーク OpenStack Cinder OpenStack Compute Node UCS C240M3 1 Instance Instance Instance OpenStack Nova Nova Driver SDC Tie Breaker Volume Manager Cinder Driver Fabric Interconnect 6248 Storage Nodes UCS C240M3 2 SDS MDM Primary UCS C240M3 3 SDS MDM Secondary UCS C240M4 SDS REST Gateway 35
EMC ストレージ 構 成 イメージ 図 (HDD) Instance RHEL RHEL RHEL (benchmark tool) (benchmark tool) (benchmark tool) RedHat (KVM) RHEL Volume 430GB 430GB 430GB Pool HDD Pool (4.9TB) Disk Storage Node1: Storage Node2: Storage Node3: HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD 36
RedHat Ceph 検 証 論 理 構 成 図 OpenStack Controller Node Storage Management Node UCS B22M31 UCS B22M32 10GbE ネットワーク OpenStack Compute Node UCS C240M3 1 Instance Instance Instance OpenStack Nova LibvirtNetVolumeDriver OpenStack Cinder Volume Manager RBD Cinder Driver Fabric Interconnect 6248 Ceph admin Ceph Calamari Storage Nodes UCS C240M3 2 Ceph OSD MON UCS C240M3 3 Ceph OSD Ceph MON UCS C240M4 Ceph OSD Ceph MON 37
RedHat Cephストレージ 構 成 イメージ 図 (SSD Cache + HDD) Instance RHEL RHEL RHEL (benchmark tool) (benchmark tool) (benchmark tool) RedHat (KVM) RHEL Device 430GB 430GB 430GB Pool Journal HDD Pool (4.9TB) Disk Storage Node1: Storage Node2: Storage Node3: SSD SSD SSD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD 38
設 計 時 に 考 慮 すべきこと スモールスタートかつPOCからはじめたい 最 低 7 台 (Ceph) vs 最 低 3 台 (ScaleIO)ただし RHEL-OSPと 組 み 合 わせる 場 合 に 追 加 で 必 要 なサーバ 数 はCephが3 台 ScaleIO3 台 CLI 中 心 (Ceph) vs 導 入 支 援 容 易 性 に 優 れたGUI(ScaleIO) 内 蔵 ストレージの 空 き 領 域 を 共 有 ストレージ 領 域 に 組 み 込 みリソース 活 用 も 視 野 に! ハイパーコンバージド 設 計 を 考 慮 Ceph 構 成 ノードはOpenStack NOVAと 同 居 構 成 を 非 サポート ScaleIO 構 成 ノードは 同 居 構 成 をサポート サーバ(NOVA)の 追 加 に 伴 ってストレージ 容 量 と 性 能 のリニアなスケールアウトが 可 能 スナップショット 機 能 の 使 いところを 理 解 /Cephのスナップショットは 書 き 込 み 可 能 とうたっている Snapshot 取 得 後 の 性 能 劣 化 を 防 ぐ 設 計 運 用 にする スナップショットからボリュームを 作 成 機 能 は 有 用 だが その 後 スナップショットは 削 除 するような 運 用 が 望 まし い または データ 更 新 ( 書 込 み)が 必 要 ない 静 的 コンテンツ 用 途 としてなら 使 用 に 限 定 する 39
ご 清 聴 ありがとうございました 40