HPE HPC & AIフォーラム 2019～HP-CAST Japan～

Transcription

1 Scality HPE HPC & AI Forum 年 9 10 スキャリティ ジャパン株式会社 0

2 Scality? 1

3 ABOUT US Scality, Inc 創業: 2009年 フランス パリ 製品出荷:2010年7 サンフランシスコ (HQ), パリ (エンジニアリ ング) ワシントンDC 東京 製品: Scality RING, Zenko 構造化データの基盤として幅広く採 主な市場: クラウドサービスプロバイダ 通信事業者 メディア系企業 製造業 政府系機関 研究機関など スキャリティ ジャパン株式会社 設 : 2015年3 本社所在地 東京都千代 区 町 24時間の 本語保守受付体制 主なお取引先 通信事業者様 クラウド サービスプロバイダ様 インターネットサー ビス事業者様 流通事業者様 製造業 政府 系機関 研究機関など 2

4 LEADER IN Object & Scale Out File System Worldwide Object-Based Storage 2018 Figure 1. Magic Quadrant for Distributed File Systems and Object Storage Source: IDC MarketScape Worldwide Object-Based Storage 2018 Source: Gartner (October 2018) 3

5 IN JAPAN NO.1 SHARE OBJECT STORAGE Japan Object Storage Revenue 2018年の市場規模は対前年 39%の増加 AIやビックデー タ 4K 8K画像などのアプリ ケーションの登場によって 10PBや100PBといった案件が でてきたことで今後さらに成 する可能性がある Fujitsu WD RedHat 1% Cleversafe 1% 2% 0% Dell EMC 3% TSR社による 本のオブジェクトストレージ市場調査 Cloudian 11% Scality 39% NetApp 15% IBM 25% 株式会社テクノ システム リサーチ 2018ストレージ戦略 オブジェクトストレージ市場動向編 (2018年7 発 )より引 4

6 Software RING 概要 5

7 Scality RING 概要 ファイルプロトコル SMB NFS FUSE オブジェクトプロトコル S3 REST 標準 LINUX / x86 サーバ 管理 User Interface CLI, API ペタバイトスケールアウト 耐久性 修復機能 マルチサイト構成 100% の可 性 SCALITY RING ソフトウェア 1. ソフトウェアデファインド ハードウェアを 切選ばないため 各種コストの削減が可能 2. マルチプロトコルにネイティブ対応 オブジェクトアクセス (S3) ファイルアクセス (NFS, SMB) 3. いデータ保護性能 サーバ間でデータを分散保護し筐体障害にも対応 レプリカやイレイジャーコーディングによるデータ保護 4. システムの無停 運 が可能 サーバの増設や交換も無停 で可能なため EOSL によるデータ移 から解放 7 年以上無停 の海外通信事業者様の事例あり 6

8 HPE サーバを使った Scality RING 構成例 x HPE Apollo 4510 Gen10 さ : 4U 搭載可能 3.5 インチデータディスク本数 : 60 6 台のサーバ構成 12TB HDD を搭載時 実効容量 : 2385TB@90%, 2120TB@80% HPE Apollo 4200 Gen10 さ : 2U 搭載可能 3.5 インチデータディスク本数 : 24 6 台のサーバ構成 12TB HDD を搭載時 実効容量 : 956TB@90%, 850TB@80% 7

9 Scality RING Components 3 Supervisor 管理 監視 導 援機能を提供 物理サーバや VM で構成 APP サーバ APP サーバ APP サーバ APP サーバ Scality RING アプリケーション層 1 Connector Server ( アクセス層 ) アクセス処理および最適な書込み先の演算を担当 性能要件に応じて 適切な機種と数量 配置先を設計 2 への同居構成や SMB/NFS は VM での構成も可能 2 Storage Server ( データ格納層 ) データを拡散格納する領域 物理サーバ 6 台以上で構成 性能 容量要件に応じた適切な機種を選定 8

10 Scality Connector Type オブジェクトプロトコル ファイルプロトコル コネクタ名称 NFSv3 sproxyd S3 SWIFT CDMI NFS LocalFS SMB 概要 ステートレスで動作の軽いネイティブ REST API AWS S3 互換の REST API Queens, Rocky, Stein をサポート SNIA CDMI 準拠の REST API で SOFS 領域にアクセス NFS v3 Linux FUSE SMB2.0 および SMB3.0 のサブセット 9

11 Scality RING Data Protection レプリケーション ( コピーの複数保持 ) イレイジャーコーディング ( オリジナルの分散保存 ) ジオ レプリケーション ( 広域分散構成 ) Scality RING Software Defined Storage

12 Geo Replication 基本構成 : シングル RING 単 拠点での構成 単 拠点内で Namespace を維持 単 拠点内でレプリケーションやイレイジャーコーディングを実施 広域展開例 1: ミラー RING 2 拠点間でデータを保持 拠点間で Namespace を 同期でミラー Namespace 毎に Active / Passive のデータアクセスが可能 AZ / SITE 1 広域展開例 2: ストレッチ RING 2 拠点あるいは 3 拠点にまたがった構成 ( 拠点間の遅延は 10msec 未満が 安 ) 拠点間に同期でデータを保持 ( ファイルプロトコルのディレクトリ情報などメタデータは 同期でコピー ) ファイルプロトコルの Namespace は 1 拠点のみで Active 他の拠点は Passive となる オブジェクトプロトコルの Namespace は全ての拠点で Active となる AZ/SITE 1 AZ/SITE 2 AZ/SITE 3 AZ / SITE 2 11

13 Scality RING ユースケース 12

14 様々な業界 業種で採 Cloud Service Provider Media & Entertainment Large Enterprise (Mfg, B/K) Medical & Life Science Public & Government 13

15 Scality RING のユースケース クラウドサービス ビデオ / コンテンツ配信 医療画像アーカイブ バックアップ & アーカイブ ビッグデータアーカイブ (Hadoop/AI/Deep Learning/HPC) 量のオブジェクト / ファイル 容量の 構造化データを保存 シーケンシャルアクセスや並列アクセスを うスループットに最適化されたアプリケーション向け Scality RING による いデータ保護を実現 14

16 ビッグデータアーカイブ事例 : 国内 研究機関様究所様 Object S3 API PC Cluster with GPU SSD 読み込み All Flash Storage 速ストレージ上で学習 分析 分析 学習元のデータをアーカイブ 研究所内ユーザ 外部ユーザ Object S3 API 収集 学習 分析元ソースデータ Use Case: HPC Archive & Big Data Connector: S3 Physical Capacity: 17PB AI 学習 / 分析の Bigdata Archive 基盤で Scality RING を採 分析前のデータを Scality RING 上に収集 管理 蓄積し学習 / 分析は 速ストレージ上にデータを読み込んで実 Scality RING 導 の決め RING アーキテクチャ : 容量かつ 量のオブジェクト保管に耐えうる実証済みのアーキテクチャ セキュア : バケット暗号化により安全にデータを保管 コスト : データサイズに応じてイレイジャーコーディングとレプリカを使い分けることで効率よくデータを保護 15

17 衛星写真事例 : German Aerospace Center ドイツケルンにあるドイツの宇宙 エネルギー 交通の研究所 衛星からは常に画像が送信されている 画像によっては 1TB 以上のサイズ 40 以上のクライアントが画像分析 編集 Use Case: Satellite Image Archive Connector: FUSE Usable Capacity: 200TB 何百万枚もの 精細な衛星写真の画像をアーカイブする 的で Scality RING を使 40 以上のワークステーションから画像を読み込み分析を実施 K2 の精巧な 3D イメージを作成し 登 家の登頂ルートの策定に きく寄与した Scality RING の採 のポイント 1TB を超える 容量のファイルでもイレージャーコーディングで い容量効率で保護 常に送信されてくる画像を複数に分散させず 1 つのストレージシステムで保存可能な拡張性 多数のクライアントから並列でアクセスを実施した時のパフォーマンス 16

18 IoT 事例 : Renault 動運転に向けた次世代 動 の開発へ貢献 Windowsサーバから動画やセンサーの情報をインジェスト CIFS FUSE 10 台以上の分析サーバと FUSE で接続 SL 台と Apollo 台の混在環境 Use Case: Connector: FUSE/CIFS Usable Capacity: 21.6PB 数百万キロに及ぶ実 データの格納先として 安価でありながら い同時書き込み性能を発揮すること が採 時の重要要件 8 回もの拡張により 2018 年には物理容量で 21.6PB に Scality RING の採 のポイント ビジネスに影響を与えることなく将来にわたってフレキシブルにハードウェアをアップグレード ペタバイトスケールまで段階的にスケール可能 並列処理によるパフォーマンス向上が 込める 17

19 IoT 事例 : Space Exploration Technologies イーロン マスク が CEO を務める 間宇宙開発企業 ロケット打ち上げ時などセンサーからのテレメトリー情報を RING に保存 ロケットの F/W や 般的なデータ保存にも使 Apollo 台で RING を構成 Use Case: Telemetry Data Archive Connector: S3 Usable Capacity: 300TB テレメトリーデータの保存 ロケットの F/W 汎 的なデータの保存先として Scality RING を使 S3 準拠のオブジェクトストレージサービス Scality RING の採 のポイント Amazon S3 よりも低い GB 容量単価 テレメトリーデータを受け取るため 1 コネクターあたり 300MB/sec のパフォーマンスを出せる い拡張性と信頼性 それを裏付ける実績 18

20 鉄道会社事例 : Société Nationale des Chemins de fer Français 所有している線路の総延 距離が 30000km 以上のフランスの国有鉄道会社 乗客や貨物の輸送の最適化のシミュレーションを実施 初期のサーバと拡張時のサーバが異なるベンダーで RING が構成されている Use Case: Video and Data Archive Connector: CIFS Usable Capacity: 4PB 電 に搭載したカメラやドローンの動画 3D イメージの線路や地形データ IoT 化された信号や切り替え機からのデータを Scality RING に保存 乗客や貨物の輸送の最適化のシミュレーションを実施 Scality RING の採 のポイント 不確定なデータの伸び率にも対応できる い拡張性 1 名のハーフタイムの技術者でも運 可能な管理性 純粋なソフトウェアディファインドストレージとしてコスト低減に寄与 19

21 様々なユースケースに対応する ISV を Certify 済み Backup and Archive Medical Imaging Big Data Content Distribution Cloud Native App CCTV 20

22 Scality RING と weka.io 21

23 One fits All ストレージの終焉 容量 データは 間ではなくデバイスやアプリが 成 エクサバイト ペタバイト 揮発性メモリによるパラダイムシフトの可能性 Object Storage テラバイト Flash General Purpose Storage データはアセットとしてアーカイブ ギガバイト アプリケーションとストレージは疎結合の関係に 処理速度 マイクロ秒 ミリ秒 秒 22

24 HPC 環境におけるストレージ 従来の HPC 環境で使 されるストレージ スクラッチ領域 home 領域 階層化領域 ファイルシステムベース いシングルスループット 透過的に階層化領域にアクセス 近年必要とされてきているストレージ データプラットフォーム データレイク領域 オブジェクトベースで 量のデータを い耐久性で保護 HTTP によるオープンなアクセス性 23

25 weka.io とは n weka.io NVMe のプロトコルを いた 速ファイルシステムのソフトウェアベンダー 機械学習 ディープラーニング M&E 等の 速スループットや iops を必要とする 途で採 専 のクライアントソフトウェアをサーバにインストールすることでストレージとサーバを 速接続が可能 ファイルアクセスにも対応し NFS や SMB をサポート 階層化機能を持ち合わせており パブリッククラウドやオンプレミスのオブジェクトストレージに階層化することが可能 24

26 Weka.io + Scality HPE Reference Configuration for HPE AI Data Node 25

27 Scality RING まとめ 26

28 Scality RING の優位性 1. 実績 ü キャリア サービスプロバイダのお客様 ü 様々なソフトウェアとの連携実績 2. 拡張性 ü 国内も含めてほとんどのお客様が拡張している 3. 性能 ü 特にオブジェクトが 量保存された時 4. 運 性 ü Software Defined として制御可能な項 が多い 27

29 ja.scality.com スキャリティ ジャパン株式会社東京都千代 区 町 町ビル 4F Telephone: