Panasas 社概要 設立 1999 年 4 月にGarth Gibson 氏 (RAID の開発者 ) によって設立 本社及ぶオフィス 本社 : 米国カルフォルニア州フリーモント 開発センター ピッツバーグ州ピッツバーグミネソタ州ミネアポリスイスラエルテルアビブ EMEA: イギリス ドイツ A

Transcription

1 Panasas クラスタストレージのご紹介 IT 基盤ソリューション事業部 先端技術システム部 はじめに マーケットの動向とプラットフォーム Panasas 社会社概要 Panasas ストレージクラスタ アーキテクチャ ハードウエア ソフトウエア 2007/10/16 スケーラブルシステムズ株式会社 2

2 Panasas 社概要 設立 1999 年 4 月にGarth Gibson 氏 (RAID の開発者 ) によって設立 本社及ぶオフィス 本社 : 米国カルフォルニア州フリーモント 開発センター ピッツバーグ州ピッツバーグミネソタ州ミネアポリスイスラエルテルアビブ EMEA: イギリス ドイツ APAC: 中国 韓国 オーストラリア ( パートナー ) 顧客 2003 年 10 月に最初の製品を出荷し 約 7 PBを納入 主要マーケット ハイパフォーマンスなストレージ製品を必要とするユーザ エネルギー自動車航空宇宙政府系研究機関 ライフサイエンス大学ファイナンシャルメディアなど キーとなる出資者 The Carlyle Group Centennial Ventures Mohr Davidow Ventures 2007/10/16 スケーラブルシステムズ株式会社 3 Panasas 社のアーキテクチャの価値 Panasas 社のアーキテクチャの特徴 スケーラブルなバンド幅クラスタ環境でのスケーラブルな I/O 性能の実現とシングルクライアントでの 高い I/O 性能 グローバルネームスペースによる共有ファイルシステム データ移動が不要データをより容易に見つけることが可能 標準製品を利用したハードウエア構成一般に利用される GbE/10GbE/InfiniBand などにシームレスに統合可能 COTS/ 商用製品を利用することで 導入コストの低減を図る 標準ベースのソフトウエア SNIA/T10 で進められている次世代 NFS/pNFS に対応 アプライアンス 実装による完全なソリューションの提供 数時間でのシステムのインストールと構築が可能エンタープライズ用途にも対応したハードウエアとソフトウエア機能 ( 様々な高可用性機能 ) 効果と価値 アプリケーションの実行効率の向上 ユーザと管理者の生産性の向上 導入コストの低減 投資の保護 運用管理が容易 ミッション : 高性能で運用管理が容易なストレージソリューションをユーザに提供すること 2007/10/16 スケーラブルシステムズ株式会社 4

3 多くの先進的なユーザが採用 Oil & Gas Life Sciences HPC Simulations Finance Fluid Dynamics 2007/10/16 スケーラブルシステムズ株式会社 5 クラスタ利用時のボトルネックの問題 クラスタ = パラレルコンピューティング Linux 計算クラスタ (MPI ベースの並列アプリケーション ) パラレルコンピューティングでは パラレル IO が必要 Linux 計算クラスタ 問題点 スケーリングの複雑さ限定される BW & I/O ストレージ単独てのシステム拡張の限界柔軟性の欠如高価なシステム構成 ストレージに対するシングルのデータパス 単一のストレージシス 利点 スケーラビリティ高い BW & I/O シングルストレージプールの実現容易な運用管理低価格 パラレルなストレージに対するデータパス Panasas ストレージクラスタ テム (NFS サーバなど ) 2007/10/16 スケーラブルシステムズ株式会社 6

4 ストレージに関する課題 クライアント ( エンドユーザ ) クラスタ 計算クラスタは I/O 処理の終了まで計算を中断 I/O 処理は クラスタの利用率の低下を引き起こす ノード数を増やした場合のスケーラビリティの維持の問題 クライアント ジョブの実行終了を待つ ユーザ数が増えた場合のスケーラビリティの問題 ユーザ間でのコラボレーションやデータの共有の問題 クラスタ 従来のネットワークストレージ バックアップ / リストア バックアップ処理のためのストレージシステムの負担 バックアップ実施のタイミング 高速でのバックアップの問題 バックアップ / リストア 2007/10/16 スケーラブルシステムズ株式会社 7 クラスタでのボトルネックの解決 クライアント ( エンドユーザ ) Panasas が提供するストレージクラスタ クラスタ パラレルなデータパス CLUSTER バックアップ / リストア パラレル分散ファイルシステム グローバルネームスペースによるシステムの拡張時の容易な運用管理の実現 オブジェクトベースストレージによるスケーラブルな性能を実現するアーキテクチャ インテリジェントなハードウエアアーキテクチャによる容易なシステム実装と拡張性 2007/10/16 統合されたストレージソリューションと一般商用製品による低コストスケーラブルシステムズ株式会社 8

5 Interactive ユーザの要求大容量ドライブは不要小 - 中規模のファイルランダムなファイルアクセス高い IO スループット高いバンド幅高い可用性スナップショット機能 ストレージに対する要求 Run, Evaluate, Re-Run Run & Done Batch ユーザの要求大容量のドライブ大規模なファイル順次アクセス高いバンド幅一貫した可用性シンプルな SW 構成 Oil & Gas Seismic Interpretation EDA Design/Analysis Oil & Gas Seismic Processing Chip Simulation & Tape Out Auto/Aero Design Air Flow and Crash Simulation Animation SFX Creation Rendering Trading/Portfolio Mgmt Risk Analysis 2007/10/16 スケーラブルシステムズ株式会社 9 Unified HPC Storage の提案 Interactive Unified Storage Batch ストレージシステム NAS サーバなどが典型 ストレージシステム SAN ファイルシステムが典型 完全に統合されたシングルポイントでアクセス可能なストレージプール共有データへの高速で 容易なアクセスを可能とする結果が得られるまでの時間を短縮 ( 売り上げの増加 ) データの多重保持が不要 ( コストの削減 ) リソースのシングルプールとしての管理による容易な運用 2007/10/16 スケーラブルシステムズ株式会社 10

6 Panasas 社が提供する構築ブロック オブジェクト データと属性のコンテナ iscsi/osd インターフェイスとしての SNIA T10 を標準インターフェイル Panasas 社の StorageBlade は 商用 OSD として初めての製品 スケーラブルな Panasas 社の RAID システム ファイルを複数のコンテナオブジェクトに分割 パラレル RAID の再構築 分散 & パラレルファイルシステム ブロックマネージメントは オブジェクトストレージインターフェイスの後で動作 クライアントからの IOは直接 パラレルにオブジェクトストレージデバイスに送られる ファイルマネージメントは メタデータマネージャ全体で処理される 障害発生時の対応 2007/10/16 スケーラブルシステムズ株式会社 11 オブジェクトストレージの発展 ( 歴史 ) Panasas NSIC NASD SNIA/T10 OSD OSD V1 Standard OSD V2 CMU NASD Lustre IBM / Seagate / Emulex :NSIC NASD での研究 OSD V1 Prototype HP, IBM, Quantum, STK, Seagate, 及びCMU 1999 年にSNIAの技術ワーキンググループとなる 45 の会社が参加 1999 に SNIA/T10 ワーキンググループに発展 1/2005: ANSI が V1 T10 OSD 規格を批准 (ANSI/INCITS ) SNIA TWG は OSD V2 の内容について活動 スナップショット import/exportやマルチ- オブジェクトの機能や属性の拡張などが議論される 重要な点 : これらの規格によって 顧客がオブジェクトストレージの採用を検討するためのオプションを築くことになる 2007/10/16 スケーラブルシステムズ株式会社 12

7 オブジェクトストレージアーキテクチャ 標準の SCSI ストレージインターフェイスに関する革新的な改善 データの抽象化のレベル : オブジェクトには 関係する データの格納単位 ( オブジェクトは データベースの一つのレコード又はテーブルでも また データベース全体とすることも出来る ) ストレージをブロックやファイルでなくオブジェクトとして扱う OSD (Object-Based Storage Device) は オブジェクトの属性 ブロックポインタ データブロックの割り当てを管理 OSD は 各オブジェクト毎にアクセスコントロールを実施 プラットフォーム固有のデバイス管理をデバイスにオフロード オペレーション : Read block W rite block アドレッシング : Block range 割り当て : External Block Storage Device オペレーション : Create object Delete object Read object W rite object Get Attributes Set Attributes アドレッシング : [object, byte range] 割り当て : Object Storage Device Source: Intel 2007/10/16 スケーラブルシステムズ株式会社 Internal 13 ActiveScale アーキテクチャ クラスタテクノロジーによりスケーラブルなディスク容量と性能向上を実現 : ディスク容量を増加させるとプロセッサ キャッシュ ネットワークバンド幅の向上となる クラスタ構築を一般商用品で行なうことで スケーラブルな性能を廉価な HW で構築可能であり 高い価格 / 性能比を示す オブジェクトベースストレージは ブロックベースの SAN ファイルシステムと比較して より高いスケーラビリティと強固なセキュリティ ポリシーの適用を可能とする クラスタ全体でストレージリソースのロードバランスの管理が可能 共有ファイルシステム (POSIX) としての NAS の利点と DAS や SAN のストレージ直結での性能の利点の双方を兼ね備えたシステム 業界標準に準拠したシステム構成 : iscsi/osd ( 将来的には ) pnfs ( 将来的には ) POSIX HECEWG: HPC IO のための API 拡張 2007/10/16 スケーラブルシステムズ株式会社 14

8 ActiveScale 3.0: 大規模システムでの信頼性と運用管理の容易さを実現 予測的自己マネージメント ActiveScan 予測的メディアマネージメント 連続的に StorageBlade のデータとディスクメディアのチェック 不具合が見つかった場合 システムは率先してメディア欠陥を修正 予測的ディスクマネージメント 自動化した障害解析によりディスクに発生するであろう問題を予測 もし ブレードの障害が予測される場合には 他のブレードへのデータ移動を行ない システムの再構成を避ける 障害ブレードに対するパラレル再構築 システム中の DirectorBlade は 再構築を高速で実行するため 協調して動作 ActiveUpgrade オンラインでのクラスタストレージのアップグレード アプリケーション動作中でもシステムのアップグレードが可能 クライアントからのロード負荷をリアルタイムでモニター ストレージユーザに対する性能のボトルネックを検知 2007/10/16 スケーラブルシステムズ株式会社 15 ストレージクラスタ構成要素 StorageBlade プロセッサ メモリ 2つの NIC 2つのHDD オブジェクトストレージシステム ブロックマネージメント DirectorBlade オブジェクトベーススマートに商用製品を活用 プロセッサ メモリ 2つの NIC 1つの HDD クラスタファイルシステムしたハードウエア構成 分散ファイルシステム ファイルとオブジェクトマネージメント クラスタマネージメント NFS/CIFS 再エクスポート 統合されたハードウエアとソフトウエアによるソリューション 4Uのシェルフに 11のブレード (5-10 TB/ シェルフ ) 現在 : 1 から30 台のシェルフでシステムを構築 将来 :1 から 300 台のシェルフでシステムを構築 Panasas ActiveScale ストレージクラスタ 2007/10/16 スケーラブルシステムズ株式会社 16

9 Panasas ストレージクラスタ業界標準のコンポーネントでのシステム構築 2007/10/16 スケーラブルシステムズ株式会社 17 スケーラブル NFS/CIFS システム スケーラブルな NFS/CIFS サーバ 負荷を自動的にスケーラブルな DirectorBlade クラスタ全体に分散 クライアント数の増加に合わせてスケーラブルな性能 いずれの DirectorBlade は どのファイルにもアクセス可能 同一データへのいずれのプロトコルでのアクセスも可能 シングルファイルイメージ DirectFLOW/NFS/CIFS 間での完全なコヒレンシの実現 非 Linux のデバイスをシステムに統合 2007/10/16 スケーラブルシステムズ株式会社 18

10 シングルグローバルネームスペース Panasas システムでは 物理的な境界も論理的な境界も存在しない クラスタ間でのクロスマウントやデータの移動の排除 自動的プロビジョニング : 追加したブレードは自動認識され ストレージプールに追加される クラスタ 1 クラスタ 3 クラスタ 1 クラスタ 3 クラスタ 2 クラスタ 2 シングルグローバルネームスペース クラスタ 1 での計算結果 クラスタ 2 での計算結果 クラスタ 3 での計算結果 アーカイブ 従来のストレージネットワーク Panasas ストレージクラスタ 2007/10/16 スケーラブルシステムズ株式会社 19 自動プロビジョニングによる容易な拡張 オンラインプロビジョニング 一つの DirectorBlade の設定を行ない 他の構成は プライベートポート経由での DHCP によって 構成を決定する 新規ストレージは シームレスにシステムに統合可能 オブジェクトベースのシステムは 古いデータの新しいストレージへの容易な移行を可能とする 制限なしでの拡張性 テラバイトからペタバイトまでの拡張性 シングルのシームレスなネームスペース プライベートポート上での DHCP 構成 構成の読み込み IP アドレスの設定バージョンの適合 シームレスなシングルネームスペース! 2007/10/16 スケーラブルシステムズ株式会社 20

11 Panasas RAID Advanced RAID Panasas RAID Advanced RAID Panasas が提供する RAID システムは ディスク単位で管理するものではなく ファイル単位で設定される 特定の StorageBlade をパリティとはしない ファイルの取り扱い ファイルは ひとつの仮想オブジェクトとして取り扱われる この仮想オブジェクト ( ファイル ) は 複数のコンポーネントオブジェクト上に格納される 一つのコンポーネントオブジェクトが StorageBlade に格納される 2007/10/16 スケーラブルシステムズ株式会社 21 RAID スペアと再構成の取り扱い 従来の RAID ホットスタンバイされたスペアを利用してのファイルシステムの再構成が必要 残ったディスクからデータを読み込み ( ホット / コールド ) スタンバイのスペアにデータを書く込む必要がある したがって システム内の全ドライブを利用しての再構築となるため システムに大きな負荷をかけることになる 再構成に要する時間は 交換したディスクへのデータの書き込みの要する時間によって決まる スペアの分散 一つのスペアに対して再構成を行うのではなく Pans as のストレージクラスタは BladeSet で定義される全ての StorageBlade にスペア領域を分散する スペア領域を分散させることで 処理性能の向上を図る ( 全 StorageBlade が利用可能 ) 再構成は全 StorageBlade でその処理を行うことが可能であり 特定の部分がボトルネックとなる可能性が低い 2007/10/16 スケーラブルシステムズ株式会社 22

12 自動的な RAID 構成 ファイル単位での RAID 構成 RAID の構成レイアウトは オブジェクト中に属性として格納される システムは RAID レベルをファイルサイズに応じて 自動的にアサインする < 64 KB RAID 1 構成 ( 効率的なスペース配置 ) > 64 KB RAID 5 構成 ( 最大性能の実現 ) 自動的に RAID 1 から RAID 5 に再構成 ストライピングの再実行は不要 RAID マップの構成は 二重構造 ( ストライプ幅と深さ ) ストライプサイズは自動的に最適化 Small File RAID 1 Mirroring Large File RAID 5 Striping システムの規模に応じた最適なデータ配置と障害時のファイル再構成を高速に ( 並列に ) 実行する 2007/10/16 スケーラブルシステムズ株式会社 23 データの保護と可用性 Panasas のストレージクラスタのハードウエア設計の基本 電源とファンの冗長化 各ブレードに対するネットワーク接続の冗長化 UPS 内蔵 ECC メモリ Shelf 内にアックアップのネットワークを内蔵 Panasas ソフトウエアでの信頼性向上のための機能 高速な再構成が可能な RAID 1 及び 5 を提供 (RAID 6 もサポート予定 ) ファイル毎に RAID 構成とデータの分散が可能であり 障害時の影響を最小化 障害時の再構成はオンライン中にバックグランドで実行されるため サービスの停止は不要 ディスクの状況や熱 ファンの動作などを細かくモニターして 予防診断を行い 障害に対応する 各ブレードで動作している OS については ミラーリングを行う システムのサービスのフェイルオーバ ファイルサービスのフェイルオーバ メタデータ処理のフェイルオーバなど スケーラブルな高速バックアップのサポート 信頼性の高いオペレーティングシステム 2007/10/16 スケーラブルシステムズ株式会社 24

13 業界最高性能を実証 データスループットとランダム IO での卓越した性能 全てのワークロードに対して 高い性能とスケーラビリティを提供 2007/10/16 スケーラブルシステムズ株式会社 25 システムのスケールアップと性能向上 クライアント数とシステム規模双方のスケーラビリティ (N-to-N Iozone ベンチマーク ) IOZone Read and Write Sequential I/O Performance (4M B Block Size) Aggregate Bandwidth (MB/sec) Write Read 0 10/8 40/32 80/64 120/96 Number of Stora geblades/clients 2007/10/16 スケーラブルシステムズ株式会社 26

14 Panasas 製品ファミリー 2007/10/16 スケーラブルシステムズ株式会社 27 ActiveStor 5000: Unified HPC クラスタストレージ Panasas ActiveStor 5000 ストレージクラスタ ActiveStor 5000 Storage Cluster 最大 11 StorageBlades / シェルフ 最大 3 DirectorBlades / シェルフ 500GB 又は 1TB StorageBlades シェルフ当たり 10TB, 42U サイズのラックに最大 100 TB 搭載 ActiveScale 3.0 オペレーティングシステム 予測的自己マネージメントツール DirectFLOW PanFS NFS/CIFS Object RAID 新機能 : ActiveScale 3.0 オペレーティングシステム StorageBlade XC (2GB cache) 20GB Cache / シェルフ ActiveGuard 高可用性の実現 ActiveImage ボリューム毎のスナップショットの実現 2007/10/16 スケーラブルシステムズ株式会社 28

15 ActiveStor 5000: システム拡張時の可用性 全てのストレージシステムにおいて 起動時間 (Uptime) は重要 Unified HPC ストレージにおいては 起動時間は最も重要 ActiveGuard 高可用性 - ノンストップオペレーションを可能とする ストレージネットワークのフェイルオーバー DirectorBlade のメタデータのフェイルオーバー ActiveImage 仮想ボリュームの選択 イメージの定期的な自動作成と削除 前回のイメージとの差分だけを保持することで 容量を最小とする システムあたり最大 32,000 ActiveImages ( スナップショット ) 2007/10/16 スケーラブルシステムズ株式会社 29 ActiveStor 3000: 大規模クラスタ向けスケーラブルストレージ ActiveStor 3000 ストレージクラスタ (Batch HPC マーケット ) Panasas ActiveStor 3000 ストレージクラスタ 最大 11 StorageBlades / シェルフ 最大 3 DirectorBlades / シェルフ ブレード当たり 512MB キャッシュ 新機能 : ActiveScale 3.0 オペレーティングシステム 1TB StorageBlades 42U サイズのラックに最大 100 TB 搭載 プレインストールラック構成 RoHS 指令準拠 ActiveScale 3.0 オペレーティングシステム 予測的自己マネージメントツール DirectFLOW PanFS NFS/CIFS Object RAID 2007/10/16 スケーラブルシステムズ株式会社 30

16 ユーザ事例 国公立研究機関 大学 エネルギー 製造業 ファイナンシャル メディアなどの分野でのシュミレーションとモデリングのためのアプリケーションを利用している HPC 機関とユーザ (CFD, FEA, EDA, Weather, 計算化学など ) 32 ノードを越える Linux クラスタシステムのストレージや多くのクライアントワークステーションを利用しているエンジニアリンググループ 最低でも 10TB のストレージ容量の要求 大規模なファイルへのアクセスや非常に多数のファイルへのランダムなアクセスを行なう場合 典型的な NFS サーバの用途 2007/10/16 スケーラブルシステムズ株式会社 31 Panasas ActiveScale ストレージクラスタ クラスタコンピューティングのために設計されたシステム 機能とその利点 Panasas ActiveStor NAS サーバ (NetApp, EMC, start-ups) SAN ファイルシステム (Lustre, GPFS) ターゲットとするアプリケーション Batch + Interactive Interactive Batch 高いバンド幅 クライアント数のスケーラビリティ ストレージ容量のスケーラビリティ NFS とCIFS のサポート 統合システム 可用性 高いランダム IO 性能 2007/10/16 スケーラブルシステムズ株式会社 32

17 他のファイルシステムとの比較 SAN IBRIX Panasas Lustre Object Scalability RedHat GFS NAS EMC Isilon Netapp Price/Performance 2007/10/16 スケーラブルシステムズ株式会社 33 他のファイルシステムとの比較 Lustre 規格外のオブジェクトストレージインターフェイス (T10 OSD に非準拠 ) システムの安定性を無視した性能重視の設計 SAN マネージメントの問題と オープンソース の問題 GPFS ブロックベースのアーキテクチャによる限界 ファイルシステムあたり シングルトークンでのマネージメント 特定システム (IBM SP2) をターゲットとして 設計されたシステム Isilon, IBRIX, Polyserve NFS クラスタとしての限界 NetApp GX (Spinnaker) 2007/10/16 スケーラブルシステムズ株式会社 34

18 Panasa ActiveStor の特徴 圧倒的な性能 ( スループットとバンド幅の双方 ) 容易に導入可能で 利用も簡単 システムの増設も自由 既に 多くの導入実績を持つ NFS/CIFS での利用と DirectFlow の双方を同時に利用可能 Panasas 社はストレージクラスタのリーディングカンパニー (NFS, CIFS, DirectFlow) 2007/10/16 スケーラブルシステムズ株式会社 35 まとめとして テクノロジー 利点 DirectFLOW( 高いバンド幅をもつクラスタ構成 ) 並列にダイレクトアクセスが可能 >10GB/s 性能 クラスタ化した NAS システム N 多重での同一ファイルのエクスポートが可能 >100 サーバ クラスタ化した大規模キャッシュ大規模データセットに対応無制限 信頼性 運用管理 リカバリー機能を付加したクラスタ 高速でのアーカイブ機能 システムの再構成を高速に実行 バックアップ / リストアを高速に実行 >10x faster >600 MB/s クラスタの利用効率の向上システムのロードバランスが容易ファイルレベル プロビジョニング仮想化されたストレージ自動 高機能なクラスタマネージメント統合された H/W と S/W ペタスケール 2007/10/16 スケーラブルシステムズ株式会社 36