The Epoch Power System A Disruptive Cluster Architecture 概略このホワイトペーパーの目的は現在利用可能なクラスタのアーキテクチャにともなう問題点を解決し優れた機能を追加する新しいクラスタのアーキテクチャを紹介することにありますはじめに

Size: px

Start display at page:

Download "The Epoch Power System A Disruptive Cluster Architecture 概略このホワイトペーパーの目的は現在利用可能なクラスタのアーキテクチャにともなう問題点を解決し優れた機能を追加する新しいクラスタのアーキテクチャを紹介することにありますはじめに"

せせらあきくぼ
4 years ago
Views:

1 The Epoch Power System A Disruptive Cluster Architecture 概略このホワイトペーパーの目的は現在利用可能なクラスタのアーキテクチャにともなう問題点を解決し優れた機能を追加する新しいクラスタのアーキテクチャを紹介することにありますはじめにクラスタベースのストレージシステムは研究や製造業の分野でますます重要性を増すソリューションになっていますクラスタ化されたストレージシステムは性能と信頼性を向上させる目的でネットワーク化されたセットとして構成されユニット間でデータを分散しますシステムを TCP/IP や Ethernet ネットワークを用いて構成することは精髄しておりまたコスト低減という理由で有効ですが様々な課題を引き起す要因にもなります TCP/IP 越しの高性能ストレージへの障壁を改善することが課題の一つです多くのストレージベンダーは単一システムの限界を改善するためにストレージソリューションに従来型のクラスタアーキテクチャを採用してきましたソリューションにクラスタを導入する場合の共通な問題にストレージの容量や性能や拡張性があります反面該当のソフトウエアは関連する問題解決のために特別に何千というコードが更新され非常に複雑になります問題はノード間でデータの編集や追加の際に生じる性能劣化や複数のシステムにデータ分散やノード障害の管理やファイルのオーバーフローですクラスタベースのストレージシステムはクライアントがデータをアクセスする場合標準的な Ethernet 上の TCP/IP に依存するのでマルチのネットワークストレージノードに分散させる時に TCP 性能の劣化が生じその結果ネットワークで利用可能な論理値よりも読み込み時のバンド幅が低下します一般的にはこの問題はクライアントが同時に複数のソースからデータブロックのフラグメントを読み込んでリンクされたスイッチのバッファやアダプタをオーバーロードさせるような大量のデータを送信する際に生じます現在のクラスタアーキテクチャは標準のネットワークにノード接続することをべースにしており通常のストレージネットワークは既存のネットワークより高速で固有のボトルネックを引き起こしこれが性能を劣化させる理由になっています

2 背景クラスタベースのストレージシステムでは信頼性や容量や性能を向上させるようにすべてのクラスタに横断的にデータを保存します一般的にはこうしたネットワークはストレージサーバから1 台以上のスイッチでクライアントに分離させる場合高バンド幅 (1-10Gbps) で低レーテンシー ( ラウンドトリップ時間は 10 ~100μs) を維持していますこの環境ではデータブロックは複数のストレージシステム上に分散されシステムノードは図 1に示すように SRU( サーバーリクエストユニット ) として表示されるデータブロックのフラグメントを保存していますデータブロックを要求するクライアントは特殊なブロック用のデータを含むすべてのストレージシステムにパケットリクエストを送信します現在のブロック用の全データを受信した後にクライアントは次のブロックのみを要求します私たちはこうした読み込みを同期読み込みとして参照しますこのシンプルな環境が本来のストレージシステムの詳細の概略です詳細な内容はデータブロック毎の複数ストライプやクライアントからの複数のブロックリクエストやストレージシステム共有のサブセット間でリクエストを実行する単一スイッチ上の複数クライアントを意味していますしかしながらこれがストレージクラスタシステムアーキテクチャの最も基本的な概念ですほとんどのネットワークは並行データ転送においてスイッチに対するクライアントのバンド幅が性能のボトルネックになっています残念ながらサーバ間のデータブロック用の同時読み込み時クライアントは接続環境下で 1 桁あるいは 2 桁の大きさのレベルで TCP の性能劣化が生じる可能性があります図 2 のイラストは標準的なクラスタベースのストレージネットワーク環境でクライアントが7 台のサーバからデータを要求した場合に性能劣化する様子をイラストしたものです

3 タイムアウトが Incast の根源なのでタイムアウトの原因をなくすようにパケットを防ぐ事が期待されます Incast はスイッチのポート毎に配置されたバッファ空間を増やすことで回避可能です実際のところスイッチのバッファを増やすことで Incast の開始を遅らすことができます図 3 はサーバ数を倍にした場合にスイッチの出力ポートバッファのサイズを倍にすることで Incast 以前に送信が可能になる事を表示しています大規模バッファサイズでは図 3 の 1024KB のバッファラインが表示するように何台かのストレージ台数で Incast を回避することが可能になります大規模バッファの Force10 E1200 スイッチでは 87 サーバで Incast は観測されないという事実がこれを裏付けています 64 サーバで 1024kb バッファではクライアント接続のバンド幅の 65% を利用しているに過ぎず Gigabit Etherrnet でストレージ台数を倍増した場合でもアプリケーションレベルの性能を 800Mbps までしか向上させることができません残念ながら大規模バッファ付きのスイッチはコスト増になります (E1200 スイッチのコストは $500,000 以上 ) これはシステム設計者に過剰投資か将来の拡張性あるいはハードウエア予算での選択を強いることを意味しますこれは Incast のタイムアウト問題にコスト効果のあるソリューションが必要であることを提起していますストレージクラスタのノード数をダイナミックに制限して既知のアクティブノード数に限定できれば Incast 問題を回避する最良のアプローチになりますがストレージクラスタ上で実装するのは非常に困難ですブロックの替わりにファイルをセグメントするような場合同時読み込みなどの並行処理を

4 サポートするような高性能環境での必要性は特に重要です NFSv4.1 のコンポーネントである並行 NFS(pNFS) のような最近の提案は並行データ転送をサポート可能です基本的に 2 種類のファイルレベルクラスタの配置が可能です 1 番目は各ノードに含まれる小規模な仮想ボリューム上にグローバルボリュームを分割することです 2 番目の方法は pnfs のようなファイルシステムを用いて従来のストレージクラスタ環境のファイルシステム上に横断的にデータをストライプさせることですファイルシステムを利用してクラスタ間でデータを保存する場合多くの問題が明瞭になりますこれらの問題のいくつかはファイルサイズに依存していてクラスタの性能に大きな影響を与えますファイルクラスタ導入の場合もシリアスな問題を生じますノード間のデータストライピングは Incast のタイムアウトを引き起こしますまたボリュームの分割はファイルサイズの制限と流出を生じますこれらの両方の限界は EpochPOWER クラスタにより解消されますクラスタ群が個々のノードにデータを分割するようリクエストする場合各ノードは各々のストレージを所有していてメタデータ ( ストレージとデータがクラスタのどこに配置されているかという情報 ) のディレクトリが生成されますこれらのメタデータのディレクトリはリクエストされたデータを保持した結果ネットワーク全体のスループットを低下させるノードに対して出力先を切り替えるようリクエストすることがあります最も複雑な問題の一つは単一のノードにデータが追加され突然データが隣接するノードに溢れる場合におこりますこの解決は簡単ではなく発生した場合は何千のコード変更が必要で大量のデータ転送の操作と大規模な性能照合が必要になりますまたこの共通のクラスタアーキテクチャは特別なストレージノードがアクセス不能になった場合に他のノードにデータをリプリケーションする必要がありますこのリプリケーションに必要とするストレージ容量はクラスタ冗長に依存し非常に高価になりますファイルクラスタの設定に依存するとアーキテクチャはアプリケーションのファイルサイズによってうまく機能しない可能性があります数種のクラスタは単一ノードで大規模ファイルを取り扱うように設計されていないので大規模ファイルを生成する石油探査や気象解析や予測等のアプリケーションで問題を起こすことがあります

ソリューション本書ではクラスタ向けに完全に新しいアーキテクチャを公開し関連する課題を回避し中小規模のクラスタの複雑性を飛躍的に減少させますこの革新的なアプローチは今までの問題を解消させネットワーククラスタの限界を強いるものではありませんアプローチの方法はクラスタノードを標準のネットワークではなく PCIe(PCI Express ) バスで接続することですすべてのノードを PCIe

5 ソリューション本書ではクラスタ向けに完全に新しいアーキテクチャを公開し関連する課題を回避し中小規模のクラスタの複雑性を飛躍的に減少させますこの革新的なアプローチは今までの問題を解消させネットワーククラスタの限界を強いるものではありませんアプローチの方法はクラスタノードを標準のネットワークではなく PCIe(PCI Express ) バスで接続することですすべてのノードを PCIe で接続することで単一バスに接続される各部品は PCIe に接続される全てのデバイスとアクセスが可能になりますこれは一つのノードから他のノードにデータ転送を高速化するだけでなく共有化されていない内部ノードがアクセス制御可能になった場合の問題を軽減します従来のネットワーク接続はクライアントがストレージネットワークをローカルやリモートでアクセスするのをサポートしています革新的なコンセプトは複数のコンピュータやノードが内部接続でクラスタ形成する方法論にあります従来のクラスタの場合はコミュニケーションネットワークを介してノードの内部接続を実現するためネットワークのプロトコルの負荷が著しく性能に影響し数千のプログラムコードの更新の結果多くの問題を誘起してきましたバスを単一化するために GateStor は PCIe バスを拡張した PCIe ホストバスアダプタ (HBA) を開発しましたこの HBA は標準の PCIe スロットに挿入され全てのクラスタノードから PCIe バスに内部接続されますこれをおこなうためにすべてのストレージデータサーバはクラスタ上の PCIe スロットに接続されたすべてのリソースを共有することができますひとつの例としてデータサーバノード 1 はデータサーバノード 3 にある RAID コントローラにアクセスすることができますつまりこのテクノロジーが孤立したデータサーバの物理的な限界を打破し並列スーパーコンピュータシステム並の透過的なコミュニケーションを全ノード間で開放します

GateStor の特許であるクラスタアーキテクチャは今までの技術的な課題を回避します GateStor クラスタはネットワークレベルで実行されるばかりかサーバやコンピュータバスレベルでの実行が可能ですこれによりネットワークプロトコルを不要にしクラスタに多くの利便性を付け加えます以前の課題をどのように新しいアーキテクチャで解決するか説明してみましょう a)

6 GateStor の特許であるクラスタアーキテクチャは今までの技術的な課題を回避します GateStor クラスタはネットワークレベルで実行されるばかりかサーバやコンピュータバスレベルでの実行が可能ですこれによりネットワークプロトコルを不要にしクラスタに多くの利便性を付け加えます以前の課題をどのように新しいアーキテクチャで解決するか説明してみましょう a) ネットワークプロトコルと負荷による性能劣化の回避 b) データの非セグメント化 c) 共有ストレージプール d) データレプリケーションの排除 e) 可用性の向上と負荷分散 f) Incast( インキャスト ) によるタイムアウトの回避 g) 性能限界の解放 a) 全てのノードを PCIe に接続する場合 TCP/IP のようなネットワークプロトコルは必要ありませんバスはネットワークの負荷を回避する最下位層の I/O になります b) 単一バスを利用することでクラスタの全てのノードはすべてのリソースと共有が可能ですすべてのノードプロセッサは他のノードのメモリーやアダプタを参照しデータの分割を必要としませんさらに初期段階でノードを特別に設定しなくても全てのノードストレージにアクセスが可能になりストレージプールとして共有できます c) 特別なストレージノードにデータを分散させる必要がないのでデータは共通ストレージプール内で増設することが可能になりますすべてのノードはデータに無制限にアクセス可能です d) 全てのノードからデータのアクセスが可能なのでノード障害に対するデータの 2 重化は必要ありません従来はノードがストレージを専有しノード障害でストレージが利用不能になった場合余分なデータのコピーが必要でした EpochPOWER の場合データの 2 重化はオプションであり性能向上に寄与するにすぎません 2 番目の利点はコストですデータの 2 重化を回避することでストレージと電源のコストを格段に節約できます e) 全てのノードが全てのストレージにアクセス可能なのでデータの可用性が向上しますすなわち障害点管理が可能になり動作が正確に保証できます負荷分散は全てのノード

の切り替えが可能なのでより簡易に調整できますこれはダイナミックな変更を可能にするとともに事前に負荷分析をして準備する必要がなくなることを意味しています f) 今まで Incast 問題には同期リクエスト数に依存していてスイッチのバッファ容量を調整して対応する方法を議論してきましたサブクラスタのクラスタ数を限定することで Incast 問題を回避する事が可能になります

7 の切り替えが可能なのでより簡易に調整できますこれはダイナミックな変更を可能にするとともに事前に負荷分析をして準備する必要がなくなることを意味しています f) 今まで Incast 問題には同期リクエスト数に依存していてスイッチのバッファ容量を調整して対応する方法を議論してきましたサブクラスタのクラスタ数を限定することで Incast 問題を回避する事が可能になりますなぜならこのアーキテクチャではダイナミックなサブクラスタを特別なサーバ数をサービスするよう生成することが可能になるからですクラスタ内にダイナミックなサブクラスタを生成した場合でも無制限のストレージの容量内でサブクラスタが全てのデータにアクセスができることは重要です従来型のシステムではダイナミックなクラスタ構成をサポートしていないため導入が困難だからです g) ネットワークは通常クラスタのボトルネックですデータサーバやノードやホストサーバを PCIe で接続することでスループットは現在業界で利用可能な最高速のネットワークの 5 倍以上の性能を発揮します上記の特長に加えて OmniBus ブロードキャスティング ( 特許申請済み ) がストレージ市場にユニークな革新性と拡張性を導入しますこの技術はストレージ内のデータ転送を可能にするだけでなく単一 PCIe バスに接続された全てのノード間転送を可能にしますつまりストレージシステムで発生する全ての重複した転送操作を回避します ( メモリーへあるいはメモリーから RAID コントローラへ ) クラスタ環境ではこの技術はより関連が深くなりますなぜならノード間のデータ移動がデータコピーの負荷をかけないで可能なためです他のシステムの場合このプロセスには何十時間も費やします図 7ではクラスタのノード上で I/O インターフェイスから全てのメモリーやコントローラのデータが移動するか示したものですネットワークやネットワークに内在する全ての性能問題を回避するために GateStor PCIe 単一バス HBA をクライアントサーバーに適用することができます (Fig.8) ホストやクライアントコンピュータを単一のバスに接続することでリソースをホストサーバ間だけでなくストレージサーバ間と共有することができます特に VMWare を利用する場合はこの新しいテクノロジーから画期的な利点を得ることができます

GateStor PCIe 単一バス HBA はデュアルポートがあり各ポートは単一ノードもしくは異なる 2 台のノードに冗長接続します複数の HBA は単一ノード上でより高い接続性と性能向上のために利用されますケーブルを利用して PCIe にポイントツーポイントで接続することは小規模なクラスタではうまく機能しますが GateStor は

9 結論この新しいクラスタアーキテクチャは高度なストレージ環境にコンピュータ接続の革新的なアプローチを持ち込んだものでまさにストレージの新世代を意味していますサーバのマザーボードも PCIe 接続や他のマザーボードや PCIe 周辺機と内部接続を可能にするエクステンダーを取り込むと期待されています Intel 等の企業は PCIe

8 GateStor PCIe 単一バス HBA はデュアルポートがあり各ポートは単一ノードもしくは異なる 2 台のノードに冗長接続します複数の HBA は単一ノード上でより高い接続性と性能向上のために利用されますケーブルを利用して PCIe にポイントツーポイントで接続することは小規模なクラスタではうまく機能しますが GateStor は 16 ポートの PCIe Gen-3 のスイッチを開発しこのスイッチは最大 256 ノードまでの階層型クラスタを構築するノードおよびホストサーバ接続を利用可能にしましたまた複数台のスイッチは全てのクラスタやサーバの冗長パスとして利用可能です Fig.9 結論この新しいクラスタアーキテクチャは高度なストレージ環境にコンピュータ接続の革新的なアプローチを持ち込んだものでまさにストレージの新世代を意味していますサーバのマザーボードも PCIe 接続や他のマザーボードや PCIe 周辺機と内部接続を可能にするエクステンダーを取り込むと期待されています Intel 等の企業は PCIe が周辺機や HBA だけでなく PCIe SSD を接続するための有効なツールであることを認識していますそれ以上に GateStor のブロードキャスト技術が適用されるなら一般的なデータクラスタ性能で重要な改善が達成され選択的にデータとストレージを管理するクラスタ構築が可能になりますさらにダイナミックに構成を変更してデータ破損やストレージアプリケーション用にアクティブブなノードに専念させるようにダイナミックに構成を変更することができます

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション vsmp Foundation スケーラブル SMP システムスケーラブル SMP システム製品コンセプト 2U サイズの 8 ソケット SMP サーバコンパクトな筐体に多くのコアとメモリを実装し SMP システムとして利用可能スイッチなし構成でのシステム構築によりラックスペースを無駄にしない構成将来的な拡張性を保証 8 ソケット以上への拡張も可能 2 システム構成例ベースシステム 2U