Copyright 2012 EMC Corporation. All rights reserved. ( 不許複製 禁無断転載 ) EMC Corporation は この資料に記載される情報が 発行日時点で正確であるとみなしています この情報は予告なく変更されることがあります 本文書に記載され

Transcription

1 ホワイト ペーパー EMC ISILON スケールアウト NAS 上の HADOOP 要約 このホワイト ペーパーでは エンタープライズ向けの Hadoop データ分析ワークフローをサポートするための EMC Isilon スケールアウト NAS の使用方法を詳述しています 関連するコア アーキテクチャ コンポーネントについての説明のほか 企業が信頼できる洞察を短時間で効率よく手に入れながら シンプルさを維持したまま 拡大するビッグデータ分析ワークフローのストレージ要件に対応するために活用できるメリットを取り上げています 2012 年 5 月

2 Copyright 2012 EMC Corporation. All rights reserved. ( 不許複製 禁無断転載 ) EMC Corporation は この資料に記載される情報が 発行日時点で正確であるとみなしています この情報は予告なく変更されることがあります 本文書に記載される情報は 現状有姿 の条件で提供されています EMC Corporation は この資料に記載される情報に関する どのような内容についても表明保証条項を設けず 特に 商品性や特定の目的に対する適応性に対する黙示の保証はいたしません この資料に記載される いかなる EMC ソフトウェアの使用 複製 頒布も 当該ソフトウェア ライセンスが必要です EMC 製品名の最新のリストについては japan.emc.com サイトで EMC Corporation の商標 を参照してください VMware は VMware,Inc. の登録商標または商標です その他のすべての名称ならびに製品についての商標は それぞれの所有者の商標または登録商標です パーツ番号 h10528-j 2

3 目次 概要... 4 Hadoop ソフトウェアの概要... 5 Hadoop MapReduce... 5 HDFS(Hadoop Distributed File System)... 6 Hadoop ディストリビューション... 6 Hadoop のエコシステム... 7 Hadoop のアーキテクチャ... 7 EMC Isilon OneFS の概要... 8 Isilon のアーキテクチャ... 8 OneFS のオプション ソフトウェア モジュール Isilon 上の Hadoop シンプルさ 効率性 柔軟性 信頼性 ファイル システム ジャーナル ノード / デバイス障害にプロアクティブに対処 Isilon データの整合性 プロトコル チェックサム ダイナミック セクタ修復 MediaScan IntegrityScan データの高可用性 ビジネス継続性 結論 Isilon について

4 概要 企業は急速に拡大するデータ ( ビッグデータとも呼ばれる ) の保存と管理への対処に絶えず追われています ドライブのサイズは処理容量に対応するため拡大されてきましたが このビッグデータを分析し さまざまな洞察を得るためのツールはこの成長に対応しきれていません 既存の分析アーキテクチャはあまりに高価で 処理に時間がかかります また 維持と管理が非常に困難でもあります Hadoop は 革新的なオープン ソースのビッグデータ分析エンジンであり 企業のデータセットから価値のある洞察を得られるまでの時間を最短にできるよう設計されています これは MapReduce と HDFS(Hadoop Distributed File System) という 2 つの主要コンポーネントで構成されています MapReduce は 大規模なデータセットからより短時間で結果を取得するように 複数ノードでジョブを並列に実行する分散タスク処理フレームワークです HDFS は Hadoop のコンピューティング ファームで分析対象のすべての入力データと MapReduce ジョブで作成された出力の保存に使用される分散ファイル システムです Hadoop はスケールアウトの原則に基づき構築され コモディティ ハードウェアのクラスタ上で実行されるインテリジェント ソフトウェアを使用することで 価値のある洞察を高いコスト パフォーマンスで素早く得ることができます この分散型の並列タスク処理エンジンによって Hadoop はビッグデータの分析に優れた性能を発揮します 企業のお客様は さまざまなビッグデータ保存の要件に応じて EMC Isilon スケールアウト NAS を引き続きご活用いただけます OneFS はオペレーティング システムであり EMC Isilon スケールアウト NAS を形成する複数ノードで実行される基本の分散ファイル システムです OneFS はマシンだけでなく人的な拡張性も備えており 従来のストレージ システムに比べてわずかな人員で大規模システムを管理できます OneFS は複雑さを排除し 自動修復と自動管理機能を組み込むことで ストレージ管理の負担を大幅に減らしています OneFS には非常に高度な OS レベルで並列化も組み込まれ あらゆる主要システム サービスを複数のハードウェア ユニットに分散できます これにより OneFS は インフラストラクチャの拡張に応じて実質的にあらゆる規模で拡張が可能で データセットの拡大とワークフローの変更に応じ 現在行っている処理が引き続き行えます EMC Isilon スケールアウト NAS はこのように柔軟な機能を備え インフラストラクチャおよびデータ容量の変更だけでなく発展するワーフクローに簡単に適応できることから Hadoop を使用したビッグデータ保存と分析ワークフロー ソリューションにおいて極めて魅力的な要素となっています 4

5 Hadoop ソフトウェアの概要 Hadoop は 業界をリードする革新的なオープン ソースのビッグデータ分析エンジンであり 企業のデータセットから価値のある洞察を得られるまでの時間を最短にできるよう設計されています Hadoop の主要コンポーネント : Hadoop MapReduce: 結果の取得を高速化するためコンピュータ ノード クラスタの大規模なデータセットでジョブを並列に実行する分散タスク処理フレームワークです Hadoop Distributed File System(HDFS):Hadoop のコンピューティング ファームで Hadoop により分析されるすべてのデータを保存するための分散ファイル システムです MapReduce はコンピューティング パラダイムとして Google により導入され Hadoop は Yahoo がそのパラダイムを実装する形で作成 オープン ソースに寄贈されました Hadoop MapReduce Hadoop MapReduce は 大規模なコモディティ コンピュータ ノード クラスタで大量のデータを並列処理するアプリケーションを容易に作成するためのソフトウェア フレームワークです MapReduce フレームワークを構成する要素 : JobTracker: ノード クラスタあたりの単一マスターで ジョブとそのコンポーネントのタスクのスケジュール 監視 管理を行います TaskTracker: クラスタ ノードあたりの 1 つのスレーブ TaskTracker で JobTracker が指示したジョブのタスク コンポーネントを実行します MapReduce ジョブ ( クエリー ) は クラスタ間で完全に並列に分散および処理される複数のマップ タスクから構成されます フレームワークによりマップの出力がソートされ これらが reduce タスクの入力として使用されます 通常は HDFS を使用してジョブの入力と出力の両方がコンピュータ ノード クラスタに保存されます フレームワークは タスクのスケジュール 監視を行い 失敗したタスクの再実行を管理します Hadoop クラスタでは一般的に MapReduce がノードを処理し HDFS ストレージ レイヤー (HDFS) は同じノード セット上に配置されます この構成により データがすでに存在するノード上のタスクを効果的にスケジュールでき ノード クラスタ内でのデータ移動に伴うネットワークのボトルネックを回避しています このようにコンピューティング レイヤーでは HDFS レイヤーでローカルにデータを調整して 重要な洞察を効率よく得ることができます 5

6 Hadoop は完全に Java で作成されていますが MapReduce アプリケーションは必ずしもその必要はありません MapReduce アプリケーションは Hadoop ストリーミング インタフェースによって あらゆる実行可能プログラムを特定ジョブのマッパやリデューサに使用することができます HDFS(Hadoop Distributed File System) HDFS はクラスタ内の複数ノードにおよぶブロック ベースのファイル システムで ユーザー データをファイルに保存することができます 従来の階層ファイル編成のため ユーザーやアプリケーションはファイルおよびディレクトリの操作 ( 作成 名前変更 移動または削除 ) を行えます また ストリーミング インタフェースとして MapReduce フレームワークを使用して 任意のアプリケーションを実行できます HDFS はハード リンクまたはソフト リンクの設定はサポートされず 特定ブロックのシークやファイルの上書きは行えません HDFS はプログラマティック アクセスが必要であり ファイル システムとしてマウントすることはできません HDFS の通信はすべて TCP/IP プロトコルの上位に階層化されます HDFS の主要コンポーネント : NameNode: すべてのファイル ファイルの場所 ファイル内のすべてのブロックとそれらが置かれた DataNode のメモリ内マップを持つ 1 つのマスター メタデータ サーバです DataNode: クラスタ ノードにつき 1 つのスレーブ DataNode で サーバが要求の読み取り / 書き込みを行うほか NameNode の指示によりブロックの作成 削除 レプリケーションを行います HDFS は MapReduce ジョブを実行する前にすべてのデータが置かれるストレージ レイヤーです HDFS はブロック ミラーリングを使用することでデータを Hadoop クラスタに分散して 複数のコンピュータ ノードでデータを保護し 位置を特定しています デフォルトのブロック サイズは 64 MB で デフォルトのレプリケーション係数は 3x です Hadoop ディストリビューション オープン ソースの Apache Foundation が apache.org より Apache Hadoop のリリースを管理しています 他のディストリビューションはすべて Apache Hadoop をベースに構築または拡張された派生ディストリビューションとなります 現在利用可能な一般的な Hadoop ディストリビューションは次のとおりです Apache Hadoop Cloudera CDH3 Greenplum HD Hortonworks データ プラットフォーム 上記に挙げたものは 現在利用可能なすべての Hadoop ディストリビューションの一覧ではなく 一般的な選択肢です 現在利用できる Hadoop ディストリビューショ 6

7 ンの詳細なリストは 次から参照できます これは Hadoop でのデータ分析用に実行できるソフトウェア スタックです Hadoop のエコシステム 次に挙げたものは Hadoop でのデータ分析用に実行できるソフトウェア スタックです エコシステム コンポーネントは Hadoop スタックの上位に位置するアドオン コンポーネントで 分析ワークフローに役立つ追加の機能を提供します この分野で一般的な選択肢は次のとおりです Hive:HDFS に保存されたデータを扱う SQL に似た特別なクエリー インタフェース HBase:HDFS の上位に位置する高パフォーマンスのランダム読み取り / 書き込み可能な列ベースの構造化ストレージ システム Pig: 並列処理を行うハイレベル データフロー言語と実行フレームワーク Mahout:Hadoop を使用した拡張性の高いマシン学習アルゴリズム R(RHIPE): 大規模な複合データセット用に分割 / 再結合によるデータ解析 上記は Hadoop エコシステム コンポーネントのいくつかの例です Hadoop の全コンポーネント Hadoop のアーキテクチャ次に挙げたアーキテクチャ図は Hadoop コンピュータ クラスタで実行されるすべての Hadoop コア コンポーネントを示したものです 7

8 このコンピュータ環境で発生する一般的な対話処理は次のとおりです 1. データが HDFS レイヤーに取り込まれる必要があります 2. データの計算または解析は MapReduce を使用して行われます 3. Hadoop ワークフロー全般に対応するための HDFS または他のインフラストラクチャでの結果の保存またはエクスポート 上記のアーキテクチャからは NameNode が環境内の Singleton であるため 問題が発生した場合は Hadoop 環境全体が使用不可になることが分かります EMC Isilon OneFS の概要 OneFS は 従来のストレージ アーキテクチャの 3 つのレイヤーであるファイル システム ボリューム マネージャ RAID を 1 つの統合ソフトウェア レイヤーに結合し Isilon ストレージ クラスタで実行される 1 つのインテリジェントな分散ファイル システムを構築します OneFS により ファイル システム ボリューム マネージャ データ保護が 1 つのインテリジェントな分散システムに結合 これは 企業において現在の環境でスケールアウト NAS を直接利用する上で重要な革新的機能です スケールアウトの原則であるインテリジェント ソフトウェア コモディティ ハードウェア 分散アーキテクチャに忠実に従った形となっています OneFS はオペレーティング システムであるだけでなく Isilon ストレージ クラスタにデータを保存する基本ファイル システムでもあります Isilon のアーキテクチャ OneFS は クラスタ と呼ばれる多数の Isilon スケールアウト ストレージ ノードを排他的に処理します 1 つの Isilon クラスタは複数の ノード からなり これらはラック マウント式のエンタープライズ アプリケーションとして構成され メモリ CPU 1 GB/10 GB ネットワーク NVRAM 低レーテンシー Infiniband 相互接続 ディスク コントローラ ストレージ メディアなどのコンポーネントが含まれます このため 分散クラスタ内の各ノードは処理能力とストレージ能力を持ちます 8

9 Isilon クラスタは 3 ノードから 現在では最大 144 ノードまで拡張が可能です 異なった多くの種類のノードもすべて 1 つのクラスタに組み込むことができ 各種ノードによりさまざまな容量比率のスループット (IOPS) を実現できます OneFS は理論的に 1 つのシステムに組み込み可能なノードの数が無限とされます クラスタに追加される各ノードにより ディスク キャッシュ CPU ネットワーク容量の総量が増加します OneFS は各ハードウェアのビルディング ブロックを活用することで 全体で部分の合計よりも高い能力を実現しています RAM を 1 つの一貫性のあるキャッシュに集約することで クラスタのいずれの箇所でもどこからのキャッシュ データの入出力を可能にしています NVRAM の集約により 停電時に安全な高スループットの書き込みが可能です スピンドルと CPU を結合することで クラスタの拡大に応じて 1 ファイルまたは複数ファイルのアクセスにおけるスループット 容量 IOPS を高めています クラスタのストレージ容量は 1 ファイル システムで最小 18 テラバイト (TB) から最大 15.5 ペタバイト (PB) に及びます EMC Isilon ノードのタイプは その機能によりいくつかのクラスにセグメント化されています S シリーズ :IOPS 集約アプリケーション X シリーズ : 高度の並列度とスループット主導のワークフロー NL シリーズ : テープ並みの価格でプライマリ水準のアクセス性 パフォーマンス アクセラレータ : 独自の拡張性による究極のパフォーマンス バックアップ アクセラレータ ノード : 高速で拡張性の高いバックアップおよびリストア ソリューション 環境内で動作する OneFS のすべてのコンポーネント 上記の完全なアーキテクチャ ( ソフトウェア ハードウェア ネットワーク接続すべてが環境内でサーバとともに機能 ) によって 作業負荷や容量の要求 またはスループットの要件の変化に応じて動的に拡張できる完全に分散した単一のファイル システムを実現します 9

10 OneFS のオプション ソフトウェア モジュール OneFS はお客様のニーズに応じて有効にできるアドオン ライセンス式のソフトウェア モジュールです 次の一覧に すべての使用可能なモジュールとその機能の概略を示します SnapshotIQ シンプルで拡張性 柔軟性の高い スナップショットを使用したローカル データ保護 SmartConnect ポリシー ベースのデータ アクセス ロード バランシングとフェイルオーバーによる高可用性 SmartQuotas クォータ使用のデータ管理とシン プロビジョニングによるクラスタ化されたストレージ SyncIQ 高速で柔軟なファイルベースの非同期データ レプリケーション SmartPools 異なるディスク階層を使用し 属性をもとに情報ライフサイクル管理 (ILM) ポリシーを提供するデータ管理 SmartLock エンタープライズ WORM 準拠形式でデータを保存 InsightIQ 強力でシンプルな分析プラットフォームによりトレンド ホット スポット 主要クラスタ統計と情報を特定上記のすべてのソフトウェア モジュールの詳細については 製品資料を参照してください Isilon 上の Hadoop HDFS のすべての通信は TCP/IP プロトコルの上位に階層化されるため Isilon には HDFS レイヤーが OneFS 用のネットワーク経由のプロトコルとして組み込まれています この統合により スケールアウト NAS プラットフォームを Hadoop アーキテクチャのネイティブ パーツとして Hadoop コア コンポーネントとあらゆるエコシステム コンポーネントの両方で活用できます また Hadoop のワークフロー全体で OneFS のシンプルさ 柔軟性 信頼性 効率性を活かすこともできます Hadoop( コンピューティング レイヤー ) に接続された Isilon スケールアウト NAS( ストレージ レイヤー ) 10

11 上の図は Isilon スケールアウト NAS をネットワーク経由プロトコル (HDFS) により Hadoop コンピューティング クラスタに組み込んだアーキテクチャを示しています これにより Isilon スケールアウト NAS は 企業の Hadoop ワークフローにおいて第 1 クラスのメンバーになることができます また Hadoop ワークフローの 2 つの別個のコア コンポーネントであるコンピューティング (MapReduce) レイヤーおよび HDFS(Hadoop Distributed File System)( ストレージ レイヤー ) を使用することも可能になります 今日利用可能なネットワーク帯域幅は大幅に向上しており OneFS は分散型の並列処理を中核機能とし 構築されていることから エンタープライズ環境のお客様は Hadoop を使用したデータ分析ワークフローに共有スケールアウト ストレージ モデルを有効活用いただけます 次の詳細図では Hadoop のすべてのコア コンポーネントとエコシステム コンポーネントを Isilon スケールアウト NAS とともに使用しています Hadoop 環境で Isilon スケールアウト NAS とともに動作するすべての Hadoop コンポーネント EMC Isilon OneFS ファイル システムは現在 単一ファイル システムと単一グローバル ネームスペースで 15 PB を超える拡張が可能です その容量では 85 GB/ 秒の同時スループットも実現できます Hadoop ワークフローの容量とパフォーマンスの要件に対する OneFS の直線的な拡張方法について詳しくは specsfs2008 のベンチマーク結果 ( を参照してください 以降のいくつかのセクションでは Hadoop のワークフローで EMC Isilon スケールアウト NAS を使用することの大きな利点を詳しく説明します シンプルさ EMC Isilon OneFS は ファイル システムのプロビジョニングから適切なデータ保護メカニズムの適用など 企業のデータセットを常にアクセス可能にして障害から適切に保護するためのディスク プールのラック管理に関わるあらゆる複雑さを排除します OneFS により Hadoop のシンプルな利用が可能になるため 企業ではデータを活用してビジネスを促進する洞察を得ることに集中できます Hadoop の使用に集中することは Hadoop エコシステムのストレージ インフラストラク 11

12 チャの管理に時間をとられるのではなく 重要なトレンドの発見やビジネスを加速する機会を見つけることにつながります Isilon ストレージの拡張は通常 わずか 60 秒足らずで済み クラスタをオンラインにしたままボタンを押すだけで実行できます 既存のクラスタへの Isilon ノードの追加は ラックに設置した後で電源を入れ 既存の Isilon スケールアウト クラスタへの追加を確認するだけです この 結合 プロセスにより 追加容量をただちに利用でき 追加する Isilon ノードで適切な OneFS バージョンと構成を実行することが可能です 追加容量が 60 秒で手に入るだけでなく 現在の使用率のバランスを Isilon クラスタで均等に再調整するバックグラウンド ジョブを実行することでデータのホット スポットを回避しています この容量拡張はすべてスケールアウト ストレージをオンラインにしたまま行え MapReduce ジョブのサービスに影響を与えることはありません OneFS では HDFS プロトコルのサポートのほか 次のプロトコルをすべてサポートしています NFS CIFS/SMB FTP HTTP iscsi REST Isilon HDFS は OneFS ファイル システムと HDFS クライアント間の軽量プロトコルとして実装されます ファイルは Isilon クラスタ上の標準の POSIX 互換ファイル システムに保存されます これにより 上記のどのプロトコルを使用した場合でも Hadoop ワークフローでのデータの取り込みや Hadoop で得られたビジネスの重要な洞察をデータ分析ワークフローの他のコンポーネントにエクスポートする作業が非常に簡単に行えます すでに EMC Isilon スケールアウト NAS に保存されているデータの場合は OneFS で Hadoop コンピューティング ファームを参照するだけで済み Hadoop ワークフローのために時間やリソースを要するロード操作を行う必要はありません OneFS では 企業の Hadoop 環境で HDFS レイヤーを真の実証済みファイル システムとして使用することが可能です 12

13 効率性 Hadoop のワークフローをシンプルにする Isilon スケールアウト NAS OneFS は Isilon スケールアウト クラスタで 80% 以上の容量使用率を目標とし Hadoop データ分析ワークフローにおいて非常に高い効率を実現しています 標準的にファイル システム上のすべてのブロックで 3 倍のミラーリングを使用する従来の Hadoop アーキテクチャと比べると OneFS は極めて容量効率がよく エンタープライズ環境のお客様に最適な ROI と TCO をもたらします たとえば 12 PB の Hadoop データを保存する企業の場合 標準で 3 倍のミラーリングによりデータを保存する従来の Hadoop クラスタでは 36 PB を超える未フォーマット ディスクを購入する必要がありました これと同じ 12 PB の Hadoop データを OneFS のデータ保護により保存する場合は Isilon クラスタに必要な未フォーマット ディスク容量はわずか 15 PB です これにより CAPEX を大幅に節約するとともに 管理するインフラストラクチャ環境もはるかにシンプルで済みます 簡易な運用とシンプルな管理によって Isilon がもたらす OPEX の節約に加え このほかにも環境の効率を高めることができます たとえば Isilon ノードは容量の面で非常に高密度が得られます このため ストレージを直接接続する従来の 36 PB Hadoop クラスタの実行に必要なラック スペースと電力は 同じデータ要件に対応する 15 PB の Isilon クラスタよりも大幅に増します この Isilon クラスタの利点は さらなるコスト削減につながります Hadoop 環境で Isilon スケールアウト NAS を共有ストレージ レイヤーとして使用する場合も Hadoop コンピューティング ファームを集約して最小化することができます ストレージに関連する HDFS のあらゆるオーバーヘッドを Isilon スケールアウト NAS にオフロードすることで Hadoop コンピューティング ファームの効率を高め ローカル ストレージの管理ではなく より多くの分析ジョブを実行し ローカル ストレージのデータを保護して ローカル ストレージ内のデータ分析を実行することができます Hadoop コンピューティング ファームにおけるこれらすべての HDFS 関連タスクの実行負荷を緩和することで OneFS は Hadoop 13

14 コンピューティング ファームの設置面積を縮小し データ分析ワークフローの他のタスクで既存の Hadoop コンピューティング インフラストラクチャを活用することができます データ分析ワークフローの全体で 他の標準プロトコル経由での効率的な共有ストレージのアクセスによるメリットが得られ Hadoop で得た重要な洞察をデータ分析ワーフクローの他の範囲で利用できるようになります こうした集約型のアプローチにより データ分析ワークフロー全体を効率化し 企業における大幅な CAPEX と OPEX の節約を実現できます 柔軟性 ストレージを直接接続した従来の Hadoop クラスタでは コンピューティング レイヤーとストレージ レイヤーが緊密に結合され どちらかが欠けると拡張ができませんでした これによる欠点として お客様はコンピューティング能力ではなく より多くのストレージを必要とすることから Hadoop クラスタを拡張する結果となりました しかし拡張するにつれ より多くのネットワーク インフラストラクチャとコンピューティング インフラストラクチャを追加することになりました これは 使用率全般からすると非常に効率が悪く柔軟性に欠けています Hadoop のコンピューティング レイヤーとストレージ レイヤーを切り離すことで 企業は柔軟に一方 ( ストレージ ) を独立して拡張しながら 必要に応じて他方 ( コンピューティング ) を拡張できるようになりました この柔軟で成長に応じて購入できるアーキテクチャにより お客様は必要なものを必要なときにだけ購入でき Hadoop の複合環境全体の効率を高めることができます これにより最初は小容量で始め OneFS を使用した Hadoop ストレージ レイヤーで必要に応じて最大 85 GB/ 秒の同時スループットを実現できます Hadoop ストレージの要件のため OneFS を使用する主な利点は Apache Hadoop に準拠している点にあります これにより組織の Hadoop データ分析ワークフローで任意の Hadoop ディストリビューションを選択する柔軟な使用が可能です EMC Isilon スケールアウト NAS の使用が確認済みの Hadoop ディストリビューション : Apache Hadoop Apache Hadoop EMC Greenplum HD 1.1 信頼性 Hadoop 分析ソリューションへの投資価値を最大に活かすため 企業はリカバリ性の高いビッグデータ ストレージ インフラストラクチャを求めています Isilon スケールアウト NAS と OneFS オペレーティング システムは 無類のデータ保護による信頼性の高いインフラストラクチャによりデータ資産を保護し 高可用性データ環境を実現します 従来の Hadoop クラスタでは ハードウェア レイヤーでのデータ保護のためのカスタム サブブロック CRC チェックサムと HDFS レイヤーのミラーリング テクノ 14

15 ロジーを必要とし 何らかのデータ冗長性が存在しました しかし これは拡張時に非常にコストが高くつくことになります Isilon のデータ保護は OneFS ファイル システム レベルで実装されているため ハードウェア RAID コントローラには依存しません これにより 市場の状況や ハードウェア属性と特性の展開に応じて 新しいデータ保護方式を追加するなど 多くの利点が得られます 保護はファイル レベルで適用されることから OneFS ソフトウェアのアップグレードのみで新規の保護 / パフォーマンス スキームを利用することができます OneFS は 広く実績のあるリード ソロモン アルゴリズムを使用して 確実にパリティ保護の計算を行います 保護はファイル レベルで提供され クラスタのデータ リカバリが迅速に効率よく行えます Inode ディレクトリおよび他のメタデータは 参照するデータ ブロックと同等以上のレベルで保護されます すべてのデータ メタデータ 前方エラー訂正 (FEC) ブロックは複数ノードにわたりストライピングされるため 専用のパリティ ドライブは必要ありません これにより 単一障害点とボトルネックの両方に対する保護がなされ ファイル再構築のプロセスを高度に並列化することができます 現在 OneFS では N+1 から N+4 のパリティ保護レベルを提供し それぞれ最大 4 件同時のコンポーネント障害に対する保護が可能です 単一の障害は個々のディスクと同程度に小さい確率となり 別の見方からはノード全体の確率と同程度となります OneFS では ハイブリッド保護方式もいくつかサポートされています これには N+2:1 および N+3:1 が含まれ それぞれに 2 つのドライブ障害または 1 つのノード障害 3 つのドライブ障害または 1 ノード障害に対する保護がなされます これらの保護スキームは特に 各ノードが最大 36 の複数テラバイト SATA ドライブを含む高密度ノード構成に有効です これは 複数ドライブで障害が発生する可能性がノード全体の障害の可能性よりはるかに高くなるケースです 複数のデバイスで同時に障害が発生するような可能性の低い事例において ( ファイルが 保護レベルを超える など ) OneFS はあらゆる可能性に再度保護を行い 影響を受ける各ファイルのエラーを Isilon クラスタ ログに報告します 15

16 OneFS ハイブリッド パリティ保護スキーム (N+M:x) ファイル システム ジャーナル Isilon ノードはすべてデュアル バッテリ バックアップの 512 MB NVRAM カードを備え ノードのファイル システム ジャーナルを保護しています 各ジャーナルは OneFS で安定したストレージとして使用され 突然の電源損失やその他災害事故から書き込みトランザクションを保護します ジャーナルではファイル システムの整合性が保護され バッテリは最大 3 日間持続します Isilon クラスタの各メンバー ノードには NVRAM コントローラが含まれるため OneFS ファイル システム全体が完全にジャーナル化された状態となります ノード / デバイス障害にプロアクティブに対処 OneFS では 検出された ECC エラーが特定の閾値に達したドライブを除去し (SmartFail) そのドライブのデータを自動で再構築して クラスタ内の別の場所に配置します SmartFail と以降の修復プロセスは完全に自動で行われるため 管理者による操作を必要としません OneFS はデータをファイル レベルで保護するため 不整合やデータ消失が発生した場合は使用不可または障害のあるデバイスだけに分離され 残りのファイル システムは影響を受けることなく使用可能な状態に維持されます 高度な分散アーキテクチャをベースとする OneFS は 複数ノードの CPU メモリおよびスピンドルを活用して 障害デバイスのデータを高度に並列化された効率のよい形で再構築できます Isilon ストレージ システムは特定ドライブの速度による制限を受けないため OneFS はドライブ障害からのリカバリが極めて迅速に行え クラスタのサイズに比例して効率的に処理できます このため Isilon クラスタ内の障害が発生したドライブは RAID ベース ストレージ デバイスの場合の数時間から数日よりもはるかに短い 数分または数時間で再構築ができます また OneFS は専用の ホット スペア ドライブを必要としません 16

17 Isilon データの整合性 ISI Data Integrity(IDI) は 32 ビット CRC チェックサムによりファイル システム構造の破損を保護する OneFS プロセスです ファイルおよびメタデータともに すべての Isilon ブロックはチェックサムによる検証を行っています メタデータ チェックサムはメタデータ ブロック内に保存され ファイル データ チェックサムはメタデータとして保存され 参照時の整合性を維持しています チェックサムはすべて 特定の読み取りをサービスするノードであるイニシエータによって要求時に毎回再計算されます 再計算されたチェックサムが保存されたものと一致しない場合 OneFS はシステム アラートを出してイベントをログに記録し 対応するパリティ ブロックを取得してクライアントに返し 自動的に対象のデータ ブロックの修復を試みます プロトコル チェックサム OneFS ではブロックとメタデータのほかにも リモート ブロック管理 (RBM) プロトコル データのチェックサム検査を行っています RBM は Isilon が開発した RPC ベースのユニキャスト プロトコルで バックエンド クラスタの相互接続で使用されます RBM プロトコルのチェックサムは ネットワーク レイヤーで行われる Infiniband ハードウェア チェックサムに追加する形で 特定の故障ハードウェア コンポーネントを含むマシンやその他障害状態を示すマシンを検出して分離するのに使用されます ダイナミック セクタ修復 OneFS はダイナミック セクタ修復 (DSR) 機能を持ち これによりエラーの出たディスク セクタを分離して 問題のないデータをファイル システムでリダイレクトして他の箇所に再書き込みします OneFS が通常の動作でブロックの読み取りに失敗すると DSR が呼び出されて欠落データが再構築され ドライブの異なる場所またはノードの別の場所に書き込まれます これにより 以降のそのブロックの読み取りで問題が発生しないようにしています DSR は全自動で エンド ユーザーに対して完全に透過的に実行されます ディスク セクタと CRC の不一致については ドライブの再構築プロセスとほぼ同じメカニズムが使用されています MediaScan MediaScan は OneFS においてディスクのセクタをチェックし 上記の DSR メカニズムを使用して ディスク ドライブで発生するセクタの ECC エラーを強制的に訂正する機能があります MediaScan は OneFS の一部として実装され あらかじめ決められたスケジュールで自動実行されます 影響の少ないバックグラウンド処理で実行される MediaScan は 完全な分散型で Isilon 独自の並列アーキテクチャの利点を活かすことができます 17

18 IntegrityScan OneFS のもう 1 つのコンポーネントである IntegrityScan は ファイル システム全体の不整合を検査します これは すべてのブロックを系統的に読み取り 関連するチェックサムを検査して行われます 従来の fsck スタイルのファイル システム整合性チェック ツールとは異なり IntegrityScan はクラスタが完全に動作している状態で実行され ダウンタイムの発生を回避しています IntegrityScan でチェックサムの不一致が検出されると システム アラートが出されてシステム ログに記録され OneFS が自動的に該当ブロックの修復を試みます データの高可用性 ストレージが直接接続された従来の Hadoop クラスタでは ファイル システムのネームスペース操作を管理する NameNode は 1 つだけでした Isilon ストレージでは すべての Isilon ノードが NameNode または DataNode の要求に応答できます Hadoop のコンピュータ クライアントから Isilon OneFS スケールアウト NAS に対してファイル要求が送信されるごとに その要求は異なる Isilon ノード アドレスに送信されます Hadoop 環境では クラスタ内のすべての Isilon ノードは NameNode であり DataNode とされます これにより 複数の Hadoop コンピュータ ノードで実行される複数のマッパおよびリデューサ タスクから IO のロード バランシングを複数の Isilon ノードにわたって行えます このように OneFS では従来の Hadoop クラスタに見られた単一障害点を排除して ロード バランシングを実現しています Isilon SmartConnect モジュールは Hadoop コンピュータ クライアントの動的なフェイルオーバーとフェイルバックをサポートすることで データの高可用性に貢献しています これにより ノードに障害が発生した場合に MapReduce ジョブに関連する処理中のすべての読み取り / 書き込みを Isilon クラスタの別のノードに引き渡し MapReduce ジョブやタスクを中断することなく操作を完了できます 以上の処理は SmartConnect 名を Hadoop core-site.xml 構成ファイルで構成パラメータとして使用し Isilon クラスタの動的 IP アドレスを使用することで実行されます SmartConnect Zone の構成について詳しくは Isilon ユーザー ガイドをご覧ください この機能はロード バランシングとともに OneFS で HDFS ストレージ レイヤーを提供して Hadoop MapReduce ジョブを実行しているときに障害が発生した場合の継続的なデータ可用性を実現します ビジネス継続性 OneFS は エンタープライズ環境におけるビジネスの持続に必要な信頼性の高いデータ バックアップ方式を提供する堅牢なメカニズムを備えています Isilon SnapshotIQ は OneFS のあらゆるディレクトリ / サブディレクトリの読み取り専用のポイント イン タイム コピーを作成して 最高速のローカル バックアップとして機能します OneFS のスナップショットは 非常に拡張性が高く 通常は 1 秒足らずで作成できます パフォーマンスのオーバーヘッドはほとんどなく 18

19 ファイル システムの活動レベル ファイル システム サイズ またはコピーするディレクトリのサイズに影響されません また スナップショットの更新時は 変更されたファイル ブロックのみを保存するので スナップショットのストレージ使用率は非常に効率的です 使用可能なスナップショットには 各ファイル システム ディレクトリ以下の /.snapshot 非表示ディレクトリからアクセスできます Isilon SnapshotIQ はクラスタ上でスナップショットを無制限に作成できます スナップショットの間隔をさらに細分化して RPO の時間枠を改善できるため 他の多くのスナップショット実装に比べて大きなメリットがあります SnapshotIQ を使用したユーザー主導のファイル リカバリ SnapshotIQ には損失または破損したファイルのリカバリにおける利点のほか 強力なバックアップ方法によってファイル システムへの影響を最小限にとどめることが可能です スナップショットからバックアップを開始することは いくつかの大きなメリットがあります 最大のメリットは バックアップを読み取り専用のスナップショットから直接取得するため ファイル システムの活動を停止する必要がない点です オープン ファイルのロック競合の問題を排除でき バックアップ ジョブの間にユーザーはデータにフルアクセスが可能です SnapshotIQ では クラスタ上の各スナップショットの最新バージョンを参照するエイリアスも自動で作成され バックアップで常にそのエイリアスを参照できるためバックアップ プロセスが容易に行えます スナップショットは定義上 ポイント イン タイム コピーであるため スナップショットからのバックアップによってファイル システムやサブディレクトリの整合性が維持されます NDMP スナップショット機能を使用して NDMP バックアップ ジョブの一部としてスナップショットを作成し バックアップの完了後にこれを削除することで このプロセスをさらに合理化できます OneFS は 偏在的 Network Data Management Protocol(NDMP) のサポートによって 効率的なバックアップとリストア機能を実現しています NDMP は 先進のバックアップ製品との相互運用性を持つオープン標準プロトコルです Isilon は NDMP バージョン 3 と 4 をともにサポートします OneFS NDMP モジュールには次の機能があります 19

20 NDMP を使用したフル / 増分バックアップとリストア Direct Access Restore(DAR/DDAR) 単一ファイル リストア 3way バックアップ 任意システムへのリストア アクセス制御リスト (ACL) 代替データ ストリーム およびリソース フォークへのシームレスな統合 選択式ファイル リカバリ レプリケーションしてバックアップ スナップショットと NDMP は 局地的な障害シナリオには理想的なソリューションですが 大規模な障害や自然災害の場合は 地理的に離れたもう 1 つのデータセット コピーが明らかに効果的です Isilon SyncIQ モジュールは 広範な目標復旧時点 (RPO) と目標復旧時間 (RTO) に対応するデータの高パフォーマンスな非同期レプリケーションを行います お客様はインフラストラクチャのコストと災害発生時のデータ消失の可能性から最適なトレードオフを選択できます SyncIQ は 複製するファイル システムにハード制限がないため 組織のデータが数ペタバイト規模に拡張するのに応じた直線的な拡張が可能です SyncIQ を使用してローカルまたは地理的に離れた Isilon OneFS クラスタに Hadoop データをレプリケーション SyncIQ は 短距離または長距離のレプリケーションのため LAN と WAN 接続のどちらにも簡単に最適化でき サイト特有の災害や地域の災害の両方に対する保護を提供します また SyncIQ は クラスタ化されたストレージのパフォーマンスと効率性を活かすため 高度に並列化したポリシー ベースのレプリケーション アーキテクチャを使用しています このため 総スループットは容量とともに拡大し 拡張するデータセットに一貫した RPO を実現できます 20

21 まとめとして HDFS ストレージ レイヤーの一部に EMC Isilon ストレージを加えることで 次のような従来の Hadoop ストレージ導入のいくつかの欠点に対処することが可能になります 従来の Hadoop ストレージ導入 専用のストレージ インフラストラクチャ Hadoop 専用のワンオフ 単一障害点 Namenode エンタープライズ データ保護の欠如 スナップショット レプリケーション バックアップなし 非効率なストレージ 3 倍ミラーリング 固定された拡張性 コンピュータとストレージの比率が固定 手動のインポート / エクスポート プロトコル サポートなし EMC Isilon ストレージ導入 スケールアウト ストレージ プラットフォーム 複数のアプリケーション & ワークフロー 単一障害点なし 分散した Namenode エンド ツー エンドのデータ保護 SnapshotIQ SyncIQ NDMP バックアップ 業界をリードする効率のよいストレージ >80% のストレージ使用率 独立した拡張性 コンピュータとストレージを別個に追加 マルチ プロトコル 業界標準プロトコル NFS CIFS FTP HTTP HDFS 21

22 結論 Hadoop は 企業がビッグデータ資産から貴重な洞察を得るための時間とリソースを大幅に削減する革新的な分析エンジンです 本書に記載のとおり EMC Isilon スケールアウト NAS と Isilon OneFS オペレーティング システムをネットワーク経由の HDFS レイヤーとすることで 大きなメリットが得られます この統合により スケールアウト NAS プラットフォームを Hadoop アーキテクチャのネイティブ パーツとして Hadoop コア コンポーネントとあらゆるエコシステム コンポーネントの両方で利用が可能です また Hadoop のワークフロー全体で OneFS のシンプルさ 柔軟性 信頼性 効率性を活かすことができます HDFS をネットワーク経由のプロトコルとして使用することで あらゆる業界標準 Apache Hadoop ディストリビューションと Isilon スケールアウト NAS ストレージ システムを組み合わせたビッグデータ分析ソリューションを容易に導入でき 強力で効率性と柔軟性の高いビッグデータ ストレージと分析エコシステムが実現可能です このアプローチにより ストレージを直接接続した高リソースで複雑な従来の Hadoop 導入を避けることができます Isilon スケールアウト NAS では 高いリカバリ性を持つストレージ インフラストラクチャを Hadoop 環境に導入して データ保護と信頼性を高めつつ シンプルさを維持したまま発展するビッグデータ分析ワークフローの要件に対応できます Isilon について EMC の一部門である Isilon は スケールアウト NAS のグローバル リーダーです ストレージではなくデータの管理に集中したい企業のお客様向けに強力でシンプルなソリューションを提供しています Isilon 製品は どのような規模でも設置 管理 拡張が容易に行えます 従来のエンタープライズ ストレージと異なり Isilon のソリューションは 追加するストレージの数 要求されるパフォーマンス 将来変化するビジネス ニーズに関係なく シンプルさを維持できます お客様にはストレージについて違う見方をしていただくことで よりシンプルで優れた方法をご提供できると考えております をご覧ください 22