ラボ検証レポートエグゼクティブサマリー ビッグデータワークフローにおける EMC Isilon の主要機能を IDC が検証 1. マルチプロトコル機能 2. 可用性 3. セキュリティとコンプライアンス. 運用の合理化 共有 モバイル 分析 表面化 アーカイブ バッチ クラウド アクション IDC

Transcription

1 ラボ検証レポート EMC Isilon スケールアウトデータレイク基盤 ビッグデータインフラストラクチャ構築の基本機能 Ashish Nadkarni IDC ストレージチーム EMC Isilon による支援 2016 年 3 月

2 ラボ検証レポートエグゼクティブサマリー ビッグデータワークフローにおける EMC Isilon の主要機能を IDC が検証 1. マルチプロトコル機能 2. 可用性 3. セキュリティとコンプライアンス. 運用の合理化 共有 モバイル 分析 表面化 アーカイブ バッチ クラウド アクション IDC の見解 EMC Isilon は実に操作しやすく 拡張性と効率性に優れた EDLP ( エンタープライズデータレイクプラットフォーム ) であると IDC は考えています * IDC によって データレイクをベースにした共有ストレージモデルはエンタープライズクラスのサービスレベルを実際に提供できるだけでなく Hadoop ワークロード専用の COTS ( 商用オフザシェルフ ) ストレージよりもパフォーマンスに優れていることが実証されました * EMC Isilon スケールアウトデータレイクは OneFS 分散ファイルシステムをベースとする EDLP ( エンタープライズデータレイクプ ラットフォーム ) です ページ 2

3 検証 : NFS SMB HDFS で同時データ取得 機能と検証の概略 EMC Isilon スケールアウトデータレイクは マルチプロトコルのデータ取得に理想的なプラットフォームです これは データを生成するワークロードに最も近いプロトコルを使用して データレイクに高速かつ確実にデータを取り込むことが要求されるビッグデータ環境に欠くことのできない機能です OneFS では NFSv3 NFSv SMB2.0 SMB3.0 HDFS を使用したデータの取得が可能です これにより プラットフォームが複雑なビッグデータのワークフローに非常に適したものになります IDC は OneFS プラットフォームの堅牢なマルチプロトコルデータ取得機能を検証しました 検証には プロトコル間でユーザーのアクセス権限を保持するプラットフォームの機能も含まれます 検証プロセスこの検証のため EMC Isilon スケールアウトデータレイクは NFSv3 SMB3.0 HDFS を使用して Hadoop クラスターからアクセスする構成をとりました HDFS と NFS アクセスは Hadoop DAS クラスターのマスターノードを使用して設定しました 大容量ファイル (Wikipedia wiki データ 10GB) のダウンロードがシミュレートされました ファイルは圧縮したままの状態です ファイルには HDFS を介して継続的にアクセスして分析し NFS を介して EMC Isilon スケールアウトデータレイクにコピーしました SMB3.0 を介したアクセスも行い HDFS と NFS を介してそれぞれ読み取りと書き込みを行いました 注 : Isilon OneFS は DNS ゾーン委任を使用し 次に DNS ラウンドロビンを使用して受信接続のバランシングを行います HDFS はこのような機能を備えていないため データノードが停止した場合にジョブが失敗します 障害としてマークされたノードは HDFS コールでバイパスされます ページ 3

4 主なテスト結果 : マルチプロトコルのデータ取得機能 堅牢なマルチプロトコルのデータ取得機能で EMC Isilon スケールアウトデータレイクプラットフォームに構築されたデータレイクへのビッグデータワークフローの構築が簡単に 機能 NFS (v3 v) SMB ( ) HDFS なぜそれが重要なのか ローカルやディレクトリベースの各種ユーザーによるマルチプロトコルの同時読み取り / 書き込みアクセスにより ビッグデータワークフローの同時処理が可能になる IDC の推論 EMC Isilon スケールアウトデータレイクを使用すると ビジネスのワークフローを簡単に構築できるようになります その理由は次のとおりです ( 特定のアプリケーションレベルの変更を必要とする Hadoop メカニズムではなく ) 現在既知のファイルプロトコルメカニズムを使用できる パフォーマンス最適化機能により 一元的なストレージリポジトリを使用した エンタープライズ規模のデータストレージ / 分析に理想のプラットフォームとなる ネイティブプロトコルを使用することで インプレース分析が可能になり ( 移行が不要 ) データワークフローが迅速化され インサイトを得るまでの時間が短縮される ページ

5 検証 : データレイクの HDFS パフォーマンス 機能と検証の概略 EMC Isilon スケールアウトデータレイクは Hadoop クラスターがローカル ( 内部 ) ストレージを介して HDFS にアクセスするのではなく OneFS を介して HDFS にアクセスするため 優れた読み取り / 書き込みパフォーマンスを提供します TeraGen TeraSort TeraValidate Hadoop データレイククラスター Hadoop DAS クラスター 合計 ( 秒 ) MB/ 秒合計 ( 秒 ) MB/ 秒合計 ( 秒 ) MB/ 秒 , , , IDC は Hadoop ディストリビューションで提供される一般的な Hadoop ベンチマークジョブを使用した DAS/EDLP のパフォーマンスプロファイルを検証しました 検証プロセスこの検証のため 次の 3 種類のベンチマーキングテストを行いました : TeraGen TeraSort TeraValidate TeraGen は シーケンシャルライトパフォーマンスを測定します TeraSort は読み取り / 書き込み混合のテストに優れたベンチマークを提供します TeraValidate は読み取りパフォーマンスのベンチマークを提供します 各スクリプトの結果は 前掲の表のとおりです Hadoop データレイククラスターは HDFS を使用して API 経由で EMC Isilon スケールアウトデータレイクにアクセスし Hadoop DAS クラスターは HDFS にローカルにアクセスしました 両方の Hadoop クラスターの Tera ジョブに渡されるパラメーターとして それぞれ同じ値が使用されました この構成で EMC Isilon スケールアウトデータレイクは書き込みが約 3 倍 読み取り / 書き込みおよび読み取りは 1.5 倍以上高速です 同様に ネットワークアクセスでありながら 10GbE リンクは読み取りと書き込みにおいて帯域幅 (MB/ 秒 ) の大幅な改善が見られます 注 : EMC Isilon スケールアウトデータレイクは SSD ベースのキャッシュによる構成で Hadoop DAS クラスターは 10k RPM SAS ドライブによる構成です IDC は内部 SSD を使用することで Hadoop DAS クラスターのパフォーマンスが著しく向上する可能性があると考えます ページ 5

6 検証 : マルチプロトコルのデータ取得時の NFS パフォーマンス 機能と検証の概略 OneFS の SmartFlash L3 キャッシュ機能は EMC Isilon スケールアウトデータレイクにおけるマルチプロトコルのデータ取得プロセスでプロトコルのパフォーマンス ( 読み取り / 書き込みパフォーマンス ) を維持するのに役立ちます データの取得時に分析ワークロードを休止することも 取得 / 分析プロセスをシリアライズすることもできないビッグデータ環境において これは重要な機能です また 絶えず更新されているファイルに分析ワークロードが実行される環境では 読み取り / 書き込みパフォーマンスが重要です Hadoop NFS の読み取り / 書き込みパフォーマンス Hadoop データレイククラスター Hadoop DAS クラスター NFS 書き込み合計 ( 秒 ) MB/ 秒 NFS 読み込み合計 ( 秒 ) MB/ 秒 IDC は ネイティブ NFS デーモンや L3 キャッシュなど OneFS プラットフォームの最適化により EDLP の NFS パフォーマンスが Hadoop DAS クラスターよりも大幅に高速になることを検証しました 検証プロセスこの検証のため UNIX の dd コマンドを使用してブロックのセットをファイルに書き込み 続いてこれらのブロックを読み取りました ( このテストでは UNIX の dd コマンドを使用して 10 GB 相当のゼロを含むファイルの書き込み / 読み取りをシーケンシャルに行いました ) これらのテストを EMC Isilon スケールアウトデータレイクと Hadoop DAS クラスターから NFS マウントされたファイルシステムに対して実行しました テストの結果は 上にまとめたとおりです EMC Isilon スケールアウトデータレイクでは書き込みパフォーマンスが.2 倍 読み取りパフォーマンスが 37 倍高速です 注 : Hadoop DAS クラスターの 1 台のデータノードに NFS ゲートウェイをインストールし マスターノードにマウントしました Hadoop のネイティブの NFS 機能は システムの NFS デーモンではなく Java ベースのユーザープロセスにより提供されます Isilon の NFS 読み取りパフォーマンスは読み取りヒット ( フラッシュベースの L3 キャッシュ ) のため大きく向上するのに対し Java の NFS 実装ではキャッシュ機能が制限されます ページ 6

7 主なテスト結果 : マルチプロトコルのワークロードパフォーマンス エンタープライズデータレイクプラットフォームでは標準の DAS 構成よりも Hadoop ワークロードパフォーマンスが大幅に向上 機能 共有データレイクプラットフォームの HDFS 読み取り / 書き込みパフォーマンス マルチプロトコルのデータ取得時の NFS パフォーマンス なぜそれが重要なのか 共有データレイクに接続された Hadoop クラスターの優れたパフォーマンスは Map/Reduce オペレーションを著しく向上させ ビッグデータのワークフローの効率化につながる エンタープライズ環境のタスクを迅速化でき 後続のオペレーションまでのレーテンシーを最小に抑えることができる SmartFlash L3 キャッシュによりマルチプロトコルのデータ取得時の読み取り / 書き込み性能が増すことで パフォーマンスが向上 IDC の推論 EMC Isilon スケールアウトデータレイクのキャッシュと SSD ベースの階層化機能は プロファイルが混在する共有 Hadoop 環境に最適なパフォーマンスのプラットフォームとなります また 最適な容量のストレージがもたらす経済性により 後処理したデータを別階層にアーカイブする必要がなくなります Hadoop のコンカレントデータストリームを処理できる EMC Isilon スケールアウトデータレイクは 仮想化 Hadoop ワークロードに適しています ページ 7

8 検証 : Isilon OneFS の高可用性 ( ディスクレベル障害からのリカバリ ) 機能と検証の概略 EMC Isilon スケールアウトデータレイクは クラスターからのデータの供給を妨げることなく 1 つ以上の同時コンポーネント障害に耐えるように設計されています 分散 RAID ( リードソロモンエンコーディング 必要に応じてミラーリング ) 機能があります ディスク障害などのコンポーネント障害が発生すると OneFS はボリューム全体でなく 障害の影響を受けるファイルデータのみを復元します さらに メタデータと inode も クラスターのすべてのノードに分散されながら ノードレベルのミラーリングによって保護されるため ディスクレベルの障害によってパフォーマンスが低下することはほとんどありません IDC は シングルノードのディスク障害がクラスターに目立つ影響を与えないことを検証しました さらに ドライブの交換操作がシームレスに行え 管理オーバーヘッドがほとんどなく エンタープライズディスクストレージシステムと違いはありません これは ディスクの交換プロセスに手間と時間がかかる DAS と対照的です 次ページに続く ページ 8

9 検証 : Isilon OneFS の高可用性 ( ディスクレベル障害からのリカバリ ) 前のページからの続き 検証プロセスこの検証のため EMC Isilon スケールアウトデータレイクで smartfail ユーティリティを使用してディスク障害をシミュレートしました smartfail プロセスは 障害 ドライブのすべてのデータがクラスターの別のドライブに安全に移行されるまで実行されます smartfail の実行が完了すると ドライブのステータスが REPLACE に変わり ドライブを安全に取り外すことができます これは ドライブの故障 またはドライブを物理的に置き換える状況と似ていますが これらの場合 システムは自動的にチェックを行い クラスターの同じノードにある別のスペアディスクにブロックをレプリケートしてバランスをとります 同様に Hadoop DAS クラスターのディスク障害も標準の UNIX コマンドを使用してシミュレートしました ( いずれかのワーカーノードでこのドライブのファイルシステム構成を強制的にアンマウントする操作を含みます ) Isilon OneFS では データ冗長性をファイル / ファイルタイプレベル ディレクトリレベル またはディスクプールレベルで設定できます ( デフォルトは +2.1 で 2 つのドライブまたは 1 台のノードの障害が許容されます ) 管理者によりクラスターの保護レベル ( データの損失に至るまでに許容されるディスク / ノードの同時障害発生数 ) が指定されます OneFS はこの設定に対し 適宜データをストライピングして対応します ハードウェア障害が発生するか 管理者が保護レベルを変更したときは FlexProtect ジョブが必要に応じてストライプを再構築します (FlexProtect ジョブの優先度も必要に応じて変更できます ) 低い保護レベルを選択すると使用できる容量が増えますが 同時にデータ損失のリスクも増します ページ 9

10 検証 : Isilon OneFS レイクの高可用性 ( ノードレベル障害からのリカバリ ) 機能と検証の概略 Isilon OneFS のデータ保護は ノード内のコンポーネント障害 ( ディスク障害など ) だけでなく ノードレベルの障害にも対応しています デフォルトで OneFS はパフォーマンスを損なうことなく 単一のノード障害から回復できます また パラメーターの構成により ノード障害に対するデータレイクの耐障害性を高めることができます IDC は シングルノードの障害がクラスターに目立つ影響を与えないことを検証しました また クラスターからのノードの削除と再び追加する操作がシームレスに行えます この場合も Hadoop DAS クラスターのノードの削除と追加プロセスの方が データレイクよりもはるかに煩雑な作業となりました 次ページに続く ページ 10

11 検証 : Isilon OneFS レイクの高可用性 ( ノードレベル障害からのリカバリ ) 前のページからの続き 検証プロセスこの検証のため EMC Isilon スケールアウトデータレイクの正常なノードのうち 1 台の電源をオフにして ノード障害をシミュレートしました ノードをシャットダウンすると そのノードで構成された IP アドレスが別のノードにフェイルオーバーされることが確認されました さらに デフォルトではノードのシャットダウン時に OneFS はオフラインノードが一時的にメンテナンス状態にあるものとして クラスターのレプリケーション / バランシングプロセスを開始しないことが確認されました しかし クラスターの再構築プロセス ( クラスターのレプリケーション / バランシングプロセス ) は ノードの smartfail を開始することでシミュレートしました 同様に Hadoop DAS クラスターで 1 台のノードの電源をオフにして障害をシミュレートしました EMC Isilon スケールアウトデータレイクと比べ Hadoop クラスターは多くの時間を要しました ( データノードが dead と判断されるまでに 10 分間 ) この間 クラスターがジョブを送り続けた障害ノードはエラーを返しました ノードが dead とマークされると Hadoop クラスターは自動でクラスターの再構築 / 再バランシングプロセスを開始しました どちらのシミュレーションでも ノードの障害発生中と発生後に Hadoop データレイクと Hadoop DAS クラスターで Terasort ジョブを実行しました (Teragen を先に使用して ソート用にデータセットを配置しました ) 確認された結果は 次の表のとおりです Terasort (MB/ 秒 ) ベースラインに対する割合 ベースライン (Isilon ノード ) % 1 ノードの smartfail 実行中 29 67% 1 ノードの smartfail 後 % ベースライン (DAS 6 ノード ) % 1 ノード障害からの再バランシング中 % 1 ノード障害からの再バランシング後 % ページ 11

12 主なテスト結果 : 高可用性 ポリシーベースの高可用性はデータレイクのエンタープライズ導入に必須の機能 機能主な利点なぜそれが重要なのか ディスク障害からのリカバリ ノードレベル障害からのリカバリ ノード内のコンポーネント障害発生時に通常の運用を妨げない シングルノードの障害発生時に通常の運用を妨げない 再構築プロセスにおけるパフォーマンスの低下は限定的 EMC Isilon スケールアウトデータレイクの運用における復元性の向上 組み込み型の保護機能により データの整合性 取得 アクセスを維持しながら秒単位のリカバリが可能 IDC の推論 EMC Isilon スケールアウトデータレイクは ほとんどのエンタープライズストレージプラットフォームに即した堅牢なデータ可用性と保護を提供します さらに 特に再構築プロセスの前後で コンポーネントとノードレベルの障害によるパフォーマンスの目立った低下がありません これらの障害からのリカバリプロセスもシームレスに リソースを大きく消費することなく行えます これは コモディティコンポーネントで構成された標準の Hadoop クラスターに見られる制約とオーバーヘッドとは明らかに対照的です 注 :IDC は EMC Isilon スケールアウトデータレイクのサイトレベルの保護と復元性の機能は検証していませんが これらの機能がデータレイクに不可欠であることを認めています ページ 12

13 検証 : アクセスゾーンとアクセス制御リスト 機能と検証の概略アクセスゾーンは クラスターアクセスを論理的に区分化してリソースを自己完結型ユニットに割り当てるための方法です これは Isilon OneFS のマルチテナント機能の重要な要素で OneFS クラスターを複数の認証 / アクセスゾーンに分ける論理的な分離とメカニズムを提供します IDC は 異なる ( ローカル ) 認証ドメインとデータセットを含む 2 つの別々の Hadoop クラスターがアクセスゾーンにより完全に分離されることを検証しました また アクセスゾーン間のデータ共有も検証しました 検証プロセスこの検証のため Isilon クラスターに ( システムゾーンに加えて ) 2 つのアクセスゾーンを追加して構成しました 各アクセスゾーンは HDFS を介してアクセス可能な 2 つの別々の (UID/GID が競合しない ) ユーザーリストとデータセットで構成されました それぞれのゾーンにアクセスするため 2 つの独立した Hadoop クラスターが構成されました また 一方のアクセスゾーンからもう一方へのソフトリンク (UNIX シンボリックリンク ) を作成して アクセスゾーン間のデータ共有も検証しました 注 : 検証はローカル認証を使用して行われましたが アクセスゾーンは NIS LDAP Active Directory などの他のメカニズムでも機能します アクセスゾーンはユーザーレベルでの分離を提供するため 分離が必要な各クラスターのユーザーごとに一意の UID/GID が必要です システムゾーンもユーザーの分離に使用できます ただし 一貫性と対称性のため それぞれの分離ドメインに別個のアクセスゾーンを作成しました 2 つのアクセスゾーンの間でデータを共有するための唯一の正式なメカニズムがシンボリックリンクであり これにより 開始側のアクセスゾーンから別のアクセスゾーンの共有ターゲットディレクトリへの参照パスが提供されます 異なるアクセスゾーンのユーザーに適切な読み取り 書き込み 実行権限を許可するためにファイル権限は重要です ページ 13

14 主なテスト結果 : 安全なマルチテナンシー EMC Isilon スケールアウトデータレイクは複数のビッグデータワークロード (Hadoop) に安全なマルチテナント環境を提供 共有ストレージモデルは詳細な制御と共有機能を実現 機能特定の機能なぜそれが重要なのか アクセスゾーンとアクセス制御リスト 独立した Hadoop クラスターから同じ Isilon クラスターの異なるリソース ( 区分化されたユーザーとデータセット ) にアクセスが可能 参照リンクとファイル / ディレクトリ権限に基づき 2 つ以上のアクセスゾーン間で選択的にデータを共有 共有 / 統合データレイクのデータを論理的に分離 2 つ以上のクラスター間で 1 つのデータセットを共有 IDC の推論 EMC Isilon スケールアウトデータレイクはビッグデータのワークロード向けに高度で統合されたスケーラブルなストレージを提供します また 複数のビッグデータワークロード (Hadoop クラスター ) で同一のデータセットを操作しながら 論理的に分離されたデータセットとユーザーの間でアクセスを制限するための分離機能を提供することで 多数のデータコピーを最適に扱う効率的なメカニズムを実現します ページ 1

15 検証 : ユーザーレベルの認証と許可 機能と検証の概略 EMC Isilon スケールアウトデータレイクは 複数のローカルおよびディレクトリベースの認証および許可スキームを提供します 安全なマルチテナントのコアコンポーネントには ローカルおよびディレクトリベースのユーザー / グループに安全な認証および許可メカニズムを提供する機能があります IDC は EMC Isilon スケールアウトデータレイクが提供する統合されたユーザーレベルの認証と許可を検証しました ユーザーレベルの権限は NFS SMB HDFS などのプロトコル間で維持されます 注 : 検証プロセス この検証は 前述の安全なマルチテナントの検証の延長として行われました この検証のため それぞれのアクセスゾーンに つの別々のユーザーとグループが作成されました UID と GID は EMC Isilon スケールアウトデータレイクで NFS が正しく機能する組み合わせとしています (SMB と HDFS はユーザー名 / パスワードの組み合わせを使用します ) NFS のユーザーアカウントからファイルを作成し SMB と HDFS を介して同じユーザーアカウントと異なるユーザーアカウントからアクセスしました 各種のプロトコルでこの手順を繰り返し 読み取りおよび書き込みアクセスを行いました 大規模な環境では UID/GID が競合する可能性を避けるために セキュリティと ID 管理を一元化できる LDAP や Active Directory などのディレクトリサービスが推奨されます ローカル SMB ユーザーはファイル権限を変更できますが ディレクトリのユーザー参照ができないため 認証されたユーザーの変更はできません セキュリティ強化のため Kerberos を使用できます Isilon は ローカルアカウントに加え NIS Active Directory LDAP などの認証プロバイダーをサポートします ページ 15

16 検証 : Smart Lock (Sec 17a/ 準拠 ) 機能と検証の概略 SmartLock は OneFS プラットフォームの重要なセキュリティ機能です 特に 安全でコンプライアンス (SEC 17a/) に準拠したエンタープライズデータレイクプラットフォームを導入するために使用されます SmartLock には エンタープライズ (Secure) とコンプライアンス (Locked) のセキュリティレベルがあります 次の 2 つの動作コンポーネントがあります クラスター全体の管理アクセスを制限する機能 ファイルやディレクトリの WORM (Write Once, Read Many) 属性を制御する機能 SmartLock のコンプライアンスモードはクラスター全体の設定で これを有効にすると root ユーザーアカウントがロックされます ( 初期構成時に設定が可能 ) すべてのタスクは compadmin (compliance administrator の短縮形 ) と呼ばれる特別なユーザーアカウントのみが実行でき 監査用にコマンドが記録されます このユーザーは コンプライアンスに準拠したプリビレッジドユーザーとして 事前設定されたコマンドのみを実行できます WORM 機能に関しては リソースレベルで 2 つのモードの設定が可能です エンタープライズモード の WORM フラグは ディレクトリごとの WORM 属性を設定しますが compadmin ユーザーは保存期間が終わる前にファイルを削除することができます コンプライアンスモード の WORM フラグを設定した場合 保存期間の終了前にファイルやディレクトリの削除はできません WORM モードは 異なるプロトコルにも適用され バイパスすることはできません ファイルの登録は 任意のプロトコルを使用して行うか OneFS クラスターノードでローカルに行うことができます IDC は OneFS プラットフォームのエンタープライズモードとコンプライアンスモードを検証しました また クラスター全体にコンプライアンスモードを設定したときの compadmin ユーザーの制限を検証しました さらに Hadoop ワークロードに対するエンタープライズとコンプライアンスの WORM モードも検証しました 次ページに続く ページ 16

17 検証 : Smart Lock (Sec 17a/ 準拠 ) 前のページからの続き 検証プロセス この検証では OneFS クラスターの仮想インスタンスが使用されました ( 注を参照 ) 初期化プロセスでコンプライアンスオプションを選択し 許可されたすべてのタスクを実行するため compadmin の使用を強制しました (sudoers ファイルを使用 ) 2 番目のステップはコンプライアンスの日付設定です これはクラスターノードでハードウェアベースのコンプライアンスクロックを有効にする 1 度限りの操作です その後で 読み取り専用の権限を検証するためのユーザーアカウントを作成しました 次のステップで ディレクトリを作成して WORM 属性を設定しました ( worm domain オプションを使用 compliance フラグを有効化 default-retention フラグを 1 日に設定 ) SmartLock のコンプライアンステストでは すべてのユーザーの書き込み権限を削除してファイルがロックされたことを検証しました ただし UNIX の アクセス時間 の設定 ( 書き込み権限を削除する前のアクセス時間 ) により 明示的に書き込みロックの有効期限 ( ここではデフォルトで 1 日 ) を設定できます この間 NFS または HDFS からの読み取りが可能になります ( 書き込みは不可 ) 注 : SmartLock フラグはディレクトリレベルで設定が可能です 各ディレクトリは独自の SmartLock 権限のセットを持ちます ファイルの保存には 3 つの設定方法があります 特定の期間アクセスがない場合にファイルをロックできます 変更権限を持つ任意のユーザーは すべての書き込み権限を削除できます 最後に ファイルにアクセス時間 (UNIX の atime) を設定して 手動で WORM フラグをトリガーできます デフォルトの保存期間 : 管理者は ファイルがロックされる期間を指定できます 保存期間の終了後は ファイルは削除のみ可能で 権限の変更はできません 有効にした SmartLock を無効にするには クラスターの再フォーマットが必要です ページ 17

18 主なテスト結果 : セキュリティとコンプライアンス どのプロトコルでもデータの機密性と整合性を維持する能力とともに 統合セキュリティはエンタープライズデータレイクプラットフォームに不可欠の属性 機能特定の機能なぜそれが重要なのか ID ベースの権限 SmartLock (Sec 17/a 準拠 ) 複数のプロトコル (SMB HDFS NFS) で 1 ユーザー 1 ID によるアクセス統合 論理的な分離 権限ベースの分離 コンプライアンス準拠の環境で管理者 / プリビレッジドユーザーを制限 ファイル / ディレクトリに WORM 属性を設定することで Hadoop ユーザーによる削除と更新を禁止 HDFS NFS SMB で動作するマルチプロトコル ACL コンプライアンス準拠の環境でファイルレベルのセキュリティとデータの整合性を維持 コンプライアンス準拠の環境でプリビレッジドユーザーが実行できるコマンドの数を制限 コンプライアンス準拠の環境で WORM ファイルレベルセキュリティとデータの整合性を維持 IDC の推論 EMC Isilon スケールアウトデータレイクは データレイク全体に統合されたセキュリティファブリックを提供します これによってビッグデータ環境にエンタープライズクラスの GRC ( ガバナンス 規制 コンプライアンス ) 機能が提供されます ページ 18

19 検証 : ストレージプール 機能と検証の概略 Isilon OneFS では クラスター内のデータを管理することができ その管理をクラウドに拡張することが可能です (OneFS 8.0 を使用 ) この機能はストレージプールとして知られ 管理者は ローカルのクラスター全体で共通のファイルポリシーを適用し そのポリシーをクラウドに拡張することができます Storage Pool は 3 つのコンポーネントで構成されています 1. SmartPools クラスター内のデータ階層化 2. CloudPools クラスターとクラウド間のデータ階層化 3. File Pool Policies ローカルおよび外部におけるデータ管理のためのポリシーエンジン SmartPools と CloudPools は 2 つの階層化エンジンです 一方 ファイルプールポリシーは 階層間でデータを管理するポリシーエンジンです 注 : クラウドプールには追加のハードウェアは不要です ライセンス対象機能です CloudPools と SmartPools は 同じポリシーエンジンを使用しています クラウドに置かれたファイルは ローカルでスタブ化され ユーザーにはオンラインファイルのように見えます SmartPools は CloudPools の必須ライセンスです ページ 19

20 評価 ストレージプールステップ 1/2 SmartPools と CloudPools (Isilon クラスターおよびクラウド内におけるポリシーベースのデータ配置 ) 注 : 機能と検証の概略 SmartPools は パフォーマンスが最適化された クラスターノードと 容量が最適化された クラスターノードの間でのファイルの移動を可能にすることによって クラスター内におけるデータ管理を合理化します これによりファイルの移動がポリシーに基づいて自動的に実行されるので 管理オーバーヘッドが大幅に合理化されます CloudPools では Isilon クラスターを パブリッククラウド プライベートクラウド ( オブジェクト API による ) またはリモート Isilon クラスターに階層化することができます CloudPools は EMC ECS Amazon S3 Microsoft Azure リモート Isilon クラスター ( リモートアクセスノード ) をサポートしています IDC は OneFS における SmartPools の実装を検証しました また CloudPools の作成プロセスも検証しました 同プロセスのステップは (1) クラウドユーザーアカウントの作成と (2) 論理コンテナーの選択 ( クラウドプール の作成 ) の 2 つです CloudPools と SmartPools は 同じポリシーエンジンを使用しています クラウドに置かれたファイルは ローカルでスタブ化され ユーザーにはオンラインファイルのように見えます パブリッククラウドの場合 お客様が Amazon や Microsoft などのパブリッククラウド IaaS プロバイダーと何らかの関係を持っていることが必要です ファイルがクラスター内のどこに置かれても ユーザーにはローカルファイルやオンラインファイルに見えます それらのファイルはすべて 同じグローバルネームスペースに属しているからです ページ 20

21 評価 ストレージプールステップ 2/2 ファイルプールポリシー 検証プロセス SmartPools では 管理者が データの移動に関する共通のファイルポリシー ( ファイルプールポリシー ) を クラスター内 (SmartPools を使用 ) およびクラスターとクラウドの間 (CloudPools を使用 ) に適用できます クラスター内 (SmartPools を使用 ) およびクラスターとクラウドの間 (CloudPools を使用 ) におけるデータの移動に関するファイルプールポリシー IDC は ファイルプールポリシーの作成を検証しました ファイルプールポリシーとは 各種クラスター構成 クラスター クラウドの間におけるデータの階層化を可能にするポリシーエンジンです 注 : ファイルプールポリシーは SmartPool ポリシーであるか CloudPool ポリシーであるかを問わず 同じ方法で実行されます ファイルプールポリシーは スケジュールに基づいて適用することも ( ポリシーを実行するか 1 つのファイルをアーカイブすることによって ) コマンドラインから手動で適用することも可能です ファイルがクラウドに階層化されると そのファイルはスタブ化されます 一方 クラスター内で階層化されると ネームスペース内に再配置されます クラウドとの間における階層化を きめ細かく管理することができます ページ 21

22 主なテスト結果 : データ管理の合理化 クラスター内や クラウドとの間のデータ管理の合理化は エンタープライズデータレイクプラットフォームの重要な機能特性です 機能特定の機能なぜそれが重要なのか SmartPools CloudPools ファイルプールポリシー クラスター内におけるデータ管理の階層化 クラスターとクラウド間におけるデータ管理の階層化 ローカル ( クラスター内 ) およびクラスターとクラウドとの間におけるデータ管理のためのポリシーエンジン パフォーマンスが最適化されたクラスターノードと容量が最適化されたクラスターノードの間における階層化にとって必須 ハイブリッドクラウドの実装と 低コストな ( クラウド ) 階層へのアーカイブデータの配置にとって必須 クラスターおよびクラウド内でのデータ移動の自動化にとって必須 IDC の推論 EMC Isilon スケールアウトデータレイクは データレイク全体に統合されたデータ階層化スキームを提供します IT 管理者は この機能を使用して適切な階層へのデータ配置を自動化することによって インフラストラクチャを適切なサイズにすることができます ページ 22

23 検証テスト環境 IDC はノースカロライナ州にある EMC のラボで検証を実施しました ストレージテスト環境は Isilon クラスターと Hadoop クラスターで構成されました 次の表はテスト環境の概略を示しています 機能コンポーネント構成検証の詳細 ( ある場合 ) EDLP ( エンタープライズデータレイクプラットフォーム ) Hadoop データレイクのコンピューティング専用クラスター Hadoop DAS クラスター SMB アクセス スクリプトサーバー ノードの Isilon X10 クラスター 7 ノードの Hadoop クラスター 7 ノードの Hadoop クラスター Windows 2008 R2 Server Linux 各 U X10 ノードの構成 : デュアル Intel Xeon CPU 6GB RAM 未フォーマット時 57.7 TB ( 総クラスターサイズ 231TB) 3.2TB SSD 2x1GbE 2x 10GbE SFP 1 台のマスターノードと 6 台のワーカーノード ( 各ワーカーノードの構成 : 16 Xeon 2.8GHz CPU (32 論理 CPU) 6GB RAM 8 台の 10K RPM 300GB HDD) Cloudera Hadoop ディストリビューション (CDH5) 1 台のマスターノードと 6 台のワーカーノード ( 各ワーカーノードの構成 : 16 Xeon 2.8GHz CPU (32 論理 CPU) 6GB RAM 8 台の 10K RPM 300GB HDD) Cloudera Hadoop ディストリビューション (CDH5) テスト用に 2 つのオンボード 10GbE NIC を使用 2 つのアクセスゾーンを 2 つのサブネットプールにマップして IP ベースの分離を提供 Name node を構成して NFS データストアにアクセス ベンチマークテスト用に YARN を使用 Name node を構成して NFS データストアにアクセス ベンチマークテスト用に YARN を使用 Hadoop でアクセスゾーンに使用するものと同じユーザー名で構成 両テスト共通 Hadoop でアクセスゾーンに使用するものと同じユーザー名で構成 両テスト共通 注 : すべての Hadoop コンピューティングノードは vsphere クラスター上で仮想化されました 物理サーバー (vsphere ホスト ) ごとに 1 台の仮想マシンを使用し 仮想化の副次的影響を最小限に抑えました すべての Hadoop ノードは 物理サーバー (vsphere ホスト ) の内蔵ディスクリソースにアクセス可能か または 10GbE ネットワーク接続を介してデータレイクにアクセス可能でした VMware Big Data Extensions を Hadoop ノードに使用しました (VMware Big Data Extensions は 自動化されたビッグデータプロビジョニング / 管理ソリューションです ) これにより 管理者は Hadoop および HBase クラスターを導入して一元的な管理が可能です マスターノードの役割 : HDFS バランサー HDFS セカンダリネームノード Hive Gateway Hive MetaStore Server YARN Resource Manager Zookeeper サーバー HiveServer2 Isilon クラスターは独自の DNS ゾーンで構成されます (Windows サーバーで実行されるマスターから委任 ) ページ 23

24 主な見解 : 購入者に対するアドバイス データレイクは エンタープライズ環境のあらゆるビッグデータワークフローで利用することが望まれます 複数のワークロードのストレージを 1 つの共有ストレージプラットフォームに統合することで 購入者はコストと環境の複雑さを軽減して ビッグデータを効率のよい 俊敏で 拡張性の高いものへと変えることができます さらに データレイクは Hadoop ワークロードのパフォーマンス要件に応えるだけでなく これを信頼できるエンタープライズクラスストアとして利用する他のワークロードのニーズにも応えます IDC は EDLP をエンタープライズストレージインフラストラクチャ戦略の中核に置くべきであると考えています ビジネスでさまざまなソースのデータを整理し これをさまざまな組織単位で利用できる情報の集まりに変換していく中で 多様なワークロードを同時に処理できる企業規模のデータレイクを確立することが求められるのは間違いありません このようなデータレイクは 既存のワークロードを可能にするとともに 新しいアプリケーションとワークロードをシームレスにサポートするための将来の保証となるでしょう 結論として EMC Isilon は ほとんどのビッグデータ Hadoop ワークロード向けにエンタープライズクラスのビッグデータを構築するための基盤となる マルチプロトコルアクセス 可用性 セキュリティといった必須の属性を備えています IDC の検証方法 このラボ検証レポートは IDC がサプライヤーチームと協力して行った広範な検証プロセスをまとめたものです IDC は サプライヤーの機器 施設 構成を利用して 検証を行いました すべてのテストは 1 名以上の IDC アナリストを伴い実施されました 本レポートは IT プロフェッショナルやビジネスの意思決定者がレポートで検証された製品やサービスの機能について詳細に調査する際に 推論やインサイトを簡単に活用できるように構成されています しかし このレポートは実践的なテストプランや検証作業を詳しく伝えることを目的としたものではありません 多くの企業が製品やサービスの購入を決める前に行う評価プロセスに代わるものではありません このため このレポートは製品のすべての機能に関する包括的な文書ではなく 製品の特長や機能 従来の環境と比べた場合のパフォーマンス Hadoop ワークロードの問題を解決しようとする企業にこれらの機能がもたらす価値といったことを強調する簡潔な文書となるよう意図されています 最後に 本レポートはスポンサー付きのドキュメントですが IDC がその製品 サービス スポンサーであるサプライヤーを推薦するものではありません IDC の見解は独自のものであり 本書の発行によって影響を受けるものではありません ページ 2