ホワイト ペーパー EMC DATA DOMAIN データ非脆弱性アーキテクチャ : データの整合性と復旧可能性を向上 詳細レビュー 要約 ストレージ システムにおけるデータの整合性の保証は 単純なメカニズムでは実現できません いくつものメカニズムが連携し確実な順序で行うことによりどのようなエラーにおいてもデータの復旧可能性を保証することができます 従来の汎用的なストレージ システムとは異なり EMC Data Domain 重複排除ストレージ システムは 最後の手段としてのストレージという明確な目的を持って設計されています Data Domain システムはリカバリを最優先にしており Data Domain データ非脆弱性アーキテクチャを通してデータの整合性の保護が組み込まれています このホワイト ペーパーでは Data Domain Data Invulnerability Architecture( データ非脆弱性アーキテクチャ ) の 4 つの主要な要素について説明します その 4 つの要素を組み合わせることで 業界最高レベルのデータの整合性と復旧可能性を実現できます エンド ツー エンドの検証故障回避と抑制継続的な故障検出と修正ファイル システムの復旧可能性 2012 年 11 月
Copyright 2013 EMC Corporation. All rights reserved. ( 不許複製 禁無断転載 ) EMC Corporation は この資料に記載される情報が 発行日時点で正確であるとみなしています この情報は予告なく変更されることがあります この資料に記載される情報は 現状のまま の条件で提供されています EMC Corporation は この資料に記載された情報に関していかなる種類の表明または保証をするものではなく 特に市場性の暗黙の保証や特定の目的の適合性を保証していません この資料に記載される いかなる EMC ソフトウェアの使用 複製 頒布も 当該ソフトウェア ライセンスが必要です 最新の EMC 製品名については EMC の Web サイトで EMC Corporation の商標を参照してください パーツ番号 h7219-3.1-j 2
目次エグゼクティブ サマリー... 4 ストレージ システムのデータ整合性... 4 はじめに... 4 対象者... 4 Data Domain データ非脆弱性アーキテクチャ... 5 エンド ツー エンドの検証... 5 障害回避と抑制... 6 新規データは正しく保存されているデータを上書きしません... 7 簡素化されたデータ構造... 7 高速で安全な再起動のための NVRAM... 7 部分書き込みを行わない... 8 継続的な故障検出と修正... 8 RAID 6:2 重のディスク障害への対応とリード エラー復旧... 9 オンザフライのエラーの検出と修正... 9 スクラブによる既存データの保証... 10 ファイル システムの復旧可能性... 10 メタデータ復旧可能性を保証するデータ フォーマット... 10 高速な FSCK... 11 評価結果... 11 3
エグゼクティブ サマリー ストレージ システムのデータ整合性 ストレージの機能に特化したシステムは より高い付加価値を提供してはいますが 障害が発生しうる汎用的なハードウェアとソフトウェアで構成されています それらの障害の中にはディスク ドライブ障害のように即座に検知できるタイプのものもあります しかし その他の多くは潜在的にシステムに内在するものやソフトウェアのバグのように定常時は見つからないものが多く 知らぬ間にファイル システム障害を起こし 読み取りの時に初めて気づくというケースが尐なくありません 高機能ストレージ システムでは これらの障害に直面した場合でもデータの整合性を保証するためにさまざまなデータ整合性チェックや性能 可用性の向上策を盛り込んでいますが データの完全復元性までを提供するには至っていません その結果 バックアップがとられることを想定し データの復旧可能性よりも性能を重視した設計となっています たとえば データが正しく書き込めたかどうかを検証するために 書き込み直後に再読み取りするようなプライマリ ストレージ ファイル システムは広く使われてはおらず もし実際にそのように実装した場合にはパフォーマンス面で妥協しなくてはなりません また この最初の書き込みが確実になされていなければ データの完全な復元性を保証することはできません 専用のバックアップ アプライアンスでは データの非脆弱性は性能や可用性よりも優先度が高い必要があります データの整合性にフォーカスしなければ バックアップ データとアーカイブ データにリスクが伴います つまりそれは データのプライマリ コピーが失われた時にそのリカバリにおいてリスクが伴うことを意味します 専用のバックアップ アプライアンスの多くは 安価なディスクを搭載した単純なプライマリ ストレージ システムです それらは これまでのプライマリ ストレージでの設計思想を引き継いでいます しかしながら 専用のバックアップ アプライアンスと命名するからにはデータの非脆弱性に注力した設計でなければなりません はじめに このホワイト ペーパーでは EMC Data Domain Data Invulnerability Architecture( データ非脆弱性アーキテクチャ ) の 4 つの主要な要素について説明します その 4 つの要素を組み合わせることで 業界最高レベルのデータの整合性と復旧可能性を実現できます 対象者 このホワイト ペーパーは Data Domain Data Invulnerability Architecture の詳細に興味を持つ EMC のお客様 テクニカル コンサルタント パートナー様 EMC とパートナーのプロフェッショナル サービス コミュニティのメンバーを対象としています 4
Data Domain データ非脆弱性アーキテクチャ Data Domain 重複排除ストレージ システムは 設計思想が従来のストレージ システムとは根本的に異なり 新しい前提を導入しています 最も重要な目標が データの整合性と復旧可能性であったらどうなるか テープレスの IT 部門を想像した場合 極めて復旧可能性が高く 保護されたディスク ストレージを思い浮かべるのではないか という考え方です Data Domain は 万が一の事態における 最後の砦としてのストレージ を提供するために根本から設計を見直し Data Domain 製品専用 OS を開発しました Data Domain Operating System(DDOS) はデータの非脆弱性を目的として設計されています 以下の 4 つの主要領域に注力しています エンド ツー エンドの検証 障害回避と抑制 継続的な障害検出と修復 ファイル システムの復旧可能性 このような設計思想において開発された DDOS ですが DDOS はデータを受け取った後でしかその完全性を保証できない という重要な点は見落とさないでください DDOS はシステム単位でのエンド ツー エンド テストを行っていますが システムまでのネットワーク上のやり取りでデータ保護のための処置が完全に行われているかについては関知していません また ネットワークのエラーによるデータ破損や プライマリ ストレージ上でデータ破損が発生した場合 DDOS によっても修復は不可能です アプリケーション レベルのデータ復旧テストは慎重に また定期的に実行することを強く推奨します エンド ツー エンドの検証 ストレージ システムはすべてのコンポーネントでエラーが発生する可能性があるため データの整合性を保証するエンド ツー エンド テストは最もシンプルな方法となります エンド ツー エンドの検証とは データ書き込み後に読み取りを行い ディスクに送られたデータと比較することでデータに破損がないことを確かめると同時に ファイル システムから確実に読み取れることも検証します DD OS はバックアップまた 図 1: エンド ツー エンドの検証はすべてのファイル システム データとメタデータを検証します 5
はアーカイブ ソフトウェアから書き込み要求を受け取ると データのチェックサムを作成します その後 システムは一意のデータをディスクに格納して 再度読み取ってデータを検証し I/O エラーを即時に修正します データは ディスクに書き込んだ後 しかしメモリ /NVRAM からリリースされる前に検証されるため I/O エラーの修正のためにバックアップのジョブをやり直す必要はありません エンド ツー エンドの検証により データが正しく システムのあらゆるレベルからリカバリできることが確認されます プロセスの途中で問題が発生した場合 たとえば ディスク ドライブでビットが反転した場合は 問題が検出されます 次のセクションでも説明しますが エラーは自動修復によっても修正されます 従来のプライマリ ストレージ システムでは このような厳格な検証を行うことはできません しかし 専用のバックアップ アプライアンスはこの検証が必要です Data Domain Global Compression による大幅なデータ削減を実現したことで検証対象となる実データ量をも削減し この様な検証を可能にしました 障害回避と抑制 データ保護における次のステップは 検証された正確なデータがそれ以降も正確であり続けることを確認する点にあります 中でもファイル システムの整合性に置ける最大のリスクは 新しいデータが書き込まれる時のファイル システム上のソフトウェア エラーです 既存のデータに間違って上書きされるとしたらそれは新しいデータであり ファイル シ図 2: 新しく書き込まれるデータは 決して古いステム メタデータへのファイルデータをリスクにさらしません データ コンテナ ログは既存のデータを決して上書きしませんの新規アップデートでも既存の構し 更新も行いません 新しいデータは単に ( 赤造を崩す可能性があります Data で示された ) 新しいコンテナに収容されます 古 Domainファイル システムはいデータ コンテナは適切に保持され ソフトデータ保護を最大の目標として開ウェア的な障害やデータ書き込み中に発生しうるハードウェア的な障害からも守られています 発されており 既存のデータをリスクにさらしかねない自身のソフトウェア エラーに対しても保護を行う設計になっています これは バグの入り込む余地を最小限にする簡素化されたデザインと ソフトウェア エラーによる既存のデータへの損傷を最小限に抑える何重もの封じ込め機能の組み合わせによって実現しています Data Domainシステムには特殊なログ階層ファイル システムが実装されており 4つの利点があります 6
新規データは正しく保存されているデータを上書きしません これまでのファイル システムでは古いデータ ブロックを使用するときにしばしばブロックを上書きしますが DDFS は新規ブロック以外には書き込みを行いません このため ソフトウェアのバグによる不正確な上書きを最新のバックアップ データおよびアーカイブ データのみに限定することができます 既存のデータは安全な状態に保たれます 簡素化されたデータ構造 典型的なファイル システムにおいては 高速ブロック アップデートを実現するためにフリー ブロック ビット マップやリファレンス カウントといった多くのデータ構造が用いられます 一方で バックアップ アプリケーションでは ワークロードは新規データのシーケンシャル書き込みであるため それをサポートするデータ構造はとてもシンプルに構成できます ログの先頭を常に監視していれば 新規書き込みで既存のデータに触れる必要はありません このようなシンプルな設計のおかげで ソフトウェア エラーによるデータ障害の可能性が激減しました 高速で安全な再起動のための NVRAM システムには不揮発性の RAM 書き込みバッファがあり ディスクへの書き込みが完了していないすべてのデータが置かれます 高速で安全な再起動を実行するために ファイル システムはこの書き込みバッファのセキュリティを活用しています ファイル システムは多くの内部ロジックとデータ構造のヘルス チェックを使用しています もしこれらのチェックにより問題が確認された場合には ファイル システムは自力で再起動を行います このチェックと再起動により データ障害を起こす種類のバグが早期発見され また修復が行われます この再起動時に Data Domain ファイル システムは NVRAM バッファ内部のデータの整合性を検証してからファイル システムに適用し 再起動によってデータの損失がないことを保証します NVRAM は個別のハードウェア デバイスであるため RAM のデータを損傷しかねないエラーからデータを保護します RAM は不揮発性であるため 電源障害からも保護されます NVRAM は最新のバックアップが完全に行えることを保証するうえで重要ですが ファイル システムは NVRAM 自体に障害が生じても以前のバックアップの整合性を保証します 7
部分書き込みを行わない 従来のプライマリ ストレージ ディスク アレイで使用されている RAID 1 3 4 5 6 では 書き込み時に電源障害などによるディスク障害が起きると既存のデータを失くしてしまうことがあります それはディスクの再構成は RAID のストライプ内部の整合性に依存していることが要因です ブロック単位で書き込みが行われる場合には RAID のストライプが整合性の無い過渡的な状態になることがあり その際にストライプの再構成が失敗した場合には その中にある既存のデータは失われてしまいます エンタープライズ ストレージ システムではこのデータ障害を防ぐために NVRAM を用いたり UPS を導入するなどして対応します しかし 大規模な電源障害が起きた場合は 復旧に失敗しデータを失うことになるでしょう このような事態を避けるために Data Domain システムは ストライプ内部のうち一部分のブロックだけを更新するようなことはしません データの上書きを行わないという特徴に加えて ストライプ自体も常に全体を更新 1 することにより あらゆるデータ障害の可能性を排除しています これは 書き込み後の検証においてストライプ自体の完全性をも検証することを意味します 新しい書き込みにより既存のデータが危険にさらされることはありません Data Domain システムは 標準ストレージ システムのエラーを最小限にするよう設計されています 想定外の障害が発生したときにもその検知と修正までの時間を最短にし 即座に状態を管理者に通達する機能も備えています 継続的な故障検出と修正 突然のハードウェアの故障をソフトウェアで防ぐ手段はありません ストレージ システムにおいてはディスク ドライブの障害が大半です その他にもローカル障害や一時的な障害があります 個別のディスク ブロックが読み取れなくなったり ストレージ相互接続や内部システム バスでのビットの反転による論理的エラーも考えられます これらに対処するために DDOS では障害検出とリカバリを複数処理を同時に行う幾重ものデータ保護を設け データ リストア作業に妨げのないようにしています 1 外部 RAID に依存するゲートウェイ製品は 部分ストライプ書き込みがないことを保証することができません 8
RAID 6:2 重のディスク障害への対応とリード エラー復旧 RAID 6 は Data Domain 製品の継続的な障害検出と修復を行うための中核的な役割を提供します 強力なデュアル パリティ アーキテクチャによりこれまでの RAID1( ミラーリング ) 3 4 5 で行っているシングル パリティでの対応という手法に対して 圧倒的な優位性を持っています RAID 6: ディスクの 2 重障害への対応 再構築のディスク読み取りエラーの排除 運用者のディスク選択ミス による障害からの保護 NVRAM や UPS が無くても電源障害から RAID ストライプの整合性を保護 書き込み後のデータの整合性とストライプの一貫性の検証 各シェルフには Data Domain システム内のどの場所でも障害ドライブを自動的に交換するグローバル スペア ドライブがあります EMC がホット スワップ可能な障害ドライブを交換すると それがグローバル スペアとなります 対照的に これまでの RAID 手法では 2 つのディスク障害が起きるとデータを失ってしまいます 最終手段としてのストレージ システムでは RAID6 が提供する より高いレベルのデータ保護機能を搭載する必要があります オンザフライのエラーの検出と修正 図 3: 継続的な故障検出と修復の機能がストレージ システムの障害を未然に防ぎます システムは定期的に RAID ストライプとデータ コンテナの整合性を検証し RAID の冗長性を活用して障害点を修復します 毎読み取り時に データの整合性が確認され エラーがオンザフライで補正されます DDFS ではディスク上のデータ構造はスクラッピング バッファと呼ばれるデータ ブロックでフォーマットされていますので リストアが正常に行われればすべてのデータは正確に復元されることを保証します その中にはデータ検証のための強力なチェックサムが含まれています ディスクからデータを読み取るたびに ディスクから読み取ったブロックが期待どおりのブロックであることを検証します 次にチェックサムを使用して データの整合性を検証します もし何らかの障害が発見されると RAID 6 は複数レベルの冗長性を使用してデータ エラーを修正します RAID のストライプは部分的にはアップデートされませんので 整合性が保証され その信頼性に基づいてエラーの修正が行われます 9
スクラブによる既存データの保証 オンザフライのエラーの検出が正常に稼働していたとしても 数週間前または数か月前に書き込んだデータが読めないためにリカバリできないという問題には対処できません こういった障害からデータを保護するために Data Domain システムではバックグラウンド処理ですべてのデータの整合性をアクティブに再検証しています このスクラビング プロセスにより 問題に発展する前にディスクの欠陥をインテリジェントに検出し 修復します 以上のようなオンザフライのエラーの検出と修正 データの定期的スクラビングにより ほとんどのコンピューティング システム障害やディスク ドライブ障害を見分けて修復できるため データやシステム運用におけるリスクは大きく軽減されます ファイル システムの復旧可能性 前述したデータ保護の機能があったとしても 一般のストレージ システムが何らかの障害を起こす可能性は完全に否定できません しかしながら 完全復元性を持つアーキテクチャでは ファイル システムのメタデータの破損や損失からの再構築機能やファイル システム チェックのツールなどにより 迅速かつ安全にシステムを復旧させることが可能です メタデータ復旧可能性を保証するデータ フォーマット DDFS におけるファイル システムのメタデータは 高速アクセスを実現するためのインデックス情報などを提供しますが それもまたディスク上のデータ自身から復旧することができます すべてのデータは それを表すメタデータとともに格納されています もしメタデータに破損が発生した場合は 以下の 2 つの方法で復旧が可能です 1 つ目は DDFS は数時間ごとにメタデータのスナップショットを取っていますので そのポイント イン タイム コピーを 図 4: データは自己記述形式で書き込まれます 必要に応じて ログをスキャンし データ領域に埋め込まれたメタデータを再構築することでファイル システムを再生成することができます 元に復旧する方法です 2 つ目は DDFS はディスクのデータをスキャンしメタデータを復旧する方法です これらの機能により ファイル システムのメタデータに障害が発生するという最悪の場合でも システムを復旧することができます 10
高速な FSCK 従来のファイル システムでは オンラインでの整合性のチェックはできません Data Domain システムでは 新しく書き込まれたデータの整合性を確保するため 初期インライン検証による確認を行います 一般のファイル システムでは障害復旧時のファイル復旧時間が非常に長くなるため ファイル システムの整合性チェックが現実的に可能な容量に関して制約があります たとえば 80 TB 以上のデータを持つ従来のファイル システムに FSCK を流すのが現実的でしょうか 新しいデータが既存データの上書きを誤って行わないように空き領域を探し出す非常に長い処理のプロセスが必要になります 加えて フリー ブロック マップや参照カウントの再構築を行うために すべての参照もチェックするという処理も通常は必要になります この処理はシステム内のデータ量が多いほど時間がかかります これとは反対に DDFS では既存データの上書きは行わないのでブロック マップ リファレンス カウントの再構成は必要ありません ログを確認するだけで安全にシステムをオンラインヘ復旧させます 評価結果 ストレージ システムにおけるデータの整合性の保証は 単純なメカニズムでは実現できません いくつものメカニズムが連携し確実な順序で行うことによりどのようなエラーにおいてもデータの復旧可能性を保証することができます これまでのストレージ システムをプライマリ ストレージからデータ保護ヘ単に目的を変えて利用するのとは違い Data Domain システムは最後の砦としてのデータ ストレージ エリアという明確な目的を持って設計されました 完全なデータ非脆弱性アーキテクチャは現状のデータの整合性の問題に対する最善の手法といえます 高度な検証により新しいバックアップとアーカイブ データが正確に保存されます DDFS の上書きしないログ形式のアーキテクチャは フル ストライプ書き込みの維持とともに 新しいデータに起因するソフトウェア エラーが発生した場合でも古いデータが常に安全であることを保証します また シンプルで堅牢な DDFS はソフトウエア障害の可能性を最小限に抑えます 以上のメカニズムにより バックアップとアーカイブ データの格納時に発生する問題からデータは保護されますが ストレージ自体の障害からの復旧可能性も考慮する必要があります これを解決するために データ非脆弱性アーキテクチャには独自開発の RAID 6 が搭載されています これにより ディスクの 2 重障害からの保護 データ読み取りエラー時の障害ディスクの再構築 読み取り時のオンザフライでのデータ修復を実現しました そして バックグラウンドでスクラブ プロセスを実行することにより 問題となる前に潜在的な障害をアクティブに特定して修復できます 11
DDFS ファイルシステムは データ保護の最終手段として絶対に必要となる復旧可能性の機能を備えています 独自のデータ フォーマットによりメタデータ構造におけるデータの破損や損失が起きたとしてもファイル データの再構築が可能です また 高速のファイル システム チェックと修復機能により 数十テラバイトのデータ容量を持つシステムに何らかの問題がありオフラインになったとしても 迅速な復旧を実現しています Data Domain システムは データの整合性を徹底的に追求した唯一のソリューションで 復旧可能性への最高度の信頼をもたらします 12