EMC Data Domain Data Invulnerability Architecture: Enhancing Data Integrity and Recoverability

Transcription

1 EMC Data Domain Data Invulnerability Architecture:データの 整 合 性 と 復 元 性 を 向 上 詳 細 レビュー US ホワイトペーパー 翻 訳 版 要 約 ストレージ システムにおけるデータ 保 護 の 保 証 は 単 純 なメカニズムでは 実 現 できません いくつものメカニズムが 連 携 し 確 実 な 順 序 で 行 うことによりどのような 障 害 においても 復 旧 を 保 証 することができます 従 来 の 汎 用 的 なストレージ システムとは 異 なり EMC Data Domain システムは データ 保 護 という 明 確 な 目 的 を 持 って 設 計 されています このホワイ ト ペーパーでは Data Domain Data Invulnerability Architecture(データ 非 脆 弱 性 アーキテク チャ)の 4 つの 主 要 な 要 素 について 説 明 します その 4 つの 要 素 を 組 み 合 わせることで 業 界 最 高 レベルのデータの 整 合 性 と 復 元 性 を 実 現 できます エンド ツー エンドの 検 証 障 害 回 避 および 障 害 時 におけるデータの 完 全 な 格 納 継 続 的 な 障 害 検 出 と 修 復 ファイル システム 復 旧 2010 年 9 月

2 Copyright 2010 EMC Corporation. 不 許 複 製 EMC Corporation は この 資 料 に 記 載 される 情 報 が 発 行 日 時 点 で 正 確 であるとみなしていま す この 情 報 は 予 告 なく 変 更 されることがあります この 資 料 に 記 載 される 情 報 は 現 状 有 姿 の 条 件 で 提 供 されています EMC Corporation は この 資 料 に 記 載 される 情 報 に 関 する どのような 内 容 についても 表 明 保 証 条 項 を 設 けず 特 に 商 品 性 や 特 定 の 目 的 に 対 する 適 応 性 に 対 する 黙 示 の 保 証 はいたしません この 資 料 に 記 載 される いかなる EMC ソフトウェアの 使 用 複 製 頒 布 も 当 該 ソフト ウェア ライセンスが 必 要 です 最 新 の EMC 製 品 名 については 上 の EMC Corporation Trademarks を 参 照 してください 記 載 されている 他 のすべての 商 標 は 各 社 の 所 有 物 です パーツ 番 号 h j 目 次 エグゼクティブ サマリー... 3 ストレージ システムのデータ 整 合 性... 3 概 要... 3 対 象 読 者... 3 DDOS の 完 全 復 元 性 アーキテクチャ... 3 エンド ツー エンドの 検 証... 4 障 害 回 避 及 び 障 害 時 におけるデータの 完 全 な 格 納... 4 新 規 データは 既 存 データを 上 書 きしない... 5 簡 素 化 されたデータ 構 造... 5 高 速 で 安 全 な 再 起 動 のための NVRAM... 5 部 分 書 き 込 みを 行 わない... 5 継 続 的 な 障 害 検 出 と 修 復... 6 RAID 6:2 重 のディスク 障 害 への 対 応 とリード エラーからの 復 旧... 6 ジョブ 実 行 中 の 障 害 検 知 と 復 旧... 7 スクラブによる 既 存 データの 保 証... 7 ファイル システム 復 旧... 7 メタデータ 復 旧 を 保 証 するデータ フォーマット... 7 高 速 な FSCK... 8 まとめ... 8 詳 細 レビュー 2

3 エグゼクティブ サマリー ストレージ システムのデータ 整 合 性 ストレージの 機 能 に 特 化 したシステムは より 高 い 付 加 価 値 を 提 供 してはいますが 障 害 が 発 生 しうる 汎 用 的 なハードウェアとソフトウェアで 構 成 されています それらの 障 害 の 中 に はハード ディスク 障 害 のように 即 座 に 検 知 できるタイプのものもあります しかし その 他 の 多 くは 潜 在 的 にシステムに 内 在 するものやソフトウェアのバグのように 定 常 時 は 見 つか らないものが 多 く 知 らぬ 間 にファイル システム 障 害 を 起 こし 読 み 込 みの 時 に 始 めて 気 づくというケースが 尐 なくありません 高 機 能 ストレージ システムでは これらの 障 害 に 直 面 した 場 合 でもデータ 一 貫 性 を 保 証 するために 様 々な 整 合 性 チェックや 性 能 可 用 性 の 向 上 策 を 盛 り 込 んでいますが データの 完 全 復 元 性 までを 提 供 するには 至 っていません その 結 果 バックアップがとられることを 想 定 し データの 復 元 性 よりも 性 能 を 重 視 した 設 計 と なっています たとえば データが 正 しく 書 き 込 めたかどうかを 検 証 するために 書 き 込 み 直 後 に 再 読 み 込 みするようなプライマリ ストレージは 広 く 使 われてはおらず もし 実 際 に そのように 実 装 した 場 合 にはパフォーマンス 面 で 妥 協 しなくてはなりません また この 最 初 の 書 き 込 みが 確 実 になされていなければ データの 完 全 な 復 元 性 を 保 証 することはできま せん ディスクバックアップの 世 界 においては データの 完 全 復 元 性 は 性 能 や 可 用 性 よりも 優 先 度 が 高 い 必 要 があります データ 保 全 にフォーカスしなければ バックアップ データ にリスクが 伴 います つまりそれは プライマリ データが 失 われた 時 にそのリカバリーに おいてリスクが 伴 うことを 意 味 します ディスク バックアップ ストレージ システムの 多 くは 安 価 なディスクを 搭 載 した 単 純 なプライマリ ストレージ システムです それら は これまでのプライマリ ストレージでの 設 計 思 想 を 引 き 継 いでいます しかしながら バックアップ 用 ストレージと 命 名 するからにはデータの 完 全 復 元 性 に 注 力 した 設 計 でなけれ ばなりません 概 要 このホワイト ペーパーでは EMC Data Domain Data Invulnerability Architecture(データ 非 脆 弱 性 アーキテクチャ)の 4 つの 主 要 な 要 素 について 説 明 します その 4 つの 要 素 を 組 み 合 わせることで 業 界 最 高 レベルのデータの 整 合 性 と 復 元 性 を 実 現 できます 対 象 読 者 このホワイト ペーパーは Data Domain Data Invulnerability Architecture の 詳 細 に 興 味 を 持 つ EMC のお 客 様 テクニカル コンサルタント パートナー EMC とパートナーのプロ フェッショナル サービス コミュニティのメンバーを 対 象 としています DDOS の 完 全 復 元 性 アーキテクチャ Data Domain 重 複 除 外 ストレージ システムは 設 計 思 想 が 従 来 のストレージ システムとは 根 本 的 に 異 なり 新 しい 前 提 を 導 入 しています 最 も 重 要 な 目 標 が データの 整 合 性 と 復 旧 性 であったらどうなるか テープレスの IT 部 門 を 想 像 した 場 合 極 めて 復 旧 性 が 高 く 保 護 されたディスク ストレージを 思 い 浮 かべるのではないか という 考 え 方 です データ ドメインは 万 が 一 の 事 態 における 最 終 手 段 としてのストレージ を 提 供 するために 根 本 から 設 計 を 見 直 し データドメイン 製 品 専 用 OS を 開 発 しました Data Domain Operating System(DDOS)はデータの 完 全 復 元 性 を 目 的 として 設 計 されています 以 下 の 4 つの 主 要 領 域 に 注 力 しています エンド ツー エンドの 検 証 障 害 回 避 及 び 障 害 時 におけるデータの 完 全 な 格 納 継 続 的 な 障 害 検 出 と 修 復 詳 細 レビュー 3

4 ファイル システム 復 旧 このような 設 計 思 想 において 開 発 された DDOS ですが DDOS はデータを 受 け 取 った 後 で しかその 完 全 性 を 保 証 できない という 重 要 な 点 は 見 落 とさないで 下 さい DDOS はシステ ム 単 位 でのエンド ツー エンド テストを 行 っていますが ネットワーク 上 のすべてのや り 取 りでデータ 保 護 のための 処 置 が 完 全 に 行 われているかについては 関 知 していません ま た バックアップを 行 っているときのネットワーク 障 害 や 既 に 知 らぬ 間 に 1 次 ストレージ 上 で 論 理 データ 障 害 が 発 生 していた 場 合 のバックアップに 関 しては DDOS によっても 復 旧 は 不 可 能 です アプリケーションレベルのデータ 復 旧 テストは 慎 重 に また 定 期 的 に 実 行 す ることを 強 く 推 奨 します エンド ツー エンドの 検 証 DD 製 品 はすべてのコンポーネントにおいてエラーを 通 知 する 設 計 になっていますので デー タ 保 護 を 保 証 するエンド ツー エンド テストはとてもシンプルです エンド ツー エ ンド ベリフィケーションとは データ 書 き 込 み 後 に 読 み 込 みを 行 い 意 図 したデータと 比 較 することで 確 実 に 書 き 込 みが 行 われたかどうかを 確 かめると 同 時 に ファイル システムか ら 確 実 に 読 み 取 れることも 検 証 します DDOSはバックアップ ソフトウェアから 書 き 込 み 要 求 を 受 け 取 ると すべてのデータのチェックサムを 作 成 します データの 冗 長 性 分 析 を 行 った 後 新 しいデータ セグメントとすべてのチェックサムを 保 存 します ストレージに 対 するバックアップl/Oがすべて 終 了 し データの 書 き 込 みが 完 了 するとDDOSはデータドメ イン ファイル システム(DDFS)を 通 してすべてのデータがディスクから 再 度 読 み 込 める ことを 確 認 し 書 き 込 まれたデータのチェックサムと 再 読 み 込 みしたチェックサムを 比 較 し 一 致 することを 検 証 します この 一 連 の 作 業 でディスク 上 のデータが 正 確 に 読 み 込 める 事 データを 検 索 する 時 に 使 用 されるファイル システムのメタデータ 構 造 が 正 確 にしかも 確 実 に 読 み 込 めることを 保 証 します これによりデータは 正 確 でしかもどのレベルからでも 復 旧 可 能 であると 言 えます たとえば ディスク ドライブ 上 でのデータ 反 転 のような 問 題 がど の 段 階 で 発 生 しても 検 出 すること が 可 能 です 次 のセクションでも 説 明 しますが ほとんどのケース において 自 力 復 旧 を 行 います も し 何 かの 理 由 で 復 旧 ができない 場 合 は 即 座 に 管 理 者 に 通 知 を 行 い 正 しいデータである1 次 ストレー ジを 基 にバックアップの 再 実 行 を 促 します 従 来 の 性 能 重 視 のスト レージを 利 用 してディスク バッ クアップを 行 っているシステムで は このような 厳 格 な 検 証 を 行 う ことはできません ディスクへの バックアップにより 要 求 されます Data Domain Global Compression による 大 幅 なデータ 量 の 削 減 を 実 現 したことで 検 証 対 象 となる 実 データ 量 をも 削 減 し この 様 な 検 証 を 可 能 にしました 図 1:エンド ツー エンド ベリフィケーションはすべ てのユーザー データとメタデータを 検 証 します 障 害 回 避 及 び 障 害 時 におけるデータの 完 全 な 格 納 データ 保 護 における 次 のステップは 検 証 された 正 確 なデータが 正 確 な 場 所 にあることを 確 認 する 点 にあります 中 でも 最 大 のリスクは 新 しいデータが 書 き 込 まれる 時 のファイル システム 上 のソフトウェア エラーに 起 因 するファイル システムの 安 全 性 です これは 新 しいデータを 書 き 込 む 時 に 何 らかの 障 害 により 既 存 のデータに 影 響 を 与 えるか もしくは ファイル システムにおけるメタデータの 更 新 の 際 に 発 生 します DDFS はデータ 保 護 を 最 詳 細 レビュー 4

5 大 のゴールとして 開 発 されており バックアップ 時 のリスクであるソフトウェアのバグ 等 に 対 してもデータ 保 護 を 行 う 設 計 になっています 簡 素 化 されたデザインがバグの 入 り 込 む 余 地 を 最 小 限 にし 考 えられるいくつかの 障 害 の 特 徴 を 封 じ 込 めることによりソフトウェアの バグによる 既 存 データへの 影 響 を 可 能 な 限 り 無 くしています DDFS は 最 適 化 されたログ 形 式 のファイル システムとして 実 装 されており 4 つの 利 点 があります 新 規 データは 既 存 データを 上 書 きしない これまでのファイル システムでは 古 いデータ ブロックを 使 用 する 時 にしばしばブロック を 上 書 きしますが DDFS は 新 規 ブロック 以 外 には 書 き 込 みを 行 いません このため ソフ トウェアのバグによる 誤 書 き 込 みを 最 新 のバックアップ データのみに 限 定 することができ ます 既 存 のデータは 安 全 な 状 態 に 保 たれます 簡 素 化 されたデータ 構 造 典 型 的 なファイル システムにおいては 高 速 ブロック アップデートを 実 現 するためにフ リー ブロック ビット マップやリファレンス カウントといった 多 くのデータ 構 造 が 用 いられます 一 方 で バックアップにおけるアクセスパターンは 新 規 データのシーケンシャ ルライトであるため そのパターンをサポートすることにフォーカスすればデー 夕 構 造 はと てもシンプルに 構 成 することができます ログの 先 頭 を 常 にウオッチしていれば 新 規 書 き 込 みで 既 存 のデータに 触 れる 必 要 はありません このようなシンプルな 設 計 のおかげで ソ フトウェア エラーによるデータ 障 害 の 可 能 性 が 激 減 しました 高 速 で 安 全 な 再 起 動 のための NVRAM ストレージ システムにおいて ディスクへの 完 全 な 書 き 込 みが 終 了 していないデータがメ モリ 上 の 書 き 込 みバッファに 存 在 するタイミングがあります 高 速 で 安 全 な 再 起 動 を 実 行 す るために DDFS はこの 書 き 込 みバッファの 安 全 性 を 活 用 しています DDFS は 多 くの 内 部 ロ ジックとデータ 構 造 の 整 合 性 のチェックを 使 用 しています もしこれらのチェックにより 問 題 が 確 認 された 場 合 には ファイル システムは 自 力 で 再 起 動 を 行 います このチェックと 再 起 動 により データ 障 害 を 起 こす 種 類 のバグが 早 期 発 見 され また 修 復 が 行 われます こ の 再 起 動 時 には NVRAM バッファ 内 部 のデータをファイル システムヘの 適 応 前 に 検 証 し データ ロスト 無 くファイル システムの 整 合 性 が 保 たれていることを 保 証 します ただし 大 規 模 な 電 源 障 害 が 起 きた 場 合 は 古 いデータは 失 われ 復 旧 に 失 敗 するでしょう このよ うな 事 態 を 避 けるために DDFS は ストライプ 内 部 のうち 一 部 分 のブロックだけを 更 新 する ようなことはしません データの 上 書 きを 行 わないという 特 徴 に 加 えて ストライプ 自 体 も 常 に 全 体 を 更 新 1 することにより あらゆるデータ 障 害 の 可 能 性 を 排 除 しています これは 書 き 込 み 後 の 検 証 においてストライプ 自 体 の 完 全 性 をも 検 証 することを 意 味 します 新 しい 書 き 込 みにより 既 存 のバックアップが 危 険 にさらされることはありません データドメイン 製 品 は 1 次 ストレージではなくバックアップ 用 途 のストレージとして データ 復 旧 のための 最 終 手 段 となることを 念 頭 に 現 状 考 えられるストレージのエラーを 最 小 限 に 抑 える 設 計 が なされています 想 定 外 の 障 害 が 発 生 したときにもその 検 知 までの 時 間 を 最 短 にし 即 座 に 状 態 を 管 理 者 に 通 達 する 機 能 も 備 えています 部 分 書 き 込 みを 行 わない プライマリ ストレージで 使 用 されている RAID では 書 き 込 み 時 に 電 源 障 害 等 によるディスク 障 害 が 起 きると 既 存 のデータを 失 くしてしまうことがありますそれは ディスクの 再 構 成 は RAID のストライプ 内 部 の 整 合 性 に 依 存 していることが 要 因 です ブ ロック 単 位 で 書 き 込 みが 行 われる 場 合 には RAID のストライプが 整 合 性 の 無 い 過 渡 的 な 状 態 になることがあり その 際 にストライプの 再 構 成 が 失 敗 した 場 合 には その 中 にある 既 存 のデータは 失 われてしまいます 大 規 模 ストレージ システムではこのデータ 障 害 を 防 ぐた めに NVRAM を 用 いたり UPS を 導 入 するなどして 対 応 します しかし 大 規 模 な 電 源 障 害 が 起 きた 場 合 は 復 旧 に 失 敗 しデータを 失 うことになるでしょう このような 事 態 を 避 け 詳 細 レビュー 5

6 るために DDFS は ストライプ 内 部 のうち 一 部 分 のブロックだけを 更 新 するようなことはし ません データの 上 書 きを 行 わないという 特 徴 に 加 えて ストライプ 自 体 も 常 に 全 体 を 更 新 1 することにより あらゆるデータ 障 害 の 可 能 性 を 排 除 しています これは 書 き 込 み 後 の 検 証 においてストライプ 自 体 の 完 全 性 をも 検 証 することを 意 味 します 新 しい 書 き 込 みによ り 既 存 のバックアップが 危 険 にさらされることはありません データドメイン 製 品 は 1 次 ス トレージではなくバックアップ 用 途 のストレージとして データ 復 旧 のための 最 終 手 段 と なることを 念 頭 に 現 状 考 えられるストレージのエラーを 最 小 限 に 抑 える 設 計 がなされていま す 想 定 外 の 障 害 が 発 生 したときにもその 検 知 までの 時 間 を 最 短 にし 即 座 に 状 態 を 管 理 者 に 通 達 する 機 能 も 備 えています 図 2: 新 しく 書 き 込 まれるデータ は 決 して 古 いデータをリスクに さらしません データ コンテ ナ ログは 既 存 のデータを 決 して 上 書 きしませんし 更 新 も 行 いま せん 新 しいデータは 単 に( 赤 で 示 された) 新 しいコンテナに 収 容 されます 古 いデータ コンテナ は 適 切 に 保 持 され ソフトウェア 的 な 障 害 やデータ 書 き 込 み 中 に 発 生 しうるハードウェア 的 な 障 害 か らも 守 られています 継 続 的 な 障 害 検 出 と 修 復 突 然 のハードウェア 障 害 をソフトウェアで 防 ぐ 手 段 はありません ストレージ システム においてはディスク ドライブの 障 害 が 大 半 です その 他 にもローカル 障 害 や 一 時 的 な 障 害 があります ディスク ブロックが 読 み 込 めなくなったり データ 転 送 中 の 内 部 パスで のピットの 反 転 による 論 理 的 エラーも 考 えられます これらに 対 処 するために DDOS では 障 害 検 知 と 復 旧 をオンラインで 行 い データ リストアの 運 用 に 妨 げのないように 設 計 さ れています RAID 6:2 重 のディスク 障 害 への 対 応 とリード エラーからの 復 旧 RAID 6 は Data Domain 製 品 の 永 続 的 な 障 害 検 知 と 復 旧 を 行 うための 中 核 的 な 役 割 を 提 供 しま す 強 力 なデュアル パリティ アーキテクチャによりこれまでの RAID1(ミラーリング) で 行 っているシングル パリティ での 対 応 という 手 法 に 対 して 圧 倒 的 な 優 位 性 を 持 っています 図 3: 永 続 的 な 障 害 検 知 と 復 旧 の 機 能 が システム 障 害 を 未 然 に 防 ぎます システ ムは 定 期 的 に RAID ストライプとデー タ コンテナの 整 合 性 を 検 証 し RAID の 冗 長 性 を 活 用 して 障 害 点 を 復 旧 しま す 毎 読 み 込 み 時 に データの 整 合 性 が 確 認 され エラーがオンラインで 補 正 さ れます 1 外 部 RAID に 依 存 するゲートウェイ 製 品 は 部 分 ストライプ 書 き 込 みがないことを 保 証 する ことができません 詳 細 レビュー 6

7 RAID 6: ディスクの 2 重 障 害 への 対 応 シンクル ディスク 障 害 の 復 旧 時 におけるリード エラーの 可 能 性 の 排 除 運 用 者 のミスによる 障 害 の 保 護 NVRAM や UPS が 無 くても 電 源 障 害 から RAID ストライプの 一 貫 性 を 保 護 書 き 込 み 後 のデータの 整 合 性 とストライプの 一 貫 性 の 検 証 これまでの RAID 手 法 では 2 つのディスク 障 害 が 起 きるとデータを 失 ってしまいます データ 保 護 にフォーカスしたストレージ システムでは RAID6 で 提 供 されるより 高 いレ ベルのデータ 保 護 機 能 が 絶 対 に 必 要 です ジョブ 実 行 中 の 障 害 検 知 と 復 旧 DDFS ではディスク 上 のデータ 構 造 はスクラッピング バッファと 呼 ばれるデータ ブロッ クでフォーマットされていますので リストアが 正 常 に 行 われればすべてのデータは 正 確 に 復 元 されることを 保 証 します その 中 にはデータ 検 証 のための 強 力 なチェックサムが 含 まれ ています データをディスクから 読 み 込 む 時 は DDFS は 読 み 込 んだデータが 正 しいかどう かをこのチェックサムを 使 用 して 常 に 確 認 します その 後 データの 整 合 性 を 確 認 するため にチェックサムを 使 用 します もし 何 らかの 障 害 が 発 見 されると RAID 6 はさらに 高 度 な 修 復 機 能 を 実 行 します RAID のストライプは 部 分 的 には 更 新 されませんので その 信 頼 性 に 基 づいてデータを 復 旧 します スクラブによる 既 存 データの 保 証 オンラインによる 障 害 検 知 が 正 常 に 稼 働 していたとしても 数 週 間 前 もしくは 数 か 月 前 に 書 き 込 んだデータが 読 めないという 障 害 がしばしば 発 生 します こういった 障 害 からデータを 保 護 するために DDFS では 毎 週 実 行 中 のバックグラウンド プロセスでデータの 整 合 性 をアクティブに 再 検 証 しています このスクラブ プロセスによって 事 前 にディスクのブ ロック 障 害 を 検 知 し 復 旧 することができます 以 上 のような 実 行 中 の 障 害 検 知 と 復 旧 デー タの 定 期 的 スクラビングにより ほとんどのシステム 障 害 やディスク ドライブ 障 害 を 見 分 けることができ データ 障 害 を 防 いでいるため データやシステム 運 用 におけるリスクは 大 きく 軽 減 されます ファイル システム 復 旧 前 述 したデータ 保 護 の 機 能 があったとし ても 一 般 のストレージ システムが 何 らかの 障 害 を 起 こす 可 能 性 は 完 全 に 否 定 できません しかしながら 完 全 復 元 性 を 持 つアーキテクチャでは ファイル システムのメタデータ 障 害 からのリカバ リーやファイル システムチェックの ツール 等 により 迅 速 かつ 安 全 にシステ ムを 復 旧 させることが 可 能 です メタデータ 復 旧 を 保 証 するデー タ フォーマット DDFS におけるファイル システムのメタデー タは 高 速 アクセスを 実 現 するためのイン デックス 情 報 などを 提 供 しますが それもま たディスク 上 のデータ 自 身 から 復 旧 すること 図 4:データは 自 己 記 述 形 式 で 保 存 されま す 必 要 に 応 じて ログをスキャンし デ ータ 領 域 に 埋 め 込 まれたメタデータを 再 構 成 することでファイル システムを 再 生 成 することができます 詳 細 レビュー 7

8 ができます すべてのデータは それを 表 すメタデータとともに 格 納 されています もしメ タデータに 障 害 が 発 生 した 場 合 は 以 下 の 2 つの 方 法 で 復 旧 が 可 能 です 1 つ 目 は DDFS は 数 時 間 ごとにメタデータのスナップショットを 取 っていますので その 時 点 までの 信 頼 のあ るデータとして 復 旧 する 方 法 です 2 つ 目 は DDFS はディスクのデータをスキャンしメタ データを 復 旧 する 方 法 です これらの 機 能 により ファイル システムのメタデータに 障 害 が 発 生 するという 最 悪 の 場 合 でも システムを 復 旧 することができます 高 速 な FSCK 従 来 のファイル システムでは オンラインでのファイル 一 貫 性 のチェックはできません Data Domain システムでは 新 しく 書 き 込 まれたデータの 整 合 性 を 確 保 するため バックアッ プ 終 了 後 に 初 期 検 証 による 確 認 を 行 います 一 般 のファイル システムでは 障 害 復 旧 時 の ファイル 復 旧 時 間 が 非 常 に 長 くなるため ファイル システムの 整 合 性 チェックが 現 実 的 に 可 能 な 容 量 に 関 して 制 約 があります たとえば 80 TB 以 上 のデータを 持 つ 従 来 のファイル システムに FSCK を 流 すのが 現 実 的 でしょうか 新 しいデータが 既 存 データの 上 書 きを 誤 っ て 行 わないように 空 き 領 域 を 探 し 出 す 非 常 に 長 い 処 理 のプロセスが 必 要 になります 加 えて フリー ブロック マップやリファレンス カウントの 再 構 成 を 行 うために すべてのリ ファレンスもチェックするという 処 理 も 通 常 は 必 要 になります この 処 理 はシステム 内 の データ 量 が 多 いほど 時 間 がかかります これとは 反 対 に DDFS では 既 存 データの 上 書 きは 行 わないのでブロック マップ リファレンス カウントの 再 構 成 は 必 要 ありません ログを 確 認 するだけで 安 全 にシステムをオンラインヘ 復 旧 させます まとめ ストレージ システムにおけるデータ 保 護 の 保 証 は 単 純 なメカニズムでは 実 現 できません いくつものメカニズムが 連 携 し 確 実 な 順 序 で 行 うことによりどのような 障 害 においても 復 旧 を 保 証 することができます これまでのストレージ システムを 1 次 ストレージから 2 次 ストレージヘ 単 に 目 的 を 変 えて 利 用 するのとは 違 い データドメイン 製 品 はデータ 保 護 製 品 という 明 確 な 目 的 を 持 って 設 計 されました 完 全 なデータ 復 旧 アーキテクチャは 現 状 のデータ 保 護 の 問 題 に 対 する 最 善 の 手 法 といえます 高 度 な 検 証 により 新 しいバックアップが 正 確 に 保 存 されます DDFS の 上 書 きしないログ 形 式 のアーキテクチャは フル ストライプ 書 き 込 みの 維 持 とともに 新 しい バックアップ 中 にソフトウェアのエラーが 発 生 した 場 合 であっても 古 いバックアップが 常 に 安 全 であることを 保 証 します 同 時 にシンプルで 堅 牢 な DDFS はソフトウエア 障 害 の 可 能 性 を 最 尐 に 抑 えます 以 上 のメカニズムにより ストレージへのバックアップ 実 行 中 に 発 生 しうる 問 題 からデータ を 保 護 しますが ストレージ 自 体 の 障 害 からの 復 旧 も 考 慮 する 必 要 があります これを 解 決 するために Data Invulnerability Architecture は 独 自 に 開 発 した RAID 6 を 搭 載 しました これ によりディスクの 2 重 障 害 ディスク 障 害 後 の RAID 再 構 成 時 の 読 み 込 み 障 害 そして 読 み 込 み 時 のデータ 修 復 を 実 現 しました そしてまたスクラブ プロセスを 実 行 することにより 永 続 的 なデータ 保 証 を 行 うとともに 事 前 に 障 害 復 旧 を 行 うことができます DDFS ファイル システムは データ 保 護 の 最 終 手 段 として 絶 対 に 必 要 となる 復 旧 性 の 機 能 を 備 えています 独 自 のデータ フォーマットによりメタデータ 構 造 におけるデータ 障 害 が 起 きたとしても 復 旧 が 可 能 です また 高 速 のファイル システム チェックと 復 旧 機 能 に より 数 十 テラバイトのデータ 容 量 に 何 らかの 問 題 がありオフラインになったとしても 迅 速 な 復 旧 を 実 現 しています 詳 細 レビュー 8