IIJ Technical Seminar DAY2018～フォレンジックツールの開発と実装

Size: px

Start display at page:

Download "IIJ Technical Seminar DAY2018～フォレンジックツールの開発と実装"

しょうりいちぬの
5 years ago
Views:

1 フォレンジックツールの開発と実装株式会社インターネットイニシアティブセキュリティ部セキュリティ情報統括室小林稔 Internet Initiative Japan Inc.

2 自己紹介名前 : 小林稔所属 : セキュリティ本部セキュリティ情報統括室 2014 年 5 月 IIJ 入社フォレンジックインシデントレスポンス IIJ-SECTメンバー外部 Mauritius 2016 FIRST Technical Colloquium スピーカー / トレーナー 2017 年セキュリティキャンプ全国大会講師 Osaka 2018 FIRST Technical Colloquium トレーナー Japan Security Analyst Conference 2018 スピーカー Black Hat USA 2018 Briefings スピーカー 2018 年セキュリティキャンプ全国大会講師 Internet Initiative Japan Inc. 2

3 アジェンダ 1. VSSの概要 2. ツール作成の方針 3. vss_carverの処理 4. libvshadowの改修 5. vss_catalog_manipulator 6. デモンストレーション 7. 今後の開発 8. まとめ Internet Initiative Japan Inc. 3

4 1. VSS の概要 Internet Initiative Japan Inc.

5 Volume Shadow Copy Service (VSS) とは Windows に標準搭載されているバックアップ関連機能で NTFS ボリュームの VSS スナップショット ( 以下スナップショット ) を作成することができるスナップショットを参照するとスナップショット作成時のストレージのデータにアクセスできる削除された攻撃の痕跡を発見できる場合があるため調査を行うときに非常に有用なデータとなるスナップショットは差分バックアップであるためスナップショット内のデータにアクセスするには現在のボリュームのデータとマージする必要がある ( スナップショットだけではデータにアクセスできない ) 容量の上限によって古いスナップショットが削除されたり攻撃者やマルウェアによって削除されてしまう場合があるまた削除されたスナップショットを復元する方法は存在しないスナップショットが復元できれば非常に有用 Internet Initiative Japan Inc. 5

6 VSS データファイル構成 Catalog: メタ情報 ( スナップショット生成日時など ) Store: バックアップデータ Internet Initiative Japan Inc. 6

7 VSS データ構造バックアップデータ 0x0 0x1e00 VSS Volume Header Catalog Store 1 Store 2 ボリュームを 16KB ごとに分割したデータブロックと呼ばれる単位で管理する Internet Initiative Japan Inc. 7

8 2. ツール作成の方針 Internet Initiative Japan Inc.

9 事前調査 1 スナップショットを削除した際の挙動の検証が行われている Deleted Shadow Copies 以下の点に言及している 1. カタログとストアのファイルは削除される 2. カタログのデータがほとんど 0x00 で上書きされる 3. ストア内の GUID が書き換えられる 4. ある商用ツールで削除されたスナップショットにアクセスできた Internet Initiative Japan Inc. 9

10 事前調査 2 データを復元できたとしてどのようにスナップショットにアクセスするか復元したカタログとストアを外部ファイルとして読み込ませるスナップショットのアクセスによく使われるオープンソースのツールを改修すればできそう vshadowmount (libvshadow) 削除時にストア内の変化した GUID についてもスナップショットのアクセスには使用していない Internet Initiative Japan Inc. 10

11 この時点で検討したスナップショット復元手法カタログの復元カタログの情報が失われているため何らかの手段で再生成する必要がある NTFS を含む多くのファイルシステムではファイルを削除してもファイルエントリの削除フラグを変更するだけであるためストアファイルのファイルエントリからメタ情報 ( ファイル作成日時オフセット等 ) を参照すればカタログを再生成できそうストアの復元ストアファイルを復元すればよさそう Internet Initiative Japan Inc. 11

12 VSS 削除検証 1 VSS バックアップ領域設定 vssadmin.exe Resize ShadowStorage /For=C: /On=C: /MaxSize=10% C ドライブの VSS スナップショットの作成 wmic.exe shadowcopy call create Volume='C:\' VSS スナップショットの全削除 vssadmin.exe delete shadows /all Internet Initiative Japan Inc. 12

13 VSS 削除検証 2 VSS スナップショット削除直後の MFT エントリの状態 * は削除ファイルを意味するスナップショット削除直後はカタログとストアの MFT エントリがまだ残っている Internet Initiative Japan Inc. 13

14 VSS 削除検証 3 VSS スナップショット削除後数分経過した MFT エントリの状態カタログとストアの MFT エントリが削除されてしまうストアファイル名が見えるがこれは $I30 に残っている情報でファイルではない Internet Initiative Japan Inc. 14

15 データ復元手法の再検討ストアの MFT エントリが削除されてしまうためストアファイルのメタ情報を使う手法は使えないつまりストアファイルの復元も簡単にはできないしかし多くのファイルシステムではファイルを削除してもデータのクリアは行わないそのためディスクの未使用領域に削除前のデータが残っている可能性があるディスクの未使用領域にあるデータを復元する手法としてカービング (Carving) が存在する Internet Initiative Japan Inc. 15

$そこから連続するバイト列をファイルやデータレコードとして保存する例 ) EXE : MZ\x90 ZIP : PK\x03\x04 JPEG : \xff\xd8\xff\xe0\x00\x10 Internet Initiative$

16 カービングとはフォレンジックやインシデントレスポンスにおけるカービングとはデータフォーマットの特徴的なデータ列 ( ファイルヘッダ等 ) をキーにしてディスクイメージファイルを検索する手法であるキーが現れたらそこから連続するバイト列をファイルやデータレコードとして保存する例 ) EXE : MZ\x90 ZIP : PK\x03\x04 JPEG : \xff\xd8\xff\xe0\x00\x10 Internet Initiative Japan Inc. 16

17 カービングの制限復元するデータは未使用領域にあるため他のファイルに上書きされる可能性があるまたディスクの使用状況によりファイルがフラグメント化されるこのような場合壊れたファイルが復元されることになる sample.jpg example.txt に上書きされた箇所 JPEG ヘッダカービングで復元されるデータまた復元されたデータのメタデータ ( ファイル名ファイルサイズ作成日時等 ) も知ることができない Internet Initiative Japan Inc. 17

18 代表的なカービングツール Foremost Scalpel PhotoRec Internet Initiative Japan Inc. 18

19 カービングに必要なことカービングを行うには復元したいデータのフォーマットを知る必要があるデータに生成日時等のメタデータが含まれていればそれらも解析対象とすることで単なるカービングよりも多くの情報を復元できる可能性があるしかしマイクロソフトはカタログとストアのファイルフォーマットの詳細を公開していない Internet Initiative Japan Inc. 19

20 VSS データフォーマット Volume Shadow Snapshot (VSS) /Volume%20Shadow%20Snapshot%20(VSS)%20format.asciidoc Internet Initiative Japan Inc. 20

21 VSS ボリュームヘッダ Internet Initiative Japan Inc. 21

22 カタログブロックヘッダこのヘッダの後にカタログエントリが記録されるカタログエントリタイプ 0x01 : 未使用 0x02 : 生成日時など 0x03 : ストアブロックのオフセット 0x02 と 0x03 で 1 セットのエントリとなる Internet Initiative Japan Inc. 22

23 カタログエントリ (0x02) Internet Initiative Japan Inc. 23

24 カタログエントリ (0x03) Internet Initiative Japan Inc. 24

25 ストアブロックヘッダ Internet Initiative Japan Inc. 25

26 VSS データカービングの条件 VSS のデータフォーマットは必ず先頭に VSS identifier, Version, Record type というフィールドが含まれている VSS は 16KB ごとのデータブロックで管理されるこれらは必ずデータブロックの先頭に記録される Version 0x01 固定 Record type 0x01 0x06 VSS identifier 固定のバイト列ストアブロック (Store descriptor list) の例 Internet Initiative Japan Inc. 26

27 ストアカービング後の問題点 VSS identifier をキーにしてカービングツールを使用すればストアを復元することはできるしかし以下の問題点が残る 1. ストアは 4 種類 5 つのストアブロックから構成されるためこれらのグルーピングが必要となる 2. カタログを再生成する必要がある ( スナップショット削除時に 0 で上書きされているため ) カービングを行うだけでは不十分であるため専用のツールが必要になる Internet Initiative Japan Inc. 27

28 カービングツールのプロトタイプを作成 VSS identifier とレコードタイプを基に VSS データブロックがどのように配置されているか確認するツールを作成したスナップショットの順番とストアブロックの情報に何らかの相関関係などが見られないか確認するストアブロックがどのように配置されているのか確認するスナップショット毎にストアブロックがある程度グループ分けできるのであれば比較的簡単にストアを復元できると考えられる Internet Initiative Japan Inc. 28

29 3 つのスナップショットが保存されたディスクイメージを解析した結果 Internet Initiative Japan Inc. 29

30 カタログエントリ 1 このディスクイメージのカタログを確認する Snapshot creation date and time 2017/07/28 4:03:18 Block List Offset Block Range Offset Previous Bitmap Offset Current Bitmap Offset Store Header Offset Internet Initiative Japan Inc. 30

31 カタログエントリ /07/20 15:01:10 Internet Initiative Japan Inc. 31

32 カタログエントリ /07/13 4:52:14 Internet Initiative Japan Inc. 32

33 エントリ 3 カタログにないエントリエントリ 1 エントリ 2 Internet Initiative Japan Inc. 33

34 ストアカービングの検討 1 ストアの容量のほとんどはストアデータブロック ( バックアップデータ ) が占めているストアデータブロック自身はストアブロックリスト ( レコードタイプ :3) によってそのデータブロックが記録されていたオリジナルのオフセットとバックアップ先のオフセットがテーブルで管理されている Internet Initiative Japan Inc. 34

35 ストアカービングの検討 2 オリジナルのオフセットバックアップ先のオフセット Internet Initiative Japan Inc. 35

36 ストアカービングの検討 3 ストアデータブロックをすべてカービングすると非常に大きなファイルとなってしまい扱いづらいまたストアデータブロックを別ファイルにする場合ストアブロックリスト内のオフセットをすべて書き換えなければならないため煩雑な処理が必要となる実用上ディスクイメージ内のストアデータブロックを参照してもスナップショットのデータを読み込むことが可能であるためストアデータブロックを除いたストアブロックのみを別ファイルとして保存する Internet Initiative Japan Inc. 36

37 ストアカービングの検討 4 ディスクイメージカービングしたストアストアヘッダストアブロックリストオフセットストアブロックレンジストアビットマップ Carving ストアヘッダディスクイメージストアブロックリストオフセットストアブロックレンジストアビットマップストアデータブロックストアデータブロック Internet Initiative Japan Inc. 37

38 カタログ再生成方法の検討 1 カービングでカタログも復元することができるがデータは 0 で上書きされているためカービングによる復元ではなく再生成する必要があるカタログ内のストアブロックのオフセットを見るとスナップショットの生成日時とストアブロックのオフセットには相関関係は見られない Internet Initiative Japan Inc. 38

39 カタログ再生成方法の検討 2 そのため大きなオフセットのスナップショットほど新しいと仮定してカタログを生成するただしディスクイメージ上にカタログがある場合はそちらの情報を優先的に使用するまたカービングで発見したスナップショットのうちカタログに無いものはカタログ内の一番古いエントリよりも古いものとして扱うディスクイメージ上にカタログが存在するということはカービングしたスナップショットは自動的に削除された古いものである可能性が高い Internet Initiative Japan Inc. 39

40 検討結果ここまでの結果から削除済みスナップショットのデータを復元するツールとそれにアクセスするためのツールを作成できる見通しが立った Internet Initiative Japan Inc. 40

41 3. vss_carver の処理 Internet Initiative Japan Inc.

42 vss_carverの処理 1. VSS 設定チェック 2. ディスク上のカタログ読み込み 3. ストアブロックカービング 4. カービングしたストアブロックをグルーピング 5. ストアブロックリストの精査 6. スナップショットエントリの重複チェック 7. ストア書き出し 8. カタログ書き出し Internet Initiative Japan Inc. 42

43 1. VSS 設定チェックボリュームの先頭からのオフセット 0x1e00 に VSS identifier のバイト列が存在するか否かで VSS が有効か無効か確認する VSS ボリュームヘッダのカタログオフセットが 0 の場合 VSS は有効であるがスナップショットはすべて削除されている ( または 1 つも作成されていない ) 状態である VSS が無効である場合はプログラムを終了する Internet Initiative Japan Inc. 43

44 2. ディスク上のカタログ読み込みカービングによって得られたスナップショットの情報よりも Windows に作成されたカタログの方が信頼性が高いためディスク上にカタログがあれば読み込む Internet Initiative Japan Inc. 44

45 3. ストアブロックカービングボリュームの先頭から 16KB ごとに VSS identifier とレコードタイプをキーにしてストアブロックをカービングするカービングで取得したストアブロックのオフセットをキーにしてディクショナリにストアヘッダのデータを保存する ( ストアブロックディクショナリ ) また同じレコードタイプが連続するストアブロックの先頭のオフセットをリストに保存する ( ストアブロックリスト ) Internet Initiative Japan Inc. 45

46 カービングしたストアブロックのオフセットをディクショナリに保存する同じレコードタイプが連続するデータブロックの先頭のオフセットをリストに保存する Internet Initiative Japan Inc. 46

47 4. カービングしたストアブロックをグルーピングカタログに記録されたストアブロックのオフセットおよびプロトタイプの実行結果よりストアブロックのレコードタイプの並び順は 4, 3, 5, 6, 6 であることが分かっているストアブロックリストの中でこの順番で並んでいるストアブロック群を 1 つのスナップショットとしてグルーピングしスナップショットリストに保存する Internet Initiative Japan Inc. 47

48 5. ストアブロックリストの精査 1 ストアブロックには Next block offset というフィールドが存在する VSS によるバックアップ容量が確保しているバックアップ領域より大きくなる場合新たにストアブロックを確保しそのオフセットを Next block offset に記録するここではスナップショットリスト内のストアブロックの Next block offset のリストを辿っていき全ての Next block offset がストアブロックディクショナリのキーとして存在するか確認するストアブロックが他のデータで上書きされ該当のオフセットがストアブロックとしてカービングできなかった場合そこまでのリストとみなす Internet Initiative Japan Inc. 48

49 5. ストアブロックリストの精査 2 Next block offset によるストアブロックのリスト Store2 の最後のデータブロックとみなす Catalog Store 1 Store 2 上書きされたデータブロック ( カービングできなかったデータブロック ) Internet Initiative Japan Inc. 49

50 6. スナップショットエントリの重複チェック 2. で読み込んだカタログのスナップショットエントリと 5. までに復元したスナップショットエントリが重複していないか確認する重複のチェックはストアヘッダのオフセットを比較することで行う重複している復元エントリがある場合スナップショットリストから該当するエントリを削除する Internet Initiative Japan Inc. 50

51 7. & 8. ファイル書き出しストアとカタログをファイルに保存する復元したスナップショットの生成日時の決め方ディスク上にカタログがある場合カタログ上の一番古いスナップショット生成日時よりも 1 時間前の日時を設定するディスク上にカタログがない場合 vss_carver を実行した時間を基準に設定する Internet Initiative Japan Inc. 51

52 4. libvshadow の改修 Internet Initiative Japan Inc.

53 libvshadow の改修 1. 復元したカタログとストアを読み込むオプションの追加 2. カタログとストアをファイルから読み込む処理の追加改修した点は非常に単純だが libvshadow の作者は自作のライブラリを多用しておりソースコードを読み解くのに時間がかかった Internet Initiative Japan Inc. 53

54 5. vss_catalog_manipulator Internet Initiative Japan Inc.

55 vss_catalog_manipulator カタログエントリを操作するためのツール vss_carver はストアブロックのオフセットを基準にエントリの順番を決めているため実際は正しくない場合があるこのような場合にエントリの入れ替えや削除等を行う独自の機能としてエントリを無効化 / 有効化する機能があるこれはカタログエントリタイプが 0x01 が未使用を表すタイプとして定義されていることを利用している (libvshadow と組み合わせることが前提 ) Internet Initiative Japan Inc. 55

56 Tools overview ストアデータブロックを参照するデータまたはファイルを読み込む Store 1 (Store Data Block) Store 2 (Store Data Block) (1) ディスクイメージからストアデータをカービングする extendedvshadowmount (3) ディスクイメージカタログストアを読み込んで削除されたスナップショットにアクセスする Store 1 Store 2 Store Catalog vss_carver.py (2) カービングしたストアデータからカタログを再生成する Internet Initiative Japan Inc. 56

57 6. デモンストレーション Internet Initiative Japan Inc.

58 デモンストレーション 1. 自動的に削除されたスナップショットの復元 2. ランサムウェアに削除されたスナップショットの復元 Internet Initiative Japan Inc. 58

59 7. 今後の開発 Internet Initiative Japan Inc.

60 今後の開発予定 libvshadow のパッチを本家にマージ Pull Request は submit 済み復元したスナップショットの生成日時の推定 ( 上記を利用した ) カタログエントリソートツールの作成 Internet Initiative Japan Inc. 60

61 8. まとめ Internet Initiative Japan Inc.

62 まとめ 1 調査先人の知見を借りるスナップショット削除時の VSS の挙動 VSS データフォーマットツールのソースコード検証様々な環境から検証用データを取得する仕様の確認検証用ツールの作成実装頑張る Internet Initiative Japan Inc. 62

63 まとめ 2 作成したツールは以下の URL で公開しています libvshadow の Windows 版と Linux (SIFT) 版のバイナリを配布ツール公開してからフィードバックをくれた人 5 人くらい Internet Initiative Japan Inc. 63

64 関連発表資料 Internet Infrastructure Review(IIR)Vol.37 VSS はユーザデータを守らない Japan Security Analyst Conference 2018 削除済み VSS スナップショットの復元 hi.pdf Black Hat USA 2018 Briefings Reconstruct the World from Vanished Shadow: Recovering Deleted VSS Snapshots 18/briefings/schedule/#reconstruct-the-world-from-vanishedshadow-recovering-deleted-vss-snapshots-9931 Internet Initiative Japan Inc. 64

65 ご清聴ありがとうございました Internet Initiative Japan Inc.

削除済みVSSスナップショットの復元

削除済みVSSスナップショットの復元 Japan Computer Emergency Response Team Coordination Center 電子署名者 : Japan Computer Emergency Response Team Coordination Center DN : c=jp, st=tokyo, l=chiyoda-ku, email=office@jpcert.or.jp, o=japan Computer