Shusei_tomonaga_PacSec_ _jp.pptx

Transcription

1 PacSec 2017 Neural Networkを いた APT Lateral Movement の検知 朝 秀誠 JPCERT コーディネーションセンター

2 紹介 朝 秀誠 (Shusei Tomonaga) JPCERT コーディネーションセンター分析センター マルウエア分析 フォレンジック調査 マルウエアの分析結果やテクニカルレポートは JPCERT の Web ページや Github で公開 マルウエアアナリストでデータサイエンティストではありません 1

3 APT インシデント検知の現状 マルウエアの侵 を完全に防ぐことは難しい 感染拡 (Lateral Movement) を早期に検知する 法に注 ホスト上のプロセスの挙動を記録し 分析する技術の開発が進む EDR(Endpoint Detection and Response) 製品の流? 2

4 本 話す内容 Lateral Movement を検知する 法の提案 3

5 アプローチ Lateral Movement を検知するためには 攻撃者がどのように攻撃を っているか知る必要がある 攻撃者がどのように Lateral Movement を っているか知らないことが多い Lateral Movement の 法を調査し 検知 法を検討する 4

6 本プレゼンテーションの 次 Lateral Movement の調査 Lateral Movement パターン 機械学習を いた Lateral Movement の検知 検知システム 5

7 Lateral Movement の調査 Lateral Movement パターン 機械学習を いた Lateral Movement の検知 検知システム 6

8 Lateral Movement の調査 調査 法 以下の5つの攻撃キャンペーンのC&Cサーバとマルウエアの通信を調査 APT10 (named by FireEye) APT17 (named by FireEye) Dragon OK (named by Palo Alto) Blue Termite (named by Kaspersky) Tick (named by Symantec) 7

9 Lateral Movement の調査 調査 法 実際に攻撃者が実 したコマンドから どのように Lateral Movement を うのかを調査 8

10 JPCERT/CC 対応の主な APT 攻撃 APT Winnti Scanbox Elirks Blue Termite Tick Asruex BKDR_ChChes (APT10) 9

11 調査結果の概要 調査したコマンドの概要 コマンド実 総数 : 16,866 調査した感染端末延べ数 :

12 調査結果の概要 調査したコマンドの概要 コマンド実 総数 : 16,866 調査した感染端末延べ数 : 645 Windows コマンド実 数 : 14,268 11

13 Lateral Movement で攻撃者が使うツール 攻撃者は攻撃ツールだけでなく Windows コマンドと正規のツールも使 する なぜ攻撃者は Windows コマンドと正規のツールを使 するのか? それらはウイルス対策ソフトで検知されない 12

14 Lateral Movement の調査 Lateral Movement パターン 機械学習を いた Lateral Movement の検知 検知システム 13

15 APT インシデントおよび Lateral Movement の概要 1. 侵 2. 初期調査 5. 情報送信 3. 探索活動 標的組織 4. 感染拡 AD/ ファイルサーバ 6. 痕跡削除 14

16 Lateral Movement: 初期調査 初期調査 感染した端末の情報を収集する 最も実 されることが多いコマンド : tasklist 感染したホストが解析環境だった場合 攻撃者はすぐにログアウトする 15

17 16 初期調査で使 されるWindowsコマンド Rank Command Count 1 tasklist ver ipconfig net time systeminfo 75 6 netstat 42 7 whoami 37 8 nbtstat 36 9 net start set qprocess nslookup 11

18 Lateral Movement: 探索活動 探索活動 ネットワーク内ホストやリモートホストに保存されている情報を調査 最も実 されることが多いコマンド : dir 攻撃者は 感染したホストに保存されている機密情報を調査する ローカルネットワークの調査には net を使 する 17

19 18 探索活動で使 されるWindowsコマンド Rank Command Count 1 dir ping net view type net use echo net user net group net localgroup dsquery net config csvde 21

20 netコマンド net view 接続可能なドメインのリソース 覧取得 net user ローカルおよびドメインのアカウント管理 net localgroup ローカルのグループに所属するユーザ 覧取得 net group 特定ドメインのグループに所属するユーザ 覧取得 net use リソースへのアクセス 19

21 Lateral Movement: 感染拡 感染拡 他のマルウエアを感染させたり 他のホストにアクセスする 最も実 されることが多いコマンド : at at コマンドは Windows 10, Windows 8.1 などではサポートされていない もし at コマンドが使えない場合は schtasks パスワードダンプツールは必ず使 される 20

22 21 感染拡 に使 される Windows コマンド Rank Command Count 1 at move schtasks copy ren reg wmic 40 8 powershell 29 9 md cscript 9 11 runas 7 12 sc 6

23 Windows コマンドを使ったリモートコマンド実 at command > at \\[IP Address] 12:00 cmd /c "C:\windows\temp \mal.exe" schtasks command > schtasks /create /tn [Task Name] /tr C:\1.bat /sc onstart /ru System /s [IP Address] 22

24 Windows コマンドを使ったリモートコマンド実 wmic command > wmic /node:[ip Address] /user: [User Name] / password: [PASSWORD] process call create cmd /c c:\windows\system32\net.exe user 23

25 Lateral Movement: 痕跡削除 痕跡削除 攻撃者の使 したファイルおよびログの削除 最も実 されることが多いコマンド : del イベントログの削除には wevtutil 24

26 痕跡削除に使 される Windows コマンド Rank Command Count 1 del taskkill 80 3 klist 73 4 wevtutil 23 5 rd 15 25

27 ここまでのまとめ 攻撃者の攻撃パターンを調査 攻撃者は Lateral Movement に Windows コマンドを使 する Windows コマンドを監視することで Lateral Movement を検知できる 26

28 不正な Windows コマンドの実 を監視する 法 ブラックリスト 式 スコアリング 式 機械学習 27

29 ブラックリスト 式 攻撃者が使 する可能性がある Windows コマンドが実 されたことを検知 Command executed by the attacker at del net use whoami DETECTED! Black List Command at schtasks klist net use Command executed by the attacker del tasklist dir whoami False Negative 28

30 ブラックリスト 式 攻撃者がブラックリストのコマンド実 しない限り検知することはできない net use や schtasks at コマンドが実 されたことを検知 問題 アプリケーションやユーザが実 する可能性がある 29

31 スコアリング 式 実 された Windows コマンドをスコアリングして 閾値以上のコマンドが実 された場合に検知 Command executed by the attacker at del net use whoami Score sheet Command Score at 50 schtasks 50 whoami 10 net use 30 del 5 tasklist 10 Calculation result = 95 Threshold = 90 DETECTED! 30

32 スコアリング 式 実 された Windows コマンドをスコアリングして 閾値以上のコマンドが実 された場合に検知 Windows コマンドを重要度に応じてスコアリング 問題 スコアを作成する負担 ( 更新を続ける必要がある ) スコアが低いコマンドは攻撃者が実 してもわからない 31

33 機械学習 機械学習を いて不正な Windows コマンドを検知 Command executed by the attacker Machine Learning Result del at net use whoami DETECTED! 32

34 機械学習 機械学習を いて不正な Windows コマンドを検知 以降 この 法について検討した結果を紹介 33

35 Lateral Movement の調査 Lateral Movement パターン 機械学習を いた Lateral Movement の検知 検知システム 34

36 機械学習 機械学習とは 知能における研究課題の つで 間が 然に っている学習能 と同様の機能をコンピュータで実現しようとする技術 法のことである - Wikipedia - 教師あり学習 教師なし学習 強化学習 今回使うもの 機械学習 35

37 機械学習のアルゴリズム選定の流れ 学習データ収集 データの前処理 データ分析 評価 最適なアルゴリズムを決定 36

38 学習データの収集 Lateral Movement の調査に使 した 5 つの攻撃キャンペーンのデータを使 APT10 (named by FireEye) APT17 (named by FireEye) Dragon OK (named by Palo Alto) Blue Termite (named by Kaspersky) Tick (named by Symantec) 37

39 機械学習のアルゴリズム選定の流れ 学習データ収集 データの前処理 データ分析 評価 最適なアルゴリズムを決定 38

40 データの前処理 > cd \intel\logs > whoami > klist > net use > klist purge > ping -n > ping -n > net use \\ > dir \\ \c$\users > copy bb.bat \\ \c$\windows\system32\ > net time \\ > at \\ :27 bb.bat > dir \\ \c$\windows\system32\inf.txt > move \\ \c$\windows\system32\inf.txt. > del \\ \c$\windows\system32\bb.bat 何を学習するのか? 39

41 データの前処理 > cd \intel\logs > whoami > klist > net use > klist purge > ping -n > ping -n > net use \\ > dir \\ \c$\users > copy bb.bat \\ \c$\windows\system32\ > net time \\ > at \\ :27 bb.bat > dir \\ \c$\windows\system32\inf.txt > move \\ \c$\windows\system32\inf.txt. > del \\ \c$\windows\system32\bb.bat ホスト上で実 されたコマンド ( 引数なし ) 実 されたコマンド群を 1 つのデータとする 40

42 データの前処理 at del net use whoami Command Set 1 tasklist dir netsh Command Set 2 whoami schtasks echo Command Set 3 dir del echo whoami Command Set 4 41

43 教師データの作成 対象とするコマンドは Lateral Movement の調査で確認した攻撃者が実 することが多いコマンド 50 個に限定 学習対象のコマンド tasklist ver ipconfig net time cd systeminfo netstat whoami nbtstat net start set qprocess nslookup fsutil net view type net use echo net user net group net localgroup dsquery net config csvde net share quser net session query user tracert nltest at move schtasks copy ren reg wmic powershell md cscript runas sc netsh wusa icacls del taskkill klist wevtutil rd 42

44 教師データの作成 43

45 機械学習のアルゴリズム選定の流れ 学習データ収集 データの前処理 データ分析 評価 最適なアルゴリズムを決定 44

46 データ分析 アルゴリズム例 決定 ベイジアンネットワーク ランダムフォレスト k 平均法 ニューラルネットワーク SVM 45

47 データ分析 評価対象 決定 ベイジアンネットワーク ランダムフォレスト k 平均法 ニューラルネットワーク SVM 46

48 ベイジアンネットワーク 原因 と 結果 の因果関係をグラフ構造と お互いに及ぼす影響を確率で表現であらわした確率モデル スプリンクラー動作 が降った T 0.2 F 0.8 Rain T F F T 草が濡れた Sup Rain T F F F 0 1 F T T F T T

49 ベイジアンネットワーク 原因 と 結果 の因果関係をグラフ構造と お互いに及ぼす影響を確率で表現であらわした確率モデル ある変数の値が求まったときに 未観測の変数の確率分布を求められる 未来の予測ができる 48

50 ベイジアンネットワークを いた不正コマンドの検知 net use at 攻撃 あるコマンドが実 された際に その実 が攻撃かどうかを予測する ネットワークモデルを学習によって作成 49

51 ベイジアンネットワークを いた不正コマンドの検知 作成されたモデル 50

52 ベイジアンネットワークを いた不正コマンドの検知 作成されたモデル マルウエア実 の流れ > net use \\ > copy bb.bat \\ \c$\windows \system32\ > at \\ :27 bb.bat Lateral Movement の流れが学習によって適切にモデル化されている 51

53 ニューラルネットワーク 間の脳の動きを模したネットワークモデル画像認識に使 されることが多い Input Output Handwritten digits Neural Network 52

54 ニューラルネットワークを いた不正コマンドの検知 実 されたコマンドをインプット不正の有無をアウトプット del at net use whoami Input Output Attack? True or False Neural Network 53

55 ニューラルネットワークの設計 Feedforward( 全結合 ) neural network Input: 50 個のコマンド Output: 攻撃判定 (True or False) 3-layers Command Set Affine Batch Norm ReLU Affine Soft max True False 54

56 ニューラルネットワークによる学習結果 accuracy epoch 55

57 課題 ニューラルネットワークの問題 学習によって作成したモデルがブラックボックスである どのような基準で判定されているかを知ることができない 学習結果によって判定基準が変化する 56

58 ニューラルネットワークの判定基準 ニューラルネットワークの判定基準を知るための様々な研究が われている ネットワークの可視化変数重要度今回使うもの アクティベーション最 化 (Activation Maximization) 感度分析 (Sensitivity Analysis) LIME (Local Interpretable Model-Agnostic Explanations) 57

59 58 ニューラルネットワークの変数重要度 dsquery cscript netsh tracert nltest nslookup wusa nbtstat ren fsutil set echo netstat copy wevtutil icacls net_share move net_session md cd schtasks csvde net_start net_time type ver systeminfo whoami ipconfig tasklist klist qprocess runas net_use reg sc net_config rd net_user taskkill wmic quser del at powershell net_localgroup net_view net_group query attack command

60 機械学習のアルゴリズム選定の流れ 学習データ収集 データの前処理 データ分析 評価 最適なアルゴリズムを決定 59

61 評価指標 再現率 (Recall) 適合率 (Precision) F 尺度 (Fmeasure) 答えが正の中で 予測が正とされたもの 正しいと判断した中で 答えも正しいのもの 予測精度の評価指標 Recall= TP/TP +FN Precision= TP/TP +FP F-measure= 2Reall Precision/Recall +Precision 60

62 結果 アルゴリズム recall precision F-measure ベイジアンネットワーク ニューラルネットワーク 決定 ランダムフォレスト ,000 回繰り返した平均値 61

63 結果 ベイジアンネットワーク False Negative が少ない ニューラルネットワーク バランスの良いアルゴリズム ランダムフォレスト False Positive が少ない 62

64 Lateral Movement の調査 Lateral Movement パターン 機械学習を いた Lateral Movement の検知 検知システム 63

65 システム概要 64

66 システム概要 ( クライアント ) cmdlogs.bat (Shell Script) cmd.exe 経由で実 されたコマンドを収集 Invoke-DetectLM.ps1 (PowerShell) 収集されたログをサーバに送信 分析結果を確認し アラート表 65

67 システム概要 ( サーバ ) Elasticsearch ログを収集 Kibana ログを可視化 DetectLM.py (Python) Elasticsearch のログを収集し機械学習で不審なコマンド実 検知 66

68 DetectLM.py (Python) Elasticsearch のログを収集し機械学習で不審なコマンド実 を検知する ニューラルネットワークでログ分析 Elasticsearch とのデータやり取りは REST API 67

69 Alert Level クライアントから送信されたログ No Yes 異常判定 ユーザ確認 Yes Alert Level 1 No Alert Level 0 Alert Level 2 68

70 Alert Level ログには 3 段階の検知レベルを設定 Level 0 デフォルト Level 1 機械学習で不審と判断されたログ Level 2 ユーザが報告した異常ログ 69

71 クライアントへの通知 機械学習で異常判定したログ (Alert Level:1) はユーザに通知される 意図したものであった場合は Ignore Flag が設定される 70

72 Kibana Dashboard 71

73 Demo 72

74 今後の予定 アルゴリズムのアップデート 現在のアルゴリズムは時系列データや 実 数を考慮していない コマンドの中には順番に実 しなければならないものがある 時系列データを使 したアルゴリズムにアップデート予定 73

75 まとめ Lateral Movement には Windows コマンドが使 される 不正な Windows コマンドを検知することで Lateral Movement を検知することが可能 機械学習を使 して不正な Windows コマンド検知することを補助することができる 74

76 Thank you Q&A 75