夏合宿発表

Transcription

1 DNSレコードおよびプレフィックス の 特 徴 を 用 いたスパム 検 知 法 早 稲 田 大 学 大 学 院 基 幹 理 工 学 研 究 科 情 報 理 工 学 専 攻 後 藤 研 究 室 修 士 2 年 5108B

2 Agenda 1. 研 究 背 景 2. 提 案 手 法 3. 実 証 実 験 4. まとめ 2

3 研 究 背 景 電 子 メールはビジネス 日 常 生 活 に 欠 かせない 全 体 のメールに 対 して87.7 %がspamメール spamメールの 利 用 者 への 影 響 精 神 的 苦 痛 メールの 見 落 とし メール 遅 延 [MessageLabs 調 査 報 告 ] 年 々 増 加 するspammerの 存 在 が 問 題 となっている spammer: spamメールの 送 信 者 3

4 spammerの 送 信 方 法 分 類 ボットネットによるspamメール 業 者 自 身 によるspamメール IRCサーバ spammer spammer メールサーバ 83.4 % 16.6 % 4

5 spammerの 現 状 ボットネットが 大 半 83.4 % 専 用 のリソースを 利 用 したspammerも 見 逃 せない 専 用 のリソース メールサーバ DNSサーバ IPアドレス ドメイン 全 体 の14.6%と 正 常 なメールより 多 い 専 用 のリソースを 利 用 したspammer 87.7%( 全 体 のspamメール 割 合 ) 16.6% = 14.6% 正 常 なメール %( 全 体 のspamメール 割 合 ) = 12.3% 送 信 者 認 証 に 対 応 しているspammerの 存 在 5

6 送 信 者 認 証 ドメイン 偽 装 に 対 する 技 術 代 表 例 SPF(Sender Policy Framework) 認 証 にはDNSレコードを 用 いる 認 証 方 法 SPFレコード 内 のIPアドレスと 送 信 元 IPアドレスを 比 較 特 定 のドメインから 送 信 してくるメールサーバのIPアドレ スを 表 記 した SPFレコード 記 述 例 example.com. IN TXT "v=spf1 ip4:192.xxx.xxx.0/24 ネットワーク 単 位 で 指 定 が 可 能 6

7 送 信 者 認 証 図 説 1. 情 報 の 公 開 mail.aaa.com ns.aaa.com DNSレコード MX txt spf /26 3. 送 信 者 の 確 認 spf? 2.メール 送 信 送 信 者 aaa.com 受 信 者 7

8 研 究 目 的 専 用 のリソースを 保 持 しているspammerの 特 徴 複 数 のメールサーバを 使 用 している 複 数 個 のIPを 使 用 一 部 のネットワークに 集 中 している 可 能 性 ネットワークプレフィックでまとめられる 送 信 者 認 証 技 術 を 悪 用 DNSレコードに 自 身 のIPを 記 述 している このspammerの 特 徴 を 用 いてspammerの インフラの 発 見 する 手 法 を 提 案 する 8

9 提 案 手 法 spammerの 特 徴 から2 種 類 のSBLを 作 成 SBL(spam black list): spammerのipアドレスリスト < 提 案 手 法 1> DNSレコード 情 報 を 用 いたSBL 送 信 者 認 証 を 利 用 しているspammer 逆 手 にとる SPFレコード MXレコード < 提 案 手 法 2> spammerの 偏 り 方 から 予 測 したSBL spammerが 特 定 のネットワークに 集 中 していることに 注 目 ネットワークprefix 毎 のspammer 割 合 いからSBLを 作 成 9

10 提 案 手 法 1 SBL 作 成 方 法 1. spammerが 使 用 しているドメインからSPF MXレ コードの 参 照 2. SPF, MXレコードに 記 述 されているIPアドレス prefixを 抽 出 3. SBLを 作 成 10

11 提 案 手 法 1 図 説 spammer mail.spam.com SBL /26 監 視 test@spam.com 情 報 比 較 ns.spam.com ゾーンファイル MX MX txt spf /26 11

12 提 案 手 法 2 spammerの 偏 り 方 から 予 測 したSBLの 作 成 1. 全 ネットワーク ~ を/29でブロック 毎 に 区 切 る 8 個 のIPアドレスのブロック 2. 各 ブロックにspammerが 含 まれる 割 合 でspam prefix 定 義 本 研 究 では 50%, 75%の2 通 りの 割 合 で 実 験 3. SBLを 作 成 /29 ~ /29 12

13 実 証 実 験 実 験 データ 評 価 方 法 実 験 1 提 案 手 法 1を 用 いたspammer 検 出 実 験 2 提 案 手 法 2を 用 いたspammer 検 出 13

14 実 験 データ 企 業 網 にて 計 測 された2009 年 3 月 のメールログ メールログ メール 送 信 者 のIP アドレス メールの 分 類 spam: spamメールと 判 断 された ham: 正 常 なメールと 判 断 された grey list: grey listによって 拒 否 された spammer, legitの 定 義 spammer: スパムメール 送 信 者 spamメールを9 割 以 上 送 っている or grey listによって 拒 否 されて メールの 受 信 がない legit: 正 常 なメール 送 信 者 hamメールを9 割 以 上 送 っている 14

15 評 価 方 法 評 価 項 目 spammer 検 知 数 spammer 誤 検 知 数 legitをspammerと 検 知 検 知 したspammerが 送 信 したspamメール 数 検 知 したspammerがgrey listによって 拒 否 された 数 既 存 研 究 との 比 較 spamhaus.orgが 提 供 するSBL 業 務 用 メールサーバにおいて 迷 惑 メール 対 策 にspamhaus.orgが 採 用 されていることが 多 い ボットネットを 除 いたspammerを 中 心 にSBLとして 提 供 している 15

16 実 験 1 概 要 DNSレコードを 用 いたspammer 検 出 検 出 の 流 れ 1. spammerが 使 用 するドメインのSPF, MXレコードを 参 照 2. SPF, MXレコードからSBLを 作 成 3. メールログとSBLのフィルタリングを 行 いspammerを 検 出 16

17 実 験 1 結 果 表 1: DNS レコードを 用 いたspammer 検 出 smtpログ 全 体 提 案 手 法 1 既 存 手 法 IPアドレスの 総 数 (IPアドレス 数 ) 1,148,559 5,760 1,599 spammer (IPアドレス 数 ) 1,022,038 1, legit (IPアドレス 数 ) 5, spamメール 送 信 総 数 ( 回 数 ) 91,589 33,944 1,626 grey list 総 数 ( 回 数 ) 13,382,419 68,704 26,843 17

18 実 験 1 考 察 spammer 検 出 率 提 案 手 法 1> 既 存 手 法 spammer 誤 検 知 率 提 案 手 法 1> 既 存 手 法 検 知 したspamメール 数 提 案 手 法 1> 既 存 手 法 全 体 の1/3を 検 出 spamメールを 大 量 に 送 信 しているspammerの 検 出 検 知 したgrey list 数 提 案 手 法 1> 既 存 手 法 18

19 実 験 2 概 要 spam prefixを 用 いたspammer 検 出 検 出 の 流 れ 1. /29で 区 切 ったprefixにspammerが50%, 75% 以 上 含 まれてい るprefixをSBLとする 2. メールログとSBLのフィルタリングを 行 いspammerを 検 出 19

20 実 験 2 結 果 表 2: spam prefixを 用 いたspammer 検 出 smtpログ 全 体 提 案 手 法 2 50% 提 案 手 法 2 75% 既 存 手 法 IPアドレスの 総 数 (IPアドレス 数 ) 1,148,559 1, ,599 spammer (IPアドレス 数 ) 1,022,038 1, legit (IPアドレス 数 ) 5, spamメール 送 信 総 数 ( 回 数 ) 91, ,626 grey list 総 数 ( 回 数 ) 13,382,419 71,422 29,761 26,843 20

21 実 験 2 考 察 spammer 検 出 率 提 案 手 法 2> 既 存 手 法 spammer 誤 検 知 率 提 案 手 法 2< 既 存 手 法 spammerが 密 集 している 事 を 示 している 検 知 したspamメール 数 提 案 手 法 2> 既 存 手 法 検 知 したgrey list 数 提 案 手 法 2> 既 存 手 法 grey listによって 弾 かれているspammerの 検 出 が 可 能 21

22 各 手 法 における 検 出 したspammer の 比 較 表 3: 各 手 法 における 検 出 したspammer の 比 較 比 較 内 容 提 案 1 と 提 案 2 提 案 1 と 既 存 提 案 2 と 既 存 検 出 したspammer が 同 じspammer の 数 1, 検 出 手 法 提 案 手 法 1 提 案 手 法 2 既 存 手 法 spammer の 検 出 数 表 4: 提 案 手 法 既 存 手 法 を 用 いたspammer 検 出 数 1,381 1,

23 まとめ 提 案 手 法 によるspammer 検 出 既 存 手 法 に 比 べて 高 い 検 出 率 を 実 現 手 法 によって 検 出 しているspammerの 違 い 様 々な 方 法 によるspam 検 知 が 必 要 23

24 ご 清 聴 有 難 うございます 24

25 補 足 資 料 25

26 今 後 の 課 題 大 規 模 なISP レベルでの 分 析 個 々のspammer のprefix から 大 規 模 なISP レベルまでの 検 出 が 行 えるのではないかと 考 えられる spammerの 定 義 変 化 による 検 出 結 果 の 比 較 効 果 的 にspammer を 検 出 できる 敷 居 値 を 見 つける 26

27 spamメール 厳 密 な 定 義 は 無 い ユーザに 対 して 無 差 別 に 広 告 を 送 信 してくるようなメール 一 般 的 には 迷 惑 メールといわれている 語 源 "SPAM(スパム)" とはもともと アメリカのHormel Foods 社 の 缶 詰 ( 青 い 缶 詰 に 入 ったピンクの 加 工 肉 )の 商 品 名 で この SPAMの 缶 詰 をネタにしたMonty Pythonというコメディ 番 組 が スパムの 語 源 となったという 説 27

28 代 表 的 な 既 存 技 術 spamメール 対 策 メール 本 文 受 信 前 におけるフィルタリング Gray list(メール 再 送 ) 正 常 なクライアントへの 負 荷 が 高 くなる メール 受 信 の 遅 延 spam Black List(spam 送 信 者 のIPアドレスのリスト) ボットに 感 染 しているIPアドレスは 登 録 されていない IPの 変 更 があった 場 合 見 逃 しが 起 きる S25R(Selective SMTP Rejection) SPF(Sender Policy Framework) 電 子 メールにおける 送 信 ドメイン 認 証 のひとつ 差 出 人 のメー ルアドレスが 他 のドメインになりすましていないかどうかを 検 出 28

29 SPFの 普 及 率 表 5: SPFレコード 普 及 率 ドメイン 数 2,651,154 2,651,154 SPF 記 述 有 version1 155, ,786 version mx_count 852,442 普 及 率 (%)[ドメイン 数 /(version1+version2)] 表 6: JPドメインに 関 するSPFレコード 普 及 率 ドメイン 数 Jpドメイン 95,589 95,589 JpドメインでSPF 記 述 有 14,136 15,686 普 及 率 (%)[ドメイン 数 /JpドメインでSPF 記 述 有 ]

30 spammerのspfの 普 及 率 内 容 spammer smtp ログ 全 体 送 信 に 使 用 したドメイン 数 119, ,375 SPF レコードに 記 述 あるドメイン 数 20,289 49,435 MX レコードに 記 述 あるドメイン 数 107, ,696 SPF レコード 記 述 率 (%) MX レコード 記 述 率 (%) MX レコードがSPF レコードにマッチした 割 合 (%)

31 spammerが 使 用 するドメイン smtp ログ 収 集 月 2009 年 3 月 spammerが 使 用 するドメインの 総 数 119,353 Bad ドメイン 86,606 Good ドメイン 1,128 Badドメイン, Goodドメインの 定 義 Bad ドメイン:スパムメール 送 信 者 spamメールを9 割 以 上 送 っている or grey listによって 拒 否 されてメールの 受 信 がない Good ドメイン: 正 常 なメール 送 信 者 hamメールを9 割 以 上 送 っている 31

32 spammerドメイン 偽 装 方 法 spammer mail.aaa.com [ xxx.xxx.xxx.xxx ] SMTP Server mail.bbb.co.jp [ yyy.yyy.yyy.yyy ] HELO aaa.com : 偽 装 可 能 : 偽 装 困 難 250 bbb.co.jp Hello aaa.com[xxx.xxx.xxx.xxx] pleased to meet you MAIL FROM:<test@aaa.com> 250 Sender ok RCPT TO:<test@bbb.co.jp> 250 Recipent ok DATA 32

33 既 存 技 術 spamメール 対 策 メール 本 文 受 信 前 におけるフィルタリング Gray list(メール 再 送 ) 正 常 なクライアントへの 負 荷 が 高 くなる メール 受 信 の 遅 延 spam Black List(spam 送 信 者 のIPアドレスのリスト) ボットに 感 染 しているIPアドレスは 登 録 されていない IPの 変 更 があった 場 合 見 逃 しが 起 きる S25R(Selective SMTP Rejection) 送 信 者 認 証 SPF(Sender Policy Framework) 電 子 メールにおける 送 信 ドメイン 認 証 のひとつ 差 出 人 のメールアドレス が 他 のドメインになりすましていないかどうかを 検 出 33

34 SPF 以 外 の 送 信 者 認 証 技 術 に 関 して DKIM (DomainKeys Identified Mail) Yahoo! 社 が 提 唱 した 方 式 メールシステムを 管 理 する 個 々のメールに 電 子 署 名 を 添 付 電 子 署 名 をもとに 認 証 を 行 う 34

35 様 々なBL(black list) RBL (Real-time Blackhole List) DNSBL (DNS Blacklist) IPアドレスの 一 覧 DNSWL (DNS Whilelist) 正 常 なIPアドレス 一 覧 RHSBL (Right Hand Side Blacklist) IPアドレスではなくドメイン 名 の 一 覧 URIBL (Uniform Resource Identifier Blacklist) メールの 本 文 で 言 及 されているウェブサイトのURIの 中 に 出 現 するドメイン 名 とIPアドレスの 一 覧 35

36 spam メール 送 信 国 のワースト12 36

37 spamhausを 比 較 対 象 とした 理 由 業 務 用 メールサーバにおいて 迷 惑 メール 対 策 に spamhaus.orgが 採 用 されていることが 多 い ボットネットを 除 いたspammerを 中 心 にSBLとして 提 供 して いる 37

38 SMTPクライアントとサーバのパケット 送 受 信 SMTP Client mail.aaa.com [ xxx.xxx.xxx.xxx ] SMTP Server mail.bbb.co.jp [ yyy.yyy.yyy.yyy ] HELO aaa.com : 偽 装 可 能 : 偽 装 不 可 能 250 bbb.co.jp Hello aaa.com[xxx.xxx.xxx.xxx] pleased to meet you MAIL FROM:<test@aaa.com> 250 Sender ok RCPT TO:<test@bbb.co.jp> 250 Recipent ok DATA 38

39 参 考 文 献 1 [1] syamantec 10 年 間 におけるスパムに 関 するレポート [2] メッセージラボ 社 [3] メッセージラボインテリジェンス2009 年 間 レポート [4] McColo Takedown: Changes in International Spam Distribution and Asprox Botnet Activity [5] ソフォス 社 [6] ソフォス 社 スパムの 最 新 の 傾 向 に 関 するレポート html/ 39

40 参 考 文 献 2 [7] Yahoo!! [8] Symantec Corporation [9] The Spamhaus Project [10] SORBS [11] SpamCop.net [12] $12 million ordered from anti-spam group [13] Bayesian spam filtering [14] Graham,P. A Plan for Spam 40

41 参 考 文 献 3 [15] Route Views Archive Project Page [16] IANA [17] MaxMind - GeoIP [18] the new p0f [19] M. Wong,W. Schlitt, Sender Policy Framework (SPF) for Authorizing Use of Domains in , Version 1,RFC 4408, April [20] 本 嶋 悠 也 IP アドレスの 特 徴 を 用 いたspam メール 判 別 方 法 早 稲 田 大 学 理 工 学 部 コンピュータ ネットワーク 工 学 科 2008 年 度 卒 業 論 文, [21] 関 根 義 明 IP アドレスとホスト 名 の 特 徴 によるspam メールの 判 別 法 早 稲 田 大 学 大 学 院 理 工 学 研 究 科 情 報 ネットワーク 専 攻 2005 年 度 修 士 論 文,

42 参 考 文 献 4 [22] 藤 井 優 尚 経 路 情 報 に 基 づくスパムメールの 判 別 方 法 早 稲 田 大 学 大 学 院 理 工 学 研 究 科 情 報 ネットワーク 専 攻 2004 年 度 修 士 論 文, [23] 澤 谷 雪 子 三 宅 優 SMTP サーバにおけるDATA コマンド 受 信 時 でのスパ ムメール 判 別 に 関 する 検 討 と 大 規 模 データによる 評 価 IEICE Technical Report NS ( ). [24] Yugui 初 めてのRuby O REILLY. [25] 山 西 健 司 データマイニングによる 異 常 検 知 共 立 出 版. [26] Randal L. Schwartsz, Tom Phoenix, brian d foy, 近 藤 嘉 雪 訳 初 めての Perl O REILLY. [27] 渡 部 綾 太, 愛 甲 健 二 スパムメールの 教 科 書 DATA HAUSE. [28] W.Richard Stevens, 井 上 尚 司 監 訳, 橘 康 雄 訳 詳 解 TCP/IP プロトコル ソフトバンク,