Microsoft PowerPoint SPAM.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint SPAM.ppt"

けいしょうたつざわ
4 years ago
Views:

1 Bayesian Filtering を用いた spam 対策明治大学情報システム管理課服部裕之 spam だらけの朝朝の仕事はまずメールを消すことから商品案内名簿屋ねずみ講まがいエロクスリ 2

2 本日のメニュー spamを排除する方法は? 今注目の Bayesian Filtering とは? 使いものになるのか? Grac からの利用は可能か? 3 spam の排除方法判別場所 1 メールサーバでフィルタ判別場所 2 メールクライアントでフィルタ 4

spam 対策技術 spam 対策中継しているメールサーバに注目 OpenRelay データベース第三者メール中継を許可しているメールサーバから送信されたメールを拒否 DNS 逆引きデータベース DNS の逆引き DB に未登録のメールサーバから送信されたメールを拒否メールの中身 ( ヘッダ

3 spam 対策技術 spam 対策中継しているメールサーバに注目 OpenRelay データベース第三者メール中継を許可しているメールサーバから送信されたメールを拒否 DNS 逆引きデータベース DNS の逆引き DB に未登録のメールサーバから送信されたメールを拒否メールの中身 ( ヘッダボディ ) に注目テキストフィルタ特定の文字列が現れたら spam であると判断ベイズフィルタベイズ理論を用いて解析 spam かどうかを判別 5 テキストフィルタ例 : Grac メール振り分け機能選択肢選択肢 spam 排除には使えないルール追加の手間暇精度の悪さ 6

4 ベイズフィルタ - Bayesian Filtering - Bayes 理論を応用したメールの分類手法前提特定の単語は spam に高頻度で出現するそれ以外の単語は非 spam に高頻度で出現するよって 1. 新規に到着したメールに含まれる単語を過去の spam, 非 spam メールに含まれている単語と比較することによってそのメールが spam であるかどうかを自動的に判別可能であるはず 2. 判別結果をフィードバックすればより高精度の自動分類が可能になるはず 7 Bayesian Filtering の仕組み準備 spam メール非 spam メール単語抽出 spam 確率計算単語 ZZZ YYY XXX CCC HHH spam 確率単語の spam 確率 DB フィードバック参照判定 From: ほげほげ To: hhat@isc.me Subject: ADV: XXX is TTTT. KKK CCC VVVV. ZZZ WWW YYY 単語抽出単語 XXX YYY ZZZ : spam 確率 : メールの spam 確率 0.98 spam!! 8

5 単語の spam 確率の求め方 (Paul Graham 式の場合 ) 単語のspam 確率 = min( 1.0, b / nbad ) min( 1.0, 2*g / ngood )+ min( 1.0, b / nbad ) (2*g+b>5) 0.4 非 spam 単語を重みづけ出現頻度の低い単語は計算しない (others) ただし 0.01 を下限 0.99 を上限とする b g nbad ngood その単語がspamメール中に現れた回数その単語が非 spamメール中に現れた回数 spamメールの総数非 spamメールの総数 9 メールの spam 確率の求め方 (Paul Graham 式の場合 ) メールの spam 確率 = p1 * p2 * * p15 p1 * p2 * * p15 + (1-p1)*(1-p2)* *(1-p15) pn はメール中の特徴的な単語 (=0.5 から最も離れている ) 15 個のそれぞれの spam 確率メールの spam 確率 > 0.9 を spam メールであると判断 10

6 Bayesian Filtering の評価使い物になるのか? 判別精度はどのくらいあるのか? 何通くらいのメールを学習すればよいのか? 11 評価に用いたプログラム bsfilter Nabeya Kenichi 氏作 GPL rubyで記述 3つの動作モードフィルター POPプロキシー IMAPプロキシー 12

7 spam 確率 DB の作成に使用したメール数と判別精度 % 通 spamをspamと判定 spamを非 spamと誤判定非 spamを非 spamと判定非 spamをspamと誤判定横軸 :spam 確率 DB を作成するために用いた spam, 非 spam メール数 ( 通 ) (12 月 7 日までに hhat 宛に到着したメールを使用 ) 縦軸 : 新着メールの判定精度 (%) (12 月 8 日以降に hhat 宛に到着したメールを使用 spam 非 spam それぞれ 200 通を判別 ) 13 spam 確率 DB の作成に使用したメール数と spam 確率 DB のファイルサイズ DB ファイルサイズ (KB) ファイルサイズ (KB) 16,000 14,000 12,000 10,000 8,000 6,000 4,000 2, spam 確率 DB の作成に使用したメール数 ( 通 ) 14

spam 確率 DB の作成に使用したメール数とメールの判別時間メール判別時間 ( 秒 ) 判別時間 ( 秒 ) 0.4 0.35 0.3 0.25 0.2 0.15 0.1 0.

8 spam 確率 DB の作成に使用したメール数とメールの判別時間メール判別時間 ( 秒 ) 判別時間 ( 秒 ) spam 確率 DB の作成に使用したメール数 ( 通 ) 実行環境 : SunBlade100 (UltraSPARCIIe 500MHz, mem:256mb, Solaris8) 15 Grac での Bayesian Filtering 受信 1. spam 判定処理 (bsfilter) 2. 自動振分処理 (Grac ) sendmail popper 送信 SMTP メールスプール (/var/mail/spool) POP3 個人用メールフォルダ ($HOME/Mail/ginbox) Grac SPAM 受信箱 WWW サーバ HTTP メールサーバ Web ブラウザ 16

9 デモ 17 問題点速度 spam 単語データベースの更新に時間がかかるディスク消費量学習用のメール 4000 通のメールで 40MB 程度 spam 確率データベース 4000 通のメールから作成したデータベースのサイズは 12MB 程度 18

10 他人の spam 確率 DB を使って spam の判別は可能か? % 通 spamをspam と判定 spamを非 spamと誤判定非 spamを非 spamと判定非 spamをspamと誤判定横軸 :spam 確率 DB を作成するために用いた spam, 非 spam メール数 ( 通 ) (12 月 7 日までに hhat 宛に到着したメールを使用 ) 縦軸 : 新着メールの判定精度 (%) (www-admin@meiji.ac.jp 宛のメールを使用 spam:150 通非 spam:50 通を判別 ) 19 spam を非 spam と誤判別したメールの例すべて日本語で書かれた spam メール subject に未承諾広告表示無し Subject: インパクトのある卒業記念品のご提供事務局ご担当者様突然のご連絡大変失礼いたします総合通信販売を展開しております株式会社 xxxx の xxx と申します今回ご連絡をさせて頂きましたのは今までにない卒業記念品のご提供をさせて頂きたく失礼とは承知の上ご連絡をさせて頂きました中立を装った短いメール Feel Younger. find out about it here 20

11 非 spam を spam と誤判別したメールの例すべて入学に関する問い合わせメール英語 Subject: Admission To: Dear Sir I am student of Banglades. I Completed my Bachelor Degree and Masters Degree in Education at Institute of Education, University of Dhaka, Bangladesh. However, I want to get chance to admit to your university at M.Phil with P.hd. programme. What can I do for? Plz. inform me. Do you Yahoo!? Protect your identity with Yahoo! Mail AddressGuard これはまずい! 21 まとめ Bayesian Filtering は使えるか? Yes 但し他人宛のメールで学習した spam 確率 DB を使う時は要注意 (www-admin の例 ) 何通くらい学習すれば使い物になるか? 最低 400 通 (spam, 非 spam 各 200 通 ) Grac から使えるか? Yes 但しディスク消費量には要注意 22

12 参考文献 Paul Graham スパムへの対策 ---A Plan for Spam am-j.html ベイジアンフィルタの改善 --- Better Bayesian Filtering tter-j.html Spam Detection /16/spamDetection.html spam メールのアーカイブ spamassasin 23 [ 参考 1] bsfilter 使用例単語の spam 確率 DB の更新 spam メールの単語を確率 DB に追加 bsfilter --update --spam < メール全文非 spam メールの単語を確率 DB に追加 bsfilter --update --clean < メール全文新着メールの判定メールの spam 確率を求める bsfilter < 新着メール判定結果をメールのヘッダに挿入 bsfilter --insert-probability --insert-flag < 新着メール 24

13 [ 参考 2] Grac への応用 ( 設定例 ) 1. メールの転送設定 $HOME/.forward ファイル " /home3/ob00020/bin/procmail" 2. procmailの設定 $HOME/.procmailrc ファイル :0 fw /home3/ob00020/bsfilter --pipe --insert-flag --insert-probability :0 fw * ^X-Spam-Probability: *(1 0.[6789]) /home3/ob00020/bin/subject.pl 3. subject.pl "Subject: タイトル " "Subject: 未承諾広告 : タイトル " に変換 4. Grac 設定メール振分けルールの設定題名に未承諾広告が含まれれば spamフォルダへ振り分け 25

<4D F736F F D B838B838A836A B B82C98AD682B782E982B288C493E05F E636F6D5F2E646F63>

<4D F736F F D B838B838A836A B B82C98AD682B782E982B288C493E05F E636F6D5F2E646F63> メールサーバのリニューアルに関するご案内日頃よりサービスをご利用いただき誠にありがとうございますこの度メールサービスの品質機能向上のためメールサーバのリニューアルメンテナンスを実施致しますご利用のお客様におかれましては以下の内容をご確認ください何卒ご理解を賜りますよう宜しくお願い致します対象サービス 2 ページ主な変更点 2 ページサービスご利用におけるお客様への影響 4 ページ