Web スクレイピングを 用 いたネットパトロールの 効 率 化 福 地 彩 1, 鵜 川 義 弘 1 宮 城 教 育 大 学 大 学 院 生 活 系 専 修, 2 宮 城 教 育 大 学 情 報 処 理 センター 2 学 校 裏 サイトの 種 類 の 中 で 不 特 定 多 数 が 利 用 し 書

Web スクレイピングを 用 いたネットパトロールの 効 率 化 福 地 彩 1, 鵜 川 義 弘 1 宮 城 教 育 大 学 大 学 院 生 活 系 専 修, 2 宮 城 教 育 大 学 情 報 処 理 センター 2 学 校 裏 サイトの 種 類 の 中 で 不 特 定 多 数 が 利 用 し 書 き 込 み 頻 度 が 高 いインターネット 掲 示 板 は 大 量 の 書 き 込 みに 問 題 発 言 が 埋 もれてしまう 傾 向 があり 早 期 に 見 つけ 出 して 必 要 な 対 処 を 行 うことが 難 しい Web スクレイピング 技 術 と 迷 惑 メール 対 策 ソフトである POPFile を 用 いた 分 類 技 術 を 組 み 合 わせて 問 題 発 言 を 抽 出 することで いわゆるネットパトロール 事 業 の 一 部 に 協 力 しているので その 方 法 を 報 告 する キーワード : 学 校 裏 サイト, ネットパトロール, Web スクレイピング, POPFile 1. はじめに 携 帯 電 話 の 普 及 と 情 報 教 育 の 遅 れにより 児 童 生 徒 のネットワーク 上 でのトラブルが 問 題 と なっている 2008 年 4 月 の 文 科 省 の 調 べでは 学 校 裏 サイト( 学 校 の 公 式 ホームページ 以 外 で 情 報 が 書 き 込 まれている 電 子 掲 示 板 など)が 全 国 に 38,260 件 あるとの 調 査 [1] がある 宮 城 県 ネッ トパトロール 事 業 をしている 宮 城 県 教 育 研 修 セ ンターの 話 では 2010 年 1 月 現 在 で 宮 城 県 の 学 校 裏 サイトは 仙 台 市 を 除 く 856 校 について 14,069 件 見 つかっており 誹 謗 中 傷 法 規 違 反 プライバシーの 流 出 などのトラブルが 絶 えないと いう 特 に 不 特 定 多 数 が 利 用 するいわゆる 大 型 掲 示 板 では 誹 謗 中 傷 をはじめとする 問 題 発 言 は 1 日 に1 万 件 ほどもある 大 量 の 書 き 込 みに 埋 もれて しまい 人 手 によるネットパトロールでは 見 つけ 出 すのが 困 難 な 状 況 にある そこで Web スクレイピング 技 術 を 用 いて 問 題 発 言 を 抽 出 し それを 前 後 の 書 き 込 みとあわせ てメールとして 送 信 し 迷 惑 メール 対 策 ソフトで ある POPFile を 用 いて 分 類 することで 問 題 発 言 のみを 抽 出 した 結 果 をネットパトロール 担 当 者 に 提 供 することで その 事 業 への 支 援 とした 2. Web スクレイピングによる 書 き 込 みの 抽 出 2.1 Web スクレイピングとは Web スクレイピング(Web Scraping)とは Web ページから 個 人 が 必 要 とする 情 報 を 自 由 に 抽 出 できる 技 術 のことを 指 す 本 研 究 では Perl を 用 いてシステムを 構 築 したため Web スクレ イピングの 方 法 として Perl 用 モジュール Web:: Scraper[2] などのツールを 用 いて 抽 出 する 方 法 と 正 規 表 現 ( 文 字 列 の 特 徴 を 表 現 する UNIX 表 記 )によりマッチした 部 分 を 抽 出 する 方 法 とを 検 討 したが 監 視 対 象 である 掲 示 板 の 各 スレッ ド( 掲 示 板 などで 1 つの 話 題 に 属 する 複 数 の 書 き 込 みをまとめたもの)の HTML ソースの 構 造 が Web::Scraper での 抽 出 に 不 向 きであったため 正 規 表 現 により 書 き 込 みの 抽 出 を 行 なっている 2.2 監 視 対 象 今 回 監 視 対 象 とした 掲 示 板 は 以 下 の 4 つで ある 1. 宮 城 学 生 掲 示 板 2. 爆 サイ.com - 東 北 版 - 3. ホストラブ( 東 北 ) 4. 新 石 巻 の 高 校 掲 示 板 これらの 掲 示 板 は 宮 城 県 教 育 研 修 センターで - 13 -

Web スクレイピングを 用 いたネットパトロールの 効 率 化 これまで 実 際 に 目 視 で 監 視 を 行 っていたものであ る 2.3 書 き 込 みの 抽 出 作 成 したプログラムは 以 下 の 順 序 で 書 き 込 み の 抽 出 を 行 なっている ( i ) スレッド 一 覧 にアクセスし スレッド 番 号 を 取 得 (ii) 取 得 したスレッド 番 号 を 元 に 各 スレッド へ 移 動 (iii) 各 スレッドから 書 き 込 みデータを 取 得 (iv) 過 去 の 書 き 込 みデータと 比 較 し 差 分 を 取 り 新 規 書 き 込 みを 取 得 掲 示 板 では 通 常 新 しい 書 き 込 みが 行 われる と それが 明 確 に 分 かるように スレッド 一 覧 ペー ジ( 図 1)の 最 上 位 にスレッドが 表 示 される そ のため スレッド 一 覧 の TOP ページを 見 れば 新 着 書 き 込 みがあったスレッドを 把 握 することが できる 各 スレッドにアクセスすると 新 しい 書 き 込 み 内 容 が 一 覧 として 表 示 されるようになっている ( 図 2) このページのソースから 正 規 表 現 により 書 き 込 み 番 号 書 き 込 み 日 時 書 き 込 み 者 名 書 き 込 み 内 容 を 抽 出 し データとして 保 存 している ( 図 3) このデータは スレッドの 書 き 込 みを 全 て 抽 出 し たものであるため どれが 新 着 書 き 込 みかを 判 断 することができない そのため 新 しくデータ を 保 存 したとき 直 前 に 保 存 したものと 比 較 を 行 い 差 分 を 取 ることで 直 前 のものに 載 っていな いデータが 新 着 書 き 込 みであるとの 判 断 を 行 って いる 図 2 スレッドの 書 き 込 み 一 覧 図 1 ホストラブ( 東 北 )のスレッド 一 覧 ページ 大 抵 の 掲 示 板 では 各 スレッドにはスレッド 番 号 を 持 っており URL 内 にその 番 号 を 記 述 する ことで そのスレッドにアクセスできるように なっている なお 前 述 した 4 つのサイトは 全 てスレッド 番 号 を 有 していた 図 3 プログラムによる 書 き 込 みの 抽 出 - 14 -

宮 城 教 育 大 学 情 報 処 理 センター 研 究 紀 要 第 17 号 (2010) 書 き 込 まれた 内 容 が 問 題 あるものかそうでな いかを 判 断 するためには データを 書 き 込 みごと に 分 割 する 必 要 がある そこで プログラムの 最 後 の 処 理 として 新 着 情 報 を 書 き 込 みごとに 分 割 し 最 終 的 にメールの 形 にして 書 き 込 み 情 報 を 後 述 する Gmail に 転 送 している 2.4 Gmail の 利 用 Gmail は Web 検 索 大 手 の Google が 提 供 する 無 料 の WebMail である その 検 索 機 能 は Web の 検 索 で 想 像 がつくとおり 秀 逸 であり かつ IMAP サーバとしての 利 用 も 可 能 である 筆 者 らは 掲 示 板 に 書 き 込 まれた 記 事 を Gmail に 転 送 するこ とで 掲 示 板 記 事 の 保 存 の 受 け 皿 とし これを 県 の 職 員 とメールフォルダーの 検 索 を 含 めて 共 有 す ることとした ただ 1 日 1 万 通 を 超 えるメール の 転 送 は Gmail でさえ 迷 惑 メール 送 信 サイトと して 扱 われたため 一 旦 学 内 のサーバに 蓄 積 した のち Gmail の POP を 使 用 したメッセージの 確 認 機 能 を 用 いることで Gmail 側 から 取 得 さ せるようにした としての 利 用 に 限 定 され spam と ham とに 分 類 することしかできない しかし 本 研 究 で 採 用 した POPFile は バケツと 呼 ばれる 分 類 ジャン ルを 自 由 に 複 数 設 定 することができるため 迷 惑 メール 対 策 以 外 の 用 途 にも 利 用 可 能 である 3.2 POPFile の 設 定 POPFile は 通 常 では POP のプロキシとしての 利 用 が 想 定 されているが ベータテスト 版 として IMAP での 利 用 もできるようになっている 今 回 は Gmail に 蓄 積 されているメールを 分 類 す るため POP ではなく IMAP での 設 定 を 行 った 設 定 は 詳 細 設 定 タブで imap_enabled に 値 1 を 入 力 し IMAP サーバに 関 する 設 定 に Gmail アカウントに 関 する 情 報 を 入 力 する ま た POPFile では バケツ と 呼 ばれる 分 類 のジャ ンルを 専 用 の Web インターフェースにて 作 成 す ることができる 今 回 は まだ 実 験 段 階 というこ ともあり 分 類 のジャンルとして 監 視 を 必 要 と する 書 き 込 みであることを 表 す watch 問 題 のない 書 き 込 みを 表 す trash を 作 成 した ( 図 4) 3. POPFile による 書 き 込 みの 分 類 3.1. POPFile とは 前 節 で 最 終 的 に 書 き 込 みをメールとしたのは POPFile[3] を 用 いて 書 き 込 みを 分 類 するためで ある POPFile は ベイジアンフィルタを 持 つ 自 動 メール 分 類 ソフトウェアで 元 々は 迷 惑 メー ル 対 策 として 開 発 された ベイジアンフィルタと はベイズ 推 定 を 用 いたフィルタのことで メール の 分 類 を 学 習 させることにより 将 来 的 に 自 動 で 分 類 が 判 定 されるようになる 単 語 の 発 生 頻 度 から 分 類 先 を 判 定 しているため 学 習 量 が 増 えるとそ の 分 だけ 分 類 の 精 度 も 上 がるという 特 徴 を 持 つ 会 員 数 1500 万 人 を 有 する DeNA の Web サービ ス モバゲータウン でもこのベイジアンフィル タの 技 術 を 用 いて 書 き 込 みのチェックを 行 ってい る ベイジアンフィルタを 持 つメール 分 類 ソフト ウェアは 複 数 存 在 するが 多 くは 迷 惑 メール 対 策 図 4 POPFile ジャンルの 設 定 画 面 3.3 POPFile による 書 き 込 みの 分 類 POPFile はコーパスと 呼 ばれる 単 語 データを 元 に 分 類 を 判 定 するが インストール 直 後 はその コーパスを 持 たないため 手 動 で 分 類 を 行 うこと で 学 習 をさせ コーパスのデータを 充 実 させる 必 - 15 -

Web スクレイピングを 用 いたネットパトロールの 効 率 化 要 がある 学 習 は POP 経 由 の 場 合 には Web イ ンターフェース( 図 5)で 行 うが IMAP では Thunderbird など 通 常 のメールソフトを 使 っ て 行 う( 図 6) 的 に watch に 分 類 されたメールだけをチェッ クすることで 注 意 すべき 書 き 込 みを 監 視 するこ とが 可 能 になる 実 際 に 使 用 してみると 分 類 精 度 を 上 げるには 1 件 の 書 き 込 みにある 程 度 特 徴 的 な 単 語 が 入 って いることが 必 要 であることがわかったため Web スクレイピング 時 には 更 新 部 分 の1または 数 行 だけでなく 掲 示 板 のほぼ 1 ページに 相 当 する スレッドごと 収 集 するようにした 4. 今 後 の 課 題 図 5 POPFile の 学 習 (Web 画 面 ) 大 量 の 書 き 込 みの 中 から 問 題 となる 書 き 込 みを 見 つけ 出 す 方 法 は 提 供 できたものの 最 も 重 要 で 緊 急 を 要 する 自 殺 自 傷 系 の 発 言 については こ れまで 開 発 したシステムでは 見 付 け 出 すことがで きない それは 自 殺 自 傷 の 発 言 が 児 童 生 徒 のブログやリアル(ブログよりも 頻 繁 に 書 き 込 ま れる 日 記 的 記 載 )にあり それらは 今 回 のシス テムで 行 ったいわゆる 定 点 観 測 による 方 法 ではな く 前 略 プロフィールを 起 点 とするリンクから 派 生 する 深 いリンクをめぐる Web Crowling 技 術 を 使 わなければ 見 つからないからである 児 童 生 徒 の 命 がかかる 問 題 に 対 して 情 報 と 教 育 分 野 にた ずさわる 者 として 早 急 に 対 応 しなければならな い 大 変 重 要 な 課 題 である 図 6 POPFile の 学 習 (Tunderbird の 場 合 ) 具 体 的 には 未 分 類 unclassified の 場 合 受 信 トレイに 溜 まっている 状 態 なので 掲 示 板 の 書 き 込 みの 内 容 により watch または trash に 移 動 することにより 学 習 されコーパスが 作 られ ていく 徐 々にそれをもとに 分 類 の 判 定 が 行 われ watch または trash に 自 動 で 分 類 されてい くようになる もし その 判 定 が 誤 っている 場 合 は 正 しい 行 き 先 フォルダーに 手 作 業 で 分 類 する ことで 再 学 習 が 行 われる 分 類 精 度 が 上 がれば 再 学 習 の 頻 度 は 少 なくなり POPFile によって 自 動 [1] 文 部 科 学 省 調 査 青 少 年 が 利 用 す る 学 校 非 公 式 サ イ ト http://www.mext.go.jp/ b_menu/houdou/20/04/08041805/001. htm (2010 年 1 月 14 日 アクセス ) [2] Web::Scraper http://search.cpan.org/~miyagawa/web- Scraper-0.32/lib/Web/Scraper.pm (2010 年 1 月 14 日 アクセス ) [3] POPFile http://getpopfile.org/docs/jp (2010 年 1 月 14 日 アクセス ) - 16 -