WIX. URL, WIX. URL,, WIX., Web. id (eid), keyword target. 1 entry wid eid keyword target

Size: px

Start display at page:

Download "WIX. URL, WIX. URL,, WIX., Web. id (eid), keyword target. 1 entry wid eid keyword target 1 1 1 2"

かずただなみこし
7 years ago
Views:

1 DEIM Forum 2014 C8-1 WIX Deep Web Web IndeX (WIX), URL WIX, Web, URL ( )., WIX. URL, WIX., URL. Wikipedia Google Yahoo, Web. Web IndeX Web Web 1. Web, Web IndeX (WIX),. URL XML WIX. WIX, Web, Web URL. Web, Web., Web Web, Web Web, Web. WIX, Web, URL., Web, Web Web., WIX, 2. 1, WIX., Web (Web ) WIX. 2, WIX Deep Web. 1 URL,.., 2. 3 WIX. 4, 5. 6, 7. 2., Web., Web,. Web,.,,., Web, Web IndeX (WIX),. WIX WIX,,., WIX, WIX. Web WIX. WIX, WIX

Web, Web., Web Web, Web Web, Web. WIX, Web, URL., Web, Web Web., WIX, 2. 1, WIX., Web (Web ) WIX. 2, WIX Deep Web. 1 URL,.., 2. 3 WIX.

2 WIX. URL, WIX. URL,, WIX., Web. id (eid), keyword target. 1 entry wid eid keyword target html : : : : 3. Web IndeX 3. 1 WIX WIX XML URL., keyword, URL target. header,, WIX. 1. WIX wikipedia Ameba, Find Find, WIX DB entry. WIX Aho- Corasick, ( ) WIX, FireFox add-on Chrome Extension [1]. 2 Chrome Extension., Web Find, HTML,.., WIX target URL. 1 WIX ( Wikipedia.wix ) WIX WIX, WIX XML,. WIX, WIX, WIX DB. 2 (Chrome Extension) WIX DB WIX DB, WIX, RDB. WIX entry. ( 1). WIX id(wid), 4. WIX 4. 1 WIX. 1

3. 2. 3 Find Find, WIX DB entry. WIX Aho- Corasick,. 3. 3 ( ) WIX, FireFox add-on Chrome Extension [1]. 2 Chrome Extension., Web Find, HTML,.., WIX target URL.

3 2 WIX File Extractor [2] 3 Web 4 Web 5 1, WIX,. 3 Web HTML,., WIX WIX File Extractor [2]., Web, X Path WIX., WIX. 4 5, WIX. Web WIX., HTML, WIX. 3 JSON., Wikipedia WIX. WIX Web, WIX., Web WIX. 4 Web WIX,., Web Web WIX, 2. 2 WIX { "wixfilename" : " ", id 1 wixfile name Wikipedia ja update date 2013-Dec-19 12:12:32 2 Wikipedia en 2013-Dec-02 11:07:54 "username" : " ", 3 ameblo 2013-Dec-02 04:30:06 "origin" : " ", : : : } Web HTTP 3 Last-Modified, DB, wixfilename WIX, username.. origin. 2. html : Web origin. webfile : Web 3 WIX localfile : WIX., Web Web. Web WIX WIX. Ameba 4 WIX, DB.

2 WIX { "wixfilename" : " ", id 1 wixfile name Wikipedia ja update date 2013-Dec-19 12:12:32 2 Wikipedia en 2013-Dec-02 11:07:54 "username" : " ", 3

4 4. 3 keyword WIX. trim, keyword WIX 5 trim next next, target url (1)., { "wixfilename" : " ", keyword target WIX. "username" : " ", "origin" : "html", "crawling" : [{ "url" : " ", "selector" : " ", "keyword" : { "val" : " ", "find" : " ", 6. Web, CSS keyword., keyword trim, keyword. 7. "trim" : [" "] }, "next" : { } }] } 5 3 (* ) crawling array url string URL selector string URL CSS keyword string keyword (val, find, trim) val string selector find string selector CSS blank trim array bracket string, next object 6 ( ),., URL CSS.. 1 url, selector URL, HTML. CSS HTML. CSS href target. 2 keyword, keyword. val, find, 7 ( )

5 単語リストファイルを用いた WIX ファイルの作成 Web 上ローカルに存在する単語リストファイルから WIX ファイルを作成するには, 図 8, 図 9 のような設定ファイルの記述が必要になる. それぞれ uri, filepath の値として参照する単語リストファイルの URI またはパスを指定し, format の部分にはファイルの形式を記述する. prefix の値には, 単語と結合することで URL を形成する文字列を記述する. 図 10 に Web 上の日本語版 Wikipedia の見出し語一覧ファイルを用いた WIX ファイルの生成を行う設定ファイルを例として挙げる. 図 10 日本語版 Wikipedia 単語リストファイルを用いる設定ファイル { "wixfilename" : " ", "username" : " ", その膨大な数のエントリを記述することになってしまい, 作成 "origin" : "webfile", が困難となる. またそれらの中からいくつかを選ぶということ "resource" : [{ になっても, ユーザによってその選定の指標は異なることから, "uri" : " ", 一意に定めることができないといった問題も発生する. (図 11) "format" : " ", "prefix" : " " }] } 図 8 Web 上の単語リストファイルからの WIX ファイルの作成 { "wixfilename" : " ", "username" : " ", 図 11 WIX ファイル化が困難となる例 1 "origin" : "localfile", "resource" : [{ また各コンテンツとそれに対する URL が一覧表示されてい "filepath" : " ", る検索結果ページ自体を WIX ファイル化するとなると, その "format" : " ", URL は入力されうるキーワードの数だけ存在することになり, "prefix" : " " 先と同様に作成は困難となる. 以下の図 12 に Google 検索結果 }] } ページ集合を WIX ファイル化する例を取り上げる. 図 9 ローカルの単語リストファイルからの WIX ファイルの作成 5. Deep Web に対するアタッチ機構 5. 1 背景と概要従来の WIX システムにおいて, 動画や画像などのコンテンツやポータルサイトの検索結果ページなどが遷移先となるような WIX ファイルは存在しなかった. そのような WIX ファイルを作成するとなると, コンテンツが存在する URL や検索結果ページ内の個々の URL を target 要素, それに対応するキーワードを keyword 要素として格納した WIX ファイルを生成することとなる. しかしそのような URL は膨大に存在するため, WIX ファイル化するとなるとそれぞれのキーワードに対して図 12 WIX ファイル化が困難となる例 2

図 10 日本語版 Wikipedia 単語リストファイルを用いる設定ファイル { "wixfilename" : " ", "username" : " ", その膨大な数のエントリを記述することになってしまい, 作成 "origin" : "webfile", が困難となる.

6 しかし検索エンジン結果ページなどの URL は全て共通してクエリパラメータのみが変化し, URL からクエリパラメータを除いた部分 (以下 prefix と呼ぶ. 表 4 参照) は変化しない. このように Web 上に存在しているが検索エンジンのクローラーがインデックス化することのできない領域にある文書や Web ページなどのことを Deep Web という. 例えばポータルサイトでのキーワードに関する検索結果ページや, amazon や youtube のように検索窓にキーワードを入力して得られる結果ページなどである. この特徴を利用し, 固有名詞から成る 1 つの大規模な単語リストと prefix を結合することで動的 URL を生成する, WIX ファイルを使ったアタッチとは異なる新たなアタッチ機構を構築した. prefix は以下の表 4 のように格納されている. 表 4 prefix テーブル id name prefix 1 Google 2 Yahoo 3 amazon sb noss 2?field-keywords= 4 youtube query= : : : 図 13 単語リストを用いたアタッチ 5. 4 形態素解析による新規語の抽出ベースとなる単語リストに加え, Web ページを形態素解析することで上記の単語では網羅しきれない新規語の抽出を行った. 形態素解析には, オープンソースの形態素解析エンジンである単語リストは Wikipedia の見出し語, Google Yahoo 検索急 MeCab 注 1 を使用した. 上昇ワードなどをベースとし, また Web ページを形態素解析することで得られる新規語によって構築した. Web ページは, メインコンテンツ部分の抽出 Google ニュースや Yahoo ニュースなどのニュースページを対 Web ページのテキスト部分が解析対象になるが, その全てを象とした. つまり 1 つの単語リストと prefix との結合を行うこ解析対象としてしまうとメニューバー, ナビゲーションメニュー, とで動的に URL を生成し, 様々なページに遷移することがで広告部分といったいわゆるノイズと呼ばれる部分まで含んでしきる新たなアタッチ機構である. まうこととなる. 一般的に, ノイズ部分は Web ページのコンテンツの 40 50%を占める. (図 14) 5. 2 単語リスト DB とアタッチ機構 Deep Web に対するアタッチ機構では, 単語リスト DB を用いてアタッチを行う. 通常の WIX ファイルを用いたアタッチはキーワードに対応する URL との結合処理を行うが, Deep Web に対するアタッチ機構ではツールバーのボタンと単語リスト DB のキーワードを元にアタッチを行い, アタッチされたキーワードがユーザによってクリックされた際, そのキーワードと押されていたツールバーのボタンの情報を元に, URL を動的に生成し, 遷移することができる. 図 13 にその様子の例を示すベースとなる単語リストの構築本研究では日本語 Wikipedia の見出し語から固有名詞を抽出し, ベースとなる単語リストとした. Wikipedia は世界最大規図 14 Web ページ上のメインコンテンツとノイズ模のコンテンツ量を誇る Web 事典であり, 幅広い分野に関する単語を網羅している. 日本語版の単語総数は 2014 年 1 月時点本研究では Fei Sun らが提案した手法 [3] を用いて Web ペーにおいて 246 万語にのぼる. 4 章において提案した自動更新型ジのメインコンテンツ部分の抽出をまず行い, そこから得られ WIX ファイル生成システムを用いて, Wikipedia の見出し語一るテキストに対して形態素解析を行った. 更に, Web ページの覧ファイルがアップロードされると, ベース単語リストに用いヘッダー情報の内, タイトルキーワードディスクリプションている Wikipedia の見出し語一覧との差分更新を行う仕様とといったメタ情報に記述されている内容も抽出することで, 新なっている. Wikipedia の他に, Google Yahoo 検索急上昇ワードから得られるトレンドワードに着目し, 新規語の追加を行った. 注 1 形態素解析エンジン MeCab, 京都大学情報学研究科および日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクト,

prefix は以下の表 4 のように格納されている. 表 4 prefix テーブル id name prefix 1 Google http://www.google.co.jp/search?&q= 2 Yahoo http://search.yahoo.co.jp/search?p= 3 amazon http://www.amazon.co.jp/s/ref=nb sb noss 2?

7 [4] Web, [5].,,,,..,, HTML., MeCab. ( ).. diffp = P(i) P(i + 1 ) diffp,, P(i) P(i + 1 ), t.,., diffp 0, t WIX , 22 WIX,., 100%, 100%.,. = 100 (1) = 100(2) , 100% WIX WIX, 7 URL CSS, ( ) 100% WIX.,, find, 100% WIX. WIX,,,, WIX. 5, 14, HTML WIX % WIX., Web HTML, CSS,. Web, 100% WIX, Deep Web Web 6 25, 3. = 100(3) Web. 8 Web Web, Web, DB Web, Web

5 21 WIX, 7 URL CSS, ( ) 100% WIX.,, find, 100% WIX. WIX,,,, WIX. 5, 14, HTML WIX. 22 2 100% WIX., Web HTML, CSS,.

8 5 WIX.com FC Barcelona EXILE HP SKE48 HP Ameba NMB48 HP HP HP SAMURAI JAPAN DeNA SAMURAI BLUE HP ,. Wikipedia Google, Yahoo,, HTML.,. 6 Web (%) Web ( ) [1],,, ( ) WIX (1),, DEIM [2], ( ) WIX DB, Vol.11, No.1, pp.7-12, June 2012 [3] Fei Sun, Dandan Song, and Lejian Liao DOM Based Content Extraction via Text Density, SIGIR 11, July 24-28, 2011, Beijing, China. [4], ( ) Web, [5],,,,, FIT2009( 8 ) 7. 1 WIX, Web WIX, WIX. 2 Deep Web, 246 Wikipedia, Google Yahoo,,., WIX.

94 46 HP 1-13 32 SAMURAI JAPAN 1-13 36 DeNA 5-41 90 1-13 104 2-18 91 1-12 114 SAMURAI BLUE 1-12 23 HP 1-20 1634 1 18 170 21 12 3551 1 18 85,.

Web WIX WIX WIX Web Web Web WIX WIX WIX Web 3. Web Index 3. 1 Web Index (WIX), Web. Web, WIX, Web ( WIX ), URL. 3. 2 WIX 1 entry wid eid keyword targe

Web WIX WIX WIX Web Web Web WIX WIX WIX Web 3. Web Index 3. 1 Web Index (WIX), Web. Web, WIX, Web ( WIX ), URL. 3. 2 WIX 1 entry wid eid keyword targe DEIM Forum 2016 H6-5 Web Index 223 8522 3-14-1 E-mail: nanadama@db.ics.keio.ac.jp, toyama@ics.keio.ac.jp Web Index(WIX) (keyword) Web URL(target) (WIX ) Web ( ) Web URL Web WIX RSS WIX Web Index, Web,