第2回情報編纂研究会情報編纂のためのテキスト処理技術

Size: px

Start display at page:

Download "第2回情報編纂研究会情報編纂のためのテキスト処理技術"

しじんこうじょう
5 years ago
Views:

1 横浜国立大学大学院環境情報学府情報メディア環境学専攻 ( 前期 ) 言語情報処理原論 (11) 森辰則 mori@forest.eis.ynu.ac.jp 1

2 2

3 3

4 4

5 概要新聞記事や Web 文書等テキスト情報は, 重要な情報編纂の対象の一つである. 複数のテキストを編纂し, 利用者が望む情報を創出するために, 情報検索, 情報抽出, 自動要約等, テキストを対象とした情報アクセス技術が研究されている. 5

6 目次今回情報編纂とテキスト処理想定される処理情報検索 ( 文書検索 ) 次回以降 Web に特化した情報検索情報抽出自動 ( 文書 ) 要約文書分類いずれも入門的な事項を中心に紹介 6

7 情報編纂とテキスト処理情報爆発時代の要の技術の一つ多量のテキストから利用者が注目するであろう情報を抽出しコンパクトに纏め上げて提示 7

8 WWW コンテンツ統計調査報告書 [ 総務省 07] 8

9 想定される処理情報抽出何らかの視点で抽出された文書断片可視化情報検索関連のある文書集合自動要約等の纏め上げ纏め上げられた文書対象となる文書集合以降で各技術について概観する 9

10 文書検索 (Information Retrieval) 処理のスキーム情報要求文書群情報要求 (Information need) 利用者がどのような要求をだせるか以下の各点により決まる取り出す文書をどのように定義するか索引に含める情報の選別クエリ言語の仕様文書集合手元にある文書他組織が提供する文書 (e.g. WWW) 教科書 C. Manning et al. Introduction to Information Retrieval. Cambridge University Press (2008) Web 上で本文関連スライド等がよめる 10

11 文書検索の仕組みクローラ (Crawler) 検索対象文書集合ネットワーク等インデクサ (Indexer) 索引情報 (Index) クエリ (Query) クエリパーザ (Query parser) 検索エンジン (Search engine) 検索された文書集合 11

12 12

13 13

14 情報検索システム (1) いくつかのサブプログラムライブラリの複合体 ( クローラ (Crawler)) インデクサ (Indexer) 索引を作る転置ファイル形式のものが多いクエリパーザ (Query parser) 利用者が入力する検索要求を解析し所定の検索式に変換する検索エンジン (Search engine) 索引と検索式に基づき文書を検索する 14

15 情報検索システム (2) ベクトル空間法文書とクエリを同一空間上のベクトルとして表現特徴量をある次元 ( の値 ) とするベクトルベクトル間の類似度によりクエリと文書の間の関連度を定義し順位付け典型的な場合各単語を各次元に対応付け値をその語の重み ( 重要度 ) とする類似度はベクトルのなす角の cosine 値 sim D, Q) = ) ( cos( θ D, Q sim( D3, Q) = 0.99 sim( D1, Q) = 0.94 sim( D2, Q) = 0.58 = D Q D Q 15

16 情報検索システム (3) tf-idf 法語の重みを計算する一手法考慮される値 tf(t,d) : 語 t の文書 D 内での頻度 (Term frequency) df(t) : 文書集合における語 t の文書頻度 (t が現れる文書数 Document frequency) idf : df(t) の逆数 (Inverse document frequency) 文書 D における語 t の重要度 w(t,d) ベクトル空間法の各次元 (= 語 ) の値 N は全文書数方式 1 方式 2 w( t, D) = tf w( t, D) = (1 + log( tf N ( t, D)*log( ) df ( t) N ( t, D)))*log( ) df ( t) etc. 16

17 情報検索システム (4) 転置ファイル (Inverted file) による索引 Index file + Posting file 17

18 ベクトルの各次元 ( 宇宙, ロケット, 自動車, 鉄道 ) 方法 1 で頻度のベクトル TFIDF 値のベクトル文書 1 (0,1,1,1) (?,?,?,?) 文書 2 (1,2,0,0) (?,?,?,?) 文書 3 (0,0,1,1) (?,?,?,?) 文書 4 (1,1,0,0) (?,?,?,?) 18

19 19

20 20

21 21

22 22

23 23

24 24

25 情報検索システムの例無償で利用できる代表的な情報検索システム ( 手元にインデクスを置くもの ) Lucene Indri 無償で利用できる WWW 用検索エンジン API (Application Program Interface) Yahoo! デベロッパーネットワーク REST 形式の API REST(Representational State Transfer) HTTP によるやり取りアプリケーション側からみると HTTP リクエストで要求し XML 形式の結果をもらう Google AJAX Search API JavaScript により検索機能が利用可能独自のシステムを作りたいといったときの用途にはあまり向かない検索エンジン基盤 TSUBAKI の API 自然言語文を検索質問として受け付けることができる標準フォーマットとよばれる形態素解析係り受け解析済みのテキストを受け取れる REST 形式のAPI 25

for Total Ranking [Cutting 97] http://lucene.sf.net/papers/riao97.

26 るしーん Lucene Apacheによる検索エンジン開発プロジェクトの成果ベクトル空間法に基づく検索手法 Space Optimizations for Total Ranking [Cutting 97] 開発者 Douglas Cutting の奥さんのミドルネームで奥さんの母方のおばあちゃんのファーストネーム 26

27 Indri いんどりマサチューセッツ大と CMU が開発 Lemur ( れむーる ) プロジェクトの検索エンジンベイジアン推論ネットワークと言語モデルに基づく検索手法 Indri lemur インドリキツネザル 27

検索エンジン基盤 TSUBAKI つばき http://tsubaki.ixnlp.nii.ac.

28 検索エンジン基盤 TSUBAKI つばき jp/ 京都大学が科研情報爆発プロジェクトの一環として開発自然言語文を検索質問として受け付けることができる通常の索引情報に加えて以下の言語的な情報が利用される係り受け関係同義関係より引用 28

29 Application Program Interface の例検索エンジン基盤 TSUBAKI の場合 TSUBAKI API: 典型的な REST 形式の API リクエスト URL で HTTP を用いて検索要求を行う検索クエリ & パラメタ = 値 & パラメタ = 値... 検索クエリ : utf-8 で記述された検索クエリを URL エンコードしたものパラメタと値 : 次ページの表結果は HTTP レスポンスとして XML 形式で得られる例は次々ページ 29

30 TSUBAKI API のパラメタの例パラメタ値説明 start integer 取得したい検索結果の先頭位置. results integer 取得したい検索結果の数. デフォルトは 10. logical_operator AND/OR 検索時の論理条件. デフォルトは AND. only_hitcount 0/1 force_dpnd 0/1 snippets 0/1 near format integer html/xml ヒット件数だけを得たい場合は 1, 検索結果を得たい場合は 0. デフォルトは 0. クエリ中の係り受け関係を全て含む文書を得たい場合は 1, そうでない場合は 0. デフォルトは 0. スニペッツが必要な場合は 1, スニペッツが不要な場合は 0. デフォルトは 0. クエリ中の単語と単語が n 語以内に出現するという条件のもと検索を実行する ( 近接検索 ). クエリ中の単語の出現順序は考慮される. オリジナルのウェブ文書, または標準フォーマット形式のウェブ文書のどちらを取得するかを指定.id を指定した際は必須. 30

31 TSUBAKI API の出力例 <ResultSet time=" :43:58" query=" 京都の観光名所 " totalresultsavailable="19586" totalresults <Result Id=" " Score=" "> <Title> 関西探索 </Title> <Url> <Snippet> このホームページは京都を中心とした観光名所におとずれその感想を述べていくホームページです </Snippet> <Cache> <Url> </Url> <Size>619</Size> </Cache> </Result> <Result Id=" " Score=" "> <Title> 京都観光タクシー京都の名園 1</Title>... 中略... </Result> </ResultSet> 31

32 TSUBAKI API でキャッシュを利用するリクエスト URL フォーマット名 &id= 文書 ID パラメタ format html : クロールされた元の HTML 文書の形式 xml : 標準フォーマット ( 形態素解析係り受け解析済み ) id TSUBAKI API が返す検索結果のうちの Result 要素の ID 属性の値結果は HTTP レスポンスとして HTML 形式もしくは XML 形式で得られる 32

33 情報検索と情報編纂キーワード等で検索するだけで文書を絞り込むことができる場合検索システムが提供する索引作成手法で十分特別な情報で文書を絞りこみたい場合情報編纂のために検索を使用する場合何らかの情報抽出結果で検索したい例 : 日時場所特定の統計量 etc. フィールド = フィールド名 + 文字列フィールドの利用文書 = 複数のフィールドの複合体文書の内容を保存するフィールド以外に抽出結果を保存するフィールドを作成検索時にはクエリにフィールド名の指定を追加するファセットサーチ ( 後述 ) の実現 33

34 情報検索の主要な技術関連性フィードバック ( 適合性フィードバック ) (Relevance feedback) 疑似関連性フィードバック (Pseudo relevance feedback) 質問拡張 (Query expansion) 情報編纂と関連してファセットサーチ (Faceted search) 探索的検索 (Exploratory search) の一種閲覧 (Browse) と検索 ( Search) 34

35 関連性フィードバック Q 0 Rocchio の手法適合文書更新されたクエリベクトル Q m 元のクエリベクトル既知の適合文書集合 R 既知の非適合文書集合 1 = αq + β D γ 0 r R D 適合文書非適合文書がいくつか既知である必要疑似関連性フィードバック検索結果の上位数件を適合文書だと仮定してフィードバック手法を適用 r 1 N Q m D n N D n 非適合文書 35

36 質問拡張比較関連性フィードバック : 文書に関する追加情報を与えクエリを改訂質問拡張 : 語や句に関する追加情報を与えクエリを改訂例 Q= 本 Q= 本 or ほん or 書籍 or ブック Web 検索エンジンの示唆機能 Google サジェスト方法人手作成のシソーラス大域的解析 ( 静的文書集合全体 ) 自動抽出したシソーラス : 統計的共起情報クエリログマイニング局所的解析 ( 動的 ) 検索結果文書集合の解析 36

37 ファセットサーチファセット : 側面文書が複数の側面を持つと考えそれぞれの側面で絞り込みを行うそれぞれの側面は独立した体系をもつ情報検索に情報抽出結果を融合する一つの手法 ( 森の私見 ) 抽出された情報に基づく探索的検索を実現 Flamenco Search: ファセットサーチの例 UC Berkely のプロジェクト 37

38 Flamenco search のデモノーベル賞受賞者の例 38

P=3/4, R=3/5 順位のある検索結果の評価平均適合率 (Mean average precision: MAP) 11 点平均適合率再現率が 0.0~1.0 の間で 0.

39 情報検索過程の評価順位が無い検索結果の評価適合率 (Precision, P) 検索された適合文書数 / 検索文書数再現率 (Recall, R) 検索された適合文書数 / 全適合文書数 F 値 (F-measure): β=1 がよく用いられる F = 2 1 α P 1 + (1 α) 1 R 2 ( β + 1) PR = β P + R 非適合文書適合文書検索結果 P=3/4, R=3/5 順位のある検索結果の評価平均適合率 (Mean average precision: MAP) 11 点平均適合率再現率が 0.0~1.0 の間で 0.1 刻みに適合率を求め平均補間適合率 (interpolated precision) を用いる MRR (Mean reciprocal rank) 最上位の適合文書の順位の逆数を得点としその得点の平均値 39

40 再現率 - 適合率曲線と補間適合率 4 位まで考慮すると R=3/5, P=3/4 観測された 1.0 補間適合率 3 位まで考慮すると適合率順位文書適合? 0.8 R=2/5, P=2/3 1 D D10 3 D D D6 6 D7 0.0 : 総適合文書数 5 Precision Recall より引用 40

nlp1-12.key

nlp1-12.key 自然言語処理論 I 12. テキスト処理 ( 文字列照合と検索 ) 情報検索 information retrieval (IR) 広義の情報検索情報源からユーザの持つ問題 ( 情報要求 ) を解決できる情報を見つけ出すこと狭義の情報検索文書集合の中からユーザの検索質問に適合する文書を見つけ出すこと適合文書 : 検索質問の答えが書いてある文書テキスト検索 (text retrieval)

第2回 情報編纂研究会 情報編纂のための テキスト処理技術

第2回情報編纂研究会情報編纂のためのテキスト処理技術