2005年度人工知能学会全国大会・原稿作成案内 (Word版）

Size: px

Start display at page:

Download "2005年度人工知能学会全国大会・原稿作成案内 (Word版）"

とらふみわくや
5 years ago
Views:

1 SIG-SWO-A 個体同一性と同義性を利用した日本語 Wikipedia オントロジーの拡張 An Automatic sameas link discovery from Wikipedia 香川宏介玉川奨山口高平 Kosuke Kagawa Susumu Tamagawa Takahira Yamaguchi 慶應義塾大学 Keio University Abstract: This paper discusses how to automatically discover "sameas" and "meaningof" links from Japanese Wikipedia in order to extend Japanese Wikipedia Ontology. We gathered relevant features such as IDF, string similarity, number of hypernym, and so on. We have identified the link-based score on salient features based on SVM results with 960,000 anchor link pairs. These case studies show us that our link discovery method goes well with more than 70% precision/recall rate.. 1. はじめに近年の Linked Open Data の広がりを受け, これまで我々はハブとして日本語 Wikipedia オントロジー [1] を構築し,Wikipedia より多くの関係を抽出してきた. 我々は次のステップとして汎用オントロジーを用いることでのサービス提供や,LOD のハブとしてほかのドメインとの統合も視野に入れてきているが, これらのタスクにおいて表記ゆれや語義曖昧性の問題に直面する. すなわち, 我々が日常的に用いられる語彙とオントロジーにおけるインスタンスが必ずしも 1 対 1 に対応しないという問題が生じる. 用いる語彙自身に曖昧性がある場合や, 表記ゆれによってある 2 つのインスタンスが同一物を指していても異なるものとして扱われたり, 表記ゆれによってその語自身の意味が曖昧性を持つようになったりすることでデータ統合におけるコストがかかる. サービスへの応用面では, 語彙とインスタンスとの結びつけができないためにカバー率が下がるといった問題が生じる. 本手法では, 日本語 Wikipedia オントロジーの拡張として, 同リソースを用い, インスタンスとして用いられる日本語 Wikipedia の記事タイトルに対し, 同一の意味をもつ語彙と sameas リンクまたは ( 後に定義する ) meaningof リンクを機械学習を用い, 分類器により関連付けることを目的とする. 2. 関連研究 Christian Bøhn [2] らは,Wikipedia のアンカーリンクに着目し, Query Expansion を目的としてシノニムを収集することに成功している. しかし, 彼らはあくまでも近い意味を獲得しただけであって, どのような関係を持ち合わせているか明確にはしていない. また, これまで日本語での実験はなされてこなかった.Linked Open Data のハブとしては日本語 Wikipedia オントロジーのほかに日本語 DBpedia[3] が有名だが, 手動構築した 170 のクラスと 720 のプロパティを利用し,Infobox の構造をそのまま抽出しており,Wikipedia 自身の語彙網羅性を考えると, 語彙数は Infobox の数 ( 全記事数の 25% 程度 ) または記事タイトルの数に限定される. 3. 定義本項では sameas リンクと meaningof リンクの定義について述べる.W3C によると,sameAs リンクとは "Such an owl:sameas statement indicates that two URI references actually refer to the same thing: the individuals have the same identity". と記述があり, インスタンス間の関係は rdf:type や dc:contributor のような有向なエッジではなく, 一方のインスタンスはもう一方のインスタンスへ常に owl:sameas リンクが貼れるはずである. この定義から, ある 3 つのインスタンス A, B, C において,A=B かつ A=C のときに常に B=C が成り立つはずである. もし, インスタンス A, B, C において,A 自身が曖昧性を持ち,B と C が特定の意味のみを表現する (= インスタンス ) 場合, これら各々に同じ意味を示す表現として A から sameas リンクを貼るとすると,A=B かつ A=C が成り立つが,B=C は成り立つとはいえない. 例えば, ワシントン = ワシントン D.C. かつワシントン = ジョージワシントンの場合, ワシントン D.C.= ジョージワシントンは成り立たない. この場合, sameas 関係が崩れているが, これはインスタンスとして扱った A 自身が唯一に定まる意味を持っておらず, 曖昧性を持っていることに起因する. したがって, インスタンス A, B, C を定義した場合, これら自身はいずれも曖昧性を持ち合わせてはならないはずである. 以上より, 本手法では, インスタンス A, インスタンス B 共に曖昧性を持たず, 互いに同じ意味を持ち合わせるときにのみ sameas リンクを貼る ( 図 1). あるインスタンス A が曖昧性を持つ場合,A から別の同じ意味をもつインスタンス B へは我々が提唱する meaningof リンクを貼ることとする ( 図 2). 本手法では意味表現として日本語 Wikipedia の記事タイトル URI を用い, インスタンスとする. これは,Wikipedia では記事タイトルに曖昧性を持たせないように定められ,1 タイトルにつき唯一の意味表現を行っているからである

図 1 sameas リンク (2) アンカーリンク通常の Wikipedia の記事にはアンカーリンクと呼ばれる, Wikipedia の記事同士をつなぐ内部リンクが豊富に存在している. 各々のアンカーリンクは Wiki 形式のタグ表現が用いられ, [[ リンク先記事タイトル記事中での表記 ]] といった形式で記事中での表記とリンク先の両方が記述されている ( 図 4)

(1) 曖昧さ回避のページ Wikipedia の記事タイトルは括弧などの記号を使うことで曖昧性を排除している. もし閲覧者が検索エンジンで曖昧な語を検索したり,Wikipedia 内での検索ツールで曖昧な語を検索した場合, 閲覧者は曖昧さ回避のページに訪れることになる.

すなわち, 曖昧さ回避のページでは, そのタイトルが意味する各々の Wikipedia の URI に対してリンクが貼られていることになり, 前述した meaningof リンクの関係になっている. 曖昧さ回避のページの目的を考え, 本手法ではこのリソースから ( タイトル, 各々の Wikipedia URI) というペアをスクレイピングによって獲得し,meaningOf ペアとして抽出する.

本手法では語義曖昧性タスクを行うわけではなく, あくまで文脈的な情報を用いない, 汎用的な語彙関係を定義することが目的なので, どの記事におけるどの位置にそのアンカーリンクが出現しているかについての情報は捨て, 全ての記事におけるあらゆる場所からアンカーリンクを収集する.

2 図 1 sameas リンク (2) アンカーリンク通常の Wikipedia の記事にはアンカーリンクと呼ばれる, Wikipedia の記事同士をつなぐ内部リンクが豊富に存在している. 各々のアンカーリンクは Wiki 形式のタグ表現が用いられ, [[ リンク先記事タイトル記事中での表記 ]] といった形式で記事中での表記とリンク先の両方が記述されている ( 図 4). 4. 抽出方法図 2 meaningof リンク本項ではまず抽出元リソースについてのデータを示し, 各リソースごとの特徴を示す. 次に抽出概要を述べ, 機械学習に用いる素性について説明する. 4.1 抽出元リソースについて Wikipedia における以下の 3 つのリソースから, sameas リンクと meaningof リンクの抽出を行う. (1) 曖昧さ回避のページ Wikipedia の記事タイトルは括弧などの記号を使うことで曖昧性を排除している. もし閲覧者が検索エンジンで曖昧な語を検索したり,Wikipedia 内での検索ツールで曖昧な語を検索した場合, 閲覧者は曖昧さ回避のページに訪れることになる. 曖昧さ回避のページは, 曖昧な語をタイトルとし, 主にリスト構造によっそ記事タイトルを列挙し,Wikipedia 閲覧者がどの意味を意図しているのかをガイドするページとなっている. 図 3 のように, 例えばワシントンという語は文脈によって人名を指すことや, 地名を指すことがあり, それぞれの項目ごとに短文で意味を記述している. すなわち, 曖昧さ回避のページでは, そのタイトルが意味する各々の Wikipedia の URI に対してリンクが貼られていることになり, 前述した meaningof リンクの関係になっている. 曖昧さ回避のページの目的を考え, 本手法ではこのリソースから ( タイトル, 各々の Wikipedia URI) というペアをスクレイピングによって獲得し,meaningOf ペアとして抽出する. すなわち, 以下の例では ( ワシントン, ジョージワシントン ),( ワシントン, マーサワシントン ) のように獲得する. 図 4 記事中のアンカーリンクしたがって, アンカーリンクタグを収集することで, 表記文字列と記事タイトルのペアを獲得することができる. 本手法では語義曖昧性タスクを行うわけではなく, あくまで文脈的な情報を用いない, 汎用的な語彙関係を定義することが目的なので, どの記事におけるどの位置にそのアンカーリンクが出現しているかについての情報は捨て, 全ての記事におけるあらゆる場所からアンカーリンクを収集する. 収集にあたっては, ヒットしたタグから単純にスクレイピングするだけなので, この方法は他言語であっても可能な上, 形態素解析やチャンキングなどの言語処理的なプロセスが不要である. 以下の表 1 は, ランダム抽出された 1,000 件のアンカーリンクペアにおける表記文字列と記事タイトルとの関係の内訳である. 表 1 アンカーリンクにおける表記文字列と記事タイトルの関係関係割合 sameas 40.1% meaningof 18.4% その他の関係 41.5% アンカーリンクペアにおいては,sameAs 関係は約 4 割程度であった. 記事中の文脈から曖昧な語で同一物を指し示す meaningof の関係も多く散見された ( 約 18%). 記事として存在しない語彙や専門的な語については, その語の上位概念である語にリンクを結んでいる例が多くみられ, 約 9% 程度あった. また, ジョブズスティーブジョブズや米側サッカーアメリカ代表などの代名詞的な用いられ方をされているものや, キムタク SMAP のような所属関係, 曲名アルバム名といった所有関係も多く見受けられた. 図 3 曖昧さ回避のページ (3) リダイレクトリンク Wikipedia では同義表現セットしてリダイレクトリンクをアンカーリンクと別に用意しており, 編集者のためのガイドラインによると, リダイレクトリンクの目的は表記ゆれや同一物の別名のためと定められている. さらに, リダイレクトリンクは文脈に関わらず必ず唯一の記事タイトルへリンクする. したがって, リダイレクトリンクは一見して sameas リンクとして利用できるはずだが, 曲名か - 2 -

らアルバム名にリンクすることや, 作品の登場人物から作品名にリンクすること, 上位下位概念間のリンクなどもあり, 現実にはそのまま sameas リンクとして抽出するには信頼性が高いとはいえない ( 表 2). 表 2 リダイレクトリンクにおける表記文字列と記事タイトルの関係関係割合 sameas 67.1% その他の関係 32.

本手法では, 曖昧さ回避のページからはスクレイピング抽出ルールにより meaningof ペアを獲得する. 一方で, アンカーリンクとリダイレクトリンクについては Wikipedia の全記事を対象に Wiki タグ形式 [[ 表記文字列記事タイトル ]] のものを全て抽出する.

これは, 出現頻度の高い表記文字列と記事タイトルのペアは意味が近いという仮定に基づく.

3 らアルバム名にリンクすることや, 作品の登場人物から作品名にリンクすること, 上位下位概念間のリンクなどもあり, 現実にはそのまま sameas リンクとして抽出するには信頼性が高いとはいえない ( 表 2). 表 2 リダイレクトリンクにおける表記文字列と記事タイトルの関係関係割合 sameas 67.1% その他の関係 32.9% また, 表中において meaningof リンクが定義されていないのは, リダイレクトリンクが表記文字列と記事タイトルに対して N 対 1 の関係であり,meaningOf リンクは定義したとおり,1 対 N の関係であるからだ. 4.2 抽出概要図 5 が抽出方法概要を表したものである. 本手法では, 曖昧さ回避のページからはスクレイピング抽出ルールにより meaningof ペアを獲得する. 一方で, アンカーリンクとリダイレクトリンクについては Wikipedia の全記事を対象に Wiki タグ形式 [[ 表記文字列記事タイトル ]] のものを全て抽出する. これらの中からランダム抽出されたペアに対して人手で正解を与え (sameas, meaningof, その他 ) て訓練データとして機械学習を行い, 生成された分類器を用いて全リンクペアについて表記文字列と記事タイトルの間の関係を与える. (1) リンクのペア数抽出するリンクペアについて, その出現頻度を値とする. リンクの抽出は全ての記事の全文に出現する頻度を数え上げる. これは, 出現頻度の高い表記文字列と記事タイトルのペアは意味が近いという仮定に基づく. 一例として,( 米国, アメリカ合衆国 ) のペアは 991 回登場しているが,( 米ドル, アメリカ合衆国 ) のペアは 2 回しか出現しておらず, 前者は sameas 関係であるが, 後者はその他の関係であり, 多数のノイズペア (= その他の関係のペア ) を除外するための指標としては機能するはずである. ただし, この値を閾値として用いるには問題がある. ただし, 表記文字列や記事タイトル自身があまり出現頻度の高い語ではない場合, それらが sameas 関係であっても, ペアとしての出現頻度自体は低くなるので, 一概に頻度が高ければ高いほど sameas 関係にあるとは限らない. (2) アンカーリンクペアにおける競合記事タイトル数競合表記文字列数あるリンクペア ( 表記文字列 A1, 記事タイトル X1) に着目する. 表記文字列 A1 は, 別のリンクペアで ( 表記文字列 A1, 記事タイトル X2) のように別の記事タイトルにリンクすることもある. 本素性における競合記事タイトル数とは, ある表記文字列からリンクする記事タイトル X1, X2, の総数を示す. もしこの値が大きい場合, 表記文字列は複数の意味を持ち合わせている可能性が高い. 図 6 競合記事タイトル数図 5 抽出方法の概要 4.3 用いる素性について前項で行う機械学習に用いる素性として以下の 7 つの素性を提案する. (1) アンカーリンクのペア数 (2) アンカーリンクペアにおける競合記事タイトル数競合表記文字列数 (3) 記事の定義文に表記文字列が現れているか (4) 表記文字列の IDF スコア (5) 文字列類似度 (6) 記事タイトルの上位語数下位語数 (7) タグなどの装飾子一方で, 記事タイトル X1 は別のリンクペアで ( 表記文字列 A2, 記事タイトル X1) のように別の表記文字列からリンクされていることもある. 本素性における競合表記文字列数とは, ある記事タイトル X1 へのリンク元表記文字列 A1, A2, の総数を示す. もしこの値が大きい場合, リンク先である記事タイトル自身が複数の表記を持ちやすい, 表記ゆれの多い意味であることがわかる. 図 7 競合表記文字列数 (3) 記事の定義文に表記文字列が現れているか - 3 -

Wikipedia の記事における最初の段落はその記事タイトルとなっている語に関する定義が行われている. 我々はランダム抽出された 1,000 件の記事において調査したところ, 約 22% の記事については定義文において記事タイトルの同義語が記述されていることがわかった. 図 8 に例示する通り, 通称 ~ や ~ ともいう. などのパターンの前に同義語が記述されることがわかっている.

4 Wikipedia の記事における最初の段落はその記事タイトルとなっている語に関する定義が行われている. 我々はランダム抽出された 1,000 件の記事において調査したところ, 約 22% の記事については定義文において記事タイトルの同義語が記述されていることがわかった. 図 8 に例示する通り, 通称 ~ や ~ ともいう. などのパターンの前に同義語が記述されることがわかっている. ただし, 精度を保ったまま網羅性をあげるためには, 複雑な抽出ルールを記述する必要がある. 同義語として記述される語の中に曖昧性を持つ語を記述することもあり, 一概に sameas 関係とは言えない. 本素性では, リンクペアにおける ( 表記文字列 A1, 記事タイトル X1) について, 記事タイトル X1 の定義文に表記文字列 A1 を含んでいるか否かを値 (0, 1) とする. チングと係り受け関係を用いて上位語数を抽出し, 記事タイトル自身の抽象度を測る指標とした. (6) タグなどの装飾子 Wikipedia では, 前述したとおり記事タイトルに曖昧性を含まないようにするために括弧の装飾子を用いることで他の記事タイトルとの区別を行っている. 例えば, ドラえもん ( 漫画作品 ), ドラえもん ( 架空のキャラクター ), ドラえもん (1973 年のテレビアニメ ) など, 括弧内にフレーズを記述することで区別を行っているため, このタグがついているものは基本的には曖昧性のない語であるといえる. また一方で,HTML にも用いられるハッシュタグも Wikipedia では用いられており, 記事内における特定の語を指し示すときに使われ, 多くの場合が記事タイトルとの関係は sameas や meaningof とはならない. これら括弧記号とハッシュタグは語自身の曖昧性と語と記事タイトルの関係を知る上での手がかりとなり得る. 5. 抽出結果 (4) 表記文字列の IDF スコア図 8 記事における定義文曖昧性を持つ語は, 一般的に様々な文脈で使われ得る表記であることが多いという仮定をもとに, 表記文字列自身が現れる Wikipedia の記事数を以下の典型的な式により測る. idf(w, D) = log D d 本手法では, 上式における d は表記文字列 w を含む Wikipedia の記事数を表し, D は Wikipedia 全体の記事数を表すが, これらは曖昧さ回避のページやカテゴリのページなどを除いた一般の記事について数え上げる. (5) 文字列類似度日本語では, 特に外来語や振り仮名をはじめとした表記ゆれは多数存在している. 本手法では, 以下の式のように文字列自身の長さで標準化した文字列間の編集距離を文字列類似度として用いる. sim w1, w2 = (6) 記事タイトルの上位語数下位語数 LevDistance w1, w2 2 len w1 + len(w2) この素性では記事タイトル自身の抽象度合を測る基準として上位語数下位語数を用いる. 既存の Wikipedia を用いたリソースでは, 日本語 Wikipedia オントロジーも含め, 記事タイトルごとの上位下位関係は定義されていなかった. 本手法では, 前項で述べた通り, 各々の記事タイトルの定義文からパターンマッ抽出したアンカーリンクペア 96 万件にのうち, ランダムに抽出した 2,000 のアンカーリンクとリダイレクトリンクのペアに対し, それらの関係が sameas 関係なのか,meaningOf 関係なのか, それ以外の関係なのかを人手で判断し, 正解を与えた. 次に, これらのデータセットを訓練データとして機械学習を行った. 学習にあたり,LibSVM の C-SVC を用い, カーネルは RBF, パラメータは既存のものを用いた. リンクペアの総数は 96 万件存在し, それらすべてに対して生成された分類器でリンクペアにおける表記文字列と記事タイトル間の関係を付与した. 評価に際しては訓練時とは別の 2,000 ペアをランダムに抽出し, 人手で行った. 表 3 分類器による抽出結果関係抽出数 Precision Recall sameas 418,697 meaningof ( アンカーリンク ) 280, meaningof ( 曖昧さ回避のページ ) 162, 表 4 抽出例表記文字列記事タイトル関係 Play station2 Play Station 2 sameas ガッキー新垣結衣 sameas 米アメリカ合衆国 meaningof 米国アメリカ合衆国 sameas 表 4 の最初の通り, いわゆる表記ゆれである語彙に関しては高精度で sameas リンクを貼ることができており, ある程度文字列類似度が効いていることがわかるが, その一方で米国とアメリカ合衆国のように表記文字列と記事タイトルが大きく異なるような場合にも, リンク情報の素性により sameas 関係をうまく付与している. また, 米などの曖昧性を持つ語の場合, その表記文字 - 4 -

5 列から伸びている記事タイトルの数や,IDF スコアなどから曖昧性があるかどうかの判断を行うことで meaningof リンクを貼ることに寄与しているものと思われる. 結果的にはドメイン毎に精度に差が見受けられたので, 今後精査し, ドメイン別に抽出方法を変えていく必要がある. 6. おわりに本稿では,Wikipedia における曖昧さ回避のページから, ルールベースで meaningof リンクを抽出する手法と, アンカーリンクリダイレクトリンクから主にリンク情報を素性とした機械学習を行うことで自動的に sameas リンクと meaningof リンクを抽出する手法を実現した. 実際にこのリンクにより, 既存の日本語 Wikipedia オントロジーのインスタンスレベルから表記文字列レベルへ対応付けが可能となったが, 定量的な評価が未だなされていない. 今後 Precision/Recall を高めるとともに,Twitter などの他のコーパスにおいてどのタスクでどの程度役立つのかを評価していかなければならない. また, 訓練データを作成時に人手で正解を与える作業も非常に時間を要する. この点も何らかの方法で改善の余地がある. 参考文献 1. S. Tamagawa, S.Sakurai, T. Tejima, T. Morita, N. Izumi, T. Yamaguchi: Learning a Large Scale of Ontology from Japanese Wikipedia, [Web Intelligence and Intelligent Agent Technology (WI-IAT), pp , 2010] 2. C. Bøhn, K.Nørvåg: Extracting Named Entities and Synonyms from Wikipedia, [Advanced Information Networking and Applications (AINA), pp , 2010] 3. Soren Auer, Christian Bizer, Georgi Kobilarov, Jens, Lehmann, Richard Cyganiak, Zachary Ives: DBpedia: A Nucleus for a Web of Open Data, [Lecture Notes in Computer Science, Springer Berlin/Heidelberg, pp , 2007] - 5 -

Microsoft Word - 4_研究成果の要約(森田).doc

Microsoft Word - 4_研究成果の要約(森田).doc 09-01048 Wikipedia Web Web API 1 2 503 3 Wikipedia WordNet 504 1: 3-1 Wikipedia 505 3-2 Wikipedia owl:sameas 506 101 64 52 45 39 34 29 25 22 19 16 13 10 7 4 1 0 2000 4000 6000 8000 10000 12000 14000 16000