ビッグデータ時代のオントロジー技術

Size: px

Start display at page:

Download "ビッグデータ時代のオントロジー技術"

このかたけはな
5 years ago
Views:

1 ビッグデータ時代のオントロジー技術山口高平 ( 慶應義塾大学理工学部 ) ( 人工知能学会会長 ) データマイニングからビッグデータへ 1

+? 第 1 世代 (1995-2000 年前半 ) データマイニング開発手順問題設定ロイヤルカスタマー早期特定退会者を少なくしたいデータの理解データサイズとマシンスペック外れ値, 欠損値, 設定目標とデータの整合性非常識な陳列?

2 +? 第 1 世代 ( 年前半 ) データマイニング開発手順問題設定ロイヤルカスタマー早期特定退会者を少なくしたいデータの理解データサイズとマシンスペック外れ値, 欠損値, 設定目標とデータの整合性非常識な陳列? アクション不満足結果後処理専門家による評価データ前処理欠損値処理, 離散化サンプリングアルゴリズム選択クラスタリング, 相関ルール, 決定木学習, 遺伝的アルゴリズム, ニューラルネット... 肝炎データマイニング提供データセット患者基本情報患者のプロフィール検体検査結果情報検体検査 ( 血液 & 尿 ) の結果情報院内 + 外注データ肝生検情報肝生検情報 ( 肝炎の進行具合 ) インタフェロン投与情報インタフェロンの投与時期データの特徴大規模な未整備時系列データ最大 160 万レコード膨大な数の表記揺れが存在検査項目数が非常に多い最大 950 項目時期により検査項目の再現性が変化 & 欠損値が多い観測機器 & 医学の進歩医者によるバイアスが存在重病患者には特殊な検査 2

3 データ前処理 :GPT の 8 変化パターン IF 直前 24 ヶ月のビリルビンの平均値が高く TTT( チモール混濁試験 ) が減少する THEN GPT が減少に転じる予測正答率 : 60.90% (21/34), 再現率 : 1.43% (21/1470) GPT は周期的な多少の上下動があるもののほぼ一定と理解してきたこのルールは GPT の上下動の転移を説明する可能性があり興味深いウィルス活動バクテリア増殖の周期性とも関連するのか? 3

4 データマイニングの課題データ整備はコストがかかる他のデータの連携も調べたくなるマイニング結果の意味を説明しろと言われてもマイニング結果も大量になり絞り込みたい専門家の壁 ( 主観 vs. 客観 ) 組織の壁 2000 年前半データマイナーの憂鬱 2011 年以降ビッグデータ多くの関心 ( 背景 1) データの量様式更新頻度の劇的変化ソーシャルメディアデータ位置センサーデータウェブサイトデータカスタマーデータ 3V Volume( 多量 ) Variety( 多様 ) Velocity( 多頻度 ) ビッグデータマルチメディアデータオフィスデータログデータオペレーションデータ 4

5 ( 背景 2) ビッグデータ基盤技術の進展 Hadoop( オープンソース分散並列処理技術 ) NoSQL データベース : 非構造の大量データ処理可能 ( スキーマフリースケールアウト ) ML/DM の進展 : カーネル関数による SVM CRF(Conditional Random Filed, 条件付確率場 ) ベイズモデル Deep Learning( 多層ニューラルネット ) in-a-big-network-of-computers-evidence-of -machine-learning.html?pagewanted=all ( 背景 3) 国策としてのビッグデータ Office of Science and Technology Policy Executive Office of the President March 29, 2012 OBAMA ADMINISTRATION UNVEILS BIG DATA INITIATIVE: ANNOUNCES $200 MILLION IN NEW R&D INVESTMENTS 5

6 ビッグデータの現状ソーシャルメディア位置データの情報発信環境 HADOOP, NOSQL といった情報管理環境が整い多種多様大規模データが扱える環境が整うユーザ行動履歴を中心に見える化が進みビジネスチャンスが広がるでも高度な分析にはセマンティクスが必要となりオントロジーのような意味処理技術との連携が必要とされるであろうオントロジー技術 6

知識工学とセマンティック Web におけるオントロジーの研究開発知識工学 1991- 現在概念化の明示的仕様 (Tom Gruber オントロジーの定義 ) オントロジー記述言語 (Ontolingua) 知識交換言語 (KIF) PSM Task Ontology Generic Ontology CYC, WordNet, EDR オントロジー構築方法論セマンティック Web

7 知識工学とセマンティック Web におけるオントロジーの研究開発知識工学現在概念化の明示的仕様 (Tom Gruber オントロジーの定義 ) オントロジー記述言語 (Ontolingua) 知識交換言語 (KIF) PSM Task Ontology Generic Ontology CYC, WordNet, EDR オントロジー構築方法論セマンティック Web 現在 95-97: XML as arbitrary structures 97-98: RDF 98-99: RDFS 00-01: DAML+OIL : OWL : OWL : RIF オントロジーとは? 哲学のオントロジー vs. 情報系オントロジー ( 上位オントロジー ) 存在論 vs. 存在観 : モデリングプリミティブ ( 領域オントロジー ) UML ダイアグラム vs. オントロジー ( コンピュータが理解処理可能 ) プロセス vs. プロダクト : 体系化 vs. 概念仕様概念 ( 化 ) の明示的仕様 : クラス, プロパティ, 公理, インスタンス 7

8 歴史上の身分神建築物オントロジーとは? 言葉の木 ( 語木 ) とネットワーク ( 語網 ) 1+2 農民武士日本の神日本の城日本の寺院 2 言葉 ( 概念カテゴリー ) 階層木豊臣秀吉主君織田信長建立妻生誕墓所岐阜城濃姫本能寺本蓮寺宗派創建年創建年宗派法華宗本門流 1 言葉 (= 固有表現具体物 ) ネットワーク 1347 年天文 3 年 5 月 12 日 1415 年オントロジーの分類各レベルの情報を利用して切り分けを明確にする汎用性固有性 General Generic Specific 3 つの軸による分類 General 最も一般的なレベル Generic 対象領域があるがやはりかなり一般的 Specific 特定領域に固有形式度 1 st 2 nd Level 3 rd Level Level Light Weight Middle Weight Heavy Weight 情報量 8

9 オントロジー開発手順 determine scope consider reuse enumerate terms define classes define properties define constraints create instances オントロジー検索エンジン SWOOGLE WATSON オントロジー構築方法論オントロジー学習オントロジー照合上位オントロジー Linked Open Data (LOD) WordNet 最新版 :ver.3.0 for Unix-like system Windows 版は ver.2.1 約 11 万 7 千の synset( 同義語の集合 ) 約 15 万語 ( 名詞, 動詞, 形容詞, 副詞 ) synset 間には, 品詞ごとにいくつかの関係が定義されている日本語ワードネット 1.1 by NICT 57,238 概念 (synset 数 ),93,834 words 語 9

10 WordNet 実行例ビジネスプロセスオントロジー Process Handbook (MIT) Modify を体系化店で販売するどのように売るか (how) で具体化店舗で販売するネットで販売する販売する何を売るか (What) で具体化商品を販売するサービスを販売する 10

11 医療オントロジー :SNOMED-CT すべての概念は SNOMED CT Concept という最上位概念の下位概念になっている SNOMED CT Concept 所見 Finding 疾患 Disease 処置 Procedure 19 のカテゴリー所見疾患処置などの最上位概念のすぐ下の概念をカテゴリーと呼び全部で 19 種類あるすべての概念 (34 万 ) はいずれかのカテゴリーに属する Web とオントロジー Semantic Web 11

12 Big Picture for Semantic Web (2001) 集合知 Wikipedia Folksonomy Linked Open Data (LOD) メディアライブラリ地図政府オープンデータ政府データ科学データ音楽データ写真データ米国連邦政府英国政府 Science Commons MusicBrainz Flickr 生命科学医療スクレイピング Dapper Piggy Bank アノテーション GRDDL RDFa HTML5 microdata microformats YAHOO! SearchMonkey Google リッチスニペット Web ページ 2001 年 2006 年 2010 年 12

Linked Open Data の普及 Web 上で公開され, 相互に連結し合っている RDF データ

RDF(Linked Open Data) のデータベースを公開共有し合うべきという風潮が高まっている 2007 年 5 月 2008

(2007) 2011 年 9 月時点で 310 億トリプルに増加行政メディア DBpedia Wikipedia

13 Linked Open Data の普及 Web 上で公開され, 相互に連結し合っている RDF データこれまで多く研究されてきた抽象的な概念構造が現実的な有用性を生むには依然高いハードルがある具体物であるインスタンスの記述をした RDF(Linked Open Data) のデータベースを公開共有し合うべきという風潮が高まっている 2007 年 5 月 2008 年 5 月 2011 年 9 月 RDF モデルによる Linked Open Data(LOD) LOD 規模 :5 億トリプル (2007) 2011 年 9 月時点で 310 億トリプルに増加行政メディア DBpedia Wikipedia から構造化されたデータを抽出 RDF 形式で提供地理出版データ自体がリンクしている情報の公開共有が容易になる第三者によるサービス開発の促進に繋がる情報流通基盤として期待が集まる生命科学 13

14 LOD の例 DBPedia (2007 年 ~) 英語版 Wikipedia から構築された,LOD のハブ的存在 BBC (2009 年 ~) 英国放送協会が提供しているニュースとテレビ番組の情報 News York Times (2009 年 ~) 蓄積された新聞記事に現れる人名, 組織. 団体名, 地名, 主題のキーワード約 1 万字に URI を与えて LOD として公開 DBpedia mobile 14

15 Linked Data と日本語 Wikipedia オントロジー日本語 Wikipedia オントロジー人間には, ウィキペディアの内容 ( 意味 ) が判るけど人工物 ( コンピュータ, スマフォ, ロボット...) には判らない Wikipedia からオントロジー ( 言葉階層木, 言葉のネットワーク ) に自動変換して, 人工物に言葉の意味 (Sense) を理解させる日本語 Wikipedia オントロジー 15

日本語 Wikipedia オントロジー ( 文学 ) さらにズームアップ ( 模式図 ) クラス - インスタンス関係プロパティ定義域プロパティ値域文化明治大学の人物明治の人物文学人物小説家日本の小説家作家日本出身の人物時代小説歴史小説作家ジャンル日本誕生日本日本史の人物東京都出身の人物最終学歴蜘蛛の糸代表作鼻国籍著作芥川龍之介

16 日本語 Wikipedia オントロジー ( 文学 ) さらにズームアップ ( 模式図 ) クラス - インスタンス関係プロパティ定義域プロパティ値域文化明治大学の人物明治の人物文学人物小説家日本の小説家作家日本出身の人物時代小説歴史小説作家ジャンル日本誕生日本日本史の人物東京都出身の人物最終学歴蜘蛛の糸代表作鼻国籍著作芥川龍之介日本の小説死没羅生門夏目漱石子供日本の映画作品親族俳人配偶者門下生坊っちゃん小説家職業家族文化活動こゝろ文庫本存命人物塚本文津田青楓芥川也寸志芥川貴之志トリプル Is-a 関係プロパティ上位下位関係オペラ作曲家作曲家日本のクラシック音楽の作曲家クラスプロパティインスタンス職業小説短編小説日本の大学東京帝国大学英文科 16

XBRL LOD 報告書インスタンスコンテキストインスタンス財務諸表の実際の値一報告書に含まれる XBRL LOD( 平均約 1200 トリプル ) <rdf:rdf xmlns:jpfr-t-sec="http://info.edinet-fsa.go.jp/jp/fr/gaap/t/sec/2010-03-11#" xmlns:jpfr-oe="http://info.

w3.org/1999/02/22-rdf-syntax-ns#" xmlns:jpfr-asr-e00197-000="http://info.edinet-fsa.go.jp/jp/fr/gaap/e00197-000/asr/2010-10-31/01/2011-01- 27#" xmlns:foaf="http://xmlns.com/foaf/0.

17 XBRL LOD 報告書インスタンスコンテキストインスタンス財務諸表の実際の値一報告書に含まれる XBRL LOD( 平均約 1200 トリプル ) <rdf:rdf xmlns:jpfr-t-sec=" xmlns:jpfr-oe=" xmlns:jpfr-t-cns=" xmlns:jpfr-t-cte=" xmlns:rdf=" xmlns:jpfr-asr-e =" 27#" xmlns:foaf=" xmlns:xsi=" xmlns:link=" xmlns:xlink=" xmlns:jpfr-di=" xmlns:xbrli=" xmlns:iso4217=" xmlns:rdfs=" xmlns:xbrlowl=" > <rdf:description rdf:about=" 27#jpfr-asr-E TheCessionOfAnObligationIsDisadvantageousOpeCF- Prior1YearConsolidatedDuration"> <rdf:type rdf:resource=" <rdf:type rdf:resource=" 27#TheCessionOfAnObligationIsDisadvantageousOpeCF"/> <rdf:type rdf:resource=" ntageousopecf"/> <xbrlowl:context rdf:resource=" <rdf:value rdf:datatype=" <xbrlowl:decimal rdf:datatype=" <xbrlowl:unit rdf:resource=" </rdf:description> 17

18 車による移動支援サービスレストランレビュー (owl:sameas) 施設情報交通情報 SA/PA IC SA/PA 日本語 Wikipedia オントロジー (owl:sameas) 高速道路 Linked Data IC SA/PA 含む (gn:locatedin) 行政区画 RDF データ (owl:sameas) (gn:nearby) スポット情報 (wikiont_property: 所在地 ) (gn:locatedin) 天気情報青 : 研究グループで構築した日本語 Linked Data 赤 : 仮想日本語 Linked Data( 企業が所有するデータ ) 緑 : 研究室内に存在する日本語 Linked Data 横断検索のイメージ中日本エクシス食べログ 18

19 日本語 LOD が普及すれば DBpedia+Geonames+EventMedia 現在位置 = 箱根周辺の観光スポットを見たい箱根の情報を放送した番組にいい旅夢気分があるいい旅夢気分で紹介された観光スポットに関する情報を日本語 Winkipedia オントロジーで確認するオントロジーロボット日本語ウィキペディアオントロジーロボット動作オントロジーロボットキネマティクスオントロジー言葉と動作の連係マルチロボット連携 19

20 ビッグデータとオントロジー技術現状のビッグデータ見える化分析の段階構造データと非構造データの連携が重要でもデータ統合連携にはセマンティクスオントロジーが必要非構造データ LOD オントロジーの連携によりインテリジェントサービスの開発が期待される 20

平成１７年度大学院知識システム特論

平成１７年度大学院知識システム特論 LinkedOpenData Linked Open Data の普及 Web 上で公開され, 相互に連結し合っている RDF データこれまで多く研究されてきた抽象的な概念構造が現実的な有用性を生むには依然高いハードルがある具体物であるインスタンスの記述をした RDF(Linked Open Data) のデータベースを公開共有し合うべきという風潮が高まっている 2007 年 5 月 2008

ビッグデータ時代の オントロジー技術

ビッグデータ時代のオントロジー技術