cs_seminar_2012.pptx

Size: px

Start display at page:

Download "cs_seminar_2012.pptx"

のぶみつさかど
4 years ago
Views:

1 OLAP を利利用した Linked Data の分析処理理システム情報工学研究科コンピュータサイエンス専攻 1 年年井上寛之指導教員 : 北北川博之, 天笠笠俊之 1

2 発表の流流れ背景目的関連研究提案手法実験まとめ今後の課題 2

3 セマンティック技術コンピュータに意味を理理解させるための技術 University Bank Shopping Center Train Circuit Tsukuba Mountain City 応用例例 Bing, Knowledge Graph (Microsoft, Google) Siri (Apple) 3

4 セマンティックウェブと RDF セマンティックウェブ Web 上のリソースにメタデータを付け, コンピュータが人間と同じように意味を理理解できるようにする試みリソース : 文書, 画像, RDF(Resource Description Framework) Web 上のリソースを記述するための基本的なモデル三つ組 ( トリプル ): 主語, 述語, 目的語主語の属性プロパティを述語で, その値を目的語で記述グラフ構造を構成する hastitle 筑波大学楕円 : リソース, 矩形 : リテラル ( 文字列列 ) 4

5 Linked Data 目的 : 人々や組織が構造化されたデータを Web で共有することを可能にする RDF を用いてデータの属性プロパティを記述より多くのデータの活用を促進 Linked Dataとして公開された数値統計データに対する分析処理理が必要とされている HTTPを用いて, リソース (URI) を参照可能特徴標準化された技術 (RDF, URI, SPARQL) で構成される Linked Open Data 数値統計データを含む, 様々な分野のデータ人, 企業, 政府, 生物学, 医学, 書籍, 音楽, 気象, 295 データセット,310 億トリプル,5.4 億データセット間リンク 1 1: 5

6 OLAP(On- Line Analytical Processing) 大量量に蓄積されたデータに対して, 複雑で統計的な問合せを行行う分析手法の一つデータキューブ数値 ( 事実 ) 分析の軸 ( 次元 ) 概念念階層カテゴリ OS Mac Win 地方東西 PC 北北海道東北北東京大阪広島福岡ノートデスク Q1 上期 Q2 時期図 : 03.html Q3 下期 Q4 分析対象 ( メジャー ) 6

関係データベースを利利用した OLAP 関係データベースに格納されたデータを利利用時期 ID スタースキーマ上期下期四半期数値 ( 事実表 ) 分析の軸 ( 次元表 ) 次元表売上実績 ID カテゴリ ID 大カテゴリ小カテゴリカテゴリ _ id 時刻 _ id 店舗 _ id 売上高次元表事実表地方 ID 東西都市名次元表カテゴリ OS Mac Win 地

7 関係データベースを利利用した OLAP 関係データベースに格納されたデータを利利用時期 ID スタースキーマ上期下期四半期数値 ( 事実表 ) 分析の軸 ( 次元表 ) 次元表売上実績 ID カテゴリ ID 大カテゴリ小カテゴリカテゴリ _ id 時刻 _ id 店舗 _ id 売上高次元表事実表地方 ID 東西都市名次元表カテゴリ OS Mac Win 地方東西 PC 北北海道東北北東京大阪広島福岡ノートデスク Q1 上期 Q2 時期分析対象 ( メジャー ) 図 : 03.html Q3 下期 Q4

8 本研究の目的と課題目的 Linked Data として一般に公開されている数値統計データを,OLAP により分析可能にする手法の提案課題 Linked Data から OLAP 分析へのマッピング RDF( グラフ構造 ) を直接 OLAP するのは困難既存の OLAP システムを用いた分析を行行うための変換 OLAP では分析の軸が必要軸に利利用する概念念階層の作成 8

9 関連研究 (1/2) 2 つの方向性 RDF データを関係 DB へ格納後,OLAP を行行う RDF データに直接 OLAP 的な操作を行行う Kampgen ら 1 Linked Data を関係 DB に格納する変換手法の提案 RDF Data Cube(QB)Vocabulary の利利用 RDF で, データキューブを記述するための語彙 Data Cube Vocabulary 準拠のデータを関係 DB に格納概念念階層は RDF で記述されている対象データが Data Cube Vocabulary に準拠していることが前提 1. B. Kampgen, and A. Harth. Transforming Statistical Linked Data for Use in OLAP Systems, I- SEMANTICS 2011, 7th Int. Conf. on Semantic Systems,

10 関連研究 (2/2) Etcheverry ら [2] OpenCube Vocabulary の提案 RDF で OLAP Cube を記述する語彙 RDF データモデルに対する OLAP 操作を定義 SPARQL 本研究では 1.1 集約演算による, 一般的なLinked,OLAP Data操作の一部を実装に対して, 目的の操作を行行う前者の関係 DB SPARQL に格納するアプローチでクエリ生成アルゴリズムを提案, OLAPを利利用した分析処理理を行行う手法を提案する同様に, 対象データが OpenCube Vocabulary に準拠していることが前提またデータの取得, 変換 (ETL) についての議論論がない 2. L. Etcheverry and Alejandro A. Vaisman. Enhancing OLAP Analysis with Web Cube. 9 th Extended Semantic Web Conference

11 問題に対する本研究のアプローチ RDF( グラフ構造 ) を関係スキーマにマッピング (RDF データを RDB に格納 ) データおよびデータ間の情報から概念念階層を半自動的に作成 (RDF, Linked Data の特徴を利利用 ) 11

12 データ取得からスキーマ導出まで 1. RDF データの取得 2. RDF を関係データベースへ格納 3. ユーザーによる分析対象の選択 RDF の関係スキーマへのマッピング 4. 次元表の作成データ及びデータ間の情報を利利用 5. スキーマの導出 12

13 1. RDF データの取得 1. RDF データの取得 2. RDF を関係データベースへ格納 3. ユーザーによる分析対象の選択分析対象の RDF データを取得 RDFダンプの読み込み URIによるRDFの参照同一ホスト内のリソース (URI) を再帰的に取得目的語として利利用されている外部リソースも取得 4. 次元表の作成 5. スキーマの導出分析対象 ( 外部リソース ( 13

14 1. RDFデータの取得 2. RDFを関係 DBへ格納 (1/2) 2. RDFを関係データベースへ格納 3. ユーザーによる分析対象の選トリプルを rdf:type 毎に,RDB に格納テーブルのスキーマを決定できない RDF はスキーマを利利用することが定められていない垂直表現の述語表 1 に格納 4. 次元表の作成 5. スキーマの導出 1. DJ Abadi ら,2007. つくば店店舗売上実績 _ 1 コンピュータ 190,000 製品カテゴリ売上高時刻 _ 1 売上実績テーブル ( 垂直表現 ) 時刻述語目的語値タイプ売上実績 _ 2 時刻時刻 _ 2 売上高 rdf:type 4,000 売上実績店舗水戸店売上実績 _1 時刻時刻 _1 リソース売上実績 _1 製品カテゴリコンピュータリソース売上実績 _1 売上高 190,000 リテラル売上実績 _1 店舗つくば店リソース売上実績 _2 時刻時刻 _2 リソース売上実績 _2 売上高 4,000 リテラル売上実績 _2 店舗水戸店リソース 14

15 1. RDF データの取得 2. RDF を関係 DB へ格納 (2/2) 2. RDF を関係データベース 3. ユーザーによる分析垂直表現から水平表現へ変換各 rdf:type がどのような属性を持つか把握できた 4. 次元表の作成 5. スキーマの導出売上実績テーブル ( 垂直表現 ) 主語述語目的語値タイプ売上実績 _1 時刻時刻 _1 リソース売上実績 _1 製品カテゴリコンピュータリソース売上実績 _1 売上高 190,000 リテラル売上実績 _1 店舗つくば店リソース売上実績 _2 時刻時刻 _2 リソース売上実績 _2 売上高 4,000 リテラル売上実績 _2 店舗水戸店リソース売上実績主語 [PK] 時刻 [FK] 製品カテゴリ [FK] 売上高店舗 [FK] 得られたスキーマ PK: 主キー FK: 外部キー売上実績テーブル ( 水平表現 ) 主語 [PK] 時刻 [FK] 製品カテゴリ [FK] 売上高店舗 [FK] 売上実績 _1 時刻 _1 コンピュータ 190,000 つくば店売上実績 _2 時刻 _2 null 4,000 水戸店 15

16 1. RDF データの取得 3. ユーザーによるメジャーの選択 2. RDF を関係データベースへ格納 3. ユーザーによる分析対象の選 OLAPの分析対象とする値 ( メジャー ) の選択をユーザーに依頼する売上実績製品カテゴリ _ ID 時刻時刻 _ ID 店舗 _ ID 日時売上高来客実績店舗 _ ID 時刻 _ ID 来客数在庫製品カテゴリ製品名製品カテゴリ _ ID 名称店舗 _ ID 在庫数店舗地名 _ ID gn: 地名地名事実表候補次元表候補 4. 次元表の作成 5. スキーマの導出 16

17 1. RDF データの取得 4. 次元表の作成 2. RDF を関係データベースへ格納 3. ユーザーによる分析対象の選 1 OLAP に利利用する次元表を作成する本研究では三種類の作成方法を提案データに直接記述されたリテラルの利利用 2 4. 次元表の作成 5. スキーマの導出データに直接記述された階層構造の利利用時刻日時事実表売上実績製品カテゴリ _ ID 時刻 _ ID 店舗 _ ID 売上高製品カテゴリ名称店舗地名 _ ID 3 データセット外部にある階層構造の利利用 gn: 地名地名青背景は, 外部ホストのデータ 17

18 3 データセット外部にある階層構造の利利用予め階層構造を取得できると知られている外部データセットの利利用例例 )GeoNames 地理理情報の階層構造を取得できるとわかっているつくば市 / 茨城県 / 日本 / アジア分析対象外部データセット ( リソース ) つくば市水戸市茨城県日本階層構造 18

19 1. RDF データの取得 5. スキーマの導出 2. RDF を関係データベースへ 3. ユーザーによる分析対象例例 ) 売上高がメジャーとして選択された場合事実表 ) 売上実績次元表 ) 販売時刻, 製品カテゴリ, 店舗 - gn: 地名 4. 概念念階層の作成 5. スキーマの導出時刻時日月四半期年年次元表実績製品カテゴリ _ 販売時刻 _ 販売店舗 _ 売上高事実表製品カテゴリ名称次元表店舗 - gn: 地名 L1( 市区町村 ) L2( 都道府県 ) L3( 国 ) L4( 大陸陸 ) 次元表 19

20 実験目的 Linked Data として公開されている数値データを対象に, 本手法を用いて OLAP に用いるスキーマの導出が可能か検証空間放射線量量観測データ National Radioactivity Stat as Linked Data 1 文部科学省省発行行の環境放射能水準調査 2 を RDF 化したデータセット by_ prefecture/ 20

21 実験結果 (1/3) 放射線量量観測データはクローリングして取得トリプル数 :1,003,410 個 (2011 年年月 ) 地理理情報 :GeoNames ダンプデータの利利用 rdf:type 観測インスタンス, 観測時刻, 観測地 (GeoNames) 観測インスタンス ra: /p02/t20 rdf:value 観測値 ev:time ev:place gn: 観測地観測時刻 time: t22pt1h tl:at T00:00:00 ^^xsd:datetime ra は time は gn は ev は tl は rdf は rdf- syntax- ns# 21

22 実験結果 (2/3) 観測値をメジャーとした場合のスキーマを導出事実表 ) 観測値を含む, 観測インスタンステーブル次元表 ) 1. 観測地 (GeoNamesのリソースから階層構造を取得) 2. 観測時刻 ( 観測時刻から階層構造を作成 ) 次元表 place( 観測地 ) subject( 主語 ) layer_ 1( 市区町村 ) layer_ 2( 都道府県 ) layer_ 3( 国 ) layer_ 4( 大陸陸 ) observation_ instance ( 観測インスタンス ) subject( 主語 ) place (Place_ subject) time (Time_ subject) value( 観測値 ) 事実表次元表 time( 観測時刻 ) subject( 主語 ) sec( 秒 ) min( 分 ) hour( 時 ) day( 日 ) month( 月 ) year( 年年 ) 22

23 実験結果 (3/3) Mondrian OLAP 1 による分析の例例都道府県別, 平均空間放射線量量 (2011 年年 3-11 月 ) 縦軸 : 放射線量量 ( マイクロシーベルト / 時間 ) 横軸 : 都道府県 1: Pentaho Mondrian Project, 23

24 その他のデータセットへの適用 Linked Sensor/Observation Data 3 米国二万箇所以上の気象観測所メタデータ上記, 観測所から得られたハリケーン観測データ実験結果観測所の場所, 時刻, 観測値などからスキーマを作成できた一部オントロジが参照できないデータがあったマウス遺伝子 4, シロイヌナズナ遺伝子データ 5 BioLOD として公開されている RDF データ実験結果遺伝子の, 染色体内での位置情報などを利利用周辺リソースとの関係が複雑生物学の研究者が要求するような分析は行行えなかった 3. H. Patni, Satya S. Sahoo, C. Henson, and A. Sheth. Linked Sensor Data. SPOT 2010 with ESWC MGI_ Gene 5. Locus 24

25 まとめ OLAP による Linked Data の分析処理理を提案 RDF,Linked Data の特徴を生かした処理理データの内部, および外部の関係から階層構造を取得放射線量量観測データに対して本手法を適用分析対象を決めた時の分析の軸を準備 OLAP 分析に必要なスキーマを生成 OLAP による分析 28

26 今後の課題手法の改善同じ述語で異異なる目的語を複数持つトリプルへの対応本手法は rdf:type に強く依存 rdf:type が, 複数記述されている主語に対する処理理 rdf:type が, 記述されていない主語述語の逆方向の抽出 (SPARQL の利利用 ) に対する処理理観測所観測結果観測インスタンス Linked Data に対するマイニング例例 )DBpedia への適用 Dbpedia 内の階層関係カテゴリごとの記事の分布 29

27 ご清聴ありがとうございました 30

平成１７年度大学院知識システム特論

平成１７年度大学院知識システム特論 LinkedOpenData Linked Open Data の普及 Web 上で公開され, 相互に連結し合っている RDF データこれまで多く研究されてきた抽象的な概念構造が現実的な有用性を生むには依然高いハードルがある具体物であるインスタンスの記述をした RDF(Linked Open Data) のデータベースを公開共有し合うべきという風潮が高まっている 2007 年 5 月 2008