SPARQL とは SPARQL(" スパークル " と発音 [1]) は RDF クエリ言語の一種であるその名称は再帰的頭字語になっており SPARQL Protocol and RDF Query Language の略 RDF クエリ言語とは Resource Description Fra

Size: px

Start display at page:

Download "SPARQL とは SPARQL(" スパークル " と発音 [1]) は RDF クエリ言語の一種であるその名称は再帰的頭字語になっており SPARQL Protocol and RDF Query Language の略 RDF クエリ言語とは Resource Description Fra"

さみかわらい
5 years ago
Views:

2 SPARQL とは SPARQL(" スパークル " と発音 [1]) は RDF クエリ言語の一種であるその名称は再帰的頭字語になっており SPARQL Protocol and RDF Query Language の略 RDF クエリ言語とは Resource Description Framework で記述されたデータを検索 / 操作するコンピュータ言語である SPARQL は World Wide Web Consortium (W3C) の RDF Data Access Working Group (DAWG) による標準化作業が行われている W3C 勧告に至る過程で 2006 年 4 月に勧告候補としてリリースされたが 2 つの問題により 2006 年 10 月に草案に戻された [2] 2007 年 6 月 SPARQL は再び勧告候補となった [3] 2008 年 1 月 15 日 SPARQL は W3C 勧告となった [4] SPARQL はクエリのパターンとして論理積論理和その他のパターンを指定可能である [5] まとめると RDB に対する SQL のようなものウィキペデアより RDF というデータセットに対して検索集計フィルタリングなどが行える

3 気象庁防災情報 XML と RDF の関係気象庁 XML 気象庁はこれまで気象警報津波警報地震情報等それぞれの防災情報毎に情報の性質利用形態などを考慮しそれぞれの情報で個別の気象庁独自の電文形式 ( フォーマット ) を作成してきましたこの方式は防災情報の種類が少なく情報の伝達がFAXや低速の通信回線の時代はそれぞれの情報に適していましたが高度に ICT 化された現在社会においてより詳細で高度化された防災情報をより効果的に活用していただくために新たな防災情報の提供様式を検討すべきと考え気象庁防災情報 XMLフォーマットを策定することとし平成 23 年 5 月 12 日より運用を開始しました feed これを RDF 化するのはとても大変これを RDF 化 + エリア情報 + 気象台の位置情報気象庁 Google PubSubHubbub 経由で feed を配信概要と気象庁防災情報 XML の URL が記述されているその URL にアクセスして気象庁 XML 本体を取得 1 つの feed の中に複数の entry が入っている

4 RDF の構造でサンプル RDF を可視化

5 配信数の詳細 (2013/01/0 1~2014/03/1 1) 震源に関する情報 " " 266 ================================================= 地方高温注意情報 " " 259 府県天気概況 " " 火山の状況に関する解説情報 " " 240 府県天気予報 " " 府県潮位情報 " " 2 気象警報注意報 " " 全般気象情報 " " 2 府県週間天気予報 " " 季節観測 " " 気象特別警報警報注意報 " " スモッグ気象情報 " " 193 地方海上警報 " " 府県天候情報 " " 1 地方海上予報 " " 地方 " 3か月予報 " 14 地方週間天気予報 " " 9619 全般台風情報 " " 1 府県気象情報 " " 8431 全般台風情報 " ( 詳細 )" 98 紫外線観測データ " " 7359 記録的短時間大雨情報 " " 77 震源震度に関する情報 " " 2686 地方天候情報 " " 7 特殊気象報 " " 2407 地方潮位情報 " " 6 噴火に関する火山観測報 " " 2204 全般 " 1か月予報 " 63 地方気象情報 " " 2163 地方暖寒候期予報 " " 33 台風解析予報情報 " (3 日予報 )" 1811 全般潮位情報 " " 3 全般海上警報 " ( 定時 )" 1746 津波情報 " " 生物季節観測 " " 1668 全般天候情報 " " 1 竜巻注意情報 " " 1548 東海地震観測情報 " " 14 府県高温注意情報 " " 1412 全般 " 3か月予報 " 13 土砂災害警戒情報 " " 1002 地震の活動状況等に関する情報 " " 10 指定河川洪水予報 " " 833 津波警報注意報予報 " " 9 地方 " 1か月予報 " 693 噴火警報予報 " " 8 全般台風情報 " ( 定型 )" 599 気象特別警報報知 " " 7 全般週間天気予報 " " 512 津波警報注意報予報 " a" 7 府県海氷予報 " " 403 津波情報 " a" 異常天候早期警戒情報 " " 401 全般スモッグ気象情報 " " 5 震度速報 " " 372 顕著な地震の震源要素更新のお知らせ " " 5 台風解析予報情報 " (5 日予報 )" 320 "JMAXML publishing feed"@ja 全般海上警報 " ( 臨時 )" 301 全般暖寒候期予報 " " 3 火山現象に関する海上警報海上予報 " " SPARQL の画面から参照可能

6 実際の配信数の概要 2013/01/01~2013/12/31(1 年間 ) feed 572,595 回 ( 平均 1,568 回 / 日 ) 重複含む 2,444MByte/ 年 ( 平均 6.69MByte/ 日 ) 気象庁防災情報 XML 323,212 件 ( 平均 885 件 / 日 ) 6,399MByte/ 年 ( 平均 17.53MByte/ 日 )

7 SPARQL でできること -1 欲しい形で結果を取得結果のカラム名や形式を自分で指定できる利用できる集計関数 COUNT, SUM, MIN, MAX, AVG, GROUP_CONCAT, SAMPLE サイトに掲載しているサンプル Triple の取得 ( 元データのダンプ ) エリア名とコードのリストタイトルで集計デフォルトでこの行が有効になっています特定のタイトルのものの中身を参照雪に関するコンテンツがどの気象台からいくつ出ているか? " 全般週間天気予報 " のうち 2014/01/01 に配信されたものアプリへの組み込みが容易 HTTP で GET するだけエンドポイント : 更新系は別 URL なので勝手に更新される心配がない

8 SPARQL でできること /02/14( 関東で大雪だった日 ) に雪に関するコンテンツがどのエリアに何回出たか? PREFIX xsd: < PREFIX atom: < PREFIX jma: < PREFIX area: < SELECT?area?areaname (COUNT(?id) as?c) WHERE {?id atom:author?author.?id atom:content?content.?id atom:updated?updated.?id jma:area?area.?area area:name?areaname. FILTER( xsd:datetime(?updated) >= " T00:00:00+09:00"^^xsd:dateTime && xsd:datetime(?updated) < " T00:00:00+09:00"^^xsd:dateTime && REGEX(?content, " 雪 ") ) } GROUP BY?area?areaname ORDER BY DESC(?c)

9 SPARQL でできること -2 オープンデータを使ったマッシュアップ SPARQL 1.1 Federated Query 1つの SPARQLで複数サイトの RDFデータを結合気象庁 XML 1 つの SPARQL Wikipedia の RDF 版経済産業省のオープンデータ

SPARQL でできること -2 やってみたらこうなりました某 SPARQL サイト気象庁 XML http://api.aitc.

10 SPARQL でできること -2 やってみたらこうなりました某 SPARQL サイト気象庁 XML よくない SPARQL 被害者にも加害者にもなりえるので注意気象庁 XML の配信が自動的に解除 : 60 秒間にわたり 110 回 / 秒のアクセスが発生気象庁 XML の配信が 2 時間に渡り受信不能にリソース不測で Web サーバがアクセス不能に

11 まとめ LOD では SPARQL が共通言語になる LOD:Linked Open Data SPARQLが今の SQLのようになるのは遠くないフェデレーション機能でより便利に可視化ツールとの組み合わせで開発が不要に? 気象庁 XML を RDF 化する時代が来るかも XBRL を RDF 化する研究なども行われている XBRL:eXtensible Business Reporting Language 企業の決算報告を1 つの巨大なXMLにしたもの他の LOD との親和性がより高まる今から SPARQL に慣れ親しんでおきましょう

12 注意事項サイトは AITC の会費で運用していますそのため商用利用は遠慮してもらっています商用利用したい場合は気象業務支援センターへ CD-ROM, DVDによる販売オンラインによるデータ配信 2 台のサーバで頑張ってます RESTとSPARQLのデータは受信モレがあります時々高負荷になり応答に時間がかかります時々止まるかも知れません何かあれば staff@aitc.jp まで

PowerPoint Presentation

PowerPoint Presentation ProjectLA バックエンドの技術解説 RDF を使った三つ組みデータの格納 2013/03/14 クラウドテクノロジー研究部会リーダー荒本道隆 ( アドソル日進株式会社 ) 何故 RDF か? 断片的なデータを相互につなぎたい RDFは主語述語目的語の三つ組構造で表現目的語と主語に同じ値を設定してそれぞれをつなぐ属性を事前に決定できない RDFはスキーマレスなので柔軟に対応できる

SPARQL とは SPARQL(" スパークル " と発音 [1]) は RDF クエリ言語の一種である その名称は再帰的頭字語になっており SPARQL Protocol and RDF Query Language の略 RDF クエリ言語とは Resource Description Fra

SPARQL とは SPARQL(" スパークル " と発音 [1]) は RDF クエリ言語の一種であるその名称は再帰的頭字語になっており SPARQL Protocol and RDF Query Language の略 RDF クエリ言語とは Resource Description Fra