気象庁XMLを入手しよう利活用セミナー　第1回

Size: px

Start display at page:

Download "気象庁XMLを入手しよう利活用セミナー　第1回"

ぜんましもかさ
6 years ago
Views:

1 気象庁 XML 利活用セミナー ~ 気象庁 XML を入手しよう ~ 2013/03/12 気象庁気象衛星センター浜田浩

2 目次 1. JMAXMLのpush 概念図 2. PubSubHubbubの仕組み 3. 購読環境の構築 (AWSを例に) 4. テストに用いるHUB 5. PHPでSubscriber 6. Subscriberをテストする 7. 完成したら登録申請を 8. 気をつけておきたいポイント 9. 購読によって出来ることいろいろ 2

3 JMAXML の push 概念図 3 HUB は subscriber に更新フィードを push 2 更新通知を受けて HUB がフィードを取得 HUB 気象庁 HP 等 (publisher) 利用者 (subscriber) 利用者 (subscriber) 利用者 (subscriber) インターネット atom フィード 1 電文の分類種別に応じて更新通知を HUB に publish 4 利用者はフィードを元に XML 電文を取得 XML 電文 3

4 PubSubHubbub の仕組み従来 Subscriber Subscriber Subscriber 1 定期的にアクセス 2 更新されていたら返す Pub lish er パブサブハバブと読みますフィードを即時的に PUSH するためのプロトコル PubSub Hubbub なら Subscriber Subscriber Subscriber 3 フィード配信 HUB 1 更新通知 2 フィード取得 Pub lish er 4

5 購読環境の構築 (AWS を例に ) ここではアマゾンの EC2 を利用する場合の具体例を挙げます ( なお AWS のアカウント取得や EC2 サービス利用の仕方については省略させていただきます ) EC2 のインスタンス起動にあたって AMI は低廉な Amazon Linux AMI (t1.micro) 利用を想定 Web サーバとして利用するので 80( または 443) ポートは開けておく EC2 を起動したあとに行っておくこと httpd と php をインストールする $ sudo yum -y install httpd $ sudo yum -y install mod_ssl $ sudo yum -y install php $ sudo vi /etc/php.ini $ sudo service httpd start https を用いない場合は不要タイムゾーンを設定 date.timezone = "Asia/Tokyo" 5

6 テストに用いる HUB 気象庁の試行では Google.org による Alert HUB を利用 ( ここではテスト用として Google が GAE 上に立ち上げている HUB を利用します ) (HUBのソースは公開されているのでその気になれば自分でHUBを立ち上げることも可能ですがその場合は ) Google App Engine SDK for Python を入手する HUBのリファレンス実装のソース (Python) を入手する Python は AMI にデフォルトで入っているものでOK という感じになります 6

7 <?xml version="1.0" encoding="utf-8"?> <feed xmlns=" xml:lang="ja"> <title>jmaxml publishing feed</title> <subtitle>this feed is published by JMA</subtitle> <updated> t18:49:01+09:00</updated> <id>urn:uuid:f57b5866-0c8c-3c92-9aff-10a715cdf48b</id> <link href=" rel="related"/> <link href=" rel="self"/> <rights>published by Japan Meteorological Agency</rights> PHP で Subscriber このようなフィードが HUB から push されてきます <entry> <title> 気象警報注意報 </title> <id>urn:uuid: e ad57-210f1522cb7b</id> <updated> t09:48:25z</updated> <author><name> 気象庁予報部 </name></author> <link href=" type="application/xml"/> <content type="text"> 東京都気象警報注意報伊豆諸島北部伊豆諸島南部では強風や高波に注意して下さい </content> </entry> <entry> <title> 気象警報注意報 </title> <id>urn:uuid:026a5163-5b51-334a-b b0eef</id> <updated> t09:48:52z</updated> <author><name> 熊本地方気象台 </name></author> <link href=" type="application/xml"/> <content type="text"> 熊本県気象警報注意報熊本天草芦北地方では強風に注意して下さい </content> </entry> </feed> 7

8 PHP で Subscriber <?php $method = $_SERVER['REQUEST_METHOD']; シンプルな Subscriber の例 // subscribe (or unsubscribe) a feed from the HUB if ($method == 'GET') { $hubmode = $_REQUEST['hub_mode']; $hubchallenge = $_REQUEST['hub_challenge']; if ($hubmode == 'subscribe' $hubmode == 'unsubscribe') { // response a challenge code to the HUB header('http/ "OK"', null, 200); header('content-type: text/plain'); echo $hubchallenge; else { header('http/ "Not Found"', null, 404); GET 時は登録確認 HUBから登録確認のため初回および5 日間隔でチャレンジコード付きリクエストが飛んでくるのでそのまんまbodyに入れて返す // receive a feed from the HUB if ($method == 'POST') { // feed Receive $string = file_get_contents("php://input"); // feed save $fp = fopen(date('ymdhis'). "_atom". ".xml", "w"); fwrite($fp, $string); fclose($fp);?> POST 時はフィード配信受信したフィードに対する処理を記述する ( ここでは単にフィードをファイルに保存しています ) 8

9 PHP で Subscriber // receive a feed from the HUB if ($method == 'POST') { // feed Receive $string = file_get_contents("php://input"); // feed Parse & XML GET if (FALSE === ($feed = simplexml_load_string($string))) { exit("feed Parse ERROR"); foreach ($feed->entry as $entry) { $url = $entry->link['href']; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_TIMEOUT, 60); curl_setopt($ch, CURLOPT_HEADER, 0); $fp = fopen(basename($url), "w"); curl_setopt($ch, CURLOPT_FILE, $fp); curl_exec($ch); curl_close($ch); fclose($fp); 気象庁 XML を取得する例前頁から POST 処理の部分だけをたとえば左記のように変更エラー処理やリトライ等は適宜記述を 9

$PHPでSubscriber if ($hubmode == 'subscribe' $hubmode == 'unsubscribe') { if ($_REQUEST['hub_verify_token']!= "somekey") { header('http/1.$

10 PHPでSubscriber if ($hubmode == 'subscribe' $hubmode == 'unsubscribe') { if ($_REQUEST['hub_verify_token']!= "somekey") { header('http/ "Unknown Request"', null, 404); exit("unknown Request"); // response a challenge code to the HUB header('http/ "OK"', null, 200); header('content-type: text/plain'); echo $hubchallenge; else { header('http/ "Not Found"', null, 404); // feed Receive $string = file_get_contents("php://input"); if (isset($_server['http_x_hub_signature'])) { $sign = explode('=', $_SERVER['HTTP_X_HUB_SIGNATURE']); $sha1 = hash_hmac("sha1", $string, "somekey"); if ($sign[1]!= $sha1) { header('http/ "Invalid X-Hub-Signature"', null, 404); exit("invalid X-Hub-Signature"); // feed Parse & XML GET if (FALSE === ($feed = simplexml_load_string($string))) { exit("feed Parse ERROR"); GET リクエスト受信時に hub.verify_token が申告したものと同一か確認ここでは仮に verify_token を somekey とする verify_token で照合する例 POSTリクエスト受信時に HTTP_X_HUB_SIGNATURE と verify_token をキーにして求めたハッシュ値が同一か確認 10

11 Subscriber をテストする前準備ブログなど任意のタイミングで容易にフィード更新できるものを用意しておく購読 HUB の subscriber 登録 / 解除用 URL にブラウザでアクセスする Callback 欄に subscriber の URL を入力する ( 前頁のサンプルを元に作成した subscriber の URL を指定します ) Topic 欄にテスト用 atom feed の URL( 前準備で用意したもの ) を入力する Mode 欄で Subscribe を選択し [Do it] ボタンで登録完了出版 PubSubHubbub に対応したブログ等の場合ここのステップは不要 HUB の publish 用 URL にブラウザでアクセスする Topic 欄にテスト用 atom feed の URL( 前準備で用意したもの ) を入力する [Publish] ボタンを押すと HUB へ更新通知されるテストフィードを更新し上記の出版を行うこれを繰り返し subscriber をテストする 11

12 完成したら登録申請を動作に問題が無ければ気象庁宛に登録申請を願います本試行においては HUB へのユーザ登録は気象庁側で行います登録に必要な情報としては氏名連絡先 subscriber の URL など verify_token の登録を希望する場合は token を記載登録を希望する atom フィードの分類種別定時 : 気象に関する情報のうち天気概況など定時発表されるもの随時 : 気象に関する情報のうち警報注意報など随時発表されるもの地震火山 : 地震火山に関する情報その他 : 上記 3 種類のいずれにも属さないものなりすましを回避したい場合 ( 詳しくはこちらを参照ください ) 12

13 定時天気概況府県天気予報 / 地域時系列予報週間天気予報全般季節予報地方季節予報など地震火山震度速報震源震度に関する情報津波警報注意報予報津波情報東海地震予知情報東海地震注意情報噴火警報予報噴火に関する火山観測報など試行公開されている情報の一覧いろいろ有りますその他特殊気象報生物季節観測報告気象報紫外線観測データ府県海氷予報など随時全般台風情報台風解析予報情報気象警報注意報指定河川洪水予報土砂災害警戒情報記録的短時間大雨情報竜巻注意情報全般気象情報地方気象情報府県気象情報スモッグ気象情報異常天候早期警戒情報地方高温注意情報府県高温注意情報など 13

14 気をつけておきたいポイント登録確認は 5 日間隔で飛んできます (21 時または 20 時 ) チャレンジコードを返しそびれると登録が解除されます必要な公開 XML 電文は 24 時間以内に取得してくださいサーバ側の保存期間は最短 24 時間です情報が真正であることを確認する場合はフィードや公開 XML 電文のドメインはです ( ただし公開 XML 電文のドメインについては今後変更となる可能性あり ) 他には verify_token を利用する Callback URL を他人に知られないようにする等先月 (2 月 ) の実績では件のフィード件のエントリを受信ただし同じフィードが複数回 push されることあり ( 分散処理に起因?) 迅速確実な電文配信を保証するものではありません ( 試行 ) 多少のタイムラグがあります 14

15 購読によって出来ることいろいろ直接データ利用例としては天気予報や気象警報注意報を利用生物季節観測や紫外線観測データを利用二次利用例としては情報を蓄積検索できるサイトを立ち上げる websocket 等を使ってクライアントへ二次配信詳しくはこのあとの各種プレゼンをご覧くださいありがとうございました 15

PowerPoint Presentation

PowerPoint Presentation PubSubHubbub 試用レポート 2012/08/30 クラウドテクノロジー研究部会メンバー気象庁浜田浩試用の目的 Web 上の更新情報をタイムラグ無しにたいていの場合情報は不定期に発生する発生した情報を素早く周知したい ( 送り手 ) キャッチしたい ( 受け手 ) でも多数から頻繁なポーリングは困る ( 送り手 ) そこで PubSubHubbub Publish( 発行 )Subscribe(

気象庁XMLを入手しよう 利活用セミナー 第1回

気象庁XMLを入手しよう利活用セミナー　第1回