DIASフォーラム0731.pptx

Size: px

Start display at page:

Download "DIASフォーラム0731.pptx"

たしろうはやしもと
5 years ago
Views:

1 海洋シミュレーションデータを活用した水産アプリケーションの開発基盤石川洋一海洋研究開発機構地球情報基盤センター協力 :OpenDAP 勉強会 by 京大小山田研吉川研東大喜連川研柴崎研

2 内容漁場推定モデル開発支援ツール RECCA アカイカ課題で開発された漁場推定モデルの概略他海域他魚種への適用のための漁場推定モデルの開発支援ツールの開発から学んだことデータベースの構築メタデータの重要性

3 目的 RECCA アカイカ課題で開発された漁場推定モデルを他海域他魚種へ適用するためのツールを DIAS 上で開発するツール開発を通じて他のアプリケーションでも利用可能な開発基盤を DIAS 上で整備する

4 漁場推定モデル RECCA では三陸沖と中央太平洋のアカイカを対象に開発モデルコンセプトは他魚種へも適用可能海洋環境データと対象魚種の漁獲データは標本船の操業位置

5 HSI モデル作成支援可視化ツール概要 Webアプリケーションデータベース連携サーバ選択対話操作環境変数の選別 SI 曲線の作成 HSI 分布図の作成

6 漁場探索モデル作成支援環境システム概要メインビュー操作タブ

7 漁場探索モデル作成支援環境メインビュー環境変数 SI 値 HSI 値の分布

8 漁場探索モデル作成支援環境操作タブデータ選択 SI 曲線作成 HSI 分布作成

9 HSI モデル作成支援可視化ツールシステム構成 App. サーバアプリケーション (1) Web サーバ (Apache) (2) ファイルシステム (HTML, CSS, JS) Web ブラウザ WebGL 対応ブラウザネットワークユーザ端末 DB サーバデータベース (1) Web サーバ (Apache) (2) Servlet コンテナ (Tomcat) GDS (OPeNDAP) (3) ファイルシステム GrADS ユーザ

10 HSI モデル作成支援可視化ツール漁獲データ :Closed data 高いセキュリティが必要ローカルなデータとして扱う海洋環境データ :Open data 大規模データで多様な目的に利用可能 DIAS 上でアーカイブ必要な変数領域のみ使いたいデータベースの検討

11 データベースの必要性ファイル単位でのデータ取得の問題点ファイル単位? 1 変数 1 時刻 1 時刻多変数 1 変数時系列 etc.. アクセス方法をデータセット毎に実装する必要必要のない領域変数までダウンロード

12 データベースミドルウェアの検討 OPeNDAP SciDB 導入実績京大生存圏, NASA, NOAA LSST, PNNL バックエンドファイルシステム関係データベース動作環境 Linux 等 Linux スケーラビリティ任意のファイルシステム独自データ取得方法プロトコル DAP, HTTP 内蔵分析機能拡張性 Handler によって対応ファイル形式を追加 ODBC オープンソース LGPL AGPL( 有償プラグインあり ) クライアント言語ソフトウェア C++, Java, Python, JavaScript, Matlab, GrADS など Python, R など

13 データベースミドルウェアの検討 OPeNDAP 概要 HTTPベースのデータ転送プロトコルデータにはURIが付与複数のサーバおよびクライアント実装が存在対応データ形式はサーバ実装に依存 Webサーバファイルシステムで権限管理可能

14 データベースミドルウェアの検討 OpenDAP の利用例 hwp://xxx/yyy/ocean.dods?s[0][0][202:282][242:302] URLを指定してHTTP 通信クエリ構文 [i] 添字で指定のデータを取得 [start:stop] 添字で指定範囲のデータを取得 [start:step:stop] 添字で指定範囲のデータを一定間隔で取得セキュリティ Web サーバ Servlet コンテナの認証が利用可能

15 メタデータの重要性 GrADS フォーマットの問題点データフォーマットの曖昧性未定義値の信頼性 Z 軸の向き物理値の名称単位などデータファイルとメタデータファイルが別ファイルコピーなどで失われる危険専門分野内で暗黙的に解決 netcdf, CF conven_ons の適用を検討

16 メタデータの重要性 CF conven_ons hwp://cfconven_ons.org Version 1.7 (28 March, 2014) CF standard name sea_surface_height_above_sea_level (sea_surface_height) sea_surface_temperature eastward_sea_water_velocity sea_water_x_velocity (x_sea_water_velocity) northward_sea_water_velocity sea_water_y_velocity (y_sea_water_velocity)

17 メタデータの重要性出力変数の基本要素出力される点の位置定義点の値値の単位変数の内容名前 ( 標準化された文字情報 ) 未定義値単位 ( 標準化された表記 ) 変数の値

18 Netcdf ファイル例座標軸 ( 水平軸 ) の定義例 dimensions:!!latt = 442 ;!!Lont = 673 ;! variables:!!float Latt(Latt) ;!!Latt:long_name = "latitude of TS-point" ;!!Latt:standard_name = "latitude" ;!!Latt:units = "degree_north" ;!!Latt:axis = "Y" ;!!float Lont(Lont) ;!!Lont:long_name = "longitude of TS-point" ;!!Lont:standard_name = "longitude" ;!!Lont:units = "degree_east" ;!!Lont:axis = "X" ;!

19 Netcdf ファイル例座標軸 ( 鉛直軸 ) の定義例 dimensions:!!depth = 54 ;! variables:!!float depth(depth) ;!!depth:long_name = "depth of model levels" ;!!depth:standard_name = "depth" ;!!depth:units = "m" ;!!depth:axis = "Z" ;!!depth:positive = "down" ;!

20 Netcdf ファイル例座標軸 ( 時間軸 ) の定義例 dimensions:!!time = 1 ;! variables:!!float time(time) ;!!time:long_name = "days since reference date" ;!!time:standard_name = "time" ;!!time:units = "day since " ;!!time:axis = "T" ;! units の書式 ) [unit] since [yyyy]- [(m)m]- [(d)d] ([(h)h]:[(m)m]:[s]) (+/- [hh](:[mm])) 例 ) seconds since :15:42.5-6:00 days since :0:0

21 Netcdf ファイル例変数の定義例 variables:!!float U(time, depth, Latu, Lonu) ;!!U:long_name = "zonal velocity" ;!!U:standard_name = "eastward_sea_water_velocity" ;!!U:units = "m s-1" ;!!U:_FillValue = -9.99e+33f ;!!U:scale_factor = 0.01f ;! scale_factor, add_factorを使って指定の単位系に変換する SI 単位系に揃える例 ) 出力 : [cm s- 1] scale_factor = [m] 出力 : [degreec] add_offset = [K]

22 Netcdf ファイル例 Global awributes // global attributes:! :Conventions = "CF-1.6" ;! :title = "MOVE RA2014 daily-mean" ;! :source = "Ocean 3D-Var reanalysis Ver by MOVE- MRI.COM processed by ncmake_cf16 Ver. 1.0" ;!

23 DIAS 連携 GrADS (ctl) と netcdf の比較 ( 座標軸 ) // GrADS! XDEF 673 LEVELS ! YDEF 442 LEVELS ! ZDEF 54 LEVELS ! TDEF LINEAR 01Jan1980 1dy! コントロールファイルは 1 ファイルの中で複数の同じ向きの軸を定義できない水平座標はコントロールファイルでは緯度経度を仮定している (PDEF でそれ以外も指定可能?) 鉛直座標の単位はコントロールファイルでは明示されない // netcdf! netcdf MOVE-RA2014_ {! dimensions:! Latt = 442 ;! Latu = 442 ;! Lont = 673 ;! Lonu = 673 ;! depth = 54 ;! time = 1 ;! variables:! float Latt(Latt) ;!!Latt:long_name = "latitude of TS-point" ;!!Latt:standard_name = "latitude" ;!!Latt:units = "degree_north" ;!!Latt:axis = "Y" ;! float Latu(Latu) ;!!! float Lont(Lont) ;!! float time(time) ;!!time:long_name = "days since reference date" ;! time:standard_name = "time" ;!!time:units = "day since " ;!!time:axis = "T" ;!

24 DIAS 連携 GrADS (ctl) と netcdf の比較 ( 変数 ) // GrADS! UNDEF 0! VARS 2! u zonal velocuty (cm/s)! v meridional velocity (cm/s)! ENDVARS! // netcdf! netcdf MOVE-RA2014_ {! variables:! float U(time, depth, Latu, Lonu) ;!!U:long_name = "zonzal velocity" ;!!U:standard_name = "eastward_sea_water_velocity" ;!!U:units = "m s-1" ;!!U:_FillValue = -9.99e+33f ;!!U:scale_factor = 0.01f ;!

25 まとめと今後の課題漁場推定モデル作成支援のツール DIAS 上の海洋環境データセットを利用必要なデータのみ使うために OpenDAP を活用シミュレーションデータの利用についてデータセットのメタデータに加え変数についての詳しいメタデータも必要変数名について同じ変数には同じ名前がついていて欲しいが違う名前で同じ変数は対応可能だが同じ名前で違う変数は困る DIAS 標準規格があると利用しやすい Netcdf と CfConven_on など広く流通しているものに準拠 & 拡張データセットのメンテナンスやアフターケアの労力削減データセット作成者の手間は増える

メタデータ管理システム

観測から利用までの一体的連携を支援するメタデータ管理システムの開発京都大学情報学研究科吉川正俊馬強清水敏之 1-3 観測から利用までの一体連携を支援するメタデータ管理システムの開発 DIAS データ俯瞰検索システム DIAS メタデータドキュメント作成システム XML 手入力格納データ提供者自動抽出データセット DIAS メタデータ入力システム印刷公開メタデータ HTML