PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

ありみちやなぎしま
5 years ago
Views:

1 2006/11/28-29 STE IT/DB WS 地球流体データベース解析可視化のための新しいサーバー兼デスクトップツール Gfdnavi の概要と将来構想堀之内武 ( 京大 ) 西澤誠也( 京大 ) 渡辺知恵美( お茶大 ) 森川晴大( 北大 ) 神代剛( 京大 ) 佐々木洋平 ( 北大 ) 中野満寿男( 九大 ) 塩谷雅人竹広真一 ( 京大 ) 林祥介石渡正樹小高正嗣( 北大 ) 城和貴鴨浩靖 ( 奈良女 ) 芦野俊宏( 東洋大 ) 中島健介( 九州大 ) 地球流体電脳 davisプロジェクト

2 発表内容イントロ本研究開発の対象現状認識目標世界動向開発中のツール Gfdnavi の概要紹介内容概要デモ ( スクリーンショット ) 今後の計画もっとネットワーキング知見 DB

3 本研究開発で扱う対象大気海洋等の数値データ = 多次元空間の物理量 ( サンプリングはいろいろ ) ( より幅広い応用可能性 ) プラス数値データから得られた知見情報 ( 計画中 )

4 本研究開発で扱うサービス研究者個人やグループのデータ整理管理解析可視化外向きデータ提供解析可視化サポート ( 今後の発展計画 :) さらに上記を通じて得られた知見情報の蓄積と利用検証

5 WWW の文書世界では webサーバ文書 webサーバ文書 web サーバ webサーバ文書 webサーバ文書 webサーバ文書文書 webサーバ文書ポータル的サイトも小規模サイトもwebサーバープログラムでサービスアクセスの均一性相互リンク検索エンジンによるスキャンと収集横断検索検索エンジン etc

6 と言っても各自のツールは豊か個人 PC no DB/no http 科学数値データの場合グループ共有サーバ no DB/no http グループ共有サーバ個人 PC no DB/no http o DB/no http 提供方法まちまちアクセス法不均一個人や小規模データと大規模公開の断絶横断検索横断利用できない web サーバ DL& 可視化アフリ数値データ web サーバ DB & 提供 UI 数値データ ( 根本問題 : 大量の数値そのままでは意味がない ) ftp サーバ数値データ web サーバ数値データ

7 目標第 1 段階 : 個人や小グループのデータ取り扱い ( 管理解析 ) と大規模広範囲なデータサービスの断絶をなくすデスクトップとサイバー空間を同じ土俵に本年度実装第 2 段階 : ( 個人用も含む ) サーバ間連携科学数値データの web の構築デスクトップとサイバー空間の融合本年度は主に基礎検討

8 戦略まずは研究者個人が自分用に使いたいと思うものをデータ解析可視化機能が充実高自由度それがほぼそのままデータ公開サーバー運用にも使えるように http 利用どこで動かす場合も web サーバーを使う

9 世界動向データ提供共有 LAS(Live Access Server) ( 米 ): 大気海洋データ公開サーバー構築ソフト ( 解析可視化可 ) 機能的にはこれが一番我々の近いしかし個人利用は念頭外サーバー連携なし ( つまり従来型 ) NERC Data Grid ( 英 ): GRID 上で大気海洋データを扱うメタデータモデルと Web サービス等の実装ポータルで外向き発信もプロトタイプ? 以上我々のも含め想定するデータモデル ( 多次元科学データのメタデータ ) は基本的に共通 STE では STARS( 日 ) デスクトップツール多数ネットワークのクライアント利用できる代表は UCAR unidata の IDV

10 Gfdnavi (Geophysical fluid data navigator) の開発構想開始 :2005 年 10 月実装開始 :2006 年 8 月 ( 現時点での主な実働部隊 : 西澤堀之内渡辺森川神代 ) 現状 : 開発版のみ近日公開版リリース予定 ( 内容的には当分開発版か..)

11 実装の支え : Ruby on Rails これが出てきたことでやりたいことが実現可能に Web アプリケーション開発フレームワーク RDBMS 利用高機能包括的 (ajax, web サービスなども web サーバー同梱 ) 埋め込み Ruby 利用 ( 既開発ライブラリ組込可 ) これまで Ruby によるデータ解析可視化基盤ライブラリーを作成してきた (GFD 電脳サーバーにて公開 )

12 構成概略 DB 部 (M) メタデータをDB 化自動スキャンによる簡単登録他 : ユーザー / グループ解析可視化生成物など UI 部 (VC) メニュー : 検索解析可視化 etc. html ( 埋込 Ruby JavaScript ajax) Ruby on Rails 利用さらにパッケージ化で導入を楽に

13 メタデータ DB メタデータ : 任意の名前の属性 ( 名前と値の組 ) ただし若干の標準の名前ありスキーマはルーズに入力は楽に! 格子に関する情報 : 多次元一般対応緯度経度時間を特別に認識データ間の関係ディレクトリーツリーと DB が対応自動スキャンで生成再生成自己記述ファイル (NetCDF,grib,GrADS 等 ) + 追加テキストファイル (yaml) フォルダ階層データファイル一元的にディレクトリーとして扱うテキストファイル ( メタデータ追加 ) 変数 ( 数値データ ) group attributes description =.. param1 = value1 param2 = [val21,val22] temporal_ attributes start end n 1 1 n keyword _attributes directories 1 1 n variables name type value 1 1 n spatial_ attributes

14 ユーザーインターフェース選択 MS Explorer 風ツリー表示キーワード検索 Google map 利用地図検索解析可視化メタデータ詳細表示ユーザーグループ管理

15 デモスクリーンショット by 西澤 & 堀之内

16 ホーム ( カスタマイズ可 )

17 検索トップ : ツリー表示クリックでディレクトリ情報の詳細表示あクリックで変数情報の詳細表示 MS Windows エクスプローラ風ディレクトリツリー表示 (Ajax で子要素を取得 ) Add のクリックまたはチェックボックスのチェック後 Add selected items クリックで変数を解析用変数リストに追加

18 詳細表示

19 詳細表示

20 詳細表示

21 詳細表示

22 検索画面フリーキーワードの入力 ( 強化予定いろいろ : 名前と値の組による検索など ) 空間範囲の指定手入力 or GoogleMap 時間範囲を指定

23 再びツリー表示

24 解析可視化解析用変数リスト範囲指定描画オプション指定

25 解析可視化図をクリックでポップアップ図を描画するためのデータおよびスクリプトのダウンロード図をデータベースに保存この図を書くための URL

26 解析可視化図をドラッグし他の図の上にドロップすると

27 解析可視化合成図ができる

28 Analysis タブをクリックで解析モードに解析可視化

29 解析可視化新しくできた変数が解析用変数リストに追加される変数名をクリックするとポップアップメニューが表示される変数を NetCDF としてダウンロード変数をデータベースに保存

30 ツリー表示

31 元データへの参照が表示される詳細表示

32 ユーザー管理

33 Signup ボタンクリックで管理者と申請者に確認メールが送信されるユーザー管理

34 管理者が申請の可否を決定ユーザー管理

35 ユーザー管理

36 常時運用サーバー設置予定 ( 現在 ) CREST の衛星降雨 ( マイクロ波 ) 全球マッピングプロジェクト GSMaP 地球流体電脳倶楽部 / 京大 RISH の davis(data analysis and visualization) サーバー davis.rish.kyoto-u.ac.jp( 現在調整中 )

37 今後の計画 : (1) 一層の充実機能増強より使いやすい UI 内容を書きだすと切りがないので割愛

38 今後の計画 :(2) もっとネットワークサーバー間連携横断検索 : 基本 ( 相手指定 ): Web サービス / カタログ DL 発展 ( 相手がわからない場合 ): peer-to-peer 横断利用 :Web サービス Rails には Web サービスサポートライブラリー有り SOAP 利用のための開発は簡単

39 P2P を用いた Gfdnavi メタサーチ ( 構想 ) Gfdnavi サーバ同士を Peer-to-peer ネットワークでつなぎ, 自律分散的にデータカタログを管理 P2P 上の RDB 検索手法を導入活用例複数の機関による様々な場所時間での地表観測の合成 (join), 多手法観測複合解析複数機関の予測の統計解析 etc etc dataa RDB RDB RDB datab RDB RDB datac

40 今後の計画 :(3) 知見情報も! 現在データ解析可視化得られた画像や数値データを保存できる ( 標題やコメントもつけて ) 元データへのリンク付 DBのおかげで元データからも辿れる ( それ以上の検索機能は今のところなし ) これをもっと発展させたい

41 こんなことができたらいいな ( その 1) ( データから得られた ) 情報発信 TRMM Web ページ

42 Generated by: dcmodel-thum by 山田由貴子こんなことができたらいいな ( その 2) 得られた沢山の図を整理して保存 (dcmodel-thum)

43 こんなことができたらいいな ( その 3) 図表を埋め込んだ ( 長い ) 文章のサポート

44 こんなことができたらいいな ( その 4) データの見方の保存と情報交換 (or 投稿 ) こういうことを知るにはこんなデータを ( 組み合わせて ) こういう風に可視化するデータの見方という知見情報ベストな描画パラメターで解析画面を一発表示 ( 画像保存も ) 多くの利用者のコミットデータの見方を好きにつけてもらう検索 ( ランキング ) が賢ければ沢山投稿されても大丈夫地球流体版はてな

45 知見データ取り扱い構想知見データの仮仕様階層的構造化知見 - has 0..* 知見 - has 1 本文要約キーワード - has 0..* 図表 - has 1 可視化情報図表 - has 1 画像 - has 1 タイトル説明 ( キャプション ) リンク埋め込み型テキストも使用可 (rd 利用 ) 自動生成メタデータ ( 元データや見方へのリンク ) 検証可能性の実現! DB 化 ( 横断 ) 検索可能に RSS 生成機能情報発信新着情報頁や特集テーマ頁づくり

46 まとめデスクトップデータの解析からネットワークを通じたデータ提供利用までをカバーするサーバー兼デスクトップツール Gfdnavi を開発している Web サーバー同梱気軽にどこでも使えるデスクトップとサイバー空間を同じ土俵にルーズなスキーマによるメタデータ DB 自動登録 DB 作者に努力を強いない必要なら検索を賢くする今後の計画機能増強 UI 改良もっとネットワーク ( 地球流体版 ) デスクトップとサイバー空間の融合知見情報も扱えるようにデータによる検証可能性の実現知見情報発信交換投稿 etc.

48 以後予備スライド

49 Gfdnavi メタデータ : キーワード属性名前と値の組値の型は文字列 or 数値 ( 数値は一次元配列可 ) 若干の特別な名前ありあれば使われるいろんな名前コンベンションより別名をつける (Dublin Core, SIGEN, NetCDF (GPhys)) 現在は title ( 別名 : subject, long_name, standard_name, name) description ( 別名 : いまのところなし ) information_url ( 別名 : url, reference(s)) who ( 別名 : creator, maintainer)

50 多くのデータ提供サーバーの現状ファイルでの提供が中心簡単な解析可視化サービスも一部はより進んだ遠隔データアクセス可せいぜいクイックルック DL したら全部自分で専用作りこみ ( 特に大規模提供時 ) 他に応用しづらい

51 P2P を用いた Gfdnavi メタサーチ Gfdnaviにより各自サーバのデータ公開検索が可能になる Gfdnaviが普及すれば, ネットワーク上に多数のGfdnaviサーバが出現 Gfdnaviサーバを横断してどこに何があるのかを調べたいポータルサーバ : 多くの Gfdnavi サーバのデータカタログを収集管理ポータルサーバが生命線になってしまう運用コストがかかる catalog catalog

52 取り扱うデータの構成対象とする科学データファイルは複数の多次元格子データセットを持つデータセットは複数の属性情報と, 時間空間特性を持つ Grid 型格子公開フォルダ科学データファイル多次元格子データセット Swath 型格子衛星 group 衛星の進行方向 SIGEN ファイル attributes description =.. param1 = value1 param2 = [val21,val22] Points 型格子

53 メタデータ用スキーマの設計空間属性は最小外接矩形の集合として表す格子型に依存しない形で表現空間情報, 時間情報以外はキーワード属性として扱う Grid 型格子 n 1 directories start end temporal_ attributes 1 1 n 1 keyword _attributes 1 n variables name type value 1 n spatial_ attributes Swath 型格子 Points 型格子ディレクトリー木構造 RDB

54 扱うデータファイル形式は複数 :NetCDF, grib, GrADS, ( 拡張可 : 違いは下位のデータ解析可視化ライブラリー GPhys が吸収 ) いずれもメタデータを内包する binary データ形式 (or 別途テキストファイルを添えて ) いずれも前頁のデータモデルに還元可メタデータの意味についてもある程度標準有 NetCDF: CF (Climate and forecast) 規約にて物理量の種類と名前の対応も grib( 予報機関利用 ): 外部テーブル参照型物理量の種類その他が詳細に ID 化されている NetCDF CF 規約にマッピングして一元的に扱うことが ( それなりに ) できる自動スキャン可能性の基礎

55 データ間相互参照 Gfdnavi では数学統計解析の結果できた数値データを保存しメタデータを DB に入れられる元データへの参照も保存される他にも一般にあるデータ間の相互関係が存在しうる検索においてはリンク解析の可能性但し現在存在するのはタグに名前のない単純リンクだけ - 将来的には名前付けるように?

Microsoft Office Visioによる施設管理について

Microsoft Office Visioによる施設管理について VEDA(Visio Extension of Database Assisting) による施設情報管理について 2017 年 10 月株式会社マイスター VEDA( ヴェーダ ) とは機能概要 Visio 標準機能との比較製品価格サービスメニューシステム構成例 VEDA とは VEDA( ヴェーダ ) とは VEDA は Microsoft 社が開発販売するビジネスグラフィックスツール