九州大学学術情報リポジトリ Kyushu University Institutional Repository IUGONET メタデータ DB の構築阿部, 修司九州大学宙空環境研究センター梅村, 宜生名古屋大学太陽地球環境研究所小山, 幸伸京都大学大学院理学研究科附属地磁気世界資料解析セ

Size: px

Start display at page:

Download "九州大学学術情報リポジトリ Kyushu University Institutional Repository IUGONET メタデータ DB の構築阿部, 修司九州大学宙空環境研究センター梅村, 宜生名古屋大学太陽地球環境研究所小山, 幸伸京都大学大学院理学研究科附属地磁気世界資料解析セ"

ありさあわたけ
4 years ago
Views:

1 九州大学学術情報リポジトリ Kyushu University Institutional Repository IUGONET メタデータ DB の構築阿部, 修司九州大学宙空環境研究センター梅村, 宜生名古屋大学太陽地球環境研究所小山, 幸伸京都大学大学院理学研究科附属地磁気世界資料解析センター堀, 智昭名古屋大学太陽地球環境研究所他出版情報 : バージョン : 権利関係 :

2 IUGONET メタデータ DB の構築阿部修司 [1], 梅村宜生 [2], 小山幸伸 [3], 堀智昭 [2], 谷田貝亜紀代 [4], 新堀淳樹 [4], 田中良昌 [5], 上野悟 [6], 金田直樹 [6], 八木学 [7], 佐藤由佳 [5], IUGONET プロジェクトチーム (Spatial Thanks to Dr. Hiroo Hayashi, a former director of IUGONET developer team) [1] 九州大国際宇宙天気科学教育センター [2] 名古屋大太陽地球環境研究所 [3] 京都大理地磁気センター [4] 京都大生存圏研究所 [5] 国立極地研究所 [6] 京都大理附属天文台 [7] 東北大惑星プラズマ大気研究センター

3 IUGONET 機関の所有する観測機器アイスランドオーロラ観測 (2 点 ) 地磁気観測 (3 点 ) トロムソ IS レーダー流星レーダー MF レーダー信楽 MU 観測所北海道 HF レーダー ( 探査範囲 ) 太陽望遠鏡スバールバル : IS レーダー流星レーダーオーロラ観測赤道大気レーダー (EAR) 飯舘女川観測所昭和基地 SuperDARNレーダー 2 台 MFレーダーオーロラ観測地磁気多点観測点網昭和女川 ELF 同時観測 SuperDARN レーダー MST レーダー MF / 流星レーダー MAGDAS/ 地磁気観測 FM-CW レーダー OMTI 光学観測 WDC/ 地磁気観測所 2012/08/09 IUGONET 中間報告 2012@NIPR 2

4 多種多様なデータを利用する際の問題点自分の専門のデータ ( 例えば地磁気指数 ) はうまく使えるが種類の違うデータ ( 例えば太陽撮像データ ) を同時に使うための各情報を入手することが難しく総合解析になかなか結びつかない他の分野のデータに関する情報がなかなか得られないストレスこのような問題を解決する手段として IUGONET は観測データのメタデータを共有するシステムと統合解析ツールを提供する本プレゼンでは前者の観測データのメタデータデータベースについて紹介する 2012/08/09 IUGONET 中間報告 2012@NIPR 3

5 メタデータ DB の利用メタデータ観測データそのものでは無く info 観測データに付帯した情報 e.g. 観測開始終了時刻観測場所観測データの所在情報メタデータを介して観測データへアクセスメタデータ DB これらのメタデータを集めて検索可能にしたもの DB 様々な研究機関にある観測データのメタデータを 1 クエリーで検索可能 ( いつどこでどの物理量が同時観測されたのか?) 2012/08/09 IUGONET 中間報告 2012@NIPR 4

6 IUGONET が開発しているメタデータ DB フリーソフトウェア DSpace をベースに構築学術機関リポジトリで広く使用されているため情報の入手が容易少々のカスタマイズ (JSP Servlet) で IUGONET メタデータを利用可能採用しているメタデータは SPASE Dspace では直接 XML を扱えないためフォーマット変換して格納 ( プログラムを IUGONET にて作成後述 ) 2012 年 3 月に正式版公開現在運用中 β 版公開時 (2011 年 5 月 ) はサーバ1 台のみ (iugonet1.stelab) の運用 2012 年 1 月にメインサーバを移行 (iugonet7.serc) 旧メインサーバはサブとして使用し現在メインサブ2 台の冗長体制 2012/08/09 IUGONET 中間報告 2012@NIPR 5

7 IUGONET MDB の紹介 Addthis とフィードバックフリーワード検索時間範囲指定検索メタデータ種類選択 2012/08/09 IUGONET 中間報告 6

8 IUGONET MDB の紹介ヘルプ動画へのリンク検索内容を切り替えるタブインターフェース観測領域検索 2012/08/09 IUGONET 中間報告 7

9 検索例 2012/08/09 IUGONET 中間報告 8

10 太陽撮像メタデータの検索検索領域の切り替え選択 ( 全球と部分 ) 東西は地球と逆になっている Help 参照のこと 2012/08/09 IUGONET 中間報告 2012@NIPR 9

11 観測機器と領域 map による検索観測機器と領域を示した図中の文字をクリックすると関連メタデータを検索できる 2012/08/09 IUGONET 中間報告 10

12 ヘルプ動画動画を用いた分かりやすい MDDB の使い方を紹介 Youtube に専用チャンネルあり om/user/iugonet2009/ 2012/08/09 IUGONET 中間報告 11

13 MDB へのアクセス解析 Visitors によるログ解析の一部を示すアクセス数は順調に増えているまた日本の weekday, workingtime 時のアクセスが主 2012/08/09 IUGONET 中間報告 12

14 Git リポジトリの運用 Git とはプログラムなどのソースコード管理を行う分散型バージョン管理システム (Linux のソースコード管理などが有名 ) IUGONET では各機関メタデータ UDAS( 解析ソフトウェア ) などを git で管理している 2012/08/09 IUGONET 中間報告 2012@NIPR 13

MDB 運用を助ける IUGONET ツール md_checker は各機関の作成したメタデータが所定の書式に従って記載されているかをチェックするツールエラーを発見した場合は各機関担当者へメールが送信される g2d は各機関のメタデータを保存している git リポジトリから MDB へメタデータをインポートするツール 1 日に 2

15 MDB 運用を助ける IUGONET ツール md_checker は各機関の作成したメタデータが所定の書式に従って記載されているかをチェックするツールエラーを発見した場合は各機関担当者へメールが送信される g2d は各機関のメタデータを保存している git リポジトリから MDB へメタデータをインポートするツール 1 日に 2 回メタデータの更新が行われている brokenlinkchecker は登録したメタデータに記載されている外部への URL リンクと外部機関の実データとが正しく接続されているかを確認するツールいわゆるデッドリンクを検出しユーザーがデータへ正しく到着できる手助けをする 2012/08/09 IUGONET 中間報告 2012@NIPR 14

IUGONET MDB パフォーマンステスト IUGONET MDB には大量のメタデータ (380 万件弱 ) が登録されているが検索に係る時間は一瞬 PostgreSQL への登録時間はメタデータの蓄積件数に関わらずほぼ一定 index-update の処理時間はメタデータの蓄積件数に対して比例的に増加

16 IUGONET MDB パフォーマンステスト IUGONET MDB には大量のメタデータ (380 万件弱 ) が登録されているが検索に係る時間は一瞬 PostgreSQL への登録時間はメタデータの蓄積件数に関わらずほぼ一定 index-update の処理時間はメタデータの蓄積件数に対して比例的に増加 replace が発生する場合は更なる処理時間を要するため改善が必要目下の問題は gitから IUGONET MDBへのメタデータ登録にかかる時間本件の調査のためパフォーマンステストを行った (150 万件まで詳細はpaperを submit 中 ) 2012/08/09 IUGONET 中間報告 2012@NIPR 15

17 Semantic Web への取り組み Semantic Web とは情報リソースに意味をし人を介さずにコンピュータが自律的に処理できるようにするための技術を採用した Web IUGONET MDB のベースになっている DSpace の Semantic Search 環境を構築して詳細を調査中またテスト環境のソースコード管理に github を使用している 2012/08/09 IUGONET 中間報告 16

http://search.iugonet.org/iugonet/opensearch/request?

18 &te= &Granule=granule OpenSearch OpenSearch とは検索結果を他のサイトから自由に利用できるようにするための仕組み UDAS(IUGONET が提供する解析ソフトウェア ) との連携や検索結果を他サイトから利用する拡張のために実装 OpenSearch の例 ( ブラウザでの結果表示 ) opensearch.html 2012/08/09 IUGONET 中間報告 2012@NIPR 17

19 build.xml によるシステムインストール build.xml build.xml とは ant で使用するビルドファイル IUGONET システムの構築方法を記述したファイルを準備しており IUGONET システムを楽にインストールすることが可能 1. Java 2. ant 3. build.xml IUGONET SYSTEM 2012/08/09 IUGONET 中間報告 18

20 フィードバック情報の収集 MDDB 利用者からのフィードバック情報を得るために 2 種類のインターフェースを準備 2012/08/09 IUGONET 中間報告 2012@NIPR 19

21 まとめ IUGONET の目的のひとつであったメタデータデータベースの構築は当初計画どおり昨年度末に公開版をリリースした効率的なメタデータデータベース運用を進める各種ツールの開発をおこなった他機関のメタデータが IUGONET MDB に登録されたり IUGONET MDB が他機関にて導入されるなど本システムは大きな広がりを見せている先に出ていた登録パフォーマンスの改善などをおこないより良いシステムの構築提供を進めていく 2012/08/09 IUGONET 中間報告 20

22 その他開発事項連想検索バックグラウンドに GetAssoc を利用 handle の同一化を含めた冗長化の検討 ResouceID を用いたで同一検索は可能 (spase :// ) イベントベースの検索イベントをどのように生成するか? イベントとメタデータをクエリでどう結びつけるか? などの課題を検討対応検索座標系の改善検討地磁気座標 MLT キャリントン座標 etc 負荷なくメタデータを生成できる共通ツールの提案研究者が負荷なくメタデータを生成できるツール web ページの情報が変わるケースに対応するツール 2012/08/09 IUGONET 中間報告 2012@NIPR 21

IUGONET システムの進捗と今後阿部修司 [1], 梅村宜生 [2], 小山幸伸 [3], 堀智昭 [2], 谷田貝亜紀代 [4], 新堀淳樹 [4], 田中良昌 [5], 上野悟 [6], 金田直樹 [6], 八木学 [7], 佐藤由佳 [5], IUGONET プロジェクトチーム (Spa

IUGONET システムの進捗と今後阿部修司 [1], 梅村宜生 [2], 小山幸伸 [3], 堀智昭 [2], 谷田貝亜紀代 [4], 新堀淳樹 [4], 田中良昌 [5], 上野悟 [6], 金田直樹 [6], 八木学 [7], 佐藤由佳 [5], IUGONET プロジェクトチーム (Spa 九州大学学術情報リポジトリ Kyushu University Institutional Repository IUGONET システムの進捗と今後阿部, 修司九州大学国際宇宙天気科学教育センター梅村, 宜生名古屋大学太陽地球環境研究所小山, 幸伸京都大学大学院理学研究科附属地磁気世界資料解析センター堀, 智昭名古屋大学太陽地球環境研究所他 http://hdl.handle.net/2324/26098