Hexagon Metrology at HxGN LIVE

Transcription

1 地理空間ビックデータの管理とデータ配信の課題 (Addressing Geospatial BIG Data Management and Distribution Challenges) CHONG Kwong Ki 2015 年 4 月 29 日

2 ビックデータとは? 2

3 データは決して眠らない 様々な組織が日々様々なソースから増えていく情報とデータを活用すべく 格闘しています ビッグデータの特徴として以下の 3 つの V があります 3 つの V モデル Volume ( 量 ) Velocity ( 速さ ) Variety ( 多様性 ) 地理空間の世界でも ビックデータ は身近な存在になってきています 3

4 データの大洪水 地理空間データのボリュームがこれまでにないスピードで増加しています 4

5 データの大洪水 より高解像度 より広範囲 より高頻度 5

6 データの大洪水 新しいデータソース 6

7 データ管理の需要 地理空間情報の経済的価値は 2020 年までに 7000 億ドルになります (McKinsey Global Institute) Economic value of geospatial data could reach $700 billion/year by 2020 (McKinsey Global Institute) 7

8 地理空間ビックデータへの挑戦 データ量 大部分の非構造化データ及び多数のファイルは管理される必要がある ストレージは大量データを保存するために急激に増やしていかねばならない 高速高性能のデータ配信の為に 多くの場合そのデータを複製しなければならない アップデートの管理は複製を作ることにもなり より困難な挑戦である 異なる受信データソース 正式なデータセットとして追加する為にデータを検証する必要がある データを正式なデータとして 公開し 発見しやすくするため データのメタデータを作成しなければならない ユーザーへのデータ接続 ユーザーは地理空間コンテキスト内で全てのデータを検索できる必要がある 8

9 地理空間ビックデータの挑戦 (2) 異なる GIS 環境に提供 多種多様なアプリケーションやプラットフォーム : デスクトップ ウェブ モバイルなどへデータの配信やアクセスができる必要がある 相互運用性は重要な要素である 組織間での高いセキュリティとシームレスなアクセス 高いセキュリティ カスタマイズ 拡張性 信頼性などが求められる 地理空間情報の資産の公開の際に法的要件を全て遵守する必要がある 公官庁 - 国土地理院 地方自治体 第一次産業 農業 森林 鉱物資源 保安 & セキュリティ - 警察 防衛 諜報 危機管理 国防 インフラ 交通 ユーティリティー 通信 公益協会 / 多数の画像を保有する組織 9

10 10 私たちのビックデータ戦略

11 データ圧縮 データ管理 11

12 12 データ圧縮

13 データ圧縮 : Enhanced Wavelet Compression (ECW) エンコード速度 データ管理の 削減 デコード速度 画像クオリティー The Power of ECW ユーザーパフォーマンスの向上 データストレージの削減 ファイルサイズ 時間の節約 13

14 14 データ管理

15 ビジネスニーズ 管理公開検索アクセス 組織 エンドユーザー 15

16 The Power Portfolio 16

17 管理する Power 17

18 ERDAS APOLLO とは? 総合的なデータ管理 解析 配信システム 大容量データの高速な画像配信を可能にし 効率的なデータの管理 カタログ化 検索 抽出 分析処理 セキュリティー設定が可能なサーバ製品 18

19 19

20 主な機能 データ管理 : パワフルなカタログ 充実した 地理空間メタデータを集中管理 全てをカタログ : ラスター, ベクター, 地形, LAS, デジタルデータ (pdf, mov, doc, jpeg, etc.) スケジュールを設定し自動でデータとメタデータの登録を行う データ検索 : 使用したいデータを検索する 高度な検索 リッチなメタデータ データアクセス : 様々な配信形態と ハイパフォーマンス 様々なデータ配信フォーマットがWebサービスで提供 OGC サービス タイル配信 ダウンロード ストリーミング 業界内最速画像配信 ( ベンチマーク ) 少ないハードウェア条件 20

21 相互運用性と互換性 様々な地理空間データフォーマットをサポート : GDAL と ERDAS IMAGINE ラスターフォーマットライブラリー OGC と ISO スタンダードの準拠すべての OGC と ISO 準拠のサービスとの統合 IT 環境に容易に統合マイクロソフトとのシームレスセキュリティー 21 ERDAS, Inc. A Hexagon Company. All Rights Reserved

22 カタログ及び登録のためのウィザードベース ワークフロー フォルダの指定 スケジュールの設定 サービスの選択 セキュリティの設定 22

23 データ解析 サーバサイドのジオプロセッシング デスクトップ Spatial Model Editor で空間モデルを作成 ERDAS APOLLO ERDAS IMAGINE から ERDAS APOLLO にモデルを登録 ERDAS APOLLO 上で OGC Web Processing Service (WPS) としてモデルを実行可能 オンデマンドで付加価値のある結果を生成可能 23

24 ERDAS APOLLO あなたのもつ全てのデータをひとつのカタログで管理します

25 点群データのカタログ化とストリーミング LiDAR データ管理が更に便利に! 企業にある大量の LiDAR データの管理を目的としている 大容量の点群データのカタログ化及び管理を行い インターネットを介してエンドユーザのアプリケーションにストリーミングすることができる 25

26 点群データ ストリーミングのデモ 26

27 Geo タグ付き画像ファイルのカタログ化 Geo タグ付き画像ファイルの管理が可能に!UAV やカメラで取得した Geo タグ付き画像から EXIF メタデータを抽出 マップビューに画像のシンボルを正しい位置に配置可能 27

28 Geospatial Portal 追加設定なしで使えるパワフルなウェブクライアント APOLLO カタログの閲覧 検索 マップ上に表示 ウェブサービスリンクへの接続 ダウンロード及び切り出し 圧縮 ダウンロード URL の 送信 ジオプロセッシング 28

29 2D マップ 29

30 3D マップ 2D/3D ウェブベースでのエンタープライズデータへのアクセスと洗練された解析 30

31 インタラクティブな影の解析 31

32 3D 計測 32

33 ERDAS APOLLO ワークフロー データ管理 カタログ セキュリティ サービス スタイル ラスター (TIFF, JPG200, etc..) デジタル (PDF, WMV, DOC) 3 rd パーティ OGC サービス LiDAR ベクター (Oracle, FGDB, GML) ERDAS APOLLO カタログ化とサーバー OGC Tile Cache ECWP File 解析 可視化 WFS-T 33 空間モデル : WPS フィーチャ編集 更新

34 ケーススタディ : RWE Deutschland ドイツにおける数百万もの地理基盤データファイルの管理

35 主な概要 38 Tb 画像サイズ 370,000 画像ファイル数 RWE Deutschland AG, ヨーロッパでのユーティリティ産業のリーディングカンパニー ドイツの国土全体の地理空間データ (20m GSD) の編成及び管理 一枚の ECW ファイルとして圧縮 70,000 従業員数 985 Gb ECW 画像 35

36 ビッグデータを小さく! 世界で最も大きい地理空間画像? 20cm GSD 3,210,000 px by 4,340,000px ビッグデータを小さく! 38,000gb 非圧縮 50,000gb 画像ピラミッド付 875gb ECW 圧縮 370,000 ソースファイル 1 ECW ファイル 36

37 圧縮 非圧縮オリジナル & ピラミッド画像 1300 Gb 非圧縮オリジナル画像 1000 Gb 数値的にロスのない圧縮 ECW 画像圧縮 : 簡単なストレージの節約 より高速なパフォーマンス フルビジュアルの品質 400 Gb ECW 視覚的ロスのない圧縮 50Gb 37

38 ECW - 圧縮およびシンプルさ 今までのアプローチ 生画像 + 画像タイル + タイルピラミッド + モザイク オーバビュー Intergraph ECW 生画像 +1 ECW モザイク画像 効率のよい処理およびシンプルなデータ構造 : 管理がより容易に! 時間の節約 真のシングル ソース 全てのソフトウェアクライアントへ配信するためのたったひとつのフォーマット 38 + タイルキャッシュ

39 非圧縮 ピラミッド付 タイルキャッシュ level 17 タイルキャッシュ level 18 タイルキャッシュ level 19 タイルキャッシュ 実行例 ( ストレージ ) 71Tb level 19 キャッシュ 38Tb level 18 キャッシュ 39 画像サイズ ECW 0.85Tb level 17 キャッシュピラミッド +29 ECW +7 7 生成するまでにかかる日数

40 ピラミッド付オリジナル画像 + タイルキャッシュ 17 levels + タイルキャッシュ 19 levels ストレージコスト タイルキャッシュ & ピラミッド vs. ECW $ 6,200 $ 4,600 $ 4,700 Amazon S3 クラウドストレージコスト比較例 ECW 使用でコストが 98% 削減 ひと月あたり $4.6k 以上の節約 年間で $73k の節約 40 ECW $ 82 ひと月あたりのコスト ($) Data generated using the Amazon S3 Cloud Calculator

41 Hexagon Geospatial の提供する付加価値 IT コストの削減及び オペレーションの 効率改善 一つのインタラクティブな GIS 環境内データへの接続 柔軟なデータ配信 拡張された地理空間データに対する 相互運用性 一つの統一された情報ソースと全てのデータへの 一つの入口 41

42 42