Oracle Innovation Summit Tokyo 2018

Transcription

1 Oracle Innovation Summit Tokyo 2018 Session A-4 南海トラフ 首都直下地震にそなえる クラウド データレイクで実現する 防災情報サービスプラットフォームとは 国立研究開発法人 防災科学技術研究所 レジリエント防災 減災研究推進センター 主幹研究員 鈴木 進吾 博士(情報学) 株式会社アクアシステムズ 執行役員 技術部長 川上 明久 氏 日本オラクル株式会社 クラウドプラットフォーム戦略統括 Senior Business Development Manager 谷川 信朗

2 以下の事項は 弊社の一般的な製品の方向性に関する概要を説明するものです また 情報提供を唯一の目的とするものであり いかなる契約にも組み込むことはできません 以下の事項は マテリアルやコード 機能を提供することをコミットメント ( 確約 ) するものではないため 購買決定を行う際の判断材料になさらないで下さい オラクル製品に関して記載されている機能の開発 リリースおよび時期については 弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社 関連会社の米国及びその他の国における登録商標です 文中の社名 商品名等は各社の商標または登録商標である場合があります Copyright 2018, Oracle and/or its affiliates. All rights reserved. 2

3 Data Driven これまでハードウェアは資産として扱われていたが データは同じように資産として考えられていなかった 今 ハードウェア ( 環境 ) はリアルタイムに購入するサービス ( クラウド ) となり 永続的に扱われる資産は データ である Erik Brynjolfsson, Director, MIT Initiative on the Digital Economy 引用 Copyright 2018, Oracle and/or its affiliates. All rights reserved.

4 今 組織が直面している データ CURRENT Data HISTORICAL Data NEW EXTERNAL Data Copyright 2018, Oracle and/or its affiliates. All rights reserved. 4

5 データ基盤アーキテクチャの変遷 DATABASE & DWH Structured Data Relational Database BIG DATA Multi-structured data Hadoop MODERN Any Data, Streaming Cloud 依然として重要ただしこれだけでは不充分 オープンでより高度ただし複雑で運用コスト増 現在取るべき基盤のカタチ Cloud Data Lake Copyright 2018, Oracle and/or its affiliates. All rights reserved. 5

6 データ基盤アーキテクチャの検討に必要となる考え方 Data Providers Integrate Analyze Data Consumers Public Data Services Streaming Manage Decision Makers Enterprise Enterprise Apps Copyright 2018, Oracle and/or its affiliates. All rights reserved. 6

7 データ基盤アーキテクチャに必要な構成要素 Data Integration Visualization Data Science Tools Query (Unified) Analytics Stream Object Storage Hadoop Spark Cluster Database Data Warehouse NoSQL DB Spatial & Graph DB Data Lake Batch Infrastructure Copyright 2018, Oracle and/or its affiliates. All rights reserved. 7

8 市場の評価 Magic Quadrant for Data Management Solutions for Analytics, 2018 Oracle は リーダー クアドラントの位置付け 本マジック クアドラントは ガートナーが発行したリサーチノートの一部であり 評価するにはレポート全体をご覧いただく必要があります ガートナーのレポートは リクエストにより日本オラクルよりご提供することが可能です ガートナーは ガートナー リサーチの発行物に掲載された特定のベンダー 製品またはサービスを推奨するものではありません また 最高の評価を得たベンダーのみを選択するようテクノロジの利用者に助言するものではありません ガートナー リサーチの発行物は ガートナー リサーチの見解を表したものであり 事実を表現したものではありません ガートナーは 明示または黙示を問わず 本リサーチの商品性や特定目的への適合性を含め 一切の保証を行うものではありません Source:Gartner, Magic Quadrant for Data Management Solutions for Analytics, 13 February 2018 Adam M. Ronthal, Roxane Edjlali, Rick Greenwald, Gartner RAS Core Research Note G Copyright 2018, Oracle and/or its affiliates. All rights reserved.

9 Data Drivenに必要となる Data Management 基盤 Analyticsを見据えた Data Lake Platform の実現 エンタープライズ Data Integration 層 (Data Integration Cloud) ANALYTICS 層 (Analytics Cloud) SaaS 検索推奨予測機械学習モバイル自然言語パーソナライズ DATA LAKE 層 (Big Data Cloud) 業務部門 パーソナル バルク / バッチデータ処理 機械学習 R, R for Hadoop, Spark ML 地理空間 & ネットワーク分析 Spatial, Graph アナリスト センサーソーシャルモバイル ストリームデータ処理 探索 Elastic Search, SparkSQL カタログ Data Catalog 蓄積 & 実行 RDBMS, Hadoop, NoSQL データベース統合 Connectors, Big Data SQL IT 開発 コンピュート ストレージ ネットワーク 認証 Copyright 2018, Oracle and/or its affiliates. All rights reserved.

10 Cloud Data Management & Analytics Platform Oracle Cloud (PaaS Services) Analytics Services Analytics Cloud Service On-Premise Data Integration Services Non-Relational Based Services RDBMS Based Services Spatial Graph ML SQL Data Integration Platform Cloud Service Data Hub Cloud Service NoSQL Cloud Service Spatial and Graph on DBCS Machine Learning on DBCS Big Data SQL Cloud Service Big Data Cloud at Customer Spatial Graph PGX ORAAH Event Hub Cloud Service Big Data Cloud Service Compute Edition Spatial and Graph on BDCS Parallel Graph / R for Hadop on BDCS Big Data Cloud Service Big Data Appliance Small Start & Elastic Hadoop Platform Hi-Performance & Capacity Hadoop Platform Copyright 2018, Oracle and/or its affiliates. All rights reserved.

11 Cloud Data Management & Analytics Platform Oracle Cloud (PaaS Services) Data Integration Services あらゆるタイプのデータソースに対応し リアルタ Data Integration イム / ストリームデータ連携 Platform をはじめ ETLやデータ品質管理を実現する包括的 Cloud Service なデータ インテグレーション サービス Non-Relational Based Services Apache Cassandra ベースの KeyValueDB Data Hub Cloud Service Apache Kafka のマネージドサービス Event Hub Cloud Service Analytics Services Oracle NoSQL のクラウドサービス NoSQL Cloud Service Oracle 提供のスケーラブル Hadoop 環境 Big Data を提供 Cloud Service Compute Edition Small Start & Elastic Hadoop Platform Spatial Graph Spatial and Graph 3D/ 空間 DBやグラフ on DBCS DB 各種解析関数を包括的に提供するサービス Spatial Graph Spatial and Graph on BDCS Analytics Cloud Service データの可視化やセルフ BI を実現する 包括的なビッグデータ アナリティクス サービス RDBMS Based Services PGX ML Machine Learning 機械学習やR 並列 on DBCS グラフ処理など 様々なBig Data 解析機能を提供するサービス ORAAH Parallel Graph / R for Hadop on BDCS DBCSとBigDataCS にSQL SQL で統合アクセス Big Data SQL Cloud Service Clouderaベースの高性能 Hadoop 環境を提 Big 供 Data Cloud Service Hi-Performance & Capacity Hadoop Platform On-Premise 御客様データセンター環境にサブスクリプションベースの Hadoop 環境を提供 Big Data Cloud at Customer Clouderaベースの高性能 Hadoop 環境を OnPで提供 Big Data Appliance Copyright 2018, Oracle and/or its affiliates. All rights reserved.

12 Data Lake 関連クラウド サービス Copyright 2018, Oracle and/or its affiliates. All rights reserved.

13 Big Data Cloud Service Hadoop/Sparkのためのクラウドサービス サービス概要/特徴 こんな課題に役立ちます Big Data Cloud Serviceは オブジェクトストレージに蓄積された社内 /外の様々な構造/非構造データを Hadoopにコピー HiveやSpark 等の分散処理エンジンによりデータ加工や 機械学習を行えます さらには 地理空間分析やグラフ分析など高度な分析をノートブック 上で気軽に実行できます Big Data Manager 生データ ODCP (分散データコピー) Object Storage 機械学習 地理分析 グラフ分析 SQL分析 データレイクを構築したい データ保持単価を下げたい DBバッチやETLサーバの負荷をオフロードしたい 100TBを超えるような大量データによる機械学習を行いたい Cloudera環境のサーバ更改を低コストで行いたい サービス提供価格(導入最低価格/PAYG) *1 Oracle Big Data Cloud Service Starter Pack 3node 2,592,096/月(Pay As You Go) (32 OCPU, 256GB Mem, 48TB Storage) * 3node 主なコンポーネント 分析データセットを保存 Cloudera Enterprise 5 Oracle Big Data Connectors Oracle Big Data Spatial & Graph Oracle Big Data Manager Hadoop *1 Copyright 2018, Oracle and/or its affiliates. All rights reserved. 2018/3/30時点 13

14 Big Data SQL Cloud Service SQL マルチデータソース対応のSQLクラウドサービス サービス概要/特徴 こんな課題に役立ちます Big Data SQL Cloud Serviceは HadoopやNoSQLに蓄積されたデー タに対し オラクルデータベースからSQLによる接続を可能にします 単純に接続するだけではなく SmartScan等のデータ保管場所での 処理機能を有しており 分析のための優れたパフォーマンスを提供し ます Hadoopに蓄積したデータを使い慣れたSQLでアクセスしたい HadoopとRDBMSのデータをシームレスにJoinしたい Hadoopのデータをユーザ解放したいがセキュリティが心配 RDBMSより低単価でデータ蓄積し活用したい サービス提供価格(導入最低価格/PAYG) *1 Oracle Big Data SQL Cloud Service 516,000/月ノード (Pay As You Go) 主なコンポーネント Big Data SQL <パフォーマンス機能> Smart Scan Storage Index Partition pruning Predicate pushdown <ユーティリティ> Copy to Hadoop, Table space in HDFS *1 Copyright 2018, Oracle and/or its affiliates. All rights reserved. 2018/3/30時点 14

15 Big Data Cloud Service Compute Edition フルマネージドのHadoop/Spark活用基盤をクラウドで提供 サービス概要/特徴 こんな課題に役立ちます ビッグデータの蓄積 分析 加工に最適な データ活用基盤をクラ ウドで提供します フルマネージド型のHadoopクラウドサービスであり ストレージと 切り離してコンピューティングノードをエラスティックに拡張可能です 他クラウドサービスとも連携しており 特にSparkによるデータ活用に 最適です Big Data Cloud Service Compute Edition Hadoopのテスト環境として利用したい バッチジョブやETLの実行環境として利用したい SparkなどのHadoopエコシステムを活用し IoTなどの ストリーミング処理を実施したい インタラクティブなアドホック分析を実施したい サービス提供価格(導入最低価格/PAYG) *1 Big Data Cloud Service Compute Edition: 58 から [2 OCPU/Hour] 関連サービス/製品 フルマネージドなHadoop環境 Storage Cloud Service Event Hub Cloud Service Database Cloud Service MySQL Cloud Service Copyright 2018, Oracle and/or its affiliates. All rights reserved. *1 2018/3/30時点 15

16 Event Hub Cloud Service 低レイテンシ 高パフォーマンスなApache Kafka環境をクラウド上で提供 サービス概要/特徴 こんな課題に役立ちます 世界で最も人気のあるメッセージブローカー Apache Kafka を 活用した フルマネージドのストリーミング データ プラットフォームで す Elasticに拡張でき REST APIでのアクセスも可能です オンプレミス環境や他のクラウドサービスとの連携も可能です 高速かつ低レイテンシなメッセージブローカーとして利用したい オンプレミスのKafkaをクラウドにリフト シフトしたい IoTなどのストリーミング処理を実施したい Apache Kafka環境をすぐに使いたい サービス提供価格(導入最低価格/PAYG) *1 Oracle Event Hub Cloud Service Dedicated Compute Capacity: 33 から [OCPU/Hour] Oracle Event Hub Cloud Service - Partition Capacity: 1 から [Partition/Hour] Connectors フルマネージドなKafka環境 関連サービス/製品 Oracle Cloud Infrastructure - Block Storage Classic Big Data Cloud Internet of Things Cloud Service Mobile Cloud Enterprise *1 2018/3/30時点 Copyright 2018, Oracle and/or its affiliates. All rights reserved. 16

17 Big Data Cloud at Customer Hadoop/Sparkのためのクラウドサービスをお客様のDCにお届け サービス概要/特徴 こんな課題に役立ちます Big Data Cloud at Customerは オブジェクトストレージに蓄積された 社内/外の様々な構造/非構造データを Hadoopにコピー Hiveや Spark等の分散処理エンジンによりデータ加工や 機械学習を行え ます さらには 地理空間分析やグラフ分析など高度な分析をノートブック 上で気軽に実行できます Big Data Manager 生データ ODCP (分散データコピー) 機械学習 地理分析 グラフ分析 SQL分析 データレイクを構築したいがパブリッククラウドにはデータを出せない データ保持単価を下げたい DBバッチやETLサーバの負荷をオフロードしたい 100TBを超えるような大量データによる機械学習を行いたい Cloudera環境のサーバ更改を低コストで行いたい サービス提供価格(導入最低価格) *1 3,456,000/月 Oracle Big Data Cloud at Customer Starter Pack 3node 1,728,000/月 Big Data Cloud at Customer Additional Nodes 576,000 3node = 1,728,000/月 主なコンポーネント Object Storage 分析データセットを保存 Hadoop Cloudera Enterprise 5 Oracle Big Data Connectors Oracle Big Data Spatial & Graph Oracle Big Data Manager Copyright 2018, Oracle and/or its affiliates. All rights reserved. *1 2018/3/30時点 17

18 Big Data Technology 製品 Copyright 2018, Oracle and/or its affiliates. All rights reserved.

19 Big Data Appliance Hadoop/Sparkのためのエンジニアドシステム 製品概要/特徴 こんな課題に役立ちます Oracle Big Data Applianceは 社内/外の様々な構造/非構造デー タを収集し Hadoopに蓄積 HiveやSpark等の分散処理エンジン によりデータ加工や 機械学習を行えます 収集 蓄積 生データ 加工 機械学習 クレンジング 集計 モデル作成 IoT データレイクを構築したい データ保持単価を下げたい DBバッチやETLサーバの負荷をオフロードしたい 100TBを超えるような大量データによる機械学習を行いたい Cloudera環境のサーバ更改を低コストで行いたい 製品提供価格(導入最低価格) *1 Oracle Big Data Appliance X7-2 Starter Rack 29,970, core 1,536 GB Mem 720 TB Disk 主なコンポーネント ログ Hadoop トランザクション Spark Big Data Appliance Cloudera Enterprise 5 Hadoop Spark Impala Hbase kafka Copyright 2018, Oracle and/or its affiliates. All rights reserved. *1 2018/3/30時点 19

20 Big Data SQL マルチデータソース対応のOracle SQL サービス概要/特徴 こんな課題に役立ちます Big Data SQL は HadoopやNoSQLに蓄積されたデータに対し オラ クルデータベースからSQLによる接続を可能にします 単純に接続するだけではなく SmartScan等のデータ保管場所での 処理機能を有しており 分析のための優れたパフォーマンスを提供し ます Hadoopに蓄積したデータを使い慣れたSQLでアクセスしたい HadoopとRDBMSのデータをシームレスにJoinしたい Hadoopのデータをユーザ解放したいがセキュリティが心配 RDBMSより低単価でデータ蓄積し活用したい サービス提供価格(導入最低価格) *1 Big Data SQL Oracle Big Data SQL 480,000/Disk Ex)BDA Starterの場合 480,000 12本 6ノード = 34,560,000 主なコンポーネント Hadoop Event Data Data Lake Enterprise Data Big Data SQL <パフォーマンス機能> Smart Scan Storage Index Partition pruning Predicate pushdown <ユーティリティ> *1 2018/3/30時点 Copy to Hadoop, Table space in HDFS Copyright 2018, Oracle and/or its affiliates. All rights reserved. 20

21 Big Data Connectors HadoopとRDBMSを繋ぐソフトウェア / Hadoopでのデータ処理 統合分析 製品概要/特徴 こんな課題に役立ちます Oracle Big Data Connectorsは HadoopとOracle Database間での データ連携や Hadoopでのデータ加工や分析を可能にする複数の コンポーネント群です Hadoopに格納されたデータの加工処理や分 析 RDBMSとの透過的な連携を可能にします Oracle DatabaseのデータをHadoopから利用したい HadoopのデータをOracle Databaseから利用したい Hadoopでのデータ変換 加工やR言語によるデータ分析を行いたい 製品提供価格(導入最低価格) *1 Oracle Big Data Connectors 240,000 / Processor 例): BDA X7-2 Starterの場合 34,560,000 連携 分析/加工 主なコンポーネント Hadoop Oracle Database Oracle Loader for Hadoop Oracle SQL Connector for HDFS Oracle Datasource for Apache Hadoop Oracle R Advanced Analytics for Hadoop Oracle XQuery for Hadoop Oracle Data Integrator Enterprise Edition Big Data Connectors *1 Copyright 2018, Oracle and/or its affiliates. All rights reserved. 2018/3/30時点 21

22 Big Data Spatial & Graph 様々なデータの関係を取り扱う高度なビックデータ分析フレームワーク 製品概要/特徴 こんなあなたに役立ちます Oracle Big Data Spatial and Graphは 位置情報 動画 ソーシャ ルなどの非構造データから顧客 組織 資産間の関係やつながり を発見し 空間分析 ラスター解析 動画解析 グラフ分析の ワークロードを処理します Hadoop上で 空間データや座標データを処理したい GPSデータやラスターデータの前処理 分析がしたい 位置による情報のつなぎ合わせが必要 Hadoop上で動画処理や画像処理を回したい 人間関係 部品の依存関係などの構造を解析したい 製品提供価格(導入最低価格) *1 Oracle Big Data Connectors 240,000 / Processor 例): BDA X7-2 Starterの場合 34,560,000 主なコンポーネント Big Data Spatial and Graph Spatial Vector Analysis (位置情報) Spatial Raster Analysis (ラスター) Multimedia Analysis (動画/画像) Property Graph Model (プロパティグラフ) *1 Copyright 2018, Oracle and/or its affiliates. All rights reserved. 2018/3/30時点 22

23 Data Integration Cloud / Analytics Cloud Copyright 2018, Oracle and/or its affiliates. All rights reserved.

24 Oracle Data Integration Platform Cloud すべてのデータ統合ニーズに応える包括的なクラウド ベースのプラットフォーム ソ リューション サービス概要/特徴 こんな課題に役立ちます Oracle Data Integration Platform Cloud (DIPC)は ETL/E-LT レプリケーション データ品質およびデータ ガバナンス ソリューションの重要な機能すべてを 単一の統合クラウド ベース プラットフォームとしてサービス提供します リアルタイムのデータ スト リーミング 一括データ処理 エンタープライズ データ品質および データ ガバナンス機能により 統合的なデータ連携要件を満たすこ とが可能です クラウド上にDataLakeを実現したい GGCS/ODICS同等機能をまとめて実現したい Hybridでのデータ連携やBig Data連携をしたい クラウド上データのデータ品質管理をしたい クラウド上でのデータガバナンスを実現したい サービス提供価格(導入最低価格/PAYG) Standard Edition : [OCPU/Hour] Enterprise Edition : [OCPU/Hour] Governance Edition : [OCPU/Hour] 関連サービス/製品 DIPCはGGCS/ODICSに加え OnPのデータ品質管理製品Enterprise Data Quality をクラウド化し て統合提供するサービスです それぞれの詳細は各サービスの情報をご参照下さい Database Cloud Service Exadata Cloud Service など Big Data Cloud Service & Compute Edition Cloud at Customer GoldenGate Cloud Service など Oracle GoldenGate Oracle Data Integrator など Copyright 2018, Oracle and/or its affiliates. All rights reserved. 24

25 Streams Analytics 時系列に流れてくるStream情報を簡単に分析 可視化 サービス概要/特徴 こんな課題に役立ちます Streams Analyticsは オープン技術 (Apache Kafka/Spark) とオラクルの技術を融合し Stream分析機能を 提供 他のサービスと組み合わせて ロケーションベースのサービスや データ統合も実現 ストリーム情報を分析 可視化したい 地図情報と組み合わせたロケーション分析を行いたい サービス提供価格(導入最低価格) Enterprise: 282,000 (OCPU/月) 前提サービス Event Hub Cloud Service Big Data Cloud Service Compute Edition 関連サービス/製品 BigData関連ソリューション 補足 当該機能は Data Integration Platform Cloud Service に 含まれる形での提供が可能です Copyright 2018, Oracle and/or its affiliates. All rights reserved. 25

26 Analytics Cloud Service あらゆるユーザーが使いこなせる中央集権管理が可能なセルフサービスBI こんな課題に役立ちます サービス概要/特徴 Analytics Cloudは エンタープライズ向けのアナリティクス環境をク ラウドサービスで提供します BI Cloudに加えてEssbaseなど包括的な分析機能 機械学習のためのデータモデリング OCPU単位でDedicatedなクラウド環境を利用 オンデマンドで構成の変更が可能(シェイプの追加/削除) 従量制(Pay As You Go)課金による利用料の最適化 ビッグデータ探索が可能なApache Spark, Oracle Big Data Cloudとの直接連携/データ取得/加工 1st Analytics Cloud Party IoT 人事 顧客管理 財務 サービス サプライチェーン 3 rd Party ソーシャル 広告 ECサイト 統合したデータを明細 レベルで瞬時に分析 機械学習データの見える化 Oracle DB Advanced Analytics 既存のEssbaseやOracle BIが数年経過し更改が必要なため 既存資産 をクラウドに移行して利用し続けたい 開発環境やDR環境だけをクラウド化して移行したい クラウド上の大規模なDWHを活用したレポーティング/ダッシュボードだけでなく 機械学習データを活用したい Essbaseを利用しているが BIを拡張してクラウドで利用したい ビッグデータやデータレークに直接アクセスし データラボを実現したい 関連サービス/製品 Oracle Database Cloud Service (機械学習の場合は High Performance Option) Oracle Database Backup Service Oracle Storage Cloud Service Oracle Compute Cloud Service Oracle Bigdata Cloud Service 蓄積したデータを機械学習し 最適な活動を実現 Copyright 2018, Oracle and/or its affiliates. All rights reserved. 26

27 Oracle Digital は オラクル製品の導入をご検討いただく際の総合窓口 電話とインターネットによるダイレクトなコニュニケーションで どんなお問い合わせにもすばやく対応します もちろん 無償 どんなことでも ご相談ください Copyright 2018, Oracle and/or its affiliates. All rights reserved. 27

28

29 Copyright 2018, Oracle and/or its affiliates. All rights reserved. 29

30

31 SIP4D 防災情報サービスプラットフォームのプロトタイプ構築 平成 30 年 7 月 27 日 National Research Institute for Earth Science and Disaster Resilience 国立研究開発法人防災科学技術研究所鈴木進吾

32 National Research Institute for Earth Science and Disaster Resilience 我が国の防災 減災分野における社会的課題 今世紀前半 約 330 兆円の被害 SIP4D 首都直下地震 約100兆円の被害 南海トラフ地震 最大230兆円の被害 気象の極端化 SIP レジリエントな防災 減災機能の強化 課題④ 2014,2015,2016,

33 National Research Institute for Earth Science and Disaster Resilience Society5.0と社会の変化 SIP4D 超スマート社会に向けた各種システムのサービスプラットフォーム構築 を通して 経済的発展と社会的課題の解決を両立 快適で活気に満ちた質の高い生活を送れる 人間中心の社会 第5期科学技術基本計画 経団連 新たな経済社会の実現に向けて 第5期科学技術基本計画 SIP レジリエントな防災 減災機能の強化 課題④ 2014,2015,2016,

34 National Research Institute for Earth Science and Disaster Resilience Society 5.0の災害対応とは BEFORE SIP4D AFTER サイバー空間とフィジカル空間の分離 サイバー空間とフィジカル空間の融合 紙とホワイトボードによる処理の煩雑さ ICTの支援による整然とした処理 データの変換 加工の煩雑さ 自動処理による加工の手間の大幅な軽減 連携できない様々なシステム データ連携によるシステム間の結合 ニーズに対応できていないシステム ニーズに細かく対応したサービス データの特別な入力作業を必要とする IoT等により入力作業を軽減 データや地図とにらめっこしながら 意思決定にすぐに使える情報を表示 SIP レジリエントな防災 減災機能の強化 課題④ 2014,2015,2016,

35 National Research Institute for Earth Science and Disaster Resilience 防災情報サービスプラットフォームが目指す姿 SIP4D 3 つの層で現場に必要なデータ 知識を総動員し 産官学が協働で予防 対応 回復力を高める仕掛け time 事前対策応急対策復旧 復興 サービス層 人 社会活動 建物 インフラ 防災教育 コンハ クトシティ 地域防災計画 地区防災計画 耐震補強 CIP インフラアセットマネシ メント 人材育成 災害備蓄計画 BCP 自治体 公的機関防災 災害対応業務 避難訓練 帰宅困難者抑制 支援広域 ( 被災地域外 ) 支援情報防疫活動 ( ) は防災基本計画で定められた項目緊急医療 救急搬送給水 食料 生活必需品の確保心的ケアサービス安否情報備蓄物資調達ボランティア受入れ被災者への情報伝達遺体搬送 身元確認被災者台帳による生活再建消火活動ライフラインや住宅の応急復旧建物被害認定調査罹災証明書発給復旧計画作成被災者救助 救急活動道路 鉄道 航路の状況把握 提供広域物資輸送計画立案指定緊急避難所開設 運営 管理道路啓開用資材 人員確保仮設住宅の提供 2 次的土砂災害防止災害ゴミ処分 交通確保通信確保緊急輸送救護 救助資材調達 ( 計画立案 ) 災害復興住宅の供給 指揮者事態対処対策立案後方支援総務 ( 内部 + 外部 ) ( 動的 + 静的 ) ( 構造 + 非構造化 ) データの組合せで各種業務を効率化するサービスを開発 実装 フプォラーッムト層 サービスに使える要素技術の開発 セキュリティの高度化 社会実装 SIP4D-T( 言語情報系情報処理 ) 標準的データの活用 対応を省力化するための SOP の開発と標準化 SIP4D-M( 地理空間情報系処理 ) インターフェース データフォーマット標準化 IoT 文字情報を含む多様な情報の処理に対応 サービス活用防災の実装 共有方策の確立 標準化 情報通信基盤の開発強化 データ層 ビッグデータ 自然建物 インフラ人 社会活動 地震観測データ防災科研津波観測データ JAXA 気象観測データ地表面地形データ国土地理院 NICT 民間航空機 SAR 画像衛星 SAR 画像自治体 動的情報 ( モニタリング センサ ) 道路情報 (VICS) ITS 国交省 CCTVカメラ画像 静的情報 ライフライン事業者 土地利用データ 地盤構造データ 建物種別分布データ 社会基盤情報 地図データ ( 地名 河川 湖沼 インフラインベントリー情報 通信キャリアスマートフォン位置情報 (GPS) 通行データ ( 駅 ビル 集客施設 ) 防犯カメラ画像総務省統計局人口分布データ中間 夜間人口データ SNS NICT 災害時要支援者情報 リファレンス 通報連絡方針 決定事項対応記録 SOP マニュアル計画 3D 地図プラットフォーム 言語情報 SIP レジリエントな防災 減災機能の強化 課題 ,2015,2016,

36 National Research Institute for Earth Science and Disaster Resilience プラットフォーム構築のロードマップ SIP4D 整備項目 ガバナンス 府省庁連携役所内連携 プロトタイプ公的機関参加拡大 民間組織参加拡大 オリンピック 官民が連携した応援 受援体制 標準的手順 数種類の業務 組織内主要業務 組織間連携基準 (EEI) 組織間業務連結 標準化された災害対応業務 技術 設計 要素技術開発 連携技術開発 AI の利用技術開発 組織間情報連携 対応自動化技術開発 教育 訓練 研修系演習系 教材作成 図上演習 研修プログラム作成 機能演習 総合災害対応演習の実施による見直し 利用 集中豪雨災害 台風災害 土砂災害 雪氷災害 西日本内陸地震 火山災害 南海トラフ地震 首都直下地震 SIP レジリエントな防災 減災機能の強化 課題 ,2015,2016,

37 National Research Institute for Earth Science and Disaster Resilience 国立研究開発法人 迅速で合理的な意思決定を支えるサービス基盤 防災科学技術研究所 データに基づく防災の基盤構築 ニーズ 合理的な 意思決定 意思決定 支援 防災情報サービスプラットフォーム 意思決定にすぐ に使える情報 住民参加 状況分析 訓練用 対応用 公開用 自分の データ National Research Institute for Earth Science and Disaster Resilience 必要な情報プロダクツ を作成する 教育用 分析用 選択 現場機動 力向上 SIP4D 専門家/機関の データ/モデル 選択 統合 データ レイヤー 分析サービス 可視化ルール 表現形式 抽出 必要な公開データを 収集する GIS 知見 ﾃﾞｰﾀﾍﾞｰｽ マニュアル センサー とりまと め報など Classified Open Classified Open SIP レジリエントな防災 減災機能の強化 課題④ 2014,2015,2016,

38 National Research Institute for Earth Science and Disaster Resilience 災害対応のための多様なサービスの提供とデータ連携 防災情報サービス 防災情報サービス 外部との共有のために 状況認識を統一するために 必要な観測 予測 計画 状況などのデータを連携 担当業務の効率化のために 提供 SIP4D 防災情報サービス 意思決定の効率化のために 収集 現場作業の効率化のために 自動化 加工 防災情報サービス 防災情報サービス 変換 SIP レジリエントな防災 減災機能の強化 課題④ 2014,2015,2016,

39 National Research Institute for Earth Science and Disaster Resilience 具体的なサービスのイメージ SIP4D 動画での投影のみ SIP レジリエントな防災 減災機能の強化 課題 ,2015,2016,

40 防災情報サービスプラットフォームアーキテクチャー インポート環境 基盤管理 リカバリ データ品質 管理 データ デバイス管理 データ統合 データ処理環境 蓄積 抽出 秘匿 統合 構造化 機械学習 IoT Open Data 自治体 統合環境 データ層基盤 高速アクセス リアルタイム 処理 センサー サービス層 データ層 データ インポーター 情報流通基盤 イベントエンジ ン データディ クショナリ データレイク RDBMS Big Data No SQL Storage サービス層基盤 有資格者管理 価値の 付加 プラットフォーム層 SIP4D 情報 National Research Institute for Earth Science and Disaster Resilience API 利活用環境 アジャイル開発環境 必要な加工処理 計算 保存 通信 ID処理 API開発 クラウドサービス インシデント 管理 プロセス自動化 設定ツール CKAN データ連携 インフラ環境 利用状況管理 ライブ ラリ ノンプログ ラミング開 発 SIP レジリエントな防災 減災機能の強化 課題④ ポータル SOP ルール 管理 災害対応実践 2014,2015,2016,

41 National Research Institute for Earth Science and Disaster Resilience 中核機能となる防災情報データレイク SIP4D 多種多様なデータの蓄積 自動的な加工 変換 付加価値をつけて サービスに渡す仕掛け サービス層 Data Info. Data Info. Data Info. Data Info. Data Info. Data Info. データインポーター機能群 イベントエンジン 非構造 非構造 非構造 非構造 メ 共タ 有デ 許ー 可タ 構造 メ 共タ 有デ 許ー 可タ 構造 メ 共タ 有デ 許ー 可タ 構造 メ 共タ 有デ 許ー 可タ 構造 メ 共タ 有デ 許ー 可タ 構造 構造 メ 共タ 有デ 許ー 可タ 非構造 データレイク 非構造 自動処理機構 データディクショナリ データ連携仕様 データ変換機能群 単組織 流通基盤層 全国 データインポーター機能群 電気 水道 ガス 道路 物資 人員 危険 地域 被災状 況 鉄道 避難所 航路 空港 拠点 車両基 地 燃料 被害予 測 通信 医療 SIP レジリエントな防災 減災機能の強化 課題④ 2014,2015,2016,

42 National Research Institute for Earth Science and Disaster Resilience パイロット市町村 奈良県橿原市 での取り組み SIP4D まず 業務フローをしっかり明確化 必要な情報を整理し それに従ってサービスを構築 災害対応業務の標準手順書の作成 SOP, Standard Operating Procedure みんなでアクショ ンカードを作成 必要な情報の定義 どの業務で どんな情報が 必要かを整理 他部局の情報 SIP4Dの情報 サービスの作成 ダッシュボードでサービス を作成 どんな形で見たいかを整理 地図 リスト グラフ 職員一人一人に渡す作業指示書 見れば実施可能なレベルで記述すること 指揮命令系統 業務量 記述の不足が明確に SIP レジリエントな防災 減災機能の強化 課題④ 2014,2015,2016,2017,

43 National Research Institute for Earth Science and Disaster Resilience 図上訓練の様子 SIP4D 動画での投影のみ SIP レジリエントな防災 減災機能の強化 課題 ,2015,2016,

44 National Research Institute for Earth Science and Disaster Resilience 防災情報サービスプラットフォームで変わる災害対応 従来のやり方 SIP4D 新しいやり方 連絡 整理で手一杯 情報が整理しやすい 考える暇ない 考える余裕ができた 抜け漏れ落ちが発生 対応状況を一目できる プラットフォーム層 部局横断的な 情報共有 データを作成 共有す る労力を割けない あらかじめ定義してお いた通り データを連 携 自動的に地図を作 成 サービス層 必要に応じて すぐに使える 情報の提供 意思決定するにはデー タを加工しないといけ ない 意思決定に必要な数 値 地図を画面に表 示 データ層 情報処理の 煩雑性 SIP レジリエントな防災 減災機能の強化 課題④ 2014,2015,2016,2017,

45 National Research Institute for Earth Science and Disaster Resilience 構築の輪を広げる取り組み SIP4D 北九州市でワークショップを実施 被災経験のある自治体 先進的な取り組みをしている自治体からの情報提供をいただき プラットフォームのあり方を議論 自治体間での情報交換を実施した 自治体の防災情報の 相互運用性向上に関する ワークショップ 札幌市 室蘭市 兵庫県 北九州市 直方市 輪島市 宇治市 神戸市 相馬市 会津若松市 岡谷市 浜松市 鞍手町 姫路市 名古屋市 香春町 苅田町 宇部市 橿原市 H29参加 1県 5政令市 10市 3町 1大学 6企業 1団体 SIP レジリエントな防災 減災機能の強化 課題④ 2014,2015,2016,

46 20th ANNIVERSARY AQUA SYSTEMS 46 防災情報サービスプラットフォームでのデータレイク アーキテクチャ 株式会社アクアシステムズ 執行役員技術部長 川上明久 Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

47 20th ANNIVERSARY AQUA SYSTEMS 47 データレイクへの取り組み 防災情報サービスプラットフォーム のアーキテクチャ設計支援業務を受託 株式会社アクアシステムズ 1998 年 2 月 4 日設立東京都中央区銀座 データベースに特化したコンサルティング会社 Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

48 20th ANNIVERSARY AQUA SYSTEMS インフラ アーキテクチャ 48 サービス構成 SQL Big Data Cloud Service のデータを結合し た問い合わせ結果を得られる データレイク SQL SPARQL 避難所 市道 水道 Database Cloud Service ESRI ArcGIS Oracle Spatial PigLatin HiveQL 支援物資 RDBMS 畜産農家 2次医療圏 人口推計 分布 高齢者数 Big Data Cloud Service HDFS 航空写真 MP レーダー オルソ図 Storage Cloud Service Object Storege 相互運用性 Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

49 20th ANNIVERSARY AQUA SYSTEMS 49 インフラ アーキテクチャ インターフェース サービス層のシステム形態に合わせて選択 サービス層 API実装 Database link データインポータ ArcGIS Online GoldenGate FTP データレイク SQL SPARQL 避難所 市道 水道 Database Cloud Service ESRI ArcGIS Oracle Spatial PigLatin HiveQL 支援物資 RDBMS 人口推計 畜産農家 2次医療圏 分布 高齢者数 Big Data Cloud Service HDFS 航空写真 MP レーダー オルソ図 Storage Cloud Service Object Storege Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

50 20th ANNIVERSARY AQUA SYSTEMS 50 インフラ アーキテクチャ DIPC(Data Integration Platform Cloud) データベース SaaS ファイル レプリケーション (GoldenGate Cloud) ストリーミング (Stream Analytics) Oracle Cloud 環境 センサー ETL/ データパイプライン (ODI Cloud) Data Quality データ品質 / ガバナンス (Enterprise Data Quality) オンプレミス環境 ソーシャル モバイルログ 他社 Cloud Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

51 20th ANNIVERSARY AQUA SYSTEMS 51 インフラ アーキテクチャ データベースの性能と拡張性 Exadata Service 雨量 NETCDF 1GB/ 分受信 ~フォーマット変換 ~DB 格納を1 分以内に処理することが求められる 処理性能が足りない場合の性能向上策として利用できる 一般的なクラウドはネットワークストレージであるため I/Oのレイテンシが大きい RAC の拡張性 災害の際には大量のデータ格納 サービスからの利用を同時並行で処理することになる RAC が利用できることでスケーラビリティを求めやすい 一般的なクラウドはリードレプリカ増設での拡張方式で マスタノードがボトルネックになりやすい Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

52 20th ANNIVERSARY AQUA SYSTEMS 52 インフラ アーキテクチャ これで どんなデータが来ても大丈夫 API実装 ArcGIS Online Database link データインポータ GoldenGate FTP データレイク SQL SPARQL 避難所 市道 水道 Database Cloud Service ESRI ArcGIS Oracle Spatial PigLatin HiveQL 支援物資 RDBMS 畜産農家 2次医療圏 人口推計 分布 高齢者数 Big Data Cloud Service HDFS 航空写真 MP レーダー オルソ図 Storage Cloud Service Object Storege Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

53 20th ANNIVERSARY AQUA SYSTEMS 53 多様な考慮をしていますが 2 つ 例を挙げます Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

54 20th ANNIVERSARY AQUA SYSTEMS 54 データ アーキテクチャ 例 1 避難所 A 市だけで管理 A 市職員 A 市のデータ更新 B 市のデータ更新 A 市 B 市 隣接自治体にも公開 A 市非公開のデータ参照 A 市公開のデータ参照 B 市のデータ参照 B 市職員 Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

55 20th ANNIVERSARY AQUA SYSTEMS 55 データ アーキテクチャ 例 1 避難所データセット のスキーマ構造 ( 概念 ) 自治体職員 避難誘導 避難所管理 管理者 Identity Cloud Service 自治体固有データ ( 専有 ) 外部公開しない避難所 状態 動的データ ( 共有 ) 利用可否などの状態のうち 共有するもの 静的データ ( 共有 ) 避難所の場所など Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

56 20th ANNIVERSARY AQUA SYSTEMS 56 データ アーキテクチャ 例 2 緊急避難道路データセット のスキーマ構造 ( 概念 ) 市町村 区 市町村道 API API Key 他システム連携 県 政令指定都市 県道 国土交通省管轄以外の国道 国土交通省 高速道路 直轄国道 データレイクがプラットフォームの他の要素と連動して 動作するには データ アーキテクチャの考慮が必要 Java Cloud Service Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

57 20th ANNIVERSARY AQUA SYSTEMS データレイクの論理構造 57 県 データレイク 緊急輸送 道路 動的避難 状況 電気 市 データレイク 緊急輸送 道路 避難 物資 水道 流通基盤用 データストア 共有情報 道路 医療 資源 ガス 医療機関 状況 緊急輸送 道路 市 データレイク 動的避難 状況 市 データレイク 緊急輸送 道路 自治体のユーザは 各市町村のデータ レイクにアクセスして その自治体と共有 データを確認できる 医療機関 状況 医療機関 状況 動的避難 状況 Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

58 20th ANNIVERSARY AQUA SYSTEMS インフラ アーキテクチャ 58 データ アーキテクチャが整備された形で格納され 関連する機能と連携して動作する データ基盤 とすることで 高速開発 管理コスト削減が実現できる Identity Cloud Service ArcGIS Online Java Cloud Service データレイク SQL SPARQL 水道 支援物資 人口推計 FTP ESRI ArcGIS Oracle Spatial PigLatin HiveQL 避難所 市道 Database link データインポータ GoldenGate 畜産農家 2次医療圏 分布 高齢者数 航空写真 MP レーダー オルソ図 データ アーキテクチャ Database Cloud Service RDBMS Big Data Cloud Service HDFS Storage Cloud Service Object Storege Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

59 20th ANNIVERSARY AQUA SYSTEMS 59 データ中心アプローチ データについて多角的に検討を加えることにより データレイクの必要条件を導く インターフェース 業務のプロ セキュリティ メタデータ管理 データ エンジニア 業務要件 データ 性能 運用プロセス 統合と相互運用性 クレンジング 業務のプロと データ エンジニアによる共同作業 Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

60 20th ANNIVERSARY AQUA SYSTEMS 60 データガバナンス データ中心アプローチを実現するための体系的な方法論 ビジネス インテリジェンス 分析 データ データモデリング アーキテクチャ とデザイン 管理 データ データストレージ クオリティ とオペレーション 管理 管理 データセキュリティ 管理 データウェアハウスと データ統合と ビジネスインテリ 相互運用性 ジェンス管理 リファレンス ドキュメントと データと コンテンツ マスター 管理 データ管理 出典 ADMC2017_SueGeuens_World_Trends_in_Data_Governance データウェアハウス データレイクと関連性が高い領域 データクオリ ティ管理 メタデー タ管理 データ統合と 相互運用性 データモデリン グとデザイン データセ キュリテ ィ管理 データア ーキテクチ ャ管理 アウトプット データ ガバナンス マスターデータ管理 依存関係 メタデータ管理 システム アプリケーション リファレン スデータ管 理 Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

61 20th ANNIVERSARY AQUA SYSTEMS 61 Contact us イノベーションを支えるデータ基盤を実現します 中立的な立場で オープンな技術の選択を支援します データベースに関することは何でも解決します データとデータ基盤に関わる課題をご相談ください! Copyright 2018 Aqua Systems, Inc. All Rights Reserved.

62 20th ANNIVERSARY すべてのデータベースに < データビリティ > の実現を 株式会社アクアシステムズ TEL : FAX : info@aqua-systems.co.jp URL : Follow Me! Aqua Systems, Performance Analyzer, AUDIT MASTER は 株式会社アクアシステムズの登録商標です Performance Analyzer Family, Performance Analyzer 4, AUDIT MASTER は 株式会社アクアシステムズの商標です Oracle は Oracle Corporation の登録商標です その他の製品名および会社名は 各社の商標または登録商標です Copyright 2018 Aqua Systems, Inc. All Rights Reserved.