PowerPoint プレゼンテーション

Transcription

1 データ仮想化の価値と課題 JBoss サービス事業部 シニアソリューションアーキテクト 河野 恭之

2 アジェンダ データ仮想化 (Data Virtualization) Red Hat JBoss Data Virtualization ベストプラクティス 導入効果 Data Virtualization 6 新機能トピック紹介 2

3 データ仮想化 (Data Virtualization)

4 世界で注目を浴びる Data Virtualization データ仮想化は ETL と DBMS 統合に代わり 優れたデータ管理とデータ統合 を実現する 従来のETL および DBMS アプローチに比べ 次のようなメリット がある 仮想データが短周期で作成可能であるため柔軟性と俊敏性が向上 物理的コピーの削減によるデータ品質を改善できる 目的指向のビジネス用オブジェクト生成による利用性の改善 参考: Forrester June 15, 2011 Data Virtualization Reaches Critical Mass 日経コンピュータの2013年10月31日号にて データ仮想化 がデ ータをリアルタイムに統合する新しい手段として注目が集まっている との内容で特集記事が組まれています 是非ご覧ください 4

5 Red Hat JBoss Data Virtualization

6 Red Hat JBoss Data Virtualization とは 企業内 外のあらゆるデータを モデリング 仮想統合 リアルタイム連携 する実行基盤 複数のデータソースを物理モデルとして容易に取り込み 論理モデルとして仮想統合 し データベースと同様の標準ベースのインタフェースを提供 データをコピーせずにデータ統合を実現するので データ構造の変更や統合処理の変 更要求に対して柔軟で迅速な対応が可能 監査証跡の取得や集中アクセスコントロールの基盤として利用可能 データソース 利用者 Red Hat JBoss Data Virtulization 論理モデル 各種File 認 証 認 可 NoSQL Web サービス Web サービス I/F 各種AP メタデータリポジトリ 6 SQL (JDBC/ODBC) 物理モデル I/F 仮想データベース SOAP /REST データベース Java/.NET アプリ ケーション BI ツール Excel Web サービス

7 JBoss Data Virtualization 全体アーキテクチャ デザインツール ランタイムエンジン 監視ツール JBoss Developer Studio ODBC SOAP/REST JDBC/WebDav JDBC/ODBC/SOAP 接続 Function Library 仮想データベース アーカイブ デプロイ Cache 認証 認可 ログ出力 監査証跡 Virtual Database (アーカイブファイル) Query Engine(optimization) Connecter Framwork JDBC NoSQL File LDAP SOAP SFDC カスタム リ ポ ジ ト リ JBoss Data Virtulization JBoss EAP JDBC 管理コンソール Admin Shell XML 定義ファイル データ ベース 7 NoSQL File LDAP SOAP /REST SFDC カスタム

8 ベストプラクティス

9 ベストプラクティス 適用システム ポイント 1 利用シーン システム構成 構成イメージ サイジング ポイント 2 キャッシュを効果的に使おう パフォーマンスの考え方 導入ステップ ポイント 3 スモールスタート 設計方法 ポイント 4 アンチパターン 9

10 ベストプラクティス 適用システム

11 ポイント 1 利用シーン BI ツールとの連携 仮想統合によるバッチ削減 ビッグデータ連携 サプライチェーンデータ統合 顧客データ統合 標準モデル化 データアクセスセキュリティ強化 Etc 11

12 利用シーン1 BIツールとの連携 課題 システムにまたがるデータを容易に一元管理ができない 重複データが多数のシステムに存在しており どれが正しいかが不明 データ活用の為のデータ統合基盤の構築を検討 解決策 物理統合では実現が不可と判断して仮想統合のアプローチを採用 データ利用はBIツールにある既成のUIを利用 エンドユーザが必要としているデータを迅速に取得 効果 短期間 少人数での導入を実現 データの可視化の実現 利用性能向上 12

13 利用シーン 1 BI ツールとの連携イメージ ( 紀陽銀行様 ) 顧客情報を起点としたデータの横串統合 UI は BI ツールを用いて短期間で作成 初期導入期間の短縮と段階的な拡張展開が可能 現行システム 営業支援顧客データシステム 融資支援システム 収益管理システム 融資データ 収益データ 顧客情報 融資情報 収益情報 投資情報 仮想統合 DB 融資顧客ビュー 融資顧客ビュー 投資顧客ビュー BI ツール コールセンタ各本 支店各本 支店 横断顧客情報の活用 手数料分析 営業本 支店営業本 支店営業本 支店 顧客情報の見える化 投信システム 投資データ 次期システム トレンド分析 13

14 利用シーン 2 物理データ統合におけるバッチジョブ削減 課題 物理 DB 統合基盤はデータ加工のためのコピーデータが増大 データが増加するとデータ加工の為のバッチ処理やテーブル定義が比例して増加 処理の内容が複雑でメンテナンス性が悪い 解決策 仮想統合基盤を導入することによりコピーデータを削減 加工の為のバッチ処理を仮想基盤で実行 ( ジョブの削減 ) 効果 加工処理をモデル化するため処理の内容が可視化 統合データが追加となった際に迅速に対応が可能 14

15 利用シーン 2 バッチジョブ削減イメージ FTP FTP マスタデータ トランザクションデータ ロード ロード ロード処理 ロード処理 ロードデータ 変換処理 変換処理 統合 DB サーバ 型変換データ 変換処理 変換処理 集計データ 変換処理変換処理変換処理 変換処理変換変換処理処理 表示データ ジョブ管理ツール Web アプリケーション Excel マクロ BI ツール マスタデータ トランザクションデータ 物理モデル 物理モデル 物理モデル DB 処理 (PL/SQL 等 ) 物理モデル JBoss Data Virtualization 仮想データベース 論理モデル 型変換 論理モデル 標準モデル 論理モデル 集計 統合 DB 論理モデル データ抽出 Web アプリケーション Excel マクロ 定義情報 15

16 利用シーン 3 ビッグデータ活用 課題 NoSQL でデータを保持しているが, 活用が出来ていない 既存のデータと統合してデータを参照したい 統合したいデータは増加するので柔軟な統合基盤が必要 対応策 仮想統合基盤により NoSQL と DB のデータを容易に統合 統合データは SQL で容易に活用 統合データを追加 変更しても利用側への影響が極小化 効果 既存アダプタの利用で特別な処理の追加が不要 SQL による利用性の向上 16

17 利用シーン４ オープンデータ連携基盤システムイメージ 公開データは JBoss Data Virtualizationで既存データを仮想的に統合して作成 HTML, ファイル Web サービスなどあらゆるインタフェースに対してデータを提供 する基盤として活用 公開するデータ型の変更 I/Fの変更 抽出データの変更等に迅速に対応が可能 例 福祉 保険 医療 例 税 児童手当 住民情報 例 地理情報 窓口 文書管理 列 防災管理 救急医療 他自治体 データ ベース Virtual Database 物理モデル 論理モデル 中間 論理モデル 公開 医療 データ ファイル 保険 データ 税 予算 クラウド システム 防災 データ 地理 データ 公開 医療 データ 公開 税 予算 データ 公開 防災 データ Web AP 認 証 認 可 Apache APサーバ Webサ ーバ JBoss Data Vrtualization プライベートネットワーク 17 SOAP DMZ Internet

18 ベストプラクティス システム構成

19 サーバ構成イメージ AP サーバ ( データ活用レイヤ ) BI ツール JBoss EAP JDV サーバ ( データ仮想統合レイヤ ) JBoss Data Virtualization JBoss Enterprise Application Platform JBoss Data Virtualization JBoss Enterprise Application Platform データベース連携元 ( データソースレイヤ ) 連携元 DB DB DB 連携先連携先 DB DB DB ローカル DB ( リポジトリ / 外部キャッシュ用 ) 19

20 サイジングの考え方 サイジング要素 データボリューム 行数 カラム数 データソースの数 メモリ容量 同時クエリー実行数 クエリーの複雑度 CPU コア数 想定レスポンスタイム 20

21 使用メモリ CPUの考え方 全件取得時 条件無し それぞれのデータを取得 統合データを作成 100万件 100MB AP 1000万件 100MB (1.1GB) 1GB 使用メモリ 1000万件 1GB データ総量 CPU使用 全件取得イメージ データ統合処理とデータ作成 抽出取得時 1/100件 それぞれのデータを抽出取得 統合データを作成 使用メモリ AP 抽出データ総量 100万件 100MB CPU使用 10万件 (11MB) 1MB 10MB 1000万件 1GB データ統合処理とデータ作成 統合データを作成してから抽出では無い 21 抽出取得イメージ

22 パフォーマンス レスポンスタイム の考え方 クライアント シングルデータソース パフォーマンス比較対象 はデータソース直接アプ ローチ EDSによりオーバヘッド は発生 但しごくわずか HP様に よる検証結果有り クライ アント前処理 EDS 前処理 22 データ ソース データソース 処理 EDS 後処理 クライアント 後処理 マルチデータソース パフォーマンスの比較は AP処理 or ETL(DB) 統合アプリケーションよ りは並行処理で高速 DB(ETL)よりは時間がか かるが その場合は事前 処理で対応可能 キャッシュ利用 EDS クライアント クライ アント前処理 EDS前処理 データソース 処理 EDS後処理 データ 統合処理 クライアント 後処理 EDS データ ソース１ データ ソース2

23 ポイント２ キャッシュを効果的に使おう キャッシュを利用することで レスポンスの改善 高速化 使用メモリの削減 リソース削減 CPUコアの有効活用 リソース最適化 既存システムへの影響局所化 信頼性向上 が期待できます システム性能を向上させるにはキャッシュを積極 的に活用することが重要です 23

24 参考 : キャッシュの使用イメージ JBoss Data Virtualization Virtual Database AP SQL 結果セットキャッシュ対象? Yes No マテリアライズドビュー Yes No 結果キャッシュ有り No 内部実体化 Yes No 外部部実体化 Yes Yes キャッシュデータ キャッシュ有り No Yes キャッシュデータ 24

25 キャッシュの種類と目的 キャッシュの種類 結果セット マテリアライズドビュー 内部キャッシュ 外部テーブル 目的 変更の少ないデータのレスポンス向上 複雑なクエリのレスポンス向上 同時クエリ実行数時もメモリの使用を最小限に抑制 データソースへの負荷軽減 25

26 キャッシュの機能比較 結果セット マテリアライズドビュー ( 内部実体化 ) マテリアライズドビュー ( 外部実体化 ) 概要 SQL とその結果をメモリに保持 テーブルやビューのデータをメモリに保持 テーブルやビューのデータを実テーブルに保持 使用方法 PreparedStatement にヒント句で指定 通常の SQL 実行 通常の SQL 実行 定義方法 - 特に必要なし - キャッシュエントリーの数や有効期間をヒント句で指定 - テーブル ( ビュー ) のパラメータでフラグ指定 ( 開発時に指定 ) - テーブル ( ビュー ) のパラメータにテーブルを指定 ( 開発時に指定 ) スコープユーザ / セッション VDB VDB 制御 - 管理ツールと SQL にヒント句を指定して制御 (VDB 内全てクリア ) - 管理ツールと SQL にヒント句を指定して制御 - 実体のテーブルを直接操作 ( 登録も削除も ) メリット -where 句も含めた部分的なキャッシュが可能 - 実行時にデータ取得 変換 集計等の処理が不要 - 設定が容易 - ロードは自動 ( 最初の呼出 ) - 再起動後もデータ保持 デメリット -SQL に指定が必要 -SQL が一部でも異なるとキャッシュの利用不可 ( 逆に若干のオーバヘッドにもなりえる ) - 再起動後にキャッシュデータがクリア - 対象テーブルが増えるとメモリの使用が増加 ( 長期保存はフル GC の対象に ) - 外部データベースが必要 - 登録 削除は個別に実施が必要 26

27 ベストプラクティス 導入ステップ

28 導入ステップとスキルセット - 標準モデル設計上級 ( データ管理 ) ( 統合連携基盤 - サーバ環境設計データ管理基盤 ) - 運用設計 - 認証環境構築 - サーバパフォーマンスチューニング - データ利用状況管理 - データ正規化 中級 ( 複雑なデータ統合 ) - プロシージャ設計 (SQL) - コネクタ設計 (Java) - サービス設計 (Java) - プロシージャ開発 (SQL) - コネクタ開発 (Java) - サービス開発 (Java) - 冗長化サーバ構築 - VDB パフォーマンスチューニング - サーバ運用管理 初級 ( 単純なデータ統合 ) - テーブル設計 - 統合ビュー設計 - 統合ビュー作成 (SQL) - サーバ構築 - パフォーマンス計測 ( テストツール ) - VDB 管理 設計フェーズ実装フェーズテストフェーズ運用フェーズ - VDB 項目 ( スキル種別 ) - サーバ項目 ( スキル種別 ) 28

29 ポイント 3 スモールスタート データ連携基盤 トランザクション基盤 クラウド GW 基盤 システム移行基盤 データ正規化 データクレンジング データモデル標準化 データマネージメント データ 仮想統合 BI ツール連携 データ再利用 バッチ削減 ビッグデータ活用 29

30 ベストプラクティス 設計方法

31 設計方法 設計方法は基本的にデータベースと同じ考え方 物理モデル 接続定義 テーブル定義 仮想統合テーブルと なる論理モデル 項目名を標準化 した論理モデル 既存データソース の物理モデル カラム型定義 論理モデル テーブル定義 カラム型定義 抽出条件定義 プロシージャ定義 引数定義 戻り値定義 処理内容定義 階層化の戦略が重要 論理モデルを - ビジネスオブジェクトレイヤ 標準モデル - データ統合レイヤ 等の階層に分けることにより変更容易性 開発生産性 分散開発 が向上 31

32 ポイント４ アンチパターン 下記を目的にした適用は注意が必要です 既存APの処理を変えずにDBのみを変更 データベースのパフォーマンス向上 ETLの完全移行 仮想データマート 全てのDWHデータをリアルタイム化 下記の利用方法は注意が必要 毎回全件統合が必要で 抽出条件が効かないパターン order by や Gropu by を利用するケース 数msのロスも許されないパフォーマンス重視システム ただし キャッシュを利用することで解決することも可能 32

33 導入効果

34 データ仮想化導入効果 短期的な効果 ジョブメンテナンスコストの削減 ETL の利用範囲を限定することで テーブル定義やジョブの作成が不要となり, 開発費が削減することが可能 定義変更の柔軟性 設計から実装の段階でテーブル定義に変更があった場合にも, 論理モデルの部分的な変更で対応可能 高度なセキュリティ制御 既存の仕組みに影響を与えず, ユーザロール単位でテーブル表示内容を変えるような定義が可能 34

35 データ仮想化導入効果 長期的な効果 コスト削減 データ量減による DB ライセンス費用の削減 ジョブの削減による ETL ライセンスの削減 ジョブメンテナンス費用削減 変更容易性 取得データ 項目等の変更要求に素早く対応可能 ユーザからの要望に対する対応時間 コストの短縮 新規のデータソースの統合や変更にも素早く対応可能 ファイルから DB, Web サービスのデータも統合可能 ベンダロックイン回避 統合処理は標準 SQL ベースなので ベンダ依存を最小限に抑えることが可能 35

36 JBoss Data Virtualization 6

37 コンポーネント変更 JBoss Data Services 5 ->JBoss Data Virtualization 6 システム連携で JBoss Data Service を使うのは長期的な戦略 データ仮想化に特化して よりシンプルに! より軽量に! JBoss Data Service 5 JBoss Data Virtualization 6 JDBC / ODBC Data Virtualization (Teiid) BPEL Rules jbpm3 JDBC / ODBC Data Virtualization (Teiid) Repository Repository JBoss ESB UDDI EAP 5 EAP 6(JDG) 37

38 新機能ダッシュボード 円 棒 折れ線の 3 つのグラフとデータテーブル データテーブルは Excel/CSV 形式でダウンロード可 ナビゲータ フィルター等 グラフ以外の部品も提供 ナビゲータ パンくず フィルター タブでの画面切換 Excel/CSV 形式ダウンロード 38

39 新機能ダッシュボード設定方法 レイアウト変更はドラッグ & ドロップに対応 グラフの表示形式は属性設定により容易に変更可能 ドラッグ & ドロップでレイアウト変更 編集 4 種類からグラフを選択 39

40 その他の新機能 ( トピック ) VDB インポート / 再利用 VDB の階層化のオーバヘッドが大きく削減 分散開発での生産性 安全性が向上 ネイティブクエリー データベース固有の SQL の実行が可能 列 / 行マスク 設定ベースでのロールによるカラムデータの変更 設定ベースでのロールによる抽出条件の変更 40

41 まとめ データ仮想化はビッグデータと共に新しいデータの価値を生み出す次世代のトレンドです データ仮想化により今までに無い柔軟で迅速なデータ統合基盤の構築が可能となります レッドハットはオープンな技術でデータ仮想化技術を牽引していきます 41

42 是非お試しください 42

43