データマートで動作するリレーショナルデータベースとスプレッドシート データマイニング等の分析ツールからなるプラットフォームで構築された統合的なシステム展開により 業務情報や戦略情報の確実な伝達とリアルタイムな業務処理予測と問題追究 ナレッジの活用とコラボレーションによる業務実践といった 一連のマネジ

Transcription

1 5.1.BI/DWH/ETL 定義 適切な意思決定をより素早く行うために 適切な形式 適切なタイミングで 適切なユーザに対し て適切な情報を提供するシステムの総称であり データの検索 参照 蓄積を統合的 汎用的に行う ことにより 業務上で扱う各種のデータを保存 取得をしたり 操作 変換をしたりして 業務上で の利用や分析を行う仕組みのことである また同時に 各種の分析操作画面の利用や帳票作成を行う際の開発工数等を低減させること等に役 立つ仕組みでもある 図 ビジネスインテリジェンス概要図 下記にある BI/DWH/ETL の機能 サービスを組み合わせ 選択することにより 例えば下記のよ うな機能やサービスを構築することが可能になる (以下は 一例となる ) ビジネス パフォーマンス マネジメント パフォーマンスを最適化し 業務能力の向上を通した生産性向上を実現する 定量 定性的なベン チマークを用いて 業務の効率の測定と監視 及び予測を行う これにより 傾向やリスクを即座に 識別し タイムリーなアクションが可能になることを目標としている 55

2 データマートで動作するリレーショナルデータベースとスプレッドシート データマイニング等の分析ツールからなるプラットフォームで構築された統合的なシステム展開により 業務情報や戦略情報の確実な伝達とリアルタイムな業務処理予測と問題追究 ナレッジの活用とコラボレーションによる業務実践といった 一連のマネジメントプロセスをシームレスに接続し 職員のあらゆる活動のサポートを行う 統合財務分析 業務のクリティカルな財務データを安全かつ効果的にあらゆる意思決定者に提供し 費用対効果等の分析を可能にする データウェアハウス ODS とスプレッドシートや OLAP からなるプラットフォームで構築された統合的なシステム展開アプローチで 職員がリアルタイムな意思決定を行い 業務や戦略に従った 生産性の高いスピーディなアクションを可能とする分析システム データの正確さや高いレベルのセキュリティをも同時に必要とされる また 既存の各種統計業務処理を効率化すること等に寄与する BI/DWH/ETL の機能 サービス機能 サービス定義ビジネスインテリジェンス (BI 業務システム等から蓄積される膨大なデータを蓄積 分析 加工し Business Intelligence) て 組織の意思決定に活用しようとする手法 事実に基づくデータを組織的かつ系統的に蓄積 分類 検索 分析 加工して 業務上の各種の意思決定に有用な知見や洞察を生み出すという概念に基づく支援や予測が行える仕組み 活動 又は そうした活動を支えるシステムやテクノロジ 業務の遂行において必要な情報を自在に分析し 各種の業務向上等に活用することを目指している データウェアハウス (DWH 意思決定のため 目的別に編成され 統合化された時系列のデー Data Warehouse ) タの集合体であり 基本的には削除や更新の仕組みをもたない 業務システムからトランザクション ( 取引 ) データ等を抽出 再構成して蓄積し 情報分析と意思決定を行う 大規模なデータベースを中核とした意思決定支援システム 又は このようなシステムの構築概念 イーティーエル E T L Extract/Transform/Load ( データ抽出 加工 書き込み機能 ) データマート 業務システム等に蓄積されたデータを抽出 (Extract) し データウェアハウス等で利用しやすい形に加工 (Transform) し 対象とするデータウェアハウス等のターゲットシステムに書き込み (Load) させるという一連の処理のこと また これら一連の処理を支援するソフトウェア機能 データウェアハウスに保存されたデータの中から 部門や個人の使用目的に応じて特定のデータを切り出して整理し直し 別のデータベ 56

3 オーラップ OLAP Online Analytical Processing( データ集計 分析ツール ) オーディーエス O D S Operational Data Store( 一時的データ保存システム ) ースに格納したもので セントラルのデータウェアハウスが全体業務のデータを統合管理するものなのに対して 特定の部門やユーザの業務ニーズに合わせて必要なデータだけを抜き出したサブセット エンドユーザが直接データベースの検索 集計を行い その中から問題点や課題を発見する分析型アプリケーションの概念及びそのシステム リレーショナルデータベースを利用した ROLAP と 多次元データベースを利用した MOLAP 両方式の併用による HOLAP に大別される 業務処理系システムのデータ ( オペレーショナル データ ) を 検索等別の目的で利用するためにそこから抽出し 一時的にデータを保持したデータの集合体 データマイニングダッシュボードレポーティングツール ( レポーティングサービス ) スプレッドシート 種々の解析手法を用いて大量のデータを分析し 隠れた関係性や意味を見つけ出す知識発見の手法の総称 又はそのプロセス この処理を通じて抽出されたモデルから予測やシミュレーションを行うことが可能となる パーソナライズが行われたポータルへの情報アクセスや分析結果等が情報共有できるツールで これによりコミュニケーションの一元化を目指している 業務実績データをサマリーして表示したり 分類 順序付け等を行って表示したりすることで データについての各種の視点を提供するツール 紙ベース及びインタラクティブな Web ベースの報告書や帳票の作成 管理及び配布等を支援する 数値データの集計 分析に用いられる作表アプリケーションソフト 縦横に並んだマス目 ( セル ) に数値や計算ルールを入力していくと 表計算ソフトが自動的に数式を分析し 所定の位置に計算結果を代入してくれるツール インタラクティブなクロス集計表等をもち 標準化されたオープンなフォーマットや Web サービス等のインタフェースによりビジネスインテリジェンスのフロントエンドとして利用される ビジネスインテリジェンス (BI Business Intelligence) 業務システム等から蓄積される膨大なデータを蓄積 分析 加工して 組織の意思決定に活用しようとする手法 事実に基づくデータを組織的かつ系統的に蓄積 分類 検索 分析 加工して 業務上の各種の意思決定に有用な知見や洞察を生み出すという概念や予測が行える仕組み 活動 又は そうした活動を支えるシステムやテクノロジ 業務の遂行において必要な情報を自在に分析し 各種の業務向上等に活用することを目指している 57

4 なお 従来は個別の独立したシステム内のデータ分析が主流であったが SOA 等のシステム連携基盤の導入に伴い 分散して格納されているデータの同質化を行った上で データを分析する必要が生じ メタデータの管理やデータ変換の仕組みをもつことで これに対応する仕組み ( メタデータレジストリ ) が ETL や DWH の組み合わせと ほぼ同等の機能を提供することになる 1 基本 データを組織的かつ系統的に蓄積 分類 検索 分析 加工できること 2 基本 分析によって 有用な知見や洞察を生み出すことが可能な仕組みをもっていること 3 加点 必要に応じて データウェアハウス ETL データマート OLAP Data Mining 等 を組み合わせられること 4 加点 必要に応じて 分析結果等の出力を BSC ダッシュボード レポーティングツール スプレッドシート等 で選択的に可視化できること 5 加点 帳票や種々のグラフをインタラクティブに切り替え / 連携できる仕組みをもつこと 6 加点 設定したしきい値によって 適切なユーザにアラートを発信できる仕組みをもつこと 7 加点 SOA 等のシステム連携基盤の連携データが分析対象のデータとなる場合 メタデータレジストリ ( システム間のデータ交換時にメタデータの変換やデータ品質の同質化等を行う ) の仕組みをもつこと 非 ( 個別の要件がある場合のみ記述 ) バックアップ 加点 データのバックアップ リカバリ等の機能があること セキュリティ 加点 明示的にユーザ ID を特定した上で検索 照会処理を実行するように設定できること 関連する技術メタデータレジストリの形式 ISO/IEC JIS X (, JIS X4181-1, JIS X4181-2) 国際規格の ISO/IEC に完全に一致する JIS 規格 データウェアハウス (DWH Data Warehouse ) 意思決定のため 目的別に編成され 統合化された時系列のデータの集合体であり 基本的には削除や更新の仕組みをもたない データウェアハウスの活用により 業務システムからトランザクション ( 取引 ) データ等を抽出 再構成して蓄積し 情報分析と意思決定の支援を行う 大規模なデータベースを中核とした意思決定支援システム 又は このようなシステムの構築概念 1 基本目的別に編成され 統合化された時系列のデータの集合体となっていること 58

5 2 基本 分析等に適した形に加工してない状態のデータ ( 詳細データ ) をそのまま格納して長期間保持できること 3 基本 トランザクション ( 取引 ) データ等を抽出 再構成して蓄積できること 4 基本 業務システムと独立して構築されること 5 基本 基本的には更新処理をしないこと 関連する技術 DB アクセスインタフェース イーティーエル E T L Extract/Transform/Load( データ抽出 加工 書き込み機能 ) 業務システム等に蓄積されたデータを抽出 (Extract) し データウェアハウス等で利用しやすい形に加工 (Transform) し 対象とするデータウェアハウス等のターゲットシステムに書き込み (Load) させるという一連の処理のこと また これら一連の処理を支援する機能 これを用いることにより データクレンジング ( 住所 氏名 法人名などの表記ゆれの補正によって データの整合性やデータ品質を高めること ) 等が可能になる 1 基本 各種のデータソース 標準フォーマットのファイル データベース FTP 等 からデータを抽出できること 2 基本 必要な統合 変換処理 フィルタリング 集計 分割 結合 派生 < 入力列に式を適用することにより新しい列の値を作成 結果は新しい列として追加するか 既存の列の値を置き換える > 条件分岐等 ができること 3 基本 ターゲットとなるシステム データウェアハウス データマート等 にデータをロードさせることができること 4 基本 各種データフローにおけるエラーイベント等の例外処理ができること 5 加点 GUI 等により 各種の操作やデータの制御フロー等 が設定 実行できるようになっていること 関連する技術 DB アクセスインタ フェース 59

6 データマート データウェアハウスに保存されたデータの中から 部門や個人の使用目的に応じて特定のデータを切り出して整理し直し 別のデータベースに格納したもので セントラルのデータウェアハウスが全体業務のデータを統合管理するものなのに対して 特定の部門やユーザの業務ニーズに合わせて必要なデータだけを抜き出したサブセット 1 基本 データウェアハウスに保存されたデータの中から 使用目的に応じて特定のデータを切り出して整理し直し それが別のデータベースに格納されていること 2 加点 検索 分析要求に効率的に応じるために要約データとなっていること 関連する技術 DB アクセスインタフェース オーラップ OLAP Online Analytical Processing( データ集計 分析機能 ) エンドユーザが直接データベースの検索 集計を行い その中から問題点や課題を発見する分析型アプリケーションの概念及びそのシステム リレーショナル データベースを利用した ROLAP(Relational OLAP) と 集計用の多次元データベースを利用した MOLAP(Multidimensional OLAP) に大別される また 前処理が速くスケーラビリティも考慮した HOLAP(Hybrid OLAP) も存在する 60

7 図 OLAP 概要図 1 基本利用者が直接 データベースの検索 集計を行えるようになっていること 2 基本リレーショナル データベースか Cube と呼ばれるあらかじめ最適化処理されたデータマネジメントシステム等を用いていること 3 基本多次元的な概念ビューをもつこと 4 基本 ピボットテーブルサービス(PTS) 等 を介して レポーティング機能やスプレッドシートからアクセス可能であること 5 基本データが格納されている物理的構造を知らなくてもデータに容易にアクセスできること 6 基本どの次元 どのセルに対しても スライシング ダイシング ドリリング等 の機能が 同じパフォーマンスで提供できること 7 基本どの次元でも 同じ構造 操作が保証されていること 8 基本動的なマトリクス処理ができること 9 基本マルチユーザの同時アクセスが可能なこと 10 基本クロスディメンション処理にソフトウェアとしての機能上の制約がないこと 11 基本柔軟性のあるレポート処理が可能なこと 12 基本次元の数やメンバー数に制約がないこと 13 基本個々の処理 スライシング ダイシング ドリリング等 がメニューを通さずできること 61

8 関連する技術 DB アクセスインタフェースクエリ言語 MDX(Multi Dimensional Expressions) 多次元データを操作及び取得する際に使用する オーディーエス O D S Operational Data Store( 一時的データ保存システム ) 業務処理系システムのデータ ( オペレーショナルデータ ) を 検索等別の目的で利用するためにそこから抽出し 一時的にデータを保持したデータの集合体 1 基本 業務処理系システムのデータを抽出し 一時的にデータを保持するデータベースになっていること 2 基本 揮発性をもつリアルタイムデータの格納ができること 3 基本 短期のデータ保有となっていること 関連する技術 DB アクセスインタフェース データマイニング 種々の解析手法を用いて大量のデータを分析し 隠れた関係性や意味を見つけ出す知識発見の手法の総称 又はそのプロセス この処理を通じて抽出されたモデルから予測やシミュレーションを行うことが可能となる 62

9 図 データマイニング概要図 1 基本 大量のデータを分析し 隠れた関係性や知見を見つけ出す仕組みをもっていること 2 基本 関係性や知見を可視化できる仕組みをもつこと 3 基本 関係性や知見から予測モデルを作成できる仕組みをもち それを未知のデータへ適用させることで予測が可能な機能をもつこと 4 基本 予測の確度を検証できる仕組みをもつこと 5 基本 分析に使用するアルゴリズム 相関ルール クラスタリング 決定木 ナイーブベイズ ニューラルネット等 を選択できる仕組みをもつこと 6 基本 GUI を用いて 繰り返し 試行錯誤的に分析を行える仕組みをもつこと 7 加点 レポーティングツールやスプレッドシート等 からのアクセスや出力が可能であること 関連する技術 DB アクセスインタフェース 63

10 ダッシュボード パーソナライズが行われたポータルへの情報アクセスや分析結果等が情報共有できるツールで これによりコミュニケーションの一元化を目指している 1 基本 総合的なポータルフレームワークにより 対象ユーザの特定の要件を満たすポータルサイトを容易に構築できること 2 基本 各種のサイト 個人サイト 部門別サイト イントラネットサイト エクストラネットサイト 及びインターネットサイト等 を構築可能なこと 3 基本 オーサリングツールをもち コンテンツの投稿が容易なこと 4 基本 対象ユーザの設定機能により 特定のユーザに情報を提供する方法 タイミングや場所を情報の所有者が決められる仕組みをもつこと 5 基本 提供する情報をパーソナライズ可能になっていること 6 基本 総合的なアプリケーション統合フレームワークをもち コンポジットアプリケーションを構築可能であること 7 基本 アプリケーションガバナンス機能をもち アプリケーションの実行環境を詳細に制御できること レポーティングツール ( レポーティングサービス ) 業務実績データをサマリーして表示したり 分類 順序付け等を行って表示したりすることで データについての各種の視点を提供するツール 紙ベース及びインタラクティブな Web ベースの報告書や帳票の作成 管理及び配布等を支援する 64

11 図 レポーティングツール概要図 1 基本 サマリーや分類 順序付け等 を行って 利用者が理解しやすい可視化が可能となっていること 2 基本 レポートの作成のために データソースへのアクセス設定ができるようになっていること 3 基本 レポート作成機能やひな形の提供 レポート管理画面が提供されること 4 基本 紙ベース及びインタラクティブな Web ベースの報告書にも対応していること 帳票の作成 管理等 ができること 5 基本 閲覧者を設定して レポートの公開や配信が可能となっていること スプレッドシート 数値データの集計 分析に用いられる作表アプリケーションソフト 縦横に並んだマス目 ( セル ) に数値や計算ルールを入力していくと 表計算ソフトが自動的に数式を分析し 所定の位置に計算結果を代入してくれるツール インタラクティブなクロス集計表等をもち 標準化されたオープンなフォーマットや Web サービス等のインタフェースによりビジネスインテリジェンスのフロントエンドとして利用される 1 基本 OLAP やデータマイニング ( あるいは BI 全般 ) のフロントエンドとして機能すること 2 基本 マクロ等により自動処理や制約条件等を埋め込み可能なこと 共通オペレーションの定義及び 表計算のを参照のこと 65