Oracle Warehouse Builder 概要 2009 年 5 月
注 : 本書は情報提供のみを目的としています 下記の事項は マテリアルやコード 機能の提供を確約するものではなく また 購買を決定する際の判断材料とはなりえません 本書に記載されている機能の開発 リリース および時期については 弊社の裁量により決定いたします 本書には 書式 ソフトウェアまたは印刷物のいかんによらず オラクルが独占的に所有する独自の情報が含まれています 本書とここに含まれる情報は オラクルの事前の同意を得ることなく オラクル以外の者に開示 複写 複製または配布することが禁じられています 本書は ライセンス契約の一部をなすものではなく オラクル その子会社または関連会社とのいかなる契約上の合意事項にも組み込まれるものではありません Oracle Warehouse Builder 概要 2
Oracle Warehouse Builder 概要 はじめに 現在の情報アーキテクチャは 数年前に比べはるかにダイナミックです 経営上層部は ますます多くの情報 分析能力 動作予測機能を求めています 特に重要な点は 経営上層部が 競争における差別化を図るために 企業全体にこれらすべてを求めていることです Oracle Warehouse Builder を使用することで 企業が必要としているナレッジを提供できます 本書では ナレッジを提供するインフラストラクチャを作成するためのツールの機能について その概要を説明します 本書をお読みいただくことで Oracle Warehouse Builder が 企業の対応能力を大幅に改善することをご理解いただけます Oracle Warehouse Builder 概要 3
情報統合における主要なトレンドの確認 情報統合においては 多くのトレンドが毎日のように確認されています しかし " もっとも影響のある最新 " のデータ トレンドに従い 実装する場合には 注意が必要です 情報は 利用者が求める形式で求められる場所に提供する必要があります トレンドを評価する場合は この点に留意する必要があります この注意点を念頭におくと 以下の 3 つのトレンドを特定できます 情報品質の向上 既存の情報の活用 情報ソリューションの早期稼働これらのトレンドは インフラストラクチャの利用者だけでなく 開発者にとっても重要です そこで これらのトレンドが企業にとってどのような意味を持っているかについて 詳しく見ていきましょう 情報品質の向上長年に渡って論じられてきましたが 情報資産が正しく管理される時代がついに到来しました 情報資産管理に対しもっとも影響の大きいものは 品質の問題と評価です この 2 つの要素により 情報品質への対応の必要性が明らかにされています 重要な点は 元データの品質ではなく 情報の品質です 情報は元データとメタデータ ( またはビジネス定義 ) から構成されているため データとメタデータのより高い品質要件へ範囲が及びます これは アーキテクチャだけでなく プロセスやシステム設計にまで影響を与えます 既存の情報の活用情報が真に資産になるにつれ 利用者はこれらの資産からより多くの結果を期待します この結果がナレッジです 既存の情報資産からより多くのナレッジを獲得するために 利用者は 新しい情報を発見するためや 既存の情報を新しい方法で活用するために未知の方法を利用します 情報の活用技術の発展に伴い ユーザーは情報をさらに活用したいと考えています つまり 企業が活用できるナレッジを生成するには 分析能力を強化し より多くの利用者に提供できるように準備する必要があります より多くのシステムからの提供適切な時期に情報を提供するという要件は ますます多くのデータを適切なタイミングで統合する必要があるため さらに複雑です 情報の必要性の増加に伴い 情報提供のために分析する必要がある情報源も増加し 多様化しています Oracle Warehouse Builder 概要 4
より多くのシステムを統合し 適切なタイミングで情報を提供するための要件は 作成する情報インフラストラクチャにも大きく影響します 早期の稼働ビジネスの加速と情報要件の飛躍的な増加に伴い 新しい情報要件に対応する時間をいっそう短縮する方法を見つける必要があります そのためには 反復作業を自動化して ビジネス ナレッジを作業にカプセル化し ソリューションの早期提供を実現するツールセットが必要です Oracle Warehouse Builder 固有の拡張性 作業の自動化 および専門的情報を組み込む機能により 複雑なシステムをこれまでになく迅速に提供できます Oracle Warehouse Builder 概要 5
パッケージ Oracle Database 11g 以降のリリースでは Oracle Warehouse Builder が事前にインストールされるようになりました Oracle Database は Oracle Warehouse Builder リポジトリをホストし 変換エンジンとして機能します Oracle Database のライセンスは Oracle Warehouse Builder で利用可能な多くの機能をサポートしています ただし データ プロファイリングなどの専門的な機能を使用する場合は 追加のライセンスが必要です Oracle Warehouse Builder のライセンスに関する詳細な情報については Oracle Technology Network の次の Web サイトを参照してください http://www.oracle.com/technology/products/warehouse/index.html 統合 ツールを最大限に活用するには ETL コンポーネントを他の情報管理の柱と統合することが重要です 図 1: 統合された製品 データ モデリング データ準拠 およびデータ品質は 情報管理ツールが保持すべき中核的な特性です 各社の主張を超えて 各ツールの操作性 統合方式 販売方式 ( セットまたは単独製品 ) を最初から理解することが重要です これによって製品の統合性を把握できます では なぜ統合が重要なのでしょうか オラクルは 長年に渡って 図 1の各項目を個別のツールとして扱ってきました ( 現在も その方式を採用しているベンダーがあります ) お客様は ETL ツールにデータ モデルを統合する方法を模索し 結局は他社製の統合ソフトウェアを購入することになります これが 現在の一般的な状況です 近い将来を見据えると データ プロファイリング ツールから得た結果を ETL 開発者に伝達する必要があります Oracle Warehouse Builder 概要 6
では どのようにそれを実現するのでしょうか データ プロファイリング情報は データ不良を解決するために必要なデータ品質の変換にどのように流れ込むのでしょうか こうした疑問を解決するキーワードは 統合です つまり 市販のツールや方式を活用するには より迅速で的確に作業を実行するための統合ツールを見つけ出す必要があります Oracle Warehouse Builder 概要 7
Oracle Warehouse Builder による情報品質の改善 冒頭でトレンドに関して述べたとおり 現在および近い将来 単にデータを提供するだけでは不十分になります 情報の提供者または統合者として 高品質の情報の取得を支援するツールセットが必要です Oracle Warehouse Builder は このツールセットの重要な要素です メタデータの品質ここまで繰り返し説明したように データ品質はとても重要です しかし メタデータについては メタデータ品質を提供する製品はおろか データ品質の議論からも脱落しています Oracle Warehouse Builder はこの状況を大きく改変します これは 環境の変化によって生じる問題を解決するための支援を行う初めてのツール 1 です Oracle Warehouse Builder の依存性管理サービスを通じて システム内におけるメタデータの変化の波及効果を明らかにし メタデータの変化によるシステム停止を防止できます 図 2: システム内の変化の伝達 初めてシステム内の変化を予防的に管理できるようになります たとえば 図 2 の場合 マッピング エディタの中でシステム全体に変化を伝達できます 1 特許出願中 Oracle Warehouse Builder 概要 8
図 3:Name 属性に対する伝播の影響 Oracle Warehouse Builder を使用すると 時間と作業を大幅に軽減できるだけでなく メタデータの品質も改善できるので ユーザーのために有効な情報を作成できます データ プロファイリング情報の有用性と精度に不可欠な他の重要な要素が データ品質レベルの保証です Oracle Warehouse Builder の情報品質のおもな特長は 一般にデータ プロファイリングと呼ばれるデータ品質評価機能が組み込まれていることです 図 4 に 高度なデータ プロファイリングの概要を示します 図 4: 高度なデータ プロファイリングの概要 Oracle Warehouse Builder 概要 9
Oracle Warehouse Builder でデータ プロファイリングの結果を使用すると 修正マッピングと呼ばれる抽出 変換 ロード (ETL) の各ルーチンを通じて データに適用するデータ クレンジング ルールを作成できます ETL プロセスが作成される中でのこの統合こそが 従来のプロファリング ソリューションと Oracle Warehouse Builder の大きな違いです この統合により Oracle Warehouse Builder におけるデータ プロファリングの効率が大幅に向上し ビジネス用のデータ品質が直ちに改善されます データ品質が企業のしきい値に到達することを保証するために データ品質を継続的に監視する Data Auditor をプロセスに追加できます 品質が指定されたしきい値に到達しない場合 ( シックス-シグマまたは欠陥率で測定可能 ) Data Auditor から警告が通知されるので 適切な処置を行うことができます 図 5:Data Auditor の作成 データベース内でのデータ クレンジング各 Oracle Database ライセンスは Oracle Warehouse Builder 内で使用できる基本的なデータ クレンジング機能を含みます データ品質アルゴリズムをパイプライン化することで 効率を改善できます マッチングとマージのアルゴリズムは より優れた結果の迅速な生成を保証します また Oracle Warehouse Builder では 適切なデータ品質ベンダーと連携することが可能です Oracle Warehouse Builder のアプリケーション プログラミング インタフェース (API) は データ品質ベンダーに公開されています Oracle Warehouse Builder 概要 10
図 6: 名前とアドレスのクレンジング この機能はリリース 9.2 の製品から導入されています また それ以降のリリースでは より多くのデータ品質パートナー (OTN を参照 ) と共同で データ クレンジングの簡素化と低コスト化を図っています Oracle Warehouse Builder 概要 11
Oracle Warehouse Builder による知識生産性の向上 2 番目のトレンドは より多くのデータの一元的な分析を実現する高度な分析機能です Oracle Warehouse Builder が到達できるすべての情報源と高度なデータ品質機能を活用することで ユーザーにより多くの情報を提供できます しかし ユーザーが what-if 分析を実行してこれまで隠れていたパターンを発見し そのナレッジをビジネス問題に適用するには 簡単に使用できる高度な分析ツールが必要です Oracle Warehouse Builder は この高度な分析要件に適合する最新のテクノロジーの一部を実現しています Direct OLAP のターゲット設計 高度な計算 ( 共有 順位付け 時系列 ) および ETL の Oracle OLAP データベースとの統合が Oracle Warehouse Builder の機能における新しい主要コンポーネントです OLAP 以外にも Oracle Warehouse Builder では Oracle Spatial や Oracle Data Mining のような Oracle プラットフォームに搭載されているより高度な機能を使用できます これらのテクノロジーを通じて 収益の見込める場所や顧客が競合企業を選択した理由などの情報を得ることができます すなわち 場所に基づいて情報を表示し 詳細に調査することで 現在の状況や起こりうる状況を理解できます 図 7:Oracle プラットフォームでの高度な分析ツールの使用 Oracle プラットフォームを利用すると Oracle のビジネス インテリジェンス製品を使用して マップ ゲージおよびその他のビジュアル化機能によりデータを表示できます 従来の ETL 機能 充実したユーザー インタフェースを備えたマッピング エディタを使用すると 大きく複雑な ETL マッピングを作成する際の生産性が向上します Oracle Warehouse Builder 概要 12
図 8:Oracle Warehouse Builder のマッピング エディタ 表示機能と生産性の強化に加え ETL プロセスの作成を高速化できるさまざまなコンポーネントがあります 既存のマッピングから再利用可能なマッピング コンポーネントを作成できます 簡単なクリック操作で 緩やかに変化するディメンション (SCD) に適合したり オンライン分析処理 (OLAP) データベースにデータをロードするといった高度な ETL 機能を使用できます このように Oracle Warehouse Builder は 情報をより迅速により高い品質で提供することを可能にする多くの ETL 機能を実現しています より多くのデータ情報源の活用 企業がより多くの標準アプリケーションを実装するようになったことで これらのパッケージ アプリケーションとの接続の重要性が高まっています 変更の取得適切なタイミングで情報を提供するためのポイントは 情報源で関連情報を取得し 対象に配信する機能です Oracle Warehouse Builder では 最新のデータベース技術を使用している Oracle Change Data Capture(Oracle CDC) を利用できます Oracle Warehouse Builder では パートナーのソリューション 2 を通じて パートナーの CDC アプリケーションを含むメインフレーム データを統合できます 2 詳細については OTN の Web サイト http://www.oracle.com/technology/products/warehouse/htdocs/otn_partners.html を参照してください Oracle Warehouse Builder 概要 13
SAP の統合 SQL や PL/SQL を使用する Oracle Warehouse Builder の他のほとんどの ETL と異なり SAP からの抽出にはネイティブの SAP 言語である ABAP が使用されます この違いにより 抽出プログラムが SAP サーバーにおいてネイティブの言語で動作することが保証されます Oracle Warehouse Builder は SAP プログラムの SAP サーバーへの直接配置と実行をサポートしています おそらく SAP スタッフは 稼働しているサーバーにおけるプログラム管理を継続することになりますが この強化により SAP の抽出プロセスの配置が簡素化されるため 開発作業とテスト作業が大幅に改善されます この拡張に加え SAP コネクタの性能と生産性も大幅に強化されています SAP コネクタは 完全な機能 ネイティブ ABAP コードの生成 および価格の点で SAP システムからデータを抽出する場合の貴重なコンポーネントです Oracle E-Business Suite の統合 より多くのパッケージ アプリケーションの使用を促進するための一環として Oracle E-Business Suite が統合されています 図 9:E-Business Suite コネクタ Oracle Warehouse Builder は Oracle E-Business Suite(Oracle EBS) 内のメタデータを完全に把握しているので より簡単かつ効率的にメタデータを抽出できます PeopleSoft の統合 PeopleSoft コネクタを通じて Oracle Warehouse Builder により PeopleSoft アプリケーションに固有のメタデータ構造を理解できます PeopleSoft アプリケーションのメタデータをインポートすると Oracle Warehouse Builder のすべての機能を使用して このデータを環境の残りの部分に統合できます Oracle Warehouse Builder 概要 14
高度な分析の利用 OLAP ソリューションの最大の利点は ユーザーに驚異的な応答時間を提供する 非常に高度な計算処理能力です Oracle OLAP オプションは Oracle Database 内で使用できるので Oracle Warehouse Builder では このテクノロジーを簡単に使用できます Oracle Warehouse Builder では OLAP キューブのディメンション 階層 メジャー 計算メジャー および必要なすべてのコンポーネントを記述する論理設計を作成します Oracle Warehouse Builder は OLAP オプションで新しい XML API を使用して データベース カタログに必要なアナリティック ワークスペースとメタデータを作成します また Oracle Warehouse Builder では 顧客が実装を選択できるようになります 純粋な多次元ディメンション OLAP ソリューション (MOLAP) またはリレーショナル OLAP ソリューションを選択できます テストの結果次第では スイッチを切り替えるだけで ソリューションを切り替えることができます スキーマまたはアナリティック ワークスペースを作成したら Oracle Warehouse Builder の ETL モデラーを使用して ロード プログラムを作成できます Oracle Warehouse Builder は アナリティック ワークスペースに任意のデータを直接ロードできるので OLAP データ ロードの豊富な変換機能を使用できます OLAP オプションにより 任意の情報源から多くのデータを直接ロードして高度な分析を実行することが可能なため 多くのユーザーが OLAP データにアクセスして操作できます 図 10: キューブへの分析用コンテンツの追加 OLAP キューブ エディタに高度な分析用の生成オプションを直接追加することで 分析用のキューブを直接準備できます これらの計算メジャーは ユーザーが作成するのではなく データベースに格納されるため 性能と一貫性が向上します Oracle Warehouse Builder 概要 15
BI メタデータの抽出とテンプレート レポート Oracle Warehouse Builder は 強力なインフラストラクチャを提供するだけでなく ユーザーに提示できる暫定的な ( テンプレート ) レポートも提供します これにより 開発時間が大幅に短縮されます データベース ( リレーショナルまたは OLAP) を定義し データをロードすることで 大量のメタデータが作成され 収集されます 従来は このデータベース設計の上にアプリケーションを構築していたため メタデータと設計の作成をもう一度繰り返す作業が必要でした Oracle Warehouse Builder では 設計からユーザーのメタデータが抽出されるため この重複作業とメタデータが不要になります そのため 必要な作業が減るだけでなく エラーのリスクやメタデータの同期を維持する作業も減るので メタデータの品質が向上します また これらの定義を一元的に管理することで 万全の影響分析機能を提供できることも メタデータの品質にとって重要です これによって データベースの変更の影響を事前に把握できるだけでなく BI 環境への影響も把握できます したがって Oracle Warehouse Builder では たとえば キューブ メタデータを選択して Oracle Discoverer の End User Layer を抽出し 最初に Oracle Warehouse Builder のリポジトリにこの情報を格納できます 次に Oracle Warehouse Builder の中で Oracle Discoverer のオブジェクトを編集できます 編集が終了したら これを Oracle Discoverer に配置します Oracle Warehouse Builder 概要 16
Oracle Warehouse Builder による生産性の改善 これまで 2 つのトレンドと Oracle Warehouse Builder を使用して品質を改善し 企業内のナレッジを増やす方法について見てきました 次に これらの手順の高速化に取り組む必要があります この場合にも Oracle Warehouse Builder は有効でしょうか 高度な機能のカプセル化データ統合の多くの作業は 標準作業にカプセル化できます 高度な分析計算の生成については すでに説明しました ( 図 10 を参照 ) 開発者やユーザーにこのような退屈な作業をさせることなく これらの計算を単一の手順で生成できます 緩やかに変化するディメンション緩やかに変化するディメンションでも同じことが実行されます 重要な情報の変化をとらえ データの中でバージョニングするという概念は難しいものではありませんが 実装の方法は人によって異なるため データの統合作業は困難になります Oracle Warehouse Builder の緩やかに変化するディメンションの論理は 実際のディメンション メタデータの中で設計されています このディメンションは 入ってくるデータに適用されるすべての論理を取り込みます 図 11: 緩やかに変化するディメンションの単一の実装 Oracle Warehouse Builder 概要 17
ビジネス ユーザーが重要な属性を決定すると データ モデラーがディメンションを設計します ETL 手順の中では このディメンションは他の任意のディメンションと同様に表示されます 開発者は 変更や更新を処理する方法を気にする必要はありません Oracle Warehouse Builder が ディメンションの定義に基づいてその処理を自動化します このような手順 設計 標準化の組合せにより 緩やかに変化するディメンションを大幅に高速化できます その他 パーティション化を使用することでロードと問合せ時間を改善するスマート ストレージ ファクト表の索引の適切な定義の使用によるスター クエリー変換 時間ディメンションを生成する機能などが含まれています これらの例は 高度な機能を簡素な構成要素に組み込む方法を示す 2 つの例にすぎません 次に説明する生産性の改善機能は これらよりもはるかに強力です データ修正データの状態に基づいてスキーマ全体を生成して そのスキーマと生成したマッピングを保持し ターゲット スキーマに流れ込むときにデータ エラーを修正できることを想像してください サイエンス フィクションのように聞こえるかもしれません しかし Oracle Warehouse Builder の修正モジュールを使用することで これは実際に実現可能です 次に 簡単にその動作を説明します データ プロファイリングの結果に基づいて データの理想の状態を表すデータ ルールを抽出または設計できます 次に 修正マッピングと これらの修正マッピングの対象として機能するスキーマを生成します 修正マッピングを生成する際にクレンジング メソッドを選択することで データをターゲット スキーマに移動するときにデータがデータ ルールに適合することを保証できます Oracle Warehouse Builder 概要 18
図 12: データ クレンジング メソッドの選択 Oracle Warehouse Builder は このプロセスを自動化して データの統合プロセスを大幅に高速化します また プロセスがデータ ルールから生成されるため ルールの変更に伴うプロセスの再作成では さらに時間が短縮されます 再開発する必要はなく ルールのメタデータを変更し プロセスとスキーマを再度生成するだけで 稼働状態に復帰します これは単なる生産性の向上でなく 生産性の強力な推進装置と言えます ビジネス プラクティスのカプセル化 Oracle Warehouse Builder の多くの機能により 一般的なプラクティスの自動化やカプセル化が可能になり データ クレンジングのルーチンも生成できますが 独自のビジネス ルールとプラクティスをカプセル化する方法が必要な場合もあります プラガブル マッピング各種情報源からデータを統合する際 企業の仕様に従って特定の方法で変換されたかどうかを確認する場合があります Oracle では 常にこれらのルールをカプセル化する PL/SQL を記述できます また Oracle Warehouse Builder でこれらのプログラムを使用できます ただし その保守や変更は非常に困難です プラガブル マッピングを使用すると 通常のマッピングと同じ視覚的でオープンな方法によって 変換や ETL 構造をモデル化できます プラガブル マッピングでは ETL プロセスが使用するコンポーネントを汎用化するためのインタフェース ( 入力と出力の両方 ) を定義できます Oracle Warehouse Builder 概要 19
図 13: 入力と出力の署名があるプラガブル マッピング これらのコンポーネントはグラフィック表示を重視した設計であるため 理解と保守が大幅に簡素化されます 開発者が企業を離れた場合でも 論理的なデータ フローを解釈する際に何行ものコードを読む必要がないため 時間と作業が節減されます Experts 変換論理の再利用に加えて たとえば Microsoft Excel でマクロを使用するように より複雑な特定の作業を反復できればよいと思いませんか Oracle Warehouse Builder では Experts と呼ぶ機能でこれを実行できます Experts を使用すると グラフィカル エディタとスクリプティング言語 (OMB3 と OMU 拡張を持つ TCL) を使用して タスク フローの中に作業をプログラムできます Oracle Warehouse Builder は非常にグラフィカルなツールであるため Experts では Oracle Warehouse Builder のユーザー インタフェース コンポーネントを再利用して 独自の " ウィザード " を作成できます 3 Oracle MetaBase(OMB) および Oracle Metabase User interface(omu) コマンドは 標準の TCL 言語の拡張機能です Oracle Warehouse Builder 概要 20
図 14: グラフィカル エディタでの Experts の設計 この機能を使用すると 多くの目標を達成できます 経験の少ない開発者でも Experts を使用して経験豊かな開発者が定義した仕事を実行できるので 両方の生産性が向上します また 単純な命名規則から特定のオブジェクトを設計する方法まで 幅広いビジネス プラクティスをカプセル化することが可能です ガイドラインを文書化する代わりに これらのガイドラインを製品の中に埋め込み 強制的に適用できます これによって 費用のかかる再確認や監査が減るだけでなく より重要な点として 改訂やコンプライアンス違反が減少します 単純なダイアログ ボックスまたは複雑なシャトルや他のカスタム コンポーネントのような独自のユーザー インタフェース コンポーネントを作成する必要がある場合は Oracle Warehouse Builder を使用すると Expert エディタで または Java コンポーネントを利用して カスタム ダイアログを設計できます いずれの場合も 内蔵された言語コンポーネントを使用して リポジトリ メタデータと対話できます また Oracle Warehouse Builder のユーザー インタフェースにログインせずに Experts を実行することが可能であるため Oracle Warehouse Builder 以外のユーザーにも Experts を公開できます したがって よりビジネス指向のユーザーもリポジトリとのやり取りを行うことができます たとえば OLAP ベースのスプレッドシートのデータ異常を調べる必要があるユーザーがこれに該当します Oracle Warehouse Builder 概要 21
図 15:Excel から情報源までの系統 Experts で系統ユーザー インタフェースを統合し バッチ ファイルを使用してこれを Excel に公開することで 任意のビジネス ユーザーにデータの適性を理解させることができます Oracle Warehouse Builder 概要 22
まとめと結論 情報統合のトレンドを見る場合 以下の要件に向かい合う必要があります より高品質の情報の提供 既存の情報を活用したナレッジの抽出 情報提供の高速化限られた予算の制約の中でこれらすべてを実現するには 予算を有効に利用する必要があります Oracle Warehouse Builder を使用すると 手を加えずに低価格でこれらの要件を実現できます したがって Oracle Warehouse Builder を使用することで 企業はデータからさらに高品質の結果をより迅速に得ることができます Oracle Warehouse Builder 概要 23
Oracle Warehouse Builder 概要 2009 年 5 月著者 :Jean-Pierre Dijcks 共著者 :Michelle Bird Oracle Corporation World Headquarters 500 Oracle Parkway Redwood Shores, CA 94065 U.S.A. Copyright 2009, Oracle. All rights reserved. 本文書は情報提供のみを目的として提供されており ここに記載される内容は予告なく変更されることがあります 本文書は一切間違いがないことを保証するものではなく さらに 口述による明示または法律による黙示を問わず 特定の目的に対する商品性もしくは適合性についての黙示的な保証を含み いかなる他の保証や条件も提供するものではありません オラクル社は本文書に関するいかなる法的責任も明確に否認し 本文書によって直接的または間接的に確立される契約義務はないものとします 本文書はオラクル社の書面による許可を前もって得ることなく いかなる目的のためにも 電子または印刷を含むいかなる形式や手段によっても再作成または送信することはできません Oracle は米国 Oracle Corporation およびその子会社 関連会社の登録商標です その他の名称はそれぞれの会社の商標です