Oracle Data Integratorの技術的概要

Transcription

1 Oracle Data Integrator の技術的概要 オラクル ホワイト ペーパー 2006 年 12 月更新

2 Oracle Data Integrator の技術的概要 概要... 3 E-LT アーキテクチャ... 3 従来の ETL... 3 E-LT... 4 宣言的設計... 6 従来の ETL 設計... 6 宣言的設計... 6 ナレッジ モジュール... 8 ナレッジ モジュール タイプ... 8 設計時および実行時のナレッジ モジュール... 8 柔軟性および拡張性... 8 イベント指向型の統合 メッセージ指向型の統合 チェンジ データ キャプチャ パブリッシュ サブスクライブ モデル 変更された一貫性あるデータ セットの処理 SOA 対応 データ サービスおよび変換サービス Web サービス アクセス データ整合性 データ整合性のための宣言的ルール 統合プロセスにおけるデータ整合性ファイアウォール ルールの施行 サード パーティの Name and Address クレンジング ツールの使用.15 アーキテクチャ ユーザー インタフェース エージェント リポジトリ Metadata Navigator/Lightweight Designer シナリオ データ ウェアハウス / ビジネス インテリジェンス サービス指向型の統合 マスター データ管理 結論 Oracle Data Integrator の技術的概要 2

3 Oracle Data Integrator の技術的概要 概要 企業全体でデータとアプリケーションを統合しその表示を統一することは 難しい課題です テクノロジ データ構造 アプリケーション機能に大きな相違があるだけでなく 統合アーキテクチャにも根本的な違いがあります 特にデータ量が多い場合 一部の統合ニーズでは データ指向の統合アーキテクチャが必要です 統合プロジェクトによっては 非同期統合または同期統合のために イベント駆動型アーキテクチャ (EDA) またはサービス指向アーキテクチャ (SOA) が有効です Oracle Data Integrator は データ統合のあらゆるスタイル ( データ中心 イベント中心 サービス中心 ) を含むアクティブな統合プラットフォームを提供します 大量のデータの効率的な変換 高度なチェンジ データ キャプチャ (CDC: Changed Data Capture) 機能によるリアルタイムのイベント処理 Oracle SOA Suite に対するデータ サービスの提供などの機能により Oracle Data Integrator は統一された形で統合を実現します 組織では様々なツールやテクノロジを利用して多様なニーズに対応しているため 統合プロジェクトはツールやテクノロジ間でも統一もない支離滅裂なものになります これらのツールでは パフォーマンス 柔軟性およびモジュール性のすべての要件を満すことはできません Oracle Data Integrator は データ統合のあらゆるスタイル ( データ中心 イベント中心 サービス中心 ) を含むアクティブな統合プラットフォームを提供します 大量のデータの効率的な変換 高度なチェンジ データ キャプチャ (CDC: Changed Data Capture) 機能によるリアルタイムのイベント処理 Oracle SOA Suite に対するデータ サービスの提供などの機能により Oracle Data Integrator は統一された形で統合を実現します また 堅牢なデータ整合性制御機能により データの一貫性と正確性が保証されます 混成 E-LT 宣言的な設計 ナレッジ モジュールなどの強力な中核差別化要素により Oracle Data Integrator は 統合プラットフォームのパフォーマンス 柔軟性 生産性 モジュール性およびホットプラグ機能の要件を満します E-LT アーキテクチャ従来の ETL 従来の ETL(Extract Transform Load: 抽出 変換 ロード ) ツールの動作は 各種ソースからデータを抽出後 独自の中間層 ETL エンジンでデータを変換し 変換したデータをターゲット データ ウェアハウスまたは統合サーバーにロードします そのため ETL という用語は 実行される動作の名前と順序の両方を表わします ETL プロセスのデータ変換手順はコンピュータ資源を大量消費するプロセスであり すべて専用サーバー上の独自 ETL エンジンにより実行されます ETL エンジンは 行単位でデータを変換するため ( 場合によりデータ品質チェックも実行 ) プロセス全体のボトルネックになりがちです また データはネットワーク上で Oracle Data Integrator の技術的概要 3

4 2 回 すなわちソースと ETL サーバー間で 1 回 ETL サーバーとターゲット データ ウェアハウス間で 1 回 移動する必要があります さらに データ フロー参照をターゲット データ ウェアハウスの値と比較することにより保証する場合参照整合性を 参照されるデータをターゲットからエンジンにダウンロードする必要があるため ネットワーク トラフィックとダウンロード時間が増加し パフォーマンス問題が深刻化します ここで 従来の ETL ジョブが ソース システムからのデータを充実させるために ターゲット データベースの値を調べる方法を検討します このジョブを実行するため 従来の ETL ツールが使用できる方法は 次の 3 通です ルックアップ表をメモリーにロード : ルックアップ表全体をターゲット サーバーから抽出し エンジンのメモリーにロードします メモリーで このルックアップ データをソース レコードとマッチング ( または結合 ) を行ってから 変換されたデータをターゲット サーバーに戻します ルックアップ表が大きい場合 データをダウンロードしエンジンで再度索引付けするために 大量のメモリーと時間が必要です 行単位のルックアップをその場で実行 : 各行について ETL エンジンはターゲット サーバーにあるルックアップ表に問合せを送信します 問合せは フローの現在の行に対してマッチ ( または結合 ) した単一行を返します たとえば 500,000 行がルックアップ表にある場合 ETL エンジンは 500,000 の問合せを送信します このため データ統合プロセスの速度は大幅に低下し ターゲット システムに大きなオーバーヘッドが発生します E-LT アーキテクチャは 同じソリューションで手書きコーディングと ETL アプローチ両方から その最良の特徴を統合します E-LT アプローチでは データ変換が行われる場所と方法を変更し 既存の開発者スキル RDBMS エンジン サーバー ハードウェアを活用して可能性を最大限に引き出します ETL ジョブ内で手書きコーディングを使用 : ソース データをターゲットのリレーショナル データベース管理システム (RDBMS) にロードするためにのみ ETL エンジンを使用し このデータをターゲット ルックアップ表に結合する SQL コードは手書きで作成します ここで 疑問が起こります つまり メタデータ管理と開発生産性のすべての利点を失うことが分かっていながら ターゲット サーバーで手書きコーディングが必要な ETL ツールを なぜ購入するのでしょうか 残念ながら 多くのユーザーは 統合プロセスの全体的パフォーマンスが ( 手書きコードで実行する同じ操作と比較して )10 倍も低下することに気付くと このツールを購入してしまいます E-LT E-LT アーキテクチャは 同じソリューションで手書きコーディングと ETL アプローチ両方から その最良の特徴を統合します E-LT アプローチでは データ変換が行われる場所と方法を変更し 既存の開発者スキル RDBMS エンジン サーバー ハードウェアを活用して可能性を最大限に引き出します E-LT は ターゲット RDBMS でデータ変換手順を再配置し 操作の順序を変更します すなわち ソース表からデータを抽出し 宛先サーバーに表をロードしてからネイティブ SQL 演算子を使用して ターゲット RDBMS でデータを変換します Oracle Data Integrator の技術的概要 4

5 ETL と E-LT のアプローチの比較 スループットを制限するのは 既存サーバーの特性のみです 特別なサーバー テクノロジ スキル要件などが関係していないため E-LT アーキテクチャは最適なパフォーマンスとスケーラビリティを提供し 容易に統合インフラストラクチャを管理します E-LT アーキテクチャでは RDBMS エンジンの能力を活用します スループットを制限するのは 既存サーバーの特性のみです 特別なサーバー テクノロジ スキル要件などが関係していないため E-LT アーキテクチャは最適なパフォーマンスとスケーラビリティを提供し 容易に統合インフラストラクチャを管理します 前述のルックアップにどのような影響があるか考えます ソース サーバーとターゲット サーバーから ETL サーバーに データを余分に移動する必要がありません 関係するソース データがターゲットに移動され ルックアップは同じターゲット サーバーで直接発生します この方式では ネットワーク トラフィックが必要部分のみで削減されます 処理は行単位ではなく ターゲット サーバーの結合機能を使用して 1 つの問合せで行われます RDBMS エンジンの処理機能を使用すると この操作で最良のパフォーマンスが得られます すなわち メタデータ管理と生産性に関するデータ統合プラットフォームのあらゆるメリットを維持しながら 手書きコーディングの場合と同等のパフォーマンスが得られます 独立した ETL エンジンも独自の ETL サーバー ハードウェアも必要がなく 現行のソフトウェアとハードウェアのメンテナンス費用のみで済むため ハードウェアとソフトウェアの初期投資コストが大幅に削減されます E-LT アーキテクチャは 既存の RDBMS を使用して ETL ジョブを実行するため 全体的コストが大幅に減少します データをホストしているサーバーと同じサーバーが データの統合に使用されます Oracle Data Integrator の技術的概要 5

6 宣言的設計従来の ETL 設計 従来の ETL システムを使用する統合プロセスを設計するために 開発者はプロセスの各手順を設計する必要があります たとえば 顧客の年齢別グループで一定期間 売上高の合計を取る場合を考えてみます 売上データは売上管理データベースから得られます 年齢別グループは年齢分布ファイルに記載されています これらのソースを組み合せ 顧客統計システムで適切なレコードを挿入および更新するために 次のような各手順の設計が必要です 1. エンジンにある顧客売上データをロード 2. エンジンにある年齢分布ファイルをロード 3. 顧客売上データと年齢分布データ間のルックアップを実行 4. 年齢分布でグループ分けした顧客売上高を集計 5. ターゲット売上統計データをエンジンにロード 6. 集計した情報を統計システムのデータと比較して 挿入または更新が必要なものを判定 7. 新しいレコードをターゲットに挿入 8. 既存のレコードをターゲットで更新 宣言的設計では プロセスが どのように 行われるかではなく プロセスが 何を 行うかを設計します この方式では 設計に必要な手順に応じて特別なスキルが要求されます また ターゲットでの挿入 / 更新の管理など 反復する一連のタスクでも 各タスクで開発が必要であるため かなりの労力が要求されます 最後に この方式ではメンテナンスにも多くの労力が必要です 統合プロセスの変更には プロセスが 何を 行い どのように 行われるかを理解する必要があります 従来の ETL 方式による設計では 統合の論理面と技術面が密接に関係しています 宣言的設計宣言的設計では プロセスがどのように行われるかではなく プロセスが何を行うかを設計します ここで示す例では プロセスが 行うこと は次のとおりです 売上アプリケーションからの顧客年齢を 統計ファイルの年齢別グループに関連付け 年齢別グループで顧客売上を集計してから 売上統計をロードこれが どのように 行われるか すなわち 一時データ構造の作成 ローダーの呼び出しなど 統合タスクの実行にあたって基礎となる技術的な側面や戦略は 宣言的ルールから明確に分離されます Oracle Data Integrator の技術的概要 6

7 従来の ETL 設計と宣言的設計の比較 Oracle Data Integrator の宣言的設計では よく知られたリレーショナル パラダイムを使用してデータ統合タスクのための宣言的ルールを ソース ターゲット 変換の指示を含む インタフェース 形式で宣言します ここで示す例では 売上表と年齢スプレッドシートがソースで 顧客統計システムがターゲットです 変換は 売上表と年齢スプレッドシートとを結合したもので 年齢別グループの売上集計です 宣言的設計では 統合プロセスの基礎的技術面を中心にするのではなく 実際の問題 すなわち統合のルールを中心にします Data Integrator によるデータ フローの設計宣言的設計では 統合プロセスの基礎的な技術面ではなく 実際の問題 すなわち統合のルールが中心になります 技術面は ナレッジ モジュールで記述します Oracle Data Integrator の技術的概要 7

8 ナレッジ モジュールナレッジ モジュール タイプ Oracle Data Integrator のナレッジ モジュールは 統合プロセスを発生させる方法を提供します ナレッジ モジュールの各タイプは それぞれ特定の統合タスクを表わします Oracle Data Integrator のために 混成システムから得たメタデータをリバースエンジニアリング 指定されたシステムでチェンジ データ キャプチャ (CDC: Changed Data Capture) を処理 システムに最適な方法で あるシステムから別のシステムにデータをロード 特定の戦略 ( 挿入 / 更新 緩やかに変化するディメンジョン ) を使用して ターゲット システムでデータを統合 データ フローでデータ整合性を制御 サービスの形式でデータを公開これらのナレッジ モジュールは 広範囲のテクノロジとテクニックが対象です 設計時および実行時のナレッジ モジュールナレッジ モジュールは 特定の統合タスクのためのコード テンプレートです このコードはインタフェースから独立しており 処理するソース ターゲット 変換を定義します 設計時に 開発者は統合プロセスを記述するメタデータを作成します このメタデータはナレッジ モジュールとマージされて 実行時に使用できるコードを生成します 実行時 Oracle Data Integrator はソース システムとターゲット システムにこのコードを送信し プロセスの実行に利用します 柔軟性および拡張性ナレッジ モジュールは ある状況の特定のタスクで最適なソリューションや入念にチューニングされたソリューションにユーザーがアクセスできるようにして さらに高い柔軟性を提供します たとえば データをある DBMS から別の DBMS に転送する場合 開発者は状況に応じて複数の方法から選択できます DBMS ローダー (Oracle の SQL*Loader Microsoft SQL Server の BCP Teradata TPump) は ソース エンジンのデータをファイルにダンプし このファイルをターゲット エンジンにロードします データベース リンク機能 (Oracle Database Links Microsoft SQL Server の Linked Servers) はサーバー間で直接データを転送できます この技術的戦略は 特に プラットフォームのネイティブな機能を使用するようにチューニングされたナレッジ モジュールに対応します Oracle Data Integrator の技術的概要 8

9 また ナレッジ モジュールは完全に拡張可能です コードはオープンであり 新しい統合方式やベスト プラクティスを実装する技術専門家は グラフィカル ユーザー インタフェースを通じてコードを編集できます ( たとえば パフォーマンスを高めたり 法令や会社の標準に準拠するため ) 開発者は 専門的技術のスキルがなくても これらのカスタム ナレッジ モジュールを統合プロセスで使用することができます Oracle Data Integrator には すぐに使用できる 100 以上のナレッジ モジュールが付属しており 市場の主要データベース エンジンやアプリケーション パッケージに対応しています Oracle Data Integrator の技術的概要 9

10 イベント指向型の統合メッセージ指向型の統合 メッセージ指向型ミドルウェアや Oracle Enterprise Service Bus(ESB) などのエンタープライズ サービス バスからイベントを取得することは リアルタイム環境でのアプリケーションの統合において一般的なタスクになりました アプリケーションとビジネス プロセスは 複数のサブスクライバのためにメッセージを生成したり メッセージング インフラストラクチャからのメッセージを消費します Oracle Data Integrator には メッセージ ベースの統合をサポートするテクノロジが含まれており しかも Java Message Services(JMS) 標準に準拠しています Oracle Data Integrator には メッセージ ベースの統合をサポートするテクノロジが含まれており しかも Java Message Services(JMS) 標準に準拠しています たとえば Oracle Data Integrator 内の変換ジョブは メッセージ キューやトピックからメッセージをサブスクライブおよび取得できます メッセージは リアルタイムで取得して変換され ターゲット システムに書き込まれます JMS モデルはトランザクションをサポートして データ整合性とソース ミドルウェアからターゲット システムへのメッセージ配信を保証します このタイプの統合を別の方法で使用する場合 データベース レベルで変更を取得し それをメッセージング インフラストラクチャに公開する必要があります 後述する Oracle Data Integrator のチェンジ データ キャプチャ機能は JMS ベースの統合と組み合せることができ 必要な統合フローの設計と様々なテクノロジの混成において最高の柔軟性を実現します たとえば チェンジ データ キャプチャを使用して 到着した注文をデータベース レベルで検出できます このような新しい注文は Oracle Data Integrator により充実させ変換してから 適切なメッセージ キューまたはトピックにポストされます Oracle BPEL または Oracle Business Activity Monitoring などのアプリケーションは これらのメッセージをサブスクライブでき 到着したイベントは適切なビジネス プロセスをトリガーします チェンジ データ キャプチャ従来のデータ統合アプローチは ソース システムからすべてのデータを抽出後 ターゲット システムでセット全体を ( 増分的に ) 統合します このアプローチは 統合プロセスがイベント指向型統合に対するニーズをいつ反映するかを明確にできません 典型的な例として カスタマ リレーションシップ マネジメント (CRM) アプリケーションから他のアプリケーションに新規または更新コンタクト ファイルを伝播するニーズを考えてみます この場合 関係するデータ量が膨大なため ( 数千のコンタクト ) 一定時間内でのデータ統合は不可能です タイムスタンプ列や変更フラグによるレコードのフィルタリングなど 社内設計ソリューションが可能ですが アプリケーションでの変更が必要となり 通常 すべての変更が正しくされることを保証できません Oracle Data Integrator のチェンジ データ キャプチャ機能は ソースで挿入されたデータ 更新されたデータまたは削除されたデータを識別および取得し それを統合プロセスで利用します チェンジ データ キャプチャは メッセージ指 Oracle Data Integrator の技術的概要 10

11 向型統合の代替手段となります また ターゲット固有のニーズと組み合せることで開発労力を最小限にすることができます パブリッシュ サブスクライブ モデルチェンジ データ キャプチャは パブリッシュ サブスクライブ モデルを使用します 識別されたサブスクライバ ( 通常は統合プロセス ) は データストアで発生した変更をサブスクライブします データストアでの変更は チェンジ データ キャプチャ フレームワークにより取得され サブスクライバに公開されます サブスクライバは 追跡された変更を適時処理でき これらのイベントを消費できます 変更を追跡するための Oracle Data Integrator フレームワーク Oracle Data Integrator は ソース データストアでの変更を追跡するために チェンジ データ キャプチャ フレームワークにトリガーと RDBMS ログ マイニングの 2 つの方式を提供しています 最初の方式は データベース トリガーを実装する大部分の RDBMS で配置できます この方式は ソース システムでのオーバーヘッドを最小にします たとえば トリガーにより取得されるチェンジ データが重複しないため 入出力操作の数を最小限にすることができ ソース システムの速度は低下しません 第 2 の方式では データベース エンジンの内部変更履歴である RDBMS ログをマイニングします この方式は システムのトランザクション パフォーマンスに対する影響がほとんどなく Oracle( ログ マイナー機能から ) と IBM DB2/400 でサポートされます 変更の管理に使用されるチェンジ データ キャプチャ フレームワークは一般公開されているため 変更追跡方式をカスタマイズできます 変更するフレームワークのロードには 任意のサード パーティ変更プロバイダを使用します 変更された一貫性あるデータ セットの処理通常 変更には同時に複数のデータ ソースが関与します たとえば 注文の作成 更新または削除の際 受注表と受注ライン表の両方が関連します 新しい受注ラインを処理する場合 そのラインに関係する新しい注文を考慮することも重要です Oracle Data Integrator には Consistent Set CDC と呼ばれる変更追跡モードがあります このモードでは データの一貫性を保証しながら変更のセットを処理することができます Oracle Data Integrator の技術的概要 11

12 Oracle Data Integrator は データ サービス 変換サービス Web サービス アクセスの 3 つの主要サービス アクセス機能を通じて Oracle SOA Suite にプラグインします SOA 対応 Oracle Data Integrator は データ サービス 変換サービス Web サービス アクセスの 3 つの主要サービス アクセス機能を通じて Oracle SOA Suite にプラグインします データ サービスおよび変換サービスデータ サービスは データベース表に格納されたデータへのアクセスを提供する特別な Web サービスです チェンジ データ キャプチャ機能と組み合せることにより データ サービスは 特定のサブスクライバに対して変更されたレコードへのアクセスも提供します データ サービスは Oracle Data Integrator により自動的に生成され Web コンテナ ( 通常は Java アプリケーション サーバー ) に対して Web サービスとして配置されます Oracle Data Integrator では その変換プロセスも Web サービスとして公開できるため アプリケーションはそれらを統合サービスとして使用することができます たとえば CRM アプリケーションの更新に使用する LOAD_SALES バッチ プロセスを Oracle BPEL Oracle Enterprise Service Bus Oracle Business Activity Monitoring などのサービス準拠アプリケーションから Web サービスとしてトリガーすることができます そのため Oracle Data Integrator を使用して開発された変換は 広範囲のサービス指向型の先進的アーキテクチャに含めることができます 生成および配置に対応したデータ サービス Oracle Data Integrator の技術的概要 12

13 Web サービス アクセス サード パーティ Web サービスを Oracle Data Integrator ワークフローの一部とし て呼び出し データ統合プロセスの一部として使用できます リクエストはその 場で動的に生成され レスポンスは通常の変換により処理されます たとえば 会社が毎日の為替レートを Web サービスとして公開するサード パー ティ サービスをサブスクライブしているとします このデータを使用して複数 通貨データ ウェアハウスを更新する場合 Oracle Data Integrator では最小限の労 力でこのタスクを自動化できます つまり この Web サービスをデータ ウェア ハウスから呼び出し 適切な変換を実行して着信データを特定のフォーマットに 合わせます ワークフローでの Web サービスの使用 データ整合性 データ整合性はデータ品質の重要な側面であり 企業の情報資産の品質を保証す るために自動化できるプロセスも含まれます データ整合性のための宣言的ルール Oracle Data Integrator は その一元的メタデータ リポジトリで宣言的データ整合 性ルールを使用します これらのルールをアプリケーション データに適用する ことにより 企業情報の整合性と一貫性を保証します データ整合性により 全 体的データ品質が向上し この特定のニーズに対処する既存および将来のビジネ ス プロセスとの統合を容易にします Oracle Data Integrator は リバース エンジニアリング プロセスによりデータ レベルで定義された既存のルール データベース制約など を自動的に抽出しま す Oracle Data Integrator により開発者は Oracle Data Integrator 内におけるデータ 検出とプロファイリングから推論されてただちにチェックされたユーザー定義の 宣言的ルールを追加定義することもできます Oracle Data Integrator の技術的概要 13 Oracle Corporation 発行 Oracle Data Integrator Technical Overview の翻訳版です

14 Designer で新しい整合性ルールを定義し それをデータに対してただちにチェック データ整合性のための宣言的ルールには 固有性ルール レコード レベルで一 貫性を施行する検証ルール 混成テクノロジに関連した単純な参照ルールや複雑 な参照ルールが含まれます データ整合性に関する大量の情報から詳 細な分析が可能になり 全体的なデータ 品質を高めるために IT 戦略とベスト プ ラクティスに従って エラーのあるデー タが処理されます 統合プロセスにおけるデータ整合性ファイアウォール 統合プロセスに関係したコンポーネントには ソース アプリケーション デー タを変換および統合するプロセス そしてターゲット アプリケーションがあり ます Oracle Data Integrator では データ整合性はこれらのすべてのサブシステム で管理され 統合プロセスの任意のポイントで起動する実際のファイアウォール を作成します 統合プロセスにおけるデータ整合性 Oracle Data Integrator の技術的概要 14 Oracle Corporation 発行 Oracle Data Integrator Technical Overview の翻訳版です

15 ルールの施行 Oracle Data Integrator のカスタマイズ可能なチェック ナレッジ モジュールは リポジトリで定義された整合性ルールに基づいてアプリケーションのデータ整合性監査を自動的に生成するうえで 開発者を支援します 監査は アプリケーション データの品質について統計を提供します また 宣言的ルールを適用することにより エラーとして検出されたデータを分離します エラーのあるレコードが識別されエラー表に分離されると Oracle Data Integrator から または他のフロントエンド アプリケーションから そのレコードに直接アクセスできます データ整合性に関する大量の情報から詳細な分析が可能になり 全体的なデータ品質を高めるために IT 戦略とベスト プラクティスに従って エラーのあるデータが処理されます Designer でのエラーのあるデータの検討 サード パーティの Name and Address クレンジング ツールの使用 Oracle Data Integrator のオープンなアーキテクチャは Trillium TS Quality などのサード パーティのデータ品質製品とシームレスに統合し 複雑なデータ品質操作やクレンジング操作を実行できます アーキテクチャ Oracle Data Integrator はモジュール形式のリポジトリを使用します 実行時コンポーネントおよび設計時コンポーネントはすべて Java コンポーネントであり その情報はメタデータ リポジトリに格納されます このアーキテクチャのコンポーネントは いずれのプラットフォームにもインストールでき実行可能です Oracle Data Integrator の技術的概要 15

16 Oracle Data Integrator の詳細なアーキテクチャ ユーザー インタフェース Oracle Data Integrator グラフィカル モジュールには次の 4 つがあります Designer: このインタフェースでは ユーザーはデータ変換とデータ整合 性のための宣言的ルールを定義できます データベースとアプリケー ション メタデータは インポート または定義を実行できます Designer はメタデータとルールを使用して 本番用のシナリオを生成します す べてのプロジェクト開発は このインタフェースを通じて実行され 設 計時には開発者とメタデータ管理者のためのメイン ユーザー インタ フェースとなります Operator: このインタフェースでは ユーザーは Oracle Data Integrator ジョブを本番で管理および監視できます これは 本番オペレータ用に 設計され エラー カウント 処理された行数 実行統計 実行された 実際のコードなどの実行ログを表示します 設計時には 開発者は Operator をデバッグにも使用することができます これは 実行時のメイ ン ユーザー インタフェースです Topology Manager: このインタフェースでは ユーザーはインフラスト ラクチャの物理的および論理的アーキテクチャを定義できます サー バー スキーマ エージェントは このインタフェースを通じて Oracle Data Integrator マスター リポジトリに登録されます 主にインフラストラク チャやプロジェクトの管理者により使用されます Security Manager: このインタフェースでは 管理者はユーザーのアカウ ントと権限を管理できます Oracle Data Integrator のオブジェクトと機能 に プロファイルとユーザー アクセス権を与えるために使用できます このインタフェースは主にセキュリティ管理者により使用されます Oracle Data Integrator の技術的概要 16 Oracle Corporation 発行 Oracle Data Integrator Technical Overview の翻訳版です

17 エージェント実行時に 実行時コンポーネント ( すなわちエージェント ) はシナリオの実行を調整します 実行は ユーザー インタフェースの 1 つから起動され 組込みスケジューラまたはサード パーティ スケジューラによってトリガーすることができます Oracle Data Integrator の E-LT アーキテクチャにより エージェント自体が変換を実行することはほとんどありません 通常 エージェントは実行リポジトリからコードを抽出し データベース サーバー オペレーティング システムまたはスクリプト エンジンにそのコードの実行を要求します 実行が完了すると エージェントはリポジトリの実行ログを更新し エラー メッセージと実行統計をレポートします 実行ログは Operator ユーザー インタフェースまたは Web インタフェースである Metadata Navigator から表示できます エージェントは変換エンジンとして機能しますが このように使用されることはほとんどありません 統合プロセスを調整し既存システムを活用するために エージェントは情報システムの戦術的に重要な位置にインストールされます エージェントは この分散統合アーキテクチャの中でマルチスレッド化され ロードバランスされた軽量のコンポーネントです リポジトリ Oracle Data Integrator リポジトリは マスター リポジトリと数個の作業用リポジトリで構成されます これらのリポジトリは リレーショナル データベース管理システムにプラグインできます Oracle Data Integrator モジュールで構成 開発および使用されるすべてのオブジェクトは この 2 つのタイプのリポジトリのいずれかに格納されます 通常は 1 つのマスター リポジトリがあり セキュリティ情報 ( ユーザーのデータおよび権限 ) トポロジ情報( テクノロジとサーバーの定義 ) オブジェクトのバージョンを含みます 作業用リポジトリは プロジェクトが格納される場所です 1 つの Oracle Data Integrator インストールで複数の作業用リポジトリが共存できます 複数の環境を管理する場合や 開発 ユーザー受入れテスト 本番環境など特定のバージョニング ライフサイクルを反映する場合に便利です 作業用リポジトリには 次の情報が格納されます データストア 列 データ整合性ルール 相互参照 データ系統を含むモデル インタフェース パッケージ プロシージャ フォルダ ナレッジ モジュール 変数を含むプロジェクト シナリオ スケジューリング情報 ログを含む実行時情報 Oracle Data Integrator の技術的概要 17

18 ビジネス ユーザー 開発者 オペレータ 管理者は Web ブラウザを使用して Metadata Navigator または Lightweight Designer にアクセスできます これらの Web インタフェースにより フロー マップの表示 すべてのデータのソースの追跡 フィールド レベルへのドリルダウンを行って データを構築するために使用された変換を調べることができます また これらの Web インタフェースにより シナリオの起動と監視 およびデータ マッピングを編集することもできます Metadata Navigator/Lightweight Designer ビジネス ユーザー 開発者 オペレータ 管理者は Web ブラウザを使用して Metadata Navigator または Lightweight Designer にアクセスできます これらの Web インタフェースにより フロー マップの表示 すべてのデータのソースの追跡 フィールド レベルへのドリルダウンを行って データの構築に使用された変換を調べることができます また これらの Web インタフェースにより シナリオの起動と監視 およびデータ マッピングを編集することもできます シナリオ Oracle Data Integrator は すべての統合タスクに使用できます 次の例では プラットフォーム機能を使用できる典型的な状況を示します データ ウェアハウス / ビジネス インテリジェンス シナリオ : データ ウェアハウスの E-LT この一般的シナリオでは Oracle Data Integrator はバッチ モードで使用され 増分的更新戦略または緩やかに変化するディメンジョン戦略 (SCD タイプ 2 または 3) を使用して 混成ソースからデータ ウェアハウスをロードします E-LT アーキテクチャが提供する高パフォーマンスにより 短いバッチ時間が実現しデータ ウェアハウス サーバーの能力が活用されます データ整合性および一貫性は データ整合性ファイアウォールを通じて保証されます チェンジ データ キャプチャ機能は 運用データで発生する変更により ほぼリアルタイムでデータ ウェアハウスを更新します また Oracle Data Integrator は データ ウェアハウスからデータを集計してエクスポートすることで オンライン分析処理 (OLAP) キューブおよび分析アプリケーションをロードします 統合プロセスをサポートする包括的メタデータにより ユーザーはデータ系統の全工程を追跡できます Oracle Data Integrator の技術的概要 18

19 サービス指向型の統合 シナリオ: SOA 主導 サービス指向型開発アーキテクチャでは Oracle Data Integrator は データにアク セスするために自動的に生成されるサービスとそれが処理する変換と統合のプロ セスを提供します このインフラストラクチャで可能なサービスは 変換プロセ スでも使用できます マスター データ管理 シナリオ: マスター データ管理 簡単に使用できる Common Format Designer グラフィカル機能により ユーザーは 混成ソースをアセンブルすることでマスター データ標準フォーマットを定義で きます Oracle Data Integrator は スクリプトを生成してマスター データ ハブ だけでなく データ フローも作成して このマスター データをオペレーティ ング システム間で調整および公開します Oracle Data Integrator の技術的概要 19 Oracle Corporation 発行 Oracle Data Integrator Technical Overview の翻訳版です

20 Oracle Data Integrator では 既存のマスター データ管理主導の方式も使用できます 運用ソース システムは Oracle Customer Data Hub や Oracle Product Information Management などのマスター データ管理アプリケーションと同期化ができます Oracle Data Integrator では 既存のマスター データ管理主導の方式も使用できます 運用ソース システムは Oracle Customer Data Hub や Oracle Product Information Management などのマスター データ管理アプリケーションと同期化ができます チェンジ データ キャプチャ フレームワークにより Oracle Data Integrator は ソースからマスター データ管理アプリケーションへ またマスター データ管理アプリケーションからサブスクライブしている運用アプリケーションへ リアルタイムでデータを変換して同期化します データ整合性ファイアウォールにより マスター データの品質と整合性が保証されます 最後に リポジトリにある包括的で拡張可能なメタデータにより マスター データ管理主導方式のための強固な基盤が提供されます 結論 Oracle Data Integrator は データ指向 イベント駆動型 サービス指向の統合ニーズを満し バッチ リアルタイム 同期遅延の要件に完全に適合します 効率的なデータ統合の前提条件を満す主要機能として 混成環境でも非常に高いパフォーマンスを発揮する混成 ETL 変換設計時に最適な生産性を提供する宣言的設計 すべてのシステムにモジュール方式の機能やホットプラグ可能な機能を提供するナレッジ モジュールなどがあります Oracle Data Integrator の技術的概要 20

21 Oracle Data Integrator の技術的概要 2006 年 12 月著者 : FX Nicolas 寄稿者 : Oracle Corporation World Headquarters 500 Oracle Parkway Redwood Shores, CA U.S.A. 海外からのお問合せ窓口 : 電話 : ファックス : Copyright 2007, Oracle. 無断転載を禁ず この文書はあくまで参考資料であり 掲載されている情報は予告なしに変更されることがあります オラクル社は 本ドキュメントの無謬性を保証しません また 本ドキュメントは 法律で明示的または暗黙的に記載されているかどうかに関係なく 商品性または特定の目的に対する適合性に関する暗黙の保証や条件を含む一切の保証または条件に制約されません オラクル社は 本書の内容に関していかなる保証もいたしません また 本書により 契約上の直接的および間接的義務も発生しません 本書は 事前の書面による承諾を得ることなく 電子的または物理的に いかなる形式や方法によっても再生または伝送することはできません Oracle JD Edwards PeopleSoft および Siebel は Oracle Corporation および関連会社の登録商標です 他の製品名は それぞれの所有者の商標です