How to Use the PowerPoint Template

Size: px

Start display at page:

Download "How to Use the PowerPoint Template"

あまめかむら
9 years ago
Views:

2 Oracle GoldenGate アーキテクチャと基本機能 v 年 9 月日本オラクル株式会社クラウド & テクノロジー事業統括

3 免責事項以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle は米国オラクルコーポレーション及びその子会社関連会社の米国及びその他の国における登録商標または商標です他社名又は製品名はそれぞれ各社の商標である場合があります 3

4 はじめに本資料は Oracle GoldenGate for Oracle Database のアーキテクチャ概要と 12c 新機能について紹介しています本資料は GoldenGate の提案導入に関わる技術者が GoldenGate の動作や仕組みを理解する参考資料として使用されることを想定して作成されています製品機能の網羅的な説明や使用手順は別途製品マニュアル等をご参照ください本資料は GoldenGate 11.2 と GoldenGate 12.1 を前提に説明します GoldenGate 12.1 は Oracle 11g, Oracle 12.1 に対応 GoldenGate 複数バージョン間のレプリケーションが構成可能です例 : ソース Oracle 10.2/OGG 11.2, ターゲット :Oracle 12.1/OGG

5 Agenda Oracle GoldenGate アーキテクチャ DDL/SEQUENCE レプリケーション Oracle Real Application Clusters(RAC) 環境 / マルチテナントコンテナデータベース (CDB) 環境双方向同期 Appendix 5

6 Agenda Oracle GoldenGate アーキテクチャ DDL/SEQUENCE レプリケーション Oracle Real Application Clusters(RAC) 環境 / マルチテナントコンテナデータベース (CDB) 環境双方向同期 Appendix 6

7 Oracle GoldenGate 基本のアーキテクチャソース DB の変更をターゲット DB へレプリケーションする全体像 Source Target GoldenGate Manager GoldenGate Manager Capture Data Pump Collector Replicat REDO log Checkpoint Trail file Checkpoint Trail file Checkpoint REDO log 変更データの流れその他 GG 関連の通信や更新 7

8 Oracle GoldenGate 基本のアーキテクチャソース DB の変更をターゲット DB へレプリケーションする全体像 Source Target GoldenGate GoldenGate 全体を管理するプロセス GoldenGate 変更情報を抽出するプロセス Manager 変更情報を転送するプロセス変更情報を受信するプロセス Manager 変更情報を適用するプロセス Capture Data Pump Collector Replicat REDO log Checkpoint 処理地点を記録するファイル Trail file Checkpoint 変更情報を格納するファイル Trail file Checkpoint REDO log 変更データの流れその他 GG 関連の通信や更新 8

9 Manager プロセス Source REDO log GoldenGate Manager Error log Capture Data Pump Checkpoint Checkpoint Trail file GoldenGate 全体の管理プロセス各プロセスの管理起動 / 監視 ( 自動再起動 ) ポート番号の管理 Trail ファイルの管理処理済の Trail ファイルを自動削除イベントやエラーなどのレポートの作成ユーザーが発行したコマンドの実行 9

10 Capture プロセス DB 変更情報を取得し Trail ファイルへ更新データを出力するプロセス取得元は構成やモードにより異なるトランザクションログソース DB サードパーティの取得モジュールなど Capture プロセスのモード Classic Capture Oracle GoldenGate がサポートする全データベースで利用可能トランザクションログから変更履歴を抽出 Integrated Capture (11.2-) Oracle Database のみで利用可能 DB の機能 (Database LogMining Server) を使って変更履歴を抽出 RAC / DG / RMAN / ASM / TDE,TSE 等の Oracle Database 機能との親和性圧縮 / XA 対応 10

11 Capture プロセス Classic Capture Source ソースデータベース 1. トランザクションログから変更履歴を抽出 2. 更新データを独自の形式に変換 Trail ファイルに書き出す Manager Classic Capture 読み込みフォーマッティングフィルタリング変換マッピングシリアライズ Data Pump REDO log Report File 変更データの流れ 3. チェックポイントの更新 Parameter File Discard File その他 GG 関連の通信や更新 Trail File Checkpoint for Oracle の動作になります 11

12 Capture プロセス Integrated Capture (11.2- ) Source ソースデータベース 1. DB の機能を使って変更履歴を抽出 2. 更新データを独自の形式に変換 Trail ファイルに書き出す Manager Integrated Capture Database LogMining Server LCR 読み込みフォーマッティングフィルタリング変換マッピングシリアライズ Data Pump Trail File REDO log Report File 変更データの流れ Parameter File 3. チェックポイントの更新 Discard File その他 GG 関連の通信や更新 Checkpoint for Oracle の動作になります 12

Capture プロセスの動作抽出と書き込みのタイミング Begin, TX 1 Insert, TX 1 Begin, TX 2 Update, TX 1 Insert, TX 2 Begin, TX 2 Insert, TX 2 Commit, TX 2 抽出 REDO ログの終端 (EOF) まで読み込む Capture プロセスは読み込んだトランザクション情報をメモリ上に格納

13 Capture プロセスの動作抽出と書き込みのタイミング Begin, TX 1 Insert, TX 1 Begin, TX 2 Update, TX 1 Insert, TX 2 Begin, TX 2 Insert, TX 2 Commit, TX 2 抽出 REDO ログの終端 (EOF) まで読み込む Capture プロセスは読み込んだトランザクション情報をメモリ上に格納定期的に変更情報確認パラメータ EOFDELAY or EOFDELAYCSECS で変更可 ( デフォルト 1 秒最少 10 ミリ ) Commit, TX 2 Begin, TX 3 Insert, TX 3 Begin, TX 3 Insert, TX 3 Commit, TX 3 書き込み Commit が入るタイミングで Trail ファイルに書き込む Begin, TX 4 Commit, TX 3 Delete, TX 4 Checkpoint Trail file Cache Memory Begin, TX 1 Insert, TX 1 Update, TX 1 REDO log Capture Begin, TX 4 Delete, TX 4 13

データ連携イメージトランザクション順序を保証 Begin, TX 1 Select, TX 1 Insert, TX 1 Begin, TX 1 Insert, TX 1 Begin, TX 2 COMMIT された更新処理を抽出データ更新を反映ソース DB のトランザクション順序を保証 Update, TX 1 Begin, TX 2 Insert, TX 2 Commit, TX 2

14 データ連携イメージトランザクション順序を保証 Begin, TX 1 Select, TX 1 Insert, TX 1 Begin, TX 1 Insert, TX 1 Begin, TX 2 COMMIT された更新処理を抽出データ更新を反映ソース DB のトランザクション順序を保証 Update, TX 1 Begin, TX 2 Insert, TX 2 Commit, TX 2 Begin, TX 3 Insert, TX 3 Update, TX 1 Insert, TX 2 Commit, TX 2 Begin, TX 3 Insert, TX 3 Begin, TX 4 Commit, TX 3 Begin, TX 2 Insert, TX 2 Commit, TX 2 Begin, TX 3 Insert, TX 3 Commit, TX 3 Begin, TX 2 Insert, TX 2 Commit, TX 2 Begin, TX 3 Insert, TX 3 Commit, TX 3 Commit, TX 3 Delete, TX 4 Capture DataPump Collector Replicat Begin, TX 4 Delete, TX 4 REDO log Checkpoint Trail file Checkpoint Trail file Checkpoint 14

15 チェックポイント各プロセスがどこまで処理したかを記録 Begin, TX 1 Insert, TX 1 Capture Checkpoint 1. 最も古いオープントランザクション ( 未コミット ) の開始時点 2. 現在のログの読取り位置 3. 現在の Trail ファイルの書込み位置 Data Pump Checkpoint 1. 現在の Trail ファイルの読み取り位置 2. 現在の Trail ファイルの書込み位置 Replicat Checkpoint 1. 現在の Trail ファイルの読み取り位置 2. ターゲット DB への更新状況 Begin, TX 2 Begin, TX 2 Update, TX 1 Insert, TX 2 Insert, TX 2 Commit, TX 2 Begin, TX 2 Commit, TX 2 Begin, TX 3 Checkpoint Insert, TX 2 Checkpoint Begin, TX 3 Insert, TX 3 Commit, TX 2 Insert, TX 3 Commit, TX 3 Begin, TX 4 Commit, TX 3 Delete, TX 4 Checkpoint Trail file Trail file REDO log Capture Data Pump Collector Replicat 15

Bounded Recovery 一定の期間を過ぎたトランザクション情報をファイルに書き出す機能 REDO log Begin, TX 1 Insert, TX 1 Begin, TX 2 Update, TX 1 Insert, TX 2 Commit, TX 2 Begin, TX 3 Insert, TX 3 Begin, TX 4 Commit, TX 3 Delete, TX 4

16 Bounded Recovery 一定の期間を過ぎたトランザクション情報をファイルに書き出す機能 REDO log Begin, TX 1 Insert, TX 1 Begin, TX 2 Update, TX 1 Insert, TX 2 Commit, TX 2 Begin, TX 3 Insert, TX 3 Begin, TX 4 Commit, TX 3 Delete, TX 4 最も古いオープントランザクションの開始時点リカバリチェックポイント読み込みチェックポイント Checkpoint Capture 書き込みチェックポイント Begin, TX 2 Insert, TX 2 Commit, TX 2 Begin, TX 3 Insert, TX 3 Commit, TX 3 Trail file Capture プロセスがオープントランザクションを処理中に停止した場合再起動時にチェックポイントの情報に基づき元の状態にリカバリを実施長時間オープンされている古いオープントランザクションの情報を Bounded Recovery ファイルに保持しリカバリ時に使用 BR Checkpoint Cache Memory Begin, TX 1 Insert, TX 1 Update, TX 1 Begin, TX 4 Delete, TX 4 Begin, TX 1 Insert, TX 1 Update, TX 1 16

17 Trail ファイル変更情報を独自の形式で格納する中間ファイル含まれる情報変更データやトランザクションなどの変更情報プラットフォーム DBの種類バージョンなどの環境情報 Logdump ユーティリティにて中身の確認が可能 Replicat は Trail ファイル内の情報をもとに SQL を生成して適用管理サイズの上限 ( デフォルト100MB) に達すると次のファイルを生成設定値に基づき Manager が自動的にパージを行うことが可能 17

18 Data Pump / Collector プロセス Data Pump プロセス Trail ファイルから DB 変更情報を取得しターゲットサーバーへ変更データを送信圧縮暗号化も可 Collector プロセス Data Pump から送信されてきたデータを受信し Trail ファイルに書き込む Manager プロセスが自動的に起動するためユーザーが操作する必要はない 18

Data Pump / Collector プロセス Source GoldenGate 起動時 Data Pump がターゲット側の Manager に接続要求 Manager が Collector 起動しポート番号を Data Pump に通知 Target GoldenGate Manager Manager

19 Data Pump / Collector プロセス Source GoldenGate 起動時 Data Pump がターゲット側の Manager に接続要求 Manager が Collector 起動しポート番号を Data Pump に通知 Target GoldenGate Manager Manager Capture Data Pump Collector Replicat 1. Trail ファイルから変更データを抽出 2. 接続済の Collector に変更データを送信 3. 受信した更新データを Trail ファイルに書き出す Trail file Checkpoint 4. チェックポイントの更新 Trail file 19

20 Data Pump / Collector プロセス読み込み転送タイミング Trail ファイルからの読み込みタイミング変更情報の更新を検知すると読み込みを始め終端 (EOF) に到達するまで読み続ける定期的に変更情報更新の確認を実施デフォルト 1 秒最少 10 ミリ秒パラメータ (EOFDELAY or EOFDELAYCSECS) で変更可 Data Pump プロセスから Collector プロセスへの転送タイミングパラメータ (FLUSHSECS or FLUSHCSECS) で指定した間隔デフォルト 1 秒最少 10 ミリ秒 20

21 Data Pump / Collector プロセス Data Pump プロセスから Collector プロセスへの転送方式転送方式 NOPASSHRU モード ( デフォルト ) ソース DB から設定メタデータなどの情報を取得データマッピングの変更フィルタの適用データ変換等が可能 PASSTHRU モードソース DB に接続せずに Trail ファイルから直接取得より高速に転送することが可能 21

22 12c 新機能 Replicat プロセス Trail ファイルの変更データの情報を読み込みターゲット DB に適用するプロセス変更データから適用内容を生成するためソース側で実行された SQL と同一ではない Replicat プロセスのモード Non-integrated Replicat Oracle GoldenGate がサポートする全データベースで利用可能 SQL を使用してターゲットに適用シリアル処理 ( プロセス多重化は可能 ) Coordinated Replicat (12.1-) Oracle GoldenGate がサポートする全データベースで利用可能 SQL を使用してターゲットに適用マルチスレッドでパラレル処理が可能 Integrated Replicat (12.1-) Oracle Database ( / ) のみで利用可能 DB の機能を使ってターゲットにパラレルで適用 22

23 Replicat プロセス Non-Integrated Replicat /Coordinated Replicat GoldenGate 1. Trail ファイルから変更データを読み込む 2. パラメータファイルに記載したルールや Defgen ファイルや DB 情報に基づきデータのフィルタリングマッピング変換を実行 Non-Integrated Replicat Target ターゲットデータベース 3. 適用データを独自の SQL に変換適用 Collector 読み込みフォーマッティングフィルタリング変換マッピング SQL 生成 Trail File Report File 変更データの流れ Parameter File Checkpoint Defgen File Discard File 4. チェックポイントの更新その他 GG 関連の通信や更新 for Oracle の動作になります 23

24 Replicat プロセス Integrated Replicat GoldenGate Collector 1. Trail ファイルから変更データを読み込む読み込みフォーマッティング 2. パラメータファイルに記載したルールや Defgen ファイルや DB 情報に基づきデータのフィルタリングマッピング変換を実行 Integrated Replicat フィルタリング変換マッピング 3. 論理変更レコード (LCR) を生成 LCR 生成 4. 適用サーバーが変更データを適用 LCR 12c 新機能 Target ターゲットデータベース Database LogMining Server Trail File Report File 変更データの流れ Parameter File Checkpoint Defgen File Discard File その他 GG 関連の通信や更新 5. チェックポイントの更新 for Oracle の動作になります 24

25 12c 新機能文字コードの明示的なマッピングやオーバーライド Character Mapping Override より文字コードのマッピングを明示的に指定することが可能意図した文字マッピングに設定自動で文字マッピングができない文字に対応設定 Replicat に CHARMAP パラメータを使用文字マッピングファイルにマッピングを記載 Replicat がマッピングできない文字を明示的にマッピング指定複数マッピングパターンがある文字を同じコードにマッピングされるように指定 EUC UTF8 ADEB E388B2 ~ A1C1 E3809C ~ 8FA2B7 EFBD9E charset ISO sourcecharset al32utf8 targetcharset eucjis xe3 x88 xb2 xad xeb xef xbd x9e xa1 xc1 xe3 x80 x9c xa1 xc1 25

26 Replicat プロセス読み込み適用タイミング Trail ファイルからの読み込みタイミング変更情報の更新を検知すると読み込みを始め終端 (EOF) に到達するまで読み続ける定期的に変更情報更新の確認を実施デフォルト 1 秒最少 10 ミリ秒パラメータ (EOFDELAY or EOFDELAYCSECS) で変更可ターゲット DB への適用タイミング Trail ファイルの情報を読み込み変更情報を SQL に変換して適用通常 1 件ずつ適用トランザクション単位 SQL とソースで実行された内容と同一ではないパラメータ (BATCHSQL / GROUPTRANSOPS / MAXTRANSOPS) でターゲットトランザクション単位を制御 26

27 12c 新機能 Replicat プロセス各モードの違い Capture モードデータベースパラレル処理 Replicat モード Classic Capture Integrated Capture Vendar/ Version CDB プロセス数詳細 Non-integrated Replicat GoldenGate が対応する全 DB 複数複数プロセスによるパラレル化同一オブジェクトに対してはレンジファンクションにて対応可能プロセス間でのトランザクション一貫性は調整されない Coordinated Replicat GoldenGate が対応する全 DB 単一可パラメータでどのスレッドがどのオブジェクトを処理するかを指定してパラレル化トランザクション一貫性担保 Integrated Replicat Oracle Database 単一可ワークロードに応じて自動的にパラレル化トランザクション一貫性担保 27

28 Replicat プロセス各モードの並列処理について Non-integrated Replicat Non-integrated Replicat Non-integrated Replicat ターゲットデータベース 12c 新機能ターゲットオブジェクト Trail File Coordinated Replicat コーディネータスレッドスレッドスレッドスレッド Integrated Replicat LCR Database LogMining Server(Inbound) Receiver Reader Coordinator Oracle Database 専用 Applier Applier Applier 28

29 処理グループプロセスとその関連ファイルの組み合わせ Extract / Replicat プロセスパラメータファイルチェックポイントファイル Trail ファイル等のファイル類グループに割り当てられた名前を共有全てのプロセスはグループ内のファイルとリンクしている必要があるファイルが消失破損している場合には起動不可 29

30 Agenda Oracle GoldenGate アーキテクチャ DDL/SEQUENCE レプリケーション Oracle Real Application Clusters(RAC) 環境 / マルチテナントコンテナデータベース (CDB) 環境双方向同期 Appendix 30

31 12c 新機能 DDL レプリケーション DDL オペレーションのレプリケーションをサポート DML とは独立して動作 GoldenGate 側で追加設定が必要ソースDBにDDLキャプチャ用の設定が必要 Extract / Replicat のパラメータに DDL 伝播用のパラメータを追記 Trigger-Based DDL Capture 全データベースで利用可能トリガーを利用して DDL を抽出事前に専用オブジェクトのインストールが必要 Native DDL Capture (12.1- ) Oracle Database / Integrated Capture Mode でのみ使用可能 CDB の場合は Native DDL Capture が必須 Database LogMining Server 経由で変更を検知専用オブジェクトのインストールは不要 31

32 12c 新機能 DDL レプリケーション DDL オペレーションのレプリケーションをサポート Trigger-Based DDL Capture Native DDL Capture (12.1- ) DDL 対象テーブル 1.DDL 発行時に DDL トリガーが発動し管理テーブルを更新 DDL Trigger DDL 管理テーブル 2. 管理テーブルの更新が REDO に出力 Trigger-Based DDL Capture DDL 対象テーブル 1.Database LogMining Server が DDL 実行による変更を検知 Database LogMining Server LCR Native DDL Capture 3. REDO ログから情報を抽出し Trail ファイルに書き込む処理中 DDL 管理テーブルへのアクセスも実施 REDO log Trail file 2. Database LogMining Server から変更履歴を抽出し Trail ファイルに書き込む REDO log Trail file 32

33 DDL Capture 手法の選択 12c 新機能ソースデータベースの種類やバージョンによって利用可能 Capture の方式や DDL Capture の方式が異なりますソースデータベースの種類とバージョン Oracle データベース以前 (Non-CDB) 12.1 (CDB) 他社 DB Capture のモード Integrated Mode Classic Mode Trigger- Based Trigger- Based Native Native Native 利用不可 Trigger- Based Trigger- Based 利用不可 Trigger- Based 33

34 Sequence レプリケーション Sequence の変更情報を取得し伝播ターゲット側の Sequence 値がソース側より高いことを保証 ( 連番完全一致は保証しない ) 表に格納されたデータは表のレプリケーションで伝搬される双方向連携は不可 ( 奇数 / 偶数等の振り分けで対応 ) ターゲット側で Sequence を使用しない場合には設定不要 insert into test values (testseq.nextval, B'); ID(PK 列 ) NAME insert into test values (2, B'); ID(PK 列 ) NAME 1 A 2 B Capture DataPump Replicat 1 A 2 B SEQ 管理テーブル REDO log Trail file Trail file testseq.nextval > 2 SEQUENCE 34

35 Agenda Oracle GoldenGate アーキテクチャ DDL/SEQUENCE レプリケーション Oracle Real Application Clusters(RAC) 環境 / マルチテナントコンテナデータベース (CDB) 環境双方向同期 Appendix 35

36 Oracle Real Application Clusters(RAC) 環境 Oracle Real Application Clusters Oracle Grid Infrastructure GoldenGate GoldenGate GoldenGate プロセスが起動するのは基本的に 1 ノードのみ単一の Extract (Capture) が全 REDO スレッドを読み込み Trail ファイルに書き込む Capture DataPump 障害時のフェイルオーバー設計 GoldenGate のバイナリは全 RAC ノードで起動できるように設計共有ファイルシステムの導入 REDO log Thread #1 REDO log Thread #2 Trail file Checkpoint Checkpoint 障害発生時のアクションスクリプトの作成 36

37 12c 新機能マルチテナントコンテナデータベース (CDB) 環境 Oracle Database 12c 新機能マルチテナントコンテナデータベース (CDB) CDB は単一のデータベース (SGA バックグラウンドプロセス REDO ログなど ) を複数の論理データベース (PDB) で共有する仕組み PDB 単位の管理等が容易マルチテナントコンテナデータベース (CDB) CDB 全体の内部的な管理データテンプレートシード (PDB$SEED) ルート (CDB$ROOT) ユーザデータプラガブルデータベース (PDB) OGG12c では CDB のキャプチャ / 適用が可能 CDB からのキャプチャ (Integrated Capture のみ ) 1 つの Extract から複数の PDB の情報取得 Native DDL Capture のサポート CDB$ROOT に対して接続 CDB への適用 1 つの Replicat からは 1 つの PDB のみ適用 Three Part Name による指定が可能 PDB.SCHEMA.TABLE 37

38 12c 新機能コンテナデータベースへの対応 Oracle Container Database PDB1 Capture は複数の PDB からキャプチャ可能 OGG12c Extract Replicat は単一の PDB へのみ適用可能 OGG12c Replicat Replicat Oracle Container Database PDB1 PDB2 PDB3 Capture Replicat PDB2 ルート cdb$root ローカル Trail Integrated Capture のみリモート Trail Replicat PDB3 38

39 Agenda Oracle GoldenGate アーキテクチャ DDL/SEQUENCE レプリケーション Oracle Real Application Clusters(RAC) 環境 / マルチテナントコンテナデータベース (CDB) 環境双方向同期 Appendix 39

40 Active-Active の連携パターン更新参照更新更新 ( 競合なし ) 更新更新 ( 競合あり ) Read/Write Application Read Only Application Read/Write Application Read/Write Application Read/Write Application Read/Write Application GoldenGate GoldenGate GoldenGate 要件システム A の更新がシステム B に反映されるまでのタイムラグ要件システム A/B の更新がシステム B/A に反映されるまでのタイムラグ要件システム A/B の更新がシステム B/A に反映されるまでのタイムラグ競合検知と解決 40

双方向同期で発生する競合例 Case1: 新規データ挿入時に重複データが既に存在する場合 1 INSERT 8274 SCOTT 01/06 15:00 ENAME LCHANGE_TS 7369 SMITH 01/05 14:00 GoldenGate 7369 SMITH 01/05 14:00 2 INSERT 8274 PAUL 01/06 15:01 Time axis 7369

41 双方向同期で発生する競合例 Case1: 新規データ挿入時に重複データが既に存在する場合 1 INSERT 8274 SCOTT 01/06 15:00 ENAME LCHANGE_TS 7369 SMITH 01/05 14:00 GoldenGate 7369 SMITH 01/05 14:00 2 INSERT 8274 PAUL 01/06 15:01 Time axis 7369 SMITH 01/05 14: SCOTT 01/06 15:00 一意制約違反でエラー 7369 SMITH 01/05 14: SCOTT 01/06 15: SCOTT 01/06 15: PAUL 01/06 15: SMITH 01/05 14: PAUL 01/06 15:01 一意制約違反でエラー 7369 SMITH 01/05 14: PAUL 01/06 15:01 競合する変更は適用されない Replicat は ABEND 競合する変更は適用されない 41

双方向同期で発生する競合例 Case2: データ削除時に対象の行が削除済 1 DELETE 8274 SCOTT 01/06 15:00 7369 SMITH 01/05 14:00 8274 SCOTT 01/06 15:00 GoldenGate 7369 SMITH 01/05 14:00 8274 SCOTT 01/06 15:00 2 DELETE 8274 SCOTT 01/06

42 双方向同期で発生する競合例 Case2: データ削除時に対象の行が削除済 1 DELETE 8274 SCOTT 01/06 15: SMITH 01/05 14: SCOTT 01/06 15:00 GoldenGate 7369 SMITH 01/05 14: SCOTT 01/06 15:00 2 DELETE 8274 SCOTT 01/06 15: SMITH 01/05 14: SMITH 01/05 14: SCOTT 01/06 15:00 3 対象データがなくエラー Time axis 対象データがなくエラー SCOTT 01/06 15: SMITH 01/05 14: SMITH 01/05 14:00 競合する変更は適用されない Replicat は ABEND 競合する変更は適用されない 42

43 双方向同期で発生する競合例 Case3: データ更新時に対象の行が別の値で変更済 7369 SMITH 01/05 14: SCOTT 01/06 15:00 GoldenGate 7369 SMITH 01/05 14: SCOTT 01/06 15:00 1 UPDATE 2 UPDATE 7369 JACK 01/06 18: JOHN 01/06 18: JACK 01/06 18: SCOTT 01/06 15: JOHN 01/06 18: SCOTT 01/06 15:00 Time axis 意図しないデータに更新 JACK 01/06 18: JOHN 01/06 18:35 意図しないデータに更新 7369 JOHN 01/06 18: SCOTT 01/06 15: JACK 01/06 18: SCOTT 01/06 15:00 競合する変更も適用される Replicat は正常稼働競合する変更も適用される 43

44 Conflict Detection and Resolution(CDR) ルールに基づく競合の検出解決が可能 Trail file Before Image ( 変更前イメージ ) 7369 SMITH 14:00 After Image ( 変更後イメージ ) 7369 JACK 18:30 Parameter File Replicat ケース毎の対応方法の設定 INSERT/DELETE/UPDATE の計 5 つのシナリオ処理対象の細分化列単位での処理の制御柔軟な条件分岐比較競合検知競合解決処理データの内容に応じた対応方法の制御ターゲット DB のデータ 7369 JOHN 18:35 44

双方向同期で発生する競合に対する解決例 (1/2) Case3: データ更新時に対象の行が別の値で変更済 Time axis 7369 SMITH 01/05 14:00 8274 SCOTT 01/06 15:00 UPDATE 7369 JACK 01/06 18:30 8274 SCOTT 01/06 15:00 Capture 設定 Replicat による更新はキャプチャ対象から除外

45 双方向同期で発生する競合に対する解決例 (1/2) Case3: データ更新時に対象の行が別の値で変更済 Time axis 7369 SMITH 01/05 14: SCOTT 01/06 15:00 UPDATE 7369 JACK 01/06 18: SCOTT 01/06 15:00 Capture 設定 Replicat による更新はキャプチャ対象から除外 Before Imageを取得 Extract (Capture) Trail file ReplicatのCDR 設定 UPDATEの処理を競合チェック対象がBefore Imageと異なる場合 CHANGE_TS のデータに基づき最新のデータを優先して上書き Extract (Data Pump) Collector Replicat Before Image 7369 SMITH 14:00 After Image 7369 JACK 18:30 Parameter File Trail file 7369 SMITH 01/05 14: SCOTT 01/06 15:00 UPDATE 7369 JOHN 01/06 18: SCOTT 01/06 15: JOHN 01/06 18: SCOTT 01/06 15:00 競合解決 (Replicat) 1. ソースのBefore Imageとターゲットの対象データが異なることを検知 2.CHANGE_TS のデータがソースの方が新しいと判断し適用しない 45

46 双方向同期で発生する競合に対する解決例 (2/2) Case3: データ更新時に対象の行が別の値で変更済 7369 SMITH 01/05 14: SCOTT 01/06 15:00 GoldenGate 7369 SMITH 01/05 14: SCOTT 01/06 15:00 1 UPDATE 2 UPDATE 7369 JACK 01/06 18: JOHN 01/06 18: JACK 01/06 18: SCOTT 01/06 15: JOHN 01/06 18: SCOTT 01/06 15:00 Time axis 競合解決により適用 JACK 01/06 18: JOHN 01/06 18:35 競合解決により適用しない 7369 JOHN 01/06 18: SCOTT 01/06 15: JOHN 01/06 18: SCOTT 01/06 15:00 ルールに基づく意図したデータ Replicat は正常稼働ルールに基づく意図したデータ 46

47 参考 : Replicat が解決する競合 Insert Update Delete 競合シナリオ INSERTROWEXISTS Insert の競合 ( 一意制約違反 ) UPDATEROWMISSING 対象が Before Image と異なる UPDATEROWEXISTS 対象がターゲットに存在しない DELETEROWMISSING 対象が Before Image と異なる DELETEROWEXISTS 対象がターゲットに存在しない競合解消方法 Overwrite Ignore Discard USEMIN,USEMAX Overwrite Ignore Discard Overwrite Ignore Discard USEMIN,USEMAX USEDELTA Ignore Discard Overwrite Ignore Discard 47

48 Agenda Oracle GoldenGate アーキテクチャ DDL/SEQUENCE レプリケーション Oracle Real Application Clusters(RAC) 環境 / マルチテナントコンテナデータベース (CDB) 環境双方向同期 Appendix 48

49 12c 新機能 GoldenGate 構成ステップ GoldenGate インストール 1 Manager プロセスの設定 2 データベースの設定変更 3 各プロセスの構成 4 5 初期ロード 6 データ連携開始 :zip ファイルの展開によるインストール :OUI によるインストールパラメータファイルの編集 ( 通信ポートの設定など ) サプリメンタルロギング GoldenGate 用のユーザーの作成 ENABLE_GOLDENGATE_REPLICATION 初期化パラメータ有効化 1 Capture /Data Pump/Replicat プロセスのパラメータファイルの編集コンポーネントの追加ターゲット側への既存データのコピー - DB 機能 or GoldenGate 機能で対応初期ロード以降の更新データの連携 1 Oracle Database / 以降で設定が必要 49

50 12c 新機能参考 ) 12c 新機能一覧より高性能により使いやすく A. Capture/Replicat の新機能 A-1 Integrated Replicat A-2 Coordinated Replicat A-3 Native DDL capture B. 新プラットフォーム対応 B-1 Oracle Database 12c 対応 CDB/PDB 対応データ型拡張対応 (Large Varchar) B-2 その他プラットフォーム対応 C. セキュリティ C-1 資格証明ストアによるユーザ情報管理 C-2 マスターキー & ウォレット方式による暗号化 D. 利用容易性 D-1 Automatic Discard D-2 SHOWSYNTAXの強化 D-3 Schema Wildcard D-4 Oracle Universal Installerの利用 D-5 グローバライゼーションサポートの強化 50

51 Agenda Oracle GoldenGate アーキテクチャ DDL/SEQUENCE レプリケーション Oracle Real Application Clusters(RAC) 環境 / マルチテナントコンテナデータベース (CDB) 環境双方向同期 Appendix 51

52 Document Control Author 日本オラクル株式会社南野英梨子 Reviewer 日本オラクル株式会社谷川信朗後藤陽介浅井純小西亮輔別府真由美植田智広正木能長舟橋直美変更履歴 Date Version 2015/4 1.0 Created. 2015/9 1.1 テンプレート変更 52

54 54

データ統合/連携の領域におけるリアリティ

データ統合/連携の領域におけるリアリティデータ連携のプロフェッショナル陣が語る! 現場で使える Oracle GoldenGate テクニカルセミナー Session 4 : テクニカルコンサルタントが語る Oracle GoldenGate 現場で使える極意 2016 年 12 月 06 日日本オラクル株式会社クラウドテクノロジーコンサルティング事業本部テクニカルアーキテクト部ソリューションプリンシパル浅井純以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものです