以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな

Size: px

Start display at page:

Download "以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな"

くにもとのじま
5 years ago
Views:

1 データベースを高速につなぐ最新技術 Oracle GoldenGate の仕組みと性能を徹底解説! 日本オラクル株式会社データ統合ソリューション担当後藤陽介

2 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 2

3 アジェンダ仕組みを理解する動く様子を確認する ( デモ ) 活用方法をイメージする 3

4 Oracle GoldenGate とはデータベース間のデータ連携技術 GoldenGate データベース A GoldenGate データベース B サーバーで動く ( 主にDBサーバー ) データベース間のデータ連携特徴高速軽量柔軟高い信頼性 DB 間をつなぐあらゆる用途で使えるレプリケーション統合 / 移行リモートコピー DWH 構築 4

5 GoldenGate のデータ連携よくいただくご質問表単位スキーマ単位で指定表名スキーマ名は異なってもよい表の列構成は異なってもよい連携する列行を絞ることができる DDL のレプリケーションが可能 5

(Extract) Collector Replicat oracle SQL で更新する Oracle instance REDO ログファイル Trail ファイル DML 1 DML 2 COMMIT

6 データ連携イメージ Oracle クライアント oracle oracle SELECT 1 SELECT 2 DML 1 SELECT 1 DML 2 SELECT 2 COMMIT DML 1 DML 2 COMMIT DML 1 DML 2 COMMIT DML 1 DML 2 COMMIT データ更新を反映ソース DB のトランザクション順序を保証 Oracle instance Manager Data Pump (Extract) Collector Replicat oracle SQL で更新する Oracle instance REDO ログファイル Trail ファイル DML 1 DML 2 COMMIT COMMIT された更新を抽出 Trail ファイル Manager Capture (Extract) DML 1 DML 2 COMMIT COMMIT された更新を抽出ソースデータベースシステムターゲットデータベースシステム 6

Record (2) Record (n) Last Record タイムスタンプ

Number (SCN)) タイムスタンプ Number (SCN)) レコード

データ + カラム ID + カラム値 GoldenGate の中間ファイル DB

(logdump) で解析可能 Trail ファイルが持たない情報 index の更新

7 Trail ファイルとは互換性レベル文字コード作成日時ファイル番号ファイルサイズ Trail Header First Record Record (1) Record (2) Record (n) Last Record タイムスタンプコミットシーケンス番号 (Oracle の場合 System Change Number (SCN)) タイムスタンプコミットシーケンス番号 (Oracle の場合 System Change Number (SCN)) レコードヘッダ + テーブル名 + I/O の種類 + 変更前後のフラグ + データの長さデータ + カラム ID + カラム値 GoldenGate の中間ファイル DB 変更情報を独自形式で格納 Manager が定義情報に基づいて作成 DUMP ツール (logdump) で解析可能 Trail ファイルが持たない情報 index の更新 rowid など REDO ログより小さいサイズになります 7

8 なぜ高速軽量か? Oracle GoldenGate の仕組み Oracle Instance Oracle Instance Manager Manager REDO ログファイル Capture Trail ファイル Data Pump Collector Trail ファイル Replicat Captureは常に最新のREDOを監視し必要な更新をTrailファイルに出力 Data Pumpは常に最新のTrailを監視しターゲットホストに転送 Replicatは常に最新のTrailを監視しターゲットDBにSQL 適用いずれもデフォルト 1 秒 / 最短 10ms 間隔の処理 (EOFDELAY / FLUSHCSECS パラメータ ) 常に最新データを抽出転送する仕組みで低レイテンシを維持結果として処理単位が小さくなり低負荷を維持 8

9 GoldenGate ソース DB への負荷 Oracle GRID Center 検証結果ソース DB 性能 / 負荷 GoldenGate 停止時 GoldenGate 起動時備考スループット係数値レスポンスタイム 7.45 ms 7.57 ms CPU 使用率 24.45% 25.38% 0.1 コア程度ストレージ IOPS 係数値ターゲットとのタイムラグ N/A 最大 5 秒 ( デフォルト ) 最大 2 秒 ( チューニング後 ) REDO 生成量 2.83MB/sec の OLTP アプリケーション (JPetStore) によるテスト検証環境 INSERT がメイン Server: PRIMERGY BX920 S1 CPU: Intel(R) Xeon(R) CPU 2.93GHz (4core) x 2 Mem: 36GB Port: Red Hat Enterprise Linux Server release 5.5 (Tikanga) x86-64 Storage: ETERNUS4000 m500 (w/ 8Gb FC ) 性能値は環境や処理によって異なります 9

10 GoldenGate 大規模処理への対応 Oracle GRID Center での富士通様との共同検証 REDO 処理量 Capture Data Pump Replicat(1 多重 ) Replicat(8 多重 ) 60 MB/sec (211 GB/hr) 144 MB/sec (506 GB/hr) 7.4 MB/sec (26 GB/hr) 47 MB/sec (165 GB/hr) SQL 処理量 N/A N/A 8,000 records/sec 51,000 records/sec CPU 使用率 % 8.26 % ( ソース ) 3.46 % ( ターゲット ) 備考 Trail ファイルのサイズは REDO ログの約 1/ % % 多重度を上げることにより REDO ログへの Disk I/O 待ちが大きくなる傾向が見られた各プロセスごとに OLTP トランザクション (JPetStore) を蓄積した REDO ログ /Trail ファイルを一度に処理することで最大性能を確認検証環境 Server: PRIMERGY BX920 S1 CPU: Intel(R) Xeon(R) CPU 2.93GHz (4core) x 2 Mem: 36GB Port: Red Hat Enterprise Linux Server release 5.5 (Tikanga) x86-64 Storage: ETERNUS4000 m500 (w/ 8Gb FC ) 詳細 : 性能値は環境や処理によって異なります 10

( 参考 ) 検証アプリケーションカスタム Java アプリケーションを使用して以下の JPetStore のトランザクションを多重実行 1. Signon SELECT FROM account 2. Search Products SELECT FROM category SELECT FROM product 3.

11 ( 参考 ) 検証アプリケーションカスタム Java アプリケーションを使用して以下の JPetStore のトランザクションを多重実行 1. Signon SELECT FROM account 2. Search Products SELECT FROM category SELECT FROM product 3. Select One Product SELECT FROM item,product 4. Check Inventory SELECT FROM inventory 5. Order process INSERT INTO orders INSERT INTO orderstatus INSERT INTO lineitem UPDATE inventory COMMIT 11

12 ( 参考 ) スキーマ構成 -- 更新対象テーブル 12

13 柔軟な構成 OS / バージョン / RDBMS サポートされるOracle Databaseのバージョン /OSほぼ全てに対応例 :10g と 11g / 商用 UNIX と Linux のレプリケーション Oracle Database 以外のRDBMSにも対応要件に応じた様々な構成単方向双方向分散統合 13

14 GoldenGate の信頼性プロセス障害への対応障害時には Manager が GoldenGate プロセスの再起動を実施対象プロセス Extract (Capture / Data Pump) Replicat Managerは再起動されない設定可能な項目リトライの回数 ( デフォルト =2 回 ) 待ち時間 ( デフォルト = 2 分 ) リトライ回数がクリアされるまでの時間 ( デフォルト =20 分 ) Oracle instance REDO ログファイル Capture checkpoint Trail ファイル Manager Data Pump checkpoint Manager Collector Replicat checkpoint Trail ファイル oracle Oracle instance 14

15 GoldenGate の信頼性チェックポイント機構 Checkpoint には各プロセスがどこまで処理したかを記録 Capture ( ファイルに格納 ) 一番古いコミットされていないトランザクションの位置現在読んでいる更新の位置 Trail ファイルに記述済みの更新位置 Data Pump ( ファイルに格納 ) どこのトランザクションまで Trail ファイルから読んだかどこまでリモートの Trail ファイルに記述したか Replicat ( ファイル / データベースに格納 ) どこのトランザクションまで Trail ファイルから読んだかどこまでターゲット DB に反映したか障害復旧時には Checkpoint を参照して最後に処理した位置から処理を再開 15

16 GoldenGate の信頼性チェックポイント機構 Begin, TX 1 最も古いオープントランザクション ( 未コミット ) の開始時点 Insert, TX 1 Begin, TX 2 Update, TX 1 Insert, TX 2 Commit, TX 2 Begin, TX 3 Insert, TX 3 Begin, TX 4 Commit, TX 3 Delete, TX 4 Capture Checkpoint Begin, TX 2 Insert, TX 2 Commit, TX 2 Begin, TX 3 Insert, TX 3 Commit, TX 3 現在の Trail ファイルの書込み位置現在のログの読取り位置 Data Pump Checkpoint Begin, TX 2 Insert, TX 2 Commit, TX 2 現在のTrail ファイルの書込み位置現在のTrail ファイルの読取り位置 Collector Replicat Checkpoint 現在の Trail ファイルの読取り位置 DB への更新状況 Oracle instance REDO ログファイル Capture Trail ファイル Data Pump Trail ファイル Replicat Oracle instance 16

17 GoldenGate 環境の構築インストール Manager の構成ソース DB への設定 GoldenGate 各プロセスの構成初期ロード zip ファイルの展開のみ通信ポート番号の設定とパラメータファイルの編集サプリメンタルロギングの設定 GoldenGate ユーザーの作成要件に合わせて Capture / Data Pump / Replicat を構成 1. コンポーネントの追加 2. パラメータファイルの編集既存データの初期コピー Oracle 機能 (Data Pump, Exp/Imp, TTS, backup/restore) または GoldenGate の初期ロード機能で対応データ連携の開始初期ロード完了後構成済みの GoldenGate 各プロセスを起動製品ページ 17

18 データ連携のリアルタイム性データ連携技術におけるポジショニング GoldenGate は幅広い要件に高いレベルで対応 Active Data Guard GoldenGate DB の障害 / 災害対策用途の推奨機能リカバリによって DB 全体を高速に同期 ADG オプションにより待機リソースの有効活用が可能 Transportable Tablespace 同一エンディアン OS 間で使用可能表領域単位の物理的な連携リアルタイムなデータ連携が可能主要な DB オブジェクト / データ型に対応連携データの絞り込みや変換が可能 Materialized View リフレッシュによる差分更新複雑な変換を SQL で記述可能 Data Pump, Exp/Imp 表 / スキーマ /DB 全体での論理的なデータ連携 OS/Version の組み合わせは柔軟 Oracle Data Integrator DB をデータ変換エンジンとする E-LT アーキテクチャナレッジモジュールによる高い生産性外部ソースとの連携構成の柔軟性 18

19 アジェンダ仕組みを理解する動く様子を確認する ( デモ ) 活用方法をイメージする 19

20 デモをご覧ください 20

21 GUI での構築運用管理 Oracle GoldenGate Management Pack C/S ツールにより GUI 上でレプリケーションを構築し一元的に連携情報を管理する環境を提供ブラウザ越しにリアルタイムな GG プロセスの稼働状況を監視しアラート機能を提供 21

22 複製先と元のデータの比較参照 Oracle GoldenGate Veridata 特徴データ比較とレポーティングの機能を提供高いパフォーマンスおよび低負荷でのデータ比較付加価値データ比較作業の簡略化とスピードアップデータ比較照合に際しての時間短縮リソース人的ミスの削減データ移行後のデータの信頼性の確保データ連携中の各種障害や人的エラーなどにより発生する移行後のデータ不整合の検知 22

23 データ比較の仕組み Oracle GoldenGate Veridata Veridata Agent Web / コマンドラインから操作レプリケーション Veridata Agent ターゲット DB 比較データの抽出 Veridata Server データ比較の設定実行 / レポート参照 Veridata Web Server ソース DB Veridata repository DB 23

24 アジェンダ仕組みを理解する動く様子を確認する ( デモ ) 活用方法をイメージする 24

25 GoldenGate の活用データ切り出し / データ分散業務 A 業務 B 基幹 DB の負荷軽減切り出したデータを元にデータウェアハウスを構築切り出し先 DB では書き込み処理も実行可能 25

26 Oracle Database 11g Release 2 高性能な統合データベースのための様々な機能群 Real Application Clusters Automatic Storage Management Resource Manager Partitioning Parallel Executions Compression Database Smart Flash Cache Enterprise Manager Advisor Features 統合基盤への移行 / 統合 26

27 GoldenGate の活用データ統合 / データベース統合業務 A 業務 B 複数 OS/ バージョンの DB を単一の DB にスキーマ統合停止時間とリスクを最小限にした DB 移行が可能統合 DB 業務 A schema 業務 B schema 業務 C schema 業務 C 27

28 GoldenGate の活用リモートコピー / データ配信業務 A 業務 B 事業継続のためリモートコピーとして活用一部業務処理の切り出し検証データの提供統合 DB 業務 A schema 業務 B schema 業務 C schema 業務 C 28

29 GoldenGate の活用ライフサイクルに合わせて使い方を変えていく負荷軽減統合 / 移行リモートコピー 29

30 まとめ Oracle GoldenGate は高機能なデータベース連携技術です高速軽量柔軟高い信頼性データベース間をつなぐあらゆる用途で活用できますレプリケーション統合 / 移行リモートコピー DWH 構築 30

31 参考資料紹介 31

32 Oracle GoldenGate マニュアル主に使用するもの Administration Guide 管理 / 操作全般について記述 Reference Guide パラメータやコマンドのリファレンス Oracle Installation and Setup Guide Oracle Database のデータ連携に特化したマニュアル Troubleshooting and Tuning Guide パフォーマンスチューニングと障害解析について記述 32

33 Oracle GoldenGate 技術資料 Oracle GRID Center 検証資料 Oracle GoldenGate 11g による Oracle Database の移行 / アップグレードベストプラクティス富士通様との共同検証ホワイトペーパー DB 移行における GoldenGate の活用と実機検証について解説ゼロダウンタイムに挑戦!GoldenGate 活用よる DB アップグレード富士通様との共同セミナーコンテンツ移行用途に加えリアルタイムレプリケーション基盤としての性能検証の結果について解説 ( ご参考 ) 富士通北陸システムズ様では上記検証のノウハウも活用した GoldenGateのサービスを展開 33

OTN セミナーオンデマンド日本オラクルのエンジニアが作成したセミナー資料動画ダウンロードサイト掲載コンテンツカテゴリ ( 一部抜粋 ) Database 基礎 Database 現場テクニック Database スペシャリストが語る Java WebLogic Server/ アプリケーショングリッド EPM/BI 技術情報サーバーストレージ 100

34 OTN セミナーオンデマンド日本オラクルのエンジニアが作成したセミナー資料動画ダウンロードサイト掲載コンテンツカテゴリ ( 一部抜粋 ) Database 基礎 Database 現場テクニック Database スペシャリストが語る Java WebLogic Server/ アプリケーショングリッド EPM/BI 技術情報サーバーストレージ 100 以上のコンテンツをログイン不要でダウンロードし放題データベースからハードウェアまで充実のラインナップ毎月旬なトピックの新作コンテンツが続々登場 GoldenGate コンテンツも多数掲載!! 例えばこんな使い方製品概要を効率的につかむ基礎を体系的に学ぶ / 学ばせる時間や場所を選ばず ( オンデマンド ) に受講スマートフォンで通勤中にも受講可能毎月チェック! コンテンツ一覧はこちら新作 & おすすめコンテンツ情報はこちら OTN オンデマンド 34

35 OTN セミナーオンデマンドコンテンツに対するご意見ご感想を是非お寄せください OTN オンデマンド感想上記に簡単なアンケート入力フォームをご用意しておりますセミナー講師 / 資料作成者にフィードバックしコンテンツのより一層の改善に役立てさせていただきます是非ご協力をよろしくお願いいたします 35

36 OTN セミナーオンデマンド日本オラクルのエンジニアが作成したセミナー資料動画ダウンロードサイト掲載コンテンツカテゴリ ( 一部抜粋 ) Database 基礎 Database 現場テクニック Database スペシャリストが語る Java WebLogic Server/ アプリケーショングリッド EPM/BI 技術情報サーバーストレージ 100 以上のコンテンツをログイン不要でダウンロードし放題データベースからハードウェアまで充実のラインナップ毎月旬なトピックの新作コンテンツが続々登場例えばこんな使い方製品概要を効率的につかむ基礎を体系的に学ぶ / 学ばせる時間や場所を選ばず ( オンデマンド ) に受講スマートフォンで通勤中にも受講可能毎月チェック! コンテンツ一覧はこちら新作 & おすすめコンテンツ情報はこちら OTN オンデマンド 36

37 オラクルエンジニア通信オラクル製品に関わるエンジニアの方のための技術情報サイト技術資料インストールガイド設定チュートリアル etc. 欲しい資料への最短ルートアクセスランキング他のエンジニアは何を見ているのか? 人気資料のランキングは毎月更新特集テーマ Pick UP 性能管理やチューニングなど月間テーマを掘り下げて詳細にご説明技術コラム SQL スクリプト索引メンテナンス etc. 当たり前の運用 / 機能が見違える!? オラクルエンジニア通信 37

38 oracletech.jp IT エンジニアの皆様に向けて旬な情報を楽しくお届け製品 / 技術情報 Oracle Database っていくら? オプション機能も見積れる簡単ツールが大活躍セミナー基礎から最新技術までお勧めセミナーで自分にあった学習方法が見つかるスキルアップ ORACLE MASTER! 試験頻出分野の模擬問題と解説を好評連載中 Viva! Developer 全国で活躍しているエンジニアにスポットライトきらりと輝くスキルと視点を盗もう oracletech 38

あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct システムの検討構築から運用まで IT プロジェクト全般の相談窓口としてご支援いたしますステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォーム専用お問い合わせフォームにてご相談内容を承ります http://www.

39 あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct システムの検討構築から運用まで IT プロジェクト全般の相談窓口としてご支援いたしますステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォーム専用お問い合わせフォームにてご相談内容を承りますフリーダイヤルフォームの入力にはログインが必要となりますこちらから詳細確認のお電話を差し上げる場合がありますのでご登録の連絡先が最新のものになっているかご確認下さい月曜 ~ 金曜 9:00~12:00 13:00~18:00 ( 祝日および年末年始除く ) 39

41 41

以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな

以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな 20 分で理解する Oracle GoldenGate 日本オラクル株式会社以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さい