Oracle® Database 11g Data Pump：超高速データ移動ユーティリティの基盤

Transcription

1 Oracle ホワイト ペーパー 2009 年 2 月 Oracle Database 11g Data Pump: 超高速データ移動ユーティリティの基盤

2 はじめに... 1 Oracle Data Pumpの概要... 2 Oracle Data Pumpのアーキテクチャ... 3 マスター表... 3 プロセス構造... 3 データ移動... 5 メタデータの移動... 6 プロセス間通信... 6 ファイル管理... 6 ディレクトリ管理... 6 主要な機能... 7 パフォーマンス... 7 再開... 9 ファイングレイン オブジェクト選択... 9 監視および予測 Oracle Data Pumpのクライアント :expdpおよびimpdp その他の便利な機能 これまでのexpおよびimp Oracle Data Pumpと元のexp/impの相違点 結論... 15

3 はじめに このホワイト ペーパーでは Oracle Data Pumpアーキテクチャの概要を紹介します また Oracle Data Pumpの主要機能やベスト プラクティスに対する議論を取り上げ Oracle Data PumpのExport およびImportユーティリティとこれまでのExportおよびImportユーティリティの簡単な比較を行います 1

4 Oracle Data Pump の概要 Oracle Database 10g から利用できる Oracle Data Pump は Oracle Database に完全統合された機能で データベースから またはデ タベースへのデータおよびメタデータの高速なロードとアンロードを実現します ロードまたはアンロード時の複数のパラレル ストリームを自動的に管理およびスケジューリングし スループットを最大限に引き出すことができます Oracle Data Pump インフラストラクチャは PL/SQL パッケージの DBMS_DATAPUMP からコールできます これにより Oracle Data Pump を使用してカスタム データ移動ユーティリティを構築できます Oracle Database には 次の 3 つのクライアント ユーティリティが含まれます コマンドライン エクスポート (expdp) コマンドライン インポート (impdp) Web ベースの Oracle Enterprise Manager エクスポート / インポート インタフェース また Oracle Data Pump は Oracle Database におけるその他の主要機能の基盤でもあります たとえば Automated Workload Repository(AWR) Streams-Based Replication Logical Standby Grid Transportable Tablespaces などです Streams-Based Replication および Logical Standby について Oracle Data Pump はフラッシュバック テクノロジーを使用して レプリケート サイトでの初期構成を素早く生成し 一貫性をもった開始地点を提供します 初期 Grid のインスタンス化は Transportable Tablespaces をベースに実行されます これは 移動した表領域セットに定義されたオブジェクトのメタデータを Oracle Data Pump が移動および関連付けることを前提に行われます Oracle Data Pump に関する要件を大手顧客から収集していると " 時は金なり である ほかのことはともかく 大容量データのエクスポートおよびインポートの処理速度を向上してほしい " という声を頻繁に聞きます オラクルはこの言葉を深く受け止めました Oracle Data Pump は データが集中する場合に 大量のエクスポートおよびインポート操作にかかる経過時間を 2 倍以上短縮します また パフォーマンスの向上に加えて 顧客からはその他に多くの要望が寄せられました これを受けて Oracle Data Pump ベースのエクスポートおよびインポート クライアント (expdp および impdp) では これまでのエクスポートおよびインポート クライアント (exp および imp) の全機能はもちろん ダンプ ファイルの暗号化と圧縮 チェックポイントの再開 ジョブ サイズの予測 非常に柔軟なファイングレイン オブジェクト選択 あるインスタンスを別のインスタンスから直接ロード 詳細なジョブ監視 Transportable Tablespace による個別の表パーティションの移動など 多くの機能をサポートすることになりました Oracle Data Pump は Oracle Database に統合された機能であるため すべての構成で利用できます ただし パラレル処理などの Oracle Data Pump のいくつかの機能は Enterprise Edition でのみ利用可能です ダンプ ファイルの暗号化機能は Oracle Advanced Security オプションの一部として利用できます ダンプ ファイルのデータ圧縮機能は Oracle Advanced Compression オプションに含まれています 2

5 Oracle Data Pump のアーキテクチャ Oracle Data Pump は 最大の柔軟性を実現する高パフォーマンスを得るために設計されたアーキテクチャです Oracle Data Pump のアーキテクチャを理解することで 高速な処理と機能を活かすことができます マスター表 Oracle Data Pump の中心的な操作機能は マスター表です これは Oracle Data Pump のジョブを実行するユーザーのスキーマに作成される表で ジョブに関する詳細な情報のすべてを管理するディレクトリです 詳細情報には エクスポートまたはインポートされた各オブジェクトの現在の状態 それらオブジェクトのダンプ ファイル セット内における場所 ジョブに対してユーザーが提供したパラメータ 各ワーカー プロセスの状態 ダンプ ファイルの現在のセット 再開情報などが含まれます マスター表は ファイル ベースによるエクスポート ジョブの実行中に構築され 最後の段階でダンプ ファイルへ書き込まれます これとは逆に マスター表はファイル ベースによるインポート処理の最初の段階にユーザーの現在のスキーマへロードされます これによって マスター表を使用してすべてのインポート オブジェクトの作成を順序付けすることができます マスター表の使用は Oracle Data Pump で計画または計画外のジョブ停止時にジョブを再開するための重要な機能です マスター表はジョブで処理すべき各オブジェクトの状態を維持しているので Oracle Data Pump はどのオブジェクトが現在処理されているのか そしてその処理が正しく終了しているのかが分かります プロセス構造 Oracle Data Pump のジョブは 複数のプロセスで構成されています これらプロセスを作成順に説明します クライアント プロセス - Oracle Data Pump API にコールを行うプロセスです 前述のとおり Oracle Database はこの API のクライアント ユーティリティを 4 つ実装しています このホワイト ペーパーでは 新しく実装するエクスポート / インポート クライアントの expdp および impdp について紹介します 両クライアントは これまでの exp および imp と同じルック アンド フィールを持ちますが 後半で解説するとおり より多くの機能が搭載されています Oracle Data Pump は Oracle Database に統合されているため 一度ジョブが実行されると クライアントは何も要求されません 監視や制御を行う場合は 必要に応じて複数のクライアントをジョブに接続したり 非接続にしたりします 3

6 シャドウ プロセス - クライアントが Oracle Database にログインする際に作成される標準 Oracle シャドウ プロセス ( またはフォアグラウンド プロセス ) です このシャドウ プロセスは Oracle Data Pump API の要求を受けます 1 DBMS_DATAPUMP.OPEN 要求を受けると シャドウ プロセスは おもにマスター表の作成 さまざまなプロセス間の通信に使用される Advanced Queuing(AQ) キューの作成 マスター制御プロセスの作成で構成されるジョブを作成します ジョブが実行されると シャドウ プロセスの主要なタスクはクライアントから GET_STATUS 要求を受け付けることとなります クライアントの接続が切り離されると シャドウ プロセスも切り離されます マスター制御プロセス (MCP)- 名前が示すとおり MCP は Oracle Data Pump ジョブの実行および順序付けを制御します Oracle Data Pump のジョブ 1 つに対して MCP は 1 つ割り当てられ ジョブの状態 ジョブの詳細 再開 およびマスター表のダンプ ファイル情報を管理します ジョブは メタデータおよびデータのアンロードまたはロードのさまざまな段階に分割され MCP は現在の段階に適したワーク プロセスに作業要求を受け渡します このディスパッチ ループでは 大量の MCP プロセスが実行されます また MCP は中央ファイル管理作業も実行します この作業では アクティブなダンプ ファイルのリストを維持し データまたはメタデータをアンロードするプロセスから要求があると ファイルの一部を受け渡します MCP には 次の形式のプロセス名がついています <instance>_dmnn_<pid> ワーカー プロセス - START_JOB 要求を受け取ると MCP は PARALLEL パラメータ値に基づき 必要に応じてワーカー プロセスを作成します ワーカー プロセスは MCP が要求したタスク ( おもにメタデータおよびデータのアンロードやロード ) を実行し オブジェクト行で構成される大規模なマスター表を維持します データベース オブジェクトがアンロードまたはロードされると これらの行はオブジェクトの最新の状態 ( 保留 完了 失敗など ) が書き込まれて更新されます また ワーカー プロセスは 現在作業中のオブジェクト ( 表 索引 ビューなど ) のタイプを示す型完了行を維持します これらの型完了行は 再開する際に使用します ワーカー プロセスの名前は *DWnn* という形式です パラレル問合せ (PQ) プロセス - 表またはパーティションのロードまたはアンロードを実施するときのデータ アクセス方法として外部表を選択すると ロードまたはアンロードが割り当てられたワーカー プロセスは パラレル問合せプロセスを作成し 問合せコーディネータとして動作します これは Oracle Database のパラレル実行アーキテクチャを利用する標準パラレル実行スレーブで パーティション内でのロードおよびアンロードを可能にします Oracle Real Application Clusters(Oracle RAC) において パラレル問合せプロセスは Oracle Data Pump のジョブが開始されたインスタンス以 1 Oracle Data Pump の公開 API は PL/SQL パッケージの DBMS_DATAPUMP に統合されています このホワイト ペーパーでは取り上げません 詳細については Oracle Database Utilities and PL/SQL Packages and Types Reference を参照してください 4

7 外のインスタンスで作成できます このように記述されたその他のプロセスは すべて最初のインスタンス上に作成されます データの移動 Oracle Data Pump は 4 つのデータ移動方法をサポートし それぞれ異なるパフォーマンスと機能性を持っています 速い順に 4 つの方法を列挙すると 次のようになります データ ファイルのコピー ( トランスポータブル表領域 ) ダイレクト パスによるロードおよびアンロード 外部表 従来型パス Oracle Data Pump は 特定の操作に対してもっとも最適なデータ移動方法を選択します また ユーザーはコマンドライン パラメータを使用してアクセス方法を指定することもできます もっとも速くデータを移動する方法は データの解釈や変更を行わずにデータベースのデータ ファイルをコピーすることです この方法は エクスポート時に指定されたトランスポータブル モードでデータを移動する際に使用されます データ ファイルのコピーを利用する場合 いくつかの制限があります いくつかのデータ タイプ 表タイプ および表の構成は この方法で移動させることができません たとえば 暗号化された列を持つ表は このアクセス方法を使用して移動できません さらに データ ファイルのコピーを利用するには ソース データベースおよびターゲット データベース双方のキャラクタ セットを同一にしなければなりません ダイレクト パスおよび外部表は Oracle Database 11g が提供する 2 つの主要なデータ アクセス方法です ダイレクト パス アクセス方法はこの 2 つの中では速いものの パーティション内の並列度をサポートしません 外部表アクセス方法は同機能をサポートするため 大規模な表またはパーティションをロードまたはアンロードする際に選択できます また 各アクセス方法は他方の使用に対して制限があります たとえば アクティブな参照制約またはグローバル索引でロードされた表は ダイレクト パス アクセス方法を使用してロードできません データ型が LONG の列を含む表は 外部表のアクセス方法ではロードできません ほとんどの場合 ユーザーはどのアクセス方法を使用するかを考える必要がありません Oracle Data Pump のジョブが あらゆるジョブの特性に基づいて正しい選択をしてくれます いずれの方法でも 元の exp データ表現よりも約 15% 小さい コンパクトなバイナリ ストリーム形式でダンプ ファイル セットへ書き込みます ダイレクト パスおよび外部表のいずれの方法でもデータをインポートできない場合 Oracle Data Pump は従来型パスという方法を使用します たとえば 暗号化された列と LONG 列を含む表は従来型パスでインポートします これは ダイレクト パスでは暗号化された列をインポートできず 外部表は LONG 列をインポートできないためです 従来型パス アクセス方法でのデータのロードは ダイレクト パスや外部表の方法に比べて時間がかかります そのため Oracle Data Pump は他に選択肢がない場合にのみ この方法を採用します 5

8 メタデータの移動 メタデータのアンロードおよびロードの際は必ず ワーカー プロセスによってメタデータ API (DBMS_METADATA) が使用されます オブジェクト定義を SQL DDL として格納していたこれまでの exp 機能とは異なり メタデータ API はデータベースからオブジェクト定義を抽出し ダンプ ファイル セットに XML ドキュメントとして書き込みます これにより インポート時に DDL を作成する際 XML Stylesheet Language Transformations(XSLT) を柔軟に適用できるようになりました たとえば インポート時にオブジェクトの所有権 ストレージの特性 表領域の場所などを簡単に変更できます この堅牢な XML は 従来の SQL DDL よりもダンプ ファイルの領域を多く占有する可能性がありますが その代わりに柔軟性と機能性が向上します さらに COMPRESSION パラメータを使用して Oracle Data Pump のエクスポート ジョブを実行する際に書き込まれるメタデータの容量を削減できます プロセス間通信 Advanced Queuing(AQ) は さまざまな Oracle Data Pump の通信で使用されています Oracle Data Pump の各ジョブは 2 つのキューで構成されています コマンドおよび制御キュー : クライアント以外のすべてのプロセスは このキューにサブスクライブします ワーク要求と応答 ファイル要求 ログ メッセージなど すべての API コマンドはこのキューで処理されます ステータス キュー : このキューは シャドウ プロセスのみがサブスクライブして読み込みます このキューは MCP によってキューに入れられた進行中の作業やエラー メッセージを受け取るのに使用します このキューに書き込むのは MCP のみです このキューには 次の形式で名前が付けられます KUPC${C S}_<job-unique timestamp> ファイル管理 ファイル マネージャは いくつかの Oracle Data Pump のジョブに対して配信されます 前述のとおり 新規ファイルの作成やファイル セグメントの割当てなどの実際の作業は MCP 内で集中的に実施されます しかし 各ワーカー プロセスおよびパラレル問合せプロセスは 領域の割当て ファイル チャンクの読込み または進行中の統計情報の更新を行うために ローカルのプロセス要求をファイル マネージャに対して実行します ローカルのファイル マネージャは ローカルで要求を処理できるかどうかを判断し 処理できない場合はコマンドと制御キューを使用して MCP に転送します マスター表では ファイル チャンクの読込みやファイルの統計情報の更新がローカルで実行されます バッファへの書込みは一般的にローカルで処理されますが その結果 より多くのファイル領域を MCP に要求することがあります ディレクトリ管理 Oracle バックグラウンド サーバー プロセスがすべてのダンプ ファイル セットの I/O を処理するため I/O を実行しているオペレーティング システム ユーザーはジョブを実行しているユーザーではなく oracle となります しかし 一般的に oracle が特権アカウントであるため セキュリティにおけるジレンマとなります したがって すべてのディレクトリ仕様は DBA が設定した読取り / 書込み権限を持つ Oracle ディレクトリ オブジェクトを使用して作成します 6

9 たとえば DBA は次のようにディレクトリを設定できます Create directory dmpdir1 as e/private1/data/dumpsf; Grant read, write on directory dmpdir1 to scott; これによって scott は次のように expdp コマンドラインにダンプ ファイルを指定できるようになります expdp scott/tiger dumpfile=dmpdir1:scott.dmp 管理性を高めるために FILESIZE パラメータによってファイル サイズが制限されている場合は 多くのダンプ ファイルが作成されることがあります ファイル マネージャは ファイル ヘッダーに書き込まれた全体に固有の識別子およびその他の情報を使用して ダンプ ファイル セットの一貫性を自動管理します インポート ジョブまたは SQL ファイル ジョブは ジョブのダンプ ファイル セットの全要素が DUMPFILE パラメータ指定に設定されるまで開始できません 主要な機能 この項では Oracle Data Pump のおもな新機能をいくつか簡単に紹介します パフォーマンス Oracle Data Pump のエクスポート / インポート操作 (expdp および impdp) は 一般的にこれまでの exp および imp よりも高速で実行できます Oracle Data Pump のダイレクト パスでデータのアンロードを 1 スレッドで実行する場合 これまでの exp よりも約 2 倍の速度で処理されます Oracle Data Pump でデータのロードを 1 スレッドで行う場合 これまでの imp と比べて 15 から 45 倍の速度で処理されます さらに Oracle Data Pump の操作ではパラレル スレッドの実行を指定できます 2 また パラレル スレッドは実行中のジョブに対して動的に追加および削除できます これにより 変化する実行環境に合わせてジョブを調整できます エクスポート時に 2 つ以上のワーカー プロセスがある場合 データおよびメタデータのアンロードはパラレルで処理されます また Oracle Data Pump は各索引をジョブでパラレル処理できるように自動的にパラレル化します 永続的なパラレル化された索引自身は ソース値に対して変更されることはありません もっとも重要な要素である I/O 帯域幅 指定されたいくつかのパラレル スレッドを実行できるよう 十分な I/O 帯域幅を確保することは重要です 帯域幅が十分でないと パラレル スレッドが追加された場合にパフォーマンスが低下する恐れがあります ダンプ ファイル セットが インスタンスのデータ ファイルを保持するスピン 2 Oracle Database Enterprise Edition でのみ 7

10 ドルではないスピンドルに配置されているかどうかを必ず確認してください ワイルドカード ファイルをサポートするので I/O を複数のスピンドルへ簡単にロードできます たとえば 次のように指定した場合 full101.dmp full201.dmp full301.dmp full401.dmp full102.dmp full202.dmp full302.dmp という名前が付いたファイルが 4 つのディレクトリ オブジェクトによって指定された 4 つのディレクトリ全体に対し ラウンド ロビン方式で作成されます Dumpfile=dmpdir1:full1%u.dmp,dmpdir2:full2%u.dmp Dumpfile=dmpdir3:full3%u.dmp,dmpdir4:full4%u.dmp 初期化パラメータ Oracle Data Pump において 最大のパフォーマンスを得るためのチューニングは 基本的に必要ありません 初期化パラメータは インストールされたもので十分です ただし 次の点については注意してください disk_asynch_io 値が TRUE であることを確認してください これは 非同期 I/O をすでにサポートしているファイル システムのプラットフォームには影響を与えませんが 値が FALSE の場合 非同期 I/O がサポートされていないプラットフォームに多大なる悪影響を及ぼします db_block_checksum のデフォルト値が FALSE であることを確認してください ただし 統合問題を検証するため TRUE に設定している場合は データのロードおよびアンロードに対する影響は最小限 (5% 以下 ) に抑えられます Oracle Data Pump の AQ ベース通信およびメタデータ API のいずれも いくつかの SGA を必要とします streams_pool_size 値が十分であることを確認してください エクスポート時のメタデータ API およびインポート時のワーカー プロセスの両方とも ロールバック セグメントを消耗する可能性のある比較的長い問合せを実行することがあります この問題のほとんどは 多数のオブジェクトに影響を与えるジョブで発生します 必ず これらセグメントを十分な大きさに設定してください たとえば 400,000 オブジェクトを含むデータベースのエクスポート / インポートは 2 つのロールバック セグメントが必要で それぞれの必要なサイズは 750MB になります メタデータ API Oracle Data Pump のメタデータのパフォーマンスは これまでの exp および imp クライアントとあまり変わりませんが Oracle Data Pump では XML 形式を使用しているので メタデータの操作はより柔軟で拡張性が高くなります メタデータの移動がジョブの重要な動作の場合は パフォーマンスの向上があまり見られない可能性があります しかし ほとんどの実運用環境ではデータ移動が頻繁に行われることから 多くの操作は全体的に飛躍的な向上を遂げたように見えます ネットワーク モード Oracle Data Pump は インスタンスから別のインスタンスへ直接ロードする機能 ( ネットワーク インポート ) と リモート インスタンスをアンロードする機能 ( ネットワーク エクスポート ) をサポートします ネットワーク モードは すべてのプラットフォームではサポートされていないネットワーク パイプを使用する代わりに DB リンクを使用します 8

11 ネットワーク インポート時に リモート ノードでメタデータ API が実行されてオブジェクト定義を抽出し それを Oracle Data Pump のジョブが実行されているローカル インスタンスへ送信して作成処理が行われます データは 次のような insert as select 文を使用して フェッチおよびロードされます Insert into foo (a,b,c, select (a,b,c, from これらの文は ダイレクト パス エンジンにアクセスして最大のパフォーマンスを得るための両方の機能に対するヒントが含まれます ネットワーク エクスポートは 読込み専用データベースでのエクスポートを可能にします Oracle Data Pump の expdp は マスター表の維持 キューに対するメッセージの書込み 外部表の作成など すべてにおいてインスタンス上での書込み操作が必要となるため 読込み専用インスタンス上でローカルに実行することができません ネットワーク エクスポートは Oracle Data Pump のジョブが実行されているインスタンス上にダンプ ファイル セットを作成し ネットワーク インポートと同様に リモート インスタンスからメタデータおよびデータを抽出します ネットワーク エクスポートのデータ移動は create as 形式の DML 文が必要であることから 外部表で排他的に実行されます いずれのネットワーク モードの操作においても ネットワーク帯域幅はボトルネックになる可能性があります パラレル設定がネットワークを飽和させないように注意してください オラクルの多くの顧客は これまでの exp および imp を使用して ネットワーク パイプにエクスポートした後に相手方にインポートすることによって ネットワーク モード ' のようなものを実装していることが分かりました こうした作業はエクスポートとインポートの操作をオーバーラップして実行するため 経過時間を短縮します ファイル ベースの Oracle Data Pump の操作におけるパフォーマンスは大幅に改善されたため これまでの exp および imp で実現したように ネットワーク モードによってインスタンスの初期化における経過時間が大幅に短縮できるかどうかははっきりしません 再開 停止した Oracle Data Pump のジョブは ジョブが停止した際にマスター表およびダンプ ファイル セットに障害が発生していない限り データを損失せずに再開できます これは クライアント上で STOP_JOB コマンドによって意図的にジョブを停止したか あるいはシステム障害 電力不足 その他の予定外のイベントによって意図せずに停止したかに関係なく実行できます マスター表が十分なコンテキストを維持することで どこから再開すべきかが分かります ATTACH=<job name> パラメータで停止したジョブにクライアントを接続し インタラクティブな START コマンドで開始します インポート中に 特定のオブジェクトによって進捗が妨げられるような予期せぬ問題が繰り返し発生することがあります START=SKIP_CURRENT コマンドを使用すれば 現在のオブジェクトをスキップして次のオブジェクトに進み 処理を実行できます ファイングレイン オブジェクト選択 これまでの exp および imp においてユーザーが含めるか排除するかを選択できたのは 索引 トリガー 許可 または制限のみでした Oracle Data Pump のジョブは 利用可能なさまざまなクライアント 9

12 パラメータを使用して ほぼすべてのオブジェクトのタイプやサブセットを 含めたり排除したりできます Exclude EXCLUDE パラメータは あらゆるデータベース オブジェクトのタイプをエクスポートまたはインポート操作から排除できます オプションの名前修飾子を使用すると 指定した各オブジェクト タイプをさらに細かく選択できます たとえば 次のパラメータ ファイル内の 3 行は PAYROLL で始まるパッケージはもちろんのこと すべての機能およびプロシージャを排除します Exclude=function Exclude=procedure Exclude=package:hlike epayroll%f g Include INCLUDE パラメータは 操作内で指定されたオブジェクト タイプおよびオブジェクトのみを含みます たとえば 前述の 3 つの仕様がデータベースの全エクスポートに対する INCLUDE パラメータである場合 ダンプ ファイル セットには PAYROLL で始まる機能 プロシージャ およびパッケージのみが書き込まれます Content CONTENT パラメータは 操作にメタデータのみ データのみ または両方を要求できます これまでの exp の ROWS=N パラメータは Oracle Data Pump の content=metadata_only に相当しますが content=data_only を指定する機能は exp にはありません 問合せ QUERYパラメータは これまでのexp 同様の操作に加えて 2つの機能が強化されています 特定の表にのみ適用されるような表名で修飾できます エクスポートだけでなく インポート中にも使用できます Sample SAMPLE パラメータは エクスポートされるデータのサブセットを指定する際に使用します このパラメータに指定されたサンプルの割合は エクスポートのサンプルにブロック単位の列が含まれる可能性があることを示します この方法でサンプリングすることは参照整合性を保証するものであり 10

13 ませんが データベース内のデータのサブセットを使用して システムをテストまたは開発する際に有効です 監視および予測 オラクルの顧客からはこの他に 高性能で より詳細な監視を行うことができる機能を求める声が寄せられました クライアントがログ ファイルに書き込む標準進捗メッセージおよびエラー メッセージに加えて 新しいクライアントのインタラクティブなコマンド STATUS は 全体の進捗率 各ワーカー プロセスの状態 現在作業中のオブジェクト および各オブジェクトの進捗率を含む詳細なジョブ情報を提供します また 詳細状態の自動更新間隔を秒単位で指定できます Oracle Data Pump の各エクスポート ジョブを開始する際 アンロードするデータすべてのおおよその容量を決定する予測段階が含まれます デフォルトの決定方法は 現在割り当てられているブロック数をカウントして パーティションの大きさを予測するというものです 表を分析すれば より正確な予測を実施するのに必要な統計情報も利用できるようになります これを実施する目的は 2 つあります 消費するダンプ ファイルの領域を把握すること 表のアンロードを開始するのに必要な情報をすべて取得し サイズの大きい順に並べ替えること これにより MCP はメタデータおよびデータのアンロードをパラレルでスケジューリングできるようになります 予測段階で取得したオブジェクトを 表データ オブジェクトといいます それぞれは パーティション ( 表がパーティション化されていない場合は表全体 ) を示します 0-n クライアントは 実行中のジョブに適用できるので 作業中の長期ジョブを開始して その場を離れて帰宅し 再度接続してから夜間に監視するということが可能です Oracle Data Pump のクライアント :expdp および impdp 新しい expdp および impdp クライアントは これまでの exp および imp クライアントと変わらないルック アンド フィールを持っていますが パラメータの互換性を 100% 保つことが目的ではありません エクスポートおよびインポート操作の両方に対して通じる概念を持つことで パラメータも両方に対して通じるようサポートしました 新しいクライアントでは さらに優れた機能をサポートします インタラクティブ コマンド モード :[Ctrl] キーを押しながら [C] を押すと (^C) インタラクティブ コマンド モードが呼び出され export> または import> のプロンプトが表示されます このプロンプトでは ヘルプの表示 ジョブ状態の詳細の取得 パラメータ監視の変更 ジョブのダンプ ファイル セットに対する ( ワイルドカード仕様を含む ) ファイルの動的追加 再開可能な状態でのジョブの停止 再開不可能な状態でのジョブの停止 ジョブの並列度レベルの変更 ログ モードに戻り進捗メッセージを継続して取得 ジョブを実行したままクライアントを終了するといったことが可能です 11

14 操作の全モードをサポート : コマンドライン クライアントは MODE が完全 スキーマ 表 表領域 または Transportable Tablespace の際に使用できます Oracle Data Pump と新しい expdp および impdp クライアントは これまでの exp および imp 機能の完全な上位セットです 特定の時期以降 エクスポートおよびインポートでは フラッシュバック テクノロジーがサポートされています WHERE 句の条件を expdp および impdp の両方を使用して個別の表に適用できます 特権ユーザー (EXP_FULL_DATABASE または IMP_FULL_DATABASE のいずれかのロールを持つユーザー ) は ジョブが停止された場合でも 他のユーザーによって開始されたジョブに対して接続および制御を行うことができます その他の便利な機能 Oracle Data Pump は これまでのエクスポートおよびインポート ユーティリティを超える機能や柔軟性を持った 便利な新機能をいくつか搭載します REMAP_DATA - Oracle Data Pump の一般的な使用方法として 本番システムからのデータに基づいてテスト システムまたは開発システムにデータを投入する方法があります この方法では 個人を識別できるデータを隠すことで これらのデータにアクセス権限のない人物に対して非表示にすることができます これは非常に有効であると同時に 法的にも必要となる場合があります REMAP_DATA パラメータを使用すると 指定した列にある元の値をソースとし 再マッピングされた値を返す再マッピング ファンクションを指定して ダンプ ファイル内の元の値を置き換えることができます たとえば クレジットカードなどの機密性の高い顧客データの列を REMAP_DATA 機能で生成した数字に置き換えることができます これにより 権限のないユーザーに対して個人データを公開することなく 必要な形式や処理特性を保ちながらデータを維持できます DDL 変換 - オブジェクト メタデータはダンプ ファイル セットに XML として格納されているため インポート中に DDL を (XSLT を使用して ) 形成する際 簡単に変換できます Impdp は 次のような変換機能をサポートします PARTITION_OPTIONS は インポート操作の際 どのように表のパーティションを扱うかを指定します 表にある複数のパーティションをエクスポートできます インポートでは ユーザーはこれらのパーティションを元のデータベースと同じ形でロードするか 1 つの表に統合するか または各パーティションを個別の表にするかを選択できます REMAP_TABLE により ユーザーはトランスポータブル パーティション インポート操作の一環として表そのものに適用されるパーティションに 表の名前を指定できます これは PARTITION_OPTIONS=departition と組み合わせて使用する必要があります REMAP_TABLESPACE は オブジェクト セグメントが配置された表領域を変更します また 表領域の定義内にある表領域の名前も変更します 12

15 REMAP_SCHEMA は 以前の FROMUSER/TOUSER オブジェクトをスキーマ間で移動します これにより オブジェクトの所有権を変更できます REMAP_DATAFILE は 異なるファイル システム セマンティクスを持つプラットフォーム間でデータベースを移動する際に便利なパラメータです また TRANSFORM パラメータを通じて DDL 内にストレージ句を作成しないよう指定することもできます これは ターゲット インスタンスのストレージ特性がソースのものと大きく異なる場合に有効です SQL File - impdp では SQL ファイルも操作できます これはデータベース オブジェクトを作成するのではなく 同等の DDL をすぐに実行できる SQL スクリプト形式でファイルに書き込むだけです 組み込まれた接続文のみがコメント アウトされます TABLE_EXISTS_ACTION - これまでの imp では IGNORE=Y が指定された場合は既存の表に行を追加できました Oracle Data Pump の impdp の TABLE_EXISTS_ACTION パラメータは 次の 4 つのオプションを提供します 1. SKIP は デフォルトのオプションです すでに表が存在する場合はスキップします 2. APPEND は ターゲットの表の形状に互換性がある場合 行を追加します これは ユーザーが CONTENT=DATA_ONLY を指定した場合にデフォルトとなります 3. TRUNCATE は 形状に互換性があって切り捨てが可能である場合 表を切り捨てた後でソースから行をロードします たとえば 表が参照制約のターゲットである場合 切り捨てることはできません 4. REPLACE は既存の表を削除してから ソースに基づいて表を作成およびロードします CONTENT - このパラメータは両クライアントで使用でき DATA_ONLY METADATA_ONLY または ( デフォルトの )BOTHを実行できます VERSION - expdp は 指定されたバージョンと互換性のあるダンプ ファイル セットを生成するよう サーバー ベースの Oracle Data Pump に指示する VERSION パラメータをサポートします これは 将来的にダウングレードを実行する際に使用します これまでの exp と同様に 旧バージョンの Oracle Data Pump のクライアントを実行する必要はありません Oracle Enterprise Manager - Oracle Enterprise ManagerはOracle Data Pumpに対する 機能性に優れたインタフェースをサポートします Data Pump Views - Oracle Data Pumpは ユーザーおよびDBAがアクセスしてジョブの進捗状況を監視できるビューをいくつか用意しています DBA_DATAPUMP_JOBS - これは システム上でアクティブになっているすべての Oracle Data Pump ジョブの概要を表示します USER_DATAPUMP_JOBS - これは 現在のユーザーでアクティブになっている Oracle Data Pump のジョブの概要を表示します 13

16 DBA_DATAPUMP_SESSIONS - これは 現在 Oracle Data Pump のジョブに接続されているすべてのセッションを表示します V$SESSION_LONGOPS - ビューにある行は アクティブになっている Oracle Data Pump の各ジョブにおける進捗状況を示します OPNAME 列は Oracle Data Pump のジョブ名を表示します これまでの exp および imp これまでの exp の一般的な使用は Oracle Database 11g ではサポートされていません これまでの imp は 既存のダンプ ファイルをインポートするため 現在も Oracle Database 11g に同梱されています これまでの imp は永久にサポートされ 元の exp で作成された以前のリリース ( リリース 5.0 以降 ) のダンプ ファイルをインポートできます これまでのダンプ ファイルと Oracle Data Pump のダンプ ファイルに互換性はありません いずれのクライアントも 一方で作成されたダンプ ファイルを読み込むことはできません これまでの exp は Oracle Database 10g Release 2 のサポート対象から外されており Oracle Database 11g でも一般的な使用をサポートしません Oracle Data Pump の expdp は 進化するエクスポートを支える唯一の機能となります Oracle Database 10g 以降のリリースにある新機能は これまでの exp ではサポートされません 旧バージョンの exp は Oracle Database 11g でダウングレードを実施する場合に限り使用できます Oracle Database 10g 以降では expdp の VERSION パラメータを使用してダウングレードを実施する必要があります Oracle Data Pump と元の exp/imp の相違点 この項では Oracle Data Pump ベースのエクスポートおよびインポートを初めて実行する際に気付く おもな相違点について取り上げます Oracle Data Pump は 大量のデータを扱う大きなジョブ向けに設計されています 大量のデータを扱う際は 次のようなことが予測されます 起動時間が長くかかります すべてのプロセスおよび通信インフラストラクチャは ジョブを実行する前に開始させる必要があります これには 10 秒ほどかかります また エクスポートの開始時間には 表にあるすべてのデータ オブジェクトを取得して順序付ける時間が含まれており MCP は表のアンロードのスケジューリングを素早く開始できます Oracle Data Pump の expdp は ジョブの終了時にマスター表をダンプ ファイルに書き込む必要があります Oracle Data Pump の impdp は マスター表の場所を探してロードしてから 対応する索引を構築しなければなりません これは 10 秒程度かかりますが マスター表が非常に大きい場合は インポート開始時の索引構築に時間がかかる可能性があります ダイレクト パス アクセス方法は マスター表のアンロードおよびロードで使用します ダンプ ファイル セットのサブセットをインポートすることで マスター表から関係のない行を削除できます サブセットがエクスポート セットに比べて非常に小さい場合 必要な更新を実施する時間は長くなります 14

17 メタデータを抽出して作成するパフォーマンスは これまでの exp および imp と同じ程度です DDL の高速化は 非常に難しい課題です Oracle Data Pump でもっとも大きく改善された点は データのアンロードおよびロードのパフォーマンスです ダンプ ファイル内の圧縮されていない XML メタデータは これまでの exp DDL に比べて 7 倍のサイズになります Oracle Data Pump のデータ ストリーム形式は これまでの exp の行 / 列形式と比較して約 15% 小さくなります COMPRESSION パラメータは Oracle Data Pump のメタデータのサイズを縮小するのに役立ちます Oracle Database 10g Release 2 以降はメタデータの圧縮がデフォルトで実施されます Oracle Data Pump は ニーズに沿ってリソース使用量を調整することができます 設計には ジョブごとの経過時間を削減することが一番に組み込まれています そのため Oracle Data Pump は 任意の PARALLEL 設定の上限一杯の CPU メモリ I/O 帯域幅 および ( ネットワーク モードにおける ) ネットワーク帯域幅を消費します Oracle Data Pump を実行するユーザーは マスター表を作成するのに十分な表領域を割り当てる必要があります 多数のオブジェクトを含むジョブは ロールバック構成であることを認識してください クライアントで表示される進捗メッセージは これまでの exp および imp で表示されたものと異なりますが 現在のオブジェクト タイプを反映します また ' 既知の ' エラーにはフラグが立ち ジョブの最後に発行される総エラー数に含まれます デフォルトで生成されるログ ファイル名は export.log または import.log ですが LOGFILE パラメータが優先されます これまでの exp および imp は デフォルトでログ ファイルを生成しません 結論 Oracle Data Pump は Oracle Database 11g でコールできる機能であり データやメタデータを非常に高速でロードおよびアンロードできます Oracle Data Pump のインフラストラクチャを完全に利用するコマンドラインのエクスポートおよびインポート クライアント (expdp および impdp) も Oracle Database で利用可能です これらは これまでの exp および imp の完全な上位セットとして実装されており いずれは既存のクライアントと置き換えられていきます 15

18 Oracle Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 2009 年 2 月著者 :Roy F. Swonger 共著者 :George Claborn William Fisher Carol Palmer Jim Stenoish Oracle Corporation World Headquarters 500 Oracle Parkway Redwood Shores, CA U.S.A. Copyright 2009, Oracle and/or its affiliates.all rights reserved. 本文書は情報提供のみを目的として提供されており ここに記載される内容は予告なく変更されることがあります 本文書は その内容に誤りがないことを保証するものではなく また 口頭による明示的保証や法律による黙示的保証を含め 商品性ないし特定目的適合性に関する黙示的保証および条件などのいかなる保証および条件も提供するものではありません オラクル社は本文書に関するいかなる法的責任も明確に否認し 本文書によって直接的または間接的に確立される契約義務はないものとします 本文書はオラクル社の書面による許可を前もって得ることなく いかなる目的のためにも 電子または印刷を含むいかなる形式や手段によっても再作成または送信することはできません Oracle は米国 Oracle Corporation およびその子会社 関連会社の登録商標です その他の名称はそれぞれの会社の商標です 0109