Oracle Database 11g Data Pump：超高速データ移動ユーティリティの基盤

Transcription

1 Oracle Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 Oracle ホワイト ペーパー 2007 年 6 月

2 ご注意 本書は情報提供のみを目的としています 下記の事項は マテリアルやコード 機能の提供を確約するものではなく また 購買を決定する際の判断材料とはなりえません 本書に記載されている機能の開発 リリースおよび時期については 弊社の裁量により決定いたします 本書には 書式 ソフトウェアまたは印刷物のいかんによらず オラクルが独占的に所有する独自の情報が含まれています 本書とここに含まれる情報は オラクルの事前の同意を得ることなく オラクル以外の者に開示 複写 複製または配布することが禁じられています 本書は ライセンス契約の一部をなすものではなく オラクル その子会社または関連会社とのいかなる契約上の合意事項にも組み込まれるものではありません OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 2

3 Oracle Database 11g Data Pump はじめに このホワイト ペーパーでは Oracle Data Pump アーキテクチャの概要を紹介します また Oracle Data Pump の主要機能やベスト プラクティスに対する議論を取り上げ Oracle Data Pump の Export および Import ユーティリティとこれまでの Export および Import ユーティリティの簡単な比較を行います Oracle Data Pump の概要 Oracle Database 10g から利用できる Oracle Data Pump は Oracle Database に完全統合された機能で データベースから またはデ タベースへのデータおよびメタデータの高速なロードとアンロードを実現します ロードまたはアンロード時の複数のパラレル ストリームを自動的に管理およびスケジューリングし スループットを最大限に引き出すことができます Oracle Data Pump インフラストラクチャは PL/SQL パッケージの DBMS_DATAPUMP からコールできます これにより Oracle Data Pump を使用してカスタム データ移動ユーティリティを構築できます Oracle Database には 次の 3 つのクライアント ユーティリティが含まれます コマンドライン エクスポート (expdp) コマンドライン インポート (impdp) Web ベースの Oracle Enterprise Manager エクスポート / インポート インタフェース また Oracle Data Pump は Oracle Database におけるその他の主要機能の基盤でもあります たとえば Automated Workload Repository(AWR) Streams-Based Replication Logical Standby Grid Transportable Tablespaces などです Streams-Based Replication および Logical Standby について Oracle Data Pump はフラッシュバック テクノロジを使用して レプリケート サイトでの初期構成を素早く生成し 一貫性を持った開始地点を提供します 初期 Grid のインスタンス化は Transportable Tablespaces をベースに実行されます これは 移動した表領域セットに定義されたオブジェクトのメタデータを Oracle Data Pump が移動および関連付けることを前提に行われます 多くの顧客から Oracle Data Pump への要望として " 時は金なりである せめて 大容量のデータに対するエクスポートおよびインポートの処理速度を向上してほしい " という声が多数届いています オラクルはこの言葉を深く受け止めました Oracle Data Pump は データが集中する場合に 大量のエクスポートおよびインポート操作にかかる経過時間を 2 倍以上短縮します また パフォーマンスの向上に加えて 顧客からはその他多くの要望が寄せられました これを受けて Oracle Data Pump ベースのエクスポートおよびインポート クライアント (expdp および impdp) では これまでのエクスポートおよびインポート クライアント (exp および imp) の全機能はもちろん ダンプ ファイルの暗号化と圧縮 チェックポイントの再開 ジョブ サイズの予測 非常に柔軟なファイングレイン オブジェクト選択 あるインスタンスを別のインスタンス OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 3

4 から直接ロード 詳細なジョブ監視 Transportable Tablespace による個別の表パーティションの移動など 多くの機能をサポートすることになりました Oracle Data Pump は Oracle Database に統合された機能であるため すべての構成で利用できます ただし パラレル処理などの Oracle Data Pump のいくつかの機能は Enterprise Edition でのみ利用可能です ダンプ ファイルの暗号化機能は Oracle Advanced Security オプションの一部として利用できます ダンプ ファイルのデータ圧縮機能は Oracle Advanced Compression オプションに含まれています Oracle Data Pump のアーキテクチャ Oracle Data Pump は 最大の柔軟性を実現する高パフォーマンスを得るために設計されたアーキテクチャです Oracle Data Pump のアーキテクチャを理解することで 高速な処理と機能を活かすことができます マスター表 マスター表は Oracle Data Pump がジョブの停止および再開 進捗状況の監視 パラレル処理の実行などを行うための主要要素です Oracle Data Pump の中心的な操作機能は マスター表です これは Oracle Data Pump のジョブを実行するユーザーのスキーマに作成される表で ジョブに関する詳細な情報のすべてを管理するディレクトリです 詳細情報には エクスポートまたはインポートされた各オブジェクトの現在の状態 それらオブジェクトのダンプ ファイル セット内における場所 ジョブに対してユーザーが提供したパラメータ 各ワーカー プロセスの状態 ダンプ ファイルの現在のセット 再開情報などが含まれます マスター表は ファイル ベースによるエクスポート操作の実行中に構築され 最後の段階でダンプ ファイルへ書き込まれます これとは逆に マスター表はファイル ベースによるインポート操作の最初の段階にユーザーの現在のスキーマへロードされます これによって マスター表を使用してすべてのインポートされたオブジェクトの作成で順番を設定できるようになります マスター表の使用は Oracle Data Pump で計画または計画外のジョブ停止時にジョブを再開するための重要な機能です マスター表はジョブで処理すべき各オブジェクトの状態を維持しているので Oracle Data Pump はどのオブジェクトが現在処理されているのか そしてその処理が正しく終了しているのかが分かります プロセス構造 Oracle Data Pump のジョブは 複数のプロセスで構成されています これらプロセスを作成順に説明します クライアント プロセス - Oracle Data Pump API にコールを行うプロセスです 前述のとおり Oracle Database はこの API のクライアント ユーティリティを 4 つ実装しています このホワイト ペーパーでは 新しく実装するエクスポート / インポート クライアントの expdp および impdp について紹介します 両クライアントは これまでの exp および imp と同じルック アンド フィールを持ちますが 後半で解説するとおり より多くの機能が搭載されています Oracle Data Pump は Oracle Database に統合されているため 一度ジョブが実行されると クライアントは何も要求されません 監視や制御を行う場合は 必要に応じて複数のクライアントをジョブへ接続および非接続させます シャドウ プロセス - これは クライアントが Oracle Database にログインする際に作成される標準 Oracle シャドウ プロセス ( またはフォアグラウンド プロ OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 4

5 セス ) です このシャドウ プロセスは Oracle Data Pump API 要求を受けます 1 DBMS_DATAPUMP.OPEN 要求を受けると シャドウ プロセスは 主にマスター表の作成 さまざまなプロセス間の通信に使用される Advanced Queuing(AQ) キューの作成 マスター制御プロセスの作成を含むジョブを作成します ジョブが実行されると シャドウ プロセスはクライアントから GET_STATUS 要求を受け付けることを主要なタスクとして構成されます クライアントの接続が切り離されると シャドウ プロセスも切り離されます マスター制御プロセス (MCP)- 名前が示すとおり MCPはOracle Data Pumpのジョブの実行および順序付けを制御します Oracle Data Pumpのジョブ 1 つに対して MCPは 1 つ割り当てられ ジョブの状態 ジョブの詳細 再開 およびマスター表のダンプ ファイル情報を管理します ジョブは メタデータおよびデータのアンロードまたはロードのさまざまな段階に分割され MCPは現在の段階に適したワーク プロセスに作業要求を受け渡します このディスパッチ ループでは 大量のMCPプロセスが実行されます また MCPは中央ファイル管理作業も実行します この作業では アクティブなダンプ ファイルのリストを維持し データまたはメタデータをアンロードするプロセスから要求があると ファイルの一部を受け渡します MCPには 次の形式のプロセス名がついています <instance>_dmnn_<pid> ワーカー プロセス - START_JOB 要求を受け取ると MCP は必要に応じて PARALLEL パラメータ値に基づいたワーカー プロセスを作成します ワーカー プロセスは MCP が要求したタスク ( 主にメタデータおよびデータのアンロードやロード ) を実行し オブジェクト行で構成される大規模なマスター表を維持します データベース オブジェクトがアンロードまたはロードされると これらの行はオブジェクトの最新の状態 ( 保留 完了 失敗など ) が書き込まれて更新されます また ワーカー プロセスはオブジェクトが現在作業している表 索引 ビューなどのタイプを示す型完了行を維持します これらの型完了行は 再開する際に使用します ワーカー プロセスには "*DWnn*" という形式で名前がつけられています パラレル問合せ (PQ) プロセス - 表またはパーティションのロードまたはアンロードを実施するデータ アクセス方法として外部表を選択すると ロードまたはアンロードが割り当てられたワーカー プロセスは パラレル問合せプロセスを作成し 問合せコーディネータとして実行されます これは Oracle Database のパラレル実行アーキテクチャを利用する標準パラレル実行スレーブで パーティション内でのロードおよびアンロードを可能にします Oracle Real Application Clusters (Oracle RAC) において パラレル問合せプロセスは Oracle Data Pump のジョブが開始されたインスタンス以外のインスタンスで作成できます このように記述されたその他のプロセスは すべて最初のインスタンス上に作成されます データの移動 Oracle Data Pump は 4 つのデータ移動方法をサポートし それぞれ異なるパフォーマンスと機能性を持っています 速い順に 4 つの方法を列挙すると 次のようになります データ ファイルのコピー ( トランスポータブル表領域 ) ダイレクト パスによるロードおよびアンロード 1 Oracle Data Pump の公開 API は PL/SQL パッケージの DBMS_DATAPUMP に統合されています このホワイト ペーパーでは取り上げません 詳細については Oracle Database Utilities および Oracle Database PL/SQL Packages and Types Reference を参照してください OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 5

6 外部表 従来型パス Oracle Data Pump は 特定の操作に対してもっとも最適なデータ移動方法を選択します また ユーザーはコマンドライン パラメータを使用してアクセス方法を指定することもできます Oracle Data Pump は 指定しないかぎり データを処理するもっとも最適なアクセス方法を選択します もっとも速くデータを移動する方法は データの解釈や変更を行わずにデータベースのデータ ファイルをコピーすることです この方法は エクスポート時に指定されたトランスポータブル モードでデータを移動する際に使用されます データ ファイルのコピーを利用する場合 いくつかの制限があります いくつかのデータ タイプ 表タイプ および表の構成は この方法で移動させることができません たとえば 暗号化された列を持つ表は このアクセス方法を使用して移動できません さらに データ ファイルのコピーを利用するには ソース データベースおよびターゲット データベース双方のキャラクタ セットを同一にしなければなりません ダイレクト パスおよび外部表は Oracle Database 11g が提供する 2 つの主要なデータ アクセス方法です ダイレクト パス アクセス方法は 2 つの中では速いものの パーティション内のパラレル処理をサポートしません 外部表アクセス方法は同機能をサポートするため 大規模な表またはパーティションをロードまたはアンロードする際に選択できます また 各アクセス方法は他方を使用する場合にある制限が与えられます たとえば アクティブな参照制約またはグローバル索引でロードされた表は ダイレクト パス アクセス方法を使用してロードできません データ型の LONG を含む列は 外部表アクセス方法でロードできません ほとんどの場合 ユーザーはどのアクセス方法を使用するかを考える必要がありません Oracle Data Pump のジョブが あらゆるジョブの特性に基づいて正しい選択をしてくれます いずれの方法も 元の exp データ表現よりも約 15% 小さい コンパクトなバイナリ ストリーム形式でダンプ ファイル セットへ書き込みます ダイレクト パスおよび外部表のいずれの方法でもデータをインポートできない場合 Oracle Data Pump は従来型パスという方法を使用します たとえば 暗号化された列と LONG 列を含む表は従来型パスでインポートします これは ダイレクト パスでは暗号化された列をインポートできず 外部表は LONG 列をインポートできないためです 従来型パス アクセス方法でのデータのロードは ダイレクト パスや外部表の方法に比べて時間がかかります そのため Oracle Data Pump は他に選択肢がない場合にのみ この方法を採用します メタデータの移動 メタデータ API(DBMS_METADATA) は メタデータのアンロードおよびロードすべてを実行するワーカー プロセスで使用されます SQL DDL にオブジェクト定義を格納していたこれまでの exp 機能とは異なり メタデータ API はデータベースからオブジェクト定義を抽出し ダンプ ファイル セットに XML ドキュメントとして書き込みます これにより インポート時に DDL を作成する際 XML Stylesheet Language Transformations(XSLT) を柔軟に適用できるようになりました たとえば インポート時にオブジェクトの所有権 ストレージの特性 表領域の在り方などを簡単に変更できます この強力な XML は 従来の SQL DDL よりもダンプ ファイルの領域を多く占有する可能性がありますが その代わりに柔軟性と機能性が向上します さらに COMPRESSION パラメータを使用して Oracle Data Pump のエクスポート ジョブを実行している際に メタデータの容量を削減できます OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 6

7 プロセス間通信 Advanced Queuing(AQ) は さまざまな Oracle Data Pump の通信で使用されています Oracle Data Pump の各ジョブは 2 つのキューで構成されています コマンドおよび制御キュー : クライアント以外のすべてのプロセスは このキューにサブスクライブします ワーク要求と応答 ファイル要求 ログ メッセージなど すべての API コマンドはこのキューで処理されます ステータス キュー : このキューは シャドウ プロセスのみがサブスクライブして読み込みます このキューは MCP によってキューに入れられた進行中の作業やエラー メッセージを受け取るのに使用します このキューに書き込むのは MCP のみです このキューには 次の形式で名前がつけられます KUPC${C S}_<job-unique timestamp> ファイル管理 ファイル マネージャは いくつかの Oracle Data Pump のジョブに対して配信されます 前述のとおり 新規ファイルの作成やファイル セグメントの割当てなどの実際の作業は MCP 内で集中的に実施されます しかし 各ワーカー プロセスおよびパラレル問合せプロセスは 領域の割当て ファイル チャンクの読込み または進行中の統計情報の更新を行うために ローカルのプロセス要求をファイル マネージャに対して実行します ローカルのファイル マネージャは ローカルで要求を処理できるかを判断し 処理できない場合はコマンドと制御キューを使用して MCP に転送します マスター表では ファイル チャンクの読込みやファイルの統計情報の更新がローカルで実行されます バッファへの書込みは一般的にローカルで処理されますが その結果 より多くのファイル領域を MCP に要求することがあります ディレクトリ管理 Oracle サーバー プロセスは すべてのダンプ ファイル セット I/O を処理するため オペレーティング システム自体の I/O を実行するのはジョブを実行しているユーザーではなく oracle となります しかし 一般的に oracle が特権アカウントであるため セキュリティにおけるジレンマとなります したがって すべてのディレクトリ仕様は DBA が設定した読取り / 書込み権限を持つ Oracle ディレクトリ オブジェクトで作成します たとえば DBA は次のようにディレクトリを設定できます Create directory dmpdir1 as '/private1/data/dumps'; Grant read, write on directory dmpdir1 to scott; これにより scottはexpdpコマンドラインに次のようなダンプ ファイルを指定できます expdp scott/tiger dumpfile=dmpdir1:scott.dmp 管理性を高めるため FILESIZE パラメータによってファイル サイズが制限されている場合は 多くのダンプ ファイルを作成できます ファイル マネージャは ファイル ヘッダーに書き込まれた全体に固有の識別子およびその他の情報を使用して ダンプ ファイル セットの一貫性を自動管理します インポートまたは SQL ファイル ジョブは ジョブのダンプ ファイル セットにおける全要素が DUMPFILE パラメータ仕様に設定されるまで開始できません 主な機能 この項では Oracle Data Pump の主な新機能をいくつか簡単に紹介します OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 7

8 パフォーマンス Oracle Data Pump のエクスポート / インポート操作 (expdp および impdp) は 一般的にこれまでの exp および imp よりも高速で実行できます Oracle Data Pump のダイレクト パスで 1 スレッドに対してデータのアンロードを実行する速度は これまでの exp よりも約 2 倍の速度で処理されます Oracle Data Pump の 1 スレッドに対するデータのロードは これまでの imp と比べて 15 から 45 倍の速度で処理されます さらに Oracle Data Pump の操作ではパラレル スレッドの実行 2 を指定できます また パラレル スレッドは実行中のジョブに対して動的に追加および削除できます これにより 変化する実行環境に合わせてジョブを調整できます エクスポート時に 2 つ以上のワーカー プロセスがある場合 データおよびメタデータのアンロードはパラレルで処理されます また Oracle Data Pump は各索引をジョブでパラレル処理できるように自動的にパラレル化します 永続的なパラレル化された索引自身は ソース値に対して変更されることはありません もっとも重要な要素である I/O 帯域幅 Oracle Data Pump は 提供できるシステム リソースすべてを活用して高パフォーマンスを提供します 指定されたいくつかのパラレル スレッドを実行できるよう 十分な I/O 帯域幅を確保することは重要です 帯域幅が十分でないと パラレル スレッドが追加された場合にパフォーマンスが低下する恐れがあります ダンプ ファイル セットは インスタンスのデータ ファイルを保持するスピンドルではないスピンドルに配置されているかどうかを必ず確認してください ワイルドカード ファイルをサポートするので I/O を複数のスピンドルへ簡単にロードできます たとえば 次のような仕様では full101.dmp full201.dmp full301.dmp full401.dmp full102.dmp full202.dmp full302.dmp などの名前が付いたファイルを 4 つのディレクトリ オブジェクトによって指定された 4 つのディレクトリ全体に対し ラウンド ロビン方式で作成します Dumpfile=dmpdir1:full1%u.dmp,dmpdir2:full2%u.dmp Dumpfile=dmpdir3:full3%u.dmp,dmpdir4:full4%u.dmp 初期化パラメータ Oracle Data Pump において 最大のパフォーマンスを得るためのチューニングは 基本的に必要ありません インストール時には 初期化パラメータで十分です ただし 次の点については注意してください disk_asynch_io 値が TRUE であることを確認してください これは 非同期 I/O をすでにサポートしているファイル システムのプラットフォームには影響を与えませんが 値が FALSE の場合 サポートされていないプラットフォームに多大なる悪影響を及ぼします db_block_checksum のデフォルト値が FALSE であることを確認してください ただし 統合問題を検証するため TRUE に設定している場合は データのロードおよびアンロードに対する影響は最小限 (5% 以下 ) に抑えられます Oracle Data Pump の AQ ベース通信およびメタデータ API のいずれも いくつかの SGA を必要とします streams_pool_size 値が十分であることを確認してください エクスポート時のメタデータ API およびインポート時のワーカー プロセスの両方とも UNDO セグメントを消耗する可能性のある比較的長い問合せを実行することがあります この問題のほとんどは 多数のオブジェクトに影響を与えるジョブで発生します 必ず UNDO 表領域を十分な大きさに設定してください たとえば 400,000 オブジェクトを含むデータベースのエクスポート / インポートは 2 つの UNDO セグメントが必要で それぞれの必要なサイズは 750MB になります 2 Oracle Database Enterprise Edition でのみ OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 8

9 メタデータ API Oracle Data Pump のメタデータのパフォーマンスは これまでの exp および imp クライアントとあまり変わりませんが Oracle Data Pump では XML 形式を使用しているので メタデータの操作はより柔軟で拡張性が高くなります ジョブの重要な動作としてメタデータの移動が行われる場合は パフォーマンスの向上があまり見られない可能性があります しかし ほとんどの実運用環境ではデータ移動が頻繁に行われることから 多くの操作は全体的に飛躍的な向上を遂げたように見えます ネットワーク モード Oracle Data Pump は インスタンスから別のインスタンスへ直接ロードする機能 ( ネットワーク インポート ) と リモート インスタンスをアンロードする機能 ( ネットワーク エクスポート ) をサポートします ネットワーク モードは すべてのプラットフォームでサポートされていないネットワーク パイプを使用する代わりに DB リンクを使用します ネットワーク インポート時に リモート ノードで実行されるメタデータAPI はオブジェクト定義を抽出し Oracle Data Pumpのジョブが作成を実行しているローカル インスタンスへ送信します データは 次のようなinsert as select 文を使用して フェッチおよびロードされます Insert into foo (a,b,c, ) select (a,b,c, ) from foo@remote_service_name これらの文は ダイレクト パス エンジンにアクセスして最大のパフォーマンスを得るための両方の機能に対するヒントが含まれます ネットワーク エクスポートは 読込み専用データベースでのエクスポートを可能にします Oracle Data Pump の expdp は マスター表の維持 キューに対するメッセージの書込み 外部表の作成など すべてにおいてインスタンス上での書込み操作が必要となるため 読込み専用インスタンス上でローカルに実行することができません ネットワーク エクスポートは Oracle Data Pump のジョブが実行されているインスタンス上にダンプ ファイル セットを作成し ネットワーク インポートと同様に リモート インスタンスからメタデータおよびデータを抽出します ネットワーク エクスポートのデータ移動は create as select@ service 形式の DML 文が必要であることから 外部表で排他的に実行されます いずれのネットワーク モードの操作においても ネットワーク帯域幅はボトルネックになる可能性があります パラレル設定はネットワークを飽和させない点に注意してください オラクルの多くの顧客は これまでの exp および imp を使用する ' ネットワーク モード ' のようなものを ネットワーク パイプにエクスポートしたり 逆にインポートしたりする形で実装していることが分かりました こうした作業はエクスポートおよびインポートの操作を重複して実行するため 経過時間を短縮します ファイル ベースの Oracle Data Pump の操作におけるパフォーマンスは大幅に改善されたため これまでの exp および imp で実現したように ネットワーク モードがインスタンスの初期化における経過時間を大幅に短縮できているかどうかははっきりしません 再開 停止した Oracle Data Pump のジョブは ジョブが停止した際にマスター表およびダンプ ファイル セットに障害が発生していないかぎり データを損失せずに再開できます これは クライアント上で STOP_JOB コマンドによって意図的にジョブを停止した場合 あるいはシステム障害 電力不足 その他の予定外のイベントにより 意図せずに停止した場合 それぞれに関係なく実行できます マスター表が十分なコンテキストを維持することで どこから再開すべきかが分かります ATTACH=<job name> パラメータで停止したジョブにクライアントを接続し 対話型の START コマンドで開始します OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 9

10 移動可能なジョブや SQL_FILE 出力を生成するジョブは再開できません インポート中に 特定のオブジェクトによって進捗が妨げられるような予期せぬ問題が繰り返し発生することがあります START=SKIP_CURRENT コマンドを使用すれば 現在のオブジェクトをスキップして次のオブジェクトに進み 処理を実行できます ファイングレイン オブジェクト選択 これまでの exp および imp においてユーザーが含めたり排除したりするために選択できたのは 索引 トリガー 許可 または制限のみでした Oracle Data Pump のジョブは 利用可能なさまざまなクライアント パラメータを使用して ほぼすべてのオブジェクトのタイプやサブセットを 含めたり排除したりできます Exclude EXCLUDE パラメータは あらゆるデータベース オブジェクトのタイプをエクスポートまたはインポート操作から排除できます オプションの名前修飾子を使用すると 指定した各オブジェクト タイプをさらに細かく選択できます たとえば 次のパラメータ ファイル内の 3 行は PAYROLL で始まるパッケージはもちろんのこと すべての機能およびプロシージャを排除します Exclude=function Exclude=procedure Exclude=package:"like 'PAYROLL%' " Include INCLUDE パラメータは 操作内で指定されたオブジェクト タイプおよびオブジェクトのみを含みます たとえば 前述の 3 つの仕様がデータベースの全エクスポートに対する INCLUDE パラメータである場合 ダンプ ファイル セットには PAYROLL で始まる機能 プロシージャ およびパッケージのみが書き込まれます Content CONTENT パラメータは 操作にメタデータのみ データのみ または両方を要求できます これまでの exp の ROWS=N パラメータは Oracle Data Pump の content= metadata_only を指定するパラメータに相当しますが content=data_only を指定する機能は exp にありません Query QUERY パラメータは これまでの exp 同様の操作に加えて 2 つの機能が強化されています 表の名前を承認することで 特定の表に適用できます エクスポートだけでなく インポート中にも使用できます Sample SAMPLE パラメータは エクスポートされるデータのサブセットを指定する際に使用します このパラメータに指定されたサンプルの割合は エクスポートのサンプルにブロック単位の列が含まれる可能性があることを示します OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 10

11 この方法でサンプリングすることは参照的な統合性を保証するものでありませんが データベース内のデータのサブセットを使用して システムをテストまたは開発する際に有効です 監視および予測 DBA は業務中に Oracle Data Pump のジョブを開始し ジョブを監視状態に接続することで 別の場所からパラメータの変更や中断したジョブを再開できます オラクルの顧客からはこの他に 高性能で より詳細な監視を行うことができる機能を求める声が寄せられました クライアントがログ ファイルに書き込む標準進捗メッセージおよびエラー メッセージに加えて 新しいクライアントの対話型コマンド STATUS は 全体の進捗率 各ワーカー プロセスの状態 現在作業中のオブジェクト および各オブジェクトの進捗率を含む詳細なジョブ情報を提供します また 詳細状態の自動更新間隔を秒単位で指定できます Oracle Data Pump の各エクスポート ジョブを開始する際 アンロードするデータすべてのおおよその容量を決定する予測段階が含まれます デフォルトの決定方法は 現在割り当てられているブロック数をカウントして パーティションの大きさを予測するというものです 表を分析すれば より正確な予測を実施するのに必要な統計情報も利用できるようになります これを実施する目的は 2 つあります 1. 消費するダンプ ファイルの領域を把握すること 2. 表のアンロードを開始するのに必要な情報をすべて取得し サイズの大きい順に並べ替えること これにより MCP はメタデータおよびデータのアンロードをパラレルでスケジューリングできるようになります 予測段階で取得したオブジェクトを 表データ オブジェクトといいます それぞれは パーティション ( 表がパーティション化されていない場合は表全体 ) を示します 0-n クライアントは 実行中のジョブに適用できるので 作業中の長期ジョブを開始して その場を離れて帰宅し 再度接続してから夜間に監視するということが可能です Oracle Data Pump のクライアント :expdp および impdp 新しい expdp および impdp クライアントは これまでの exp および imp クライアントと変わらないルック アンド フィールを持っていますが パラメータの互換性を 100% 保つことが目的ではありません エクスポートおよびインポート操作の両方に対して通じる概念を持つことで パラメータも両方に対して通じるようサポートしました 新しいクライアントでは さらに優れた機能をサポートします インタラクティブ コマンド モード :[Ctrl] キーを押しながら [C] を押すと (^C) インタラクティブ コマンド モードが呼び出され export> または import> のプロンプトが表示されます このプロンプトでは ヘルプの表示 ジョブ状態の詳細の取得 パラメータ監視の変更 ジョブのダンプ ファイル セットに対する ( ワイルドカード仕様を含む ) ファイルの動的追加 再開可能な状態でのジョブの停止 再開不可能な状態でのジョブの停止 ジョブの並行処理レベルの変更 ログ モードに戻り進捗メッセージを継続して取得 ジョブを実行したままクライアントを終了するといったことが可能です 操作の全モードをサポート : コマンドライン クライアントは MODE が完全 スキーマ 表 表領域 または Transportable Tabelspace の際に使用できます Oracle Data Pump と新しい expdp および impdp クライアントは これまでの exp および imp 機能の完全な上位セットです 特定の時間におけるエクスポートおよびインポートでは フラッシュバック テクノロジがサポートされています OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 11

12 WHERE 句の述語を expdp および impdp の両方を使用して個別の表に適用できます 特権ユーザー (EXP_FULL_DATABASE または IMP_FULL_DATABASE のいずれかのロールを持つユーザー ) は ジョブが停止された場合でも 他のユーザーによって開始されたジョブに接続および制御できます その他の便利な機能 Oracle Data Pump は これまでのエクスポートおよびインポート ユーティリティを超える機能や柔軟性を持った 便利な新機能をいくつか搭載します REMAP_DATA - Oracle Data Pump の一般的な使用方法として 本番システムからのデータに基づいたテストまたは開発システムの投入があります この方法では 個人を識別できるデータを隠すことで これらのデータにアクセス権限のない人物に対して非表示にすることができます これは非常に有効であると同時に 法的にも必要となる場合があります REMAP_DATA パラメータは 指定した列にある元の値をソースとする機能を再マッピングするよう特定でき ダンプ ファイル内の元の値を置き換えるよう再マッピングされた値を返すことができます たとえば クレジットカードなどの機密性の高い顧客データの列を REMAP_DATA 機能で生成した数字に置き換えることができます これにより 権限のないユーザーに対して個人データを公開することなく 必要な形式や処理特性を保ちながらデータを維持できます DDL 変換 - オブジェクト メタデータはダンプ ファイル セットに XML として格納されているため DDL をインポートしながら (XSLT を使用して ) 形成する際 簡単に変換できます Impdp は 次のいくつかの変換機能をサポートします PARTITION_OPTIONS は インポート操作の際 どのように表のパーティションを扱うかを指定します 表にある複数のパーティションをエクスポートできます インポートでは ユーザーはこれらのパーティションを元のデータベースにあったのと同じ形でロードするよう選択でき 1 つの表に統合したり または各パーティションを個別の表にしたりすることもできます REMAP_TABLE により ユーザーはトランスポータブル パーティション インポート操作の一環として表そのものに適用されるパーティションに 表の名前を指定できます これは 次と組み合わせて使用する必要があります PARTITION_OPTIONS=departition REMAP_TABLESPACE は オブジェクト セグメントが配置された表領域を変更します また 表領域の定義内にある表領域の名前も変更します REMAP_SCHEMA は 以前の FROMUSER/TOUSER オブジェクトをスキーマ間で移動します これにより オブジェクトの所有権を変更できます REMAP_DATAFILE は 異なるファイル システム セマンティクスを持つプラットフォーム間でデータベースを移動する際に便利なパラメータです また TRANSFORM パラメータを通じて DDL 内にストレージ句を作成しないよう指定することもできます これは ターゲット インスタンスのストレージ特性がソースのものと大きく異なる場合に有効です OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 12

13 SQL File - impdp では SQL ファイルも操作できます これはデータベース オブジェクトを作成するのではなく 同等の DDL をすぐに実行できる SQL スクリプトの形式で書き込むだけです 組み込まれた接続文のみがコメント アウトされます TABLE_EXISTS_ACTION - これまでの imp では IGNORE=Y が指定された場合は既存の表に行を追加していました Oracle Data Pump の impdp の TABLE_EXISTS_ ACTION パラメータは 次の 4 つのオプションを提供します 1. SKIP は デフォルトのオプションです すでに存在する表をスキップします 2. APPEND は ターゲットの表の図形に互換性がある場合 行を追加します これは ユーザーが CONTENT=DATA_ONLY を指定した場合にデフォルトとなります 3. TRUNCATE は 表を切り捨ててから 図形に互換性があって切り捨てが可能である場合 ソースから行をロードします たとえば 表が参照制約のターゲットである場合 切り捨てることはできません 4. REPLACE は既存の表を削除してから ソースに基づいて表を作成およびロードします CONTENT - このパラメータは両クライアントに適用でき DATA_ONLY METADATA_ ONLY または ( デフォルトの )BOTH を実行できます VERSION - expdp は 指定されたバージョンと互換性のあるダンプ ファイル セットを生成するよう サーバー ベースの Oracle Data Pump に指示する VERSION パラメータをサポートします これは 将来的にダウングレードを実行する際に使用します これまでの exp と同様に 旧バージョンの Oracle Data Pump のクライアントを実行する必要はありません Oracle Enterprise Manager - Oracle Enterprise Manager は Oracle Data Pump で完全に機能するインタフェースをサポートします Data Pump Views - Oracle Data Pump は ユーザーおよび DBA がアクセスしてジョブの進捗状況を監視できるビューをいくつか用意しています DBA_DATAPUMP_JOBS: これは システム上でアクティブになっているすべての Oracle Data Pump ジョブの概要を表示します USER_DATAPUMP_JOBS: これは 現在のユーザーでアクティブになっている Oracle Data Pump のジョブの概要を表示します DBA_DATAPUMP_SESSIONS: これは 現在 Oracle Data Pump のジョブに接続されているすべてのセッションを表示します V$SESSION_LONGOPS: ビューにある行は アクティブになっている Oracle Data Pump の各ジョブにおける進捗状況を示します OPNAME 列は Oracle Data Pump のジョブ名を表示します これまでの EXP および IMP これまでの exp の一般的な使用は Oracle Database 11g でサポートされていません これまでの imp は 既存のダンプ ファイルをインポートするため 現在も Oracle Database 11g に同梱されています これまでの imp は永久にサポートされ 元の exp で作成された以前のリリース ( リリース 5.0 以降 ) のダンプ ファイルをインポートできます OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 13

14 これまでのダンプ ファイルと Oracle Data Pump のダンプ ファイルに互換性はありません いずれのクライアントも 一方で作成されたダンプ ファイルを読み込むことはできません これまでの exp は Oracle Database 10g Release 2 のサポート対象から外されており Oracle Database 11g でも一般的な使用をサポートしません Oracle Data Pump の expdp は 進化するエクスポートを支える唯一の機能となります Oracle Database 10g 以降のリリースにある新機能は これまでの exp ではサポートされません 旧バージョンの exp は Oracle Database 11g でダウングレードを実施する場合にかぎり使用できます Oracle Database 10g 以降では expdp の VERSION パラメータを使用してダウングレードを実施する必要があります Oracle Data Pump と元のエクスポート / インポートの相違点 この項では Oracle Data Pump ベースのエクスポートおよびインポートを実行した際の主な相違点について取り上げます Oracle Data Pump は 大量のデータを扱う大きなジョブ向けに設計されています 大量のデータを扱う際は 次のようなことが予測されます 起動時間が長くかかります すべてのプロセスおよび通信インフラストラクチャは ジョブを実行する前に開始させる必要があります これには 10 秒ほどかかります また エクスポートの開始時間には 表にあるすべてのデータ オブジェクトを取得して順序付ける時間が含まれており MCP は表のアンロードのスケジューリングを素早く開始できます Oracle Data Pump の expdp は ジョブの終了後にダンプ ファイルをマスター表に書き込む必要があります Oracle Data Pump の impdp は マスター表の場所を探してロードしてから 対応する索引を構築しなければなりません これは 10 秒程度かかりますが マスター表が非常に大きい場合は インポート開始時の索引構築に時間がかかる可能性があります ダイレクト パス アクセス方法は マスター表のアンロードおよびロードで使用します ダンプ ファイル セットのサブセットをインポートすることで マスター表から関係のない行を削除できます サブセットがエクスポート セットに比べて非常に小さい場合 必要な更新を実施する時間は長くなります メタデータを抽出して作成するパフォーマンスは これまでの exp および imp と同じ程度です DDL の高速化は 非常に難しい課題です Oracle Data Pump でもっとも大きく改善された点は データのアンロードおよびロードのパフォーマンスです ダンプ ファイル内の圧縮されていない XML メタデータは これまでの exp DDL に比べて 7 倍のサイズになります Oracle Data Pump のデータ ストリーム形式は これまでの exp の行 / 列形式に対して約 15% 縮小されています COMPRESSION パラメータは Oracle Data Pump のメタデータのサイズを縮小し Oracle Database 10g Release 2 からはメタデータの圧縮がデフォルトで実施されます Oracle Data Pump は ニーズに沿ったリソースの集約を行うことができます 設計には ジョブごとの経過時間を削減することを一番に組み込まれています そのため Oracle Data Pump は 任意の PARALLEL 設定の上限一杯の CPU メモリ I/O 帯域幅 および ( ネットワーク モードにおける ) ネットワーク帯域幅を消費します Oracle Data Pump を実行するユーザーは マスター表を作成するのに十分な表領域を割り当てる必要があります 多数のオブジェクトを含むジョブは ロールバック構成であることを認識してください OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 14

15 クライアントで表示される進捗メッセージは これまでの exp および imp で表示されたものと異なりますが 現在のオブジェクト タイプを反映します また ' 既知の ' エラーにはフラグが立ち ジョブの最後に発行される総エラー数に含まれます デフォルトで生成されるログ ファイル名は export.log または import.log です これは LOGFILE パラメータで上書きできます これまでの exp および imp は デフォルトでログ ファイルを生成しません 結論 Oracle Data Pump は Oracle Database 11g でコールできる機能であり データやメタデータを非常に高速でロードおよびアンロードできます Oracle Data Pump のインフラストラクチャを完全に利用するコマンドラインのエクスポートおよびインポート クライアント (expdp および impdp) も Oracle Database で利用可能です これらは これまでの exp および imp の完全な上位セットとして実装されており いずれは既存のクライアントと置き換えられていきます OracleP P Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 15

16 Oracle Database 11g Data Pump: 超高速データ移動ユーティリティの基盤 2007 年 6 月著者 : Roy F. Swonger 共著者 : George Claborn William Fisher Carol Palmer Jim Stenoish Oracle Corporation World Headquarters 500 Oracle Parkway Redwood Shores, CA U.S.A. 海外からのお問合せ窓口 : 電話 : ファクシミリ : Copyright 2007, Oracle.All rights reserved. 本文書は情報提供のみを目的として提供されており ここに記載される内容は予告なく変更されることがあります 本文書は一切間違いがないことを保証するものではなく さらに 口述による明示または法律による黙示を問わず 特定の目的に対する商品性もしくは適合性についての黙示的な保証を含み いかなる他の保証や条件も提供するものではありません オラクル社は本文書に関するいかなる法的責任も明確に否認し 本文書によって直接的または間接的に確立される契約義務はないものとします 本文書はオラクル社の書面による許可を前もって得ることなく いかなる目的のためにも 電子または印刷を含むいかなる形式や手段によっても再作成または送信することはできません Oracle は米国 Oracle Corporation およびその子会社 関連会社の登録商標です その他の名称はそれぞれの会社の商標です