Oracle Data Pumpのパラレル機能

Transcription

1 Oracle ホワイト ペーパー 2009 年 2 月 Oracle Data Pump のパラレル機能

2 はじめに Oracle Database 10gから使用できるようになったOracle Data Pumpは データベース間でのデータおよびメタデータの高速移動を実現します Data Pumpが提供するもっとも実用的な機能の1つに エクスポート ジョブとインポート ジョブのパフォーマンスの最大化を目的としたパラレル化機能があります このホワイト ペーパーでは PARALLELパラメータの機能と この機能を最適に使用するためにユーザーが実行する必要のあることについて説明します 1

3 PARALLEL パラメータ Data Pump の Export(expdp) と Import(impdp) の PARALLEL パラメータは Oracle Database の Enterprise Edition を使用する場合のみ 1 より大きい値に設定できます ユーザーが特権ユーザーでなければ このパラメータに 1 より大きい値を使用することはできません (Standard Edition では PARALLEL パラメータは 1 に制限されています )PARALLEL パラメータは メタデータと比較してデータ量の多い大規模ジョブで使用すると もっとも効果的です 小規模なジョブやデータよりもメタデータが多いジョブでは 大幅な高速化は見られません 特に断らない限り このホワイト ペーパーでは並列度とデータの移動について説明し メタデータの移動については説明しません メタデータがパラレルでアンロードされることはありませんが パラレルでロードされることはあります メタデータがパラレルでロードされるのは次の 2 つの場合です 複数のワーカー プロセスでパッケージ ボディをパラレル ロードする場合 1 つのワーカー プロセスですべての索引を作成するときに パラレル実行プロセス (PXプロセス ) を使用して処理を高速化する場合 パラレル実行プロセスを使用することで 大規模な索引の処理時間が大幅に短縮されます Data Pump の用語では 表データ オブジェクトが記憶域の基本単位です 表がパーティション化されていなければ 表データ オブジェクトは表そのものです パーティション化されていてもサブパーティション化されていなければ 各パーティションに対して 1 つの表データ オブジェクトが存在します サブパーティションがある場合は 各サブパーティションに対して 1 つの表データ オブジェクトが存在します Data Pump にはマルチプロセス アーキテクチャが使用されており この中でマスター制御プロセスがジョブ アイテムを 1 つ以上のワーカー プロセスに配布します ワーカー プロセスは PX プロセスを使用してデータを移動することがあります 並列度という言葉は このコンテキストでは パラレルで実行できるアクティブなワーカー プロセスと PX プロセスの合計数を指します デフォルトの PARALLEL 値は 1 です Data Pump が表のロードまたはアンロードに PX プロセスを使用すると決定した場合は Data Pump で使用される並列度に PX プロセスの数がカウントされます ただし PX プロセスを起動したワーカー プロセスはカウントされません それは PX プロセスが問合せを実行している間 このワーカー プロセスはアイドル状態になるためです 同様に 起動はしたもののアイドル状態になっているワーカー プロセスも PARALLEL パラメータで指定された制限に対してカウントされません マスター制御プロセスとワーカー プロセス マスター制御プロセス (MCP) は Data Pump のエクスポート ジョブまたはインポート ジョブ 1 つに対して 1 つ作成されます MCP は クライアントとの通信 ワーカー プロセス プールの起動および制御 ロギング処理の実行 その他の多くの処理を通して ジョブ全体を制御します マスター制御プロセスはアクティブなワーカー プロセスのプールを作成して 必要に応じてパラレル数に達するまでワーク アイテムを処理します マスター制御プロセスはパラレル数の合計にはカウントされません 並列度は ジョブが実行されている間に動的に増やしたり減らしたりすることができます この操作はユーザーがインタラクティブ コマンド モードを使用して実行します 2

4 並列度を減らしても ジョブに関連付けられたワーカー プロセスの数は減りません その時点で実行できる状態のアクティブなワーカー プロセスの数が減るだけです 実行中のワーク アイテムが決められたとおりに完了してからでなければ 数は減りません したがって 並列度の値を減らした影響を確認できるまでには時間がかかることがあります アイドル状態のワーカー プロセスは ジョブが終了するまで削除されません ワーカー プロセスまたは PX プロセスでパラレル実行できるワーク アイテムがある場合は 並列度を増やすとすぐに効果が現れます パラレル実行できるワーク アイテムがない場合は 追加のワーカー プロセスを必要とするワーク アイテムが現れない限り 追加のワーカー プロセスは作成されません Real Application Cluster(RAC) 環境では いつでも 1 つのインスタンスのみで Data Pump ジョブが実行されます Data Pump ジョブに関連付けられているすべてのワーカー プロセスは マスター制御プロセスが稼働しているインスタンスで起動されます ただし ワーカー プロセスが PX プロセスを配置した場合は RAC 内の他のインスタンスで PX プロセスが透過的に実行されることもあります ダンプ ファイル Data Pump Export で使用する PARALLEL パラメータには ダンプ ファイル セットに含まれるファイル数以下の値を指定する必要があります 各ワーカー プロセスまたは各パラレル実行プロセスは ダンプ ファイルに排他的にアクセスする必要があるため ダンプ ファイルの数が並列度より少ないと 一部のワーカー プロセスまたは PX プロセスはエクスポートする情報の書込みができなくなります このような状態になると ワーカー プロセスはアイドル状態になり ジョブにファイルが追加されない限り 処理は何も実行されません Data Pump のエクスポート ジョブに複数のダンプ ファイルを指定する方法の詳細は Oracle Database ユーティリティ の DUMPFILE パラメータの説明を参照してください Data Pump Import の場合は ワーカー プロセスおよび PX プロセスのすべてが同じファイルから読み取ることができます ただし ダンプ ファイルの方が少ない場合は 複数の実行スレッドが同じダンプ ファイルにアクセスしようとするため 最適なパフォーマンスが得られないことがあります 複数のプロセスがダンプ ファイルを共有することによるパフォーマンスへの影響は ダンプ ファイルが存在する I/O サブシステムによって異なります このような理由により Data Pump Import で使用する PARALLEL パラメータには ダンプ ファイル セットに含まれるファイル数を大幅に超えない値を指定する必要があります アクセス方法 : ダイレクト パスと外部表 Data Pump では ダイレクト パスと外部表の 2 つのアクセス方法で 表の行データをロードおよびアンロードできます アクセス方法は 並列度をどの程度にできるかを判定するうえで重要な役割を果たします なぜなら 両方の方法とも同じ外部データ表現をサポートし 一方の方法でアンロードしたデータをもう一方の方法でロードできるためです Data Pump では 表データ オブジェクトごとに適切なアクセス方法が自動的に選択されます 3

5 Data Pump には ファイルの読取りと書込みを実行する外部表アクセス ドライバが用意されています ファイル形式はダイレクト パス アクセス方法で使用するものと同じです そのため ダイレクト パスの代替方法として データベース表のロードおよびアンロードを高速に実行することができます 外部表の単一ストリームのパフォーマンスはダイレクト パスより遅くなりますが 非常に大規模な表やパーティションの処理に Oracle パラレル実行エンジンが活用されます これは Direct Path API では実行できないことです 次に Data Pump のデータ アクセス方法として外部表が使用される一般的な状況の一部を示します パラレルSQLが使用でき Data Pumpのパラレル操作が要求された状況で 非常に大規模な表およびパーティションのロードおよびアンロードを実行する場合 BFILE 型列またはOPAQUE 型列 またはOPAQUE 型列を含む任意のオブジェクト型列を 1 つ以上含む表をロードおよびアンロードする場合 暗号化された列を含む表をロードおよびアンロードする場合 QUERY パラメータを使用して表をアンロードする場合 アクティブなトリガーが設定された表をロードする場合 クラスタ化された表をロードする場合 挿入時のファイングレイン アクセス制御を有効にした表をロードする場合 パーティション表にグローバル索引が作られている表をロードする場合 エクスポート操作時の PARALLEL パラメータの動作 この項では ユーザーが Oracle Database Enterprise Edition を使用しており DUMPFILE パラメータにワイルドカード オプションが指定されていることを前提として エクスポート操作を説明します データとメタデータの両方が含まれる通常のエクスポートでは 最初のワーカー プロセスがメタデータ つまり表領域 スキーマ 権限 ロール 表 索引などをアンロードします この単一のワーカー プロセスがメタデータをアンロードし 残りのすべてのプロセスがすべて同時にデータをアンロードします メタデータのアンロードが終了したワーカー プロセスは アンロードする必要のあるデータ オブジェクトがまだある場合は データのアンロードも開始します このホワイト ペーパーで使用する例では メタデータのアンロードでビジー状態のワーカー プロセスが常に 1 つあり その他のワーカー プロセスは表データ オブジェクトのアンロードでビジー状態だと想定します 4

6 Data Pump では すべてのエクスポート操作について エクスポート ジョブに含まれるそれぞれの表データ オブジェクトに消費されるディスク領域 ( バイト単位 ) が見積もられます この見積もりは ESTIMATE パラメータを使用してもしなくても実行されます 見積もりはログ ファイルに出力され クライアントの標準出力デバイスに表示されます 見積もりは表の行データのみを対象としており メタデータは対象外です PX プロセスが使用される場合は この見積もりを使用して 表データ オブジェクトに適用する PX プロセスの数が決定されます ダイレクト パス 外部表 または両方の方法を使用できるかどうかは 表の列を調査して判定されます ダイレクト パスでは表データ オブジェクトをパラレルでアンロードすることができないため ダイレクト パスの場合は 表データ オブジェクトのパラレル数は常に 1 になります PX プロセスは外部表でのみ使用されます 外部表によるアクセス方法が選択された場合は 表データ オブジェクト上で処理を実行できる PX プロセスの最大数が決定されます この数は 見積もられた表データ オブジェクトのサイズを 250MB で割り 端数を切り捨てることにより求められます 結果が 0( ゼロ ) または 1 の場合は 表のアンロードに PX プロセスは使用されません たとえば 表のサイズが 600MB ならば パラレル実行プロセスは 2 つになります これは 見積もられたサイズを 250MB( パラレルしきい値 ) で割って端数を切り捨てることにより求められた数です この場合は ワーカー プロセスも 2 つになり 1 つはメタデータに もう 1 つはデータに使用されます データ用のワーカー プロセスは PX プロセスのコーディネータとして動作し 並列度の合計数にはカウントされません したがってこの場合は エクスポート ジョブで使用される並列度は 3 になり メタデータのワーカー プロセスが 1 PX プロセスが 2 になります ユーザーがログ ファイルを見るかインタラクティブ コマンドの STATUS を使用してワーカー プロセスの動作を表示すると expdp および impdp では PX プロセスが表示されないため 2 つのワーカー プロセスのみが表示されます 表のサイズが 400MB の例も見てみましょう この場合は パラレル実行プロセスは 0( ゼロ ) になります 400MB を 250MB で割って求められるパラレル値は 1 です ワーカー プロセスは並列度なしでダイレクト パスまたは外部表を使用してデータをアンロードします 最大並列数を使用するほどジョブが大きくない場合は アクティブなワーカー プロセスおよびパラレル実行プロセスの最大数は表示されません たとえば 800MB の表が 1 つあり 外部表を使用することになっている場合は メタデータ用のワーカー プロセスが 1 つ データ用のワーカー プロセスが 1 つ PX プロセスが 3 つになります 前述したように データ用のワーカー プロセスは PX プロセスのコーディネータとして動作し 並列度の合計数にはカウントされません そのため ユーザーが PARALLEL=10 と指定しても 並列度は実際には 4 になります STATUS 表示で確認できるのは 1 つのアクティブなワーカー プロセスだけです Data Pump は最適に動作しており この場合は指定された並列度に対してジョブが小さすぎます ジョブの規模が大きく PARALLEL=4 と指定されている場合はどうなるでしょうか 必要に応じてマスター制御プロセスが自動的にワーカー プロセスを追加できるのでしょうか いいえ PARALLEL パラメータは ユーザーが指定した最大数までしか増やすことができません 表の並列度が PARALLEL パラメータで指定された制限を超えるジョブの場合は 制限内に収まるように パラレル実行プロセスの数が減らされます ただし ユーザーはインタラクティブ コマンドラインを使用してジョブの並列度を増やすことができます 5

7 RAC 環境の場合は 別のインスタンスでパラレル実行プロセスを実行することができます ユーザーには Data Pump ジョブが実行されているのと同じインスタンスでパラレル実行プロセスが実行されているかわかりません そのため Data Pump が最適な状態で実行されているかどうかわかりにくくなります インポート操作時の PARALLEL パラメータの動作 インポート操作の PARALLEL パラメータの動作は エクスポート操作とは少し異なります インポート中のオブジェクト作成にはさまざまな依存性があるため すべてを正しい順序で実行する必要があります まだ存在していない表にはデータをロードできないため インポートの場合は 表が作成されてからでなければデータをロードできません Data Pump Import では 次の順序でデータベース オブジェクトが処理されます 最初のワーカー プロセスがすべてのメタデータ ( 表領域 スキーマなど ) のロードを開始します この処理はすべての表が作成されるまで行われます 表が作成されたら 最初のワーカー プロセスはメタデータではなくデータのロードを開始します 残りのワーカー プロセスも データのロードを開始します 表データのロードが終了すると 最初のワーカー プロセスは再度 メタデータのロード処理に戻ります 残りのワーカー プロセスは 最初のワーカー プロセスがパッケージ ボディまでのすべてのメタデータをロードするまで アイドル状態になります 複数のワーカー プロセスがパッケージ ボディをパラレルでロードします 1 つのワーカー プロセスがセカンダリ表とそこまでのメタデータをロードします 複数のワーカー プロセスがセカンダリ表のデータをロードします 1 つのワーカー プロセスが残りのメタデータをロードします 注意 :1 つのワーカー プロセスがすべての索引を作成しますが PARALLEL に指定された値までの PX プロセスが使用されるため 索引の作成速度は高速化します そのため インポート ジョブは PARALLEL=10 で開始でき ジョブ実行中の特定の時点では 1 つのワーカー プロセスだけが使用されることになります ほかのワーカー プロセスやパラレル実行プロセスは すべての表が作成されるまで処理を開始しません 表が作成されると データがロードされるまで ワーカー プロセスと PX プロセス ( 使用する場合 ) がいっせいにパラレルで処理を実行し その後 ワーカー プロセスはアイドル状態になります 6

8 Data Pump で表データ オブジェクトをロードするときは ダンプ ファイル内のデータのサイズを 250MB で割って データのロードに使用できる潜在的な PX プロセスの数が見積もられます この数が 1 より大きい場合は 並列度が十分であれば PX プロセスを使用してデータをロードできます 表データ オブジェクトが十分に大きければ 1 つのワーカー プロセスでアンロードされたものであっても パラレル ロードが可能です PARALLEL パラメータの最大活用 PARALLELパラメータを使用するときに考慮する必要がある一般的なガイドラインを示します 並列度はCPU 数の 2 倍に設定し その値から調整します Data Pump ExportのPARALLELパラメータに指定する値は ダンプ ファイルの数以下にする必要があります Data Pump ImportのPARALLELパラメータに指定する値は ダンプ ファイル セットに含まれるファイル数より大きすぎない値にする必要があります PARALLELパラメータを 1 より大きい値に設定できるのは Enterprise Editionのみです 結論 ユーザーの目的は Data Pump のパラレル機能を最大限に利用してエクスポート ジョブおよびインポート ジョブをできるだけ効率的に実行することです PARALLEL パラメータとワイルドカードによるダンプ ファイル テンプレートを使用しており ジョブで扱うデータ ( メタデータではなく ) が大規模なものである場合は 元のエクスポートおよびインポートと比較してパフォーマンスが大幅に向上します Data Pump の PARALLEL パラメータは ジョブで使用できる最大の並列度として使用され 任意の時点でのアクティブなワーカー プロセスおよびパラレル実行プロセスの最大数となります ワーカー プロセスを監視していると ワーカー プロセスがビジー状態になるときや 一部のワーカー プロセスがアイドル状態になるときがあります これは想定された動作であり Data Pump が適切に動作していることを意味します 7

9 Oracle Data Pump のパラレル機能 2009 年 2 月著者 :Carol Palmer Oracle Corporation World Headquarters 500 Oracle Parkway Redwood Shores, CA U.S.A. Copyright 2009, Oracle and/or its affiliates. All rights reserved. 本文書は情報提供のみを目的として提供されており ここに記載される内容は予告なく変更されることがあります 本文書は その内容に誤りがないことを保証するものではなく また 口頭による明示的保証や法律による黙示的保証を含め 商品性ないし特定目的適合性に関する黙示的保証および条件などのいかなる保証および条件も提供するものではありません オラクル社は本文書に関するいかなる法的責任も明確に否認し 本文書によって直接的または間接的に確立される契約義務はないものとします 本文書はオラクル社の書面による許可を前もって得ることなく いかなる目的のためにも 電子または印刷を含むいかなる形式や手段によっても再作成または送信することはできません Oracle は米国 Oracle Corporation およびその子会社 関連会社の登録商標です その他の名称はそれぞれの会社の商標です 0109