スライド 1

Transcription

1 1

2 第 15 回 夜 もよか~!!オラクル 勉 強 会 Presented by ( 株 )NSソリューションズ 西 日 本 今 さら 聞 けない データロード Export/Import 日 本 オラクル 株 式 会 社 2014 年 3 月 19 日 2

3 以 下 の 事 項 は 弊 社 の 一 般 的 な 製 品 の 方 向 性 に 関 する 概 要 を 説 明 するものです また 情 報 提 供 を 唯 一 の 目 的 とするものであり いかなる 契 約 にも 組 み 込 むことは できません 以 下 の 事 項 は マテリアルやコード 機 能 を 提 供 することをコミットメント( 確 約 )するものではないため 購 買 決 定 を 行 う 際 の 判 断 材 料 になさらないで 下 さい オラクル 製 品 に 関 して 記 載 されている 機 能 の 開 発 リリースおよび 時 期 については 弊 社 の 裁 量 により 決 定 されます OracleとJavaは Oracle Corporation 及 びその 子 会 社 関 連 会 社 の 米 国 及 びその 他 の 国 における 登 録 商 標 です 文 中 の 社 名 商 品 名 等 は 各 社 の 商 標 または 登 録 商 標 である 場 合 があります 3

4 Program Agenda Oracle Databaseのデータ ローディング Export/Import 知 っておきたい 便 利 な 使 い 方 まとめ Appindex HWMを 下 げるオペレーション Oracle Database からのCSVアンロード 4

5 Oracle Databaseのデータ ローディング 5

6 Oracle Databaseのデータ ローディング データ ロードの 種 類 中 間 ファイルを 利 用 するもの exp/impユーティリティ DataPump(expdp/impdp)ユーティリティ SQL*Loaderユーティリティ 外 部 表 機 能 トランスポータブル 表 領 域 機 能 (ソース 側 のデータベースはEnterprise Edition 必 須 ) ネットワークを 利 用 するもの 分 散 処 理 機 能 (データベース リンク + SQL) Oracle Data Integrator (ETLツール) Oracle GoldenGate(リアルタイム レプリケーション ツール) (リアルタイムにデータ 連 携 データ 移 行 データベース アップグレード 等 で 利 用 ) 6

7 Oracle Databaseのデータ ローディング 主 にテキスト ファイルを 利 用 するもの 外 部 ファイルのデータをOracle Databaseの 表 に 格 納 ユーティリティ(SQL*Loader)の 利 用 Oracle Databaseの 機 能 ( 外 部 表 )を 利 用 7

8 SQL*Loaderの 概 要 外 部 ファイル Oracle Databaseに 付 属 しているユーティリティのひとつ SQL*Loaderの 制 御 ファイルを 用 意 することで 外 部 ファイルからの 柔 軟 なローディングをおこないます SQL*Loader Oracle Database 表 制 御 ファイル 外 部 ファイルの 場 所 ファイル 形 式 ( 固 定 長 可 変 長 ) データの 挿 入 先 となる 表 外 部 ファイル 内 のデータと 表 カラムの 紐 付 け ログ ファイル 廃 棄 ファイル 不 良 ファイル SQL*Loader 実 行 ログを 格 納 (ロード 件 数 エラー 情 報 など) 条 件 等 が 合 わず ローディング されなかったレコードを 格 納 エラーによりローディング されなかったデータを 格 納 8

9 SQL*Loaderの 実 行 時 モード 従 来 型 パス モード / ダイレクト パス モード 柔 軟 性 高 速 性 に 応 じた 実 行 モードを 用 意 柔 軟 ) 従 来 型 パス モード 内 部 的 にINSERT 文 を 作 成 しINSERTを 実 行 高 速 ) ダイレクト パス モード 内 部 的 にINSERTを 実 行 しません ブロック(ORACLE_BLOCK=I/Oの 単 位 )イメージを 生 成 し 物 理 的 に 直 接 書 込 みます(=ダイレクト ロード) いくつかの 制 限 事 項 があります 表 ロック 取 得 9

10 SQL*Loaderのパラレル 処 理 パラレル ダイレクト パス 同 一 の 表 もしくはパーティション 表 の 同 一 パーティションに 対 して 同 時 にダイレクト パス ロードを 実 行 できます あらかじめ 準 備 が 必 要 です SQL*Loaderの 同 時 実 行 数 分 外 部 ファイル(データ)を 分 割 外 部 ファイルにあわせて 制 御 ファイルを 作 成 (もしくは 実 行 時 にパラメータ DATA で 外 部 ファイルを 指 定 ) 実 行 時 にパラメータ PALALLEL=TRUE を 指 定 します 10

11 SQL*Loader 使 用 例 制 御 ファイルの 作 成 外 部 ファイルのフォーマット ロード 先 の 表 の 情 報 をもとに 制 御 ファイルを 作 成 外 部 ファイル:emp.dat 1001,ichiro, ,SALESMAN,junk, ,jiro, ,ANALYST,junk, ,saburo, ,MANAGER,junk,30 SQL> DESCRIBE emp 名 前 NULL? 型 EMPNO NOT NULL NUMBER(4) ENAME VARCHAR2(10) JOB VARCHAR2(9) MGR NUMBER(4) HIREDATE DATE SAL NUMBER(7,2) COMM NUMBER(7,2) DEPTNO NUMBER(2) emp 表 の 定 義 カンマ 区 切 りの 可 変 長 日 付 は8 桁 の 数 字 列 (YYYYMMDD) 表 のカラムすべてと1:1に 紐 付 けできない 表 にロードすべきでないデータ junk が 存 在 する LOAD DATA 制 御 ファイル:emp.ctl INTO TABLE emp APPEND FIELDS TERMINATED BY ',' ( empno, ename, hiredate DATE 'YYYYMMDD', job, junk FILLER, deptno ) 11

12 SQL*Loader 使 用 例 実 行 例 従 来 型 パス モード % sqlldr scott/xx CONTROL=emp.ctl DATA=emp.dat ダイレクト パス モード % sqlldr scott/xx CONTROL=emp.ctl DATA=emp.dat DIRECT=true パラレル ダイレクト パス モード % sqlldr scott/xx CONTROL=emp.ctl DATA=emp1.dat LOG=emp1.log DIRECT=true PARALLEL=true & % sqlldr scott/xx CONTROL=emp.ctl DATA=emp2.dat LOG=emp2.log DIRECT=true PARALLEL=true & 事 前 に 主 キーを 無 効 にしておくか パラメータ SKIP_INDEX_MAINTENANCE = true をセットします 12

13 SQL*Loaderのロード 方 式 性 能 比 較 従 来 型 パス モード vs ダイレクト パス モード ダイレクト パス モードは 従 来 型 パス モードに 比 べ 非 常 に 高 速 従 来 型 パス ロード 1.00 ダイレクト パス ロード emp 表 (カラム 構 成 が 単 純 )へのロード(10,000,000 件 )の 比 較 例 ( 従 来 型 パス ロードを1としたときの 相 対 時 間 ) 13

14 外 部 表 の 概 要 Oracle Database 内 に 存 在 していない 表 アクセス ドライバを 通 じてOracle Databaseから 読 取 り 専 用 のアクセスをおこないます ORACLE_LOADER ORACLE_DATAPUMP 外 部 表 へのDML(INSERT/UPDATE/DELETE) 操 作 索 引 付 けはできませんが ビューやシノニムを 作 成 できます 外 部 表 へのアクセスはバッファ キャッシュを 経 由 しません( 後 述 ) 14

15 外 部 表 のアクセス ドライバ それぞれのアクセス ドライバの 利 用 イメージ ORACLE_LOADER ORACLE_DATAPUMP Oracle Database 相 互 で 利 用 15

16 外 部 表 のアクセス ドライバ ORACLE_LOADERとORACLE_DATAPUMP ORACLE_LOADER 外 部 ファイルはテキスト データ ファイルのみ 圧 縮 されたテキスト データ ファイルも 利 用 可 能 PREPROCESSOR 指 定 ORACLE_DATAPUMP 当 アクセス ドライバでUNLOADしたファイルを 利 用 外 部 ファイルはプラットフォーム 非 依 存 のバイナリ ファイル DATAPUMP(expdp)のdmpファイルは 利 用 できません UNLOADで 生 成 した 外 部 ファイルは Oracle Database 相 互 のデータ 交 換 で 利 用 します 当 アクセス ドライバの 機 能 で 外 部 ファイルの 圧 縮 暗 号 化 が 可 能 ORACLE_LOADERアクセス ドライバに 比 べ 高 速 16

17 外 部 表 の 使 用 例 使 用 前 の 準 備 外 部 表 を 置 くOS 上 のディレクトリを 決 め Oracle Databaseの ディレクトリ オブジェクトを 作 成 します % sqlplus / as sysdba SQL> CREATE DIRECTORY ext_tbls AS '/app/oracle/admin/orcl/ext_tbls'; 外 部 表 を 作 成 するOracle Database 上 のユーザに 対 し ディレクトリ オブジェクトの 権 限 を 付 与 します SQL> GRANT READ ON DIRECTORY ext_tbls TO scott; SQL> GRANT WRITE ON DIRECTORY ext_tbls TO scott; 17

18 外 部 表 の 使 用 例 ORACLE_LOADERアクセス ドライバを 使 用 した 定 義 外 部 ファイル(テキスト ファイル)の 構 造 をもとに 外 部 表 を 定 義 します 外 部 ファイル:ext_emp.dat 1001,ichiro, ,SALESMAN,junk, ,jiro, ,ANALYST,junk, ,saburo, ,MANAGER,junk,30 カンマ 区 切 りの 可 変 長 日 付 は8 桁 の 数 字 列 (YYYYMMDD) 表 のカラムすべてと1:1に 紐 付 けできない 表 にロードすべきでないデータ junk が 存 在 する CREATE TABLE ext_emp ( empno NUMBER(4), ename VARCHAR2(10), job VARCHAR2(9), hiredate DATE, deptno NUMBER(2) )ORGANIZATION EXTERNAL ( TYPE ORACLE_LOADER DEFAULT DIRECTORY ext_tbls ACCESS PARAMETERS ( RECORDS DELIMITED BY NEWLINE FIELDS TERMINATED BY ','( 外 部 ファイルの 定 義 文 empno CHAR(4), ename CHAR(10), hiredate CHAR(8) date_format DATE mask "YYYYMMDD", job CHAR(9), junk CHAR(4), deptno CHAR(2) ) ) LOCATION ('ext_emp.dat') ); 18

19 外 部 表 の 使 用 例 ORACLE_LOADERアクセス ドライバを 使 用 した 実 行 外 部 表 へのSELECT 文 の 実 行 SQL> select * from ext_emp; EMPNO ENAME JOB HIREDATE DEPTNO ichiro SALESMAN jiro ANALYST saburo MANAGER 実 行 時 のログファイル 等 の 出 力 指 定 ディレクトリに ログファイル 不 良 ファイル( 対 象 データがあれば) 廃 棄 ファイル( 対 象 データがあれば) が 出 力 されます 19

20 外 部 表 の 使 用 例 ORACLE_DATAPUMPアクセス ドライバを 使 用 した 定 義 外 部 表 の 作 成 の 一 環 として 外 部 ファイル(ダンプファイル)を 作 成 します 作 成 済 外 部 ファイルを 利 用 して 外 部 表 を 作 成 します CREATE TABLE ext_emp_ul ORGANIZATION EXTERNAL ( TYPE ORACLE_DATAPUMP DEFAULT DIRECTORY ext_tbls LOCATION ('ext_emp_ul.dmp') ) AS SELECT empno, ename, job, mgr, hiredate, sal, comm, deptno FROM emp ; 外 部 ファイル 作 成 CREATE TABLE ext_emp ( empno NUMBER(4), ename VARCHAR2(10), job VARCHAR2(9), mgr NUMBER(4), hiredate DATE, sal NUMBER(7,2), comm NUMBER(7,2), deptno NUMBER(2) ) ORGANIZATION EXTERNAL ( TYPE ORACLE_DATAPUMP DEFAULT DIRECTORY ext_tbls LOCATION ('ext_emp_ul.dmp') ) ; 外 部 ファイル 利 用 20

21 外 部 表 の 前 処 理 ORACLE_LOADERアクセス ドライバのPREPROCESSOR 句 前 処 理 プログラムを 使 用 することで アクセス ドライバがサポートしていない 形 式 のファイル を 外 部 ファイルとして 利 用 できます 圧 縮 された 外 部 ファイルを 解 凍 前 処 理 プログラムを 置 くディレクトリ オブジェク トの 作 成 権 限 付 与 を 行 います % cd /app/oracle/admin/orcl/exec_dir % ln -s /bin/zcat % sqlplus / as sysdba SQL> CREATE DIRECTORY exec_dir AS '/app/oracle/admin/orcl/exec_dir'; SQL> GRANT READ ON DIRECTORY exec_dir TO scott; SQL> GRANT EXECUTE ON DIRECTORY exec_dir TO scott; 外 部 ファイル の 定 義 文 CREATE TABLE ext_emp ( empno NUMBER(4), ename VARCHAR2(10), job VARCHAR2(9), hiredate DATE, deptno NUMBER(2) ) ORGANIZATION EXTERNAL ( TYPE ORACLE_LOADER DEFAULT DIRECTORY ext_tbls ACCESS PARAMETERS ( RECORDS DELIMITED BY NEWLINE PREPROCESSOR exec_dir:'zcat' FIELDS TERMINATED BY ','(... ) ) LOCATION ('ext_emp.dat.gz') ); 21

22 外 部 表 を 利 用 したデータ ローディング DML 文 (INSERT / UPDATE / MERGE / DELETE)をそのまま 使 用 します アクセス ドライバ 種 別 も 意 識 せず 透 過 的 に 利 用 できます INSERT INTO emp SELECT * FROM ext_emp; 外 部 表 SQL*Loaderと 同 様 ダイレクト ロードも 可 能 です SQL*Loaderのダイレクト パスと 同 様 HWMより 後 ろのブロックを 使 用 します INSERT /*+ APPEND */ INTO emp SELECT * FROM ext_emp; 外 部 表 ロード 処 理 をPL/SQLでそのままバッチ 処 理 の 一 部 として 取 り 込 む 事 ができます 22

23 参 考 )DMLエラー ロギング INSERT UPDATE MERGE DELETE 文 で 利 用 可 能 これまでは 大 量 の 行 を 対 象 とした 単 一 のDMLにエラーが 発 生 すると 処 理 の すべてがロールバックされていました 上 記 DMLに LOG ERRORS 句 をつけることで 利 用 します INSERT INTO emp (empno, ename, dptno, sal) ( SELECT empno, ename, dptno, sal FROM ext_emp ) LOG ERRORS INTO ERR$_EMP ('WEEKLY_BATCH') REJECT LIMIT 50; エラー ロギング 表 ( 上 記 のERR$_EMP)は DBMS_ERRLOG パッケージで 作 成 実 行 DMLとエラーロギング 表 への 書 き 込 みトランザクションは 分 離 DML 操 作 に 失 敗 したデータを 記 録 する 為 のものであり すべてのエラーを 書 き 込 むものではありません 例 ) ORA-01653( 領 域 不 足 ) ORA

24 参 考 )エラー ロギング 表 の 例 INSERT INTO emp (empno,ename,dptno,sal) (SELECT empno,ename,dptno*1000,sal FROM ext_emp 故 意 に 桁 あふれ WHERE empno = 1) LOG ERRORS INTO ERR$_EMP ('WEEKLY_BATCH') REJECT LIMIT 50; UPDATE emp SET dptno = dptno*1000 WHERE empno = 20 LOG ERRORS INTO ERR$_EMP ('WEEKLY_BATCH2') REJECT LIMIT 50; 故 意 に 桁 あふれ INSERT でエラー 発 生 対 象 となるROWID UPDATE でエラー 発 生 24

25 外 部 表 のアクセス ドライバ 性 能 比 較 ORACLE_LOADER vs ORACLE_DATAPUMP ORACLE_DATAPUMPで 利 用 する 外 部 ファイルは バイナリであり 型 変 換 がほとんど 発 生 しない Oracle Database 間 のデータ 連 携 ではORACLE_DATAPUMP アクセス ドライバの 利 用 を 推 奨 ORACLE_LOADER 1.00 ORACLE_DATAPUMP emp 表 (カラム 構 成 が 単 純 )へのロード(10,000,000 件 )の 比 較 例 (ORACLE_LOADERアクセス ドライバを1としたときの 相 対 時 間 ) 25

26 SQL*Loaderと 外 部 表 の 比 較 ステージング 表 の 利 用 業 務 アプリケーションが 利 用 している 表 にそのままデータをロードすることは ほとんどありません 通 常 ステージング 表 (*1)に 一 度 データをロードした 後 エラーチェックや 変 換 処 理 を 行 ったあと 業 務 アプリケーション 用 の 表 にロードします 外 部 表 を 利 用 すると 多 くの 場 合 でステージング 表 にロードする 工 程 を 省 くことがで きます SQL*Loader 利 用 (ステージング 表 使 用 ) 外 部 表 利 用 (ステージング 表 未 使 用 ) (*1):ステージング 表 とは データの 変 換 処 理 やロードの 準 備 の 為 に 設 けた 一 時 的 な 中 間 表 のこと 26

27 SQL*Loaderと 外 部 表 の 比 較 バッファ キャッシュの 利 用 ステージング 表 として 利 用 している 永 続 表 への 問 い 合 わせ 処 理 は 基 本 的 に Oracle Databaseのバッファ キャッシュを 経 由 します 2 回 目 以 降 のアクセスは 高 速 化 できます 必 要 に 応 じて 既 存 のキャッシュを 破 棄 する 場 合 があります 外 部 表 への 問 い 合 わせ 処 理 はOracle Databaseのバッファ キャッシュを 経 由 しません 既 存 のキャッシュを 破 棄 せずに 処 理 をおこなうことができます 複 数 回 のアクセスはキャッシュがないため 非 効 率 となる 場 合 があります 複 数 回 アクセスする 場 合 はステージング 表 にロードします 27

28 SQL*Loaderと 外 部 表 の 比 較 外 部 表 のパラレル 処 理 外 部 表 の 参 照 の 場 合 永 続 表 と 同 様 にパラレル 処 理 が 可 能 テーブルの 属 性 としてパラレル 度 数 を 設 定 セッション 単 位 で 設 定 (ALTER SESSION) ヒントによる 設 定 ALTER SESSION FORCE PARALLEL QUERY; ALTER SESSION FORCE PARALLEL DDL; INSERT /*+ APPEND */ INTO emp SELECT * FROM ext_emp; 外 部 表 を 使 用 した パラレル 処 理 の 例 ORACLE_LOADERアクセス ドライバは 制 約 があるので 注 意 文 字 の 境 界 が 文 字 列 中 の 任 意 のバイトで 始 まり 境 界 を 判 断 できないマルチバイト キャラクタ セット (SJIS EUC)を 含 む 可 変 長 データはパラレル 処 理 が 出 来 ません(UTF-8は 問 題 なし) SQL*Loaderは 事 前 に 外 部 ファイルを 分 割 する 必 要 があるため 手 間 がかかります 28

29 SQL*Loaderと 外 部 表 の 比 較 SQL*Loaderと 外 部 表 の 使 い 分 け SQL*Loaderに 適 した 処 理 ネットワークを 介 したデータのロード 複 合 オブジェクト リレーショナル データの 任 意 のロード セカンダリ ファイルを 使 用 したLOBおよびコレクションのロード 定 常 的 ではない 一 時 的 なローディング( 手 早 い) 基 本 的 には 外 部 表 を 使 用 したロードをおこないます 任 意 のSQL 関 数 を 利 用 した 変 換 処 理 ダイレクト パス インサート パラレル ロード(ファイル 分 割 不 要 ) 圧 縮 済 ファイルの 使 用 29

30 参 考 )SQL*LoaderによるLOBのロード LOB 値 を 別 ファイルから 読 み 込 むことができます LOAD DATA 制 御 ファイル INFILE test.dat INTO TABLE lob_tab TRUNCATE FIELDS TERMINATED BY WHITESPACE OPTIONALLY ENCLOSED BY '"' ( id integer external, ext_fname FILLER CHAR(10), blob_col lobfile(ext_fname) terminated by EOF ) 1 disk.bmp 2 book.bmp カレント フォルダに 存 在 すること データ ファイル:test.dat 30

31 Export/Import 31

32 Export/Importとは データベース 間 のデータ の 移 動 を 可 能 にします データベース 間 のデータ の 移 動 を 可 能 にしています エクスポート エクスポート 対 象 のオブジェクトを 抽 出 し OS 上 のファイルに 書 き 込 まれます 通 称 このOSファイルのことをダンプ ファイルと 呼 んでいます このダンプファイルはバイナリ 形 式 であり エクスポートインポート ユーティリティのみで 読 み 書 きがなされます FTPを 使 用 して 別 サイトに 転 送 または 物 理 的 に 移 送 (テープの 場 合 )できます インポート ダンプ ファイルからオブジェクトの 定 義 および 表 データを 読 み 込 みます 32

33 Export/Importの 用 途 論 理 バックアップの 取 得 Exportユーティリティで 論 理 バックアップを 取 得 します Importユーティリティを 使 用 して 再 インポート 可 能 です Backup Database Database 論 理 バックアップは 様 々な 状 況 で 物 理 バックアップを 補 足 するために 役 立 ちます ただ 論 理 バックアップをリストアするためには 物 理 バックアップを 再 構 築 して Oracleサーバーで 使 用 できるようにする 必 要 があります よって 論 理 バックアップは 物 理 バックアップを 補 うために 使 用 する 事 を 推 奨 します 33

34 Export/Importの 用 途 データベースのバージョンアップ ハードウェアが 老 朽 化 してきたから そろそろハー ドウェアのリプレイスをしないと このタイミングでOracle Databaseも バージョンアップしよう! バージョンアップするとなると データ を 移 行 する 必 要 があるな Export/Importでデータを 移 行 しよう! 34

35 Export/Importの 種 類 オリジナルのExport/Import expおよびimpコマンドで 起 動 するオリジナルの エクスポート ユーティリティおよびインポート ユーティリティです Oracle Database11g では 非 推 奨 ( 原 則 としてサポートされなくなりました) Data Pump Oracle Database10gから 搭 載 されたexpdpおよびimpdpコマンドで 起 動 する エクスポート ユーティリティおよびインポート ユーティリティです データのロード アンロードを 高 速 に 行 うことができます 35

36 オリジナルのExport/Import 概 要 図 Export Utility EXP Import Utility IMP Oracle Net xxx.dmp Oracle Net Oracle Database ダンプ ファイルは クライアント 側 に 格 納 されます 36

37 Data Pump 概 要 図 Export Utility EXPDP Import Utility IMPDP Oracle Net ダンプ ファイルは サーバー 側 に 格 納 されます Oracle Database Oracle Net PL/SQL Package Access Driver xxx.dmp EXPDP/IMPDP の 実 行 エンジン 37

38 オリジナルとData Pumpの 違 い オリジナルのExport/Importは 基 本 的 にユーティリティ 側 で 実 行 されるが Data Pumpはデータベース サーバー 側 で 実 行 されます サーバ 側 で 実 行 するData Pumpのメリット パラレル 化 が 可 能 APIにより 呼 び 出 しが 可 能 ジョブ 管 理 状 況 監 視 が 可 能 停 止 再 開 が 可 能 38

39 Export/Importの 起 動 次 のいずれかの 方 法 を 使 用 して Export/Importの 起 動 および パラメータの 指 定 ができます コマンドライン 対 話 方 式 モード(Oracle Enterprise Manager) 39

40 Export/Importを 使 用 する 前 に catexp.sqlまたはcatalog.sqlスクリプトの 実 行 スクリプトを 実 行 すると データベースはエクスポートおよび インポート 操 作 に 備 えて 調 整 されます Export/Importを 実 行 するデータベース 上 のSYSユーザーで1 回 実 行 しておく 必 要 があります 通 常 はデータベースの 作 成 時 にcatalog.sqlが 実 行 されているので 改 めて 実 行 する 必 要 はありません データ ディレクトリへの 必 要 なエクスポート ビューおよびインポート ビューの 作 成 EXP_FULL_DATABASEロールの 作 成 EXP_FULL_DATABASEおよびIMP_FULL_DATABASEロールへのすべての 必 要 な 権 限 の 割 当 て DBAロールへのEXP_FULL_DATABASEおよびIMP_FULL_DATABASEの 割 当 て インストールされているcatexp.sqlのバージョンの 記 録 40

41 Export/Importを 使 用 する 前 に 十 分 なディスク 領 域 の 確 認 実 際 にExport/Importを 実 行 するOS 上 のユーザーが エクスポート ファイルの 書 き 込 み 先 のディスク 上 またはテープ 上 に 十 分 な 記 憶 領 域 があることを 確 認 してください アクセス 権 限 の 確 認 Export/Importを 実 行 する 際 に 接 続 するデータベース ユーザには データベースに 対 するCREATE SESSION 権 限 が 必 要 です また 別 のユーザーが 所 有 する 表 をエクスポートする 場 合 は EXP_FULL_ DATABASEロールを 付 与 されている 必 要 があります 41

42 コマンドからのExport/Importの 起 動 次 のコマンドからExport/Importを 起 動 できます exp(imp) ユーザ 名 /パスワード エクスポートするモード ダンプファイル Ex. exp(imp) scott/tiger owner=oracle file=exp.dmp 表 モード ユーザー モード 表 領 域 モード 全 データベース モード 42

43 Export オリジナル Export Utility EXP EXPで 利 用 可 能 なモード expおよびimpコマンドで 起 動 する オリジナルのエクスポート ユーティリティ オリジナル モード 機 能 説 明 パラメータ フル データベース 全 体 のエクスポート FULL=y ユーザー 指 定 したユーザー 全 体 のエクスポート OWNER=user[, ] テーブル 指 定 したテーブル 全 体 のエクスポート TABLES=table[, ] テーブルスペース 指 定 したテーブルスペース 全 体 のエクスポート TABLESPACES=tablespace[, ] フル モードでの 注 意 点 SYSが 所 有 する オブジェクト およびORDSYS CTXSYS MDSYS およびORDPLUGINSスキーマは エクスポートされません 例 1: > exp scott/tiger full=y フルモード 例 2: > exp scott/tiger file=exp.dmp tables=(emp,dept) テーブルモード 43

44 エクスポートするオブジェクトを 指 定 します オブジェクトの 指 定 制 約 権 限 索 引 トリガーをエクスポートするか 指 定 します オリジナル 制 約 :CONSTRAINTS COMMAND > EXP scott/tiger TABLES=(wendy.emp) CONSTRAINTS=n 権 限 :GRANTS COMMAND > EXP scott/tiger TABLES=(wendy.emp) GRANT=n 索 引 :INDEXES COMMAND > EXP scott/tiger TABLES=(wendy.emp) INDEXES=n トリガー:TRIGGERS COMMAND > EXP scott/tiger TABLES=(wendy.emp) TRIGGERS=n デフォルトはすべて y になります 44

45 データの 一 貫 性 を 維 持 できるよう 指 定 します オリジナル CONSISTENT エクスポート ユーティリティによって 読 み 込 まれたデータのある 時 点 におけ る 一 貫 性 を 維 持 し expコマンドの 実 行 中 に 変 更 されないように 指 定 します CONSISTENT 指 定 COMMAND > EXP scott/tiger TABLES=(wendy.emp) CONSISTENT=y デフォルトはCONSISTENT=nです 注 意 : ユーザーSYSとして 接 続 しているとき またはAS SYSDBAを 使 用 しているとき (あるいはその 両 方 )に 実 行 するエクスポートでは CONSISTENT=yはサポートされません 45

46 2 人 のユーザーによる 更 新 時 のイベントの 順 序 オリジナル 時 系 列 ユーザA TABLE1の エクスポート 開 始 TABLE1の エクスポート 終 了 TABLE2の エクスポート 開 始 ユーザB TABLE1 TABLE2の 更 新 トランザクションのコミット CONSISTENT = n の 場 合 TABLE2の 更 新 は 書 き 込 まれますが TABLE1の 更 新 は 書 き 込 まれません CONSISTENT = y の 場 合 TABLE1 TABLE2の 更 新 ともに 書 き 込 まれません 読 み 取 り 一 貫 性 の 確 保 を 実 現 エクスポート 開 始 した 時 点 の 整 合 性 が 確 保 できている 状 態 で データをエクスポートできます 46

47 ダイレクト パス エクスポートの 使 用 を 指 定 します DIRECT 従 来 型 パス エクスポートに 比 べて 非 常 に 高 速 なダイレクト パス エクスポートの 使 用 を 指 定 します オリジナル COMMAND > EXP scott/tiger TABLES=(wendy.emp) DIRECT=y デフォルトはDIRECT=nです 注 意 : 次 の 場 合 は ダイレクトエクスポートは 使 用 できません 対 話 方 式 でのエクスポートの 起 動 表 領 域 モード( TRANSPORT_TABLESPACES=Y ) Queryパラメータの 指 定 ダイレクト パス ロードの 指 定 47

48 従 来 型 とダイレクト パス ロードの 違 い オリジナル 従 来 型 パス ロードによるエクスポート 1エクスポートの 実 行 2SELECT 文 発 行 評 価 バッファ 5 式 の 評 価 が 終 了 する と エクスポート ファイ ルに 書 き 出 さます 3データをディスクからバッファ キャッシュへ 読 み 込 み Oracle 専 用 の メモリ 領 域 4 行 はクライアント プロセ スにある 評 価 バッファに 転 送 します 48

49 従 来 型 とダイレクト パス ロードの 違 い オリジナル ダイレクト パス ロードによるエクスポート 1エクスポートの 実 行 評 価 バッファ 2データをディスクからバッファ キャッシュへ 読 み 込 み Oracle 専 用 の メモリ 領 域 3 評 価 バッファをバイパス し エクスポートファイルに 書 き 出 されます 評 価 バッファをバイパスするため 従 来 型 パス エクスポートに 比 べ 非 常 に 高 速 です 49

50 Import オリジナル Import Utility IMP impコマンドで 起 動 する オリジナルのインポート ユーティリティ オリジナル IMPでは EXPで 使 用 できたパラメータのほとんどを 利 用 することができます IMPでパラメータを 指 定 することにより EXPで 作 成 したダンプファイルからさらに 対 象 データを 絞 りこんでインポートすることが 可 能 です COMMAND > imp scott/tiger tables=emp,dept COMMAND > imp scott/tiger owner=wendy ダンプファイルからemp 表 と dept 表 のみをインポート ダンプファイルからwendyユーザー のオブジェクトをインポート 50

51 オブジェクト 作 成 エラーの 処 理 方 法 を 指 定 します オリジナル IGNORE IGNORE=yに 指 定 すると データベース オブジェクトの 作 成 時 に 作 成 エラー が 発 生 しても このエラーは 無 視 され エラーはレポートされずに 継 続 します COMMAND > IMP scott/tiger FILE=exp.dmp IGNORE=y エラーを 無 視 するよう 指 定 デフォルトはIGNORE=nです この 場 合 オブジェクト 作 成 エラーがログに 記 録 または 表 示 されて インポートが 停 止 します 表 がすでに 存 在 する 場 合 IGNORE=yを 指 定 すると 行 は 既 存 の 表 にインポートされます(エラー/メッセージは 出 力 なし) IGNORE=nを 指 定 すると エラーがレポートされ 表 は 行 が 挿 入 されないまま スキップされますまた 表 に 依 存 するオブジェクトは 作 成 されません 51

52 Data Pump とは Oracle Database10gから 導 入 されたユーティリティです Oracle Data Pumpテクノロジを 使 用 すると データおよびメタデータをデータベース 間 で 非 常 に 高 速 に 移 動 できます 利 用 方 法 expdp/impdpコマンド Oracle Enterprise Manager DBMS_DATAPUMP PL/SQLパッケージ その 他 外 部 表 などのエンジンとして 内 部 利 用 52

53 Data Pumpのここがすごい! ダイレクトパスAPIの 改 善 による 処 理 速 度 向 上 エクスポート:オリジナルのExportに 比 べて2 倍 高 速 インポート:オリジナルのImportに 比 べて15~40 倍 高 速 Oracle Data Pumpを 使 用 したら 速 くなった! Data Pumpは 大 量 データを 扱 う 大 きなジョブ 向 き! Data Pumpでは マスター 表 を 作 成 するためのオーバーヘッド によって 小 さなジョブは 遅 くなりますが 大 量 のデータを 高 速 に 処 理 することは 中 大 規 模 なジョブにとって 大 きなメリットとなり ます! 53

54 パフォーマンス 検 証 環 境 Sun Enterprise MHz * 4CPU 4GB Memory 検 証 結 果 800 従 来 型 エクスポートと Data Pump エクスポートの 処 理 時 間 比 較 秒 検 証 内 容 索 引 の 張 られていないテーブル(53partitions21,000,000rows)を 用 いてData Pumpを 使 ったエクスポート インポートと 従 来 のものとを 比 較 する 作 成 されるダンプファイルは1.15GB 従 来 型 インポートと Data Pump インポートの 処 理 時 間 比 較 秒 exp expdp expdp(2p) expdp(4p) 0 imp impdp impdp(2p) impdp(4p) 従 来 エクスポートに 比 べ Data Pump は2パラレルで 約 9 分 の1の 処 理 時 間!! 従 来 インポートに 比 べ Data Pump は4パラレルで 約 13 分 の1の 処 理 時 間!! 54

55 Export/Import 出 力 先 ディレクトリの 指 定 Data Pump Data Pumpではクライアントではなくサーバーにより 書 き 込 みが 行 われるため 処 理 を 行 うディレクトリ 位 置 が 特 定 されている 必 要 があります ダンプファイルを 出 力 するディレクトリに 対 して DB 上 でディレクトリオブジェクトを 作 成 します 実 行 時 には ディレクトリオブジェクトをDIRECTORYパラメータで 指 定 します SQL > CREATE DIRECTORY DPUMP_DIR1 AS /home/oracle/oradata/dpump_dir ; SQL > GRANT READ, WRITE ON DIRECTORY dpump_dir1 TO scott; COMMAND > expdp scott/tiger tables=emp,dept directory=dpump_dir1 パラメータでディレクトリを 指 定 していない 場 合 OS 環 境 変 数 DATA_PUMP_DIR なければ ディレクトリオブジェクト DATA_PUMP_DIR が 参 照 されます 環 境 変 数 の 設 定 COMMAND > set DATA_PUMP_DIR=DPUMP_DIR1; export DATA_PUMP_DIR COMMAND > expdp scott/tiger schemas=scott ディレクトリオブジェクト 作 成 権 限 付 与 55

56 Export Data Pump Export Utility EXPDP EXPDPで 利 用 可 能 なモード オリジナルのexportと 同 様 の 操 作 性 をもった エクスポートユーティリティ モード 機 能 説 明 パラメータ フル データベース 全 体 のエクスポート FULL=y スキーマ 指 定 したスキーマ 全 体 のエクスポート SCHEMAS=schema[, ] テーブル 指 定 したテーブル 全 体 のエクスポート TABLES=table[, ] テーブルスペース 指 定 したテーブルスペース 全 体 のエクスポート TABLESPACES=tablespace[, ] Data Pump 例 1: > expdp scott/tiger full=y フルモード 例 2: > expdp scott/tiger dumpfile=exp.dmp tables=emp,dept テーブルモード 56

57 data pumpによるデータの 移 動 方 法 データ ファイル コピーを 使 用 したデータ 移 動 (Transportable Tablespace) ダイレクト パスを 使 用 したデータ 移 動 外 部 表 を 使 用 したデータ 移 動 従 来 型 パスを 使 用 したデータ 移 動 ネットワーク リンク インポートを 使 用 したデータ 移 動 NETWORK_LINKインポート パラメータ 注 意 :データ ポンプでは 無 効 な 一 意 索 引 を 持 つ 表 は ロードされません データを 表 にロードするには その 索 引 を 削 除 するかまたは 再 度 有 効 にする 必 要 があります 57

58 フィルタ 処 理 を 行 います INCLUDE / EXCLUDE フィルタ 処 理 を 行 い エクスポートの 対 象 となるオブジェクトを 細 かく 設 定 する ことができます エクスポートの 対 象 オブジェクトをINCLUDEパラメータで 指 定 します COMMAND > expdp scott/tiger include=table Data Pump COMMAND > expdp scott/tiger include=index エクスポートの 対 象 から 除 外 するオブジェクトをEXCLUDEパラメータで 指 定 します COMMAND > expdp scott/tiger exclude=index:\ LIKE \ EMP%\ \ 空 白 等 を 区 切 り 文 字 にしないためにダブルクオーテーションが 必 要 です が OSによってはエスケープ 文 字 が 必 要 となります 従 って 通 常 はパラメー タを 記 述 したファイルを 読 み 込 ませると 便 利 です LIKEやINを 指 定 するこ とも 可 能 です INCLUDEとEXCLUDEパラメータは 排 他 的 で 同 時 に 指 定 できません 58

59 データのフィルタ 処 理 を 行 います QUERY / SAMPLE フィルタ 処 理 を 行 い エクスポートの 対 象 となるデータを 細 かく 設 定 することが できます エクスポート 対 象 表 のセットから 行 のサブセットを 選 択 できます 例 : 職 種 がSALESMANで 給 与 が1600より 少 ない 従 業 員 のみをエクスポートする 場 合 Data Pump COMMAND > expdp scott/tiger TABLES=emp QUERY=\"WHERE job=\'salesman\' and sal \<1600\" サンプリングしてソース データベースからアンロードするデータ 行 の 割 合 を 指 定 できます 例 :SCOTTのEMP 表 の50%がエクスポートされます COMMAND > expdp scott/tiger tables=emp SAMPLE= SCOTT"."EMP":50 59

60 ファイルサイズを 指 定 します FILESIZE 各 ダンプ ファイルがそのサイズを 上 限 とし 置 換 変 数 (%U)を 持 つテンプレー トを 指 定 していてダンプ ファイルを 分 割 します サイズが3MBのダンプ ファイルを 設 定 する COMMAND > expdp hr DIRECTORY=dpump_dir1 DUMPFILE=hr_3m.dmp FILESIZE=3MB 3MBでもすべてのエクスポート データを 保 持 するのに 十 分 でなかった 場 合 次 のエラーが 表 示 され ジョブは 中 止 されます ORA-39095: Dump file space has been exhausted: Unable to allocate bytes ファイル 指 定 に 置 換 変 数 が 含 まれている 場 合 は 新 しいファイルが 作 成 されます COMMAND > expdp hr DIRECTORY=dpump_dir1 DUMPFILE=hr_3m%U.dmp FILESIZE=3MB Data Pump キロバイト(KB) メガバイト(MB) ギガバイト (GB)を 付 けて 指 定 する 事 もできます 60

61 フラッシュバック モードを 指 定 します FLASHBACK_SCN / FLASHBACK_TIME 指 定 したSCNもしくは 時 刻 における 一 貫 性 を 維 持 したデータの エクスポートが 可 能 です Data Pump ある 時 刻 における 一 貫 性 を 維 持 したデータをエクスポートするために FLASHBACK_TIMEパラメータを 指 定 します COMMAND > cat parfile.txt FLASHBACK_TIME= TO_TIMESTAMP( 2004/03/20 10:00, YYYY/MM/DD HH:MI ) COMMAND > expdp scott/tiger parfile=parfile.txt 時 刻 指 定 TO_TIMESTAMP()で 時 刻 を 指 定 エスケープ 文 字 が 必 要 となるので パラ メータファイルで 指 定 あるSCNにおける 一 貫 性 を 維 持 したデータをエクスポートするために FLASHBACK_SCNパラメータを 指 定 します COMMAND > expdp scott/tiger flashback_scn= SCN 指 定 61

62 パラレル エクスポートを 指 定 します PARALLEL エクスポート 処 理 をパラレルで 行 うことが 可 能 です Data Pump 要 Enterprise Edition 並 列 度 をPARALLELパラメータで 指 定 します 出 力 先 ディレクトリをそれぞれ 指 定 することも 可 能 です COMMAND > expdp scott/tiger parallel=3 dumpfile=dpump_dir1:expdat%u.dmp, dpump_dir2%u.dmp COMMAND > ls lr dpump_dir1:.expdat01.dmp.expdat02.dmp dpump_dir2:.expdat01.dmp 生 成 されたダンプ ファイルセットの 確 認 置 き 換 え 変 数 (%U)を 指 定 しない 場 合 dumpfileのファイル 数 はparallelの 値 に 合 わせる 必 要 があります 指 定 している 場 合 指 定 されたファイル 指 定 がラウン ドロビンに 使 用 されます 並 列 度 の 指 定 62

63 ダンプファイルのサイズの 見 積 もります ESTIMATE ダンプファイルを 生 成 せず 生 成 されるダンプファイルのサイズを 見 積 もることが 可 能 です Data Pump 見 積 もりのモードをESTIMATEパラメータで 指 定 します パラメータ 値 には 次 のどちらかを 設 定 します BLOCKS ブロックサイズにオブジェクトのブロック 数 をかけて 見 積 もります ( 精 度 は 高 くありません) STATISTICS 統 計 情 報 を 元 に 見 積 もります 見 積 もりのみ 出 力 する 場 合 には ESTIMATE_ONLY=yを 指 定 します COMMAND > expdp scott/tiger tables=emp,dept estimate=blocks estimate_only=y 63

64 見 積 もり 実 行 例 実 際 にデータを 作 成 し(40 万 行 2GB) 見 積 もりの 精 度 を 計 測 しましたdbms_statsはサンプル100%でかけてます BLOCKS STATISTICS 確 認 COMMAND > expdp scott/tiger tables=test estimate=blocks estimate_only=y Estimate in progress using BLOCKS method... Processing object type TABLE_EXPORT/TABLE/TBL_TABLE_DATA/TABLE/TABLE_DATA. estimated SCOTT". TEST" GB Total estimation using BLOCKS method: GB COMMAND > expdp scott/tiger tables=test estimate=statistics estimate_only=y Estimate in progress using STATISTICS method... Processing object type TABLE_EXPORT/TABLE/TBL_TABLE_DATA/TABLE/TABLE_DATA. estimated SCOTT". TEST" GB Total estimation using STATISTICS method: GB 約 1.948GB マスターテーブルの 容 量 が 見 積 もり COMMAND > ls l に 入 らないため その 分 は 考 慮 する expdat.dmp 必 要 があります Data Pump 64

65 Tips Oracle RAC 構 成 でdata pumpまたは 外 部 表 を 使 用 するには ディレクトリ オブジェクトのパス がクラスタ ファイル システム 上 に 存 在 するようにする 必 要 があります この 目 的 で 使 用 できる 共 有 ストレージが 構 成 内 にない 場 合 にも 並 列 処 理 が 必 要 であれば CLUSTER=noパラメータを 使 用 して すべてのワーカー プロセスを data pumpジョブが 開 始 されたイ ンスタンスのみに 置 くことができます ASMを 使 用 可 能 にした 場 合 のディレクトリ オブジェクトの 使 用 方 法 SQL> CREATE or REPLACE DIRECTORY dpump_dir as '+DATAFILES/ ; ログ ファイル 用 の 個 別 のディレクトリ オブジェクトの 作 成 SQL> CREATE or REPLACE DIRECTORY dpump_log as '/homedir/user1/ ; 使 用 例 > expdp hr DIRECTORY=dpump_dir DUMPFILE=hr.dmp LOGFILE=dpump_log:hr.log 65

66 Import Data Pump Import Utility IMPDP 9i までのインポートツールと 同 様 の 操 作 性 を もった 新 インポートユーティリティ IMPDPでは EXPDPで 使 用 できたパラメータのほとんどを 利 用 することができます IMPDPでパラメータを 指 定 することにより EXPDPで 作 成 したダンプファイルからさらに 対 象 データを 絞 りこんでインポートすることが 可 能 です COMMAND > impdp scott/tiger tables=emp,dept COMMAND > impdp scott/tiger include=index ダンプファイルからemp 表 と dept 表 のみをインポート Data Pump ダンプファイルから 索 引 のみをインポート 66

67 ネットワーク リンクを 使 用 します NETWORK_LINK Data Pump データベース リンクを 使 用 して リモートデータベースから 直 接 ローカルデー タベースにインポートを 行 うことができます 参 考 :エクスポートのネットワーク リンク 指 定 は リモートデータベースのデータ をローカルにエクスポートする 機 能 です インポートの 場 合 には 直 接 ローカル データベースに 書 き 込 むので ダンプファイルを 作 成 しません 接 続 するリモートデータベースを NETWORK_LINKパラメータで 指 定 します 指 定 する 値 はデータベース リンク 名 です COMMAND > impdp scott/tiger tables=emp,dept directory=dpump_dir network_link=scott.jp.oracle.com DB LINKの 指 定 67

68 知 っておきたい 便 利 な 使 い 方 68

69 複 数 の 表 をExportし データのみをImportしたい 複 数 の 表 をExportし データのみ をImportしたいが 外 部 キーが 多 数 あり 整 合 性 制 約 に 違 反 してし まう オリジナル / Data Pump 以 下 のように 関 連 する 参 照 整 合 性 制 約 を disableし Import 後 に 参 照 整 合 性 制 約 を enable にすると エラーを 解 消 できます COMMAND> expdp system/manager ; SQL> alter table emp disable constraint emp_no_fk ; 関 連 するすべての 参 照 整 合 性 約 をdisableに 設 定 します COMMAND> impdp system/manager ; SQL> alter table emp enable constraints emp_no_fk ; 関 連 するすべての 参 照 整 合 性 約 をenableに 設 定 します 69

70 Exportダンプから 一 部 データを 取 り 出 す 方 法 オリジナル / Data Pump 誤 って 一 部 データをdeleteし commit してしまった!! エクスポートのダンプ ファイル から 取 り 出 したい SQL> delete from oradirect.emp where emp_id=100; SQL> commit; 以 下 のように 削 除 したデータを エクスポートのダンプ ファイルより 取 り 出 せます! COMMAND> impdp system/manager remap_schema=oradirect:dummy SQL> insert into oradirect.emp select * from dummy.emp where emp_id=100; SQL> drop table dummy.emp 注 )エクスポートした 時 点 のデータと 削 除 したデータが 一 致 するかは 不 明 であるため この 例 の 場 合 emp_id=100のデータに 関 して エクスポート 時 と 誤 って 削 除 した 時 が 同 じであったことを 前 提 と しています 70

71 索 引 作 成 文 を 受 け 取 る 方 法 -オリジナル- オリジナル Option デフォルト 用 途 使 用 例 INDEXFILE なし 索 引 作 成 文 を 受 け 取 るファイルを 指 定 します imp scott/tiger TABLES=(wendy.emp) INDEXFILE= index.txt エクスポート ファイルの CREATE TABLE 文 もコメ ントとして 含 まれます! 71

72 さらにData PumpではすべてのSQL 文 を 受 け 取 れます Option デフォルト 用 途 使 用 例 SQLFILE なし インポートが 他 のパラメータに 基 づいて 実 行 するすべてのSQL DDLの 書 込 み 先 の ファイルを 指 定 します impdp scott/tiger TABLES=(wendy.emp) SQLFILE= index.txt 注 意 : パスワードは SQLファイルに 含 まれないことに 注 意 してください たとえば 実 行 したDDLにCONNECT 文 が 含 まれている 場 合 その 文 はコメントで 置 き 換 えられ スキーマ 名 のみが 表 示 されます 例 :TEST_TABLE 表 をインポートする 際 のSQLFILEを 受 け 取 る 場 合 impdp oradirect/oradirect dumpfile=test_table.dmp tables=test_table sqlfile=sqlfile.txt Data Pump 72

73 SQLFILEの 一 例 Data Pump さらにINSERT 文 も 確 認 する 事 ができます CREATE TABLE 文 や CREATE INDEX 文 を 確 認 する 事 ができます 73

74 Data Pump 11g 新 機 能 を 活 用! Data Pump 圧 縮 COMPRESSION={ALL DATA_ONLY METADATA_ONLY NONE} NONE...エクスポート 操 作 全 体 について 圧 縮 が 無 効 METADATA_ONLY(default)... 全 ての メタデータ が 圧 縮 形 式 でダンプ ファイルへ 書 き 込 み ( 以 下 の 操 作 はAdvanced Compressionオプションが 必 要 ) DATA_ONLY... 全 ての データ が 圧 縮 形 式 でダンプ ファイルへ 書 き 込 み ALL...データ メタデータともに 圧 縮 Data Pump データやメタデータを 圧 縮 してダンプファイルにエクスポートできる Advanced Compression Option ( 例 )スキーマを 指 定 し メタデータ データともに 圧 縮 してダンプ ファイルscott.dmpへエクスポート $ expdp scott/tiger DIRECTORY=dpump_dir DUMPFILE=scott.dmp COMPRESSION=ALL SCHEMAS=scott 74

75 Data Pump 11g 新 機 能 を 活 用! Data Pump 暗 号 化 データやメタデータを 暗 号 化 してダンプファイルにエクスポートできる ENCRYPTION = {ALL DATA_ONLY ENCRYPTED_COLUMNS_ONLY METADATA_ONLY NONE} ALL:すべてのデータおよびメタデータについて 暗 号 化 が 有 効 DATA_ONLY:データのみが 暗 号 化 ENCRYPTED_COLUMNS_ONLY: 暗 号 化 された 列 のみが 暗 号 化 される METADATA_ONLY:メタデータのみが 暗 号 化 NONE:データは 暗 号 化 されない ( 例 )ダンプ ファイルでデータのみが 暗 号 化 されるエクスポート 操 作 $ expdp scott/tiger DIRECTORY=dpump_dir DUMPFILE=scott_enc.dmp SCHEMAS=scott ENCRYPTION=data_only ENCRYPTION_PASSWORD=tiger Data Pump Advanced Security Option 75

76 まとめ Oracle Databaseにおいて2 種 類 のテキスト ファイルからのデータ ロード 方 法 があります SQL*Loader 外 部 表 を 使 用 したローディング SQL*Loaderは 以 前 のバージョンから 提 供 されており 馴 染 み 深 いのですが 現 在 は 外 部 表 の 利 用 が 主 流 です 外 部 表 を 利 用 することでデータ ロードをSQLで 柔 軟 におこなえます エクスポート インポートの 種 類 は2 種 類 オリジナルのExport/ImportとData Pump Oracle Database 10gからはData Pumpを 使 用 する Oracle Database 10g 以 前 のバージョンからデータを 移 行 する 場 合 は オリジナルのエクスポート インポートを 使 用 する ダイレクト パス ロードで 高 速 な 移 行 を 実 現 Optionコマンドを 使 って 最 適 なExport/Importを 実 現 Advanced Compressionで 圧 縮 して 高 速 化 を 実 現 セキュリティを 高 めたいなら Advanced Security 76

77 Appendix HWMを 下 げるオペレーション 77

78 参 考 )ダイレクト ロードとHWM ハイウォーターマーク(HWM)とは テーブルに 割 り 当 てたブロックの 中 で いままでデータが 挿 入 されたことのある 最 後 尾 のブロック ハイウォーターマーク(High Water Mark): 高 水 位 標 データ 格 納 済 ブロック 空 き ブロック データ 格 納 済 ブロック データ 削 除 空 き ブロック 空 き ブロック HWM HWM テーブルのフルスキャン 時 にはHWMまで 読 み 取 ります メリット:テーブルの 大 きさに 対 してデータ 量 が 少 ない 場 合 高 速 に 検 索 できる デメリット: 大 量 削 除 などでHWM 以 前 の 空 きが 多 い 場 合 実 レコード 数 に 比 較 して 時 間 がかかる テーブルのフルスキャン 空 き ブロック テーブルのフルスキャン 空 き ブロック HWM HWM 78

79 参 考 )ダイレクト ロードとHWM ダイレクト ロードの 書 込 み ダイレクト ロードはHWMの 後 ろにデータを 書 き 込 みます ブロック イメージを 作 成 し 直 接 物 理 的 に 書 き 込 む 為 使 用 中 の ブロックを 利 用 しません ダイレクト ロードは 書 込 み 速 度 は 速 いが 利 用 できない 空 き 領 域 (HWMよりも 前 の 空 き 領 域 )がでてきます データ 格 納 済 ブロック 空 き ブロック ダイレクト ロードによる データ 書 込 み 開 始 ブロック HWM データ 削 除 が 頻 繁 に 発 生 する 表 にダイレクト ロードを 行 う 際 はHWMを 下 げるような 運 用 も 検 討 します 79

80 HWMを 下 げるオペレーション 業 務 的 に 対 象 表 にアクセスさせない 状 態 で 実 施 1. 論 理 バックアップユーティリティ(EMP/IMP) + 元 表 削 除 (DROP) 2. CREATE AS SELECT + TRUNCATE + INSERT SELECT 3. CREATE AS SELECT + 元 表 削 除 (DROP) + RENAME 4. ALTER TABLE < 表 名 > MOVE TABLESPACE < 表 領 域 名 >) 索 引 等 のメンテナンスも 必 須 オンライン 状 態 で 実 施 1. オンライン 表 再 定 義 (Enterprise Edition 機 能 ) 2. オンライン セグメント 縮 小 ( 標 準 機 能 ) 80

81 HWMを 下 げるオペレーション オンライン セグメント 縮 小 オンライン セグメント 縮 小 業 務 でテーブルを 利 用 中 でもセグメント 縮 小 が 可 能 自 動 セグメント 領 域 管 理 (ASSM)のみ 利 用 可 能 空 き 領 域 HWM データの 移 動 HWMの 移 動 領 域 の 解 放 ALTER TABLE < 表 名 > ENABLE ROW MOVEMENT; ALTER TABLE < 表 名 > SHRINK SPACE[CASCADE]; 81

82 Appendix Oracle Database からの CSVアンロード 82

83 なぜCSVでロード / アンロードしたいのか? RDBMS 製 品 間 のデータ 交 換 Oracle Database から 他 社 RDBMSへ 他 社 RDBMSから Oracle Database へ 業 務 処 理 ( 本 番 環 境 )としてデータ 交 換 を 行 なっている 検 証 開 発 用 にデータをベンダーに 提 供 する 83

84 CSVロード / アンロードに 関 する 問 題 CSVはフォーマット エラーが 発 生 しやすい ローディングが 行 えず PoCが 始 まらない Oracle Database には CSVアンローダーが 存 在 しない どのような 手 法 でアンロードするかが 性 能 に 大 きく 影 響 する CSVフォーマット エラーが 発 生 しやすい 84

85 CSVフォーマットとは 狭 義 では CSV = Comma-Separated Values [RFC4180] フィールド 終 端 :, レコード 終 端 : CRLF 広 義 では CSV = Character-Separated Values フィールド 終 端 とレコード 終 端 が 特 定 の 文 字 狭 義 のCSVを 使 いがちだが ほとんどのソフトウェアが 広 義 のCSVに 対 応 している 狭 義 のCSVはフォーマット エラーを 起 こしやすい 85

86 フォーマット エラーの 例 データにフィールド 終 端 が 含 まれている abc def 1,234 uvw xyz 7,890 abc,def,1,234 uvw,xyz,7,890 2 列 に 分 割 されてしまっている abc def uvw xyz

87 正 しい 対 応 例 終 端 記 号 をデータに 含 まれない 文 字 にする 例 )フィールド 終 端 : タブ(^I) abc^idef^i1,234 uvw^ixyz^i7,890 タブ 区 切 りテキスト (TSV) は Microsoft Excel 含 め 対 応 ソフトウェアが 多 いので 利 用 しやすい 注 意 : ユーザーが 自 由 入 力 できるアプリケーション (textarea 要 素 を 含 むWebアプリケーションなど)では データにタブが 含 まれることが 少 なくない 87

88 ORACLE_LOADERの 場 合 の 最 適 な 対 応 例 終 端 記 号 にマイナーなASCII 制 御 文 字 を 使 用 する ORACLE_LOADERドライバー(SQL*Loader 含 む)は ASCII 制 御 文 字 を 含 むあらゆる 文 字 に 対 応 できる 例 )フィールド 終 端 : ユニット 分 離 標 識 (^_) レコード 終 端 : レコード 分 離 標 識 (^^) abc^_def^_1,234^^uvw^_xyz^_7,890 マイナーなASCII 制 御 文 字 がデータに 含 まれている 確 率 はほぼゼロ Vimでは Ctrl + V Ctrl + ^ でASCII 制 御 文 字 を 入 力 可 能 制 御 ファイルでは DELIMITED BY X'1E' のように16 進 数 指 定 も 可 能 88

89 誤 った 対 応 例 エンクロージャでは 解 決 できない エンクロージャ " を 追 加 する "abc","def","1,234" データに " は 含 まれていないか? 含 まれている エラー "abc","def","1'23"" データに " が 含 まれていないことが 確 実 なのであれば フィールド 終 端 を " にするだけで 解 決 abc"def"1,234 89

90 ORACLE_LOADERの 場 合 の 間 違 いやすい 対 応 例 1 エンクロージャをつけても レコード 終 端 はデータに 含 められない ORACLE_LOADERドライバー(SQL*Loader 含 む)は エンクロージャを 使 ってもデータにレコード 終 端 を 含 められない 例 )フィールド 終 端 :, レコード 終 端 : 改 行 エンクロージャ: abc, def, エラー: 2 番 目 の 囲 み 文 字 列 がありません 可 変 レコード 形 式 (VAR) を 使 った 対 応 方 法 もあるが レコード 終 端 を 改 行 から 別 のASCII 制 御 文 字 に 変 更 したほうが 簡 単 90

91 ORACLE_LOADERの 場 合 の 間 違 いやすい 対 応 例 2 エスケープ 文 字 は 使 用 できない ORACLE_LOADERドライバー(SQL*Loader 含 む)は エスケープ 文 字 でフィールド 終 端 とレコード 終 端 を 無 効 化 できない 例 )フィールド 終 端 :, レコード 終 端 : 改 行 abc,def,1\,234 uvw,xyz,78\ 単 なる 文 字 として 扱 われる 90 abc def 1\,234 uvw xyz 78\ 90 91

92 ORACLE_LOADERの 場 合 の 間 違 いやすい 対 応 例 3 文 字 列 にしても 解 決 できない ORACLE_LOADERドライバー(SQL*Loader 含 む)は 文 字 列 に 対 応 できるが これで 常 に 解 決 できるわけではない 例 )フィールド 終 端 :,, abc,,def,,1,234 一 見 良 さそう uvw,,xy,,,7,890 想 定 外 の 区 切 り uvw xy,7,890 区 切 りがずれている 92

93 正 しいアプリケーション 実 装 終 端 記 号 にマイナーなASCII 制 御 文 字 を 使 用 できないシステムでは 少 なくとも2 個 の 印 字 可 能 文 字 は データに 含 まれないように RDBMSからの 入 力 時 / RDBMSからの 出 力 時 に 置 き 換 える ISO10646 文 字 実 体 参 照 :,, SQLインジェクション 対 策 に 合 わせて 実 装 する 93

94 94

95 95

96 SLC Total Solution システムライフサイクル 全 般 にわたるソリューションをご 提 供 弊 社 Oracle 事 業 と DBエンジニアによる 人 的 サポートのご 紹 介 NSソリューションズ 西 日 本 ソリューション 事 業 部 Oracle PSSグループ シニア セールスマネージャ 笹 井 健

97 SLC Total Solution 弊 社 Oracle 事 業 と DBエンジニアによる 人 的 サポートのご 紹 介 97

98 八 幡 製 鉄 所 システム 部 門 をルーツとする 歴 史 SLC Total Solution 八 幡 製 鉄 ( 株 ) 新 日 本 製 鐵 ( 株 ) 新 日 鉄 情 報 通 信 システム( 株 ) 新 日 鉄 ソリューションズ システム 部 70 新 日 鐵 発 足 八 幡 製 鐵 所 システム 開 発 室 88 エニコム 設 立 エニコム 西 日 本 支 社 エニコム システム 西 日 本 2001 NSSOL 設 立 NSSOL 西 日 本 支 社 NSソリューションズ 西 日 本 新 日 鉄 住 金 ソリューションズ 2013 システム 技 術 への 取 り 組 みの 歴 史 は 1961 年 ( 昭 和 36 年 ) 八 幡 製 鉄 所 への 大 型 計 算 機 導 入 から 半 世 紀 を 超 える 98

99 NSソリューションズ とオラクル 社 の 関 係 主 要 受 賞 実 績 SLC Total Solution 2006 年 : Partner of the Year - 日 本 オラクルのビジネスに 最 も 貢 献 したパートナー Showcase of the Year - 先 進 的 かつ 優 れた 採 用 事 例 を 構 築 したパートナー 企 業 Sales of the Year - 最 も 大 きな 案 件 を 受 注 した 営 業 社 員 Support analyst of the Year- 高 度 な 専 門 知 識 を 持 ってサポートサービスに 最 も 貢 献 したサポート アナリスト 2007 年 : Excellent Partner 10 年 連 続 受 賞 - 日 本 オラクルの 製 品 やサービスの 売 上 げにおいて 最 も 貢 献 したパートナー BI of the Year -BIビジネスに 最 も 貢 献 したパートナー 2008 年 : Technology Business Award BI Award -BI 関 連 ビジネスで 最 も 貢 献 したパートナー Industry Award Retail Sector/Technology Award - 流 通 サービス 業 界 のビジネスで 最 も 貢 献 したパートナー 2009 年 : Technology Business Award 2009 Business Intelligence Award ~BIビジネスにおいて 最 も 貢 献 したパートナー 2010 年 :Cloud Platform Award 先 進 的 なクラウド 基 盤 ソリューションの 提 供 に 最 も 貢 献 したパートナー 2011 年 :Support Partner of the Year サポートビジネスの 成 長 に 最 も 貢 献 したパートナー Oracle Database との 関 わり 79 Oracle2 米 国 オラクル Oracle4 読 取 り 一 貫 性 Oracle5 パラレルサーバ 戦 略 的 提 携 契 約 1991 年 Oracle6 行 レベルロック 新 日 本 製 鐵 ( 現 新 日 鐵 住 金 ) Oracle7 スタンバイDB パラレル クエリ アドバンスト レプリケーション Oracle8 レンジ パーティション パラレルDML AQ Oracle8i ハッシュ/ コンポジット パーティション マテビュー Java/XML 対 応 Oracle9i Real Application Clusters Data Guard XML DB 9i OLAP Oracle 10g Grid Control Transparent Data Encryption Automatic Storage Management ADDM Oracle 11g Exadata Real Application Testing Advanced Compression ODA Multitenant Plug into the Cloud Big Data for the Enterprise 13 99

100 NSソリューションズ 西 日 本 のサポート 体 制 九 州 地 場 のSE 体 制 自 社 直 営 SEサポート 体 制 SLC Total Solution お 客 様 障 害 コール お 問 合 せ 対 応 九 州 福 岡 地 場 での 営 業 SEフォロー SEEFO CU S ( N SSOLグループ 直 営 のサポート ) 受 付 窓 口 担 当 アサイン 1 st Line エンシ ニア NS Solutions カスタマーサポートセンター 連 携 2 nd Line 日 本 Oracle 米 国 Oracle 本 社 NSソリューションズ 西 日 本 NSソリューションズ 西 日 本 の オラクルグループのメンバー SE7 名 営 業 2 名 ( 全 員 福 岡 県 内 に 常 駐 ) NSソリューションス 西 日 本 グループ 全 体 売 上 60.6 億 円 売 上 ( 連 結 ) 1,720 億 円 従 業 員 数 272 人 従 業 員 数 ( 連 結 ) 4,985 人 (2013 年 3 月 期 ) サポート メニュー 仮 想 環 境 構 築 簡 易 版 仮 想 環 境 アセスメント 仮 想 環 境 構 築 支 援 データベース 構 築 DB 物 理 設 計 支 援 DB 構 築 支 援 バックアップ 環 境 構 築 支 援 移 行 支 援 チューニング 支 援 データベース 維 持 運 用 年 2 回 の 定 期 診 断 ( 稼 動 状 況 評 価 ) 年 4 回 の 定 期 診 断 ( 稼 動 状 況 評 価 ) ORACLE 保 守 サービス 100

101 ＮＳソリューションズ西日本のOracle新技術 製品事例 SLC Total Solution Exadata を 顧客ビジネス拡大に向けたソリューションとして適用 顧客課題 解決策 コンテンツやメニューの拡大でＤＢ負荷増 応答劣化を懸念 Exadata を採用 高速処理を活用し 増加コンテンツ用をサブＤＢへ OracleGoldenGateを採用 既存DB性能を損なわず DB間を連携 既存Oracle RAC サブDB 増加コンテンツ対応 Exadata X2-2 X3 Eighth) Exadataの高速化テクノロジー ストレージとサーバ間を40Gbit/secの 超高速ｽｲｯﾁInfiniBandで結ぶ アクセス頻度の高いデータは Smart Flash Cacheで高速キャッシュ 個々のディスクストレージに データベース検索機能を持たせ 検索結果のみをDBサーバーに転送 将来はExadataへの一元統合も 101

102 お 客 様 のDBエンジニア 様 との 技 術 交 流 SLC Total Solution NS 西 日 本 Oracleメールマガジン 絶 賛 配 信 中! SEのお 客 様 向 けにトラブル 対 応 事 例 や 対 策 ナレッジをメルマガで 提 供 しています バージョン 移 行 障 害 9i 現 象 11.1から AUDIT_TRAIL=DBがデフォルトとなっている 為 そのまま 稼 動 させると SYS.AUD$ が 肥 大 化 する バージョン 移 行 障 害 対 策 ############## 現 象 ルールベース オプティマイザから コストベース オプティマ イザに 変 更 した 際 一 部 のSQLで 性 能 劣 化 が 発 生 対 策 ############## 購 読 ご 希 望 の 方 は 本 日 の アンケートでお 申 し 込 み 下 さい バージョン 移 行 障 害 現 象 以 降 で 適 用 されているBUG: (ID ) 修 正 の 影 響 で OPTIMIZER_MODEにFIRST_ROWS_n を 指 定 し 且 つ ROWNUM 条 件 指 定 を 行 ったSQLで 性 能 劣 化 が 発 生 ( 元 々1~2 秒 の 処 理 性 能 だったものが 数 十 秒 に 遅 延 ) 対 策 ############## ( 毎 月 1 回 発 行 予 定 ) 102

103 SLC Total Solution 21 世 紀 のソリューションがここにあります 本 ご 提 案 に 関 するお 問 合 せは 株 式 会 社 NSソリューションズ 西 日 本 ソリューション 事 業 部 営 業 統 括 グループ オラクル PSSグループ TEL FAX 担 当 : 笹 井 健 (ささい けん) 103