マルチ・スレッド・アンローダーの紹介

Size: px

Start display at page:

Download "マルチ・スレッド・アンローダーの紹介"

ともみはまもり
5 years ago
Views:

1 マルチスレッドアンローダー Oracle 用高速 CSV 出力ツール製品紹介サイト開発 / 販売 : 株式会社プラムシックス 1

2 アンローダーの用途論理バックアップ物理 (RMAN) バックアップのみでは回復できない (*1) プログラムのバグやヒューマンエラーによるデータ消失に対する備えシステム間インターフェースホストコンピュータによるバッチ処理帳票出力へのデータ供給データ移行限られた時間内での速やかなデータ移動 ( 精度の高い所要時間見積 ) システムテストデータの準備条件を変えて繰返しテストする為データセットの容易で迅速な巻き戻しデータ比較 / 分析 NoSQL を使ってリソース集約的な計算を行う為のデータステージング表や索引のチューニング逆順キーの追加や行移行により生じた非効率な領域使用の解消 2 *1: 但しフラッシュバックデータベースやフラッシュバックトランザクション等 Enterprise Edition で利用できる有償オプションあるいは Point in-time Recovery を使うと回復できる場合があります

3 汎用化と大量データ対応への課題読取り一貫性 ( 分離レベル ) 大量データのアンロードは時間が掛かります開始と終了の間にトランザクションがあった場合デフォルトの設定では問合せ相互の読取り一貫性が保たれません整合性制約索引データベーストリガー REDO ログの発生上記はアンロードしたデータを再ロードする際の所要時間長期化や空き領域を逼迫させる原因ですこれらを回避するには Oracle Database の専門的な知識が要求されますデータ用途の多様性さまざまなアプリケーションへの入力にアンロードデータを使いたい場合には書式や入出力方法を自由に選べると便利ですデータ型の多様性 LOB やタイムスタンプ型間隔型といった比較的新しくサポートされた Oracle データ型にも対応できると更に用途が広がります言語や地域毎のデータ表現の多様性 Unicode や日本語以外の文字セットの出力数値や通貨日付時刻の文字列表現をパラメータで自由に選択できると便利です 3

4 基本機能 : UNLOAD 環境設定ファイル接続先テーブル名のリストスキーマ全部の表 LISTTABLE LISTEXCPT FILETABLE FILEEXCPT データ出力先など 2. 接続 3. ディクショナリ 6. Select 実行 7. 記述子 MTU 1. 読取 4. 対象リスト作成 ( 網掛部 ) 9. メタデータ SQL*Loader 制御ファイル 13. 書込み ( 繰返し ) データファイル Oracle Database 11. フェッチ ( 繰返し ) 5. SQL select 文作成 8. 記述子の解析 10. データバッファ割当 12. 書式化変換 ( 繰返し ) CSV TSV 固定長形式任意のデリミタセパレータによる可変長形式 15. SQL スクリプト組立て COBOL 形式 14. ディクショナリ 16. スクリプト 17. 開放進捗表示メッセージ戻り値 =0: Good >0: NG 管理スクリプト Unload は表データのフルセットを戻す機能です 4

5 基本機能 : QUERY バインド変数定義ファイル key = value 形式でバインド変数の値を定義文字列型数値型の値を定義可能任意問合せファイル SQL select が記述されているバインド変数を含めることが可能環境設定ファイル接続先問合せファイルバインド変数定義ファイルの場所 4. バインド変数の読取 2. 接続 7. Select 実行 8. 記述子 3. SQL 文の読取 MTU 5. SQL select 文作成データ出力先など 1. 読取 10. メタデータ SQL*Loader 制御ファイル 14. 書込み ( 繰返し ) データファイル Oracle Database 12. フェッチ ( 繰返し ) 6. バインド操作 9. 記述子の解析 11. データバッファ割当 13. 書式化変換 ( 繰返し ) CSV TSV 固定長形式任意のデリミタセパレータによる可変長形式 COBOL 形式 16. 開放進捗表示メッセージ戻り値 =0: Good >0: NG Query は SQL Select 文で表現可能なあらゆる問い合わせの結果を戻す機能です 15. スクリプト管理スクリプト 5

6 複数作業を同時にこなす開始開始作業 A 作業 B スレッド生成作業 A 作業 B 作業 C 作業 C 同期終了終了シングルスレッドプロセスマルチスレッドプロセス 6

7 マルチコアを有効に使うマルチコアプロセッサ所要時間シングルスレッド作業 n 作業 m スレッド #1 作業 m スレッド #2 スレッド #3 スレッド #4 作業 n 7

8 非同期ファイル操作同期式 OCI 呼び出し OCI 呼び出し非同期式オーバラップ所要時間書式化バッファリングファイル操作書式化 OCI 呼び出し OCI 呼び出し 8

9 タスク制御 18:20 18:30 18:40 18:50 19:00 19:10 19:20 TBL001 TBL002 TBL003 TBL004 TBL005 TBL006 TBL007 TBL008 TBL009 TBL010 TBL011 TBL012 TBL013 TBL014 TBL015 TBL016 TBL017 TBL018 TBL019 TBL020 TBL021 TBL022 TBL023 TBL024 TBL025 TBL026 TBL027 TBL028 TBL029 TBL030 TBL031 TBL032 TBL033 TBL034 TBL035 TBL036 TBL037 TBL038 TBL039 TBL040 TBL041 TBL042 TBL043 TBL044 TBL045 TBL046 TBL047 TBL048 TBL049 TBL050 TBL051 TBL052 TBL053 TBL054 TBL055 TBL056 TBL057 TBL058 TBL059 TBL060 TBL061 TBL062 TBL063 TBL064 TBL065 TBL066 TBL067 TBL068 TBL069 TBL070 TBL071 TBL072 TBL073 TBL074 TBL075 TBL076 TBL077 TBL078 TBL079 TBL080 TBL081 TBL082 TBL083 TBL084 TBL085 TBL086 TBL087 TBL088 TBL089 TBL090 TBL091 TBL092 TBL093 TBL094 TBL095 TBL096 TBL097 TBL098 TBL099 TBL100 TBL101 TBL102 TBL103 TBL104 TBL105 開始 A DA, B, C どの局面でも同じ並列度 ( 図では 16) を維持マルチコアの持続的な並列利用となるようスケジューリング B C 終了 9

10 データの安全性 OCI = Oracle Call Inteface Select 実行 OCI.dll Export ( 従来パス ) OCI.dll MTU データの読取に標準でバンドルされているツールと同じもの (OCI.dll) を使用だから安全 Oracle Database フェッチ ( 繰返し ) OCI.dll SQL*Plus LoadLibrary OCI.dll ODP.NET OCI.dll Oracle Database クライアント製品 10

11 何故速いのか? 所要時間行ずつ受け取って処理を行うプログラムは簡単に作れる半面クライアント側のオーバーヘッドが大きい行をまとめて一括処理 4 配列化要求パケットの到達時間応答パケットの到達時間データの転送時間 1 往復毎のクライアント処理時間 11

12 その他の特長 OCI 配列インタフェース処理製品固有コードの最適化パーティショニング対応 Unicode 出力対応名前付きパイプへの出力 SAM(Sequential Access Method) 出力 SQL*Loader 用制御ファイルの自動生成索引整合性制約データベーストリガの無効化有効化スクリプト作成再ロード時の並列処理 12

13 OCI 配列インタフェース処理表 Oracle Net Services MTU arra[0] arra[1] arra[2] arra[3] arra[4] fn(void){ char *a = calloc(5,< 列 A のデータ長 >); char *arra[5]; arra[0] = &a[0 * < 列 A のデータ長 >]; arra[1] = &a[1 * < 列 A のデータ長 >]; } ディスク一括書込配列要素数分の行データを一括読取ヒープメモリ abcdef, gopi234, , abthtu, 99532, abfewr t00oi234, jio234, juo23, bh234, z-@po, 8yaw bsdfewt, k81234, kyu2, zhyi, iyu43, 8u@- 986bjfs, 87zka, yt6t82, 08oiqw, hh8[03, 87y:;nb zgffis,, klyp98, 8uyt[uj, khh23b, klhhun,m, 98yhjj 少ないラウンドトリップ数 13

14 製品固有コードの最適化 void func(void) { sword iocirtn; iocirtn = OCIStmtPrepare (stmtp, ); /*( ホスト入力変数のバインド )*/ iocirtn = OCIStmtExecute (svchp, stmtp, ); /*( 暗黙的パラメータ記述の解析 )*/ /*( ホスト出力変数の定義 )*/ /*(SQL*Loser 制御ファイル出力 )*/ while (iocirtn!= OCI_NO_DATA) { iocirtn = OCIStmtFetch2 (svchp, stmtp, ); /* ホスト出力変数を CSV or 固定長データ形式へ変換 */ WriteFileEx (hfile, lpbuffer, ); } } 製品固有コード MTU 待機要因 70% (OCI) 10% 20% (Windows API) 14

15 パーティショニング対応パーティションサブパーティションスレッド #1 スレッド #2 スレッド #3 p5 p6 p2 パーティション化表データファイルの同時並列出力 15

16 UNICODE 出力対応データベースキャラクタセット : AL32UTF8 各国語キャラクタセット : AL16UTF16 MTU SQL*Loader Oracle データ型 CHAR VARCHAR2 NCHAR NVARCHAR2 LONG CLOB NCLOB MTU 出力文字エンコーディング UTF-8 (BOM 付 /BOM 無選択可能 ) UTF-16 BE 16

17 名前付きパイプへの出力パーティション表 : ABC パーティション : P1,P2,P3 P4,P5,P6 MTU v4.1 以上 CPU. pipe ABC_P1. pipe ABC_P2. pipe ABC_P3. pipe ABC_P4. pipe ABC_P5. pipe ABC_P6 名前付きパイプからデータ入力可能な既存アプリケーション H/W プラットホームのスケーラビリティーに適した数の名前付きパイプを配置してパイプライン化 17

18 PL/SQL フリーサーバプロセスサーバプロセス MTU 組込パッケージ : UTL_FILE DBMS_DATAPUMP リモート接続 CSV dmp 表領域 CSV 高価なストレージ基盤による I/O 性能や可用性の確保が不可欠廉価なストレージで十分 18

19 SAM 出力 IBM 互換メインフレーム用の COBOL 言語で扱う SAM と互換性のある形式でファイル出力可能です NUMBER 型 :COMP-3 ( パック 10 進数 ) で出力できます DISPLAY SIGN LEADING SEPARATE 形式の BCD (Binary Coded Decimal) を選ぶ事も出来ます NCHAR / NVARCHAR2 型 : マルチバイト文字の出力に UTF-16LE UTF-16BE いずれかを選択できます 19

20 競合製品との機能比較 MTU v4.2 FUO r11.2 Oracleへのリモート接続 64bit 版 Windows 再ロード用スクリプト作成再ロード時のパラレル処理表ロックを掛けない一貫性読取り実行時の強力なOSのシステム権限不要必要接続時フェイルオーバ透過的アプリケーションフェイルオーバ ASM 上のデータ抽出並列度制限無有データの出力先ローカル共有フォルダローカルのみ領域あふれ時のフェイルオーバ並列化可能なパイプ処理ヒープ構成表の並列アンロード 20

21 SQL*LOADER 用制御ファイルの自動生成 UNRECOVERABLE LOAD INFILE EMP "VAR 10" INTO TABLE "EMP" TRUNCATE REENABLE FIELDS TERMINATED BY ',' ( "EMPNO" DECIMAL EXTERNAL(5), "ENAME" CHAR(10) ENCLOSED BY '"', "JOB" CHAR(9) ENCLOSED BY '"', "MGR" DECIMAL EXTERNAL(5), "HIREDATE" DATE(14) "YYYYMMDDHH24MISS" ENCLOSED BY '"', "SAL" DECIMAL EXTERNAL(9), "COMM" DECIMAL EXTERNAL(9), "DEPTNO" DECIMAL EXTERNAL(3) ) 21

22 索引整合性制約データベーストリガの無効化有効化スクリプト作成開始開始索引等の無効化 SQL*Loader SQL*Loader 索引等の有効化内部処理あり終了終了 22

23 再ロード時の並列処理開始索引等の無効化 MPX スレッド生成プロセス生成同期 SQL*Loader スレッド生成プロセス生成有効化索引等の有効化更に速い!! 終了同期 23

24 用途例 : 単純なデータだけの移行 Oracle Server Export Oracle Client MTU で UnLoad Create Table, Create Index, Create Trigger, Alter Table Add Constrant, Grant on, Insert into, Analyze Table 制御ファイル, データファイル (CSV or 固定長 ) 24

25 用途例 : 下方データ移行 Oracle 12c/11g/10g Server 12c/11g/10g 付属 Export MTU でUnLoad Oracle 12c/11g/10g Client 8i/9i 付属 Import 8i/9i 付属 SQL*Loader Oracle 8i/9i Server 25

26 用途例 : 上方データ移行 Oracle 12c/11g/10g Server 12c/11g/10g 付属 Import 12c/11g/10g 付属 SQL*Loader Oracle 12c/11g/10g Client 12c/11g/10g 付属 Export MTU で UnLoad Oracle 8i/9i Server 26

27 ありがとうございました提供 : 株式会社プラムシックスマルチスレッドアンローダー Multi-threaded Unloaderは株式会社プラムシックスの登録商標ですオラクルおよび ORACLE は米国 Oracle Corporationの登録商標です Microsoft Windows Windows Serverは米国 Microsoft Corporationの米国およびその他の国における登録商標または商標です他のブランドおよび製品名は各社の商標および登録商標です 27

マルチ・スレッド・アンローダー新機能

マルチ・スレッド・アンローダー新機能マルチスレッドアンローダー新機能 version 4.1 (c) Plumsix 強化ポイント対応プラットフォームの拡大 x64ベースのwindowsへ対応高信頼性強化 TAFイベント対応領域あふれ時のフェイルオーバー高性能化並列化可能なパイプ処理名前付きパイプヒープ構成表の並列アンロード集合化クエリ機能追加メインフレーム向けデータ移行並列処理データの単一ファイル出力 12/06/18