iNFUSE インフューズ - PDF 無料ダウンロード

はじめての DataMagic セゾン情報システムズ HULFT 事業部

DataMagic とは DataMagic は様々な形式のファイルや DB からデータを抽出しコード変換や加工処理をしてファイルや DB に出力することができるデータ変換ツールですシステムのデータ連携時の課題を解決することができます簡単低コストでデータ変換を実現コード変換データ加工変換 JEF UTF-16 KEIS EUC など項目入替マージなど DB 連携ファイル形式の変換 oracle DB2 Postre SQL SQL Server 固定長 XML CSV Excel など All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 3

システムのデータ連携時の課題高額なETLパッケージの導入は難しいマルチベンダーシステムを利用しているので複数のコード種を扱う必要があるデータ統合でのデータ量増加により高性能のデータ連携が必要ファイルフォーマットやデータ属性が異なっているために使えないファイルがある DataMagic が解決! All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 4

DataMagic 解決ポイント豊富な機能幅広いコード種やデータ形式に対応 DB Excel との連携も可能高速な変換マルチスレッド処理による高速な変換を実現他社ツールと比較し 10~30 倍と圧倒的な変換速度高い生産性 GUI による生産性の向上開発負担の大幅軽減システム変更や拡張が発生した場合もスピーディな開発が可能低いコスト 6 万円から利用可能オプションの選択で要件に沿ったプロダクト購入が可能 (CPU 数による追加課金なし ) All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 5

DataMagic の基本機能データ加工項目結合項目分離西暦和暦変換マージ / ソートクレンジング, etc コード変換各プラットフォームシステムで使用しているコード種に変換 1 2 外字ユーザコードテーブルの利用も可能データ形式の変換各社各様のファイル形式を自社システムフォーマットへ変換 DB 連携各社 RDB への連携を実現 3 4 Microsoft Accessとの連携をサポート All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 6

機能 1: データ加工データ加工項目入れ替え項目結合分割データ挿入パックゾーン変換レコード抽出出力先振り分け数値演算日付演算西暦和暦変換右詰め左詰め連番付与など提供変換ロジックだけでなく独自処理を組込むことも可能マージ / ソートマスタ参照による N 対 1 N 対 N のデータマージが可能 ( マッチング ) 最大 10 個のキー項目を優先順位付けソートクレンジング入力書式の不統一なデータを統一正規表現による柔軟な文字列検索例 : 株式会社 ( 株 ) 昭和 53 年 4 月 1 日 1978/04/01 1978-04-01 All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 7

機能 2: コード変換コード変換機能の利用にはオプションが必要です漢字コード変換 Shift JIS JIS* KEIS JEF IBM 漢字 NEC 漢字 EUC UTF-8 UTF-16* 1 バイトコード変換 ASCII User table 英小文字 NEC カナ文字 IBM 英小文字拡張 IBM 英小文字カナ文字 ASPEN 同一漢字コード種の外字変換も対応 Unicode の Windows 固有文字 (~ - ) サロゲートペアにも対応全角半角変換 ( カナ記号英数字 ) 対応 ( 項目単位指定可 ) All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 8

機能 3: データ形式変換 DB Excel への接続にはオプションが必要です固定長 oracle Postre SQL 可変長散在する豊富なデータソースも DataMagic で連携実現 SQL Server DB2 XML ODBC TXT CSV Excel DataMagic for Windows のみ対応 All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 9

機能 4:DB 連携 INSERT, UPDATE 簡単に連携可能各種 RDB DataMagic SELECT 対応データベース Oracle SQL Server PostgreSQL DB2 ODBC *DBへの接続にはオプションが必要です (DataMagic for Windowsのみ対応 ) 簡単設定と SQL 文の直接設定による複雑な指定が可能バイナリ型大容量データの BLOB CLOB にも対応し幅広いデータ型との高い親和性を実現入出力前後に特定の SQL 文を発行しより高度な DB 連携を実現例 ) 実行前 : DB テーブル全件削除後データを INSERT する実行後 : 全件 INSERT が完了したら INDEX の作成を行う All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 10

性能 ~ 他社製品との比較 ~ 1 秒当たりの変換処理量は他社製品の約 1/30! テキスト変換の場合コード変換処理ファイルサイズ :100Mbyte 変換コード :SJIS EUC [MB] 300-250 - 200-150 - 100-50 - ユーザ実運用データを使用した測定結果他社ソフト : 16 分 32 秒 / DataMagic: 32 秒 CSV 変換の場合コード変換フォーマット変換処理ファイルサイズ : 100 Mbyte, 変換コード : SJIS EUC [MB] 60-50 - 40-30 - 20-10 - A 社製品 B 社製品 DataMagic A 社製品 B 社製品 DataMagic All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 11

導入事例 1 ~ スクラッチ開発からの移行 ~ 課題 Oracle から後続アプリケーションに連携する際データ抽出はストアドプロシージャで CSV ファイル化し以降要件単位にスクリプト開発を行いデータ加工をしているその開発工数を軽減したい導入前 CODE Project 1: コード変換 (Shift JIS EBCDIC) Project 2: ヘッダーフッター付与ストアドプロシージャ Project 3: 数値レイアウト補正 ( 前 0 後 0 補填 ) 導入後 CSV? Oracle 10g データ抽出 DataMagic CSV 出力コード変換 (Shift JIS EBCDIC) ヘッダーフッター付与数値レイアウト補正 ( 前 0 後 0 補填 ) 解決案件単位にプログラム開発という負荷の高い作業が GUI 設定のみで実現開発者スキルに依存しないパッケージ製品として高い品質を提供 All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 12

導入事例 2~ コード変換クレンジング ~ 課題複数のインターフェースがある受発注システムにおいて統合 DB への格納前にデータの正規化 ( クレンジング ) を行いたいシステム A マスタ参照全角 / 半角チェック文字数チェック外字変換 FTP CSV システム B XML マスタ DB 統合データベースエラーレコード解決統合 DB 連携前にデータの妥当性を検証し不正レコードを検出使えないデータを使えるデータへ All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 13

最後までご視聴いただきありがとうございましたお問い合わせアンケートへのご協力をお願いしますセミナー内容に関するお問い合わせアンケートのご質問欄にご記入ください製品購入お見積りなどのお問い合せ mail : info@hulft.com フリーダイヤル :0120-86-8620 利用時間 9:15~17:00 ( 土日祝日および年末年始を除く ) 製品の詳細情報 URL : http://www.hulft.com All Rights Reserved SAISON INFORMATION SYSTEMS CO.,LTD. 15