データ変換 How to セミナー第 1 章 株式会社セゾン情報システムズ HULFT 事業部 1
アジェンダ 第 1 章 はじめに DataMagicとは 第 2 章 データ変換設定フロー 第 2 章 導入 活用例 評価版ダウンロード & 技術コラム 2
1. はじめに 3
システム連携時の課題 多くのサーバ 様々な業務アプリケーション 必要とされるデータの形 File(.csv/.xml/.xlsx...) / DB 4
データ変換ツールの利用 スクラッチ開発 工数 データ変換ツール CODE A 社 :300 万 ~ B 社 :200 万 ~(CPU コア課金 ) C 社 :100 万 ~( 年間使用料 ) データ変換ツール本当に正しい選択が出来ていますか? 5
2. DataMagic とは 6
利用するにあたり DataMagic の利用において HULFT は必須ソフトではありません 単独して動作する変換ツールです FTP やその他転送ツールの利用ケース ファイル転送は伴わないケース でも勿論利用できます システム サービスにおける 変換エンジン として利用ください 7
DataMagic の販売 導入実績 導入社数 : 591 社 累計出荷本数 : 2,383 ライセンス 3,000 2017 年 3 月 14 日時点 2,500 2,000 1,500 1,000 500 0 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 8
DataMagic 導入ポイント 豊富な機能 幅広いコード種やデータ形式に対応 DB Excel との連携も可能 高速な変換 マルチスレッド処理による高速な変換を実現 他社ツールと比較し 10~30 倍と圧倒的な変換速度 高い生産性 GUI による生産性の向上 開発負担の大幅軽減 システム変更や拡張が発生した場合も スピーディな開発が可能 低いコスト 6 万円から利用可能 オプションの選択で 要件に沿ったプロダクト購入が可能 (CPU 数による追加課金なし ) 9
DataMagic の基本機能 データ加工 項目結合 項目分離 西暦 和暦変換 マージ / ソート クレンジング, etc コード変換 各プラットフォーム システムで使用しているコード種に変換 1 2 外字 ユーザコードテーブルの利用 も可能 データ形式の変換 各社各様のファイル形式を自社システムフォーマットへ変換 DB 連携 各社 RDB への連携を実現 3 4 Microsoft Accessとの連携をサポート 10
機能 1: データ加工 データ加工 項目入れ替え 項目結合 分割 データ挿入 パック ゾーン変換 レコード抽出 出力先振り分け 数値演算 日付演算 西暦 和暦変換 右詰め 左詰め 連番付与など 提供変換ロジックだけでなく 独自処理を組込むことも可能 マージ / ソート マスタ参照による N 対 1 N 対 N のデータマージが可能 ( マッチング ) 最大 10 個のキー項目を優先順位付けソート クレンジング 入力書式の不統一なデータを統一 正規表現による柔軟な文字列検索例 : 株式会社 ( 株 ) 昭和 53 年 4 月 1 日 1978/04/01 1978-04-01 11
機能 2: コード変換 コード変換機能の利用には オプションが必要です 漢字コード変換 Shift JIS JIS* KEIS JEF IBM 漢字 NEC 漢字 EUC UTF-8 UTF-16* 1 バイトコード変換 ASCII User table 英小文字 NEC カナ文字 IBM 英小文字拡張 IBM 英小文字 カナ文字 ASPEN 同一漢字コード種の外字変換も対応 Unicode の Windows 固有文字 (~ - ) サロゲートペアにも対応 全角 半角変換 ( カナ 記号 英数字 ) 対応 ( 項目単位指定可 ) 12
機能 3: データ形式変換 DB Excel への接続には オプションが必要です 固定長 oracle Postre SQL 可変長 散在する豊富なデータソースも DataMagic で連携実現 SQL Server DB2 XML ODBC TXT CSV Excel DataMagic for Windows のみ対応 13
機能 4:DB 連携 INSERT, UPDATE 簡単に連携可能 各種 RDB DataMagic SELECT 対応データベース Oracle SQL Server PostgreSQL DB2 ODBC *DBへの接続には オプションが必要です (DataMagic for Windowsのみ対応 ) 簡単設定と SQL 文の直接設定による複雑な指定が可能 バイナリ型 大容量データの BLOB CLOB にも対応し 幅広いデータ型との高い親和性を実現 入出力前後に 特定の SQL 文を発行し より高度な DB 連携を実現例 ) 実行前 : DB テーブル全件削除後 データを INSERT する実行後 : 全件 INSERT が完了したら INDEX の作成を行う 14
他機能 マルチプロセッシング データ加工処理のマルチスレッド化により 高速なデータ加工を実現 Start シングルスレッド (~Ver.2) End 仕様書出力 変換ロジックをExcel 書式の仕様書に出力し メンテナンス性を向上 Excel マルチスレッド (Ver.3~) ステップ実行 変換の過程を確認しながら変換処理開発を行うことが可能 JP/EN 切替 利用者毎に設定画面の表示言語の切り替え JP EN 15
性能 ~ 他社製品との比較 ~ 1 秒当たりの変換処理量は 他社製品の約 1/30! テキスト変換の場合 コード変換処理 ファイルサイズ :100Mbyte 変換コード :SJIS EUC [MB] 300-250 - 200-150 - 100-50 - ユーザ実運用データを使用した測定結果 他社ソフト : 16 分 32 秒 / DataMagic: 32 秒 CSV 変換の場合 コード変換 フォーマット変換処理 ファイルサイズ : 100 Mbyte, 変換コード : SJIS EUC [MB] 60-50 - 40-30 - 20-10 - A 社製品 B 社製品 DataMagic A 社製品 B 社製品 DataMagic 16
製品構成 DataMagic Desktop DataMagic Server 製品形態 standalone Client-Server DataMagic DeskTop DataMagic Server DataMagic Manager DataMagic Manager DataMagic Manager インストール先の端末で変換の実行および設定が完結するモデルです 製品を使った変換設定を 1 名の方が 実施していただきます 変換を実行する Server と 設定をする Clinet が分離しているモデルです これにより 製品へリモートアクセスが可能になると共に複数の方が製品の設定をしていただくことが可能になります 対応 OS Windows Windows/Linux/UNIX (DataMagic ManagerはWindowsのみ対応 ) 17
製品構成 DataMagic Desktop DataMagic Server 機能 抽出 ソート マッチング 振り分け 置換 数値変換 パディング 属性変換 日付変換 抽出 ソート マッチング 振り分け 置換 数値変換 パディング 属性変換 日付変換 文字コード変換 外字変換 仕様書出力 接続先 CSV 固定長 マルチフォーマット階層フォーマット XML CSV 固定長 マルチフォーマット階層フォーマット XML オプション接続先 Excel Excel Oracle SQL Server DB2 PostgreSQL ODBC その他 - Manager Unlimited 価格 60,000 ~ 300,000 ~ 18
各種オプション オプション Desktop Server 機能 Excel Excel ファイルに対して読み出しや書き込みを行うことができるオプションです Oracle - Oracle Databaseに対して読み出しや書き込みを行うことができるオプ ションです DB2 - DB2 for UDBに対して読み出しや書き込みを行うことができるオプション です SQL Server - SQL Serverに対して読み出しや書き込みを行うことができるオプションで す PostgreSQL - PostgreSQL に対して読み出しや書き込みを行うことができるオプションで す ODBC - ODBCドライバで接続可能なデータベース (DB) に対して読み出しや書き込みを行うことができるオプションです DataMagic Ver.3.0ではMicrosoft Accessへの接続をサポートします Manager Unlimited - DataMagic Managerからの同時接続数の制限を解除するオプションで す 標準では5 同時接続を許可しますが それ以上を許可する場合はこの オプションが必要です - : こちらのオプションの追加はできません 19
最後までご視聴いただき ありがとうございました お問い合わせ アンケートへのご協力をお願いします セミナー内容に関するお問い合わせアンケートのフォームよりお問い合わせください 製品購入 お見積りなどのお問い合わせ mail : info@hulft.com フリーダイヤル :0120-80-8620 利用時間 9:30~17:00 ( 土 日 祝日および年末年始を除く ) 製品の詳細情報 URL : http://www.hulft.com