PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

きみおすえたけ
9 years ago
Views:

1 データベース不要! あ大量データファイルから欲しいデータを即座に取り出す高速 CSV 解析ツール dd 1 解析ブースターは株式会社高速屋の商標です

2 その山のようなデータ解析できていますか? データベースによる大量データ解析は敷居が高い前処理 ( 加工変換 ) データベース解析 / 分析ローディング蓄積抽出欲しいデータを得るまでにとにかく時間がかかるシステムの構築や運用に手間やお金がかかる導入した際の費用対効果が見えない状況にある解析 / 分析環境を整えられず利用を諦めることもしばしば 2

3 解析ブースターとは欲しいデータを即座に抽出! 大量の CSV ファイルをデータベース化することなくダイレクトに加工集計できる高速なデータ解析支援ツールです大量 CSV ファイル処理結果 CSV ファイルデータ取り込み ( ローディング ) インデクシング加工集計省メモリ API (ODBC/JDBC) スクリプト SQL+ プロシージャ 3

4 解析ブースターの特長 SQL + プロシージャによる CSV ファイルへのダイレクト処理 SQL + プロシージャを処理系として高度で柔軟な処理記述が可能実行環境としてスクリプトと標準 API(ODBC/JDBC) を装備大量データの高速処理独自の高速ツリーアルゴリズム ( 特許取得済み ) と非同期 I/O によるストレージの帯域幅をフル活用した高速データ処理省メモリ一時ファイル作成による分割結合 ( マージ ) 方式により省メモリで動作入力ファイルサイズが実用上無制限テラバイト以上の入力データファイルを指定でき実用上無制限に処理可能入力データファイルのサイズは製品価格に影響しない入出力のためのストレージ容量など本製品の動作要件を満たすことが前提です 4

5 データ解析の方法導入設定が容易すぐに使える! 5

6 処理時間の例対象データ (CSV テキスト ) 販売明細 :3 億件 40GB サプライヤマスタ :5 万件 9MB 各所の販売明細動作環境 CPU:Intel Xeon x GHz(6 コア ) x 2 メモリ :96GB HDD:600GB(15KRPM) SAS x 16 OS:Windows Server 2008 R2 サプライヤー向け発注データ編集処理発注データ指定出荷日のデータ抽出 ( フィルタリングユニオン ) サプライヤ別出荷数集計発注データ編集 ( 結合 ) 他社 DB データベース化 ( ローディング ) 21 4 分 50 秒速度比 14 倍!! ( 使用メモリ8GB) 66 分データベース化不要! 処理時間を大幅短縮 Windows Server 2008 は米国および / または他の国の Microsoft Corporation の登録商標または商標です Intel および Xeon は米国および / またはその他の国における Intel Corporation の商標ですなお本文中には (TM) (R) マークは明記しておりません 6

7 処理能力の例 (MB/ 秒 ) 3 億件 40GB のフィルタリングユニオン MB/ 秒並列数並列処理でストレージ帯域幅をフル活用処理能力 (MB/ 秒 ) の計測は入力データファイルの読み込み開始から出力ファイルの書き込み完了までが対象です 7

8 解析ブースター : 利用シーン 1 人 1 台現場担当者の業務能力が飛躍的に向上! 解析分析の前処理に件数絞込みフィルタ / サマリ / 結合インポート PDCA を高速回転! Excel/Access / 解析ツール運用保守時の検証作業にデータ検証 OK データ出力 NG 修復処理評価 / テスト検証済みデータ / 処理の投入迅速なトライ & エラーで精度 UP! 膨大な蓄積データの追跡に追跡時間短縮早期問題特定! システム間のデータ移行に移行開発期間短縮担当案件拡大! 生産ライン / 製造装置データ収集設備データ品質データ生産情報ログトレース / 解析リコール対応クレーム管理移行データ出力移行先データ作成クレンジング / 名寄せ / マスタ作成 8

9 システム構成ノート PC/ デスクトップ PC 上での利用 IA サーバー上での利用 9

10 製品ラインナップエントリー版ユーザー数 1 SQL スクリプト ( バッチ ) 実行簡易 GUI スタンダード版 5 ( クライアントサーバー型 ) プロシージャ ODBC/JDBC 最大並列処理数 2 16 OS Windows Server 2008 (64bit) R2 / Windows 7 Home Premium(64bit) 以降標準価格 ( 税別 ) 2 24 万円 90 万円 Windows Server 2008 および Windows 7 は米国および / または他の国の Microsoft Corporation の登録商標または商標ですなお本文中には (TM) (R) マークは明記しておりません 2 別途年間保守費用として製品価格の 20% が必要です 10

11 動作環境スペック CPU 主メモリストレージ OS モニター ( 簡易 GUI 使用時 ) Intel Xeon / Core i3 以降 8GB 以上入力データファイルサイズの 3 倍以上の空き容量 Windows Server 2008 (64bit) R2 / Windows 7 Home Premium(64bit) 以降 WXGA( ) 以上インターフェース USB2.0 以降 ( ライセンスキー用 ) Windows Server 2008 および Windows 7 は米国および / または他の国の Microsoft Corporation の登録商標または商標ですなお本文中には (TM) (R) マークは明記しておりません 11

12 dd 適用シーン例 12

13 適用シーン 1: エクセルや解析ツール向けのデータ抽出情報システム部業務システムデバイス / センサービジネス部門 / 研究部門事前結合エクセル CSV ファイルサマリー BI ツールフィルタリング解析ツールポイントエクセルや解析ツールは大量データの取り込みが困難内部処理に時間がかかるエクセルによる複数種 CSV( マスタと明細等 ) の結合は手間がかかる解析ブースターで対象データを事前に絞り込み / 結合出力エクセル (Excel ) は Microsoft の登録商標です 13

14 適用シーン 2: システム間データ移行リプレス対象システムターゲットシステム移行データ抽出ターゲットデータ作成抽出結合名寄せ重複排除マスタ作成などポイントデータ編集プログラムの個別開発はコスト / 期間が膨らんでしまう高機能なデータ編集ツールは高価あるいは低速で使い勝手が悪い解析ブースターでターゲットデータをスマートに高速作成 14

15 適用シーン 3: バッチ処理 /ETL アクセラレータ Job1 抽出加工変換 Job2 処理時間大! ロード Job3 基幹システムデータウェアハウス Job2 ボトルネックを解消ポイントデータ量増加に伴いバッチ処理が遅延しサービスへの影響が懸念される次回リプレスの時期まではハードウェアを増強せずに運用を継続したい解析ブースター ( ソフトウェア ) による処理時短でボトルネックを解消 15

16 適用シーン 4: Web のアクセスログ解析サービスシステム社内向け解析システムデータベース直近ログデータベース過去ログポイントアクセスログの増加に伴い DB への取り込み時間やサーバー資源の圧迫が課題に膨大な過去ログも解析対象としたいが全てを DB 化するのは現実的でない解析ブースターで生ログを直接解析省資源で手軽な解析環境を併用 16

17 適用シーン 5: CSV ダウンロードサービス企業間電子商取引の例受発注システム ( 本部 ) 取引実績データファイルフィルタサマリ抽出ダウンロード社内データベース取引先 / 店舗ポイント従来は限られた形式でしかダウンロードできず非効率きめ細かな集計結果を配信したいがデータベースの負荷を上げたくない解析ブースターで CSV ファイルから高度抽出 DB や転送の負荷を抑制 17

18 適用シーン 6: サーチャブルなエンコードバックアップ選択抽出 ZIP & Password 検索圧縮暗号化復号ポイント膨大なテキストファイルのバックアップに手間や時間がかかるストレージ容量も圧迫必要データのみを取捨選択しセキュリティにバックアップしたい解析ブースターでサーチャブルなエンコードファイルを高速作成 18

19 適用シーン 7: バッチ処理の試作設計テストツール稼働中バッチ処理 Job1 Job2 試験出力新 SQL 文十分に動作確認が取れた SQL 文をシステムに投入 Job1 Test 新しい処理の評価確認ポイント稼働中のシステムを止めることなく現行処理の修正改良を検討したい出力システムと同等規模の開発システムを用意するための出費は避けたい解析ブースターで新処理の確認サイクルを短縮しテストを効率化 19

20 適用シーン 8: IoT におけるデータ整理各種センサー / デバイス一定時間 / 一定量毎に処理を起動データセンター / クラウド RFID Upload 不正 / 不要データフィルタリング統計処理等ポイントデバイス群などの出力データを少量一次蓄積し不正 / 不要データを削除蓄積データをグループ化し統計データ ( サマリ ) を作成してデータセンターに送出解析ブースターでネットワークトラフィックとサーバー処理負荷を大幅軽減 20

21 システム開発支援解析ブースターは高度処理系 (SQL + プロシージャ ) による豊富な機能を備えたプロフェッショナル向け開発ツール解析ブースターを活用した効果的なシステム開発を支援しますお客様 / パートナー様システム開発ご提供ユーザー一部受託技術支援 ( スキル移転 ) 21

ERDAS IMAGINE における処理速度の向上株式会社ベストシステムズ PASCO CORPORATION 2015

ERDAS IMAGINE における処理速度の向上株式会社ベストシステムズ PASCO CORPORATION 2015 ERDAS IMAGINE における処理速度の向上株式会社ベストシステムズ本セッションの目的本セッションでは ERDAS IMAGINEにおける処理速度向上を目的として機器 (SSD 等 ) 及び並列処理の比較検討を行った 1.SSD 及び RAMDISK を利用した処理速度の検証 2.Condorによる複数 PCを用いた並列処理 2.1 分散並列処理による高速化試験 (ERDAS IMAGINEのCondorを使用した試験