大量の実世界データから今を分析するストリームデータ処理の可能性 2008 年 11 月 18 日株式会社日立製作所中央研究所主任研究員西澤格 Hitachi, Ltd All rights reserved.

Size: px

Start display at page:

いおりおおばま
4 years ago
Views:

1 大量の実世界データから今を分析するストリームデータ処理の可能性 2008 年 11 月 18 日株式会社日立製作所中央研究所主任研究員西澤格

2 大量の実世界データから今を分析するストリームデータ処理の可能性 Contents 1. ストリームデータ処理の生まれた背景と位置付け 2. ストリームデータ処理技術の解説 3. 適用事例とデモ 4. まとめ

3 1 ストリームデータ処理の生まれた背景と位置づけ

4 1-1 情報爆発時代の到来電子マネー,IC カード, 電子商取引,RFID 利用物流管理などの社会インフラの変化をきっかけに, データ量が爆発的に増大 GPS センサライブカメラ携帯改札ライフビジネスコミュニティクルマテレビ RFID IT インフラの変革が訪れる Cloud Computing, インメモリデータ処理の新技術が注目されている 3

5 1-2 ビジネススピードの加速実世界と IT の融合により, ビジネス速度が飛躍的に向上株取引 : 数秒数 ms ( アルゴリズム取引など計算機同士の戦いに ) コールセンタ : 数時間 ( 後日回答 ) 数十秒 ( 問合せ中に回答 ) 在庫管理 : 1 週間,1 日数分 ( リアルタイム発注 ) 情報爆発時代の IT 基盤を支えるためには,IT の性能を 1~2 桁以上向上させることが必須性能 (ktpmc) 10,000 1, 情報爆発時代への対応従来 IT 基盤 ( 年 ) 図 : IT 基盤の性能 * * TPC-C ベンチマークの公表値より推定 4

6 1-3 新データ処理アーキテクチャデータの質と量の変化に伴い, データをストックして一括処理するアーキテクチャから, データ発生時にリアルタイム処理する新データ処理アーキテクチャのニーズが顕在化ストック型データ処理 ( 従来 DBMS) フロー型データ処理 ( ストリーム ) 事業活動情報売上データ DB 操作で集計分析取引情報商品データデータDB DB データの量と質の変化リアルタイム集計分析ストリームデータ処理リアルタイム表示操作ログセンサデータ POSデータ RFID 実世界データデータを DB にストック ( 蓄積 ) してから, データを集計分析する一括処理データ保存必要データが発生する度に, 逐次, データを集計分析するリアルタイム処理データ保存不要 5

7 1-4 なぜストリームデータ処理なのか? 大量フローデータに対する高速なデータ処理を必要とする, 多くのアプリケーションの登場 ( 下記はその一例 ) アプリケーションフロー型データ ( ストリーム ) データ処理内容ネットワークモニタリングパケットトレース, セッション情報異常検出,URL フィルタリング, 異常 ( 侵入者, ウィルス,DoS アタック, ) 検出, ルーティング計算機システム管理エラーログモニタリング, メンテナンスルール呼データ管理株自動取引 Web トラッキング, Web アクセス解析コールレコード取引データ, 株価情報, 為替情報, ニュースユーザクエリ, クリックストリーム, ログ課金, コールパターン検出, 不正検出売買タイミング計算, データ分析, パターン検出モニタリング, パターン解析センサネットセンサデータ出力モニタリング, 異常検出他汎用のデータ処理基盤に対するニーズの高まり大量データのインメモリ処理を可能とする環境の実現 ( 価格, 信頼性, ) 6

新ビジネス創造, 現行システムの改善様々な業種, 業務での新しい価値の創造生産状況売上状況大量フローデータから, 今の状況を分析

ストリームデータ処理の特長リアルタイム検知監視必要なデータの抽出 ( フィルタリンク ) ランキング集計複数データの統合監視

8 1-5 何ができる? 何が変わる? 大量フローデータを分析し, 今の状況 ( 状態, 変化 ) をリアルタイムに検知監視実世界データのリアルタイム処理による, 新ビジネス創造, 現行システムの改善様々な業種, 業務での新しい価値の創造生産状況売上状況大量フローデータから, 今の状況を分析大量フローデータ集計分析シナリオ集計分析結果生産ラインのリアルタイム在庫監視小売店舗のリアルタイム売上集計ストリームデータ処理の特長リアルタイム検知監視必要なデータの抽出 ( フィルタリンク ) ランキング集計複数データの統合監視時系列データのマッチング交通状況ストリームデータ処理基盤 ucosminexus Stream Data Platform 実世界のデータをリアルタイムに集計分析新ビジネスの創造現行システムの改善自動車のリアルタイム渋滞監視様々な業種や業務への適用により, 新たな価値を創造 7

9 2 ストリームデータ処理技術の解説

10 モリストレージデータサイズ無限メ2-1 データ処理技術の歴史と関係ータ格納位置適用アプリ : 銀行トランザクション, チケット予約, 通話課金, 適用アプリ : アルゴリズムトレーディング, コンプライアンスチェック, 不正監視検知, インメモリベースのストック型データ処理技術ストリームデータ処理技術サーバメモリキャッシュ TP1 キャッシュ (*) 次世代取引所に適用サーバ 2000 年 ~: 研究開始 DB サーバ MMDB 年代 ~: 研究開始 1990 年代 ~: 商用化 ucosminexus Stream Data Platform (*) 超高速イベント処理を実現クエリインタフェース提供により開発工数削減 (*) は日立製品として提供ストレージベースのストック型データ処理技術 XDM SD/RD (*) DB サーバ DB HiRDB (*) ファイルファイルサーバデータサイズ有限デ1960 年代 ~: 構造型 DB 1970 年代 ~: RDB 2 差分データ処理技術サーバ MV 3 データ処理での時間の取り扱い技術 DB サーバ 1990 年代 ~: MV 差分更新 DB 1980 年代 ~: Temporal DB 1990 年代 ~: 時系列 DB ストック型データを事前に準備データ種別, 処理モデルフロー型データ到着時に処理凡例 : 1 Main Memory DB, 2 Relational DB, 3 Materialized View ( 実体化ビュー ) 9

11 2-2 ストリームデータ処理研究プロジェクト米国の有力大学の DB グループで研究を開始 (2002~) Stanford 大学 :STREAM プロジェクト MIT, Brown, Brandeis 大学 :Aurora プロジェクト Wisconsin 大学 :Niagara プロジェクト U.C. Berkeley: TelegraphCQ プロジェクト他にも,Cornell 大学,New York 大学,AT&T が研究を積極的に推進学術的な成果の学会発表実施 (2003~) 処理モデル問合せ処理言語最適化, スケジューリング他 2008 年現在も主要学会で研究発表継続中 10

12 2-3 ストリームデータ処理の概要と従来技術ストリーム : 無限に到来する時刻順データ系列 ex) センサネット,RFID 読取り情報, 交通情報, 株価情報ストリームデータ処理 : リレーショナルデータベースの関係代数モデルに基く, ストリームの継続的リアルタイム処理 ( 選択, 射影, 結合, 集合演算, 集計 ) クエリ発行時にクエリ発行時に全データを見て全データを見て全結果を抽出全結果を抽出 Sum(val), Group by id id a b a b a a val クエリ発行一括処理結果 a 15 b 6 リレーショナルデータベース Sum(val), Group by id 入力ストリームデータ到着時にデータ到着時に差分処理そのデータを見てそのデータを見て関係する処理のみを実行予め, クエリ登録 a,6 a,5 b,4 a,3 b,2 a,1 a b a, ストリームデータ処理 a,1 b,2 a,4 b,6 a,9 結果ストリーム 11

13 2-4 ストリームデータ処理の特長ポイント V7.5 ウィンドウにより, 無限に続くストリームデータの高効率処理を実現! 集計分析シナリオは CQL で定義 AP レスでシナリオ変更が容易! インメモリ差分計算により, 超高速処理を実現! 実世界大量時系列情報データ集計分析シナリオ集計分析シナリオをクエリ処理言語 CQL で定義し, 予め登録するのみ AP レス, シナリオ変更容易生産状況大量フローデータ集計分析シナリオインメモリ差分計算超高速処理実現ストリーム処理エンジン分析結果売上状況業務 AP 交通状況ストリームデータ処理基盤 ucosminexus Stream Data Platform ウィンドウ無限に続くストリームデータの高効率処理実現 12

14 2-5 ウィンドウウィンドウの特長 1. 無限に続くストリームデータの処理対象を切り取るために必須 2. データの数, 時間, グループ分けの 3 つの基本ウィンドウをサポートストリームデータ基本ウィンドウの種類ウィンドウで切り取られた処理対象のストリームデータデータの数 ( 行ウィンドウ ): 直前 10 行分を処理対象とする等時間 ( 時間ウィンドウ ): 直近 30 分間を処理の対象とする等グループ分け ( ハーティションウィントウ ): 各顧客の最新 5 取引を処理の対象とする等データ処理に時間軸の概念を導入フロー型データのリアルタイム集計分析処理に必須の, 時間軸移動集計, タイマ処理を簡単に実現可能 13

15 2-6 データ処理定義のクエリ言語 CQL CQL (Continuous Query Language) の特長 1. SQL* + ウィンドウにより宣言的にストリームデータ処理内容を記述 2. データ出力のためのストリーム化演算を提供クエリの例処理モデル IStream( Select id, Sum(val) From str [Rows 3] Group by id) 関係演算 Filter, Join, Aggregation Union..etc. 中間結果期間付きリレーションストリーム化演算ウィンドウ演算ストリーム化演算 IStream, DStream, RStream 入力出力ストリーム RowWindow, RangeWindow, PartitionByWindow ウィンドウ演算 * SQL: Structured Query Language 時間軸を組み込んだデータ処理モデルを提供汎用言語で適用範囲が広く, かつ習得は容易個別アプリケーション開発と比較し, 開発効率が大幅に向上 14

16 2-7 インメモリ差分計算インメモリ差分計算の特長 1. ウィンドウ内のストリームデータ, 中間計算結果をメモリ上に保持 2. ウィンドウからの入出力データのみの差分計算で集計分析処理を実行実世界大量時系列情報生産状況売上状況大量フローデータ集計分析シナリオ (CQL クエリ ) Sum(val), Group by id a,6 メモリバッファ集計分析シナリオ実行形式 a 9 b 6 + a 15 b 6 差分計算集計結果 a,15 a,9 出力ストリームデータ業務 AP 交通状況 I/O 処理を排除したインメモリでの差分計算処理により, 高レートのデータ到来時の負荷を大幅に削減従来比 2 桁以上の性能向上を達成 15

17 2-8 ストリームデータ処理エンジンの動作例アルゴリズム取引判定処理短期の移動平均が, 長期の移動平均線を追い越す形で交差 *, かつ値上がり率が1.1 以上の銘柄を抽出 * ゴールデンクロス CQL のウィンドウ処理 + フィルタ処理 + 結合処理で簡潔に記述可能 Select GoldenCross.stockName From GoldenCross[rows 3], RisingRate[rows 3] Where GoldenCross.flag = GC And RisingRate.value >= 1.1 And GoldenCross.stockName = RisingRate.stockName ; 4th GoldenCross ( ゴールデンクロス ) DC OJ ガス 3rd GC XX 海運 2nd GC TM 電機 1st GC GV 石油 No flag stock Name RisingRate ( 値上がり率 ) 4th 1.16 ZN 化学 CA 建設 3rd 1.22 SS 食品 2nd 0.95 TM 電機 1st 1.37 No stock Name value 16

18 3 適用事例とデモ

19 3-1 ストリームデータ処理適用モデルストリームデータ処理の特長入力データを分析して, 変化や状況をリアルタイムに検知監視できます複数の入力データを組み合わせた条件判定や, 入力データの編集を行えます入力データから必要なデータだけを抽出 ( フィルタリング ) できますストリームデータの具体例と想定適用モデル入力ストリームデータ株取引情報製品品質データ操作ログ POSデータ RFID 集計分析シナリオストリームデータ処理基盤 ucosminexus Stream Data Platform 適用によるお客様のメリット出力ストリームデータを使用した想定適用モデルアルゴリズムトレード不良品の事前早期検出コンプライアンスチェックサービスレベル向上柔軟な拡張性在庫管理発注処理流通トレーサビリティ IT コスト最適化ビジネスチャンス拡大リスクマネジメント 18

20 3-2 プローブカー情報活用渋滞事故検出処理の概要 1. 交通情報処理にストリームデータ処理を適用 2. プローブカーの位置情報から各車両密度をリアルタイム計算位置情報ストリーム車両 ID (-100, 10) 車両数千台各車 30 秒に一度データを生成ストリームデータ処理エンジン各車両の速さ計算各車両走行方向計算各車両密度計算渋滞検出事故検出渋滞情報ストリーム事故情報ストリーム数千台のプローブカーの車両位置情報をリアルタイムに収集し, 全車両速度, 車両密度のリアルタイム計算を実現全計算は 1 台の PC で実現可能 19

21 3-3 クエリによる車両密度計算アルゴリズム切替計算方法 1: グリッド単位の車両数 REGISTER QUERY state AS SELECT id, x, y, prev_x, prev_y, AS speed, AS dir (int)x/100 AS gx, (int)y/100 AS gy FROM state_pre; (gx, gy): グリッド座標計算方法 2: 車両毎の近傍車数処理が軽い粒度が粗い処理が重い正確計算アルゴリズムのクエリによる記述例クエリの変更でアルゴリズムを切替可能 REGISTER QUERY neighbor AS SELECT self.id, other.speed FROM state AS self, state AS other WHERE ((self.x other.x)^2+ (self.y-other.y)^2) < 2500; 各車両走行状況赤 : 低速橙 : 中速緑 : 高速始点 : 一つ前の位置終点 : 最新の位置距離判定 REGISTER QUERY traffic AS SELECT gx, gy, COUNT(*) AS dens, AVG(speed) AS avg_speed FROM state GROUP BY gx, gy; グリッド別に, 台数と平均速度を集計 REGISTER QUERY traffic SELECT id, COUNT(*) AS dens, AVG(speed) AS avg_speed FROM neighbor GROUP BY id; 車両 (id) 毎に, 近傍車両の台数とその平均速度を算出 20

シナリオ定義で解析内容を簡単に記述瞬時の変化の検知が可能ログ Proxy Server ログシナリオ異常行動パターン定義の登録 / 変更が容易入力高速ストリームログ分析提供 Enterprise RTView アラート通知メール送信などシステム管理者

22 3-4 原因調査から抑止へ! 今を分析し攻めの内部統制 ~ 高速ストリームログ分析 ~ 刻々と変化していく事象の瞬間を捉えビジネスへ繋げログデータは保存から今活用へログ業務システム認証システム大量ログを高速に解析複数のログを統合して監視シナリオ定義で解析内容を簡単に記述瞬時の変化の検知が可能ログ Proxy Server ログシナリオ異常行動パターン定義の登録 / 変更が容易入力高速ストリームログ分析提供 Enterprise RTView アラート通知メール送信などシステム管理者なりすまし等の異常行動を瞬時に検出ユーザ ID が不正に利用されたことの注意を促すメールを送信不正承認の例申請した端末と同一 IP アドレスの端末で承認処理利用者 A 申請 ID 不正利用の例 1 利用者 A がサインイン 2 利用者 A がサインインしたエリアからある離れた場所で, 30 分以内に同一 ID によるサインイン ( 九州地区 ) 10:00 にサインイン承認 ( 横浜地区 ) なりすまし者のエリア外から 10:30 にサインイン業務外利用検知の例同一 ID で, 一定時間の中で情報送信を規定回数以上連続実行外部サイトに接続不正 ( 犯罪 ) の抑止 21

23 4 まとめ

24 4-1 ストリームデータ処理とは... 特長大量に発生する実世界データから今を分析する新技術日の世界から秒の世界へデータをインメモリで差分処理する新技術により,DB を用いる従来方式より 2 桁以上の性能向上を達成シナリオ定義で解析内容を簡単に記述宣言型言語 CQL によって, 解析シナリオを簡単に作成変更可能 CQL の組合せにより, 幅広い業種に対応可能複数のデータを統合して監視ライン進捗, ロット別納期からの納期進捗遅延の検出など, 複数データの組合せによるリアルタイム監視が可能最新のデータに基づく集計が可能最新の売上小計や商品別売上ランキングなど, 任意の時点から現在までのデータを瞬時に集計可能現場の状況や問題点をすぐに把握することで, 迅速な意思決定が可能となります 23

25 4-2 ストリーム処理を実現する ucosminexus Stream Data Platform ポイント入力データを分析して, 変化や状況をリアルタイムに検知監視できます複数の入力データを組み合わせた条件判定や, 入力データの編集を行えます入力データから必要なデータだけを抽出 ( フィルタリング ) できます入力ストリームデータ株取引情報製品品質データ操作ログ POSデータ集計分析シナリオ出力ストリームデータを使用した想定適用モデルアルゴリズムトレード不良品の事前早期検出コンプライアンスチェック在庫管理発注処理 RFID ucosminexus Stream Data Platform ご検討を宜しくお願い致します! 流通トレーサビリティサービスレベル向上ビジネス IT コスト最適化チャンス拡大柔軟な拡張性リスクマネジメント適用によるお客様のメリット 24

26 Cosminexus ホームページ謝辞および他社所有名称に対する表示他社所有名称に対する表示 Java 及びすべての Java 関連の商標及びロゴは, 米国及びその他の国における米国 Sun Microsystems, Inc. の商標または登録商標ですその他記載の会社名製品名はそれぞれの会社の商号商標もしくは登録商標です 25

ストリームデータ処理技術を利用したソリューションの紹介 -大量データのリアルタイム処理-

ストリームデータ処理技術を利用したソリューションの紹介 -大量データのリアルタイム処理- < 本書での表記 > CQL: Continuous Query Language I/O: Input/Output IT: Information Technology POS: Point Of Sales RFID: Radio Frequency Identification SQL: Structured Query Language 商標その他記載の会社名製品名はそれぞれの商標もしくは登録商標です

大量の実世界データから 今 を分析するストリームデータ処理の可能性 2008 年 11 月 18 日株式会社日立製作所中央研究所主任研究員西澤格 Hitachi, Ltd All rights reserved.

大量の実世界データから今を分析するストリームデータ処理の可能性 2008 年 11 月 18 日株式会社日立製作所中央研究所主任研究員西澤格 Hitachi, Ltd All rights reserved.