ストリームデータ処理技術を利用したソリューションの紹介 -大量データのリアルタイム処理-

Size: px

Start display at page:

Download "ストリームデータ処理技術を利用したソリューションの紹介 -大量データのリアルタイム処理-"

れいなよしくに
5 years ago
Views:

2 < 本書での表記 > CQL: Continuous Query Language I/O: Input/Output IT: Information Technology POS: Point Of Sales RFID: Radio Frequency Identification SQL: Structured Query Language 商標その他記載の会社名製品名はそれぞれの商標もしくは登録商標です All Rights Reserved. Copyright 2009, Hitachi, Ltd.

3 Contents 1. 社会インフラのIT 化とストリームデータ処理技術の必要性ストリームデータ処理技術の概要インメモリ差分計算による高速処理ストリームデータ処理の仕組み ucosminexus Stream Data Platformの適用モデル例コンプライアンスチェックリアルタイム在庫管理発注処理交通状況モニタリングまとめ... 6

4 1. 社会インフラのIT 化とストリームデータ処理技術の必要性近年電子マネーや電子商取引の普及 RFID 利用による物流管理などによってビジネスで扱う情報 ( データ ) の量が爆発的に増加していますさらにビジネスのスピードも急激に加速しており次々に発生する大量のデータをリアルタイムに処理することが求められていますしかしデータのリアルタイム処理にデータベースを使用する方法ではクエリなどを用いて蓄積されたデータを一括処理するためデータ検索などのクエリ実行時にタイムラグが生じてしまいますそこで現在注目されているのがストリームデータ処理技術ですストリームデータ処理技術とは無限に到来する時刻順のデータ ( ストリームデータ ) をリアルタイムに処理するデータ処理方法です一例として株式取引のアルゴリズムトレードへのストリームデータ処理技術の適用について紹介しますアルゴリズムトレードとは株価や出来高などに応じてコンピュータシステムが自動的に株式売買注文のタイミングや数量を決めて注文を行う取引ですアルゴリズムトレードを実現するためには大量のデータをリアルタイムに分析して売買注文をする必要があります証券会社や投資会社での株式自動取引システムの例を図 1-1 に示します図の株式自動取引システムの場合ストリームデータ処理では株価のテクニカル指標やランキング情報から売買をリアルタイムに自動判定しますストリームデータ処理技術は株式取引のほかにも在庫管理や不正操作の監視を行うシステムなどにも適用できますストリームデータ処理技術の利用で今の状況や状況の変化をリアルタイムに監視できるようになりそこから新しいビジネスへの展開も期待できます本冊子では大量高速データ処理ソリューションを実現するストリームデータ処理技術の概要について説明しますまた Cosminexus ではストリームデータ処理の汎用的な基盤として ucosminexus Stream Data Platform を提供しています汎用的な基盤の利用でさまざまな分野にストリームデータ処理技術を適用できます本冊子では ucosminexus Stream Data Platform の適用例についても紹介します株価ストリーム 4,000 銘柄ストリームデータ処理エンジンゴールデンクロス計算値上がりランキング計算集計結果買い判定 1,000 件 / 秒デッドクロス計算値下りランキング計算売り判定図 1-1 ストリームデータ処理技術を適用した株式自動取引システムの例 1

5 2. ストリームデータ処理技術の概要ストリームとは株価情報や交通情報のような無限に到来する時刻順の大量データですストリームデータ処理技術はこのストリームデータを対象に扱います 2 章ではストリームデータ処理技術について説明します 2.1 インメモリ差分計算による高速処理ストリームデータ処理技術はデータベースを使用したストック型のデータ処理技術とは別の新しい技術ですここではデータベースを使用した一括処理の流れとストリームデータ処理技術を利用したインメモリ差分計算による高速処理について説明します (1) データベースを使用したデータ処理の流れ従来のデータベースを使用したデータ処理技術では SQL のクエリを発行したタイミングでストックしておいた全データを処理しその後結果を抽出します ( 一括処理 ) 図 2-1 の場合 id ごとの合計値を求めるクエリが発行されるとデータベース内にある a および b の値がすべて抽出され id 別に加算されます Sum(val), Group by id id val a 1 b 2 a 3 b 4 a 5 a 6 クエリ発行 a 15 b 6 結果一括処理クエリ発行時に全データを処理し結果を抽出図 2-1 データベースを利用した処理技術このような検索演算はクエリを発行するたびに実行されますそのためデータベース内のデータの量が増加するにつれて処理スピードが相対的に低下します (2) ストリームデータ処理技術を使用したデータ処理の流れ一方ストリームデータ処理技術の場合入力ストリームとしてデータが入力されるとその場でデータ処理を行いますまた前回処理した結果を中間データとして保持しておくため中間データとの差分だけを処理します ( 差分処理 ) 図 2-2 の場合中間データとして a=9 b=6 が保持されていますここに入力ストリームとして a=6 が到着すると中間データ a=9 に入力ストリーム a=6 が加算され結果ストリームとして a=15 が出力されます a,6 入力ストリーム処理内容 Sum(val), Group by id a,5 b,4 a,3 b,2 a,1 中間データ a 9 b 6 a,15 a,1 b,2 a,4 b,6 a,9 結果ストリーム差分処理データ到着時に関係する処理だけを実行図 2-2 ストリームデータ処理技術ストリームデータ処理では差分処理が行われるため処理対象となるデータをすべて処理する必要はありません大容量データのリアルタイム処理に適したデータ処理技術といえますさらにストリームデータ処理技術では前回処理した結果をメモリ上で保持するインメモリデータ技術を採用していますこれによりハードディスクなどの外部記憶装置との I/O 時間を削減でき高速な処理を実現します 2.2 ストリームデータ処理の仕組みストリームデータ処理の仕組みについて詳しく説明します (1) ストリームデータ処理の定義ストリームデータの処理内容 ( シナリオ ) はあらかじめ CQL(Continuous Query Language) というクエリ言語を使用して定義します CQL はデータベースの標準的な言語である SQL を拡張した言語です汎用的な言語であるためさまざまな業種に対応できますまた SQL の知識があれば容易にプログラミングができます CQL で処理を定義するため集計分析処理用の専用アプリケーションを開発する必要はありませんシステム構築のための工数を大幅に削 2

6 減できさらにニーズの変化に応じた処理手順へと速やかに変更できるようになります (2) ストリームデータ処理の流れストリームデータ処理では登録された CQL の内容に従って次の流れでストリームデータ処理を実行しますこの例では最新のデータである 10 から 1 までが処理対象として取り出されます取り出すデータの個数や抽出条件は CQL によりウィンドウの種類で定義しますまた定義したウィンドウの種類に従ってデータを取り出すことをウィンドウ演算と言いますウィンドウの種類について次の表にまとめます (a) ストリームデータの中から処理対象となるデータを取り出します ( ウィンドウ演算 ) (b) 取り出したデータに対してフィルタリングや結合処理などを実施します ( 関係演算処理 ) (c) (b) の演算結果からストリームデータを生成します ( ストリーム化演算 ) 入力デーウィンドウ演算タ処理の流れストリームデータ処理基盤関係演算ストリーム化演算図 2-3 ストリームデータ処理の流れ手順のうち (a) のウィンドウ演算と (c) のストリーム化演算で処理する内容は CQL 固有の文法で定義します関係演算は SQL の文法と同じです CQL での定義例を図 2-4 に示します CQL の例 IStream( Select id, Sum(val) From str [Rows 3] Group by id) ストリーム化演算ウィンドウ演算図 2-4 CQL の定義例 (3) ウィンドウとウィンドウ演算ストリームは時刻順に連続して到来するためデータの切れ目がありません処理対象としたいデータを取り出すためストリームデータ処理技術ではストリームをウィンドウという単位で分割します図 2-5 では最新のデータ 10 個をウィンドウとして取り出す例を示しています 11 ウィンドウ ( 処理対象となるデータ ) 出力データ表 2-1 ウィンドウの種類種類概要 ROWS 取得するデータの数を指定ウィンドウする場合に利用します RANGE 取得するデータの時間を指ウィンドウ定する場合に利用します PARTITION グループを指定してグルーウィンドウプ内のデータを取り出す場合に利用します CQL でウィンドウを指定するとウィンドウの種類に従ってデータが取り出されますこれをウィンドウ演算と言いますウィンドウ演算では取り出すデータの個数や抽出条件を定義できます 3 種類のウィンドウは CQL 内で組み合わせて使うこともできます (4) ストリーム化演算関係演算の結果をストリームデータとして整形して出力するための処理がストリーム化演算ですストリームデータは刻々と到着するためウィンドウ演算で取り出すデータや関係演算の結果も変化しますストリーム化演算ではどのタイミングでデータをストリームデータとして出力するかを定義しますストリーム化演算には次の 3 種類があります表 2-2 ストリーム化演算の種類種類概要 ISTREAM (Insert Stream) DSTREAM (Delete Stream) RSTREAM (Relation Stream) 関係演算の結果新たに追加されたデータを出力します関係演算の結果削除されたデータを出力します一定の時間間隔で演算結果のデータを出力します図 2-5 ウィンドウの例 3

7 3. ucosminexus Stream Data Platformの適用モデル例 2 章で説明したストリームデータ処理技術を採用したのがストリームデータ処理基盤 ucosminexus Stream Data Platform です ucosminexus Stream Data Platform の導入により大量高速データ処理ソリューションが実現できます以降では ucosminexus Stream Data Platform の適用モデルについて説明します 3.1 コンプライアンスチェック近年企業のコンプライアンスが重要視されるようになりリスク管理や不正取引監視が強化されていますアクセスできる情報を制限して不正操作を防止するだけでは他人の ID やパスワードを不正利用したなりすましなどは防止できませんまた不正操作を検出するためには一般的にユーザの操作に関する大量のログ情報をいったん収集保管しログ情報を分析していましたしかしこの方法では不正操作をリアルタイムに検出することは困難ですそこでストリームデータ処理技術を利用するとリアルタイムにユーザの操作に関する大量のログ情報を高速に処理できるため不正操作の検出も即座に行えます (1) 適用モデル例ストリームデータ処理技術を利用して不正な操作を検出する例について説明しますログ不正操作の検出このモデル例では複数のシステムが出力したユーザ操作のログ情報をストリームデータとして取得しています取得した情報を基にシナリオに定義した異常行動パターンと照らし合わせて分析しなりすましなどの不正操作がないかを判断します (2) 適用のメリットストリームデータ処理技術のメリットである大量データの高速処理により大量のログ解析が容易になりますまた複数のログを統合して監視することもできますこれによりユーザが不正な操作をした場合瞬時に状況を検知することが可能です例えばユーザ A が東京でシステムにログインしたあと 30 分以内にユーザ A の ID を利用して大阪からログインがあった場合不正なログインとして即座に検知できます 3.2 リアルタイム在庫管理発注処理販売業では売上を向上するために販売戦略をタイムリーに立案実行することが重要です最新の売上状況に合ったリアルタイム性の高い販売戦略が求められます最新の売上状況を把握するための手段には POS データを分析する方法があります POS データにはいつどこで何が幾つ売れたといった情報が格納されていますしかし POS データの量は膨大なためデータの収集分析には時間が掛かります収集した売上状況などを即座に把握しタイムリーな販売戦略を立てるためには大量データをリアルタイムに処理するストリームデータ処理技術が活用できますストリームデータ処理 Proxy Server 業務システム異常行動パターンのシナリオアラート通知メール送信認証システムなりすましなどの異常行動を瞬時に検出システム管理者図 3-1 不正な操作の検出によるコンプライアンスチェック 4

8 (1) 適用モデル例ストリームデータ処理技術を利用して POS データを分析集計する例について説明します POS データ店舗地区店舗群ストリームデータ処理 POS 集計分析シナリオ ( 店舗 ) POS 集計分析シナリオ ( 地区店舗 ) 集計結果 9:00 12:00 18:00 24:00 PO S データの常時集計リアルタイム状況表示分析図 3-2 POS データの分析集計このモデル例では店舗または地区店舗群の POS データをストリームデータとして取得しています取得したデータは店舗別の POS データ集計分析シナリオおよび地区店舗群別の POS データ収集分析シナリオの 2 種類のシナリオに従って売上情報商品在庫情報などをリアルタイムに集計分析しますこれによって今の販売状況に応じた販売戦略をタイムリーに立案実行できるようになります (2) 適用のメリットストリームデータ処理の結果を利用して売上状況を分析することで今あるデータをリアルタイムに活用できます例えば分析結果から適切な価格販売状況に応じた商品の仕入れ数販売場所などを検討することで状況に応じた販売戦略をタイムリーに立案実行できるようになりますまた店舗別地区店舗群別といった複数の分析用のシナリオを定義することで商品別や店舗の地域別などさまざまなデータを集計でき多角的に分析できます 3.3 交通状況モニタリング渋滞情報や事故情報などといった交通状況を知らせる情報にはリアルタイム性が求められますリアルタイムに交通状況を把握する仕組みにはプローブ技術がありますプローブ技術とは通行時間などを発信する計測装置を車両に載せ車両位置情報をきめ細かくモニタリングする技術のことですモニタリング時に収集した車両位置情報をプローブ情報といいますプローブ情報を処理する際にストリームデータ処理技術を利用するとよりリアルタイムに交通状況を把握できます (1) 適用モデル例ストリームデータ処理技術を利用して渋滞情報事故情報を検出する例について説明します位置情報ストリームデータ処理車両の速さ計算車両の走行方向計算車両の密度計算渋滞検出事故検出交通情報渋滞情報事故情報図 3-3 渋滞情報事故情報の検出このモデル例では計測装置を搭載した車両から位置情報や速度情報をストリームデータとして取得しています取得した情報を基に車両の速さや車両密度などを随時測定分析し渋滞情報を検出します (2) 適用のメリットストリームデータ処理技術を利用する最大のメリットはリアルタイムな交通情報をユーザに提供できることですまたストリームデータ処理技術では登録したシナリオを変更することで処理に使うアルゴリズムを簡単に切り替えられるといった特徴もありますプローブ情報から渋滞情報や事故情報を検出するために分析用のアプリケーションを使用する方法ではシステムの拡張などがあるとアプリケーションの修正が必要となりますストリームデータ処理技術を利用するとアプリケーションの修正が不要になる上処理を変えたい場合にはシナリオを変更するだけでその時々で必要とされる情報を検出できます 5

9 4. まとめ今日のビジネスでは時々刻々と発生するデータをリアルタイムに処理分析することが求められています本書で紹介したストリームデータ処理技術を採用した ucosminexus Stream Data Plarform を利用することで次の効果が期待できます (1) 日の世界から秒の世界へストリームデータ処理技術では差分計算やインメモリ技術 ( メモリ上でのデータを処理する技術 ) によってさらに高速な処理ができるようになりますこれによってミリ秒単位でのデータ処理が実現します (2) 最新のデータに基づく集計が可能データ到着時にストリームデータ処理を実施するため最新のデータに基づく集計が可能です最新の売上小計や商品別売上ランキングなどを瞬時に集計しその結果をビジネスに反映することができます (3) CQL を使ったシナリオで簡単に定義処理内容は SQL を拡張したCQL で定義しますこのため集計分析処理のための専用アプリケーションの開発は不要になり処理内容を簡単に作成または変更できるようになりますこの結果システム構築のための工数を大幅に削減できニーズの変化に応じた処理手順の変更にも速やかに対応できるようになりますストリームデータ処理技術を導入することで現場の状況や問題点をリアルタイムで把握できるようになり迅速な意思決定ができるようになります 6

10 2009 年 12 月第 1 版発行お問い合わせ先 : 株式会社日立製作所ソフトウェア事業部販売推進部 cosminexus-s@itg.hitachi.co.jp ストリームデータ処理技術を利用したソリューションのご紹介 - 大量データのリアルタイム処理インターネットで製品情報をご覧いただけます

大量の実世界データから今を分析するストリームデータ処理の可能性 2008 年 11 月 18 日株式会社日立製作所中央研究所主任研究員西澤格 Hitachi, Ltd All rights reserved.

大量の実世界データから今を分析するストリームデータ処理の可能性 2008 年 11 月 18 日株式会社日立製作所中央研究所主任研究員西澤格 Hitachi, Ltd All rights reserved. 大量の実世界データから今を分析するストリームデータ処理の可能性 2008 年 11 月 18 日株式会社日立製作所中央研究所主任研究員西澤格大量の実世界データから今を分析するストリームデータ処理の可能性 Contents 1. ストリームデータ処理の生まれた背景と位置付け 2. ストリームデータ処理技術の解説 3. 適用事例とデモ 4. まとめ 1 ストリームデータ処理の生まれた背景と位置づけ