以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな

Size: px

Start display at page:

Download "以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな"

いちえいおなか
6 years ago
Views:

1 オラクルコンサルが語る! Oracle CEP によるリアルタイムイベント処理開発の実際日本オラクル株式会社テクノロジーソリューションコンサルティング統括本部マネージングプリンシパルコンサルタント五十嵐建平

2 以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 2

3 演者紹介五十嵐建平 2007 年くらいまではデータベースのコンサルタント DB マガジンにいくつか特集を執筆文字化け退治コネクションプール SQL チューニング 2008 年くらいからミドルウェアのコンサルタント特に CEP Coherence などを用いて速い凄いアーキテクチャをたくさん実装している 3

4 Agenda 溢れるイベントどこに? 何をしたい? Event Driven Architecture と CEP EDA Complex Event Processing 動作デモ : 何がいいのか? すぐに検知しよう! データベース対 CEP 開発デモ : どのように開発したか? Eclipse EPN, Spring Visualizer 4

5 溢れるイベント 5

6 飛躍的に拡大するデジタルデータ 29 倍の成長 2010 年新規デジタルデータ 1,200 Exabytes 企業統合提携グローバル化スマートフォン常時接続家電自動車のオンライン化 2020 年新規デジタルデータ 35,000 Exabytes 対象ユーザーの増加利用頻度の拡大情報のストリーム化 6

次世代サービスプラットフォーム情報検知送信 ( センサー ) 情報受信フィルタリングリアルタイム情報ハントリンク情報整形情報蓄積分析情報活用アクション実行 Smart Device /Gateway Business Analytic Service Applications 情報発生検知情報変化検知情報整形情報送信 Fast Data Management 情報受信 /

7 次世代サービスプラットフォーム情報検知送信 ( センサー ) 情報受信フィルタリングリアルタイム情報ハントリンク情報整形情報蓄積分析情報活用アクション実行 Smart Device /Gateway Business Analytic Service Applications 情報発生検知情報変化検知情報整形情報送信 Fast Data Management 情報受信 / フィルタイベント検知各種アクション実行指示統計分析法則 / ルールの発見 / 取捨選択 Big Data Management データ集計 / マイニンク各種属性情報保存法則 / ルールの創出システム連携 / アクション要求 Service Integration 情報活用アクション実行プロセス駆動 M2M Service Platform Core レスポンスタイム即時性同時実効性接続性 ( 標準データモデル ) 大量データ処理データマイニングアルゴリズムデータ可視化ビジネスロジックビジネスプロセス接続性 ( 標準データモデル ) トランザクション処理 7

8 溢れるイベント GPS RFID カメラ温度明るさ赤外線カレンダー映像医療機器分類しておきましょう 8

9 EDA と CEP 9

10 Event Driven Architecture イベントを適切に扱うためのアーキテクチャイベントソースイベント処理ロジックフィルタリングアウトプットイベントデータタイプイベントフォーマット 10

11 イベントの定義 Detectable-condition view 観測可能なものがあるとき定期的な観測をイベントとする例 ) GPS によるトラックの位置温度センサー State-change view 状態の変化状態の変化をイベントとする例 ) 明るさセンサーによる照明のON/OFF 検知ログイン状態応用例 ) 体温計による測定で37 を越えた ( 微熱発生イベント ) Happening view 出来事何かが発生した際の発生そのものをイベントとする例 ) 家を買う飛行機の着陸 DDD のセミナー 11

12 期間とイベント State-change イベントは期間を計測可能例 ) ログイン状態の開始からログアウト状態に遷移するまでの時間がログイン期間殆どの Happening イベントは期間を計測可能例 ) 3 ヶ月で家を買った 100 年戦争 Detectable-condition イベントは期間を計測不可 P(X,Y) = (30, 34) (31, 25) のような取得値でありある一点の時刻のみを表すため 12

13 イベントに含まれる属性イベントタイプを表すタグ例 ) オーダーイベント RFID 読み取り住所変更固有の識別子タイムスタンプイベントの期間 ( 開始時刻 ~ 終了時刻 ) イベント生成者の名前アドレス識別子イベントの優先度その他の値例 ) 車の位置株価元となるイベントオブジェクトの識別子元となるイベントオブジェクトのコピー 13

14 イベントガイドラインイベントオブジェクトの個数に上限はないイベントオブジェクトはオブジェクト指向でいうオブジェクトとは異なる変化がなくてもイベントとなり得る何かのアクションを観測するまで状態変化を表すデータはイベントオブジェクトとして構成されない 14

15 EDA 5 原則現在のイベントをレポートするプッシュでデータを送る (not pull) 瞬時にレスポンスする一方通行のデータ通信コマンドフリー 15

16 イベント階層と Complex Event CEP の基本となる考えは点を繋げる CEP システムはベースとなるイベントを元に複雑なイベント (Complex Events) を作成熱風邪病み上がり Complex Events (high) 平熱微熱高熱微熱平熱 Complex Events (low) Simple Events 時間 16

17 CEP ソフトウェアの役割フィルタリング合計平均個数ソート等の処理フォーマットの変換他の情報源 (DB 等 ) から得られた情報の付加イベントの分割配送ある一つのイベント A をイベント A1 A2 と分け別々の宛先に送信イベントパターンの検出より複雑な (Complex) イベントへ変換し意味を付加して出力する 17

18 イベント処理のための問い合わせ言語 CQL (Continuous Query Language) 時系列での集計を可能にするための QL 瞬間的な情報ではなく特定の期間をトレースし情報の意味を特定する時間感覚をウィンドウとして表現する判断遅延を防ぐためにすべてメモリ上で処理を行う例 : W パターンを利用した設備保全 X Y W Z minutes 18

19 1 枚で表現すると Data Grid Data Grid Oracle CEP イベントソースから収集 DBテーブル Coherence アダプタ経由ルールに基づく判定フィルタ集約 CQL による記述イベント判定のチェイン構造化も可アクション任意のアクション - メール通知 BAM 配信 - データグリッド経由でパラレル処理 19

20 動作デモ 20

21 素朴な疑問 Database でも頑張ればできるんじゃないの? 21

22 シナリオ近くの上顧客にクーポン配布やりたいこと : お店の近くを通ろうとした人を検知したらここ 5 秒間で通った人の中で最も高いポイントを持っているかをチェック該当しかつその前の 5 秒間での平均値を上回っているのであれば即座に半額クーポンを送る都合上すごく交通量が多くなる可能性があるということにする順番によってクーポン量が変わるがタイミングが大切! 気にしない

23 SQL 通過時更新 INSERT INTO T_INFO (ID, point, tstamp) VALUES (<ID>, < 所持ポイント >, SYSTIMESTAMP); COMMIT; 通過時評価 ( トリガーで処理 ) SELECT * FROM ( SELECT ID, tstamp FROM T_INFO WHERE point = ( SELECT MAX(point) FROM T_INFO WHERE tstamp BETWEEN (SYSTIMESTAMP-5/60/60/24) AND SYSTIMESTAMP AND point >= ( SELECT AVG(point) FROM T_INFO WHERE tstamp BETWEEN (SYSTIMESTAMP-10/60/60/24) AND SYSTIMESTAMP )) ORDER BY tstamp DESC) WHERE tstamp = (select max(tstamp) from t_info) 索引を (tstamp, point) に付与 23

24 実行! 秒間 700 人程度で give up 検知しても 5 秒前のものだったり ms 投入スループット DB 24

25 そもそもスループットが間に合っていませんでした右肩上がりのグラフが期待するところ Throughput 投入スループット DB 25

26 CEP Database 版に比べて悪化はどうなるでしょうか? 26

27 比較 CEP 悪化せず DB と CEP の遅延時間比較 ms 投入スループット CEP DB 27

28 CEP 部分を拡大スループットに影響せず 1ms の壁をも下回る 2 DB と CEP の遅延時間比較 1.5 ms 投入スループット CEP 28

29 スループット比較 CEP はきちんと右肩上がり投入スループット CEP DB 29

30 開発デモ実際の開発をお見せします時間の関係上ソースコードはコピーしていきますちなみに DB 版の方がずっと時間かけています EPN 開発 < アダプタイベントビーンプロセッサ > CQL 記述 < プロセッサ > <avgpoints> select avg(point) as avgp from helloworldinputchannel [Range 10 seconds] <maxpoints> select max(point) as maxp from helloworldinputchannel [Range 5 seconds] select h.id, h.point, h.tstamp from helloworldinputchannel [now] as h, maxpoints as m, avgpoints as a where h.point >= a.avgp and h.point = m.maxp 30

31 開発デモ 2 - Visualizer 動かしながら状況を確認できます流量レスポンス CQLの変更 31

32 なぜ速いのか? Database テーブルへのストア & スキャン SQL はテーブルや索引へのアクセス / スキャンにコンパイルされる ( 実行計画 ) 入れたデータは DELETE してあげる必要がある CEP キューへのストア & フォワード CQL はキューの定義とライフサイクルにコンパイルされるキューからのデキューは自動的に管理される (DELETE は不要 ) 今回のケースでは 10 秒を過ぎたデータは自動的に破棄されている 32

33 開発してみましょう OTN Downloads 日本語マニュアル (R ) list.htm から Complex Event Processing のマニュアル群 33

34 OTN セミナーオンデマンドコンテンツに対するご意見ご感想を是非お寄せください OTN オンデマンド感想上記に簡単なアンケート入力フォームをご用意しておりますセミナー講師 / 資料作成者にフィードバックしコンテンツのより一層の改善に役立てさせていただきます是非ご協力をよろしくお願いいたします 34

OTN セミナーオンデマンド日本オラクルのエンジニアが作成したセミナー資料動画ダウンロードサイト掲載コンテンツカテゴリ ( 一部抜粋 ) Database 基礎

技術情報サーバーストレージ 100 以上のコンテンツをログイン不要でダウンロードし放題データベースからハードウェアまで充実のラインナップ毎月

に受講スマートフォンで通勤中にも受講可能毎月チェック! コンテンツ一覧はこちら http://www.oracle.

35 OTN セミナーオンデマンド日本オラクルのエンジニアが作成したセミナー資料動画ダウンロードサイト掲載コンテンツカテゴリ ( 一部抜粋 ) Database 基礎 Database 現場テクニック Database スペシャリストが語る Java WebLogic Server/ アプリケーショングリッド EPM/BI 技術情報サーバーストレージ 100 以上のコンテンツをログイン不要でダウンロードし放題データベースからハードウェアまで充実のラインナップ毎月旬なトピックの新作コンテンツが続々登場例えばこんな使い方製品概要を効率的につかむ基礎を体系的に学ぶ / 学ばせる時間や場所を選ばず ( オンデマンド ) に受講スマートフォンで通勤中にも受講可能毎月チェック! コンテンツ一覧はこちら新作 & おすすめコンテンツ情報はこちら OTN オンデマンド 35

36 オラクルエンジニア通信オラクル製品に関わるエンジニアの方のための技術情報サイト技術資料インストールガイド設定チュートリアル etc. 欲しい資料への最短ルートアクセスランキング他のエンジニアは何を見ているのか? 人気資料のランキングは毎月更新特集テーマ Pick UP 性能管理やチューニングなど月間テーマを掘り下げて詳細にご説明技術コラム SQL スクリプト索引メンテナンス etc. 当たり前の運用 / 機能が見違える!? オラクルエンジニア通信 36

37 oracletech.jp IT エンジニアの皆様に向けて旬な情報を楽しくお届け製品 / 技術情報 Oracle Database っていくら? オプション機能も見積れる簡単ツールが大活躍セミナー基礎から最新技術までお勧めセミナーで自分にあった学習方法が見つかるスキルアップ ORACLE MASTER! 試験頻出分野の模擬問題と解説を好評連載中 Viva! Developer 全国で活躍しているエンジニアにスポットライトきらりと輝くスキルと視点を盗もう oracletech 37

あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct システムの検討構築から運用まで IT プロジェクト全般の相談窓口としてご支援いたしますステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォーム専用お問い合わせフォームにてご相談内容を承ります http://www.

38 あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct システムの検討構築から運用まで IT プロジェクト全般の相談窓口としてご支援いたしますステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォーム専用お問い合わせフォームにてご相談内容を承りますフリーダイヤルフォームの入力にはログインが必要となりますこちらから詳細確認のお電話を差し上げる場合がありますのでご登録の連絡先が最新のものになっているかご確認下さい月曜 ~ 金曜 9:00~12:00 13:00~18:00 ( 祝日および年末年始除く ) 38

40 40

以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな

以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらな 20 分で理解する Oracle GoldenGate 日本オラクル株式会社以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さい