オラクルコンサルが語る! Oracle CEP によるリアルタイム イベント処理開発の実際 日本オラクル株式会社テクノロジーソリューションコンサルティング統括本部マネージングプリンシパルコンサルタント五十嵐建平
以下の事項は 弊社の一般的な製品の方向性に関する概要を説明するものです また 情報提供を唯一の目的とするものであり いかなる契約にも組み込むことはできません 以下の事項は マテリアルやコード 機能を提供することをコミットメント ( 確約 ) するものではないため 購買決定を行う際の判断材料になさらないで下さい オラクル製品に関して記載されている機能の開発 リリースおよび時期については 弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社 関連会社の米国及びその他の国における登録商標です 文中の社名 商品名等は各社の商標または登録商標である場合があります 2
演者紹介 五十嵐建平 2007 年くらいまではデータベースのコンサルタント DB マガジンにいくつか特集を執筆 文字化け退治 コネクションプール SQL チューニング 2008 年くらいからミドルウェアのコンサルタント 特に CEP Coherence などを用いて 速い 凄い アーキテクチャをたくさん実装している 3
Agenda 溢れるイベント どこに? 何をしたい? Event Driven Architecture と CEP EDA Complex Event Processing 動作デモ : 何がいいのか? すぐに検知しよう! データベース対 CEP 開発デモ : どのように開発したか? Eclipse EPN, Spring Visualizer 4
溢れるイベント 5
飛躍的に拡大するデジタルデータ 29 倍の成長 2010 年新規デジタルデータ 1,200 Exabytes 企業統合 提携 グローバル化スマートフォン 常時接続家電 自動車のオンライン化 2020 年新規デジタルデータ 35,000 Exabytes 対象ユーザーの増加利用頻度の拡大情報のストリーム化 6
次世代サービス プラットフォーム 情報検知 送信 ( センサー ) 情報受信フィルタリング リアルタイム情報ハント リンク 情報整形 情報蓄積分析 情報活用アクション実行 Smart Device /Gateway Business Analytic Service Applications 情報発生検知 情報変化検知 情報整形 情報送信 Fast Data Management 情報受信 / フィルタ イベント検知 各種アクション実行指示 統計分析 法則 / ルールの発見 / 取捨選択 Big Data Management データ集計 / マイニンク 各種属性情報保存 法則 / ルールの創出 システム連携 / アクション要求 Service Integration 情報活用 アクション実行 プロセス駆動 M2M Service Platform Core レスポンスタイム 即時性同時実効性接続性 ( 標準データモデル ) 大量データ処理データマイニングアルゴリズムデータ可視化 ビジネス ロジックビジネス プロセス接続性 ( 標準データモデル ) トランザクション処理 7
溢れるイベント GPS RFID カメラ 温度 明るさ 赤外線 カレンダー 映像 医療機器 分類しておきましょう 8
EDA と CEP 9
Event Driven Architecture イベントを適切に扱うためのアーキテクチャ イベント ソース イベント処理ロジック フィルタリング アウトプット イベント データタイプ イベント フォーマット 10
イベントの定義 Detectable-condition view 観測可能なものがあるとき 定期的な観測をイベントとする 例 ) GPS によるトラックの位置 温度センサー State-change view 状態の変化 状態の変化をイベントとする 例 ) 明るさセンサーによる照明のON/OFF 検知 ログイン状態 応用例 ) 体温計による測定で37 を越えた ( 微熱発生イベント ) Happening view 出来事 何かが発生した際の 発生そのものをイベントとする 例 ) 家を買う 飛行機の着陸 DDD のセミナー 11
期間とイベント State-change イベントは 期間を計測可能 例 ) ログイン状態の開始から ログアウト状態に遷移するまでの時間が ログイン期間 殆どの Happening イベントは期間を計測可能 例 ) 3 ヶ月で家を買った 100 年戦争 Detectable-condition イベントは期間を計測不可 P(X,Y) = (30, 34) (31, 25) のような取得値であり ある一点の時刻のみを表すため 12
イベントに含まれる属性 イベントタイプを表すタグ 例 ) オーダーイベント RFID 読み取り 住所変更 固有の識別子 タイムスタンプ イベントの期間 ( 開始時刻 ~ 終了時刻 ) イベント生成者の 名前 アドレス 識別子 イベントの優先度 その他の値 例 ) 車の位置 株価 元となるイベント オブジェクトの識別子 元となるイベント オブジェクトのコピー 13
イベント ガイドライン イベント オブジェクトの個数に上限はない イベント オブジェクトは オブジェクト指向でいうオブジェクトとは異なる 変化がなくてもイベントとなり得る 何かのアクションを観測するまで 状態変化を表すデータはイベント オブジェクトとして構成されない 14
EDA 5 原則 現在のイベントをレポートする プッシュでデータを送る (not pull) 瞬時にレスポンスする 一方通行のデータ通信 コマンドフリー 15
イベント階層と Complex Event CEP の基本となる考えは 点を繋げる CEP システムは ベースとなるイベントを元に複雑なイベント (Complex Events) を作成 熱風邪 病み上がり Complex Events (high) 平熱微熱高熱微熱平熱 Complex Events (low) 36 37 38 38 37 37 36 Simple Events 時間 16
CEP ソフトウェアの役割 フィルタリング 合計 平均 個数 ソート等の処理 フォーマットの変換 他の情報源 (DB 等 ) から得られた情報の付加 イベントの分割配送 ある一つのイベント A をイベント A1 A2 と分け別々の宛先に送信 イベント パターンの検出 より複雑な (Complex) イベントへ変換し 意味 を付加して出力する 17
イベント処理のための問い合わせ言語 CQL (Continuous Query Language) 時系列での集計を可能にするための QL 瞬間的な情報ではなく 特定の 期間 をトレースし 情報の意味を特定する 時間感覚を ウィンドウ として表現する 判断遅延を防ぐために すべてメモリ上で処理を行う 例 : W パターンを利用した設備保全 X Y W Z 1 9 12 19 minutes 18
1 枚で表現すると Data Grid Data Grid Oracle CEP イベントソースから収集 DBテーブル Coherence アダプタ経由 ルールに基づく判定 フィルタ 集約 CQL による記述 イベント判定のチェイン構造化も可 アクション 任意のアクション - メール通知 BAM 配信 - データグリッド経由でパラレル処理 19
動作デモ 20
素朴な疑問 Database でも頑張ればできるんじゃないの? 21
シナリオ 近くの上顧客にクーポン配布 やりたいこと : お店の近くを通ろうとした人を検知したら ここ 5 秒間で通った人の中で最も高いポイントを持っているかをチェック 該当し かつその前の 5 秒間での平均値を上回っているのであれば即座に半額クーポンを送る 都合上すごく交通量が多くなる可能性があるということにする 順番によってクーポン量が変わるがタイミングが大切! 気にしない 100 10 15 200 10 160 22
SQL 通過時更新 INSERT INTO T_INFO (ID, point, tstamp) VALUES (<ID>, < 所持ポイント >, SYSTIMESTAMP); COMMIT; 通過時評価 ( トリガーで処理 ) SELECT * FROM ( SELECT ID, tstamp FROM T_INFO WHERE point = ( SELECT MAX(point) FROM T_INFO WHERE tstamp BETWEEN (SYSTIMESTAMP-5/60/60/24) AND SYSTIMESTAMP AND point >= ( SELECT AVG(point) FROM T_INFO WHERE tstamp BETWEEN (SYSTIMESTAMP-10/60/60/24) AND SYSTIMESTAMP )) ORDER BY tstamp DESC) WHERE tstamp = (select max(tstamp) from t_info) 索引を (tstamp, point) に付与 23
80 112 144 176 208 240 272 304 336 368 400 432 464 496 528 560 592 624 656 688 720 752 784 816 848 880 912 実行! 秒間 700 人程度で give up 検知しても 5 秒前のものだったり 6000 5000 4000 ms 3000 2000 1000 0 投入スループット DB 24
そもそも スループットが間に合っていませんでした 右肩上がりのグラフが期待するところ 250 200 150 Throughput 100 50 0 80 128176224272320368416464512560608656704752800848896 投入スループット DB 25
CEP Database 版に比べて悪化はどうなるでしょうか? 26
16 64 112 160 208 256 304 352 400 448 496 544 592 640 688 736 784 832 880 928 比較 CEP 悪化せず DB と CEP の遅延時間比較 ms 6000 5000 4000 3000 2000 1000 0 投入スループット CEP DB 27
16 64 112 160 208 256 304 352 400 448 496 544 592 640 688 736 784 832 880 928 CEP 部分を拡大 スループットに影響せず 1ms の壁をも下回る 2 DB と CEP の遅延時間比較 1.5 ms 1 0.5 0 投入スループット CEP 28
16 64 112 160 208 256 304 352 400 448 496 544 592 640 688 736 784 832 880 928 スループット比較 CEP はきちんと右肩上がり 1000 800 600 400 200 0 投入スループット CEP DB 29
開発デモ 実際の開発をお見せします 時間の関係上ソースコードはコピーしていきます ちなみに DB 版の方がずっと時間かけています EPN 開発 < アダプタ イベント ビーン プロセッサ > CQL 記述 < プロセッサ > <avgpoints> select avg(point) as avgp from helloworldinputchannel [Range 10 seconds] <maxpoints> select max(point) as maxp from helloworldinputchannel [Range 5 seconds] select h.id, h.point, h.tstamp from helloworldinputchannel [now] as h, maxpoints as m, avgpoints as a where h.point >= a.avgp and h.point = m.maxp 30
開発デモ 2 - Visualizer 動かしながら状況を確認できます 流量 レスポンス CQLの変更 31
なぜ速いのか? Database テーブルへのストア & スキャン SQL はテーブルや索引へのアクセス / スキャンにコンパイルされる ( 実行計画 ) 入れたデータは DELETE してあげる必要がある CEP キューへのストア & フォワード CQL はキューの定義とライフサイクルにコンパイルされる キューからのデキューは自動的に管理される (DELETE は不要 ) 今回のケースでは 10 秒を過ぎたデータは自動的に破棄されている 32
開発してみましょう OTN Downloads http://www.oracle.com/technetwork/jp/middleware/eventdriven-architecture/downloads/index.html 日本語マニュアル (R11.1.1.4) http://download.oracle.com/docs/cd/e23549_01/nav/portal_book list.htm から Complex Event Processing のマニュアル群 33
OTN セミナーオンデマンド コンテンツに対するご意見 ご感想を是非お寄せください OTN オンデマンド感想 http://blogs.oracle.com/oracle4engineer/entry/otn_ondemand_questionnaire 上記に簡単なアンケート入力フォームをご用意しております セミナー講師 / 資料作成者にフィードバックし コンテンツのより一層の改善に役立てさせていただきます 是非ご協力をよろしくお願いいたします 34
OTN セミナーオンデマンド日本オラクルのエンジニアが作成したセミナー資料 動画ダウンロードサイト 掲載コンテンツカテゴリ ( 一部抜粋 ) Database 基礎 Database 現場テクニック Database スペシャリストが語る Java WebLogic Server/ アプリケーション グリッド EPM/BI 技術情報サーバーストレージ 100 以上のコンテンツをログイン不要でダウンロードし放題 データベースからハードウェアまで充実のラインナップ 毎月 旬なトピックの新作コンテンツが続々登場 例えばこんな使い方 製品概要を効率的につかむ 基礎を体系的に学ぶ / 学ばせる 時間や場所を選ばず ( オンデマンド ) に受講 スマートフォンで通勤中にも受講可能 毎月チェック! コンテンツ一覧はこちら http://www.oracle.com/technetwork/jp/ondemand/index.html 新作 & おすすめコンテンツ情報はこちら http://oracletech.jp/seminar/recommended/000073.html OTN オンデマンド 35
オラクルエンジニア通信オラクル製品に関わるエンジニアの方のための技術情報サイト 技術資料 インストールガイド 設定チュートリアル etc. 欲しい資料への最短ルート アクセスランキング 他のエンジニアは何を見ているのか? 人気資料のランキングは毎月更新 特集テーマ Pick UP 性能管理やチューニングなど月間テーマを掘り下げて詳細にご説明 技術コラム SQL スクリプト 索引メンテナンス etc. 当たり前の運用 / 機能が見違える!? http://blogs.oracle.com/oracle4engineer/ オラクルエンジニア通信 36
oracletech.jp IT エンジニアの皆様に向けて旬な情報を楽しくお届け 製品 / 技術情報 Oracle Database っていくら? オプション機能も見積れる簡単ツールが大活躍 セミナー 基礎から最新技術までお勧めセミナーで自分にあった学習方法が見つかる スキルアップ ORACLE MASTER! 試験頻出分野の模擬問題と解説を好評連載中 Viva! Developer 全国で活躍しているエンジニアにスポットライト きらりと輝くスキルと視点を盗もう http://oracletech.jp/ oracletech 37
あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct システムの検討 構築から運用まで IT プロジェクト全般の相談窓口としてご支援いたします ステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォーム 専用お問い合わせフォームにてご相談内容を承ります http://www.oracle.co.jp/inq_pl/inquiry/quest?rid=28 フリーダイヤル 0120-155-096 フォームの入力にはログインが必要となります こちらから詳細確認のお電話を差し上げる場合がありますので ご登録の連絡先が最新のものになっているかご確認下さい 月曜 ~ 金曜 9:00~12:00 13:00~18:00 ( 祝日および年末年始除く ) 38
40