Transform Big Data into Bigger Insight with Oracle Exadata and Oracle Advanced Analytics - CON8731

Size: px

Start display at page:

Download "Transform Big Data into Bigger Insight with Oracle Exadata and Oracle Advanced Analytics - CON8731"

ゆりかしんまつ
6 years ago
Views:

1 Oracle Advanced Analytic Option 12c を使用した不正と異常の検出 Sr. Director Product Management, Data Mining and Advanced Analytics Charlie Berger 1

2 医師看護師役員によるメディケアの不正行為 CNN International CNN Justice Producer Terry Frieden 2011 年 2 月 17 日午後 5 時 15 分 ( 東部標準時 ) 連邦当局は 100 名以上の医師看護師医療保険担当役員を告発逮捕米国史上最大の医療不正事件合計 2 億 2500 万ドルにのぼる横領を目的としたメディケアへの不正請求 2008 年から 2010 年までの医療保険の不正悪用防止プログラムに対する連邦政府の投資対効果は 1 ドルあたり平均 6.80 ドルに上ります ( 保健福祉長官 Kathleen Sebelius) 2

全米公認不正検査士協会不正を検出するための 20 箇条 1. 普通ではない行動犯罪者がしばしば見せる変わった行動は全体としてとらえると強力な不正の兆候になる発覚を恐れて長期休暇や病気による休暇を取得しない者もいれば仕事が多すぎても断らない者もいるだろうその他の兆候には飲酒や喫煙自己防衛の増加異常な怒りっぽさと疑い深さなどがある 2.

3 全米公認不正検査士協会不正を検出するための 20 箇条 1. 普通ではない行動犯罪者がしばしば見せる変わった行動は全体としてとらえると強力な不正の兆候になる発覚を恐れて長期休暇や病気による休暇を取得しない者もいれば仕事が多すぎても断らない者もいるだろうその他の兆候には飲酒や喫煙自己防衛の増加異常な怒りっぽさと疑い深さなどがある 2. 不満頻繁に不満の声が聞こえる場合これも不正行為の進行の現れと言える不満は不正を引き起こす最大の原因の 1 つとして知られており深刻に受け止める必要がある不満を言う者の動機は疑わしいことが多いが一般にその主張は詳しい調査に値する 3. 確認不可能な金銭銀行勘定調整で突合せに含まれない預金や小切手は横領につながる恐れがある確認できない預金は犯罪者が資金を持って逃亡したことを意味する可能性があり所在不明の小切手は偽の支払い先に支払われた可能性がある 4. 過剰な取消し販売伝票の取消しは販売が達成されたにもかかわらず支払い金が犯罪者に流用され横領を隠すために伝票が取り消されたことを示す場合がある 5. 文書の紛失所在の確認できない文書は不正のサインになりうる文書が置き間違えられた可能性もあるが監査人はなぜ文書が紛失しており必要な項目を見つけるためにどのような手段が取られたかついての説明を受ける必要がある監査人は問題の存在を確認する前に代替項目を選んだり被監査者に選ばせたりすることが多い 6. 過剰な貸方伝票過剰な取消しと同様にこのテクニックも現金の横領を隠すために使用される偽の顧客宛てに貸方伝票を書き現金を抜き取ることで合計現金残高のバランスを取る 3

実際の不正例クレジットカード明細不正を見つけられますか? May 22 1:14 PM FOOD Monaco Café $127.38 May 22 7:32 PM WINE Wine Bistro $28.00 ガソリンスタンド? June 14 2:05 PM MISC Mobil Mart $75.00 June 14 2:06 PM MISC Mobil Mart $75.

4 実際の不正例クレジットカード明細不正を見つけられますか? May 22 1:14 PM FOOD Monaco Café $ May 22 7:32 PM WINE Wine Bistro $28.00 ガソリンスタンド? June 14 2:05 PM MISC Mobil Mart $75.00 June 14 2:06 PM MISC Mobil Mart $75.00 June 15 11:48 AM MISC Mobil Mart $75.00 June 15 11:49 AM MISC Mobil Mart $75.00 May 28 6:31 PM WINE Acton Shop $31.00 May 29 8:39 PM FOOD Crossroads $ June 16 11:48 AM MISC Mobil Mart $75.00 June 16 11:49 AM MISC Mobil Mart $75.00 すべて75ドル? モナコ? 75 ドルが 2 回? 4

Turkcell 不正通信との闘い目標プリペイドカードの不正使用 - 数百万ドル / 年極めて高速に膨大なデータを選別不正対策にはスピードが重要ソリューション 1 日あたり100

Advanced Analyticsによる最高のスピードアナリストはほぼ即時に不正パターンを検出可能 Turkcell は Oracle Exadata 上で 100 テラバイトの圧縮データ

Mining を利用することで私たちはその他のどのツールよりも簡単かつ高速に大量の顧客データと通話記録レコードを分析し不正な電話利用を素早く検出して対抗策を講じることができます

5 Turkcell 不正通信との闘い目標プリペイドカードの不正使用 - 数百万ドル / 年極めて高速に膨大なデータを選別不正対策にはスピードが重要ソリューション 1 日あたり100 億の通話記録レコードの監視 1PBの準備のためにSQLを利用低速なデータ移動プロセスのため TurkcellのITは DB 内モデルを構築およびデプロイ Exadata 上のOracle Advanced Analyticsによる最高のスピードアナリストはほぼ即時に不正パターンを検出可能 Turkcell は Oracle Exadata 上で 100 テラバイトの圧縮データ ( 圧縮していない状態では 1 ペタバイトの生データ ) を管理しています Oracle Advanced Analytics オプションのコンポーネントである Oracle Data Mining を利用することで私たちはその他のどのツールよりも簡単かつ高速に大量の顧客データと通話記録レコードを分析し不正な電話利用を素早く検出して対抗策を講じることができます Turkcell İletişim Hizmetleri A.Ş マネージャー Hasan Tonguç Yılmaz Oracle Advanced Analytics データベース内の不正モデル Exadata 5

6 オラクルのビッグデータプラットフォーム Oracle Big Data Appliance Hadoop R NoSQL を使用した処理向けに最適化 Oracle Big Data Connectors Oracle Exadata DW/OLTP 向けに最適化された " 記録システム " Oracle Exalytics 分析およびインメモリワークロード向けに最適化 Hadoop オープンソース R Oracle NoSQL Database アプリケーション Oracle Big Data Connectors Oracle Data Integrator Oracle Advanced Analytics データウェアハウス Oracle Database データベース内分析オラクルのエンタープライズパフォーマンス管理オラクルのビジネスインテリジェンスアプリケーションオラクルのビジネスインテリジェンスツール Oracle Endeca Information Discovery ストリーム取得体系化検出と分析

7 Oracle Advanced Analytics スケーラブルな全社的予測分析をもっとも迅速に提供する手段おもな機能データベース内のデータマイニングアルゴリズムとオープンソースR アルゴリズム SQL PL/SQL R 言語スケーラブルな並列データベース内実行ワークフロー GUIとIDE 統合データベースコンポーネントエンタープライズ分析アプリケーションの実現 7

8 Oracle Advanced Analytics データベース内の幅広いデータマイニング機能と統計機能データの理解と視覚化サマリー統計と記述的な統計ヒストグラム散布図箱ひげ図棒グラフ R グラフィック :3D プロットリンクプロット R 固有のグラフタイプクロス集計相関テスト (t 検定ピアソン ANOVA) 一部の Base SAS の同等機能データの選択準備変換結合表ビューデータ選択データフィルタ SQL 時間枠複数スキーマサンプリング手法再コーディング欠落値集計空間データ R から SQL への透過層とプッシュダウン分類モデルロジスティック回帰 (GLM) Naive Bayes 決定木サポートベクターマシン (SVM) ニューラルネットワーク (NN) 回帰モデル重回帰 (GLM) サポートベクターマシンクラスタリング階層型 K-means 法直交パーティショニング EM アルゴリズム異常検出特殊ケースのサポートベクターマシン (1 クラス SVM) 関連性 / マーケットバスケット分析アプリオリアルゴリズム特徴選択と特徴削減属性の重要度 ( 最小記述長 ) 主成分分析 (PCA) 非負値行列因子分解特異ベクトル分解テキストマイニングほとんどの Oracle Advanced Analytics アルゴリズムで非構造化データ ( 顧客のコメント電子メール要約など ) をサポートトランザクションデータほとんどの Oracle Advanced Analytics アルゴリズムでトランザクションデータ ( 購入トランザクション経時反復測定など ) をサポート R パッケージ - オープンソース実行機能豊富な R の CRAN パッケージを R から SQL への透過層や組込み R モードを介してデータベースプロセスの一部として実行可能 8

9 金融部門 / 会計 / 経費異常検出単純な不正検出手法 :1 クラス SVM より高度な不正検出手法 : クラスタリング +1 クラス SVM 9

10 不正予測デモ自動化されたデータベース内分析手法 drop table CLAIMS_SET; exec dbms_data_mining.drop_model('claimsmodel'); create table CLAIMS_SET (setting_name varchar2(30), setting_value varchar2(4000)); insert into CLAIMS_SET values ('ALGO_NAME','ALGO_SUPPORT_VECTOR_MACHINES'); insert into CLAIMS_SET values ('PREP_AUTO','ON'); commit; begin dbms_data_mining.create_model('claimsmodel', 'CLASSIFICATION', 'CLAIMS', 'POLICYNUMBER', null, 'CLAIMS_SET'); end; / -- Top 5 most suspicious fraud policy holder claims select * from (select POLICYNUMBER, round(prob_fraud*100,2) percent_fraud, rank() over (order by prob_fraud desc) rnk from (select POLICYNUMBER, prediction_probability(claimsmodel, '0' using *) prob_fraud from CLAIMS where PASTNUMBEROFCLAIMS in ('2to4', 'morethan4'))) where rnk <= 5 order by percent_fraud desc; POLICYNUMBER PERCENT_FRAUD RNK 自動化された月次 " アプリケーション次を追加するだけです Create View CLAIMS2_30 As Select * from CLAIMS2 Where mydate > SYSDATE 30 10

11 Oracle Advanced Analytics を選ぶ理由差別化機能エンタープライズ向けの予測分析アプリケーションを最短期間で提供 OBIEE と SQL 問合せを使用する任意のアプリケーションの統合パフォーマンスとスケーラビリティ Oracle Database の性能とスケーラビリティを活用最小限の総所有コスト別個の分析サーバーは不要 11

12 実際の不正例クレジットカード明細不正を見つけられますか? May 22 1:14 PM FOOD Monaco Café $ May 22 7:32 PM WINE Wine Bistro $28.00 ガソリンスタンド? June 14 2:05 PM MISC Mobil Mart $75.00 June 14 2:06 PM MISC Mobil Mart $75.00 June 15 11:48 AM MISC Mobil Mart $75.00 June 15 11:49 AM MISC Mobil Mart $75.00 May 28 6:31 PM WINE Acton Shop $31.00 May 29 8:39 PM FOOD Crossroads $ June 16 11:48 AM MISC Mobil Mart $75.00 June 16 11:49 AM MISC Mobil Mart $75.00 すべて75ドル? モナコ? 75 ドルが 2 回? 12

13 潜在的な不正を検出するための複数のアプローチ 1. 異常検出 (1 クラス SVM) フィードバックループを追加して徐々に入力訓練データの質を高めモデルパフォーマンスを改善 2. 分類訓練 / 学習に使用できる不正サンプルが多い場合 (25% 以上 ) 3. クラスタリング特定のクラスタに当てはまる確率があまり高くないかクラスタの外れ値 / 境界にあるレコードを発見 4. 3 つ目と 1 つ目の組合せ (3 の次に 1) レコードを事前にクラスタリングして " 類似 " セグメントを作成してから各クラスタに異常検出モデルを適用 5. 専門家の集団 5 つのモデルのうちの 3 つが 40% 以上の確率で異常を予測しているかまたは N 個のモデルのうち 1 つが異常なレコードとみなしている 13

14 課題 : 異常の発見複数の属性を考慮 1 つだけでは " 正常 " に見えるかもしれないまとめてとらえることでレコードの異常が明らかになる " 異なる " 要素を探す X 1 X 2 X 1 X 2 X 3 X 3 X 4 X 4 14

Oracle Advanced Analytics SQL データマイニングアルゴリズム R 分類ロジスティック回帰

と透明性に対して一般的簡単かつ高速で高いパフォーマンス新しく多用途で高いパフォーマンス回帰重回帰 (GLM)

マシン対象分野のサンプルが足りない場合の異常検出と不正属性の重要度最小記述長 (MDL) 属性の削減データ

特徴抽出 A5 A6 A7 F1 F2 F3 F4 階層型 K-means 法階層型 O-Cluster EMアルゴリズム

15 Oracle Advanced Analytics SQL データマイニングアルゴリズム R 分類ロジスティック回帰 (GLM) 決定木 Naïve Bayes サポートベクターマシン従来の統計手法 " ルール " と透明性に対して一般的簡単かつ高速で高いパフォーマンス新しく多用途で高いパフォーマンス回帰重回帰 (GLM) サポートベクターマシン従来の統計手法新しく多用途で高いパフォーマンス異常検出 1 クラスのサポートベクターマシン対象分野のサンプルが足りない場合の異常検出と不正属性の重要度最小記述長 (MDL) 属性の削減データノイズの削減関連性ルール A1 A2 A3 A4 アプリオリマーケットバスケット分析リンク分析クラスタリング特徴抽出 A5 A6 A7 F1 F2 F3 F4 階層型 K-means 法階層型 O-Cluster EMアルゴリズム主成分分析 (PCA) 非負値行列因子分解特異値分解顧客のセグメント化類似したレコードトランザクションクラスタの識別特徴削減 ( 多数の入力テキストの問題など ) 15

16 Oracle Advanced Analytics データベース内の幅広いデータマイニング機能と統計機能データの理解と視覚化サマリー統計と説明的な統計ヒストグラム散布図箱ひげ図棒グラフ R グラフィック :3D プロットリンクプロット R 固有のグラフタイプクロス集計相関テスト (t 検定ピアソン ANOVA) 一部の Base SAS の同等機能データの選択準備変換結合表ビューデータ選択データフィルタ SQL 時間複数スキーマサンプリング手法再コーディング欠落値集計空間データ R から SQL への透過層とプッシュダウン分類モデルロジスティック回帰 (GLM) Naive Bayes 決定木サポートベクターマシン (SVM) ニューラルネットワーク (NN) 回帰モデル重回帰 (GLM) クラスタリング階層型 K-means 法直交パーティショニング EM アルゴリズム異常検出特殊ケースのサポートベクターマシン (1 クラス SVM) 関連性 / マーケットバスケット分析アプリオリアルゴリズム特徴選択と特徴削減属性の重要度 ( 最小記述長 ) 主成分分析 (PCA) 非負値行列因子分解特異ベクトル分解テキストマイニングほとんどの Oracle Advanced Analytics アルゴリズムで非構造化データ ( 顧客のコメント電子メール要約など ) をサポートトランザクションデータほとんどの Oracle Advanced Analytics アルゴリズムでトランザクションデータ ( 購入トランザクション経時反復測定など ) をサポート R パッケージ - オープンソース実行機能豊富な R の CRAN パッケージを R から SQL への透過層や組込み R モードを介してデータベースプロセスの一部として実行可能サポートベクターマシン 16

17 Oracle Data Miner の GUI SQL Developer 4.0の拡張機能 :OTNから無料でダウンロード可能使いやすさ Oracle Data Miner の GUI を使用したデータ分析 " ワークフロー " パラダイム高性能さまざまなアルゴリズムとデータ変換 100% データベース内で実行モデルの構築評価適用自動化とデプロイデプロイ用 SQL スクリプトの生成分析ワークフローの共有 17

18 違法な税申告に対する監査選別シンプルな Oracle Data Mining の予測モデル 2011 年の履歴データに基づき決定木を使用して不適合な納税申告を分類 ( はい / いいえ ) 18

19 違法な税申告に対する監査選別デモに使用した納税データ 19

20 違法な税申告に対する監査選別法律違反の可能性のある税申告パターンを発見 20

21 不正および違法の例法律違反の可能性に基づく経費の識別とドリルスルー Oracle Advanced Analytics データマイニングモデルが経費報告の不正の可能性とその他の重要な兆候を提供 21

Oracle Advanced Analytics R Enterprise コンピューティングエンジン 1 2 3 R R エンジンその他の R パッケージ Oracle R Enterprise パッケージ結果 SQL Oracle Database R オープンソースユーザー表?

インターセプタ標準 R と同様のフロー制御とインタラクティブな結果のグラフィカル表示 R スクリプト全体をデータベースによる実行向けに送信データベースコンピューティングエンジン大規模データセットに対応したスケーラビリティ表ビュー外部表データへの DB リンクを介したアクセスデータベースの SQL

22 Oracle Advanced Analytics R Enterprise コンピューティングエンジン R R エンジンその他の R パッケージ Oracle R Enterprise パッケージ結果 SQL Oracle Database R オープンソースユーザー表?x R 結果 R エンジンその他の R パッケージ Oracle R Enterprise パッケージデスクトップ上のユーザー R エンジンスケーラブルなデータベース内実行のため R-SQL 透過フレームワークが R ファンクションをインターセプトデータ変換統計ファンクション高度な分析に対応したファンクションインターセプタ標準 R と同様のフロー制御とインタラクティブな結果のグラフィカル表示 R スクリプト全体をデータベースによる実行向けに送信データベースコンピューティングエンジン大規模データセットに対応したスケーラビリティ表ビュー外部表データへの DB リンクを介したアクセスデータベースの SQL 並列処理を利用新規および既存のデータベース内統計機能とデータマイニング機能を利用 Oracle DB によって生成された R エンジンデータベースは複数の R エンジンを生成してデータベース管理の並列処理を実行可能生成された R エンジンへの効率的なデータ転送マップリデュース方式のアルゴリズムとアプリケーションをエミュレート R スクリプトの " 完全自動 " 実行を実現 22

ノードに割り当てることで全体で 85% の典型的な行動 / プロファイルを取得 ODM モデルのリアルタイム

23 Oracle Adaptive Access Manager 信頼を前提とした検証グローバルな ODM クラスタリングモデルが典型的な行動 / パターン / プロファイルを識別各ユーザーを複数のクラスタノードに割り当てることで全体で 85% の典型的な行動 / プロファイルを取得 ODM モデルのリアルタイム " スコアリング " により複雑な Oracle Advanced Analytics リアルタイムセキュリティを強化 23

24 金融部門 / 会計 / 経費 Oracle Spend Classification: 購買カテゴリに対して支出を自動的に分類経費項目の説明に対するテキストマイニング誤って分類された可能性のある経費の " デフラグ " " フラットパネルモニタ " = " 食事 "

25 25

Oracle Advanced Analytics　ビッグ・データと分析をシンプルに

Oracle Advanced Analytics　ビッグ・データと分析をシンプルに Oracle Advanced Analytics ビッグデータと分析をシンプルに MBAData Mining and Advanced Analytics MS Eng MBA Sr. Director Product Management Charlie Berger charlie.berger@oracle.com www.twitter.com/charliedatamine Copyright