Oracle Advanced Analytics　ビッグ・データと分析をシンプルに

Transcription

1 Oracle Advanced Analytics ビッグ データと分析をシンプルに MBAData Mining and Advanced Analytics MS Eng MBA Sr. Director Product Management Charlie Berger Copyright 2014 Oracle and/or its affiliates.all rights reserved.

2 Safe Harbor Statement 下記事項は 弊社の一般的な製品の方向性に関する概要を説明するものです また 情報提供を唯一の目的とするものであり いかなる契約にも組み込むことはできません 以下の事項は マテリアルやコード 機能を提供することをコミットメント ( 確約 ) するものではないため 購買決定を行う際の判断材料になさらないでください オラクル社の製品に関して記載されている機能の開発 リリース および時期については 弊社の裁量により決定されます Copyright 2014 Oracle and/or its affiliates.all rights reserved. 2

3 Agenda ビッグ データと分析の事象 Oracle Advanced Analytics の概要と機能 / 利点 GUI SQL データ マイニング関数 R の統合 簡易版デモ Oracle Big Data SQL アプリケーション OAA 搭載 Getting Started Copyright 2014 Oracle and/or its affiliates.all rights reserved 3

4 将来の計画データはデータ アナリストの増加をはるかに上回る勢いで増加 結論 データ分析のプラットフォームが 満たすべき条件 非常に習得しやすく それでありながら 極めてパワフルで 可能な限り 自動化されていること Copyright 2014 Oracle and/or its affiliates.all rights reserved. 4

5 分析 + データウェアハウス + Hadoop プラットフォームのスプロール化 より多くの重複データ より長いデータ移動の待機時間 より多くのセキュリティ課題 より多くの重複ストレージ より多くの重複バックアップ より多くの重複システム より多くのスペースと消費電力

6 ビジョン ビッグ データとクラウドの時代に合ったビッグ データおよび分析プラットフォームの構築 ビッグ データと分析をシンプルに あらゆるコンピュータ インフラストラクチャでどのようなデータ サイズにも対応 あらゆる種類のデータのどのような組み合わせにも対応 ビッグ データと分析のデプロイメントをシンプルに サービス プラットフォーム アプリケーションとして Copyright 2014 Oracle and/or its affiliates.all rights reserved. 6

7 Oracle Advanced Analytics データベースの進化 データベース内の分析 SQL Thinking Machine Corpの開発チーム + Darwin データ マイニング ソフト 7 社のデータ ウェアを買収マイニング パートナー Oracle Data Mining 9.2i を市場投入 Java API を介した 2 つのアルゴリズム (NB と AR) Oracle Data Mining 10g および 10gR2 で SQL dm 関数 7 つの新しい SQL dm アルゴリズム および 新しい Oracle Data Miner の 伝統的 なウィザード駆動型 GUI を導入 3.2 ワークフロー GUI を導入 R との統合 および Oracle R Enterprise の導入 / 追加 製品名を Oracle Advanced Analytics(ODM + ORE) に変更 新しいアルゴリズム (EM PCA SVD) 予測問合せSQLDEV/Oracle Data Miner 4.0 SQLのスクリプト ODM 11gおよび11gR2で 生成およびSQL AutoDataPrep(ADP) テキスト問合せノード (R 統合 ) のマイニングを追加 パフォーマンスを改善 OAA/ORE SQLDEV/Oracle Data Minerで NN ステップワイズのアルゴリズムを追加 スケーラブルな R アルゴリズム Hadoop コネクタ向け Oracle Adv.Analytics をスケーラブルな BDA アルゴリズムとともに市場投入 1998 年 1999 年 2002 年 2004 年 2005 年 2008 年 2011 年 2014 年

8 Oracle Advanced Analytics Database Option スケーラブルな予測分析を全社に最速の方法で展開 おもな機能 データベース内のデータ マイニング アルゴリズムとオープン ソースの R アルゴリズム オラクルの 3 言語コンポーネントデータベース SQL SQLDev/ODMr GUI R スケーラブルなデータベース内パラレル実行 ワークフロー GUI と IDE 統合データベース コンポーネント エンタープライズ分析アプリケーションの実現

9 Oracle Advanced Analytics Database Option Oracle Database の 3 言語コンポーネント SQL SQLDev/ODMr GUI R おもな機能 データはデータベース内のまま 従来の分析 データのインポート データ マイニング モデル スコアリング Oracle Advanced Analytics SQL カーネルでのスケーラブルなパラレル データ マイニング アルゴリズム 並列化された高速なネイティブ SQL データ マイニング関数 SQL データ準備 R オープン ソース パッケージの効率的な実行 SQL データ マイニング関数と R オープンソース モデルの高パフォーマンスなパラレル スコアリング データの準備および変換 データ マイニング モデルの構築 データの準備および変換 節約 データの抽出 数時間 / 数日 / 数週間 モデルの スコアリング 組込みデータの準備 モデルの構築 データの準備 数秒 / 数分 / 数時間

10 Oracle Advanced Analytics Database Option Oracle Database の 3 言語コンポーネント SQL SQLDev/ODMr GUI R おもな機能 総所有コストの大幅削減 データの重複排除 独立した分析サーバーの不要化 Oracle IT の投資を利用予測分析を最速の方法で全社に提供 統合 GUI による予測分析 データベース スコアリング エンジン 従来の分析 データのインポート データ マイニング モデル スコアリング データの準備および変換 データ マイニング モデルの構築 データの準備および変換 データの抽出 数時間 / 数日 / 数週間 Oracle Advanced Analytics 節約 モデルの スコアリング 組込みデータの準備モデルの構築 データの準備 数秒 / 数分 / 数時間

11 Turkcell 通信詐欺対策 目的 プリペイド カードによる不正 - 数百万ドル / 年 膨大なデータを極めて高速に取捨選択 不正に対応 時は金なり ソリューション Turkcell は Oracle Exadata 上で 100 テラバイトの圧縮データ ( 非圧縮状態では 1 ペタバイトの生データ ) を管理しています Oracle Advanced Analytics オプションのコンポーネントである Oracle Data Mining を使用することで 他のどんなツールよりも迅速かつ容易に大量の顧客データと通話記録データを分析し 不正な電話使用を検出し 根絶に努めることができます - Turkcell İletişim Hizmetleri A.Ş Manager Hasan Tonguç Yılmaz 毎日 100 億件の通話記録データを監視 1PB に対する準備に SQL を利用 データ移動のプロセスは速度が遅いため Turkcell の IT はモデルをデータベース内に構築してデプロイ Exadata 上の Oracle Advanced Analytics は極めて高速 アナリストは不正パターンをほぼ即座に検出可能 00 Oracle Advanced Analytics のデータベース内不正モデル Oracle Exadata

12 Oracle Advanced Analytics Database アーキテクチャ Oracle Database の 3 言語コンポーネント SQL SQLDev/ODMr GUI R ユーザーデータおよびビジネス分析 R プログラマービジネス アナリスト / マネージャードメインのエンドユーザー Oracle SQL Developer R クライアント OBIEE アプリケーション プラットフォーム Oracle Database Enterprise Edition Oracle Advanced Analytics ネイティブ SQL データ マイニング / 分析関数 および高パフォーマンスの R 統合により スケーラブルな分散並列実行を実現

13 より多くのデータの種類 より優れた予測モデル 関連データのソースを増やすことで モデルの精度を向上することが可能 100% 100% 以下を含む ビッグ データ と数百から数千の入力変数を持つモデル : 人口統計データ POS 購入トランザクション データ 非構造化データ テキスト およびコメント 空間位置データ 長期および最近の履歴行動 Web 訪問回数 センサー データ その他 Responders Naive Guess またはランダム 20の変数を持つモデル 75の変数を持つモデル 250 の変数を持つモデル 0% 母集団の規模

14 Oracle Advanced Analytics データベース内データ マイニング アルゴリズム SQL R GUI アクセス 関数アルゴリズム応用 分類 ロジスティック回帰 (GLM) ディシジョン ツリー Naive Bayes サポート ベクター マシン 従来型の統計手法人気度 / ルール / 透明度埋め込みアプリ範囲が広い / 狭いデータ / テキスト 回帰 線形回帰 (GLM) サポート ベクター マシン (SVM) 伝統的な統計手法範囲が広い / 狭いデータ / テキスト 異常検出 1 クラス SVM 未知の不正ケースまたは異常 属性の重要度相関ルール A1 A2 A3 A4 A5 A6 A7 最小記述長 (MDL) 主成分分析 (PLC) Apriori 属性縮約 データ ノイズの低減 マーケットバスケット分析 / 次善策の提案 クラスタリング 階層型 K-Means 階層型 O クラスタ化期待値最大化 (EM) クラスタリング 製品分類 / テキスト マイニング遺伝子およびタンパク質の分析 特徴抽出 F1 F2 F3 F4 非負行列因子分解 (NMF) 特異値分解 (SVD) テキスト分析 / 特徴削減

15 Oracle Advanced Analytics Database Option 幅広いデータベース内のデータ マイニングと統計関数 データの理解と視覚化 クラスタリング R サマリー統計と記述統計 ヒストグラム 散布図 箱ひげ図 棒グラフ R グラフィックス :3D プロット リンク プロット 特殊な R グラフ タイプ クロス集計 相関テスト (t 検定 ピアソン ANOVA) 選択された Base SAS と同等機能 データの選択 準備 変換 結合 表 ビュー データ選択 データ フィルタ SQL 時間枠 複数スキーマ サンプリング手法 コード変更 欠損値 集計 空間データ SQL パターン R から SQL への透過性とプッシュ ダウン 分類モデル ロジスティック回帰 (GLM) Naive Bayes ディシジョン ツリー サポート ベクター マシン ニューラル ネットワーク (NN) 回帰モデル 重回帰 (GLM) サポート ベクター マシン 階層型 K-Means 直交パーティショニング 期待値の最大化 異常検出 特殊なケースのサポート ベクター マシン (1 クラス SVM) 対応付け / マーケットバスケット分析 アプリオリ アルゴリズム 特徴選択と特徴削減 属性評価 ( 最小記述長 ) 主成分分析 (PCA) 非負行列因子分解 特異値の分解 テキスト マイニング ほとんどの OAA アルゴリズムが非構造化データをサポート ( 顧客のコメント 電子メール 要約など ) トランザクション データと空間データ すべての OAA アルゴリズムでトランザクション データ ( 購入取引 長期的な反復測定 ロケーションからの距離 エリア A/B/C で過ごした時間など ) をサポート R パッケージ - オープン ソースの実行機能 R から SQL への透過性や組込み R モードを使用して データベース プロセスの一部として 幅広い R CRAN パッケージを実行可能 * すべての Oracle Database に無料搭載

16 データ マイニングとは 大量のデータを自動的にふるいにかけ 前は見えなかったパターンを見つけ 新しい有益な知見を見いだし 予測を立てること A1 A2 A3 A4 A5 A6 A7 もっとも重要な要素の特定 ( 属性重要度 ) 顧客行動の予測 ( 分類 ) 価値の予測または見積り ( 回帰 ) ターゲットとなる人または項目のプロファイルを検出 ( ディシジョン ツリー ) 母集団のセグメント化 ( クラスタリング ) 不正または まれな事象 の検出 ( 異常検出 ) バスケット 内に同時に出現する項目の特定 ( 関連性 )

17 データ マイニングがもたらすもの質の高い情報 有益な知見と予測 携帯電話の顧客離れ対忠実な顧客 R セグメント #3 IF CUST_MO > 7 AND INCOME < $ THEN 予測 = 携帯電話の顧客離れ 確率 = 83% 支持 = 6/39 知見と予測 セグメント #1 IF CUST_MO > 14 AND INCOME < $90000 THEN 予測 = 携帯電話の顧客離れ確率 = 100% 支持 = 8/39 契約月数 出典 :Inspired from Data Mining Techniques:For Marketing, Sales, and Customer Relationship Management Michael J. A. Berry および Gordon S. Linoff 著

18 Oracle Advanced Analytics ベスト プラクティス 何も違わない ; 何もかもが違う 1. ビジネス課題のステートメントから開始 7. 全社的に自動化とデプロイメントを行う 2. データを移動しない 6. データ を 実践的知見 に素早く変換 3. 問題の 適切な 4. データ を組み立てる 5. 分析手法をクリエイティブに考案する 4. 新たに導き出された変数を作成

19 複雑なセグメント化の問合せを数週間から数分間に短縮 競争上の強みを獲得 目的 世界をリードする顧客科学会社 Oracle Advanced Analytics とサード パーティ製ツールを使用して 分析をほぼリアルタイムで実行可能なまでに短縮し スマートフォンのような新しいソースの非構造化ビッグ データを分析 ソリューション 問合せの処理に数時間あるいは数日待たなくても 問合せを実行して分析を完了できるようになったため アナリストの生産性と集中力が改善された 大規模なサンプル サイズを分析し 新製品の考えと戦略が市場にどの程度受け入れられるかを予測することで マーケティング リコメンデーションの精度が高まった dunnhumby Oracle Customer Snapshot ( セグメント化と顧客ロイヤルティ分析を 1 週間からわずか 4 時間に短縮して 情報ときめ細かい分析をよりタイムリーに出すことが可能に ごく小さいサンプルではなく 数年分の履歴データを含めた 100% のデータを分析できるため より正確なビジネス知見とマーケティング リコメンデーションを生成

20 行動を予測 可能性の高い行動 とそのプロファイルを特定 SQL が結合を実行し 任意 SQL 変換と問合せを実行 SQL のパワー トランザクション POS データ デプロイメント用の SQL スクリプトを生成 インライン予測モデルで入力データを増やす 非構造化データも アルゴリズムでマイニング 考慮点 : 人口統計 過去の購入 最近の購入 顧客のコメントとツイート

21 Oracle Advanced Analytics 簡易版デモ

22 Oracle SQL Developer/Oracle Data Miner 4.0 新機能 R SQL スクリプトの生成 手法全体を 1 つの SQL スクリプトとしてデプロイ データ アナリストの手法を即座にデプロイ

23 不正予測デモ自動化されたデータベース内分析手法 drop table CLAIMS_SET; exec dbms_data_mining.drop_model('claimsmodel'); create table CLAIMS_SET (setting_name varchar2(30), setting_value varchar2(4000)); insert into CLAIMS_SET values ('ALGO_NAME','ALGO_SUPPORT_VECTOR_MACHINES'); insert into CLAIMS_SET values ('PREP_AUTO','ON'); commit; begin dbms_data_mining.create_model('claimsmodel', 'CLASSIFICATION', 'CLAIMS', 'POLICYNUMBER', null, 'CLAIMS_SET'); end; / -- Top 5 most suspicious fraud policy holder claims select * from (select POLICYNUMBER, round(prob_fraud*100,2) percent_fraud, rank() over (order by prob_fraud desc) rnk from (select POLICYNUMBER, prediction_probability(claimsmodel, '0' using *) prob_fraud from CLAIMS where PASTNUMBEROFCLAIMS in ('2to4', 'morethan4'))) where rnk <= 5 order by percent_fraud desc; POLICYNUMBER PERCENT_FRAUDRNK 自動化された月次 アプリケーション 以下を追加 : Create View CLAIMS2_30 As Select * from CLAIMS2 Where mydate > SYSDATE 30 Time measure:set timing on;

24 詳細 Oracle Advanced Analytics シングル レコードにその場で新しいデータ ( コール センターから取得したデータなど ) を適用 Select prediction_probability(clas_dt_1_2, 'Yes' USING 7800 as bank_funds, 125 as checking_amount, 20 as credit_balance, 55 as age, 'Married' as marital_status, 250 as MONEY_MONTLY_OVERDRAWN, 1 as house_ownership) from dual; コール センター ソーシャル メディア R アドバイスの取得ブランチオフィス 応える可能性 : Web モバイル 電子メール

25 例がない場合のデータ マイニング質の高い情報 価値ある知見と予測 携帯電話詐欺対忠実な顧客? 契約月数 出典 :Inspired from Data Mining Techniques:For Marketing, Sales, and Customer Relationship Management Michael J. A. Berry および Gordon S. Linoff 著

26 課題 : 異常の検出 複数の属性を考慮 1 つだけで見ると 正常 に見える可能性がある レコードを全体からみると 異常である可能性がみえてくる 異なる ものを探す X 1 X 2 X1 X2 X 3 X 3 X 4 X4

27 脱税監査の選択 シンプルな Oracle Data Mining 予測モデル ディシジョン ツリーを使って 2011 年のデータを基に非準拠の納税を分類 ( はい / いいえ )

28 Oracle Advanced Analytics OAA/Oracle R Enterprise(R 統合 )

29 R 広く普及 R は Base SAS または SPSS Statistics に似た統計言語 強み R 環境 パワフルで拡張可能 グラフィカルで広範な統計 無料 オープン ソース 課題 メモリの制約 シングルスレッド 外部ループ プロセスの速度低下 業務仕様ではない

30 Oracle R Enterprise 計算エンジン Oracle Advanced Analytics R エンジン その他の R パッケージ Oracle R Enterprise パッケージ デスクトップ上のユーザー R エンジン SQL 結果 Oracle Databases ユーザー表 R オープン ソース データベース計算エンジン?x R 結果 R エンジン その他の R パッケージ Oracle R Enterprise パッケージ Oracle DB から起動された R エンジン R-SQL 透過フレームワークが R 関数をオーバーロードして スケーラブルなデータベース内実行を実現 関数のオーバーロードにより データ変換 統計関数 高度な分析に対応 グラフィカルな結果とフロー制御を標準 R と同様にインタラクティブに表示 ユーザー定義の R 関数を送信して Oracle Database の制御のもと データベース サーバーで実行 大規模データセットにスケーリング DB LINK で表 ビュー 外部表 およびデータにアクセス データベースのパラレル SQL 処理を利用 データベース内の新規および既存の統計機能とデータ マイニング機能を利用 データベースで複数の R エンジンを起動して データベース管理の並列処理を実現 起動した R エンジンにデータを効率的に転送 MapReduce 方式のアルゴリズムとアプリケーションをエミュレート R スクリプトを本番環境にデプロイして自動実行

31 Oracle Advanced Analytics R グラフィックスからデータベース データへの直接アクセス R> boxplot(split(carstats$mpg, CARSTATS$model.year), col = "green") R 時間とともに MPG が増加

32 R: 関数のオーバーロードにより透過的に動作データベース内の集計関数を起動 > aggdata <- aggregate(ontime_s$dest, + by = list(ontime_s$dest), + FUN = length) > class(aggdata) [1] "ore.frame" attr(,"package") [1] "OREbase" > head(aggdata) Group.1 x 1ABE 237 2ABI 34 3ABQ 135 4ABY 7 5ACK 10 6ACT 3 33 Oracle Advanced Analytics ORE クライアント パッケージ 透過レイヤー Oracle SQL select DEST, count(*) from ONTIME_S group by DEST Oracle Database Stats ONTIME_S データベース サーバー In-db

33 R: 関数のオーバーロードにより透過的に動作データベース内データ マイニング モデルを起動 ( サポート ベクター マシン ) > svm_mod <- ore.odmsvm(buy~income+yrs_cust+marital_status,data=cust, "classification", kernel="linear") > summary(svm_mod) Call: ore.odmsvm(formula = BUY ~ INCOME + YRS_CUST + MARITAL_STATUS, data = CUST, Oracle Advanced Analytics ORE クライアント パッケージ 透過レイヤー Oracle PL/SQL BEGIN DBMS_DATA_MINING.CREATE_MODEL( model_name => SVM_MOD, mining_function => dbms_data_mining.classification... type = "classification", kernel.function = "linear") Settings : value prep.auto active.learnin on al.enable gcomplexity.factor conv.tolerance 1e Coefficients : class variable 0 value INCOME 0 MARITAL_STATUS 0 MARITAL_STATUS 0 YRS_CUST estimate e-05 M e-05 S e e-04 kernel.function linear 5 0 (Intercept) e INCOME e MARITAL_STATUS M e MARITAL_STATUS S e YRS_CUST e (Intercept) e-01 Oracle Database CUST データベース内マイニング モデル データベース サーバー

34 Oracle Advanced Analytics for Hadoop データが HDFS 内にある Hadoop 上で 並列 / 分散方式で実行される予測アルゴリズム

35 Oracle R Advanced Analytics for Hadoop ORAAH = Oracle R Advanced Analytics for Hadoop Oracle Big Data Software Connectors Suite の一部 (Oracle Big Data Appliance Option) ORAAH の透過レイヤーにより オーバーロードされた特定の R 関数は R 構文と動作 (R から HiveQL への透過的な変換 ) を使って Hive 表で機能させることが可能 HDFS データを操作し マッパー関数とリデューサ関数を R で作成できる R インタフェースでは オープン ソース CRAN パッケージを利用し これらの Hadoop ジョブを R から起動することが可能 データが HDFS 内にある Hadoop クラスタ上で 並列 / 分散方式で実行される幅広い予測アルゴリズムを提供 Copyright 2014 Oracle and/or its affiliates.all rights reserved. 35

36 Oracle R Advanced Analytics for Hadoop R パッケージ群により 以下を提供 : 計算 Apache Hive 表 Apache Hadoop インフラストラクチャ ローカル R 環境 および Oracle Database 表とのインタフェース R または Java で Hadoop MapReduce ジョブとして作成した予測分析手法を HDFS ファイルのデータに適用することが可能 R パッケージの場合と同様に パッケージをインストール ロードして 次のような処理を実行させる : Hive 対応透過レイヤーを使って HDFS データのアクセスと変換を実行 R 言語を使ってマッパーとリデューサを作成 R メモリ ローカル ファイル システム HDFS Hive Oracle Database 間でデータをコピー R プログラムを Hadoop MapReduce ジョブとして実行して 結果をそれらの場所に返すようにスケジューリング Oracle R Advanced Analytics for Hadoop を使用するには MapReduce プログラミング R プログラミング 統計手法の十分な知識が必要 Copyright 2014 Oracle and/or its affiliates.all rights reserved. 36

37 ORAAH の Hadoop 内 MR 関数最新リリース 関数 orch.cor 説明 ピアソン相関係数で相関行列を生成 orch.cov orch.getxlevels orch.glm orch.kmeans orch.lm 共分散行列を生成 model.matrix 呼出しの xlev 引数で使用可能な要素レベルのリストを作成 これは stats パケージの.getXlevels 関数に相当します 一般化した線形モデルを HDFS に保存したデータに適合させて使用 HDFS にファイルとした保存されたデータ行列に対し K-Means クラスタリングを実行 Tall-and-Skinny QR(TSQR) 因子分解とパラレル分散を使って 線形モデルを調整 この関数は Oracle R Enterprise ore.lm 関数と同じ統計パラメータを計算します orch.lmf jellyfish アルゴリズムまたは Mahout 交互最小二乗法と重み正則化 (ALS-WR) アルゴリズムのいずれかを使って 低ランクの行列因子分解を調整 オラクル社外秘 37

38 ORAAH の Hadoop 内 MR 関数最新リリース 関数 orch.neural orch.nmf orch.nmf.nmfalgo orch.princomp orch.recommend orch.sample orch.scale 説明 入出力間の複雑な非線形関係をモデル化したり データのパターンを見つけたりするためのニューラル ネットワークを提供 jellyfish アルゴリズムを使って 非負行列因子分解モデルを作成するためのおもなエントリ ポイントを提供 この関数は 入力データをメモリに収める必要がないため R NMF パッケージよりはるかに大きいデータセットを扱うことができます カスタム アルゴリズムとして R NMF パッケージ フレームワークに挿入 この関数はベンチマーク テストに使用されます 主成分のパフォーマンスを分析 入力した orch.mahout.lmf.asl モデルを基にランキングが予測された各ユーザーに勧める上位 n 個の項目を計算 リザーバ サンプリングを提供 スケーリングを実行 Copyright 2014 Oracle and/or its affiliates.all rights reserved 38

39 Oracle Big Data SQL SQL の述部をストレージ レイヤーにプッシュ ダウン

40 Oracle Exadata のパフォーマンスが卓越している理由 SQL 小さいデータ サブセットを素早く返す 問合せを Oracle Exadata Storage Server にオフロード Hadoop および NoSQL Oracle Database 12c 40

41 データ分析の課題 別個のデータ アクセッサ インタフェースに別個のサイロ 41

42 お客様が求めているもの :Oracle Big Data SQL 全エンタープライズ データへの機能が豊富で包括的な SQL アクセス Oracle SQL の威力 - 幅広い種類の ' ビッグ データ ' 構造化データ数値 文字列 日付... 非構造化データ LOB テキスト XML JSON 空間 グラフ マルチメディア - 豊富な SQL 分析関数のランキング ウィンドウイング LAG/LEAD 集計 パターン マッチング クロス集計 統計 線形回帰 相関 仮説検定 分布適合度... 42

43 Oracle Big Data SQL の導入 Oracle, Hadoop NoSQL にまたがる超並列 SQL 問合せ処理 SQL SQL 小さいデータ サブセットを素早く返す 問合せをデータ ノードにオフロード データサブセット 問合せを Oracle Exadata Storage Server にオフロード Hadoop および NoSQL Oracle Database 12c 43

44 すべてのデータを管理 分析 - SQL および Oracle Big Data SQL SQL Oracle Big Data Appliance Oracle Database 12c SQL JSON 変換されていない JSON データを Hadoop に保存 ビジネスに不可欠なデータを Oracle に保存 SQL または R で分析したデータ 44

45 Oracle Advanced Analytics アプリケーション統合および OBIEE 統合

46 統合されたビジネス インテリジェンス予測とデータ マイニングの知見でダッシュボードを強化 データベース内予測モデル顧客データを マイニング し 顧客の行動を予測 OBIEE の統合空間マッピングで位置を表示 ダッシュボードを強化するため すべての OAA の結果と予測が OBIEE Admin を介してデータベースで使用可能 Oracle BI EE で結果を定義して エンドユーザーに表示 Oracle Data Mining の結果を Oracle BI EE 管理者が利用可能

47 Oracle Communications Industry Data Model 予測分析アプリケーションの例 事前構築済みの予測モデル スケーラブルな全社的予測分析を最短期間で提供 OAA のクラスタリングと予測がデータベース内で OBIEE 用に使用可能 顧客の自動セグメント化 解約予測 感情分析

48 予測分析 Fusion HCM の労働力予測 Oracle Fusion Human Capital Management OAA 搭載 Oracle Advanced Analytics に事前インストールされた予測分析 離職しそうな従業員と予測された業績 おもな理由 予測される行動 リアルタイムの What-If 分析

49 1. 顧客離れの予測 2. 顧客プロファイリング 3. 顧客離れの要因 4. クロスセルの機会 5. 顧客の生涯価値 6. 顧客の勘定 7. 顧客の生涯価値 Oracle Communications Data Model 事前構築されたデータ マイニング モデル

50 Oracle Communications Data Model 事前構築されたプリペイド携帯電話利用者離れデータ マイニング モデル プリペイド携帯電話利用者離れの定義 通信事業者から製品を何も買わなくなったとき 顧客は離れたと見なされます モデルで使用されたサンプルの入力属性 プリペイド携帯電話利用者離れモデルでは 合計 170 の属性を使用 属性 ACCPT_NWSLTR_IND BRDBND_IND CAR_DRVR_LICNS_IND CAR_TYP_CD CHRN_IND CMPLNT_CNT_LAST_3MO CMPLNT_CNT_LAST_MO CMPLNT_CNT_LFTM CRDT_CTGRY_KEY CUST_RVN_BND_CD DAYS_BFR_FIRST_RCHRG DAYS_BFR_FIRST_USE DRPD_CALLS_CNT_LAST_3MO DRPD_CALLS_CNT_LAST_MO DRPD_CALLS_CNT_LFTM DWLNG_OWNER DWLNG_STAT DWLNG_SZ DWLNG_TENR DWNLD_DATA_LAST_3MO DWNLD_DATA_LAST_MO DWNLD_DATA_LFTM ETHNCTY GNDR_CD HH_SZ HNGUP_CALLS_CNT_LAST_3MO HNGUP_CALLS_CNT_LAST_MO MMS_CNT_LAST_MO OFFNET_CALLS_LAST_MO PAY_TV_IND 説明 顧客がニュース レターを受け取るかどうかを示します顧客にブロードバンド接続があるかどうかを示します顧客に運転免許証があるかどうかを示します車のタイプのコード顧客が離れたかどうかを示します過去 3か月に顧客が行った苦情の数今月顧客が行った苦情の数生涯の間 顧客が行った苦情の数顧客の信用カテゴリ顧客の利益帯コード最初の決済から最初のリチャージまでの日数決済から最初の使用日までの日数過去 3か月で通話が切断された回数今月通話が切断された回数顧客の生涯の間 通話が切断された回数住居の所有者居住状況住居の規模住居の保有権過去 3か月にダウンロードされたデータ (KB) 過去 1か月にダウンロードされたデータ (KB) 顧客の生涯の間 ダウンロードされたデータ (KB) 顧客の人種個人の顧客の性別コード世帯規模過去 3か月で電話を切った回数今月電話を切った回数過去 1か月で送信したMMS 過去 1か月のオフネット通話の回数顧客に有料テレビ接続があるかどうかを示します

51 Oracle Communications Industry Data Model 予測分析アプリケーション SNA 分析によって改善された OCDM の通信顧客離れ OCDM OBIEE との統合 特殊な SNA コードを使用した Oracle Data Mining の利用 CDR データからのソーシャル ネットワーク コミュニティの特定 ノード レベルでの顧客離れと影響力に対する予測スコア 潜在的なリスクのある収益 / 価値 ビジネス ユーザー向けのユーザー インタフェースと柔軟な非定型レポート

52 12c の新機能

53 Oracle Advanced Analytics データベース オプション Oracle Data Miner 4.X の新機能のまとめ Oracle Data Miner/SQLDEV 4.1 EA2(Oracle Database 11g および 12c 向け ) 新しいグラフ ノード ( 箱ひげ図 散布図 棒グラフ ヒストグラム ) SQL 問合せノード +R スクリプトの統合 デプロイメント用の SQL スクリプトの自動生成 JSON 問合せノードにより ビッグ データ外部表をマイニング Oracle Data Miner で使用可能な Oracle Advanced Analytics 12c の機能 新しい SQL データ マイニングのアルゴリズム / 拡張機能 期待値最大化クラスタリング アルゴリズム PCA および特異値分解アルゴリズム 改善 / 自動化されたテキスト マイニング 予測の詳細 その他のアルゴリズムの改善 予測 SQL 問合せ - SQL 問合せ内で自動的に構築 適用

54 Oracle SQL Developer/Oracle Data Miner 4.0 新機能 グラフ ノード 散布図 折れ線グラフ 棒グラフ 箱ひげ図 ヒストグラム Group_by のサポート R

55 Oracle SQL Developer/Oracle Data Miner 4.0 新機能 R SQL 問合せノード ODMr のワークフロー内でどのような形式の問合せ / 変換 / 統計も可能 どこにいても SQL を使って 特別 / 独自のデータ操作ユースケースを処理 最終購入日 購入頻度 購入金額 (RFM:Recency, Frequency, Monetary) SQL ウィンドウ関数 過去 3 か月と過去 3 日に切られた小切手の移動平均などを出す場合などに使用 R スクリプトを統合可能

56 Oracle SQL Developer/Oracle Data Miner 4.0 新機能 R SQL スクリプトの生成 手法全体を 1 つの SQL スクリプトとしてデプロイ データ アナリストの手法を即座にデプロイ

57 Oracle SQL Developer/Oracle Data Miner 4.0 新機能 R SQL 問合せノード R スクリプトを統合可能

58 新機能 Oracle SQL Developer/Oracle Data Miner 4.0 R SQL 問合せノード R スクリプトを統合可能

59 新機能 Oracle SQL Developer/Oracle Data Miner 4.0 データベース / データ マイニング パラレル処理のオン / オフ制御 Parallel Query On (All) R ユーザーは Oracle Data Miner ノードごとに オラクルのパラレル処理 / スケーラビリティをフルに利用することが可能 デフォルトは オフ 大規模な Oracle Database および Oracle Exadata を使用する企業には重要

60 サーバーの新機能 12c の新機能 3 つの新しい Oracle Data Mining SQL 関数アルゴリズム 期待値の最大化 (EM) クラスタリング 新しいクラスタリング手法 - データの密度モデルを構築する確率論的クラスタリング アルゴリズム 各種ドメインで発生したデータに対するアプローチの改善 ( 例 : 販売取引と顧客層 構造化データとテキスト / その他の非構造化データ ) データ モデリングに必要なクラスタ数の最適値を自動的に決定 主成分分析 (PCA) データ削減および改善されたモデリング機能 強力な特徴抽出手法が SVD に基づいて直交線形投影を使用し データの根底にある分散を捕捉 特異値の分解 (SVD) 行列演算用のビッグ データの 主力 手法 非常に大きい数値データセットで 非常に大きいデータ サイズ ( 行と属性の両方 ) を実現するスケーラビリティ ( センサー データ テキストなど ) R

61 サーバーの新機能 テキスト マイニング サポートの拡張 12c の新機能 R 入力にテキスト データが含まれる場合のデータ マイニング プロセス ( モデルの構築 デプロイメント スコアリング ) を大幅に簡便化 テキスト データに対する手動の前処理は不要 テキスト索引の作成は不要 データ型サポートの追加 :CLOB BLOB BFILE 文字データはカテゴリ値またはテキストとして指定可能

62 サーバーの新機能 予測的問合せ SQL 問合せ内で ODM モデルを即座に構築 / 適用 分類と回帰 対象が複数ある問題 クラスタリングの問合せ 異常の問合せ 特徴抽出の問合せ 12c の新機能 Select cust_income_level, cust_id, round(probanom,2) probanom, round(pctrank,3)*100 pctrank from ( select cust_id, cust_income_level, probanom, percent_rank() over (partition by cust_income_level order by probanom desc) pctrank from ( select cust_id, cust_income_level, prediction_probability(of anomaly, 0 using *) over (partition by cust_income_level) probanom from customers ) ) where pctrank <=.05 order by cust_income_level, probanom desc; R OAA は強力な SQL 問合せを介したパーティションによって 自動的に複数の異常検出モデル Grouped_By と scores を作成

63 サーバーの新機能 予測的問合せ SQL 問合せ内で ODM モデルを即座に構築 / 適用 12c の新機能 R 分類と回帰 対象が複数ある問題 クラスタリングの問合せ 異常の問合せ 特徴抽出の問合せ 結果 / 予測 OAA は強力な SQL 問合せを介したパーティションによって 自動的に複数の異常検出モデル Grouped_By と scores を作成

64 新機能 JSON 問合せノード Oracle Data Miner 4.1 R JSON 問合せノードは外部表を介して BDA を抽出し JSON データ型を解析し データをデータ マイニング用に組み立て

65 新機能 Oracle Data Miner 4.1 Oracle Data Minerワークフロー APIでワークフローを管理 スケジューリング および実行 - PL/SQL API により アプリケーションでワークフローを即座に実行したり スケジューリングしたりすることが可能 Oracle Scheduler によるスケジューリング機能 ODMr リポジトリ ビューを問合せて プロジェクトやワークフローの情報を取得することが可能 アプリケーションでワークフローの実行や問合せで生成された結果を監視することが可能 CONNECT DMUSER/DMUSER SET SERVEROUTPUT ON DECLARE v_jobid v_status v_projectname v_workflow_name v_node v_run_mode v_failure v_nodes BEGIN v_nodes.extend(); VARCHAR2(30) := NULL; VARCHAR2(30) := NULL; VARCHAR2(30) := 'Project'; VARCHAR2(30) := 'build_workflow'; VARCHAR2(30) := 'MODEL_COEFFCIENTS'; VARCHAR2(30) := ODMRSYS.ODMR_WORKFLOW.RERUN_NODE_PARENTS; NUMBER := 0; ODMRSYS.ODMR_OBJECT_NAMES := ODMRSYS.ODMR_OBJECT_NAMES(); v_nodes(v_nodes.count) := v_node; v_jobid := ODMRSYS.ODMR_WORKFLOW.WF_RUN(p_project_name => v_projectname, p_workflow_name => v_workflow_name, p_node_names => v_nodes, p_run_mode => v_run_mode, p_start_date => '31-DEC AM AMERICA/NEW_YORK', p_repeat_interval => 'FREQ=MONTHLY;BYMONTHDAY=-1', p_end_date => '31-DEC AM AMERICA/NEW_YORK'); DBMS_OUTPUT.PUT_LINE('Job:' v_jobid); R

66 Getting Started

67 OAA のリンクおよびリソース Oracle Advanced Analytics の概要 : プレゼンテーションのリンク Oracle Advanced Analytics データベース内オプションによるビッグ データの分析 OAA データ シート (OTN) Oracle Internal OAA Product Management Wiki and Workspace YouTube に録画された OAA プレゼンテーションおよびデモ : Oracle Advanced Analytics and Data Mining at the YouTube Movies(ODM r 4.0 の新機能 小売 詐欺 ロイヤルティ 概要などに関する 6 + OAA の ライブ デモ ) Getting Started: Getting Started w/ ODM blog entry のリンク New OAA/Oracle Data Mining 2-Day Instructor Led Oracle University course のリンク OAA/Oracle Data Mining 4.0 Oracle by Examples (free) Tutorials(OTN) のリンク Free Test Drive of Oracle Advanced Analytics (Oracle Data Miner GUI) on the Amazon Cloud を試す SQL Developer Days Virtual Event w/ downloadable VM of Oracle Database + ODM/ODMr and e-training for Hands on Labs のリンク OAA/Oracle R Enterprise (free) Tutorial Series (OTN) のリンク その他のリソース : Oracle Advanced Analytics Option on OTN ページ OAA/Oracle Data Mining on OTN ページ ODM Documentation および ODM Blog OAA/Oracle R Enterprise page on OTN ページ ORE Documentation および ORE Blog Oracle SQL based Basic Statistical functions(otn) ビジネス インテリジェンス ウェアハウス および分析 2015 年 1 月 27~29 日開催の BIWA Summit(Oracle HQ Conference Center にて )

68 Oracle Advanced Analytics の新刊 Amazon で購入可能な書籍 Predictive Analytics Using Oracle Data Miner:Develop for ODM in SQL & PL/SQL Copyright 2014 Oracle and/or its affiliates.all rights reserved. 68

69 テスト ドライブを受けるオラクルのパートナー Vlamis Software による Amazon Cloud の無料テスト ドライブの提供 ステップ リクエストに記入する に移動 ステップ 2 接続する リモート デスクトップで接続 ステップ 3 テスト ドライブを開始する Oracle Database + Oracle Advanced Analytics Option Oracle SQL Developer/Oracle Data Miner GUI 学習用のデモ データ チュートリアルで学習 Copyright 2014 Oracle and/or its affiliates.all rights reserved. 78

70 2016 年 1 月 日 Oracle HQ Campus にて

71

72