Slide 1

Size: px

Start display at page:

Download "Slide 1"

ときあわたけ
5 years ago
Views:

1 Oracle Direct Seminar <Insert Picture Here> Oracle DB でできる! 簡単データマイニング日本オラクル株式会社

2 OTN ダイセミでスキルアップ!! 一般的な技術問題解決方法などを知りたい! セミナ資料など技術コンテンツがほしい! Oracle Technology Network(OTN) を御活用下さい一般的技術問題解決には OTN 掲示版のデータベース一般をご活用ください OTN 掲示版は基本的に Oracle ユーザー有志からの回答となるため 100% 回答があるとは限りませんただ過去の履歴を見ると質問の大多数に関してなんらかの回答が書き込まれております過去のセミナ資料動画コンテンツは OTN の OTN セミナーオンデマンドコンテンツへダイセミ事務局にダイセミ資料を請求頂いてもお受けできない可能性がございますので予めご了承くださいダイセミ資料は OTN コンテンツオンデマンドかセミナ実施時間内にダウンロード頂くようお願い致します 2

3 <Insert Picture Here> データマイニングとは 3

4 データマイニングとはデータマイニングとは大量に保管されているデータを自動的に検索して単純な分析では得られないパターンや傾向を見つける手続きですデータマイニングでは高度な数学的アルゴリズムを使用してデータを分割し将来のイベントの発生確率を判断しますデータマイニングはデータからの知識発見 (KDD) としても知られています KDD:knowledge-discovery in databases 4

5 データマイニングで何ができる?( 一例 ) 大量のデータの中から有意なデータを発掘大量の顧客データの中から有意な顧客を発掘アップセルできそうな顧客 / 解約しそうな顧客顧客のセグメンテーション大量の取引データの中から有意な取引を発掘特定の併売パターン ( 一緒に売れる傾向の強い商品の組み合わせ ) 不正な取引その他大量のアイテムデータの中から有意なアイテムを発掘製造部品データの中から壊れる可能性の高い部品 / 不良品新薬検証データの中から効果の高い新薬 5

6 データマイニングで何ができる?( イメージ ) 顧客データ顧客 ID 性別年齢職業 101 男性 31 会社員 102 女性 28 主婦 103 女性 36 主婦 104 男性 43 会社員マイニングエンジン解約顧客顧客 ID 解約予想確率 101 Y 70% 102 Y 85% 103 N 58% 104 N 92% 販売明細データ併売傾向 ( ルール ) 取引 ID 商品顧客 ID 日時 5020 CD-R 103 1/10/ 数量マイニングエンジン購入 (A) 併売 (B) 信頼度支持度 CD-R CD ケース 90% 7% 5021 CD-R 110 1/10/ CD-R 121 1/11/ マウスパッド 103 1/10/ マウスマウスパッド 88% 3% CD-R マウスパッド 51% 2% 6

7 マイニングエンジンとは? 関数のようなもの Oracleの場合 PL/SQLまたはJava APIとして提供データセットをインプットすると有意な結果をアウトプットしてくれる有意な結果 : データルール予測モデル ( 新たな関数のようなもの ) ただしインプットするデータによっては有意な結果が出てこない場合もあるのでインプットデータは仮説を元に色々試してみる必要がある 7

8 <Insert Picture Here> Oracle のデータマイニングデータマイニング機能 Oracle の強み 8

9 Oracle Data Mining 機能機能名内容 Classification 分類履歴データを元に未知のデータ ( 質的 ) を予測異常値の検出としても利用可能 Regression 回帰 Clustering クラスタリング Association 相関 Attribute_Importance 属性評価 Feature_extraction 特徴抽出履歴データを元に未知のデータ ( 量的 ) を予測データ全体の中で自然なグループを識別 AかつBなどの関係がデータ全体で発生する確率を特定 (ex. バスケット分析 ) あるデータの予測に対して使用する各データ項目の相対的な重要度を識別各データ項目を結合してより上質な項目に変換 ( データを説明する項目の削減品質向上 ) 9

10 Oracle Data Mining アルゴリズムファンクション分類 (Classification) 回帰 (Regression) クラスタリング (Clustering) 異常検出 (Anomaly Detection) 相関 (Association) アルゴリズム Decision Tree Naïve Bayes Support Vector Machine Generalized Liner Models Support Vector Machine Generalized Liner Models 拡張 k-means OCluster Support Vector Machine Apriori 属性評価 (AI:Attribute Importance) MDL( 最小記述長 ) 特徴抽出 (Feature Extraction) NMF 10

11 参考 PL/SQL によるマイニング処理例 DBMS_DATA_MINING.CREATE_MODEL プロシージャ BEGIN DBMS_DATA_MINING.CREATE_MODEL( model_name mining_function data_table_name => svmc_model', => dbms_data_mining.classification, => sample_data', case_id_column_name => 'cust_id', target_column_name => Affinity_card ); END; / サンプルの顧客データセットからカード会員になりそうな顧客を予測するモデルを作成 11

12 参考 SQL の活用例年収 2000 万円以上と思われる顧客の名前と仕事を抽出 SELECT ENAME, JOB from customers where PREDICTION (svmr_model USING *) > 2000 AND COMM IS NOT NULL ; PRIDICTION() 顧客の年収を予測顧客をセグメント化し重要度の高いセグメントごとに解約する危険性を確率で表示 SELECT count(*) as cnt, AVG(PREDICTION_PROBABILITY(svmC_model, 'attrite' USING *)) as avg_attrite, AVG(cust_value_score) FROM customers GROUP BY CLUSTER_ID(clus_model USING *) ORDER BY avg_attrite DESC; PRIDICTION_PROBABILITY() 顧客の解約確率を算出 CLUSTER_ID() 顧客をクラスタに分類しそのクラスタの識別 ID を返す 12

13 参考 Oracle Data Miner データマイニング用 GUIツール ( 無償 ) マイニング作業の簡易化ウィザードに沿って作業を実行結果の可視化残差プロット ROC リフトチャートなど 13

14 Demonstration バスケット分析シナリオパソコンショップの売上明細データからよく併売されている商品を抽出します商品顧客 ID 日時数量 CD-R 103 1/10/ CD-R 110 1/10/ CD-R 121 1/11/ マウスパッド 103 1/10/ 購入 (A) 併売 (B) 信頼度支持度 CD-R CDケース 90% 7% マウスマウスパッド 88% 3% CD-R マウスパッド 51% 2% マウスパッド 115 1/11/ 信頼度 A 全体のうち A かつ B の割合支持度全ケースのうち A かつ B の割合 14

15 <Insert Picture Here> Oracle のデータマイニングデータマイニング機能 Oracle の強み 15

16 分析ニーズの拡大と大量データ時代分析ニーズの拡大経営者専門家から現場へ人による判断から自動化へ傾向の可視化から詳細の分析へ過去データから直近のデータへ ( 分析データの鮮度 ) 分析目的背景売上拡大 ( マーケティング分析顧客分析レコメンデーション ) リスク縮小 ( 例外異常分析チャーン分析 ) 大量データ業務の明細データログ ( 通信ログライフログセンサーデータ ) 16

17 従来の分析システムデータベース分析サーバデータの取り出し 5 データの加工ナレッジのロードナレッジの掘り出しビジネスプロセスへの展開テキスト出力 17

18 従来の分析システムの課題データベースと分析サーバ間のデータのやり取りが発生データベースからのアンロードデータベースから取り出したデータを分析サーバへ転送分析サーバでモデリングしたデータを DB へ転送モデリングデータを DB へローディング分析作業を高速化するため高スペックな分析サーバが必要分析サーバ上でのデータセキュリティ対策が別途必要データソースの管理分析処理セキュリティの管理ごとに I/F や処理方式が異なり作業の標準化や他システムとの連携が困難データ移動の工数が増大特にデータ量が増えるほど大きな影響分析サーバの高コスト化 H/W 運用管理面でコストが増加 18

19 Oracle Architecture In database Analytics system データベース All In Database データの取り出し不要分析サーバ 5 データの加工最適化 Best Performance Secure and Flexible Management 不要ナレッジのロード最適化 Best Performance Secure and Flexible Management ナレッジの掘り出しビジネスプロセスへの展開テキスト出力 19

20 In Database におけるデータ分析最適化 Best Performance データの加工集計フィルタリングモデリングスコアリング In Parallel No CPU Overflow Minimum I/O Secure and Flexible Management Secure Data Management アクセス制御監査ロギング Low cost of System Management 自動モニタリング自動診断他のアプリケーション (BI CRMなど ) との連携 ODBC JDBC SQL アダプタ 20

21 Oracle Architecture In database Analytics system データベースと分析サーバ間のデータのやり取りが発生データベースからのアンロードデータベースから取り出したデータを分析サーバへ転送分析サーバでモデリングしたデータを DB へ転送モデリングデータを DB へローディング分析作業を高速化するため高スペックな分析サーバが必要分析サーバ上でのデータセキュリティ対策が別途必要データソースの管理分析処理セキュリティの管理ごとに I/F や処理方式が異なり作業の標準化や他システムとの連携が困難データベースと分析サーバが統合データのアンロードの必要はなしデータの転送の必要もなしデータの再ロードの必要もなしそもそも高価な分析サーバは不要 DB サーバの高速エンジンでデータクレンジングやモデリングを最適化データの操作は DB 内で完了するため DB のセキュリティ機能で対策は万全全ての作業を PL/SQL や SQL ベースで標準化し他システムとの連携も容易 21

Oracle Exadata Minimize I/O DB サーバー列単位でデータを大幅に圧縮

問合せ InfiniBand ストレージサーバー Express Highway Architecture Fibre

22 Software. Hardware. Complete. Oracle のソフトウェアと Sun のハードウェアを組み合わせて最適化されたデータベースマシン Exadata Oracle Exadata Minimize I/O DB サーバー列単位でデータを大幅に圧縮ストレージ上のインデックスにより不要な I/O を削減ストレージ上で必要なデータだけを抽出加工して DB サーバへ転送問合せ InfiniBand ストレージサーバー Express Highway Architecture Fibre Channel の 8 倍のデータ転送帯域 (InfiniBand 40Gb/s) 利用頻度の高いデータはフラッシュストレージ上に格納データは自動的に Hot Spot のないように分散配置されストレージサーバーを並列稼動する仕組み 22

顧客事例 - Xerox データマイニングアルゴリズムとデータが Oracle Database に一緒に格納されているため膨大なデータをアルゴリズムにかけ分析予測するために外部プログラムに移動する必要がありませんこのことは 75% 以上のコスト削減につながっています Tracy E. Thieret Ph.

23 顧客事例 - Xerox データマイニングアルゴリズムとデータが Oracle Database に一緒に格納されているため膨大なデータをアルゴリズムにかけ分析予測するために外部プログラムに移動する必要がありませんこのことは 75% 以上のコスト削減につながっています Tracy E. Thieret Ph.D Principal Scientist Xerox Innovation Group Imaging and Solution Technology Center コピー機複合機からのデータを収集し以下の分析を実施お客様の使用状況の分類ジョブの長さ使用量リプレースの典型的な要因 CRU ライフタイム使用量やジョブの長さなどとの相関関係消耗品の生産お客様の使用状況との相関関係 23

24 Data Mining をはじめるには Oracle Database ソフトウェアのインストールインストール時に Data Mining RDBMS Files にチェック Data Miner は OTN より別途インストール ( 解凍するだけ ) ユーザの作成データマイニングで使用するユーザを作成しますユーザに必要な権限を設定します CREATE MINIG MODELなどサンプルスキーマのインストールチュートリアルを試してみる場合はサンプルスキーマのデータを使用しますのでインストールが必要ですサンプルスキーマは DBCA にて DB を作成 ( カスタム以外 ) 時または別途 CompanionCD に含まれるスクリプトから手動にてインストールできます 24

25 Data Mining をはじめてみよう Data Mining 概要 11/E /toc.htm Data Mining 管理者ガイド 11/E /toc.htm Data Mining アプリケーション開発者ガイド 11/E /toc.htm Oracle Data Miner & Tutorial マニュアルのリンク先は 11gR1 のものです 25

あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct 検索システムの検討構築から運用まで ITプロジェクト全般の相談窓口としてご支援いたしますシステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォームフリーダイヤル専用お問い合わせフォームにてご相談内容を承ります http://www.

26 あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct 検索システムの検討構築から運用まで ITプロジェクト全般の相談窓口としてご支援いたしますシステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォームフリーダイヤル専用お問い合わせフォームにてご相談内容を承りますフォームの入力には Oracle Direct Seminar 申込時と同じログインが必要となりますこちらから詳細確認のお電話を差し上げる場合がありますのでご登録されている連絡先が最新のものになっているかご確認下さい月曜 ~ 金曜 9:00~12:00 13:00~18:00 ( 祝日および年末年始除く ) 26

27 以上の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さいオラクル製品に関して記載されている機能の開発リリースおよび時期については弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社関連会社の米国及びその他の国における登録商標です文中の社名商品名等は各社の商標または登録商標である場合があります 27

Warehouse Builderにおける予測分析の使用

Warehouse Builderにおける予測分析の使用 Warehouse Builder Oracle 2006 3 Warehouse Builder... 3 ETL... 4 DMBS_PREDICTIVE_ANALYTICS... 4... 5 1... 5 2... 5 3... 5... 6 SQL PREDICT... 7... 9 1... 9 2... 9 3... 9... 10 PL/SQL... 11... 12... 12...