PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

さいぞうとべ
5 years ago
Views:

1 KSK アナリティクス会社紹介データサイエンス本部ビジネス推進部部長シニアデータソリューションプランナー高木宏明

2 KSK アナリティクス会社紹介会社名 : 株式会社 KSKアナリティクス設立 :2006 年 8 月従業員数 : 40 人 Webサイト : 所在地 : ( 本社オフィス ) - 大阪市西区江戸堀肥後橋 IPビル6F ( 東京オフィス ) - 東京都中央区築地築地シティプラザ6F 事業内容 : - 統計機械学習を活用したデータ分析サービス - 分析コンサルティング分析ソフトウェアの販売 - 分析業務基盤構築導入支援サポート - 分析教育プログラムの提供主要取引先 ( 敬称略 ): アサヒビール味の素ゼネラルフーヅ NRIシステムテクノ NTTデータグループ NTTドコモ NTT 西日本カルチュアコンビニエンスクラブキッセイ薬品工業クボタ KDDI 住友金属鉱山ソフトバンクテレコムトヨタ自動車グループ日本 HP 野村総合研究所パイオニアパナソニック PFU 日立製作所ファーストリテイリング富士通本田技術研究所三菱電機村田製作所リクルートホールディングス他

5 機械学習による分類モデル作成

6 Why 機械学習? 人間が苦手な複雑さに対応 - 数値の計算にとても強いです速くて正確 - 定められたロジック通りに計算します自動化できる - その分析あなたの手を煩わせません

7 機械学習の種類教師あり学習状態や結果がわかっているデータから予測を行う教師なし学習漠然とデータのみ存在新たな知見の発見強化学習教師あり学習教師なし学習試行を積み重ねてよいやり方悪いやり方を学んでいく成功報酬失敗ペナルティ強化学習

8 教師あり学習のイメージ金額回帰系 ( 数値をあてる ) ( ) 土地の面積と金額センサー B ( ) 分類系 (A or B) X 商品の品質管理 X X X X X X X X ( 面積 ) ( 例 ) 土地の面積地価天候気温ビールの売上 ( センサー A) ( 例 ) センサーデータ正常 or 故障購買履歴買う or 買わない KSK Analytics Inc.

9 データ理解

10 データ理解

11 参考 : 時系列データからの特徴量抽出 A. Instance based classification - 時系列データを直接比較しその距離 ( 乖離 ) を元に分類をする B. Feature based classification - 時系列データから特徴量を抽出選択しその特徴量の距離 ( 乖離 ) を元に分類をする参考 :B. D. Fulcher, N. S. Jones, Highly Comparative Feature-Based Time-Series Classification, arxiv: v2 Christ Maximilian, Kempa-Liehr Andreas W., Feindt Michael, Distributed and parallel time series feature extraction for industrial big data applications,arxiv: v3

決定木 (Decision Tree) によるクラス分類変数 4V-Stdev が 0.

12 決定木 (Decision Tree) によるクラス分類変数 4V-Stdev が超なら状態 2( 外輪損傷 4) である class 名称 0 正常状態 1 外輪損傷 3 2 外輪損傷 4 3 ガタツキ変数 4V-Stdev が以下かつ変数 3H-Max が超なら状態 1( 外輪損傷 3) である

13 変数 4V-Stdev と変数 3H-Max のデータ分布をプロットすると

14 決定木 (Decision Tree) 分割条件 ( 閾値 ) 計算の考え方変数 A 変数 A A>10 0 A 100 A=100 クラス赤変数 B B>50 B 50 B=50 変数 B クラス青クラス赤

15 スプリッドバリデーション ~ 予測モデルの精度確認手法 ~ 1 データをモデル学習用テスト用に分割 2 モデル学習用データで予測モデルを構築 3 テスト用データの答えを隠して作成したモデルで予測 2 データモデル学習用テスト用予測モデル 3 1 データ答え 4 予測結果とテスト用データの答えを比較して精度確認予測結果比較 4 答え

16 予測精度検証 : コンフュージョンマトリックス決定木による予測モデルの検証結果

17 Appendix ~ モデルの精度向上 ~ 学習データ量を増やす特徴量設計複雑なモデルを用いる ( アンサンブル学習など )

18 欠損値の補完欠損があるデータ欠損値が発生メカニズムには以下 3 パターンが原因として考えられる MCAR (Missing Completely At Random) いわゆる欠損値が完全にランダムに生じているようなケース ( 欠損値の有無がその他の変数や欠損値のある変数自体の値とは無関係 ) MAR (Missing At Random) 欠損値の有無はほかの変数の値と関係しているがその変数の値とは無関係であるケース例 : 身体測定で体重が欠損しているが女性に多く欠損が見られる場合など MNAR (Missing Not At Random) 分析に含まれる他の変数を統制した後でも欠損値の有無が欠損値を持つ変数自身と関係を持つケース例 :IQ テストの回答欄に空白が多く IQ テスト結果と欠損発生頻度で相関がある場合など KSK Analytics Inc.

19 多重共線性の排除 (Multicollinearity 通称マルチコ ) 多重共線性 : 相関性が高い 2 つ以上の説明変数が存在する場合に起こる問題 - 回帰の係数などモデルが解釈困難となる ( 本来の意味合いと異なる方向へと係数の符号がつく等 ) - モデルの予測結果が不安定になる ( 極端な予測値がでる場合がある ) - 予測精度が低下する場合がある例 : 身長と座高雨天日数と総雨量

20 不均衡データへの対応各 label サンプルデータ数が偏りがある状態例 : 機械の故障予測問題では正常稼働データは大量に取得できるが故障はめったに発生せず故障データは非常に少数下図の場合すべて正常と予測するモデルの判別精度 (Accuracy) は 99% となる ( このような判別モデルは適切か?) 正常 9,900 件故障 100 件

21 アンサンブル学習の例 : 決定木の発展系アルゴリズム複数の決定木を合成 ( アンサンブル ) する手法が考案されている決定木メリットである幅広いデータ分布の型にも対応しながら高い予測精度 ( コンテストでよく利用 ) デメリットとしては複数の Tree を合成することで予測の根拠がブラックボックス化 Random Forest Gradient Boosted Trees 全学習データ (XGBoost :extreme Gradient Boosting は GBT の実装例 ) ランダムにデータをピックアップランダムにデータをピックアップランダムにデータをピックアップランダムにデータをピックアップ是正是正是正 1 決定木モデルを作る 2 次のモデルはそれまでの誤差を少しだけ是正する各 tree の予測結果を合成 :Vote 3 最後に全部のモデル出力を合算する

22 分析事例

23 23 Case: センサーデータによる検査機器の故障予測機器に設置した圧力計のセンサーデータを利用し異常故障を 100% の精度で検知したい (1 説明変数 - 波形分析 )

24 対象データセット対象データセットデータの特徴 - 圧力計データ (1 説明変数 ) - 時系列データ ( 波形データ ) 正常時の波形ただし周波数は設定により変動 (FFT 変換の手法は使用不可 ) - 故障 ( 異常 ) 時は波形にぶれ発生異常 / 故障時の波形なお正常稼働データは大量にあるが異常時データは極少 ( 不均衡データ )

25 データ分析テクニックセンサパターンをどう統一するか? 波形の特徴量をどう抽出するか? Mean = X Std = Y Max = Z 機器モーター出力より周期を標準化波形毎に Sliding Window により要約統計量を算出し特徴量としたサポートベクターマシンアルゴリズムにより高速処理かつ予測精度 100% 達成

26 機械学習ソフト RapidMiner ご紹介 RapidMiner Free 版ダウンロード申請サイト 1 万行まで無料で使える!! RapidMiner ブログ KSK アナリティクスイベント情報 ( ご紹介セミナートレーニング東京大阪で定期開催 )

データ分析についてお気軽にご相談下さい KSK アナリティクスビジネス推進部コーポレートサイト : http://www.ksk-anl.

27 データ分析についてお気軽にご相談下さい KSK アナリティクスビジネス推進部コーポレートサイト : 製品サイト : メールアドレス : sales@ksk-anl.com 東京オフィス : 大阪本社オフィス :

Rの基本操作

Rの基本操作 Microsoft Azure 高校生のための Azure Machine Learning By M. Takezawa 機械学習 (Machine Learning) とは機械学習とは機械にデータを学習させデータに潜むパターンや特性を発見し予測させることです Microsoft Azure Machine Learning とは Microsoft 社が提供する Azure の機能の一つであり