Microsoft PowerPoint - 03Weka.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - 03Weka.ppt"

あいぞうながだき
5 years ago
Views:

情報意味論 (3) Weka の紹介 WEKA: Explorer WEKA: Experimenter Preslav Nakov (October 6, 2004) http://www.sims.berkeley.edu/courses/is290-2/f04/lectures/lecture11.ppt WEKA: 使ってみよう Eibe Frank http://prdownloads.

1 情報意味論 (3) Weka の紹介 WEKA: Explorer WEKA: Experimenter Preslav Nakov (October 6, 2004) WEKA: 使ってみよう Eibe Frank WEKA: 好奇心旺盛な飛べない鳥 WEKA: 用語 Weka で用いる単語は多少普通の用法と異なる : Attribute: 属性, feature ( 普通 ) Relation: 事例の集合, collection of examples Instance: その時点で使用中の事例集合 Class: クラス範疇 category Copyright: Martin Kramer (mkramer@wxs.nl), University of Waikato, New Zealand 3 4

WEKA: The Software Toolkit Java で書かれた機械学習 / データマイニングソフト

nz/ml/weka 研究教育応用に用いられる Witten & Frank 著 Data Mining

学習アルゴリズムの比較 WEKA GUI Chooser java -Xmx1000M -jar weka.

) が使われるのは : 離散化 discretization, 正規化 normalization,

2 WEKA: The Software Toolkit Java で書かれた機械学習 / データマイニングソフト GNU ライセンス研究教育応用に用いられる Witten & Frank 著 Data Mining で使用主な機能 : データ前処理ツール学習アルゴリズム評価手法グラフィカルインタフェイス ( データ可視化含む ) 学習アルゴリズムの比較 WEKA GUI Chooser java -Xmx1000M -jar weka.jar 5 6 Explorer: データの前処理分類前処理属性選択前処理タブ WEKA はデータがインポートできる : ファイルから : ARFF, CSV, C4.5, binary URL から SQL データベースから (JDBC を用いて ) 前処理ツール ( フィルター ) が使われるのは : 離散化 discretization, 正規化 normalization, resampling, 属性選択 attribute selection, 属性の変換と結合, etc. フィルタ選択手動による属性選択最後の属性はクラス選択した属性の属性値の統計量選択した属性に関するクラスと頻度 7 8

Explorer: 分類 Weka の Classifiers は : 分類 classification ( 名辞で表すクラスの予測 ) 回帰 regression ( 数値的な量の予測 ) 使用する学習アルゴリズム : Naïve Bayes, 決定木 decision trees, knn, support vector machines, ニューラルネットワーク, logistic

3 Explorer: 分類 Weka の Classifiers は : 分類 classification ( 名辞で表すクラスの予測 ) 回帰 regression ( 数値的な量の予測 ) 使用する学習アルゴリズム : Naïve Bayes, 決定木 decision trees, knn, support vector machines, ニューラルネットワーク, logistic regression, 等. メタ分類 : 単独で使うものではない学習アルゴリズムと組み合わせて使用例 : boosting, bagging 等. 分類器の選択 Cross-validation: データを例えば 10 部分に分けその内の 9 部分で学習をし残りの 1 部分でテストを行うことを 10 回繰り返す他の属性値から値を予測すべき属性. デフォールトは最後の属性. ここでは class という名称になっている. 分類タブ 9 10 分類器の選択 11 12

4 False: Gaussian True: kernels (better) 概要とオプションの表示付加的な情報の表示離散化による数値データの名辞データへの変換精度 accuracy 15 16

Confusion matrix 予測出力予測した分類と本当の分類との違いを数値化したものこれから様々な値が得られる : accuracy:

c d F-measure: 2PR/(P+R) false positive (FP) rate: b/(a+b) true negative

各事例に対しそう分類する確からしさ ( 確率 ) を出力する 17 18 Predictions Output 誤りの可視化

5 Confusion matrix 予測出力予測した分類と本当の分類との違いを数値化したものこれから様々な値が得られる : accuracy: (a+d)/(a+b+c+d) 予測値 recall: d/(c+d) => R + a b precision: d/(b+d) => P 真 + c d F-measure: 2PR/(P+R) false positive (FP) rate: b/(a+b) true negative (TN) rate: a/(a+b) false negative (FN) rate: c/(c+d) これらは2クラス以上にも適用できる各事例に対しそう分類する確からしさ ( 確率 ) を出力する Predictions Output 誤りの可視化誤分類事例への確率付与の例 : 予測 1 正解 3 Naïve Bayes は条件付独立性を無条件に仮定しているため通常は過信ぎみの結果を出す ( 結果の正誤とは関係なく ) 19 20

forward selection, random, 網羅探索 exhaustive, 遺伝的アルゴリズム

etc. WEKA は ( 殆どの ) 任意の組合せができる 21 22 Individual Features

6 誤りの可視化 Explorer: 属性選択小さい四角が誤りを表す横軸は事例番号予測力の高い属性を探す予測力の低い属性を予め排除したい 2 種類の方法 : 探索法 : best-first, forward selection, random, 網羅探索 exhaustive, 遺伝的アルゴリズム genetic algorithm, ranking 評価法 : information gain, χ 自乗, etc. WEKA は ( 殆どの ) 任意の組合せができる Individual Features Ranking Individual Features Ranking misc.forsale rec.sport.hockey comp.graphics 23 24

7 Individual Features Ranking 属性間の相互作用 misc.forsale 分類 C rec.sport.hockey 属性 A の重要さ属性 B の重要さ乱数の種 comp.graphics 属性 A 属性の相関 B 属性 2- 方向相互作用??? 25 Slide adapted from Jakulin, Bratko, Smrke, Demšar and Zupan's 26 属性間の相互作用属性部分集合の選択属性 A の重要さ分類 C 属性 B の重要さ問題の例図全体集合 Full set 空集合 Empty set 数え上げ Enumeration 属性 A B 3- 方向相互作用 : A, B, C に共通なもの ; 属性対からは推論できないもの. 属性探索網羅的 / 完全 ( 数え上げ /branch&bounding) ヒューリスティック ( 逐次的に前進方向 / 後退方向 ) 確率的 stochastic ( 生成 / 評価 ) 個々の属性や部分集合の生成 / 評価 Slide adapted from Jakulin, Bratko, Smrke, Demšar and Zupan's 27 Slide adapted from Guozhu Dong's 28

8 属性部分集合選択属性部分集合選択 misc.forsale rec.sport.hockey comp.graphics 17,309 個の部分集合を検討し 21 個の属性が選択された選択した属性の保存前処理における属性選択このタブから出来ることはバッファをテキストファイルで保存すること. 使いやすいとはいえない... 属性選択は前処理のステップでもできる... ( 次のスライド参照 ) 31 32

9 前処理における属性選択前処理における属性選択 679 属性 : ( クラス用の一個 ) 前処理における属性選択この 21 属性に対し Naïve Bayes を適用精度向上たった 22 属性が残る : ( クラス用の一個 ) 21 属性 35 36

10 ( 再掲 ) 全属性を用いた Naïve Bayes 重要なアルゴリズム WEKA はアルゴリズムに時々変わった名称をつけている精度全 679 属性使用 ( スライド再掲 ) 主なアルゴリズム : Naïve Bayes: weka.classifiers.bayes.naivebayes Perceptron: weka.classifiers.functions.votedperceptron Winnow: weka.classifiers.functions.winnow Decision tree: weka.classifiers.trees.j48 Support vector machines: weka.classifiers.functions.smo k nearest neighbor: weka.classifiers.lazy.ibk これらのものには古典的なアルゴリズムではなくより洗練されたものがある e.g. WEKA には古典的な Naïve Bayes は見つけられなかった (5 種類もの実装されているのに ) 実験を行う WEKA: Explorer WEKA: Experimenter WEKA: 使ってみよう Experimenter を用いると異なる学習アルゴリズムを比較することが容易にできる扱う問題 : 分類回帰結果 : ファイルに書き込まれる評価方法の種類 : cross-validation 学習曲線 learning curve hold-out パラメータを変えて繰返すことができる有意性検定が組み込み 39 40

11 実験条件の設定実験条件の設定実験条件の設定実験条件の設定データ CSV ファイル : Excel から読めるアルゴリズム 43 44

12 実験条件の設定実験条件の設定実験条件の設定実験条件の設定精度 SVM が最良決定木が最悪 47 SVM は統計的に Naïve Bayes よりよい決定木は統計的に Naïve Bayes より悪い 48

13 実験 : Excel 結果は CSV ファイルに書き出すことができ, それは Excel に読み込むことができる 49

ROC lift chart 2 Copyright (C) 2008 i-library MOT 2

ROC lift chart 2 Copyright (C) 2008 i-library MOT 2 Data Mining --- Weka Weka MBA http://tech-d.blogspot.com/ Weka Weka Weka Weka http://tech-d.blogspot.com/ Labels & Links Weka Copyright (C) 2008 i-library MOT 1 1. 2. 2-1 2-2 2-3 2-4 3. 4. 5. 1 ROC lift