Microsoft PowerPoint - R-intro-05.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - R-intro-05.ppt"

いぶきみうら
5 years ago
Views:

1 R で学ぶデータ解析とシミュレーション 5 ~ グラフとデータマイニング ~

2 5 時間目のメニューイントロデータ iris の紹介 1 つの変数を要約する 2 つの変数の関係を見る CART の紹介データ iris でお試し Graphic by (c)tomo.yun ( 2

3 グラフとデータマイニングデータ iris Sepal.Length Sepal.Width Petal.Length Petal.Width Species フィッシャーが判別分析法を紹介するために利用したアヤメの品種分類 (Species:,versicolor,virginica) に関するデータ以下の4 変数を説明変数としてアヤメの種類を判別しようとしたアヤメのがくの長さ (Sepal.Length) アヤメのがくの幅 (Sepal.Width) アヤメの花弁の長さ (Petal.Length) アヤメの花弁の幅 (Petal.Width) 3

4 グラフとデータマイニングデータ iris Sepal.Length Sepal.Width Petal.Length Petal.Width Species データを眺めてもよく分からないデータを要約する! 4

5 グラフとデータマイニング 1 変数の要約 Sepal.Length Sepal.Width Petal.Length Petal.Width Species アヤメのがくの長さ (Sepal.Length) の特徴をつかむには 1. 数値による要約要約統計量を求める 2. グラフによる要約ヒストグラムを作成する 3. 層別して要約統計量やヒストグラム 5

6 グラフとデータマイニング要約統計量一番小さい値 ( 最小値 ) 真ん中の値 ( 中央値, 平均値 ) 一番大きい値 ( 最大値 ) 要約統計量を眺めてもよく分からないデータをグラフにする! ( 注 ) 要約統計量を算出するのも大事なお仕事です ^^; 6

7 グラフとデータマイニングヒストグラム一番小さい値真ん中の値一番大きい値一目瞭然! 7

8 グラフとデータマイニング層別解析一目瞭 Setosa : がくが短い層別すると特徴が浮き出る! Verginica: がくが長い然! 8

9 グラフとデータマイニング 2 変数の関係 Sepal.Length Sepal.Width Petal.Length Petal.Width Species アヤメの花弁の幅 (Petal.Width) と花弁の長さ (Petal.Length) の関係を見る場合は 1. 数値による要約相関係数を求める 2. グラフによる要約散布図を描く 3. 層別してグラフ ( 散布図 ) を描く 9

10 グラフとデータマイニング 2 変数の関係花弁の幅 (Petal.Width) と長さ (Petal.Length) の関係を調べるには 1. 相関係数を算出する 2. グラフを描く 3. 層別にグラフを描く 10

11 グラフとデータマイニング相関係数相関係数とは? -1 ~ 1 の間の値をとる値 1 に近い : 右肩上がり -1 に近い : 右肩下がり中途半端な値のときは解釈が難しいこのデータを除いたら相関なし? 11

12 グラフとデータマイニング相関係数相関なし? 相関あり? データを 1 つ追加しただけ花弁の幅 (Petal.Width) と長さ (Petal.Length) の関係を調べるには 1. 相関係数を算出するよく分からない場合が多い 2. グラフを描く分かる 3. 層別にグラフを描く非常によく分かる! 12

13 グラフとデータマイニング 2 変数の関係 Petal.Width と Petal.Length の関係は右肩上がりひと目で分かる! 一目瞭然! 13

14 グラフとデータマイニング層別解析 Versicolor Virginica 一目 Setosa 瞭 Setosa : 左下に分布層別すると特徴が浮き出る! Verginica: 右上に分布然! 14

15 重要なのは層別解析! 15

16 ここまでのまとめデータ解析を行う手順は 1. データを R Commander に読み込ませる 2. データ解析を実行する 3. 結果を保存する, 結果をレポートにまとめる etc 具体的なデータ解析例 1 つの変数について要約する場合 : 数値による要約 ( 要約統計量 ) を計算する前に, まずグラフ! 注目しているカテゴリ ( アヤメの種類など ) があるなら層別解析! 2 つの変数間の関係を見る場合 : 数値による要約 ( 相関係数 ) を計算する前に, まずグラフ! 注目しているカテゴリ ( アヤメの種類など ) があるなら層別解析! 16

17 グラフとデータマイニングその他 17

18 グラフとデータマイニングその他 18

19 グラフとデータマイニングその他 19

20 5 時間目のメニューイントロデータ iris の紹介 1 つの変数を要約する 2 つの変数の関係を見る CART の紹介 CART とは? CART の作成方法 CART の剪定作業データ iris でお試し Graphic by (c)tomo.yun ( 20

21 グラフとデータマイニング分類予測 Sepal.Length Sepal.Width Petal.Length Petal.Width Species ここまではアヤメの種類 (Species) で層別するのが重要! というお話でした今度は逆に他の変数からアヤメの種類を予測することは出来る? 例えば花弁の長さ (Petal.Length) が以下ならばのような分類ルールを作ることは出来る? 21

22 グラフとデータマイニング分類予測 22

23 グラフとデータマイニング分類予測 Setosa 23

24 グラフとデータマイニング分類予測 Virginica Setosa 24

25 グラフとデータマイニング分類予測 Virginica Setosa Versicolor 25

26 前頁のスライドをルール化分類木 (CART) Petal.Length< 2.45 Petal.Length>=2.45 Petal.Width< 1.75 Petal.Width>= /0/0 実際のデータを使って分類すると Petal.Length< 4.95 Petal.Length>=4.95 virginica 0/1/45 予測されたアヤメの種類 versicolor 0/47/1 virginica 0/2/4 26

27 CART(Classification and Regression Trees) とは? あるルールに従ってデータを分け, 分類や予測を行う目的変数がカテゴリ : 分類木このiris の例! 目的変数が連続変数 : 回帰木次のスライド Virginica Setosa Versicolor ルール化! ( 分類予測 ) 27

28 回帰木の例男女 10 人にやせ薬 (A) と偽薬 (P) を飲んでもらう飲みはじめの体重を測り,1 ヶ月飲み続けた後, 再度測定体重の変化量 (kg) を目的変数として回帰木を作成 Difference ( 体重の変化 ) Group ( 薬剤 ) Sex ( 性別 ) Baseline ( 前値 ) 1-1 A A Man Man Group=A Group=P -2 A Man 70-2 A Woman 45-3 A Woman 50 Baseline>=57.5 Baseline< P Woman 50 Sex= 女 Sex= 男 2 P Woman P P P Woman Man Man n= n=3 0 n= n=3 ( 各カテゴリの平均値と例数が表示される ) 28

29 分類木回帰木の分岐基準各ノードの不純度 (impurity) を I(A) p A をノード A 内の確率分布 ( the class distribution ) とすると Entropy: I(A) = i(p A ) = -Σ j p Aj log p Aj Gini index: I(A) = i(p A ) = 1 -Σ j P Aj 2 平方和 :SS * = 平方和 = Σ j (y j -y) 2 ノード A をノード A L とノード A R に分割する場合は以下の I を最大化するような分割ルールを選択する分類木 : I = P(A)I(A) - P(A L )I(A L ) - P(A R )I(A R ) 回帰木 : I = {SS T -(SS L +SS R )}/N 29

30 分類木について Improve ( 体重改善?) No Group ( 薬剤 ) A Sex ( 性別 ) Man 分岐なし Yes Yes A A Man Man 薬剤で分岐 Yes A Woman Yes No No A P P Woman Woman Woman No No Yes P P P Woman Man Man 性別で分岐 0.18 > 0.02 薬剤で分岐させる方が良い 30

31 回帰木について Difference ( 体重の変化 ) Group ( 薬剤 ) Sex ( 性別 ) 全体の平方和 1 A Man SS T Σ j (y j -y) A A Man Man 薬剤で分岐した場合 -2 A Woman SS A Σ j (y Aj -y A ) A P Woman Woman SS P Σ j (y Pj -y P ) 2 2 P Woman SS T -(SS L +SS R ) 2 P Woman 1 P Man 性別で分岐した場合 -1 P Man SS 男 Σ j (y 男 j - y 男 ) 2 SS 女 Σ j (y 女 j - y 女 ) 2 SS T -(SS L +SS R ) 19.2 > 1.6 薬剤で分岐させる方が良い 31

32 32 CART は放っておくとどこまでも枝分かれしていく

33 分類木回帰木の剪定分類木回帰木は放っておくとどこまでも枝分かれしていく剪定 (Pruning) が必要! 剪定 (Pruning): リスクと複雑度を評価する (AICみたいな) cp: 複雑度パラメータ (complexity parameter) クロスバリデーションで各木のリスク R( ) を評価する ( 分岐が無い木の誤判別率 = 1 となるように調整 ) 分類木の場合 : 誤判別率 (relative risk) を用いる回帰木の場合 :SS * を用いる木 T の良さを以下の値 (Cost-complexity) で評価する R α (T) = R(T) + cp T のノード数 ( を最小にするような T の部分木を選択する ) 最適な cp の値はクロスバリデーションで評価する 33

34 回帰木の場合最適な木の探索手順 1 複雑度 cp を 0.01 にした上で木を構築 ( が作成した木のリスト) 初期値は 0.01, 全ての木を出力する場合は 0 にすればよい 2 各木について, クロスバリデーションでリスクと SE を計算する 3 上記リストの中でリスク (xerror) が最小となるものを探す ( では 2 ) 4 3 の木の xerror+1se を算出する ( では ) 5 リストを上からなぞり,4 の値を初めて下回った木が最適な木 ( では 2 ) 5 の意味 : 木の葉 ( ノード ) の数が少なくても, 木の葉の数が大きい場合のリスクとそれほど変わらない, という意味 34

35 回帰木の場合剪定剪定 35

36 R でのプログラム例リスクの最小値 +SE ( = 1.02) 36

37 リスク = 相対誤判別率 R( ) について Impr. Diff. Group ( 薬剤 ) Sex ( 性別 ) 分類木の場合 : 分岐なしの木 T の誤判別率 = 5/10 = 0.5 No 1 A Man Group で分岐した木の誤判別率 = 2/10 = Yes -1 A Man 分岐なしの木の R(t) = 1.0 固定 Yes -2 A Man Group で分岐した木の R(t) = /0.5 = 0.4 Yes -2 A Woman 回帰木の場合 : Yes -3 A Woman 分岐なしの木 T の SS T = 39.2 No No No P P P Woman Woman Woman Group で分岐した木の SS L + SS R = 分岐なしの木の R(t) = 1.0 固定 Group で分岐した木の R(t) No 1 P Man = ( )/39.2 = Yes -1 P Man Group と Sex で分岐した木の (SS ManL + SS ManL + SS Woman + SS Woman ) = = 7.84 ( 各 Group の中で SS L + SS R を算出する ) Group と Sex で分岐した木の R(t) = 7.84 / 39.2 = 37

38 5 時間目のメニューイントロデータ iris の紹介 1 つの変数を要約する 2 つの変数の関係を見る CART の紹介 CART とは? CART の作成方法 CART の剪定作業データ iris でお試しお試し余談 + 演習 Graphic by (c)tomo.yun ( 38

39 データ iris でお試し 39

40 データ iris でお試し 40

41 データ iris でお試し分岐数 =2 size=3 が最適! cp=

42 データ iris でお試し ( 分岐 2) 42

43 余談臨床試験に適用出来る? 層別解析しているのと同じ外れ値に対しては頑健例数が少ないと不安定 (n=1000 以上が望ましい??) 注目している群がうまく出てくれたらいいけど 2 分木なので多群の試験に適用するとさらに困難となる作成した木の再現性があると言えない交互作用を見つけるのに適した木が出来にくい例えば男女で交互作用があるかどうかを検討する場合体重の変化量の平均値 :-5kg( 女性群併合 ),-5kg( 男性群併合 ) 女性の体重の変化量の平均値 :-10kg(Placebo 群 ),±0kg(Active 群 ) 男性の体重の変化量の平均値 :±0kg(Placebo 群 ),-10kg(Active 群 ) 女性に絞って群別の平均値男性に絞って群別の平均値を算出してはじめて交互作用が浮き出る CART の性質上のような分岐は出てくれない? A 女 P A 男 P 43

44 余談 CART 以外の分析分類予測手法回帰分析 ( 共分散分析ロジスティック回帰 ) お気楽に, ざっくりと分析する場合ニューラルネットワーク非線形的なデータ構造にも対応, 分類ルール不明サポートベクターマシン CART のような直線的な分類だけではなく, 曲線的な分類が出来る判別が目的なので, 説明変数が目的変数に対してどのような影響を与えているかは不明集団学習 ( バギング, ランダムフォレストなど ) バギング : 多数の CART を生成して多数決 ( 分類の場合 ) or 平均 ( 回帰の場合 ) ランダムフォレスト : 与えられたデータからいくつかの変数をランダム抽出し ( ブートストラップサンプル )CART を作成多数回くり返して多数決 ( 分類の場合 )or 平均 ( 回帰の場合 ) アソシエーションルール ( 相関分析 ): ビールと紙おむつ 44

45 演習 1. 変数 x にデータ iris を代入してくださいで作成したデータ x の中身を表示してくださいで作成したデータ x の中の変数 Sepal.Length について要約統計量を算出してくださいヒストグラムを描いてくださいアヤメの種類 (Species) ごとにヒストグラムを描いてください変数 Sepal.Length の長さが 5 かどうかの 1 標本 t 検定を実行してください関数 t.test() を使ってください 45

46 演習で作成したデータ x の中の変数 Petal.Width と Petal.Length について相関係数を算出してください ( 余裕のある方は Spearman でも ) 散布図を描いてくださいアヤメの種類 (Species) ごとに散布図を描いてください 5. データ x の中の変数 Species を目的変数, それ以外の変数を説明変数として CART を作成してください 46

47 参考検定関数一覧 47

48 参考文献よくわかる多変量解析の基本と仕組み山口和範, 高橋淳一, 竹内光悦 ( 秀和システム, 2004) CART による応用 2 進木解析法大滝厚, 堀江宥治, Dan Steinberg( 日科技連出版社, 1998) S-PLUS による統計解析 W.N. Venables, B.D. Ripley( シュプリンガー, 2001) An Introduction to Recursive Partitioning Using the RPART Routines Terry M.. Therneau, Elizabeth J.. Atkinson (Mayo Foundation, 1997) 48

49 演習 (45 枚目のスライド分 ) の回答例 49

50 演習 (45 枚目のスライド分 ) の回答例 50

51 この講義の後に読んでいただきたい本本講義の復習 R で学ぶデータマイニング I,II( 熊谷悦生, 舟尾暢男 ; 九天社 ) データ解析環境 R ( 舟尾暢男, 高浪洋平 ; 工学社 ) R と統計を並行して勉強されたい方向け R によるやさしい統計学 ( 山田剛史他 ; オーム社 ) R による保健医療データ解析演習 ( 中澤港 ; ヒアソンエテュケーション ) 工学のためのデータサイエンス入門 ( 間瀬茂他 ; 数理工学社 ) 本格的に R をはじめる方向け R プログラミングマニュアル ( 間瀬茂 ; 数理工学社 ) R の基礎とプログラミング技法 ( 石田基広訳 ; シュフリンカーシャハン ) 各論 R による医療統計学 ( 岡田昌史監訳 ; 丸善 ) R によるデータサイエンス ( 金明哲 ; 森北出版 ) R と S-PLUS による多変量解析 ( 石田基広訳 ; シュフリンカーシャハン ) リファレンス RjpWiki( 筑波大学岡田昌史先生の Wiki) The R Tips( 舟尾暢男 ; 九天社書籍とホームページ両方あり ) 51

52 5 時間目にやったことイントロデータ iris の紹介 1 つの変数を要約する 2 つの変数の関係を見る CART の紹介 CART とは? CART の作成方法 CART の剪定作業データ iris でお試しお試し余談 + 演習終 52

Microsoft PowerPoint - R-graph_data-mining.ppt

Microsoft PowerPoint - R-graph_data-mining.ppt R によるグラフ作成とデータマイニング ~ 第 91 回行動計量シンポジウム ~ 武田薬品工業舟尾暢男本日のメニュー R の概要 2~3 分 R でデータを読み込む方法 4~5 分グラフとデータマイニング 15~20 分データマイニングとは? 7~8 分 R Commander の紹介 4~5 分質疑応答など 5 分程度? 2 R の概要オープンソース & フリーの統計解析用ソフトインストール