スライド 1

Transcription

1 担当 : 田中冬彦 2017 年 4 月 18 統計モデリング 統計モデリング 第二回配布資料 文献 : A. J. Dobson and A. G. Barnett: An Introduction to Generalized Linear Models 3rd ed., CRC Press. 配布資料の PDF は以下からも DL できます. 短縮 URL

2 第二回 ( 今回 ) 線形モデル 今後の予定 第三回一般化線形モデル Location 第四回ベイズ統計 ( 導入 ) Google map から転載 画像は You tube, 新唐人日本 2011 年 5 月 5 日付ニュース より * ニュースの内容の信ぴょう性には言及しません ( たとえば, 日本住血吸虫の場合, 経口感染でないことが実験で示されています ) ガンバ大阪ホームページより 第五回ベイズファクター Google map から転載

3 今日の内容 0. ( 統計の復習 ) 分布記号 & データの分類 1. 統計分析の流れ 2. 統計モデル 3. 単回帰の統計モデル 4. 線形モデル (5. グループ分けアンケート )

4 本日の主役 線形モデル ( 単回帰モデル ) Y = α + βx + i i ε i i =1,2,,6 ε i ~ N (0, 2 σ )

5 統計の復習 1 ~ 分布記号

6 分布記号 統計モデル = モデル式で表現 分布記号を使う 本講義でモデル式を使う理由 1. 統計 機械学習などのテキストで標準的に利用 2. WinBUGS, Stan などのツールで利用

7 分布記号の例 1 多項分布 M ( n; q1,, qk ) q 1 + q2 + + qk = 1 意味 : ツボの中に k 色の小さいボールを大量に入れる. その比率は q, q, 2, 1 q k n 個のボールを取り出す試行を考えるとき, 各色のボールの個数を X, X, 2, 1 X k とする. これらは確率変数であり, 多項分布に従うことを以下のように記載. ( X, X 2,, X k ) ~ M ( n; q1,, q 1 k )

8 問 1: 練習してみよう! ツボに赤 (R) 青(B) 白(W) のボールを 5:3:2 の割合でいれてよく混ぜた. 100 個のボールを取り出す試行を考えるとき, 各色のボールの個数を X, X, X とする. R B W ( X, X, X R B W ) ~ M (100;0.5,0.3,0.2) 問 2: サイコロを 10 回ふって出た目の数を数える.(1~6 は 1/6 の確率で出る.) j の目が出る回数を X j ( X1, X 2, X 3, X 4, X 5, X 6) とする (j=1,2,3,4,5,6). ~ 1 M 10; 6, 1 6, 1 6, 1 6, 1 6, 1 6

9 分布記号の例 2 二項分布 意味 : Bin( n; q) 0 q 1 多項分布で k=2 ( 二色のボール ) を二項分布と呼ぶ. この場合, 片方の色のボールの個数のみに注目. ( 成功か失敗かの試行を n 回繰り返す ) X ~ Bin( n; q) 以下と同じ意味. ( X, Y ) ~ M ( n; q,1 q) X + Y = n

10 分布記号の例 3 正規分布 N( m, v) 意味 : 平均 m, 分散 v (>0) の正規分布 ( ガウス分布 ) X 確率変数が正規分布に従うことを以下のように記載. X ~ N( m, v) X, X, 2, X n 確率変数が同一の正規分布に独立に従うことを以下のように記載. (n 標本を独立に抽出, サンプリングする ) 1 i. i. d. X, X 2,, X ~ N( m, v) 1 n

11 練習してみよう! 問 3: 平均 162, 分散 25 の正規分布から 10 個の標本を抽出 X, X, X 1 2, 10 X, X,, X i. i. d. ~ N(162,25) 補足 1. 分布記号のバリエーション X j j = 1,, n はすべて独立で以下の確率分布に従う X j ~ N( m, v) 2. 確率変数は通常 大文字だが 小文字で書いたり 混同して用いる

12 統計の復習 2 ~ データ分類

13 ここでの目標 1. 世の中 ( 統計の本 ) には色々な形式のデータがあることを理解 2. 用語 を暗記する必要なし! モデルを紹介する際にデータのイメージと実例が思い浮かぶようにする

14 データの分類 (1/3) 変量 ( 変数 ) とは 1 変量データ x, x, 2, 1 x n 2 変量データ x, y ),( x, y ),,( x n, y ) ( n k 変量データも同様に定義 (k 次元データとよぶことも ) n を標本数 ( サンプルサイズ ) とよぶ ( データサイズとよんだりすることもある ) 体脂肪率の減少量 ( 英語の点数, 統計の点数 ) 88, 90 45, 78 56, 100

15 データの分類 (2/3) データの区分 質的データ ( カテゴリカルデータ ) 量的データ ( 連続データ ) 名義尺度 順序尺度 間隔尺度 比率尺度 男 女 ( 性別 ) や職業など 〇 ( 評価 ) など ; 順序に意味があるが, 等間隔とは限らない 温度のように順序も間隔も意味があるが原点はどこでもよい 間隔尺度だが原点が定まっている. ( 重さ 長さなど ) * 参考 : 永田靖. 他著 : 多変量解析入門. サイエンス社, 1-1 節. 東京大学教養学部統計学教室編 : 統計学入門, 東京大学出版会, pp

16 モデリングする上での分類 データの分類 (3/3) 上限あり ある条件下での種子の発芽数 カウントデータ 上限なし 交通事故件数 その他のカテゴリカルデータ 3 種類のメニューの注文数 ( みそ しお とんこつ ) 正負をとる 温度 連続データ 正値のみ 製品の寿命

17 1. 統計分析の流れ

18 理想論 1. 分析課題 2. データ収集 3. データの統計分析 狭義にはここで 統計モデリング 4. 結論 実際には, 1,2,3,4 の順に進んで終了することはほとんどない!!

19 実際の所 例 1: まずはじめにデータありき IT 関係では大量のデータ 記録を保存 そこから 面白い関係を見つけ出してほしい ( むちゃぶりデータマイニング!) 例 2: 課題のすりかえ 分析したら 当初予定した結果が出なかった 1. 課題 も変更することに! 実際には, 1,2,4 は完全に切り離して考えることはできない! 参考 : 松浦健太郎 : Stan と R でベイズ統計モデリング, 共立出版, Chap.3 統計モデリングを始める前に

20 2. 統計モデル

21 標本と母集団 標本の例 : あるクラスの模試の点数 (72, 92, 91, 81, 73) 確率変数の実現値 ( 未知の分布 F から無作為に5つ取り出した値 ) と解釈 クラス B の受講者の点数分布 ( 仮想 F この解釈により, 確率論と統計学が結びついた! 点数

22 標本と母集団 記法 X, X, ~ 1 2, X i.i.d. F n 母集団 ( 分布 ) 観測される値の分布 問題点 F の動く範囲は広すぎる ある程度, 分布の形を制限して考える

23 統計モデルの設定 統計モデル : いくつかのパラメータで指定される確率分布の集合 クラス B の受講者の点数分布 ( 仮想 p( y θ ) p( y θ )dy = 1, p( y θ ) 0 p( y θ ) = 1, p( y θ ) p( x θ ) 記法 ( 一例 ) 点数 y i.i.d. 1,, yn ~ p( y θ ) θ 確率分布の未知パラメータ ただし, メジャーな分布記号を用いることも多い

24 シチュエーション 最初の統計モデリング 2 種類の方法 A, B で金を回収 [g]. 廃棄携帯の基盤ひと山あたりの回収量が A, B で以下のようになった. 基本的な統計量 A: 73, 72, 66, 80, 75 B: 71, 67, 68, 57, 68, 75, 60, 69 全体の平均 69.3 全体の分散 38.4 A の平均 73.2 A の分散 25.7 B の平均 66.9 B の分散 33.5 なんとなく A の方が回収量が多い?( 金なので 差は無視できない )

25 最初の統計モデリング 統計モデルの設定二つとも連続値 とりあえず, 正規分布からの標本と仮定分散は等しい ( 解析を簡単化する仮定 ) モデル式 ( 独立な2 変量ガウスモデル ) µ A i.i.d. X, X,, X ~ N(, v) i.i.d. Y, Y,, Y ~ N( µ B, v) µ,σ 注意 : 統計モデルのパラメータは, p, q, f, t, など何を用いてもよい. ただし, 異なるものはのように区別すること. µ A, µ B

26 * 計算公式は省略 ( 統計のテキストに掲載 ) 最初の統計モデリング モデルパラメータ ( 母数 ) の推定値 * ˆ = 73.2, µ A ˆ µ B = 66.9 vˆ = Ambition of TKK 注 : パラメータの推定量 ( 値 ) はハットをつける 可視化の例 パラメータの推定値を代入して分布を眺める Population yields A の方が B より回収量が多め ( 本来はこの後, t 検定 )

27 ここまでのまとめ 統計モデリングの基本的な考え方 1. データ ( 数値 ) の背後に母集団分布を想像 2. 母集団分布を統計モデルで表現 パラメータ推定 ( 点推定 ) や信頼区間 仮説検定 予測 課題が先か手法が先か仮説検定 ( 統計手法 ) を知っていると それに応じた課題設定が可能 分析課題 : 方法 A, B で回収量に差があるか? 分析手法 : ( ガウスモデルでの ) 平均の差の仮説検定

28 練習してみよう! O 大学 ( 数千人規模 ) から無作為に 100 人の学生を選び出し, A, B,C 三択のアンケートを行った. 三項分布の記号を使ってモデル式を書きなさい. A: 85 B: 13 C: 2 合計 : 100 モデル式, ~ M ( 100; p, q, r ) A B C ( X X, X )

29 モデルを設定する理由 補足 1. 母集団分布の正確な形状は知り得ない, 形状に興味はない ( 誤差モデル 分散が重要 ) 2. 実験結果から分布の形状が既知の場合, 正当化できる (*) 3. 仮説検定や信頼区間 ベイズ分析で必要 * 精密科学 / 実験科学の状況だが, 本講義ではあまり考えないシチュエーション, 思想的な注意点 1. たいていの場合, 正解はない / 検証のしようがない 2. 独立同一性 (i.i.d.) の仮定も含め 作業仮説 3. よいモデル は目的 課題依存

30 3. 単回帰の統計モデル

31 ここでの目標 ある変数を別の変数で説明するモデルを提案 & モデルパラメータの推定 注 : ここでの例は分析課題は提示しない

32 回帰分析 (B-2/C-2 資料より ) 例題 : みずほの部屋探し O 大学新入生のみずほさんは賃貸情報をネットで検索. 以下のようなデータを得ました. 豊中キャンパス近くの賃貸物件 (1K) 最寄り駅からの距離 ( 徒歩 ): 一カ月の賃料 ( 万円 ): 傾向をみるため, 横軸に距離, 縦軸に賃料をとりプロット ( 点を打つ )

33 データのプロット ワンポイント ペアになっている 2 変量データは プロットしておおまかな傾向をつかむ! R プログラム例 x <- c(3, 5,6, 10, 11, 17); y <- c(8, 7.3, 6.2, 4, 4.2, 3.5); plot(x,y, pch=18, col=2, xlim=c(0, 20), ylim=c(0, 10), main="kaiki", xlab="min Walk", ylab="10^4 YEN"); abline(h=0, lty=2, col="gray"); # hori line abline(v=0, lty=2, col="gray"); # vert line 10^4 YEN Kaiki Min Walk なんとなく右肩下がりの傾向が見える

34 説明変数と目的変数 説明変数と目的変数 ( データのばらつきはいったん無視 ) 簡単な関数 f で変数に以下のような関係が期待される時 y x 説明変数 y 目的変数 f (x) y 10^4 YEN Kaiki とよぶ. 講義では目的変数は1 次元 (1 変量 ) のみ扱う. ( 因果関係が既知の ) 統計モデリング y f ( x 1,, x k ) この f をうまく与える ( モデル化 ) のがひとつの目標 Min Walk x

35 統計モデルの導入 統計モデルの設定 y f (x)?? なんとなく右肩下がり とりあえず, f として直線 ( 一次式 ) を仮定 f ( x) = α + β x ε i : = yi ( α + β xi ) とりあえず, 平均 0 の正規分布を仮定 分散は等しい ( 解析を簡単化する仮定 ) モデル式 ε,, i.i.d. ~ N(0, σ 2 ) ε ε 1, 2 6

36 線形モデル ( 回帰モデル ) 線形モデル 通常は, 以下のような形で記載 ( f(x) の形を明示 ) Y = α + β x + i i ε i i =1,2,,6 2 ε ~ N(0, σ ) i x: 最寄駅からの距離 ( 分 : 徒歩換算 ), y: 一か月の家賃 ( 万円 ) モデルのパラメータ, α, β; σ パラメータは最尤推定法などで推定 (R コマンドでできる ) ˆ α = 8.5 ˆ β = 推定値を代入した f(x) ( 回帰直線という ) y = ˆ α + ˆ β x = x 2

37 回帰直線 R プログラム例 ( 回帰分析 ) x <- c(3, 5,6, 10, 11, 17); y <- c(8, 7.3, 6.2, 4, 4.2, 3.5); res <- lm(y~x); ahat <- res$coefficients[1]; bhat <- res$coefficients[2]; R プログラム例 ( 回帰直線 ) plot(x,y, pch=18, col=2, xlim=c(0, 20), ylim=c(0, 10), main="kaiki", xlab="min Walk", ylab="10^4 YEN"); abline(h=0, lty=2, col="gray"); # hori line abline(v=0, lty=2, col="gray"); # vert line abline(a=ahat, b=bhat); 10^4 YEN Kaiki y = ˆ α + ˆ β x = x Min Walk

38 今の例について ここまでのまとめと補足 1K の家賃は 最寄駅からの距離 ( 徒歩換算 ) が増えるほど 減少する傾向がみてとれた だいたい一次式に従っている より踏み込んだ分析に向けて あてはまりのよさも議論 ( 仮説検定 ) 最寄駅からの距離で だいたいの家賃を予測 1 次式でうまくいかない場合 解釈無視で, x, y をlog, べき乗で変換 多項式回帰など. f ( x) = α + β x + γ x 2

39 4. 線形モデル

40 ここでの目標 データをあれこれ分析してから 逆に課題を設定する流れを理解

41 Birthweight vs Gestational Age データ例 ( 余計なものは取り除いてある ) 胎内にいた期間 [ 週 ], 出生時の体重 [g], 男児 (b)/ 女児 (g) 男児, 女児ともに標本サイズは 12 ずつ b b b b b b b b b b b b g g g g g g g g g g g g

42 データのプロット 見てわかること Weight b g Chap 定量的な確認 : ρ = たとえば相関係数の計算 Age

43 統計モデルの導入 線形モデル ( まずは, 男女の区別なし, 24 のデータと考えて分析 ) E[ Y i ] = µ = α + βx i Y = α + βx + ε i i i i i =1,2,,24 2 ε ~ N(0, σ ) i モデルのパラメータ, x: 胎内にいた期間 ( 週 ), y: 出生時の体重 α, β; σ 2 パラメータを最尤推定法によって推定し以下の直線を引いてみる Y = αˆ + βx ˆ

44 回帰直線を引いてみる Chap. 2 R プログラム例 データ > dat2 AGE WEI TYPE b b g g 線形回帰 Weight b g > dat2.res <- lm(wei~ AGE, data= dat2); 回帰直線 y = ˆ α + βx ˆ ˆ α = 1484, ˆ β = Age

45 男児 女児に分けて推定すると データを男児 (j=1), 女児 (j=2) に分けて分析 Chap. 2 線形モデル Y ji = α + β x + ε j 回帰直線 y = ˆ α + ˆ β x j j j ji α = 1269, ˆ β ˆ1 1 = = 2142, ˆ β ˆ2 2 = α ji ε ji ~ 2 N(0, σ ) Weight b g Age 分析の課題 線形回帰はよさそうだが, 男児と女児で分けて考えた方がいいのか?

46 仮説検定によるモデル選択 (1/2) 2 種類の線形モデルで仮説検定 ( 一般的な形 ) j =1,..., J; k = 1,..., K H0: 傾きは等しい線形モデル (0) Yjk = j + βx jk α + ε jk ε jk ~ 2 N(0, σ ) H1: 傾きが異なる線形モデル (1) Yjk = j + β j α x + ε jk jk ε jk ~ 2 N(0, σ ) 検定統計量 : J S S S 0 1 ~ 1 = 2 ; K = 12 J ( K 2) J 1 F J 1, J ( K 2) S 0 (0) (1) : = Y jk ˆ α j ˆ βx S1 : = Y jk ˆ α j ˆ β j x j, k jk 2 j, k jk 2

47 仮説検定によるモデル選択 (2/2) 2 種類の線形モデルで仮説検定 H0: 傾きは等しい線形モデル VS H1: 傾きが異なる線形モデル ( 有意水準 0.05) 仮説 H0 が正しいとすると, 検定統計量の値は 0 から 4.35 程度におさまるはず 実際に ( がんばって ) 計算すると S0 S1 J ( K 2) = 0.19 << S J (H0 は棄却されないため ) 傾きが異なるとは言えない

48 今の例について ここまでのまとめと補足 男女ともに, 出生時の体重は胎内にいる期間に対し, 一次式にしたがって増える ( 切片は違うが ) 男女間で傾きに有意な差は認められない 複数のモデルがある場合 本講義では, AIC, BICなどの情報量規準を機械的に使用してよい ( 仮説検定で考えるケースは稀 ) 赤池情報量規準 (Akaike Information Criterion) を用いたモデル選択 AIC = 2 L( θ ˆ) + 2 p L (θ ) 尤度関数 θˆ 最尤推定での推定値 p パラメータ数 尤度関数の最大値 L ( ˆ) θ = max L( θ ) ( 最尤推定は尤度関数を最大化 ) とパラ θ メータ数からAICを計算 ; 相対的にAICの小さいモデルを選ぶ