スライド 1

Transcription

1 207 年 5 月 6 統計モデリング 統計モデリング 第五回配布資料 文献 : a J. アルバート 石田基広 石田和枝訳 : R で学ぶベイズ統計学入門 丸善出版 202 年 b. Jeffreys: Theory of Probability. 3rd ed. Oford Uiversity Press UK 96. c R.E. Kass ad.e. Raftery: Bayes factor ad model ucertaity. J. mer. Statist. ssoc. vol 配布資料の一部は以下からもDLできます. 短縮 URL 担当 : 田中冬彦

2 今後の予定 第五回ベイズファクター 第六回数値技法 2 M のヒストグラム Frequecy sample histogram M distributio π の関数形 posterior distributio theta 第七回グループ発表 第八回線形モデルのベイズ解析 第九回

3 理解度チェック : ベイズ統計の基本 前回の講義内容に沿って〇か をつけてください 数百人の村での寄生虫の感染率調査を考えている. 検査用の資材が 0 人分しかない場合 老人や子供など感染しやすい人を優先して検査すべきである. ベイズ統計 特に条件付き確率の計算は迷惑メールフィルタだけでなく 機械学習や人工知能などの基礎にもなっている. ベイズ統計の根本は 結局のところ 条件付き確率 条件付き分布 に基いた推論 推測である ベイズ統計での分析では統計モデルを設定した後 パラメータの事後分布を分析者が設定する必要がある. 前回は二項モデルの共役事前分布を用いて積分で事後分布を計算した.

4 今日の内容. 事前分布の設定の指針 2. 事後分布の計算練習 3. 事後分布に基いた統計解析 4. 問題編 ガンバ大阪の戦績データを題材 5. 解決編 ~ 統計モデル構築 6. 解決編 2~ ベイズファクター 7. 第一回グループ発表の説明

5 本日の主役 独立 2 集団の二項モデル 事前分布 X ~ Bi X ~ Bi ~ π 2 2

6 . 事前分布の設定の指針

7 事前分布の設定の指針 実際の分析 事前分布は分析者が設定 理論的には未解決問題 万能な方法はない! だが応用上は以下の方針 a 一様分布 ; 十分 分散が大きい分布 ; 無情報事前分布 b 統計モデルと相性の良い 計算しやすい 確率分布 c 事前の情報を反映した分布 今回は a b について軽く説明 前回は c のタイプ

8 共役事前分布 共役事前分布 各統計モデル 確率密度関数 に対して 条件付き分布が計算しやすい事前分布のクラスがあり 共役事前分布という 多くのテキストで紹介 ここで紹介する組合わせ 注意点. 二項分布 ベータ分布 2. ポアソン分布 ガンマ分布 3. 正規分布 正規分布 各分布の確率関数 密度関数の具体的な形を使った計算になる 理解を深めるため 後で簡単な例で手を動かしてみる

9 二項分布 ベータ分布 2 0 q q q p 統計モデル 二項分布 回の試行 事前分布 ベータ分布 b a q q b a B b a q π 回試行 回成功した場合の事後分布もベータ分布 ; b a q q b a B b a q π ハイパーパラメータ 超母数 > 0 b a b a Beta

10 二項分布 ベータ分布事前分布 ベータ分布 b a q q b a B b a q π 回試行 回成功 ; b a q q b a B b a q π b a Beta

11 事前分布 ab π q 5 回試行 4 回成功 事後分布 5 4 図で表現 0 q Desity Prior Posterior prior ad posterior π q 4 B 52 q 4 q 共役事前分布なら公式代入で事後分布が簡単に計算できる!

12 λ λ λ e p! 02 統計モデル ポアソン分布事前分布 ガンマ分布 b e b a b a b a / λ λ λ π Γ が観測された場合の事後分布もガンマ分布 * * ; * / b e b a b a b a λ λ λ π Γ ハイパーパラメータ 超母数 > 0 b a * b b b ポアソン分布 ガンマ分布 b a Ga

13 ポアソン分布 ガンマ分布 ツールなどを利用する場合 分布記号を用いて記載できるとよい X X 2 X i.i.d. ~ Poλ λ ~ Ga a b この時 事後分布 ガンマ分布 を分布記号で書くと λ ~ Ga a b* tot tot 2 b b* b

14 図で表現 事前分布 a b000 λ /000 π λ e 000 λ 0 3 日間で 20 件連絡 Desity Prior Posterior Prior ad Posterior 事後分布 3 20 π λ tot 3 20 e Γ2 20 3λ 3λ λtheta tot b* / 3

15 統計モデル 正規分布 分散既知 事前分布 正規分布 s e s π N ~ s i.i.d. v e v v ξ π ξ π ハイパーパラメータ 超母数 0 R > ξ v が観測された場合の事後分布も正規分布 w e w v y ; ς π ξ π y s v s v s v w ξ ς 正規分布 正規分布

16 無情報事前分布 無情報事前分布 Noiformative prior 統計モデルのパラメータについて特に情報はないが ベイズ分析を行いたい場合に用いる事前分布の慣習的な呼び名 事前の情報がない場合に使う デフォルトの事前分布 程度の意味 客観ベイズ解析 Objective Bayesia alysis などともいう 用語 objective prior vague prior. subjective prior iformative prior 参考理論的には古くから未解決の問題 研究としては面白い! 例外的なケース : コンパクト群が作用する統計モデル 群上の不変測度 aar measure を使えば OK

17 無情報事前分布の設定方法 実用的な設定. 有限の範囲 とりあえず 一様分布 2. 無限の範囲で共役事前分布あり 分散を大きくなるように設定 3. 無限の範囲だが共役事前分布なし 分散大の正規分布など 理論からの Suggest Noiformative prior の理論研究の結果. いくつか事前分布を試してみて 結果があまり変わらないことが重要 2. 普通はデータ数が増えるほど 事前分布の影響は小さくなる データ数があるのに 事前分布と事後分布がほとんど変化しない場合は かなり問題 注意

18 参考 : 無情報事前分布の理論研究 理論的な提案. パラメータの非線形変換で不変な事前分布 e: Jeffreys prior 2. 統計モデルを多様体とみて幾何学的な定義 e: alpha-parallel prior 3. 非ベイズで求めた結果と整合性があえばよい e: Matchig prior 4.prior posterior の変化が最大となる事前分布 cf Referece prior * arg ma D prior posterior がほとんど同じということは 事前の 信念 が強すぎてデータを無視するようなモデルを作っていることになる π π π 5.Referece prior 4 に Coditioal Priciple を導入 Latet iformatio prior *2 * Berardo JRSS Komaki JSPI 20

19 理解度チェック : 事前分布の設定 統計モデルのパラメータについてなんらかの情報がある場合 積極的に無情報事前分布を用いる必要はない 共役事前分布が存在する統計モデルの場合でも パラメータに関する情報がない場合は 共役事前分布を使わない方がよい. 各統計モデルについて情報量をゼロにする事前分布が一意的に定まり 無情報事前分布という 統計モデルのパラメータに関する情報が特にない場合 無情報事前分布を つ定めて分析すれば十分である サンプルサイズ データ数 が大きいほど 事前分布の影響が大きくなるため その設定には慎重になるべきである.

20 2. 事後分布の計算練習

21 事後分布の計算 例題 : シナリオ大賞 以下は架空のものです 村上冬樹さんは 泣けるシナリオ大賞 を目指して 冬のカナタ というシナリオを書き上げました. 目標としては国民の 8 割以上が泣くシナリオを目指しています. 周囲の友人に 冬のカナタ を読んでもらい 泣いたかどうかを聞きました. カナタが! カナタが!!

22 . 人が読んだとして 人が泣く確率を求めなさい. 計算してみよう q p ~ 国民感非非非感感感感感非感感感非感非感感非感非感感非感非感感感感非感感感感感感感感感感感動して泣く人非感動しない 泣かない 人冬のカナタを読んで泣く人の割合 確率 を q とし 周囲の友人は国民からのランダムサンプル 無作為標本 と仮定する.

23 計算してみよう 2. 泣けるシナリオを描いたつもりでもなかなか泣くところまではいかない. 冬樹さんは q に関する事前分布を次のように表現した. q ~ π q 2 q 0 q 今回 3 人の友人中 3 人とも泣いたという. 次のステップに沿って q の事後分布を求めなさい. a. で求めた確率関数に 3 を代入した式 尤度 を書きなさい. 3 q p

24 計算してみよう b a の結果と 冬樹さんの設定した事前分布を代入して 以下の積分を計算しなさい. 0 p 3 p3 q π q dq 0 q 3 2- qdq dq 0 この積分計算は 日本では文理問わず高等学校で習う積分であるが 計算できない場合はやらなくてよい.

25 計算してみよう c 事後分布を q の関数として記載しなさい. π q 3 p3 q π q p3 b の結果 b の途中で計算 20q 3 q 事後分布の公式 条件付き確率 π p π p p p π d

26 q 挑戦してみよう Etra Ee 冬樹さんの事前分布を共役事前分布で表現してみよう ~ π B a b a b q q q EX-: q -q の指数から a b はいくらになるか. Bab は q を含まない定数 a b 2 EX-2: EX- の解答と 3 を 前節で紹介した共役事後分布の公式に代入せよ. 直接 積分計算で求めた結果と q -q の指数が一致しているか? q ~ π B42 3 q 3 q q 20q 3 q

27 3. 事後分布に基いた統計解析

28 ここでのポイント ベイズ統計での分析. 点推定は従来の統計 最尤推定 も 含む 2. 区間推定 仮説検定に相当するも のは より柔軟でわかりやすく

29 統計モデルに基いた分析 第二回 データの統計分析. データに応じた統計モデルの設定 母集団分布のモデル化 X i. i. d. X ~ p 2. パラメータの推測 点推定 区間推定 信頼区間 仮説検定 事後分布が計算できたとして 具体的には?

30 事後分布に基づいたパラメータ推定 /2 事後分布の意味 あくまで データを得た後での 我々の知識の不確かさ の表現 事後分布を用いたパラメータの推定値の与え方は色々 点推定量. 事後分布の期待値 : ベイズ推定量と呼ぶことが多い δ π π d 2. 事後分布のメジアン 中央値 3. 事後分布のモード 最頻値 :MP 推定量 * 最尤推定量 MLE 一様分布の時のMP 推定量

31 事後分布に基づいたパラメータ推定 2/2 区間推定量事後分布は通常 山型 モードを中心に確率が 95% になる範囲 95% 信用区間 を指定 注 信用区間は 95% の確率で真値を含む 正しい解釈 信頼区間の 95% を 信用区間の解釈と混同する誤解が極めて多い Desity Prior Posterior prior ad posterior パラメータ推定は次回以降で 詳しく紹介する予定

32 4. 問題編

33 ある上司の主張 実はすごい発見をし てしまった YO!

34 ある上司の主張 実はすごい発見をし てしまった YO! というわけで しばし 彼の大発見? の説明をお聞きください

35 204 年 8 月 ~205 年 5 月までの試合結果 204 年 8/2 土 8:00 ガンバ大阪 2-0 横浜 F マリノス万博記念競技場 8/9 土 9:00 大宮アルディージャ 0-2 ガンバ大阪 NCK5 スタジアム大宮 205 年 5/2 土 4:00 浦和レッズ -0 ガンバ大阪埼玉スタジアム 2002 ガンバ大阪の戦績 調べたらビックリだ YO! 戦績は以下のサイトで公開 :

36 データ * 204 年 8 月 2 日 ~ 205 年 5 月 2 日 集計結果 万博記念公園での試合万博記念公園以外での試合 万博記念公園 勝負合計勝率 試合数 引き分けは外す試合数 6 引き分けは外す 20 4 勝 2 敗 5 勝 5 敗勝率 勝率 0.75 それ以外の場所 全体 単純に勝率の差をみると * 簡単のため引分をはずした 約 3% ずいぶん違うように見える!! これを見たジェフリーズさんの主張は

37 つまり スタジアム には勝利の女神が いるんだ YO!

38 統計モデリングの課題 はたしてジェフリーズさんの主張は正しいのだろうか. 適当な統計モデルを構築 彼の提示したデータを用いて検証しなさい 検証頼む YO!

39 5. 解決編 ~ 統計モデルの構築

40 データはたくさんあるけれど 天候や気温もあるし出場選手の情報もあるし 4 月 5 日の試合は開始直後に先制ゴールで試合の流れが決まった気がする. どうやってモデル化?

41 統計モデルの構成 ランダムさの仮定試合の勝ち負けに寄与する要素 : 出場選手 天候 気温 相手チームとメンバー etc. - がうまく打ち消し合い変動は小さい 独立同一性の仮定 毎回 一定の確率 ホーム アウェイ で勝ち 各試合の結果は独立 各試合の順序や日付も無視 以上の仮定をするとシンプルなモデルができる

42 モデル ホームとアウェイで勝率が同じモデル 2 つの統計モデル試合の勝敗のモデル構築 * * ガンバ大阪の選手 サポーターの皆さま ごめんなさいモデル 2 ホームの方が勝率が高いモデル p 2 < p

43 6. 解決編 2 ~ ベイズファクター

44 尤度関数 尤度比 統計の復習 尤度 ゆうど 関数 確率関数 確率密度関数の 部分に実際のデータを代入し パラメータの関数とみなしたもの. パラメータに関係ない項を無視することもある. ~ p 例 62 L p62 解釈 パラメータの各値に対する 相対的な もっともらしさ likelihood を表現 確率解釈できるとは限らない

45 尤度関数 尤度比 統計の復習 尤度 ゆうど 比 異なるパラメータや異なるモデルでの尤度関数の値の比 異なるモデルの場合 定数項を捨ててはいけない ~ p 例 62 L600 L700 p62 p 解釈 より十分大きいか小さい場合 片方のパラメータ モデル の方がもう片方よりも もっともらしい

46 計算してみよう! 統計モデルの例 ~ N s 2s p e 2πs 分散 s は既知の定数とする 2 公式 log 2 p log 2 2s 2 πs 問題. 62 として対数をとった尤度関数を書きなさい. s はそのままでよい. log 62 2s L log 2πs 2 2

47 L60 log L70 計算してみよう! 2. 今 パラメータの可能性がのいずれかとする. 対数をとった尤度比 対数尤度比 をs の関数としてあらわしなさい. また a b のs の値でそれぞれ評価せよ. としてどちらの値が支持されるか? log L60 log L70 30 s 6070 a 分散が s 3 の場合 b 分散が s 30 の場合 L60 log 0 L70 L60 log L70

48 2 つのモデルの比較 周辺尤度とベイズファクター 手元のデータ をよりよく説明する統計モデル 仮説 を選ぶ モデル : ~ p 2 モデル2: ~ p 2 各モデルごとのパラメータは未知! 各モデルの周辺尤度 各モデルのパラメータに事前分布 ξ j m j : p j j ξ j j d j ベイズファクター Jeffreys 96; Kass ad Raftery 995 B : 2 m m 2 j を設定して 平均化

49 ベイズファクターによる判断の目安 m B2 > m 2 データはモデル 2 よりモデル を支持 支持の強さ 正確な値でなくオーダーで判断 to 3.2 Not worth more tha a bare metio 3.2 to 0 Substatial 0 to 00 Strog > 00 Decisive 0 / Jeffreys 96 ppedi B

50 モデル 各統計モデルと事前分布勝率の事前分布モデル 2 0 ~ b a Beta 0 ~ U 計算の簡単のため一様分布で表現 ab 一様分布 と ab/2jeffreys でやってみる 0 p 2 < p

51 モデル モデル の周辺尤度 ab 一様分布 と ab/2jeffreys でやってみる b a B b a B > <- ; > B <- ; > N_home <- 6; N_away <- 20; > N_wi_home <- 4; N_wi_away <- 5; > M <- choosen_away N_wi_away* choosen_home N_wi_home*betaN_wi_home N_wi_away N_home - N_wi_home N_away - N_wi_away B /betab; ガンバ大阪のデータでは 2 / b a b a m 0 ξ d m

52 モデル 2 BF.calc <- fuction N2 y y2{ bf <- 0; for k i 0:y2{ bf <- bf choosey2 k* betak N2 - y2 *betan N2 - y -y2k 2 y y2 -k; } bf <- 2*bf * choosen y* choosen2 y2; returbf; } M2 <- BF.calcN_away N_home N_wi_away N_wi_home; ガンバ大阪のデータでは k k k B k B k m モデル 2 の周辺尤度 2 z d d m

53 ここまでの結論 2 種類のモデルを用いた仮説の比較 ベイズファクター 周辺尤度の比 は 程度 B m m * 通常の仮説検定でも 0% の勝率の差は有意とはいえない スタジアムの女神は幻だった YO

54 補足 注意点. ホーム アウェイで勝率が変わらないモデルでも 同じくらい説明できることが示されただけ 片方を否定する結果ではない! 2. 統計モデルに改良の余地もある! さらなる検討のためには グループタスクのヒント データ数を増やす 統計モデルの精緻化 単純な二項分布はひどい さすがに選手に失礼 共変量を加える 試合メンバーや天候 勝率に影響を与える要素を増やす 第 8 9 回

55 まとめ : ベイズファクター ベイズでは複数のモデル 仮説で周辺尤度比を比較して検討一般の場合 先の例では 2 つのモデルで比較したが 3 つ以上でも同様にできる 仮説 統計モデル { M j} j J 各モデルで余計なパラメータは積分で消して周辺尤度を求める m j j j : p ξ d j ベイズファクター 2 つのモデルの周辺尤度の比 B jk : m m j k j

56 7. グループタスク第一回

57 第一回の要件 第一回グループ発表 6/6 開催 ベイズファクターを利用した分析が入っていること! 事前分布 事後分布は発表の際 数式と視覚的な表示をいれる 事前分布はいろいろ試してみる 実データを利用し 複数の観点から分析 採点方法 40 点満点 グループごとに点数をつける グループ内で貢献度が著しく低い 高い個人は補正 他グループが提出する評価点 コメントも参考 追加

58 評価方法 審査の流れ. 全発表終了後 各グループごとに審査 まずは コメントを発表してもらう 2. 不十分な点に関して 発表グループは弁解 反論も可 3.2の討議をもとに 各グループ最大 0 点で点数評価 発表グループは自分たちの評価はしない 暫定評価点 暫定評価点と他グループからの最大点 最小点は公表 各グループの評点 7/ 2 教員補正 - 暫定評価点 20 点未満 不合格とし別の機会に再度発表 注. グループ内で貢献度が著しく低い 高い個人は補正

59 発表直前チェックシート 評価の観点 グループでの作業分担は適切か 分析結果を全員が理解しているか 設定した課題の難易度 うまくいかなくてもよいが試行錯誤は必要 発表スライドの内容やその他のルール 要件をきちんと満たしているか 発表スライドに含めるべき内容 収集したデータの説明と統計分析の目的 モデリング手法の検討 実装 R 言語 の概要 分析結果の解釈と検討 グループ内の作業分担

60 発表に関するルール その他 各グループ一回発表 発表順も決めておき 3 時 ~ 発表開始できるように 発表& 質疑応答で20 分程度 2~3 審査 グループディスカッション グループ発表の回は グループごとに固まって座る 収集データ 分析に用いたソースコードはzip ファイルでまとめて 教員 田中 冬 に事前送付 履修者人数分配布資料を用意してもよい 義務ではない 日程 予定 6/6 第一回テーマ : ベイズモデリング 6/27 予定 第二回テーマ : 一般化線形モデリング 7/25 予定 第三回テーマ : スパースモデリング