kubostat2018a p.1 統計モデリング入門 2018 (a) The main language of this class is 生物多様性学特論 Japanese Sorry An overview: Statistical Modeling 観測されたパターンを説明する統計モデル

Size: px

Start display at page:

Download "kubostat2018a p.1 統計モデリング入門 2018 (a) The main language of this class is 生物多様性学特論 Japanese Sorry An overview: Statistical Modeling 観測されたパターンを説明する統計モデル"

えいじろうふじつぐ
4 years ago
Views:

p.1 統計モデリング入門 2018 (a) The main language of this class is 生物多様性学特論 Japanese Sorry An overview: Statistical Modeling 観測されたパターンを説明する統計モデル久保拓弥 (北海道大環境科学) Why in Japanese?

1 p.1 統計モデリング入門 2018 (a) The main language of this class is 生物多様性学特論 Japanese Sorry An overview: Statistical Modeling 観測されたパターンを説明する統計モデル久保拓弥 (北海道大環境科学) Why in Japanese? because even in Japanese, statistics is difficult for Japanese students to understand. I will compensate for language disadvantages in foreign students when I give grades. 1/56 Questions in English are always welcomed! assignment Mailing List (ML) kubostat (via Mailing List) That's ALL! Attendance? NOT care. ML を使って各回の課題を出します回答もメイルで送信してください Send your assignment via the class ML 成績評価は課題の回答単位とらない人も ML 登録してください 2/56 この統計モデリング授業の Performance Rating 3/56 出欠関係なし (欠席の連絡いりません) 講義資料のダウンロード案内などあります統計モデリング授業の web page 4/56 What for Statistical Modeling? なぜデータ解析の方法を mailing list 勉強しなければならないのか? 5/56 All you depend on statistics データ解析はあまり重視されてなかった whenever you conclude something based on your data 内容がわからなくてもソフトウェアにまるなげデータ解析がおかしいと結論もおかしい Crazy data analsys Crazy results 統計解析わからんと批判的に読めない A lack of statistical knowledge No Blackbox statistics! とにかくゆーい差さえ出せばよいという発想になっている no critical reading of papers ブラックボックス統計解析 7/56 Don't blindly believe Significance! 8/56

2 p.2 この授業のねらい (aim) できるだけ内容を理解して統計ソフトウェアを使おう! 教科書とソフトウェア Understand how to fit statistical models to your data データにあてはめられる統計モデルを作ろう Use the statistical software R to show your data structure 9/56 この授業は統計モデリング入門にそった内容を説明します著者: 久保拓弥出版社: 岩波書店刊行価格 3990 円統計ソフトウェア R 統計学の勉強には良い統計ソフトウェアが必要! my text book (in Japanese) 割引販売 3000 円!! Statistical software for this course 無料で入手できる内容が完全に公開されている多くの研究者が使っている作図機能が強力追記メモ RStudio の紹介 11/56 この教科書でも R を使って問題を解決する方法を説明しています 12/56 統計モデルとは何か? 統計モデルとは何か? どんな統計解析においても統計モデルが使用されている What? statistical modeling? 観察によってデータ化された現象を説明するために作られる確率分布が基本的な部品でありこれはデータにみられるばらつきを表現する手段であるデータとモデルを対応づける手つづきが準備されていてモデルがデータにどれぐらい良くあてはまっているかを定量的に評価できる統計モデリング入門の主張 14/56 GLM and extended GLMs! a better statistica model for better data analysis! 何でも正規分布じゃないだろ! The Evolution of Linear Models Hierarchical Bayesian Model (HBM) Parameter Estimation MCMC Generalized Linear Mixed Model (GLMM) MLE Generalized Linear Model (GLM) MSE Linear Model 15/56 16/56

p.3 たとえばこんなデータがあったしましょう An example number of seeds 一般化線形モデル - ばらつきをよく見る Don't use the normal distribution without seeing data! 正規分布種子数ポアソン分布体サイズ plant body size 0 個 1 個 2 個と数えられる種子数が正規分布なわけないだろ!

Logistic Regression Maximum Likelihood Estimation (MLE) 第 3 回: 6/25 (水) 18/56 全体の流れ (2/3) Introduction 第 2 回: 6/18 (月) 第 6 回: 7/02 (月) 一般化線形モデル: ポアソン回帰階層ベイズモデル 1 Hierarchical Bayesian Models (HBM) 1

3 p.3 たとえばこんなデータがあったしましょう An example number of seeds 一般化線形モデル - ばらつきをよく見る Don't use the normal distribution without seeing data! 正規分布種子数ポアソン分布体サイズ plant body size 0 個 1 個 2 個と数えられる種子数が正規分布なわけないだろ!! 17/56 全体の流れ (1/3) 第 1 回: 6/18 (月) 観測されたパターンを説明する統計モデル第 4 回: 6/25 (月) モデル選択と検定 Model Selection and Statistical Test 確率分布と最尤推定第 5 回: 7/02 (水) Probability Distributions and 一般化線形モデル: ロジスティック回帰 GLM: Logistic Regression Maximum Likelihood Estimation (MLE) 第 3 回: 6/25 (水) 18/56 全体の流れ (2/3) Introduction 第 2 回: 6/18 (月) 第 6 回: 7/02 (月) 一般化線形モデル: ポアソン回帰階層ベイズモデル 1 Hierarchical Bayesian Models (HBM) 1 Generalized Linear Model (GLM): Poisson Regression 6/18 全体の流れ (3/3) 第 7 回: 7/09 (月) Statistical Modeling 2018 (b) 繰り返し測定の階層ベイズモデル Bayesian models for repeated measures 第 8 回: 7/09 (月) 時間変化データのベイズ統計モデル Probability distributions and Bayesian models for Time series data maximum likelihood estimation さまざまな確率分布と最尤推定 next: Kohyama-san s Lecture Plant Ecolgy カウントデータはポアソン分布を使って説明できないかを調べる単純化した例題 Find some appropriate probability distributions to fit the Simplified examples to learn statistical modeling 23/56 observed distributions 24/56

p.4 6/25 さいゆう最尤推定という考えかたを説明します Statistical Modeling 2018 (c) Poisson regression and generalized

4 p.4 6/25 さいゆう最尤推定という考えかたを説明します Statistical Modeling 2018 (c) Poisson regression and generalized linear model ポアソン回帰と GLM How to fit the distribution to the observation? Maximum likelihood estimation! ここで登場する -- 何でも正規分布ではダメ! 25/56 という発想 Free の統計ソフトウェア R で統計モデリング正規分布ポアソン分布 the normal distirbution is NOT normal 27/56 28/56 statistical model selection Q. モデル選択とは何か 6/25 Statistical Modeling 2018 (d) Model Selection and Statistical Test モデル選択と統計学的検定 model selection for better predictions A. より良い予測をする統計モデルを探すこと 30/56 統計学って検定のこと? 検定って何なの? こっちだ! fallacy of statistical significance? 検定はモデル選択じゃない! 31/56 32/56

p.5 mesurement / mesurement? sounds bad! 生物学のデータ解析は割算しまくり!

generalized linear model ロジスティック回帰 Use logistic regressions!

$model for fractions using binomial distributions 35/56 7/2 36/56$ ? Statistical Modeling 2018 (f) GLM does NOT Hierarchical Bayesian

! and MCMC sampling 階層ベイズモデルと MCMC 第 6 回と同じような例題を

なぜ階層ベイズモデルまで勉強するの? GLM を階層ベイズモデル化して対処生態学!

Model (HBM) 時間相関種差などめんどうな Parameter Estimation MCMC Generalized

5 p.5 mesurement / mesurement? sounds bad! 生物学のデータ解析は割算しまくり!! 7/2 Statistical Modeling 2018 (e) Logistic regression, a generalized linear model ロジスティック回帰 Use logistic regressions! 34/56 GLM のひとつロジスティック回帰を使おう GLM のひとつロジスティック回帰を使おう a statistical model for fractions using binomial distributions 35/56 7/2 36/56 GLM ではうまく説明できないデータ!? Statistical Modeling 2018 (f) GLM does NOT Hierarchical Bayesian model work?! and MCMC sampling 階層ベイズモデルと MCMC 第 6 回と同じような例題をこんどはベイズモデルを使ってモデリングします A solution: Hierarchical Bayesian GLM 38/56 なぜ階層ベイズモデルまで勉強するの? GLM を階層ベイズモデル化して対処生態学! The Evolution of Linear Models 個体差エリア差空間相関 Hierarchical Bayesian Model (HBM) 時間相関種差などめんどうな Parameter Estimation MCMC Generalized Linear Mixed Model ことをあつかわないといけない (GLMM) MLE Generalized Linear Model (GLM) MSE What for hierarchical Bayesian Linear Model modeling? --- to detect interesting effects embedded in noisy & dirty data in the field of Ecology! 39/56 40/56

p.6 7/9 第 7, 8 回は Statistical Modeling 2018 (g) 時間変化するデータの統計モデリング

(short term) an application of hierarchical Bayesian modeling!

データ短い時系列データ時系列の長短に関係なく対応のあるデータ点か岩波データサイエンス vol.

同じ対象を二回測定していることを考慮してない 45/56 対応 (paired) を考慮しさらに県の差もあるモデルこれはまちがい!

6 p.6 7/9 第 7, 8 回は Statistical Modeling 2018 (g) 時間変化するデータの統計モデリング (階層ベイズモデルの応用) Modeling time change data Modeling of time-series data as (short term) an application of hierarchical Bayesian modeling! 短い時系列データの統計モデル再測定もまた時系列データ A Time series model for single step data 架空データ短い時系列データ時系列の長短に関係なく対応のあるデータ点か岩波データサイエンス vol.1 どうかが本質的な問題 44/56 対応 (paired) を考えてない GLM あてはめ対応 (paired) を考えてない GLM あてはめこれはまちがい! ゆーい差ありとなるゆーいになりやすい glm(身長 (測定2回目) + (測定2回目):(処理の効果)) 同じ対象を二回測定していることを考慮してない 45/56 対応 (paired) を考慮しさらに県の差もあるモデルこれはまちがい! ゆーい差ありとなる glm(身長 (測定2回目) + (測定2回目):(処理の効果)) 同じ対象を二回測定していることを考慮してない 46/56 7/9 Statistical Modeling 2018 (h) Modeling time series data (long term) 長い時系列データの統計モデル給食効果なし 47/56

p.7 7/27 (水) 時間相関のある時系列データに y time series data and autocorrelation glm(y ~ t) とモデルをあてはめてみた t やったーゆーいだ!!?? A fake significance 3Q 0.

Median -2.1295-1.0583-0.0817 Max 2.0188 Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) -414.5655 71.4761-5.80 6.

時間的自己相関がある 51/56 変数 Y 統計モデルづくりの要点時系列データの解析は階層ベイズモデル化した Y1 Latent state model is a better model to know the 正規分布 Y2 Y2 Y3

7 p.7 7/27 (水) 時間相関のある時系列データに y time series data and autocorrelation glm(y ~ t) とモデルをあてはめてみた t やったーゆーいだ!!?? A fake significance 3Q 時系列のずれ 50/56 GLM のずれ temporal independent noises autocorrelation > summary(glm(formula = y ~ t)) Deviance Residuals: Min 1Q Median Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-06 t e-06 直線からのずれがちがう! これはまちがい glm(時系列y ~ 時間 t) 統計モデルがおかしい? 時間的自己相関がある 51/56 変数 Y 統計モデルづくりの要点時系列データの解析は階層ベイズモデル化した Y1 Latent state model is a better model to know the 正規分布 Y2 Y2 Y3 characteristics of time-series data 状態空間モデル + 観測モデル Latent state variables + observation model 今日はここまで any questions? 55/56 52/56 Random walk もっとも単純なモデル Y1 Y1 状態空間モデルを使うのが便利時間的自己相関がない時間 t 54/56

統計モデリング入門 2018 (a) 生物多様性学特論 An overview: Statistical Modeling 観測されたパターンを説明する統計モデル久保拓弥 (北海道大環境科学) 統計モデリング入門 2018a 1

統計モデリング入門 2018 (a) 生物多様性学特論 An overview: Statistical Modeling 観測されたパターンを説明する統計モデル久保拓弥 (北海道大環境科学) kubo@ees.hokudai.ac.jp 1/56 The main language of this class is Japanese Sorry Why in Japanese? because