統計学の基礎から学ぶ実験計画法ー１

Size: px

Start display at page:

Download "統計学の基礎から学ぶ実験計画法ー１"

あきとしわくや
6 years ago
Views:

1 第部統計学の基礎と. 統計学とは. 統計学の基本. 母集団とサンプル ( 標本 ). データ (data) 3. 集団の特性を示す統計量基本的な解析手法 3. 統計量 (statistic) とは 3. 集団を代表する統計量 - 平均値など 3.3 集団のばらつきを表す値 - 平方和分散標準偏差 4. ばらつき ( 分布 ) を表す関数 4. 確率密度関数 4. 最も重要な正規分布 4.3 統計量の分布と基本的特性実験計画法を活用するために知らなければならない統計学の基礎を確認整理しよう

2 第部統計学の基礎と 5. 基本的な統計解析手法基本的な解析手法 5. 統計学的仮説検定 (Statistical hypothesis testing) () 仮説検定の種類 () 仮説検定の手順 (3) 仮説検定における種類の誤り (4) 仮説検定の実際 5. 統計的推定 (Statistical Estimation) () 点推定 () 区間推定実験計画法を活用するために知らなければならない統計学の基礎を確認整理しよう

3 第部統計学の基礎と 5. 基本的な統計解析手法 5.3 相関と回帰 () 相関 () 回帰基本的な解析手法 5.4 分散分析 (ANOVA:analysis of variance) 実験計画法を活用するために知らなければならない統計学の基礎を確認整理しよう

4 . 統計学とは統計学とは - 記述統計学と推測統計学バラツキのあるデータから応用数学の手法を用いて数値上の性質や規則性あるいは不規則性を見いだす統計的手法は実験計画データの要約や解釈を行う上での根拠を提供する学問であり幅広い分野で応用されている記述統計学 (descriptive statistics) 記述統計学とは収集したデータの要約統計量 ( 平均分散など ) を計算して分布を明らかにする事によりデータの示す傾向や性質を知ること母集団標本という概念はない推測統計学 (inferential statistics) 標本データからその性質を確率論的に推測する母集団は大きく直接調べられないデータは標本からしか得られないため標本データから母集団を検定や推定などを行う

5 . 統計学の基本. 母集団とサンプル実験解析の最重要ポイントサンプリング ( サンプリングとは ) 母集団から適当なサンプルを抽出すること ( サンプリング手法 ) 無作為抽出母集団が均一の場合群に分けて抽出母集団が不均一の場合測定実験などサンプル標本サンプルから母集団の情報を得る母集団母集団から必要とする情報を得ることは困難 ( データが膨大など ) 母集団 : 検討考察の対象として妥当か? サンプル : 検討考察の対象として母集団を適切に代表しているか?

6 . 統計学の基本. 母集団とサンプルサンプリング母集団サンプル真の情報 ( 知りたい情報 ) 母数未知実験測定など統計量標本扱える情報母平均母分散母標準偏差など母数に対して必ず誤差がついているサンプルから得られた平均分散標準偏差など母数と統計量は明確に区別して扱う必要がある

7 用語解説母集団 (population) ) 調査研究の対象となる特性を持つすべてのものの集団 ) サンプルにより処置をとろうとする集団なお母集団には無限母集団と有限母集団があるサンプル ( 標本 :sample) 母集団からその特性を調べる目的を持ってとったもの標本試料という用語は同じ意味ランダムサンプリング (random sampling) 母集団を構成している単位体単位量などがいずれも同じような確率でサンプルに入るようにサンプリングすること母数 (parameter) ) 母集団分布の一族 {f(x:θ,θ,θ n } を考えるときその値を指定すれば分布が確定するような定数 θ,θ θ n ) 広い意味では確率分布によって定まる数値母平均母分散母標準偏差などは全て母数統計量 (statistic) サンプル ( 標本 ) から計算される値サンプルから得られる平均分散標準偏差などは統計量である

8 . 統計学の基本. データ (data) () データとは基礎的な事実を示すもので処理によって意味を持つ前提で収集されたもの対象とするもの数字 ( 数値データ ) 言葉 ( 言語データ ) 図表データはそのままでは使えない統計処理をして検討判断などを行う (* 真理の解明主張などはデータを通して行うのが基本 ) () 数値データ統計で活用するのは主に数値データ数値データの分類 : 計量値と計数値計量値 (continuous variable) 測定機器で測定する値長さ重量時間温度など連続的な値計数値 (discrete variable) 数えられる値部品個数不良点数など離散的な値 ( 注 ) 本講座では主に計量値を対象とする

9 3. 集団の特性を現す統計量 3. 統計量 (statistic) とはサンプルから得たデータだけではその集団の様子はわからないデータを処理 ( 四則演算平方根などを用いる ) して集団の性質を表すものを統計量と言うその統計量により判断考察などを行う

10 3. 集団の特性を現す統計量 3. 集団を代表する統計量 - 平均値など集団を代表する統計量 - 異なる集団を比較する時何で比較するか () 平均値測定値の総和をサンプル数で割ったもの ( 集団を代表する値として最も一般的 ) x = x i n () 中心値 ( メディアン ) (3) 中点値測定値を大きさの順に並べた時その中央に当たる値 ( データが左右対称にばらついていない場合などに効果的 ) 測定値の最大値と最小値の算術平均

11 3. 集団の特性を現す統計量 3.3 ばらつきの程度を表す値 - 平方和分散標準偏差集団の測定値がどのようにばらついているか ( 広がっているか ) () 平方和 () 分散 - 平均値だけで集団を見ると勘違いが起きる (3) 標準偏差 ( 平均値 - 各測定値 ) の自乗の総和 S ( x x) i 平方和を測定値の数で割ったもの ( x i x) 母分散 : 不偏分散 ( 平均平方 ): n V ( s 分散の平方根単位を測定値の単位に合わせる単位は測定単位の自乗 S ) ( 母集団の分散通常は未知 ) ( 統計量 : 母集団の分散の推定値 ) ( x i x) 母標準偏差 : サンプル標準偏差 : s n ( 母集団の標準偏差通常は未知 ) ( 平均値の罠 ) S 自由度 : n ( x ( x i x) n i x) n 注意

12 補足解説自由度 (degrees of freedom) サンプル数 (n )- で考えてよい独立に変えることのできる変数の量 ( 誤差分散の個数に等しい ) 日本工業規格ではカイ二乗分布 F 分布 t 分布などのパラメータと定義している自由度とはどのような意味をもつかばらつきを作る個所の数サンプルの情報だけからばらつきを考える場合 n=5 とすると 4 つつまり n- ばらつきの基準となるもの ( 母平均 ) がわかっている場合数式で考えると母平均 5 つつまり n (x i μ) = x i x + ( x μ) = (x i x) + x μ 期待値をとると nσ = E S + nv( x) V x = σ n であるから E S = (n )σ

13 用語解説母数統計量母数の推定量の記号一覧表 ( 慣例 ) サンプル数 :n 平均値中央値分散母数 - 母数の推定量 - ˆ X ~ 統計量 x 統計量の計算式 x ( メディアン ) - V ( s ) ( 不偏分散 ) V s n S x i ( x i x) n 標準偏差 ˆ s ( 標本標準偏差 ) s V s 範囲 - - R - 平方和 : S ( x x) 自由度 : n i

14 用語解説確率変数 (random variable) どのような値をとるかがある確率法則によって決まる変数とることができる値が離散的な連続的であるかによってそれぞれ離散型確率変数連続型確率変数という確率変数は大文字で表記する

15 3. 集団の特性を現す統計量例題 3- ある軸部品についてサンプルを 0 個取り出し直径 (mm) を測定したら以下の値であった平均 ( 母平均の推定値 ) 不偏分散 ( 母分散の推定値 ) を計算せよ No 直径 (mm) 解答 3- ) 平均値を求める x i n x =9.4 ( 母平均と推定 ) ) 不偏分散を求める V ( s ) S ( x i x) n =0.9 ( エクセルの関数 ) =AVERAGE( 数値, 数値 ) =VAR.S( 数値, 数値 ) ( 母分散と推定 )

16 4. ばらつき ( 分布 ) を表す関数 4. 確率密度関数 - ばらつき ( 分布 ) の姿を表す関数 () 確率 (probability) 事象が起きる確からしさ 0 P 事象が絶対に起きない P=0 () ばらつき ( 分布 ) の姿を現すヒストグラム事象が必ず起きる P= 事象が回に回起きる P=0.5 度数各区間に入る度数を棒グラフ化ばらつき ( 分布 ) の姿を可視化 (3) 確率密度関数 (probability density function) 特性の最大値と最小値の間を等区間 (Δt) に分割区間 Δt 0 にしたのが確率密度関数 :f(x) 変数 x が区間 [a,b] に入る確率 b P ( a x b) f ( x) dx f ( x) dx a 積分しないと数値が出ない関数

17 4. ばらつき ( 分布 ) を表す関数 4. 最も重要な正規分布正規分布計量値の分布偶然のばらつきの分布は正規分布となる確率密度関数 : y f ( x) 平均値 0 標準偏差 0.5 exp[ の正規分布 ( x ) ( ) ] 記号 N(μ σ ) 標準正規分布 :N(0 ) ( 平均値 0 標準偏差 ) 0.59(σ~ 無限大の区間に入る確率 ) 平均値と分散が決まれば分布が決まる変数変換して平均値 :0 標準偏差 : とすれば標準正規分布が適用できる -σ~σ の区間に入る確率 σ~σ の区間に入る確率 σ~3σ の区間に入る確率 % の範囲 -.96σ~.96σ

18 4. ばらつき ( 分布 ) を表す関数 4. 最も重要な正規分布独立な正規分布の平均値と分散の加法性 - 同時分布独立に正規分布に従う X ( 平均 x, 分散 σ ) と Y ( 平均 y, 分散 σ ) について確率変数 Z=X+Y の分布は正規分布 ( 平均 x+y, 分散 σ + σ ) に従う平均 x 分散 σ X + Y 平均 y 分散 σ X+Y 平均 x+y 分散 σ + σ

19 4. ばらつき ( 分布 ) を表す関数 4. 最も重要な正規分布独立な正規分布の平均値と分散の加法性 - 同時分布 ( 補足 ) 独立に正規分布に従う X ( 平均 x, 分散 σ ) と Y ( 平均 y, 分散 σ ) について確率変数 Z=X-Y の分布はどうなるか正規分布 ( 平均 x-y, 分散 σ + σ ) に従う ( 分散に引き算はない ) ( 補足 ) 部品 A(X±a) 部品 (Y±b) を組み合わせるとどうなるか A B (X+Y)±(a+b) ではない (X+Y)± a b となる ( ばらつきは分散 ( 二乗 ) で加算される )

20 4. ばらつき ( 分布 ) を表す関数 4.3 統計量の分布と基本的特性統計解析の重要ポイント母集団の母数 ( 真の値 ) を調べる ( 検定推定する ) ためにはサンプル ( 標本 ) の統計量を分析する統計量の分布を知ることが必要母数 ( 未知 ) サンプル ( 標本 ) 統計量サンプリング統計量 = 母数 ± ばらつき ( 分布 ) 母集団統計量の分布母数に対する統計量のばらつきの状況 ( 分布 ) ( 前提 ) - ランダムな分布とランダムなサンプリング母集団は正規分布をしている母集団は無限母集団でサンプル ( 標本 ) はランダムサンプリングで抽出した

21 4. ばらつき ( 分布 ) を表す関数 4.3 統計量の分布と基本的特性統計量の分布とはサンプリング n 個母集団第回目第回目第 3 回目第 4 回目統計量 n 個の平均 x x x 3 x 4 上記のサンプリングと統計量の計算を無限回行った場合 x --- x ばらつき ( 分布 ) の様子統計量 ( サンプル n の平均値 ) の分布サンプル数 :n によって分布の形状が変わる

22 4.3 統計量の分布と基本的特性 () サンプル平均値 ( x) の分布母集団 ( 平均値 :μ 標準偏差 :σ) サンプルの大きさ n から得られる平均値 x とその標準偏差の分布 x サンプル平均値の平均値( ) μ( 母集団の平均値 ) サンプル平均値の標準偏差(s ) ( 母集団の標準偏差の倍 ) n n < サンプル平均値に関する法則定理 > サンプル平均値の標準偏差が倍となる V x = σ n n 大数の法則 (law of great numbers): サンプル数が増加すると母平均に近づく母集団が正規分布でなくてもサンプル平均値の分布は正規分布となる中心極限定理 (central limit theorem)

23 4.3 統計量の分布と基本的特性 x () サンプル平均値 ( x) の分布母集団 ( 平均値 :μ 標準偏差 :σ) サンプルの大きさ n から得られる平均値 ( x ) の分布母分散 (σ ) が既知平均値の分布は正規分布検定推定は正規分布サンプル数が十分に多ければ (n>50 程度 ) 標本分散は母分散と同じとみなすことができる母分散 (σ ) が未知サンプルから得た不偏分散 (V ) を用いる平均値の分布は t 分布検定推定は t 分布

24 4.3 統計量の分布と基本的特性 () サンプル平均値 ( ) の分布 x t 分布 ( t distribution) ( 定義 ) t ( 応用 ) ( x ) ( s ) n ここで t は自由度 :Φ=n- の t 分布をする母分散が未知のとき母平均に対する検定推定に用いられる s V 確率密度 S ( サンプルの標準偏差 ) (n で正規分布 ) 自由度 t

25 4.3 統計量の分布と基本的特性 () サンプル分散 (s ) の分布母集団 ( 平均値 :μ 分散 :σ ) 試料の大きさ n から得られる分散 (s ) の平均値とその標準偏差の分布分散 (s ) の平均値 ( n n ) ( 注 ) 正規分布とはならない分散(s ( n ) ) の標準偏差 n ( 留意点 ) n 分散の推定値 ( 母集団の分散 (σ ) に最も近い値 ) は ( n ) 不偏分散 (unbiased varience) s サンプルから求める分散は通常不偏分散を用いる n S 不偏分散 : V s ( 平方和 / 自由度 ) ( n ) 自由度 :Φ=n- (n ではないことに注意 )

26 4.3 統計量の分布と基本的特性 (3) の分布カイ二乗分布 (chi-square distribution) ( 定義 ) S ( xi x) ( xi x) i i 標準正規分布 (N(0,): 平均 0 標準偏差 ) の分布から n 個 ( 自由度 ) のサンプルを抜き取り二乗の和をとった場合の分布それぞれの正規分布が独立であり平均標準偏差が異なる場合上式で表す母平均が既知の場合分散が等しければ χ は自由度 :Φ=n のカイ二乗分布をする母平均が未知の場合分散が等しければ χ は自由度 :Φ=n- のカイ二乗分布をする

27 4.3 統計量の分布と基本的特性 (4) 二つのサンプルで不偏分散の比率 (V /V ) の分布 F 分布 (F distribution) ( 定義 ) 自由度がそれぞれ Φ Φ であるカイ二乗変数 χ χ とが互いに独立であるときその比 F(, ) / / が F 分布とされるここで χ χ がそれぞれ正規分布の母集団からサンプルしたものでその不偏分散をs s とすれば s / F(, ) s / もし二つの正規分布の母集団の分散が等しければ (σ =σ ) であれば母数に関係なく不偏分散のみの関係式となる F( s V, ) ( 分散分析で用いる ) s V

28 4.3 統計量の分布と基本的特性 F 分布 (F distribution) 同一母集団からの二つのサンプルで不偏分散の比率 (V /V ) の分布第回目第回目第 3 回目無限回母集団サンプリング n 個サンプリング n 個統計量 n 個の不偏分散 S V n ) ( n 個の不偏分散 S V n ) 二つの不偏分散の比 ( V F V 統計量 F の分布不偏分散の比の分布なので正の値しかとらない ( 検定は片側検定となる ) 二つの自由度によって分布の形状が変わる

29 4.3 統計量の分布と基本的特性 (4) 二つのサンプルで不偏分散の比率 (V /V ) の分布 F 分布 (F distribution) 二つの試料の不偏分散 F は自由度 :Φ =n - Φ =n - の F 分布となる ( 応用 ) S n ) ( 等分散性の検定 : 正規分布に従うつの群の標準偏差が等しいという帰無仮説の検定 V F(,, ) F (,, ) (α: 信頼度 ) V 確率密度 S n ) ( として V F V 自由度とするとき自由度 = 分散分析 : 正規分布に従う複数の群 ( 標準偏差は等しいと仮定する ) で平均が等しい ( つまり同じ母集団に由来する ) という帰無仮説の検定 F

30 4.3 統計量の分布と基本的特性 (4) 二つのサンプルで不偏分散の比率 (V /V ) の分布 F 分布 (F distribution) ( 補足 ) ) 二つの確率変数 U とV がそれぞれ独立にカイ二乗分布に従うとき二つの確率変数の比として定義される確率変数 U / F V / は自由度 Φ Φ のF 分布に従う

31 4.3 統計量の分布と基本的特性 [ 統計量の分布のまとめ ] 分布応用正規分布 t 分布分布 F 分布正規分布に従うつの集団の平均値の検定( 母分散が既知 ) 平均値の区間推定( 母分散既知 ) 基本となる分布統計解析は基本的に本分布を前提とする自由度の概念はない正規分布に従う二つの集団の平均値の検定 ( 母分散が未知 ) 平均値の区間推定 ( 母分散未知 ) n( サンプル数 ) 無限大で正規分布二つのグループの独立性の検定カテゴリー別の比率が基準の比率と同じかの適合度の検定正規分布に従う二つの集団の標準偏差の検定 3 群以上のデータがある正規分布に従うかを回で検定 ( 分散未知 ) 分散の比較から平均値の違いの検定 ( 分散分析 )

32 5. 基本的な統計解析手法当研究所販売商品電子書籍セット (CD 3 枚組 ) をご覧下さい

33 [ まとめ ] 知りたい情報 ( 母数 : 平均値分散 ) はサンプル ( 標本 ) を通して得るサンプルから得た統計量は真の値 ( 母数 ) とは言えない必ず誤差がついている ( ばらついている ) 統計量が真の値 ( 母数 ) に対してばらつく様子 ( 分布関数 ) を表すのが統計量の分布関数正規分布 t 分布 F 分布複数の統計量の違いの有無大小関係を調べるのが検定真の値 ( 母数 ) を推測するのが推定

34 終わり

EBNと疫学

EBNと疫学推定と検定 57 ( 復習 ) 記述統計と推測統計統計解析は大きく 2 つに分けられる記述統計推測統計記述統計観察集団の特性を示すもの代表値 ( 平均値や中央値 ) やばらつきの指標 ( 標準偏差など ) 図表を効果的に使う推測統計観察集団のデータから母集団の特性を推定する平均 / 分散 / 係数値などの推定 ( 点推定 ) 点推定値のばらつきを調べる ( 区間推定 ) 検定統計量を用いた検定