計測工学 II 第 13 回 Excel による有意差の検定
今日の内容 第 13 回 Excel による有意差の検定 危険率や統計検定 を学習します
有意差とは? 計測して データを取りました データ処理して 特性を調べました それで 何がわかるの? ある治療法だと 病気の治癒率が高い! なぜ そう言い切ることができるの? 有意差があることを示す 意味の有る差 (Significant Difference) 意味のない差があるの? 偶然 差が出てしまった 偶然何かが起きる確率を計算して その確率が 十分小さい ことが示せれば 意味があった と言える
帰無仮説 帰無仮説って何? 無に帰る仮説 ( 有意差と同様 読んで字の如く ) この治療法が役に立つなんて 間違いさ! という仮説 どちらも差がない ( 同じ母集団に属する ) という仮説 通常 証明したい事実を否定する仮説のことを言います 実際のデータを処理して 普通の治療法と 新しい治療法を比べる 比べて 両方の結果に違いが出たのは偶然である 確率を計算する その確率が 5% だったしたらと 5% の危険率で 帰無仮説が棄却された と言う
危険率 危険率とは? うっかり間違えて 帰無仮説を棄却してしまう確率 偶然いい結果がでる確率が 5% はあるのだから この治療法は効果がある と言ってしまっても 5% は 偶然の結果 で 間違っているかも知れない 本当は帰無仮説が正しかったのだけど 偶然違いが出てしまう確率 どの程度 意味があると言えるか ということで 有意水準ともいいます
対立仮説 帰無仮説に対して これから証明したいこと を対立仮説と言います 仮説のことを英語で Hypothesis ( ハイポセシス ) と言います 帰無仮説を通常 H 0 で表し 対立仮説を通常 H 1 で表します
偶然 をどうやって証明する? 平均値から極端に外れたデータは 発生確率 が小さい この値なら 人口 1 万人に一人くらい この値だと 人口 1 億人に一人 という性質がわかる 身長 2m10cm の人が 電車に乗り合わせる確率は?( かなり小さい ) それが もし 乗り換えた電車でも 3 回連続したら 単なる偶然と言えるか? 一つの集団 の統計的な性質は 正規分布する ということを前提にする 異なる二つの集団の 統計的な性質 は 異なる 日本人の集団で 60 歳のグループの身長と 20 歳のグループの身長は 異なる
母集団と標本 例 : 全日本人の 20 代男子の集団 を 母集団 とする このクラスの男子を 標本 とする 母集団と標本で 身長を比較する 標本数が大きければ その統計的な性質は 母集団の統計的な性質に近づく 救急救命の学生と 臨床工学の学生で 身長の平均を比較する どちらも 同じ母集団のはず 標本 が偏っていると 母集団と統計的な性質が異なることがある 例 : バレーボール部に所属する人と 母集団とを比較すると 平均値が異なる場合が多い 測定データ A と 条件を変えて測定したデータ B を比較し それぞれの 標本 が 同じ母集団に属する 確率を求める これが 危険率 元々同じ母集団に属するのに 偶然差があるという結果がでる確率
生物学的 医学的統計の例 サイトの引用です 下図のデータは 40 歳代男性の透析患者 9 名 同年代の病院職員の健常者 7 名の IgG 値 (mg/100ml) を測定した結果です IgG とは免疫グロブリンタンパクの一種です ( 出典 ; 新版医学への統計学 朝倉書店 ) 分析の目的 透析患者の IgG 値が健常者に比べて高いかどうかを調べます 有意水準 1% で片側検定を行います 帰無仮説 H 0 : 透析患者と健常者の母平均は等しい 対立仮説 H 1 : 透析患者の母平均は健常者の母平均よりも大きい http://software.ssri.co.jp/statweb2/sample/example_3.html
統計的処理 ( 前期 第 4 回 ) 平均値 データの総和を N で割る 計算が容易 正規分布の場合の中心の値を推定 標準偏差 正規分布を仮定した場合 データが平均値の周囲にどの程度分散しているかを示す値 X±σ に 68.26% が集中 X±2σ に 95.44% が集中 X±3σ に 99.74% が集中
標本群の比較 統計的な性質 が同じかどうかは 平均 と 標準偏差 で比較する 標準偏差が大きい 裾野が広がっているので 平均から値が離れているデータが多くある可能性が高い 標本群の平均が離れていても 同じ母集団に属する可能性が高くなる 母集団が同じであるなら 平均値が近いはず 平均値と 標準偏差を用いて 複数の 標本群 が同じ母集団に属するかを検証する このグラフの見方 わかりますよね!?
分布の種類 正規分布 最も一般的な分布で 生物 医学的データなどはほとんどこれだけで処理できる ( と思う ) 二項分布 これもよく用いる コインの表が出た 裏が出た など 二律背反の場合の統計的な分布 ポアソン分布 二律背反でも 発生確率が小さく 母集団も大きい場合の確率を処理する分布 ( アルビノ [ 色素がない個体 ] が発生する確率 など ) データを処理するときは どの分布に従うデータなのかは 性質をよく考える必要がある ( パラメトリックな検定 ) ただ スケーラブルなデータでは ほとんど正規分布を考えます
様々な検定方法 t 検定 二つのグループの平均値の違いに 有意な差があるかどうかの検定 F 検定 二つのグループの分散の違いに 有意な差があるかどうかの検定 χ 2 検定 ( カイ 2 乗検定 ) ピアソンのカイ二乗検定 : 頻度分布の比較に用いる 事象は互いに排他的でなければならない ( 例えば さいころの目 ある人が男か女か など ) コンピュータの乱数が本当に ランダム か 頻度分布に置き換えて検定を行う場合などに使う 参考ページ :Wikipedia
データの性質で方法が異なる 度数 と 連続量 とで 処理方法を変えます 度数 度数分布 : ヒストグラムで表す サイコロの目が出た回数 Countable な ( 数えることができる ) データ 度数分布を処理すると A である確率 と A でない確率 ( 二律背反 ) に分けられるため 二項分布に従う 連続量 身長や体重など Scalable な ( 計測で数値を出せる ) データ 今回は これだけを扱う 順序尺度 (1 位 2 位という序列が与えられたデータ ) AKB48 の人気順位 ( ランキング ) の統計的分析! とにかく これらによって 処理方法が違う ということをしっかり思い出して 後は統計の専門書へ!
自由度 正規分布で検定を行う際に 自由度 という概念が出てきます (degree of freedom) 自由 って何? 一つ一つが型にはめられていなくて 独立の ( 外部から制御されていない ) 値を持つことができている その度合い? 簡単には データの個数 ( それぞれが独立変数 ) 全変数の数から それら相互間に成り立つ関係式 ( 束縛条件 拘束条件 ) の数を引いたものである [ 引用元 :Wikipedia] 近似的には データ数 ですが データ数 = 自由度 ではありません さらに 個々のデータ間の条件式があるため 例えば Welch の方法では 整数値 ではなく 実数値を持ちます
不偏分散 例えば 不偏分散 については x = 1 n s 2 = 1 n 1 n x i i=1 n i=1 (x i x) 2 という関係式 ( ここでは母集団平均 µ の推定量である ) があるから 自由度は 1 少ない n - 1 となる このため 標準偏差ではなく 不偏分散が使われることが多い 標準偏差だと 標本分散 が 母集団の分散 よりも小さくなることが多いが 標本の不偏分散 の期待値は 母集団の分散に等しくなる 引用元 :Wikipedia
Excel と不偏分散 標準偏差 σ は 分散の平方根で 以下の式で計算されます σ = 1 n n i=1 (x i x) 2 この式は 母集団 の標準偏差の計算に用いて EXCEL では = STDEV.P() 関数になります 標本の場合には 不偏分散の式を用いるので 標準偏差は s = 1 n 1 n i=1 (x i x) 2 の式になり EXCEL の関数は = STDEV.S () になります
両側検定と片側検定 調べたい現象で 平均が大きくなるか小さくなるかわからない場合には 平均が大きい方と小さい方の 両側 を調べます 例 : ある薬品を使うと 血圧が上がるか下がるか よくわかっていない場合 正常な平均値 からの上と下の両方を調べます 血圧が下がる ことがわかっている際に こんな使い方で効果が出るか を調べる場合には 片側 を調べます 画像引用元 : http://homepage2.nifty.com/nandemoarchive/toukei_hosoku/ryougawa_katagawa.htm
棄却域って何? 前のページのスライドで グラフの端の方を 棄却域 と書きました 帰無仮説が 仮説として正しくない と判断することを 仮説を棄却する と言います 帰無仮説が棄却されるということは 対立仮説が正しい ということなので 証明したい内容が証明された という意味になります 分布のグラフで 面積が小さいということは 確率的に起こりにくいことを意味し この薬に効果があったなんて 単なる偶然さ という その 偶然の起きる確率 がものすごく小さいことを示していることになります
今回は 計算しないの? 前回まで Excel の お任せ 機能を使わずに Σ を計算して相関係数などを求めました 今回は 有意水準の推定で ガンマ関数やベータ関数という特殊関数を使いますが 有意水準ごとに 計算量の多い積分計算を行う必要があります このため 一般には計算済みの数表を使い数表を読んで 検定値を判断します できれば t 値 などを計算し その t 値 での 有意水準が何 % か わかればいいのですが ガンマ関数の積分の逆関数がとにかくやっかいなので とにかく従来は数表を使いました
今回は 計算しないの?(Part 2) 級数展開 積分など計算式を設定するのは内容的にも時間的にも困難なので 今回はこの部分は Excel の関数を使います ガンマ関数やベータ関数は数学科などの皆さんにお任せしましょう そのものズバリの検定用関数を使います 重要な概念や用語が大量に出て来るので とにかく言葉の意味をしっかり覚え こういう時は処理法を変える ということだけは覚えておいて下さい そして 実際にデータを処理する時に 統計の本などで確認して下さい
t 検定の種類 t 検定では 平均の違いを比べる ですが その t 検定だけでも どんな時にこんな計算式を使う というのが分かれてきます paired-t( データに対応がある時の t 検定 ) 使用前 使用後 みたいなデータ 対応はないが 分散が等しい時 対応がなく 分散も等しくない場合 Excel の =TTEST() 関数で 引数を変えます 図引用元 :http://www.geisya.or.jp/~mwm48961/statistics/bunsan1.htm
検定の行い方 ( 従来の方法 ) データの種類 ( 度数 量 順序尺度 ) などによって 検定方法を選ぶ その検定による 検定値 を計算する 例 : t 値 F 値 χ 2 値など 統計分布関数から ある有意水準 で その 自由度 での t 値 F 値 χ 2 値などを数表から調べる その 有意水準 での検定値よりも 調べる検定値が大きければ その有意水準では 同じ母集団に属さない ( 有意差がある ) と判断する (t 値 F 値 χ 2 値の場合 )
Excel を使っての検定 数表を調べる という部分が Excel の関数になり 計算した F 値や t 値をとる場合の 確率 が計算できるようになりました この場合には 計算で求めた 確率 が 調べたい有意水準よりも大きければ 計測データにおいて帰無仮説が起きることは 確率的にも大きい つまり 統計的に違いがない つまり 治療法が有効 などとは言えない などという結果になります 逆に言えば 論文として成り立ちやすいのは 偶然の確率 が有意水準よりも小さいから 帰無仮説は棄却できる つまり この治療法の有効性が統計的に証明された という流れで論証します
F 検定の両側 片側 t 検定の場合には 平均が大きくなるか 小さくなるか ( 片側 ) がわかっているか 平均が異なるか ( 両側 ) で 検定の読み方に 両側 片側 があります F 検定の場合 もちろん分散が大きいか 小さいか ( 片側 ) 違っているか という差がありますが F 値を計算する際に 分散が大きい方を分母とする という方法をとりますので 必ず 片側 になります F 検定で 分散が大きいか 小さいかを問題にする場合には 両側の場合の式を参考にして下さい 別途 統計の資料やサイトなどを参照して式を組み直して下さい
統計計算の実際 下図のデータは A クラスと B クラス ( 全員 ) の定期試験の結果です ( 架空 ) この二つのクラスに 実力の差があると言えるか 5% の有意水準で検証して下さい 分析の目的 二つのクラスのテストの結果が統計的に差があると言えるか検証する 帰無仮説 H 0 : 両クラスの平均は等しい ( 違いは 偶然の範囲内である ) 対立仮説 H 1 : 両クラスの平均は統計的に異なると言える
平均と標準偏差を求める 平均は =average( 範囲 ) で入力できます 分散は 今回のデータは A クラス と B クラス の全体ですので 母集団です 母集団の分散の場合には 標準偏差 σ=stdev.p( 範囲 ) を使います もし 検証がスライドの 9 ページのように 全ての透析患者 と 全ての健常者 を母集団とし データを取ったのがその一部である ( ほとんどの生物 医学的な統計は こちら ) である場合には 不偏分散の標準偏差 s=stdev.s() を使います この時は 母集団ではなく 標本集団という言い方をします
分散 データ数 自由度 分散には 標準偏差の二乗 データ数には =count( 範囲 ) 関数 自由度には データ数 1 を入力します A クラスのデータの場合 C14 =AVERAGE(C4:C12) C15 =STDEV.P(C4:C12) C16 =C15*C15 C17 =COUNT(C4:C12) C18 =C17-1 という式を入力する C 列に数式は オートフィルで D 列にコピーできます
F 値 F 値は 二つの分散値のうち 大きい方を分子とする比を計算します ( これにより F 値は片側検定になります ) C19 の分散比 (F 値 ) では =IF(C16>D16,C16/D16,D16/C16) という式を使ってみました C20 には 有意水準の値を入力しました
F 検定 F 検定の関数は F.TEST() です 古いバージョンの EXCEL では FTEST() として下さい FTEST の戻り値は 両側検定の確率です 片側検定にするために 2 で割ります この数値を有意水準と比較します 片側検定の結果 (C22) が 分散が等しい 確率です この確率が有意水準よりも小さければ 分散が等しい という帰無仮説が棄却され 不等分散であると言えます
昔ながらの数表確認 現在のやり方 ( 直接確率を計算する方法 ) では もう使いませんが 有意水準 0.05 の時に 与えられた自由度で F 値がいくつになるか 念のために表示してみます 両側検定の場合には 有意水準を 2 で割って 0.025 として数表から読みます 現在は 数表を使わなくても Excel で計算できます C24 のセルには =IF(C16>D16,F.INV(1-$C$20/2,C18,D18),F.INV(1-$C$20/2,D18,C18)) C25 =IF(C16>D16,F.INV(1-$C$20,C18,D18),F.INV(1-$C$20,D18,C18))
t 値の計算 t 値を計算します t 値の計算式は 文献により何通りかありますが ここでは以下の式を用いました t = x 1 x 2 1 s + 1 n 1 n 2 ここで 計算に用いた分散 S は 二つの事象の分散から合成しました s = s 1 2 (n 1 1)+ s 2 2 (n 2 1) n 1 + n 2 2
t 検定 Excel での t 検定は T.TEST() です 第一引数と第二引数は データ配列です 第三パラメータは 1 ならば片側検定 2 ならば両側検定です 第四パラメータは 1 ならば paired-t( 対応のある t 検定 ) 2 ならば等分散の独立 2 変数 3 ならば 不等分散の検定です ここでは F 検定の結果から第 4 パラメータを与えるようにして =T.TEST(C4:C12,D4:D12,1,IF($C$20>$C$22,2,3))
検定結果の判定 t 検定の結果は T.TEST の値が有意水準の確率と比べて大きいか 小さいかで判断します T.TEST の結果は 二つの標本集団が 平均値が同じ母集団の一部である ( データの統計的性質が同じ ) 確率 を表しています この値が小さい ということは 二つの統計的な性質は違う ということを意味します 両側検定の結果が 1% だったということは 1% の確率で両方のデータが同じである つまり (1% というのは小さい値なので ) 二つの統計データは異なる つまり この課題では A クラスと B クラスとでは 実力が異なる : という結果が 1% の危険率で示されたことになります
昔ながらの数表検索 直接確率を計算してしまっているので 0.05(5%) の危険率を設定しても 全然意味がなかった ということにはなりますが 棄却域が 5% に設定されているならば この確率と比較して有意差のあり なしが求められます そもそも 昔は数表で調べていましたが 有意水準と 自由度 ( 二つの和 ) を与えて 数表から検索しました この値を計算した t 値と比べて t 値の絶対値の方が大きかったら 有意差あり と判定していました 現在は 以下のような関数式で計算できます
計算部分の EXCEL 関数式 STDEV.P か STDEV.S か 注意深く選ぼう
危険率の値 昔のやり方の場合には 数表が不可欠でした 現在は 直接確率を求めることができるので 元のデータから 前ページの色塗りした部分の式を入力するだけで 有意差の判定ができます 論文などを読むと 危険率の値として 1% とか 5% などが使われていますが これは 統計数表にこれらの値しか用意されていなかったためです 現在は 1.3% でも 0.41% でも 任意の値に危険率を設定することができます 棄却水準という言い方ではなく 帰無仮説の成立確率が 0.23% なので などという言い方をしても正しいはずですが 論文などを書く場合には昔からの言い方の方が無難かもしれません
今日の授業課題 今日の授業スライドの P9 の 免疫グロブリンのデータを処理して 有意差の有無を論じて下さい EXCEL のシートに数式を入れて 結論を出すだけではなく 論文調に 目的 と 仮説 計算結果 結論 をできればデータシートとは別のシートに記して下さい ここまでの課題で数式が入れてあれば データ部分を行拡張してデータを入れ替えるだけで結果は出せます 最高点 6 点で計算します 標準偏差の計算式などに誤りがあった場合には 減点します また 結論 に使われている言葉 ( 帰無仮説や 対立仮説など ) の使い方に誤りがあったり あるいは 言葉できちんと結論を出していない場合にも 減点します 課題ファイル名は 学籍番号 -13.xlsx でお願いします
次回の予告 第 14 回 計測と伝達関数 論文に見るデータ処理 シラバスより以下の部分を変更して扱います 第 14 回 論文に見る計測データの処理 学術論文における 計測データ の処理方法を読む 計測データは適切な処理を行わないと結論を導くことが困難であるため どんなデータから何が言えるか 危険率や統計検定 回帰直線や 相関係数を実際に求めている論文を読んで それらの指標の重要性を学ぶ コンパートメント モデルを紹介し 計測データから特性を調べる計算処理を行います また 時間に余裕があれば 最新の学会誌から論文を紹介して 実際のデータ処理を読みます コンピュータ演習室の使用は 今回だけです 次回から 一般教室に戻ります
欠席した人は 今日の授業課題を提出して下さい 提出があれば 出席に切り換えて レポートも採点評価します