都市工学数理 浅見泰司 東京大学大学院工学系研究科教授 Yasushi Asami 1 0. 統計学的検定の基本 母集団と標本 世論調査では 日本人全員に聞くというのは事実上不可能 そこで 日本人全員 (= 母集団 ) から 一部 (= 標本 ) を選んで そこで得られた傾向 (= 仮説 ) が日本人全体にもある程度の信頼性で成り立つかどうかを考える (= 検定 ) 注意 サンプリングの方法 ランダムサンプリングが基本 現実にはできないことが多い ( ランダムサンプリングされたことを前提に以下では考える ) Yasushi Asami ノンパラメトリック検定とは? 統計的な方法を考える上で 母集団が何らかの統計分布に従うことを仮定することが多い 分布の特性を決めるものがパラメータ 正規分布 平均値と分散 二項分布 p( 確率 ) と n( 試行回数 ) ポアソン分布 λ( 平均値 ) パラメトリック検定 母集団の分布形やそのパラメータ ( 母数 ) について仮定を設けて行う検定 ノンパラメトリック検定 母集団の分布形やそのパラメータ ( 母数 ) について仮定を設けない検定 つまり より一般的に使える オールマイティー Yasushi Asami 3 Yasushi Asami 4 統計学の参考書 石居進 (1975) 生物統計学入門 培風館. 竹内啓 (1963) 数理統計学 東洋経済. 東京大学教養学部統計学教室 ( 編 ) (1991) 統計学入門 基礎統計学 Ⅰ, 東京大学出版会. 林周二 (1973) 統計学講義 ( 第 版 ) 丸善 柳川尭 (198) ノンパラメトリック法 培風館 山内二郎 ( 編 )(1977) 簡約統計数値表 日本規格協会 尺度の違い? Yasushi Asami 5 Yasushi Asami 6 1
1. 尺度 次の中で平均値が意味を持つのは? 学生証番号 クラス対抗リレー戦でクラスのリレー選手の順位 気温 体重 何が違う? 尺度の種類 名義尺度 (nominal scale) 名称 種類など例 : 学生証番号 血液型 順序尺度 (ordinal scale) 順位など例 : 多い - 少ない 間隔尺度 (interval scale) 差が意味を持つ例 : 温度 比率尺度 (ratio scale) 比率が意味を持つ 0 の意味が明確例 : 長さ Yasushi Asami 7 Yasushi Asami 8 名義尺度 意味を持つ演算 変換 カウント 比率 最頻値 対応関係の変更 意味を持つ図表 頻度図表 比率図表 構成比の円グラフなど 折れ線グラフはダメ 順序尺度 意味を持つ演算 中央値 単調増加変換 ( 順位に関する演算 ) 順位に関するノンパラメトリック統計 意味を持つ図表 順序プロット図 Yasushi Asami 9 Yasushi Asami 10 間隔尺度 意味を持つ演算 変換 和 差 平均値 一次変換 パラメトリック統計 回帰分析 因子分析など 意味を持つ図表 x プロット図 平行箱ひげ図 比率尺度 意味を持つ演算 変換 四則演算 比変換 意味を持つ図表 三角グラフ Yasushi Asami 11 Yasushi Asami 1
ノンパラメトリック検定の考え方 分布を仮定しないということは スケールを変化 ( 単調増加関数による変換 ) させても そのまま成立するような方法であるということ スケールを変化させても保存されるものは 順番 というわけで 順位に着目する方法が多い 順位に着目した時の代表値は 中央値 t 検定に代わる方法は? t 検定では 平均値の違いに着目 中央値の違いに着目すればよい 主な検定したい内容 1 中央値 =M? 符号検定 つの集団の中央値は等しい? Wilcoxon の順位和検定 Yasushi Asami 13 Yasushi Asami 14. 中央値の検定 ( 符号検定 ) 母集団から 9 個の標本をとったら 1,3,6,8,11,15,16,19, 中央値は 4 である は正しいか? Yasushi Asami 15 基本的な考え方 (1) 中央値が 4 ならば それ以上もそれ以下も 1/ の確率で標本に入るはず ()[ 母集団自体には分布の仮定は設けていないが ] 仮説上の中央値よりも大きいか小さいかは 1/ の確率でおきるので その個数は二項分布に従う (3)1/ よりも偏っていれば仮説はおかしい 4 以下の標本は 9 個中 個しかない 9 個中 1/ の確率で起きるものが 個以下しか起きない確率は? Yasushi Asami 16 0 個の確率 9 C 0 (1/) 9 1 個の確率 9 C 1 (1/) 9 個の確率 9 C (1/) 9 合わせると ( 9 C 0 + 9 C 1 + 9 C ) (1/) 9 =(1+9+36)/51=0.089844 ( 有意水準 )5% よりは大きいので それほど珍しいことが起きたわけではない 仮説を棄却できない (4) 標本数が多ければ ( 階乗の計算は大変なので ) 二項分布を正規分布で近似する Yasushi Asami 17 Yasushi Asami 18 3
一般的な手法 Q: ある標本の母集団の中央値はaであるといえるか H 0 : median=a aよりも大のもの (+) の数 =m aよりも小のもの (-) の数 =n m<nならば m i mni 1 1 Pr( k m) mn C よく使うαは0.05 i i0 1 m n m m n 4 H 0 を棄却 Yasushi Asami 19 [ 例 ] 母集団から 100 個標本をとる {x i : i=1~100} x i <M のものが 40 個 (m=40) x i >M のものが 60 個 (n=60) H 0 : 中央値は M である μ=(m+n)/=50, σ =(m+n)/4=5 Φ((40+1/-μ)/σ)=Φ(-9.5/5) =Φ(-1.9)=0.087<α=0.05 H 0 は棄却 Yasushi Asami 0 3. 中央値の違いの検定 (Wilcoxon の順位和検定 ) 母集団 Aから5 個 母集団 Bから6 個の標本をとったら A: 1,3,6,8,11 B: 7,9,1,16,18,1 つの集団の中央値は等しい は正しいか? 基本的な考え方 (1) まずは 全部を順番に並べてみよう A: 1,3,6, 8, 11, B: 7, 9, 1, 16,18,1 Bの方が大きい感じがする () 中央値が同じならば AもBも前半の順位と後半の順位が同じくらいでてくるはず 全体の順位を足し合わせると どちらも 中央値の順位の個数倍くらいになるはず Yasushi Asami 1 Yasushi Asami それよりも目立って小さい ( もしくは大きい ) ならば 仮説はあやしい A の順位は 1,, 3, 5, 7 なので 順位の合計は 18 Wilcoxon の順位和検定の統計表を見ると Yasushi Asami 3 5,6のところでは 18( 以下 ) という順位和は.5% 以下の確率で起きる 5% 以下なので珍しいことが起きた 中央値が等しいという仮説を棄却! https://www.stat.auckland.ac.nz/~wil d/chanceenc/ch10.wilcoxon.pdfより Yasushi Asami 4 4
両方の個数が多いと 数表にはない 正規分布で近似する 本来は だいたい 平均では中央値の順位 ( =(6+5+1)/=6) の個数 (5 個 ) 倍になるはずなので 30が期待値 順位のばらつきは やや難しいが分散が 6 5 (6+5+1)/1=30となる 平均値 30 分散 30で18 以下の値となる確率を計算する Φ((18-30)/30 1/ )=Φ(-.19089)=0.0143<0.05 仮説を棄却! 一般的な手法 Q: 二つのグループ X, Y の母集団の中央値は同じであると考えられるか Xはn 1 個 Yはn 個 Xの順位和はR H 0 : M X =M Y μ=n 1 (n 1 +n +1)/, σ =n 1 n (n 1 +n +1)/1, z=(r-μ)/σ z >z*(α) H 0 を棄却 Yasushi Asami 5 Yasushi Asami 6 [ 例 ]X: 1., 1.4, 1.5, 1.8,.1 (n 1 =5) Y: 1.9,.0,.5,.6,.7 (n =5) ( 順位付け ) X: 1,, 3, 4, 7 Y: 5, 6, 8, 9, 10 R=1++3+4+7=17 R<R*(5,5,α)=19 H 0 は棄却 近似式を用いた場合 : μ=n 1 (n 1 +n +1)/=55/, σ =n 1 n (n 1 +n +1)/1=75/1 Φ((R-μ)/σ)=Φ((17-7.5)/4.787)=Φ(-.193)=0.014<α=0.05 H 0 は棄却 相関係数に代わる方法は? 相関係数で つの変量の関係を調べていた 順位で相関を考えれば良い 主な検定 つの変量は相関しているのか? 片方の順位が上がると もう一方も上がるという関係があるか? Yasushi Asami 7 Yasushi Asami 8 4. 序数尺度の相関 (Spearman の順位相関係数 ) X と Y は i=1~n のものに次のような順位がついている評価対象 1 n X の順位 x 1 x x n Y の順位 1 n X の順位と Y の順位の間に相関があるといえるだろうか Yasushi Asami 9 x i, i を用いて普通の相関係数 r を求める r ( i ( xi x x)( ) i x) i i i i ( ) 簡単 な代数計算によって( 統計の教科書には書いてある ) 次の様に表せる 6 r i i n n x 1 ( ) ( 1) i これを Spearmanの順位相関係数という相関の有意性の検定は ( 基数的数値でないため ) 普通の相関係数の場合と同じようには行えない そこで特別にSpearmanの相関係数の有意性の検定表が用意されている Yasushi Asami 30 5
[ 例 ]X: 1, 19, 8, 48, 59 Y: 15, 30, 1, 69, 85 H 0 : 相関なし n=5 ( 各々順位付け ) X: 1,, 3, 4, 5 Y: 1, 3,, 4, 5 Σ i (x i - i ) =(=d ), r=1-6σ i (x i - i ) /[n(n -1)]=0.9 d d *(5,α)= (α=0.05) H 0 は棄却 正の相関があるといえる Yasushi Asami 31 [ 参考 ]Kendallの順位相関係数 {x i } は大きさの順に並んでいるとする それに対応する { i } がどのくらい順位が似ているかを考える u(a,b)=1 if a<b, 0 otherwiseとする 同順位がない場合は 4 u( i, ) 1i n u( i, ) u(, i ) 1 n( n 1) 1 i n 1i n n( n 1) とすると 大きさの順が一致する場合はτ=1 大きさの順が全く逆の場合はτ=-1となる この量で分析する 仮に同一値がある場合は以下のようにτを補正する u( i, ) u(, i ) 1i n 1i n n( n 1) n( n 1) Tx T ただし T x =Σt x (t x -1)/ T =Σt (t -1)/ t x =xの同一値の組それぞれについてその要素数 t =の同一値の組それぞれについてその要素数 Yasushi Asami 3 サンプリングは適切か? 得られたサンプルは適切か? ランダムサンプリングを想定しているので, ランダムと言えるかどうかをチェックすれば良い 5. 無作為性の検定 ( 連検定 ) ある数字列は無作為抽出の標本と考えられるだろうか ( ばらつき方に規則性がないだろうか ) 主な検定 無作為性の検定 ランダムならば 大きい方の値と小さい方の値は同じような確率で出てくるはず Yasushi Asami 33 Yasushi Asami 34 基本的な考え方 中央値よりも大きい値を大 小さい値を小とすると 大も小も1/の確率でサンプリングされるはず 大 ( 小 ) が続きすぎるのはおかしい 大と小が入れ替わりすぎるのもおかしい 大や小がどのくらい続くかに着目することで無作為性をチェックできる その数列を つに分ける値 ( 例えば中央値 ) を m として m より上ならば +,m より下ならば - と書く (+ の数 =n 1,- の数 =n ) 同一種類の記号の連なりを連という r= 連の総数 r が大きい場合 ( 交互に上下 ) や 小さい場合 ( まとまっている ) は無作為とは言い難い そこで r の上限と下限の臨界値が数表となっておりそれで検定できる n 1, n が大きい場合は次のように正規近似して検定すればよい μ r =n 1 n /(n 1 +n )+1 σ r =n 1 n (n 1 n -n 1 -n )/[(n 1 +n ) (n 1 +n -1)] Yasushi Asami 35 Yasushi Asami 36 6
連検定用 [ 例 ] 5 1 6-1 -5-3 -1 6 3 - -1-3 4-1 -1-5 + + + + + - - + - - + + - - - + + - - - 1 3 4 5 6 7 8 r=8 n 1 =5+1++=10, n =++3+3=10 r*(10,10,α)=6, r**(10,10,α)=16 r*<r<r**(α=0.05) H 0 : 無作為 は棄却されない 山内二郎 ( 編 )(1977) 簡約統計数値表 日本規格協会より Yasushi Asami 37 Yasushi Asami 38 F 検定に代わる方法は? F 検定では 分散の違いに着目 中央値からの離れ方に着目すればよい 主な検定したい内容 1 つの集団のばらつきは等しい? Siegel-Tuke 検定 6. ばらつき度の違いの検定 (Siegel-Tuke 検定 ) つのグループ X, Y のばらつきは同じ程度といえるだろうか Yasushi Asami 39 Yasushi Asami 40 アイデア : これまで習った方法の有効利用 μ X =μ Y を仮定する X, Y の標本を大きさの順に 1 4 5 8 7 6 3 と外側から順位をつけるこれで順位和検定を行えばよい [ 例 ]X: 1,, 5, 9,15,1 Y: 4, 8,10,11,1,16 H 0 : ばらつきは同じ 順位付け X X Y X Y X Y Y Y X Y X +--+--+--+--+--+--+--+--+--+--+--+ 1 4 5 8 9 10 11 1 15 16 1 1 4 5 8 9 1 11 10 7 6 3 X: 1, 4, 8,1, 6, n 1 =6 R=33 Y: 5, 9,11,10, 7, 3 n =6 R*(6,6,α)=8, R**(6,6,α)=50 R*<R<R** H 0 は棄却されない ばらつき度は違うとは言えない Yasushi Asami 41 Yasushi Asami 4 7
検定に代わる方法は? 検定では 離散的な階級における度数の違いに着目 累積分布で分布間の離れ方に着目すればよい 主な検定したい内容 1 つの分布は等しい? Kolmogorov-Smirnov 検定 7.Kolmogorov-Smirnov 検定 つの母集団 X と Y から無作為に標本をとったところ X: x 1, x,, x m Y: 1,,, n となった この つの母集団の分布は同じと言えるか? Yasushi Asami 43 Yasushi Asami 44 まずは 標本累積分布を求める F m (x) = [x 以下の {x 1, x,, x m } の数 ]/m G n () = [ 以下の { 1,,, n } の数 ]/n これは階段状の関数となる つのもとの分布が等しいならば このつはさほど大きな違いがないはず そこで その最大差を求める Dm,n = sup x F m (x)-g n (x) つの母集団の累積分布関数が等しいという帰無仮説のもとで D m,n に応じた確率値が統計表として示されている Yasushi Asami 45 Yasushi Asami 46 数値例 柳川尭 (198) ノンパラメトリック法 培風館より 注意 : この数表では m=n の場合のみ使える X:1,,3,5,7,9,11,13,14,15 Y:4,6,8,10,1,16,17,18,19,0 X と Y の母集団は同じ分布? Yasushi Asami 47 Yasushi Asami 48 8
柳川尭 (198) ノンパラメトリック法 培風館より 差が最大なのは D 10,10 =5/10( 値が15~16) P 0 {D 10,10 >5/10}=0.1678 つまり十分にまれな現象とは言えない 帰無仮説を棄却できない ( つまり つの母集団の分布が違うとは言い切れない ) Yasushi Asami 49 Yasushi Asami 50 まとめ ノンパラメトリック検定手法は 以下にもとの分布の性質を仮定しないで いかに検定に持ち込めるかという工夫を凝らした手法が多い 順序関係が保存されることを最大限に用いているものが多い 工夫次第で 新たな方法を 発明 することもできる分野 Yasushi Asami 51 Yasushi Asami 5 9