基礎統計

基礎統計 第 2 回講義資料

講義資料 テキスト 入門統計解析 倉田博史 星野崇宏, 新世社,2009. (2500 円 + 税 ) スライド資料 http://lecture.ecc.u-tokyo.ac.jp/~candoma/ 基礎統計 ( 16) にてスライド資料 (PDF ファイル )

学内の PC 端末からアクセスするには 情報教育棟にある PC 端末で Safari を起動すると 講義用 WWW サーバ をクリック 安藤先生 :( 養 ) をクリック

参考図書 : 統計処理 Excel 関連 Excel による統計入門 -Excel2007 対応版 縄田和満著, 朝倉書店. R 関連 R 初心者のための ABC A. ジュール ( 著 ) 他, シュプリンガー ジャパン. The R Tips データ解析環境 R の基本技 グラフィックス活用集, 舟尾暢男著,Ohmsha.

参考図書 : 演習 基本演習確率統計 和田秀三著, サイエンス社. 演習確率統計 洲之内治男他共著, サイエンス社. 数理統計演習 国沢清典他共著, サイエンス社.

本日の講義内容 第 2 章 :1 次元データの整理 度数分布表とヒストグラム データ分布の中心の指標 データ分布の散らばりの指標 データ分布の形状の指標 ( 発展 ) ローレンツ曲線とジニ係数 記述統計

記述統計学 集団としての特徴を記述するために, 観測対象となった各個体について観測し, 得られたデータを整理 要約する方法 観測 : 個体 : データ : 調査や実験のこと 人, もの 個体の観測値をまとめたもの 図やグラフによる方法 データの分布の様子を大雑把につかむのに適している 数値による方法 データを正確に理解する助けとなる

表やグラフによる方法 (2.1 度数分布表とヒストグラム ) 事例 : ある地区 200 世帯のある 1 ヵ月の電灯使用量 ( 単位 : kwh) 21 234 278 96 140 155 76 128 101 96 54 206 249 63 161 154 108 128 61 95 89 176 220 197 183 135 131 104 101 95 119 145 201 169 183 111 131 68 125 94 147 119 172 143 160 80 107 68 100 94 178 88 144 116 138 79 76 104 125 94 94 100 127 75 109 112 84 117 54 209 235 19 86 36 82 135 107 127 124 298 15 93 48 84 82 151 130 102 122 92 317 52 8 115 112 150 130 67 99 88 352 92 4 143 138 135 107 67 98 92 118 37 385 168 157 109 121 73 102 145 92 86 410 194 180 79 70 125 97 91 445 175 116 189 155 79 105 125 120 206 452 91 144 164 138 108 129 102 96 382 224 91 172 140 111 134 128 65 120 254 198 350 90 115 81 150 104 64 96 90 90 120 102 70 134 80 83 215 278 310 286 305 247 82 111 108 69 125 120 90 96 90 125 104 78 136 114 272 302 258 全体の分布の状況を掴みたい 度数分布表 ヒストグラム 情報の視覚化

度数分布表 電灯使用量 世帯数 累積 累積相対 ( 階級 ) 階級値 ( 度数 ) 度数 相対度数 度数 0~50 25 8 8 0.040 0.040 50~100 75 63 71 0.315 0.355 100~150 125 76 147 0.380 0.735 150~200 175 24 171 0.120 0.855 200~250 225 11 182 0.055 0.910 250~300 275 7 189 0.035 0.945 300~350 325 4 193 0.020 0.965 350~400 375 4 197 0.020 0.985 400~450 425 2 199 0.010 0.995 450~500 475 1 200 0.005 1.000 合計 200 1.000

度数分布表の作成手順 1 範囲 ( レンジ )(= 最大値ー最小値 ) を計算するレンジ = 452 ー 4 = 448 2 階級幅を決定する階級幅 =50 3 階級限界 ( 階級下限, 階級上限 ) を定める 0~50,50~100,,450~500 4 階級値を計算する 25(=(0+50)/2), 75, 125,, 475 5 各階級に入る観測値の数, すなわち階級度数を計算する 6 相対度数, 累積度数, 累積相対度数を計算する

度数分布表を読み解くポイント データの中心傾向データが集中するところからみて過半数が収まる範囲をつかむ. 平均的な傾向が分かる. 例 : 電灯使用量 50kWh 150kWh で全体の 6 割を占める. モード (mode): 度数が最大となる階級の階級値 Mo=125 データの全体のばらつきを把握する過半数 (50%), ほとんど (90%), ほとんどすべて (99%), 全体 (100%) の範囲をおさえることで特定できる. 少数の異質性を探る

ヒストグラム ヒストグラム 世帯数 80 70 60 50 40 30 20 10 0 世帯数 ( 度数 ) 0~50 50~100 100~150 150~200 200~250 250~300 300~350 350~400 400~450 450~500 電灯使用量

グラフによる表示 柱状図 ( ヒストグラム ) 度数柱状図 ( 柱状の高さ = 度数, 図 2-1,p17) 相対度数柱状図 ( 柱状の高さ = 相対度数, 図 2-2,p18) 規準化相対度数柱状図 各階級の柱の面積の合計が 1 に基準化. メリット 同じ母集団で, 標本数や階級幅の異なる度数分布を比較するとき 1 つの度数分布表において階級幅の異なる階級が含まれているとき 度数多角形 ( 離散変数の度数分布 )

ヒストグラムを読み解くポイント (1) 形状 A) 単峰性 ( 山が 1 つ ) で左右対称な形例 : 身体測定データ ( 身長など ) 中心の位置 散らばりに注目! 50%

ヒストグラムを読み解くポイント (2) B) 多峰性 ( 山が 2 つ以上 ) を示す形例 : 住宅の広さのヒストグラム 性質の異なるデータがまじりあっている場合 借家 専用住宅数 層別 持家 床面積

ヒストグラムを読み解くポイント (3) C) 非対称な形 ( 左右対称でない形 ) 例 : 電灯使用量のヒストグラム 峰が中央から左側に寄っている右側に長く裾を引く分布 右に歪んだ分布 左右対称な砂山 ( 分布 ) を右側から押したイメージ

非対称な分布の例 25 博物館の数 ( 人口 100 万人当たり, 都道府県別 ) ( 出典 : 文科省社会教育調査,2011 年度 ) 20 15 10 上位 5 県 1 位 : 長野 2 位 : 山梨 3 位 : 富山 4 位 : 島根 5 位 : 石川 5 0 0~5 5~10 10~15 15~20 20~25 25~30 30~35 35~40

ヒストグラムを読み解くポイント (4) D) 外れ値が存在する 異質なデータの存在 取り除く 影響を小さくする

事例 :2005 年度公営賃貸住宅の家賃 ( 円,1 カ月 3.3 m2 ) の都道府県別データ ( テキスト p14) 番号 都道府県名 家賃 ( 円 ) 番号 都道府県名 家賃 ( 円 ) 1 北海道 1393 25 滋賀県 1706 2 青森県 1005 26 京都府 2142 3 岩手県 1048 27 大阪府 1936 4 宮城県 1369 28 兵庫県 2079 5 秋田県 1226 29 奈良県 2543 6 山形県 1074 30 和歌山県 1352 7 福島県 1048 31 鳥取県 995 8 茨城県 1222 32 島根県 983 9 栃木県 1301 33 岡山県 909 10 群馬県 1239 34 広島県 1196 11 埼玉県 2538 35 山口県 987 12 千葉県 2771 36 徳島県 1026 13 東京都 3395 37 香川県 1163 14 神奈川県 3245 38 愛媛県 905 15 新潟県 1461 39 高知県 1019 16 富山県 1097 40 福岡県 2165 17 石川県 1247 41 佐賀県 1068 18 福井県 1134 42 長崎県 1255 19 山梨県 1266 43 熊本県 1424 20 長野県 1244 44 大分県 1162 21 岐阜県 942 45 宮崎県 1037 22 静岡県 1594 46 鹿児島県 1295 23 愛知県 2005 47 沖縄県 1382 24 三重県 1023 教科書で事例を確認してみよう!

補足 階級数 階級幅の選択階級数は多すぎても少なすぎてもよくない. 目安の一つにスタージェスの公式がある. 両端が開いた分布 ( 例 : 所得分布 ) 最初の階級の下限値, 最後の階級の上限値がない場合厳密にはヒストグラムを描けない. 最後の階級の柱の高さは適当に決めるしかない. 階級幅が異なる階級が混在する場合 ( 階級の合併 p17) データ数 10 20 30 50 100 150 200 300 500 1000 階級数 (k) 4 5 6 7 8 8 9 9 10 11 階級幅が他よりも大きいところでは, 面積が度数を反映するように高さが決められている. 相対度数柱状図

標本データの背後にある母集団を考える必要がある 事例で用いた電灯使用量データを標本データとみなすとき, いずれの母集団からの代表的標本と考えることができるか? A) ある地区のある 1 ヵ月の世帯当たりの電灯使用量 B) ある県のある 1 ヵ月の世帯当たりの電灯使用量 C) 全国のある 1 ヵ月の世帯当たりの電灯使用量 注意点 標本データの集計結果から得られた結論をどこまで一般化できるかは, 母集団の想定範囲にかかっている. 研究目的に応じた母集団の措定, 想定する母集団からの無作為抽出による標本の選択が重要.

数値による方法 (2.2 データ分布の中心の指標 ) 度数分布表 ヒストグラム (+) 視覚的にとらえやすい. (-) 階級数 ( 階級幅 ) の取り方によって印象が変わる. (-) 客観的評価がしずらい. 分布の特徴を表す基本統計量 代表値 ( 平均 中央値 ( メディアン ) 最頻値など ) 散らばり ( 分散 標準偏差 四分位偏差など )

データ 1 次の 10 個のデータを用いて, 代表値と散らばりを見ていくことにする. 1 2 3 3 4 4 4 6 9 14 4 3 2 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14

2.2.1 平均 ( 算術平均 ) 平均 例 4 平均 3 2 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14

優勝者は? 次の表は 1~6 の選手の演技を A~E の評価者が 5 点満点で採点した結果である. 評価者 A が自国の選手 1 に甘い採点をしているようだが A B C D E 1 4.9 3.8 3.9 3.7 3.9 2 3.5 3.4 3.8 3.4 3.3 3 3.3 3.2 3.6 3.3 3.2 4 3.2 4.1 4.3 4.2 3.9 5 3.4 3.3 3.4 3.2 3.1 6 3.7 3.7 3.5 3.5 3.4

算術平均 A B C D E 1 4.9 3.8 3.9 3.7 3.9 4.0 2 3.5 3.4 3.8 3.4 3.3 3.5 3 3.3 3.2 3.6 3.3 3.2 3.3 4 3.2 4.1 4.3 4.2 3.9 3.9 5 3.4 3.3 3.4 3.2 3.1 3.3 6 3.7 3.7 3.5 3.5 3.4 3.6

トリム平均 trimmed mean 調整平均とも呼ばれる. データを小さい順に並び替え, 大きい方からまた小さい方から同じ数 ( 同じ割合 ) のデータを除き, 残ったデータを用いて平均値を計算したもの. 例 :20% トリム平均 1 2 3 3 4 4 4 6 9 14 (2+3+3+4+4+4+6+9)/8=4.375

A B C D E 1 4.9 3.8 3.9 3.7 3.9 4.0 3.87 2 3.5 3.4 3.8 3.4 3.3 3.5 3.43 3 3.3 3.2 3.6 3.3 3.2 3.3 3.27 4 3.2 4.1 4.3 4.2 3.9 3.9 4.07 5 3.4 3.3 3.4 3.2 3.1 3.3 3.30 6 3.7 3.7 3.5 3.5 3.4 3.6 3.57

2.2.2 メディアン データ を大きさの順に並べ替える 順序データ 例 1 2 3 3 4 4 4 6 9 14 メディアン ( 中央値, 中位数, メジアン ) ちょうど中央に位置するデータの値 (n が奇数のとき ) (n が偶数のとき ) 例

2.2.4 平均 メディアン モードの関係 モード ( 最頻値 ) 分布の峰に対応する値, 度数分布表において, 度数が最大となる階級の階級値 例モードモード 4 4 3 2 1 メディアン 平均 分布の形状 - 右に歪んだ分布平均 メディアン モード - 左に歪んだ分布平均 メディアン モード モード メディアン 平均 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14

補足 : 平均値の性質 a. 各データの平均からの偏差の和は 0 である. 逆に各データとの偏差の和を 0 とする値は平均に限る. n i 1 ( x i a) 0 a b. 各データとの偏差の 2 乗和を最小にする値は平均である. min a n i 1 ( x i a) 2 n i 1 c. 各データを一斉に a 倍して b を加えたときの平均は, もとのデータの平均を a 倍して b を加えたものに等しい. x ( x i x) 2 問題 2.2 の 2 参照 2.2.3 最小 2 乗値としての平均 参照 ax b ax b 2.2.4 単位の変換に関する公式 参照

データ分布の中心の指標 : 代表値 分布の代表値として適切さの基準 分布に含まれる各値との近さ 距離 x i t の総和 x i t の小ささ i 1 最小にする値はメディアン 距離の2 乗 t の総和 x i t の小ささ 最小にする値は平均 N x 2 i N i 1 2 ( テキスト p26)

補足 : 度数分布表から平均値を求める (p25 注 2.3) 度数 階級値 電灯使用量 階級値 度数 ( 階級 ) 0~50 25 8 200 50~100 75 63 4725 100~150 125 76 9500 150~200 175 24 4200 27150 200 = 135.75 200~250 225 11 2475 250~300 275 7 1925 原データから求めた場合は 平均 135.325 一致しない 300~350 325 4 1300 350~400 375 4 1500 400~450 425 2 850 450~500 475 1 475 合計 200 27150

2.3 データ分布の散らばりの指標 データを整理 要約する際 中心の指標のみではデータ分布を特徴付けたとはいえない. Histogram of x 0 5 10 15 20 0 10 20 30 40 0 5 10 15 Histogram of y 平均

分散 (2.3.1) と標準偏差 (2.3.2) 偏差 ( 平均値からの偏差 ) 分散 n ではなく n-1 で割った場合を不偏分散と呼ぶ 標準偏差 ( 分散の平方根 ) とも書ける 観測値と同じ測定単位で評価できる 例

平均偏差 (2.3.3) 偏差 ( 平均値からの偏差 ) 平均偏差 例

範囲と四分位偏差 (2.3.4) 範囲 例 散らばりの尺度としては粗いもの 極端に大きい ( 小さい ) 異常値の影響を受ける 例えば 1 1 2 2 2 3 3 3 4 14 Rg=14 1 = 13

範囲と四分位偏差 (2.3.4) 四分位偏差 第 1 四分位点 ( :25%) 第 2 四分位点 ( メディアン :50%) 第 3 四分位点 ( :75%) パーセンタイル (( 百 ) 分位点 ) 1 2 3 3 4 4 4 6 9 14 25% 50% 75% 例

変動係数 (2.3.5) 無名数 ( 単位の付いていない数 ) 変動係数分布の中心の位置が, 著しく異なるものを比較するのに有効 100 円の商品で値段が 10 円違うと大きい (10/100=0.1) が, 1000 円の商品で 10 円違ってもそんなに大きく感じない (10/1000=0.01). 例 : 一人当たりの県民所得 1965 年平均 26.6 万円標準偏差 7.5 万円変動係数 0.28 1975 年平均 117.5 万円標準偏差 23.8 万円変動係数 0.20 所得格差が広がったように見えるが, 平均を考慮した上で評価すると小さくなっている.

補足 : 分散の性質 データの 1 次変換 (2.3.6 単位の変換参照 ) 分散の計算 X の分散は 平均のときと同様に度数分布表から分散 ( の近似値 ) を求めることができる. 度数分布表から求めた平均 不偏標本分散

2.4 基準化変量 基準化変量 変数 x の標準偏差 偏差値得点 平均 50 点 標準偏差 10 点となるように変換したもの

2.5 データ分布の形状の指標 2.5.1 歪度 (skewness) 歪度 ( わいど ): 分布の非対称性をみる 右に歪んでいる場合 左右対称 ( 歪みのない ) の場合 左に歪んでいる場合

2.5.2 尖度 (kurtosis) 尖度 ( せんど ): データ分布が釣鐘型に近いか否かを測る指標 ( 外れ値の検出にも利用可 ) 正規分布よりも尖りが強い 正規分布と同程度 正規分布よりも尖りが弱い

2.6 ローレンツ曲線とジニ係数 1 ローレンツ曲線とは, 分配の状態を折れ線グラフで表したものであり, 分配の平等 不平等を観察することができる ( 例 : 所得の分配の不平等性を指摘するときに用いられる ). 従業者数と事業所数のデータ 1-4 人規模の事業所が 4428 千件. 全体の 68.2% 1-4 人規模の事業所で働いている人の総数 9486 千人. 全体の 19.4% すべての事業所の従業員数が等しければ対角線となる. 従業者数 (%) 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 事業所数 (%)

2.6 ローレンツ曲線とジニ係数 2 ジニ係数 : 平等 不平等を 1 次元の数値で表したもの. 完全平等線 ( 対角線 ) とローレンツ曲線で挟まれた部分の 2 倍に相当する. 多数の分配の不平等性を同時に比較したいときに便利.

次回の講義内容 (4/25) 第 2 章 :1 次元データの整理 ( つづき ) 第 3 章 :2 次元データの整理 散布図 [ グラフ ] 共分散と相関係数 [ 数値 ] 回帰分析 [ 数値とグラフ ] 偏相関係数 [ 数値 ]