1 日目の内容 午前 記述統計 1. データの表現 図表によるデータの可視化 2. データ分布の特徴づけ 代表値 : 平均, 中央値, 最頻値 散布度 : 分散, 標準偏差, 四分位偏差 3. データの比較 標準化 基準化 2 変数の関係 : 散布図, 共分散, 相関係数, クロス表 2

Transcription

1 記述統計と確率変数 確率分布 統計数理研究所 坂田綾香 モデリング研究系 1

2 1 日目の内容 午前 記述統計 1. データの表現 図表によるデータの可視化 2. データ分布の特徴づけ 代表値 : 平均, 中央値, 最頻値 散布度 : 分散, 標準偏差, 四分位偏差 3. データの比較 標準化 基準化 2 変数の関係 : 散布図, 共分散, 相関係数, クロス表 2

3 1 日目の内容 午後 確率と統計 4. 確率と統計の基礎 確率変数 確率関数と確率密度関数 確率変数の期待値 分散 共分散 相関係数 5. 推測統計学の基礎 母集団と標本 大数の法則と中心極限定理 3

4 変数と観測対象 一般的にデータは, 観測対象 変数 の形式で得られる 観測対象とは, データを取得する対象 変数とは, 人や物 時間によって値が異なる特性 身長, 年齢, 性別, 株価など 4

5 立川市の気象データ データの例 年 合計 降水量 (mm) 気温 ( ) 日照最大平均時間日最最高最低大 1 時間 (h) 10 分間 日平均 日最高 日最低 平成 20 1, , , , , , , , , ,

6 データの例 立川市のごみ排出量の推移 ( 単位 : トン ) 年度総数 小 計 収集ごみ持ち込み資源ごみ可燃物不燃物粗大ごみ 1 日当たりの排出量 19 61,844 31,972 29,006 2, ,867 11, ,826 31,456 28,673 1, ,736 10, ,391 29,669 26,902 1, ,160 11, ,399 28,764 25,414 2, ,901 11, ,334 29,109 25,629 2, ,054 11,

7 データの要約の必要性 データは一般的に巨大 眺めているだけではよく分からない そこでデータを要約する必要がある 図表による要約 度数分布表, 棒グラフ, ヒストグラムなど 数値要約 最頻値, 中央値, 平均値, 標準偏差, 相関係数など データ要約により, 必要な情報を簡潔に伝える方法を記述統計と呼ぶ 7

8 (1) データの型による分類 量的データ データの種類 連続データ : 身長 体重 温度 時間など 離散データ : 人数 カウントデータなど 質的データ 名義尺度 : 性別 天気 居住地域など 順序尺度 : 薬剤の治療効果の判定 ( 悪化 不変 改善 ) など 8

9 データの種類 (2) データの次元による分類 1 次元データ : 変数が1つだけのデータ ( 例 ) ある学年全員の数学の点数 多次元データ : 2 つ以上の変数が組となっているデータ ( 例 ) 2 次元データ : ある学年全員の数学と英語の点数 3 次元データ : ある学年全員の数学と英語と物理の点数 今日の講義では 2 次元データまでを扱います 9

10 1 日目の内容 午前 記述統計 1. データの表現 図表によるデータの可視化 2. データ分布の特徴づけ 代表値 : 平均, 中央値, 最頻値 散布度 : 分散, 標準偏差, 四分位偏差 3. データの比較 標準化 基準化 2 変数の関係 : 散布図, 共分散, 相関係数, クロス表 10

11 記述統計学 記述統計学とは データのもっている主要な特性をより鮮明に 表現するために, データを要約したり 作表をしたりすること一般を指す ( 統計科学事典, 清水良一訳 ) 11

12 ここで扱うデータ 統計数理研究所による 日本人の国民性調査 より あなたは結婚していらっしゃいますか? もういちど生まれかわるとしたら あなたは男と女の どちらに 生れてきたいと思いますか? あなたが最後にいらっしゃった学校はなんですか? 国税庁による 民間給与実態統計調査 ( 平成 26 年実施 ) これらのデータを以下の図表により可視化する (1) 度数分布表 (2) 棒グラフ (3) ヒストグラム (4) 折れ線グラフ (5) 円グラフ 12

13 (1) 度数分布表 観測値のとりうる値をいくつかのカテゴリ ( 階級 ) に分類 各階級で 観測値がいくつあるかを表にまとめる 度数 : 各カテゴリーに所属する観測値の数 分布 : データがある値をとる頻度を表したもの 13

14 離散変数の度数分布表 あなたは結婚していらっしゃいますか? 項目 度数 相対度数 累積相対度数 未婚 死別 離別 既婚 その他 各階級の度数を全観測数で割ったもの ( 100) 最初の階級から相対度数を足し合わせたもの 14

15 連続変数の度数分布表 連続変数の場合には階級を作り, 度数分布を作成する 男性の給与の度数分布 ( 民間給与実態統計調査 ) 階級 ( 万円 ) 度数 ( 万人 ) 相対度数 累積相対度数 200 未満 ~ ~ ~ ~ ~ ~ ~ ~ 以上

16 (2) 棒グラフ あなたは結婚していらっしゃいますか? 割合 (%) 未婚死別離別既婚その他 棒と棒はくっつけない 16

17 (2) 棒グラフ 男性の給与 ( 民間給与実態統計調査より ) 割合 (%)

18 棒グラフとヒストグラムの違い 棒グラフ : 階級 項目ごとの個体数を表す ヒストグラム : それぞれの柱の 面積 ( 太さ 高さ ) が 度数を表す 例えば 幅が 500 万円の柱は 幅が 100 万円の柱の 5 倍の太さがあるので 同じ度数でも柱の高さは 1/5 になる 18

19 ( 万人 ) (3) ヒストグラム 男性の給与 ( 民間給与実態統計調査より ) 300~400( 万円 ) の 513.8( 万人 ) を として表す ~1500( 万円 ) の 136.4( 万人 ) を として表す 0 ( 万円 ) 19

20 (3) ヒストグラム 幅のとり方で印象が異なるので注意が必要 男性の給与 ( 民間給与実態統計調査より ) 1000 万円以下を100 万円刻みにした場合 1000 万円以下を200 万円刻みにした場合

21 (4) 円グラフ あなたが 最後にいらっしゃった学校はなんですか? 2008 年 1978 年 高校大学中学校小学校その他 違いが視覚的に分かる 21

22 (5) 折れ線グラフ もう一度生まれかわるとしたら あなたは男と女のどちらに生れてきたいと思いますか? 割合 (%) 男 と回答した人の割合の変化 時系列的変化を示すのに便利 男 女 実施年 22

23 データを特徴づける 分布の性質をどのように説明するか 分布の中心的な位置は? 分布の広さはどれくらい? ピークはどれくらい急なのか? 分布の裾はどんな形なのか? 定量的に分布の特徴を記述したい これにより データの背後にある現象の解釈につながる 異なるデータとの比較を定量的に行うことができる 23

24 1 日目の内容 午前 記述統計 1. データの表現 図表によるデータの可視化 2. データ分布の特徴づけ 代表値 : 平均, 中央値, 最頻値 散布度 : 分散, 標準偏差, 四分位偏差 3. データの比較 標準化 基準化 2 変数の関係 : 散布図, 共分散, 相関係数, クロス表 24

25 ( 補足 ) を使った計算

26 ( 補足 ) を使った計算 4. = ( 1) 5. =

27 記述統計量 データの分布を特徴づける指標を記述統計量と呼ぶ 統計量 とは統計学で用いる指標を指す ここでは以下の記述統計量について説明する 代表値 : 分布を代表する値 散布度 : 分布の広がり ばらつきを表す指標 27

28 代表値の例 最頻値 (mode): 最も頻繁に出現する値 外れ値に強い 一つに決まらない場合がある 中央値 (median) : 真ん中の値 外れ値に強い 全てのデータを考慮できない 平均値 (mean) : 個々の値の和 対象の数 ( 個体数 ) 全てのデータを考慮できる 外れ値に弱い 対象の数 = 1 個々の値 28

29 平均の計算 3 人数 2 1 = ゴールデンウィークの休暇日数 = } = 3 29

30 代表値の例 最頻値 = 0 中央値 = 0 平均値 = 左右対称な分布では 最頻値 = 中央値 = 平均値となる 30

31 代表値の例 最頻値 = 5 中央値 = 5 平均値 = 非対称な分布では 3 つの値は一致しない 31

32 代表値の例 多峰性の分布の場合 最頻値 = 中央値 = 1.5 平均値 = 分布の 中心的な値 を表す指標として解釈できない 32

33 代表値だけでは分布を区別できない どちらの分布も = 0, = 0, =

34 代表値だけでは分布を区別できない どちらの分布も = 0, = 0, = データのばらつきを表す指標が必要 散布度 34

35 分布のばらつきを特徴づける 平均値と個々の値が 平均的にどの程度離れているかを表す指標 分散! = 1 例えば の単位が kg のとき 分散の単位は kg 2 となる 標準偏差! = 1 標準偏差の単位は の単位と同じ 35

36 分散による分布の区別 どちらの分布も = 0, = 0, = ! = 1! = 9 36

37 分散の計算 3 = 3 人数 2 1! = = 1 10 # } = 1.6 ゴールデンウィークの休暇日数 37

38 歪度 分布の左右非対称性を表す 1 % =! どちらの分布も = 1.13,! = % = 1.66 % = 0 38

39 尖度 分布のとがり具合を表す 1 ' =! どちらの分布も = 0,! = 1.56, % = ' = 3.82 ' = 3 39

40 その他の散布度指標 分位点 データを昇順に並べ 下側の p% のところにある値を p% 分位点 と呼ぶ 第 1 四分位点 :25% 分位点, 下側四分位点 第 2 四分位点 :50% 分位点, 中央値 第 3 四分位点 :75% 分位点, 上側四分位点 範囲 : データの最大値ー最小値 四分位範囲 : 上側四分位点ー下側四分位点 中央部で 50% のデータが入る範囲 40

41 箱ひげ図による表現 四分位範囲 第 3 四分位 第 1 四分位 1.5 四分位範囲 中央値 1.5 四分位範囲 ひげの中に全てのデータが収まる場合 ひげは最大値 最小値までしか延ばさない ひげの外にあるデータは点で表す 41

42 1 日目の内容 午前 記述統計 1. データの表現 図表によるデータの可視化 2. データ分布の特徴づけ 代表値 : 平均, 中央値, 最頻値 散布度 : 分散, 標準偏差, 四分位偏差 3. データの比較 標準化 基準化 2 変数の関係 : 散布図, 共分散, 相関係数, クロス表 42

43 標準化 基準化 異なる分布に従うデータを比較するための手続き例題 Aさんのテストの点数 数学 :75 点 英語 :65 点 Aさんは, 数学と英語のどちらの方が得意でしょうか? 点数で比較すると 数学の方が得意? 43

44 判断の手がかり 数学における1 点と, 英語における1 点は同じ価値? 学年の平均点と比較してみる Aさんの数学の得点ー数学の平均点 と Aさんの英語の得点ー英語の平均点 を比較する しかし, 数学における平均点との差と英語における平均点との差が同じ価値とは限らない Aさんよりも高い点数を取った人が少ないほど, その得点は貴重だと考える 平均値だけでなく, 点数の散らばりも考慮する必要がある 44

45 数学 英語の点の分布 数学 英語 平均 : = 65 平均 : = 50 割合 (%) 標準偏差 :! = 8 割合 (%) 標準偏差 :! = Aさん (75 点 ) 点数 Aさん (65 点 ) A さんより高い点数の人は 9.5% A さんより高い点数の人は 1% 点数 45

46 標準化 基準化 を標準化して ) とする : ) を標準得点 (z 得点 ) 標準化変量 基準化変量と呼ぶ 標準得点の平均は0, 標準偏差は1になる 標準化により 変数値の相対的 位置 を把握できる 難易度の異なる数学と英語のテストにおいて 数学でX 点を取ったことと 英語でY 点取ったことを 全体の中での位置 という観点で比較できる 46

47 標準化した数学 英語の点の分布 数学 65 標準化得点 : 8 割合 (%) 割合 (%) 4 4 英語 標準化得点 : 標準得点 標準得点 どちらも平均 0 標準偏差 1 の分布になる 47

48 A さんの得点の場合 数学の標準得点 : 英語の標準得点 : 5 割合 (%) 4 = 1.25 = 3 数学英語 英語の方が得意と言える 標準得点 48

49 ここまでの議論は 注意 データが正規分布に従うことを仮定している 平均 分散のみで形を指定できる 左右対称な分布 ( 午後の講義で詳しく扱います ) データが厳密に正規分布に従わなくても 正規分布に近い 左右対称な分布をしている場合は 標準化によるデータの比較は有効である また標準化はデータの大きさを揃える効果があるため 回帰分析において重要 49

50 標準化の実用例 偏差値 点数 を標準化したものを ) 得点と呼ぶ : ) 得点の平均は 0 標準偏差は 1. ) =! 割合 (%) 偏差値 =10 ) + 50 偏差値の平均は 50 標準偏差は 正規分布を仮定した場合の偏差値の分布 偏差値 50

51 変動係数 1 人当たり県民所得 の推移 ( 内閣府県民経済計算より ) 年平均値 ( 万円 ) 標準偏差 ( 万円 ) 最も格差が大きい年は? 標準偏差が最も大きいのは 2013 年 そもそも平均値が大きく異なる ( 貨幣価値が異なる ) が 標準偏差を単純に比較してよいのか? 51

52 変動係数 平均値の大きさを考慮したうえで ばらつきを評価する 変動係数 = 標準偏差 平均値 年平均値 ( 万円 ) 標準偏差 ( 万円 ) 変動係数 相対的な地域格差は 1955 年が最も大きい 52

53 1 日目の内容 午前 記述統計 1. データの表現 図表によるデータの可視化 2. データ分布の特徴づけ 代表値 : 平均, 中央値, 最頻値 散布度 : 分散, 標準偏差, 四分位偏差 3. データの比較 標準化 基準化 2 変数の関係 : 散布図, 共分散, 相関係数, クロス表 53

54 2 変数間の関係 統計データの解析では 複数の変数間の関係性に関心があることが多い ( 例 ) BMIが大きい人ほど血圧が高いか? 雨が降るほど渋滞が発生しやすいか? ネットでの人気と視聴率の関係は? ここでは 2 変数の関係性を表すための 記述統計学の方法をまとめる 54

55 ここで扱うデータ 平成 26 年死傷事故件数 ( 国道交通省より ) 都道府県 自動車専用道路 一般国道 ( 人口 10 万人当たり ) 一般都道府県道等 市町村道その他 北海道 宮城県 新潟県 東京都 愛知県 大阪府 広島県 福岡県 沖縄県

56 散布図 一般国道での事故数 佐賀県 兵庫県 自動車専用道路での事故数 56

57 散布図 市町村道その他での事故数 静岡県 香川県 一般都道府県道等での事故数 57

58 散布図 市町村道その他での事故数 静岡県 佐賀県 一般国道での事故数 58

59 散布図から読み取れること,,, + X が大きいほど Y も大きい Y が大きいほど X も大きい + X と Y の大きさに 関連はない + X が大きいほど Y は小さい Y が大きいほど X は小さい X と Y の間には正の相関がある X と Y は無相関である X と Y の間には負の相関がある 59

60 2 変数の関係を表す統計量 共分散 + と, の間に 正の相関があるとき 正の値をとる 相関関係が強いほど 共分散は大きくなる 負の相関があるとき 負の値をとる 相関関係が強いほど 共分散の絶対値は大きくなる 無相関のとき 0 に近い値をとる! -. = 1 / / 60

61 共分散 (4) (1) 共分散が正のとき (1), (3) にデータが多い / / 1 共分散が負のとき (2), (4) にデータが多い (3) (2) 共分散が 0 に近いとき 全ての領域にデータがまんべんなく存在 61

62 共分散 平成 26 年死傷事故件数の共分散 X 自動車専用道路 一般国道 一般都道府県道等 市町村道その他 Y 自動車専用道路 一般国道 ( 人口 10 万人当たり ) 一般都道府県道等 市町村道その他

63 X 自動車専用道路 一般国道 一般都道府県道等 市町村道その他 共分散 平成 26 年死傷事故件数の共分散 Y 自動車専用道路 一般国道 ( 人口 100 万人当たり ) 一般都道府県道等 市町村道その他 データのスケールが 10 倍になると共分散は 100 倍になる

64 相関係数 共分散を標準偏差の積で割ったものを相関係数と呼ぶ -.! - : の標準偏差,!. : / の標準偏差 データのスケールを表す標準偏差で割ることで 相関係数は 1から1の間に収まる 正の相関があるとき 0 -. は正の値をとる 無相関のとき 0 -. は0に近い 負の相関があるとき 0 -. は負の値をとる 64

65 = = 相関係数と散布図 = = = =

66 相関係数と散布図 = 0 0 = = = = =

67 平成 26 年死傷事故件数の相関係数 X 自動車専用道路 一般国道 一般都道府県道等 市町村道その他 Y 自動車専用道路 一般国道 一般都道府県道等 市町村道その他 一般に 弱い相関 中程度の相関 強い相関 非常に強い相関

68 相関係数の解釈の注意 (1) 外れ値があるとき 外れ値は相関係数の値を大きく変えてしまう (2) 曲線関係があるとき 変数変換を行う必要がある (3) 異質な集団が含まれる場合 集団ごとに相関係数を求める必要がある 相関係数だけで判断せず 散布図を描くことが大事 68

69 (1) 外れ値が相関係数に与える影響 10 8 データ点 A データ点 Aを含めた場合の相関係数 0 -. = / データ点 Aを含めない場合の相関係数 0 -. = 大きく外れたデータは相関係数の値を変えてしまう データ点 A を 外れ値 として除外してよいのか? 69

70 箱ひげ図を用いる 外れ値の見つけ方 データ点 A データが正規分布に従うと仮定すると ひげの外に値をとる確率は 0.7% しかない 箱ひげ図を描いてひげの外にあるデータは外れ値である可能性が高い +, ただし データが正規分布に従うとは限らないので 実際に除外するかどうかはよく検討する必要がある 70

71 外れ値が発生する理由 確認すべきこと 他データとの測定環境の違い 被観測個体の特殊性 データの入力ミス よほど小規模なデータでない限り ヒューマンエラーは避けられない これらの原因による外れ値であると確信できる場合は データから外れ値を除いてもよい 71

72 (2) U 字型相関 U 字型相関を示す散布図 逆 U 字型相関を示す散布図 = 0.05 / / = 無相関と考えるのは誤り 72

73 変数変換 U 字型相関を示す散布図 逆 U 字型相関を示す散布図 / / = = と / の相関は強い 73

74 (3) 異質な集団が含まれる場合 全体の相関係数 0 = 0.47 層別相関係数 の集団 : 0 = 0.89 の集団 : 0 = 0.67 散布図を描き データの構造を把握することが重要 74

75 相関関係と因果関係 相関関係があるとき因果関係もあるとは限らない ( 例 ) T 市の人口 と T 市の税収 に正の相関がある場合 次の5 通りの可能性が考えられる 人口が増えたので税収が増えた 税収が増えたので人口が増えた 人口が増えたので税収が増えたし 税収が増えたので人口が増えた T 市に大規模工場が出来たので 人口が増えたし税収も増えた 偶然 人口増と税収増が同時に起きた 因果関係がある 擬似相関がある 無関係 75

76 擬似相関 変数 1 が変数 + と変数, の間の相関をもたらすとき その相関を擬似相関と呼ぶ 変数 + ( 結果 1) 変数 1 ( 原因 ) 擬似相関 変数, ( 結果 2) 例 : 都市の大気汚染の程度 + と都市人口に占める若者の割合, の間には 擬似相関がある 変数 1 は都市の人口である 豊田秀樹, 原因を探る統計学 より 76

77 相関係数と偏相関係数 相関係数 0 -. : 変数 + と変数, の間の関連性の指標 偏相関係数 : 変数 1 の影響を変数 + と変数, から排除した上での 変数 + と変数, の間の関連性の指標

78 偏相関係数の例 +: ノロウイルス食中毒発生件数,: 台風の発生個数 月 月 ( 平成 23 年 ~27 年平均 厚生労働省 ) ( 平成 23 年 ~27 年 気象庁 ) 0 -. = 0.71 ノロウイルスが減ると台風が増える?? 78

79 偏相関係数の例 1: 平均気温 月 (1990 年 ~2013 年の平均 気象庁 ) = 0.25 ノロウイルス食中毒の減少と台風の増加は気温という原因により引き起こされていると考えられる 79

80 偏相関係数の例 0-3 = 0.92 ノロウイルス 気温 = 0.25 (0 -. = 0.71) 0.3 = 0.83 台風 80

81 偏相関係数の例 ちなみに 0-3 = 0.80 ノロウイルス 1 カ月前の気温 = 0.05 (0 -. = 0.71) 0.3 = 0.90 台風 81

82 クロス表 2 つの変数のデータを 表に集計してまとめたもの 居住年数 思う どちらかとい えば思う 立川市に住み続けたいと思いますか? どちらかといえば思わない 思わない無回答合計 生誕からずっと 111 (71.6%) 38 (24.5%) 4 (2.6%) 2 (1.3%) 0 (0.0%) 年以上 284 (62.3%) 140 (30.7%) 13 (2.9%) 13 (2.9%) 6 (1.3%) ~20 年 96 (60.4%) 50 (31.4%) 11 (6.9%) 2 (1.3%) 0 (0.0%) ~13 年 74 (59.7%) 42 (33.9%) 4 (3.2%) 3 (2.4%) 1 (0.8%) 124 6~9 年 44 (48.4%) 35 (38.5%) 4 (4.4%) 5 (5.5%) 3 (3.3%) 91 3~5 年 36 (39.6%) 34 (37.4%) 12 (13.2%) 6 (6.6%) 3 (3.3%) 91 2 年以内 33 (40.2%) 29 (35.4%) 17 (20.7%) 2 (2.4%) 1 (1.2%) 82 無回答 12 (50.0%) 10 (41.7%) 0 (0.0%) 1 (4.2%) 1 (4.2%) 24 合計 平成 27 年度立川市市民満足度調査より 82

83 クロス表 2 つの変数のデータを 表に集計してまとめたもの 居住年数 思う どちらかとい えば思う 立川市に住み続けたいと思いますか? どちらかといえば思わない 思わない無回答合計 生誕からずっと 111 (71.6%) 38 (24.5%) 4 (2.6%) 2 (1.3%) 0 (0.0%) 年以上 284 (62.3%) 140 (30.7%) 13 (2.9%) 13 (2.9%) 6 (1.3%) ~20 年 96 (60.4%) 50 (31.4%) 11 (6.9%) 2 (1.3%) 0 (0.0%) 159 関連性の指標 1: 割合の差 ( 絶対的指標 ) 10~13 年 74 (59.7%) 42 (33.9%) 4 (3.2%) 3 (2.4%) 1 (0.8%) 124 6~9 年 44 (48.4%) 35 (38.5%) 4 (4.4%) 5 (5.5%) 3 (3.3%) 91 ( 例 ) 生まれてからずっと立川市に住んでいる人のうち 住み続けたいと思う人は 思わない人より 70.3ポイント多い 3~5 年 36 (39.6%) 34 (37.4%) 12 (13.2%) 6 (6.6%) 3 (3.3%) 91 2 年以内 33 (40.2%) 29 (35.4%) 17 (20.7%) 2 (2.4%) 1 (1.2%) 82 無回答 12 (50.0%) 10 (41.7%) 0 (0.0%) 1 (4.2%) 1 (4.2%) 24 合計 平成 27 年度立川市市民満足度調査より 83

84 クロス表 2 つの変数のデータを 表に集計してまとめたもの 居住年数 思う どちらかとい えば思う 立川市に住み続けたいと思いますか? どちらかといえば思わない 思わない無回答合計 生誕からずっと 111 (71.6%) 38 (24.5%) 4 (2.6%) 2 (1.3%) 0 (0.0%) 年以上 284 (62.3%) 140 (30.7%) 13 (2.9%) 13 (2.9%) 6 (1.3%) ~20 年 96 (60.4%) 50 (31.4%) 11 (6.9%) 2 (1.3%) 0 (0.0%) 159 関連性の指標 2: 割合の比 ( 相対的指標 ) 10~13 年 74 (59.7%) 42 (33.9%) 4 (3.2%) 3 (2.4%) 1 (0.8%) 124 6~9 年 44 (48.4%) 35 (38.5%) 4 (4.4%) 5 (5.5%) 3 (3.3%) 91 ( 例 ) 生まれてからずっと立川市に住んでいる人のうち 住み続けたいと思う人の割合は 思わない人の割合より 55 倍大きい 3~5 年 36 (39.6%) 34 (37.4%) 12 (13.2%) 6 (6.6%) 3 (3.3%) 91 2 年以内 33 (40.2%) 29 (35.4%) 17 (20.7%) 2 (2.4%) 1 (1.2%) 82 無回答 12 (50.0%) 10 (41.7%) 0 (0.0%) 1 (4.2%) 1 (4.2%) 24 合計 平成 27 年度立川市市民満足度調査より 84

85 クロス表の落とし穴 年代 : 乳がん外科手術後のタモキシフェンの使用とがん再発の関係について [ 佐藤 (2008)] タモキシフェン 再発あり 再発なし 合計 使用 464 (18.2%) 2085 (81.8%) 2549 未使用 424 (18.0%) 1928 (82.0%) 2352 合計 再発割合の差 :0.2 ポイント タモキシフェンにはがん再発の予防効果がほとんどない? 85

86 タモキシフェン 使用 368 (30.3%) 未使用 253 (33.3%) クロス表の落とし穴 リンパ節転移の有無で層に分けてみる リンパ節転移あり リンパ節転移なし 再発あり再発なし合計再発あり再発なし合計 847 (69.7%) 507 (66.7%) (7.2%) (10.7%) 1238 (92.8%) 1421 (89.3%) 合計 再発割合の差 : 3 ポイント 再発割合の差 : 3.5 ポイント タモキシフェンにはがん再発の予防効果がある! 86

87 クロス表の落とし穴 各集団の人数がバラバラのため 結果が覆ってしまった リンパ節転移あり リンパ節転移なし タモキシフェン 再発あり再発なし合計再発あり再発なし合計 使用 368 (30.3%) 847 (69.7%) (7.2%) 1238 (92.8%) 1334 未使用 253 (33.3%) 507 (66.7%) (10.7%) 1421 (89.3%) 1592 リンパ節転移があるときタモキシフェンを使わないことは少ない リンパ節転移がないときタモキシフェンを使わないことが多い 未使用 の全データは リンパ節転移なしの集団の影響が強い よって全データを使用した場合 未使用 で再発しなかった割合が高く見積もられる 87

88 クロス表の落とし穴 各集団の人数がバラバラのため 結果が覆ってしまった タモキシフェン 仮に 各集団が 1000 人ずつだとすると リンパ節転移あり リンパ節転移なし 再発あり再発なし合計再発あり再発なし合計 使用 未使用 タモキシフェン 再発あり 再発なし 合計 使用 375 (18.8%) 1625 (81.3%) 2000 未使用 440 (22.0%) 1560 (78.0%) 2000 全体のクロス表でも 3.2 ポイントの再発割合の差がでる 88

89 シンプソンのパラドックス データのまとめ方によって結果が覆ってしまう現象を シンプソンのパラドックスという どのクロス表での結果を採用するかを決める 方法論はない タモキシフェンの例の場合 リンパ節転移の有無は再発に大きくかかわるため 層別した場合の結果が正しいと考えられる 各データの背景にある知見と照らし合わせて データを解釈することが大事 89

90 午前中のまとめ 記述統計学によるデータ要約の方法を解説した データ要約は データに対する人間の理解を助ける しかし要約により データの一部の情報が失われることは避けられない ヒストグラムや散布図により データを 見る ことが大事 その上で データが持つ重要な情報を落とさないよう 適切な要約方法を用いる 対象についての知見を学び 先入観や願望を捨てることが重要 90

91 1 日目の内容 午後 確率と統計 4. 確率と統計の基礎 確率変数 確率関数と確率密度関数 確率変数の期待値 分散 共分散 相関係数 5. 推測統計学の基礎 母集団と標本 大数の法則と中心極限定理 91

92 午前の話 記述統計学 記述統計学とはデータのもっている主要な特性をより鮮明に表現するために, データを要約したり作表をしたりすること一般を指す ( 統計科学事典, 清水良一訳 ) つまり特定の標本データの性質を調べるための統計学 棒グラフ, ヒストグラム, 散布図などを描く 平均, 中央値, 最頻値, 分散, 標準偏差などを求める 共分散, 相関係数などを求める 92

93 母集団と標本 何らかの特徴を得る対象となる全集団を母集団と呼ぶ ( 例 ) 日本人の成人男性の平均身長は? 母集団は日本人の成人男性全員 21 時の TV ニュースを視聴していた世帯の割合は? 母集団は全世帯の数 しかし 母集団の情報を完全に把握することは困難 母集団の数が非常に大きい場合 観測が困難な場合 93

94 母集団と標本 母集団の全体調査が不可能な場合 次のように母集団の性質を推定する 1. 母集団から一部を無作為に選ぶ これを標本と呼ぶ 2. 標本について統計的分析を行い 母集団の性質を推定する ここで用いる方法論を推測統計学と呼ぶ 94

95 母集団 母集団と標本 ランダムサンプリング 標本 推測統計学 母集団の統計的性質を標本から推定する 記述統計 標本データの性質 95

96 記述統計学から推測統計学へ 推測統計学において用いる 確率 統計の基礎についてまとめる 確率変数 確率関数と確率密度関数 確率変数の期待値 分散 共分散 相関係数 96

97 確率と確率変数 確率は不確実な事象の起こりやすさを表す 確率は 0 から 1 の間の実数で表され 各事象が起こる確率をすべて足し合わせると 1 となる 確率変数とは ある確率法則に従って値が決まる変数のこと 確率変数を + と表す 実際に決まった値( 実現値 ) をとする 確率変数がとりうる値の集合 ( 標本空間 ) を Ω と表記する 標本空間 Ωに含まれる値 5が実現する確率をPr (5) と表記する 97

98 確率と確率変数の例① 当たり Ω = 当たり, はずれ はずれ +の値を確率的に決める Pr + = 当たり = 8 Pr + = はずれ = 1 8 はずれ 確率変数の値の実現 98

99 確率と確率変数の例 2 コイン投げ サイコロ投げ 確率変数 + コインの向きサイコロの目 標本空間 Ω Ω = 表, 裏 Ω = 1,2,3,4,5,6 確率変数の値を決める方法 確率変数の値が従う確率法則 コインを投げる行為 Pr + = 表 = 1 2 Pr + = 裏 = 1 2 サイコロを投げる行為 Pr + = 1 = Pr + = 2 = Pr + = 3 = Pr + = 4 = Pr + = 5 = Pr + = 6 = 1 6 ここでは歪みのないコイン サイコロを考えます 99

100 確率変数の種類 離散型確率変数 とびとびの値をとる コイン投げや さいころ投げなどの整数値データ コイン投げの場合など 表を 1 裏を 0 として数値化する 確率変数がある値をとる確率は 確率関数により与えられる 連続型確率変数 とりうる値が連続的なもの 身長 体重などの実数値データ 確率変数がある範囲の値をとる確率は 確率密度関数により与えられる 100

101 確率変数の種類 離散型確率変数 とびとびの値をとる コイン投げや さいころ投げなどの整数値データ コイン投げの場合など 表を 1 裏を 0 として数値化する 確率変数がある値をとる確率は 確率関数により与えられる 連続型確率変数 とりうる値が連続的なもの 身長 体重などの実数値データ 確率変数がある範囲の値をとる確率は 確率密度関数により与えられる 101

102 確率関数 離散型確率変数の確率分布を表す関数 Ω =,,, : のとき : Pr + = = 8,, Pr + = : = 8 : 8 = 1 とする ; = 8, ; = 8, となる関数 ;( ) を確率関数と呼ぶ 0.6 コイン投げの確率関数 0.18 サイコロ投げの確率関数 ;( ) ;( )

103 確率関数 その他の例 2 つのサイコロを同時に投げて 出た目の和の確率関数 ;( )

104 平均と分散 平均 ( 期待値とも呼ぶ ) < : : : 分散 < : : : 8 : : 確率変数が ' 番目の値をとる確率 104

105 コイン投げの場合 平均と分散の例 > + = = 0.5? + = = 0.25 サイコロ投げの場合 > + = = 3.5? + = =

106 離散型一様分布 Ω =,, : } のとき ; =,, = ; : = 1/' となる 確率関数 ;( ) を離散型一様分布と呼ぶ 0.6 コイン投げの確率関数 0.18 サイコロ投げの確率関数 ;( ) ;( ) 確率変数 + の取り得る値の下限を A 上限を B とすると > + = A + B 2,? + = B A

107 ベルヌーイ分布 事象 A, B がそれぞれ確率 8, 1 8 で起こる離散確率分布 A= 裏, B= 表 A= 成功, B= 失敗 など コイン投げは8 = 0.5に対応する = 0.2 で 0( 失敗 ) 8 = 0.8 で 1( 成功 ) となる場合のベルヌーイ分布 このような事象を起こさせることをベルヌーイ試行と呼ぶ 107

108 ベルヌーイ試行を繰り返す 事象 A,B がそれぞれ確率 8, 1 8 で起こる ベルヌーイ試行を C 回繰り返すとき 事象 A が起こる回数 は確率変数である もちろん 事象 B が起こる回数 も確率変数である コイン投げの場合 確率変数 + = 表が出る回数 とすると Ω = 0, 1, 2,, C} ただし C 回の試行の独立性を仮定する C 回の試行は互いに影響されることなく 各試行で事象 A, B が起こる確率は常に 8 と 1 8 である 例えばバスケットボールのフリースローでは独立性が成り立たない 108

109 2 項分布 事象 A,Bがそれぞれ確率 8, 1 8で起こるベルヌーイ試行をC 回繰り返すとき 確率変数 事象 Aが起こる回数 は2 項分布に従う C - - <D- C 回の試行のうち回で事象 A が起こる場合の数 事象 A が回 事象 B が C 回起こる確率 期待値 :C8 分散 :C8(1 8) 109

110 2 項分布 C = 30 回のベルヌーイ試行を行う場合 ED = = ; ;

111 ポアソン分布 事象 A,B がそれぞれ確率 8, 1 8 で起こる ベルヌーイ試行を C 回繰り返すとき 確率変数 事象 A が起こる回数 は 2 項分布に従う 特に次の条件が成立するときを考える C が非常に大きい 8 と C の間に 8 = F/C という関係があり C が非常に大きいとき 8 は非常に小さい (1 回の試行で事象 A が起こることは稀である ) このとき 2 項分布はポアソン分布となる 111

112 ポアソン分布 - DG ;( ) ;( ) F = 5 F = 期待値 分散とも F である 112

113 二項分布の性質から の意味 事象 A の起こる回数の期待値は C8 8 が C と無関係な定数 (< 1) の場合 事象 A の起こる回数は試行回数 C に比例して増える 8 = F/C の場合 C8 = F なので C が大きくなっても事象 A は F 回程度しか起きない ポアソン分布は 1 回の試行で起きることは稀だが 試行回数 C が大きければ F 回くらいは起きる事象 A が 実際に C 回の試行で + 回起きる確率を表す 113

114 ポアソン分布の実例 プロイセン陸軍で馬に蹴られて死亡した兵士数 1875 年 ~1894 年の20 年間で馬に蹴られて死亡した兵士数の分布を 200 部隊に対して調べた 死亡兵士数 観測数 割合 [Bortkiewicz 1898] 114

115 ポアソン分布の実例 プロイセン陸軍で馬に蹴られて死亡した兵士数 [Bortkiewicz 1898] 確率 実際のデータ F = 0.61 のポアソン分布 死亡兵士数 F = 0.61 のポアソン分布で近似できる 115

116 ポアソン分布の実例 その他にも 一定の時間に起こるイベント数の分布 の モデルとして用いられる 交通事故の件数 製造ラインにおける不良品の数 1 時間あたりにかかってくる電話の数 1 日あたりのタクシーの乗客数 ある地域における1ヶ月あたりの胃がんによる死亡者数 ある期間に起こる M7 以上の地震の数 など 116

117 確率変数の種類 離散型確率変数 とびとびの値をとる コイン投げや さいころ投げなどの整数値データ コイン投げの場合など 表を 1 裏を 0 として数値化する 確率変数がある値をとる確率は 確率関数により与えられる 連続型確率変数 とりうる値が連続的なもの 身長 体重 時間などの実数値データ 確率変数がある範囲の値をとる確率は 確率密度関数により与えられる 117

118 確率密度関数 ( 例 ) 1000 人の社員が会社にやってくる時間を 1 万日調べた 1000 人 1 万日 は 以下の議論に十分な数 という程度の意味です 0.8 社員の出社時刻のヒストグラム (15 分刻み ) 割合 出社時刻ー始業時刻 ( 分 ) 118

119 確率密度関数 階級の刻み幅を小さくしていく 3 分刻み 0.03 分刻み 出社時刻ー始業時刻 ( 分 ) 出社時刻ー始業時刻 ( 分 ) 刻み幅を小さくすると ヒストグラムは データの相対頻度を表す関数 へ収束 119

120 確率密度関数 連続型確率変数において ヒストグラムの刻みを無限に小さくする極限により定義される関数を確率密度関数という 確率 そのものではないが それに似た性質を持つ 連続型確率変数において ある値を持つ確率は定義できない ある範囲をとる確率は定義できる 例えば 確率変数がA 以上 B 以下の値をとる確率は Pr A + B = J K 8 確率変数がとり得る値の範囲全体で積分すると 1 になる M L 120

121 平均と分散 平均 - NOP - NQR 分散 - NOP - NQR ST:+ のとりうる最小値 UV:+ のとりうる最大値 121

122 連続型一様分布 1 8 = WB A A Bのとき 0 それ以外のとき 0.1 A = 0, B = 10 の一様分布 平均値 分散

123 正規分布 X = 40, Y = 3 平均値 X = 30, Y = 5 X = 50, Y = 10 分散

124 標準正規分布 平均値 : > + = 0 分散 :? + = 平均 0, 分散 1 の正規分布を標準正規分布と呼ぶ 正規分布に従う確率変数 + を標準化すると, それは標準正規分布に従う 124

125 正規分布の性質 平均 (X) ± 標準偏差 Y の範囲に約 68% が収まる X Y X X + Y 125

126 正規分布の性質 平均 (X) ± 2 標準偏差 Y の範囲に約 95% が収まる X 2Y X X + 2Y 126

127 シグマ区間 区間 確率 (%) 1Y Y Y Y Y Y Y Y Y

128 同時確率分布と周辺確率分布 複数の確率変数に関する確率分布 +,, という 2 種類の確率変数の組の 同時確率分布を 8(, /) と表記する 周辺確率分布. NOP - NOP 8 - = J K/ 8, / 8. / = J K 8, /. NQR + と, が互いに独立な場合には 同時確率分布は 8(, /) = 8-8. (/) となる 特に +,, が相関している場合を考える - NQR 128

129 共分散と相関 共分散 [ \ 相関係数 129

130 独立 と 無相関 ,, = , のとき + と, は独立である このとき > +, = > + >[,] 2. COV +,, = 0 であるとき + と, は無相関である 独立であれば無相関 > +, > + >, = 0 なので COV +,, = 0 無相関のとき独立であるとは限らない > +,, = 0 かつ > +, >, の少なくともどちらか 1 つが 0 の場合 + と, は独立でなくても無相関となりうる 130

131 無相関だが独立でない例 8(1,0) = 8(2,1) = 8(2, 1) = 1/3 それ以外の8(+,,) は0の場合 周辺分布 8 - (1) = 1/3, 8 - (2) = 2/3 よって >[+] = 5/3 8. (0) = 8. (1) = 8. ( 1) = 1/3 よって >[,] = 0 / COV +,, = ( ) 0 = 0 なので無相関 しかし 8 +,, (,) なので独立ではない 131

132 , / の二変量正規分布 2 変量正規分布 1 8, / = 2cY - Y. 1 d 1 ( X - ) exp 2 1 d 2d( X -)(/ X. ) + (/ X.) Y - Y - Y. Y. 周辺化分布はガウス分布となる d: 相関係数 h 8 - = J K/ 8, / Dh h 8. / = J K/ 8, / Dh = = 1 2cY exp X - - 2Y - 1 exp X. 2Y 2cY.. 132

133 2 変量正規分布の立体図 (, /) / X - = 0, Y - = 1, X. = 0, Y. = 1, d =

134 2 変量正規分布の等高線 d = 0 d = 0.4 d = / 0 / /

135 1 日目の内容 午後 確率と統計 4. 確率と統計の基礎 確率変数 確率関数と確率密度関数 確率変数の期待値 分散 共分散 相関係数 5. 推測統計学の基礎 母集団と標本 大数の法則と中心極限定理 135

136 母集団 母集団と標本 ランダムサンプリング 標本 推測統計学 母集団の統計的性質を標本から推定する 記述統計 標本データの性質 136

137 推測統計学の基礎 母集団C人(くじ引きに参加した人) 当選確率は8です 1 8 はずれ 8 当たり + 本当 当たった人の人数iは 二項分布に従う j <Dj C j 平均C8, 分散C8(1 8) 137

138 推測統計学の基礎 母集団の全数調査が困難である場合に 標本を用いて母集団の統計的性質を推測する 母集団 C 人 標本 ランダムサンプリング 真実 ( 直接観測できない ) 当たった人の人数 i は 二項分布に従う C j j <Dj 観測事実 推測統計学 平均 C8, 分散 C8(1 8) 138

139 母数と標本統計量 母数 母集団の平均 分散 相関係数など ( 本当に知りたい情報 ) 標本統計量 標本データの平均 分散 相関係数などを得る計算式のこと 特定の標本データを当てはめたものを標本統計量の実現値という ( 例 ) 標本平均の場合 標本統計量 : + +,, + = 1 + 標本統計量の実現値 : = +,, = 1 139

140 次の表記を用いる 母数と標本統計量 母集団 ( 母数 ) 平均 X 標本 ( 標本統計量の実現値 ) 標準偏差 Y! 相関係数 d 0 140

141 推測統計学の基礎 当たりを + = 1, はずれを + = 0 とする 標本平均を + = 1 とする + 母集団 (C 人 ) = 標本 ( 人 ) Ck 通りの選び方がある = = 0.5 標本平均は確率変数である 141

142 記述統計量 記述統計量と標本統計量の違い 得られたデータそのものの分布の特徴を要約するための統計量 個々のデータが確率的にばらつくものだとは考えていない 標本統計量 得られたデータは 母集団から得られたサンプルである 個々のデータは確率的にばらつくものだと仮定しており 統計量もそれに従ってばらつく 母集団についての推測を行うための統計量 142

143 標本平均の分布 8 = 0.2 の場合 0.35 = 10 = 100 = 標本サイズ が大きくなるにつれて 真の 8 に収束していく 143

144 標本平均の分散の標本サイズ依存性 8 = 0.2 の場合 ? 傾き 8(1 8) / 標本平均の分散は 1/ に比例して小さくなる 144

145 大数の法則 標本平均に関する性質 確率変数 +, +,, + が独立に同一の分布に従うとする >[+] = Xとする 大数の法則 を大きくしていくと 標本平均は確率 1 で X に収束する 標本のサイズを大きくしていくと 標本平均は母集団における平均値に必ず一致する 145

146 中心極限定理 標本統計量の分布そのものの特徴に関する重要な定理 確率変数 +, +,, + が独立に同一の分布に従うとする >[+] = X,?[+] = Y とする 中心極限定理 を大きくすると 正規分布に従う + は平均 X, 分散 Y / の 標本平均が従う確率分布は 標本サイズが大きいとき 正規分布で近似でき その平均は母集団の平均と一致 146

147 中心極限定理 母集団 (C 人 ) 標本 ( 人 ) 真実 当たった人の人数 i = + は平均 C8, 分散 C8(1 8) の二項分布に従う 中心極限定理 (C ) 当たった人の割合 + = < < 平均 8, 分散 8(1 8)/C の 正規分布に従う < + は 観測事実 + = 1 + 中心極限定理より標本平均 + は が大きいとき 平均 8, 分散 8(1 8)/ の正規分布に従う 147

148 不偏推定量 標本統計量の期待値が母数に一致するとき その標本統計量を不偏推定量と呼ぶ 標本平均は 母集団の平均の不偏推定量である 次のように定義される標本分散は 母集団の分散の不偏推定量である! +,, + =

149 不偏分散 標本サイズ の代わりに自由度 1 で割った分散を 不偏分散とよぶ > + = 0なので, 分散を計算するときに使っている 自由な 情報は 1 個である したがって, 1で割る より詳しい説明については, 以下を参照のこと統計的方法のしくみ 正しく理解するための 30 の急所, 永田靖 ( 著 ), 日科技連出版社 記述統計においても不偏分散を用いる場合がある 149

150 まとめ 記述統計学 与えられたデータそのものの統計的性質の把握を目標とする 推測統計学 与えられたデータ ( 標本 : 観測事実 ) の背後にある母集団 ( 真実 ) の統計的性質を 標本の統計的性質から推測する その際に用いる数学的ツールは確率論である 推測統計学の基本である 推定 と 検定 については 2 日目以降の講義で扱う 150

151 EXCEL: 記述統計量を求める関数 平均 :AVERAGE 中央値 :MEDIAN 最頻値 :MODE.SNGL 分散 :VARP(nで割った分散) 不偏分散 :VAR(n-1で割った分散) 標準偏差 :STDEV.P(nで割った標準偏差) 標準偏差 : STDEV.S(n-1で割った標準偏差 ) 共分散 :COVARIANCE.P(n-1で割った共分散) 共分散 :COVARIANCE.S(n-1で割った分散) 相関係数 :CORREL 四分位数 :QUARTILE.INC 標準化 基準化 :STANDARDIZE