Microsoft Word - １．データの整理.doc

Transcription

1 1.データの 分 類 連 続 値 離 散 値 データ データの 尺 度 水 準 データの 図 示 要 約 ヒストグラム(hstogram) 箱 ヒゲ 図 (box ad whsker plot) 散 布 図 (scatter plot) データの 数 値 要 約 分 布 の 位 置 (locato)を 表 す 指 標 ) 標 本 平 均 値 (sample mea) ) 中 央 値 (sample meda)... 7 さ い ひ ん ち 3) 最 頻 値 (sample mode) )まとめ バラツキ(Varable)の 指 標 ) 標 本 範 囲 (sample rage) )パーセンタイル(percetle) 四 分 位 範 囲 四 分 位 偏 差 ) 標 本 分 散 (sample Varace) わ い ど 4) 標 本 歪 度 (sample skews) せ ん ど 5) 標 本 尖 度 (sample kurtoss) )まとめ 対 のデータ 間 の 関 係 指 標 計 算 例... 15

2 1.データの 分 類 データはサンプル 標 本 試 料 とも 呼 ばれます 数 値 もしくは 記 号 の 集 まりで データの 処 理 にあたり その 性 格 を 把 握 しておく 必 要 があります 1.1 連 続 値 離 散 値 データ 分 類 の 方 法 の 一 つとして 連 続 値 データ(cotu date)と 離 散 値 データ(dscrete data) の 区 別 があります 例 えば 本 数 は1 本 2 本 3 本 のように 離 散 的 な 値 しかとれないとき 離 散 値 データと 呼 ばれます 離 散 値 データは 必 ずしも 整 数 である 必 要 はなく また 有 限 の 範 囲 に 収 ま るとは 限 りません 一 方 ある 範 囲 内 の 実 数 値 をとるようなデータを 連 続 値 データと 呼 びます 応 力 値 などの 実 験 値 を 小 数 点 以 下 で 丸 めた 場 合 などとなり 一 見 離 散 値 データに 見 えますが 連 続 値 デ ータです 1.2 データの 尺 度 水 準 データは 一 般 的 に 次 の4 種 類 の 尺 度 水 準 (scale)に 分 類 できます 1) 類 別 尺 度 (omal scale):いくつかのカテゴリに 分 類 された 定 性 的 なデータ 値 の 差 も 値 の 順 序 も 意 味 を 持 たないデータです 木 材 を 赤 白 茶 などの 色 で 分 類 した 場 合 類 別 尺 度 デ ータになります 言 葉 で 表 しても A B C D E と 書 いても 良 いこと になります 2) 順 序 尺 度 (ordal scale):カテゴリ 間 に 大 小 強 弱 の 関 係 をもつ 定 性 的 データ 値 の 差 には 意 味 がなく 値 の 順 序 には 意 味 があるデータです 木 材 を 強 い やや 強 い 普 通 やや 弱 い 弱 い のように 分 類 した 場 合 がこれにあたります 3) 間 隔 尺 度 (terval scale): 比 をとることに 意 味 がなく 差 のみが 意 味 を 持 つ 定 量 的 データ 例 えば 気 温 がこれにあたります 0 と 20 との 差 と 20 と 40 の 差 は 同 じ 熱 量 を 持 ちます ので 差 に 意 味 があり 40 が 20 の2 倍 であることにあまり 意 味 はありません 4) 比 尺 度 (rato scale): 差 だけではなく 比 も 意 味 を 持 つ 定 量 的 データ 曲 げヤング 係 数 曲 げ 1-1

3 強 度 はこれにあたり 本 書 で 扱 うデータはほとんどがこの 比 尺 度 データです データ 分 類 をまとめると 図 -1 ようになります 定 量 的 データ ( 連 続 型 ) 間 隔 尺 度 データ 比 率 尺 度 データ 定 性 的 データ ( 離 散 型 ) 類 別 尺 度 データ 順 序 尺 度 データ 図 - 1 データの 分 類 2.データの 図 示 要 約 データの 数 値 要 約 には 色 々な 方 法 があり その 計 算 数 値 の 正 しい 解 釈 はかなりの 熟 練 が 必 要 で すので データを 図 示 しデータ 全 体 を 俯 瞰 することから 始 めます 2.1 ヒストグラム(hstogram) 生 データから 分 布 の 様 子 を 調 べる 場 合 には 度 数 分 布 表 を 作 り その 度 数 分 布 表 から 長 方 形 の 面 積 が 度 数 を 表 すように 棒 グラフを 描 画 します この 棒 グラフをヒストグラムと 呼 び 一 般 的 に は 横 軸 は 階 級 で 長 方 形 の 間 には 隙 間 を 入 れないことになっています 度 数 分 布 表 は データを 1) 並 べ 変 え 2) 階 級 幅 を 設 定 し 3) 度 数 を 数 える 必 要 があり な かなか 大 変 な 作 業 ですし その 度 数 分 布 表 から 棒 グラフを 作 成 することはなかなかやっかいで すが R では 生 データから 簡 単 に hst() 関 数 で 描 くことができます hst() 関 数 は Sturg (1926)の 方 法 に 従 った 関 数 ですが この 他 に Wad (1995) が 提 唱 した 方 法 Scott (1992) が 提 唱 した 方 法 があります どの 方 法 が 良 いかはデータの 構 造 によって 異 なり 決 定 打 は 無 いようです 平 均 10 標 準 偏 差 が 2 の 正 規 分 布 に 従 う 乱 数 を 200 個 発 生 させ そのヒストグラムを Surg (1926)の 方 法 Wad (1995) が 提 唱 した 方 法 Scott (1992) が 提 唱 した 方 法 に 従 い 描 くと 図 -2 のようになります 1-2

4 x<-rorm(200,10,2) # 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 200 個 を 発 生 #Sturg (1926) が 提 唱 した 方 法 hst(x,ma ="Hstogram of X (Sturg(1926))",freq=FALSE) #Scott (1992) が 提 唱 した 方 法 lbrary(mass) truehst(x,ma ="Hstogram of X (Scott (1992))",ylab="Dty") #Wad (1995) が 提 唱 した 方 法 lbrary(kersmooth) hst(x,ma ="Hstogram of X (Wad (1995))",ylab="Dty",breaks=seq(m(x)-0.1, max(x)+0.1+dph(x), by=dph(x))) Hstogram of X (Sturg(1926)) Hstogram of X (Scott (1992)) Hstogram of X (Wad (1995)) Dty Dty Dty x x x a) Sturg の 方 法 b) Scott の 方 法 c) Wad の 方 法 図 - 2 ヒストグラムの 例 ヒストグラムに 加 えて 度 数 分 布 表 から 種 々の 方 式 を 使 って 平 滑 化 したものを 推 定 密 度 関 数 と して 扱 うこともできます 密 度 の 推 定 値 を 計 算 する 関 数 として dty(データ)がありますので これを 結 んだ 線 は 密 度 関 数 になります なお 母 数 (パラメータ)は 算 出 できません ヒストグラム(Sturg (1926))に 推 定 確 率 密 度 関 数 を 上 書 きした 例 を 図 -3に 示 します #ヒストグラムとカーネル 推 定 密 度 の 重 ね 合 わせ x<-rorm(200,100,20) # 平 均 100 標 準 偏 差 20 の 正 規 分 布 乱 数 200 個 を 発 生 xmax<-max(hst(x)$breaks)#x 最 大 値 xm<-m(hst(x)$breaks)#x 最 小 値 ymax<-max(dty(x)$y,hst(x)$dty)#y 密 度 最 大 値 hst(x,ma ="",freq=false,xlm=c(xm,xmax),ylm=c(0,ymax))# 密 度 でヒストグラムを 描 く dp<-dty(x)# 密 度 par(ew=true)# 重 ね 合 わせの 指 定 plot(dp,ma="hst:(sturg.1926) & 推 定 密 度 ",xlm=c(xm,xmax),ylm=c(0,ymax))# 推 定 密 度 プロット 1-3

5 hst:(sturg.1926) & 推 定 密 度 Dty Badwdth N = x = 図 - 3 ヒストグラムと 推 定 密 度 関 数 2.2 箱 ヒゲ 図 (box ad whsker plot) 箱 ヒゲ 図 はデータを 順 序 統 計 量 として 扱 った 場 合 の 図 表 現 です 特 に 複 数 のデータを 手 早 く 比 較 する 場 合 に 威 力 を 発 揮 します 箱 ヒゲ 図 は 下 から 1/4(25% 点 第 1 四 分 位 Q1)と 上 から 1/4(75% 点 第 3 四 分 位,Q3) の 箱 ( 長 方 形 )を 書 き その 箱 の 中 に 中 央 値 (50% 点 第 2 四 分 位 Q2)を 書 き 入 れます そして 四 分 位 範 囲 ( 第 3 四 分 位 と 第 1 四 分 位 の 差 )を 1.5 倍 した 範 囲 で 一 番 大 きな 値 と 一 番 値 小 さな 値 の 線 分 (ヒゲ)を 第 1 四 分 位 の 下 と 第 3 四 分 位 の 上 に 書 き 込 みます さらに ヒゲよ り 外 れた 値 を などで 表 現 します (Tukey の 方 法 ) なぜ 四 分 位 範 囲 の 1.5 倍 以 上 以 下 の 値 を 外 れ 値 とするかは Tukey が 決 めたからという 他 はないようで 真 の 意 味 での 異 常 値 であるかは 慎 重 な 判 断 が 必 要 となります 外 れ 値 四 分 位 範 囲 1.5 の 範 囲 で 四 分 位 範 囲 1.5 一 番 大 きなデータ 75% 点 50% 点 ( 中 央 値 ) 25% 点 四 分 位 範 囲 1.5 外 れ 値 図 - 4 箱 ヒゲ 図 の 意 味 四 分 位 範 囲 1.5 の 範 囲 で 一 番 小 さなデータ 1-4

6 R では 生 データから boxplot() 関 数 で 描 くことができます x<-rorm(200,10,2) # 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 200 個 を 発 生 y<-rorm(200,10,2) # 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 200 個 を 発 生 z<-rorm(200,10,2) # 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 200 個 を 発 生 boxplot(x,y,z) # 箱 ヒゲ 図 を 描 く 図 - 5 箱 ヒゲ 図 例 2.3 散 布 図 (scatter plot) 組 の 対 のデータ x, y 1 をプロットした 図 です R では 2 つの 変 数 については plot() 関 数 で 3 つ 以 上 の 変 数 の 場 合 は pars() 関 数 で 散 布 図 行 列 を 描 くことができます x<-rorm(200,10,2) # 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 200 個 を 発 生 y<-rorm(200,10,2) # 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 200 個 を 発 生 plot(x,y) # 散 布 図 を 描 く y x 図 - 6 散 布 図 の 例 1-5

7 x<-rorm(200,10,2) # 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 200 個 を 発 生 y<-rorm(200,10,2) # 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 200 個 を 発 生 z<-rorm(200,10,2) # 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 200 個 を 発 生 xyz<-matrx(c(x,y,z),200,3)# 新 しい 行 列 を 作 る pars(xyz)# 散 布 図 行 列 を 描 く var var 2 var 図 - 7 散 布 図 行 列 例 3.データの 数 値 要 約 データの 分 布 の 特 徴 をなるべく 簡 単 な 数 値 に 要 約 するには 1) 分 布 の 位 置 (locato) 2) 分 布 の 広 がり(scale)をどのようにして 表 現 するかが 重 要 なポイントとなります また 2 変 数 以 上 の 対 のデータでは 3)データ 間 の 関 連 を 示 す 指 標 も 必 要 になります なお 試 験 ( 実 験 )で 得 られるデータは ある 母 集 団 からランダムに 選 択 された 標 本 として 扱 います 3.1 分 布 の 位 置 (locato)を 表 す 指 標 1) 標 本 平 均 値 (sample mea) 分 布 の 位 置 を 表 す 指 標 として 最 も 頻 繁 に 用 いられるのが( 算 術 ) 平 均 値 です 一 郡 の 和 を 求 める 記 号 (シグマ)を 使 えば x 1 x 1 で 表 現 されます 一 般 的 には 平 均 値 を x (エッ クスバー)とすることが 多 いですが プログラムなどで x と 表 現 することが 難 しいので 本 書 で は X, x, mea と 記 述 する 場 合 もあります 母 集 団 の 平 均 値 ではないことを 強 調 して 標 本 平 mea mea 均 値 としています x<-c(1,2,3,4,5)#データ mea<-mea(x)# 標 本 平 均 値 mea [1] 3 1-6

8 2) 中 央 値 (sample meda) データを 大 小 順 に 並 べた 場 合 ( 順 序 統 計 量 order statstcs)の 真 ん 中 の 値 標 本 数 が 奇 数 ( 2 k 1)ならば 中 央 値 は x k 1 偶 数 ( 2 k )ならば 中 央 値 は x k xk 1 2 となると 説 明 していることが 多 いのですが これは 順 序 統 計 量 に 同 順 位 の 値 (te)がない 場 合 の 説 明 です 同 順 位 の 値 (te)がある 場 合 には 若 干 注 意 が 必 要 です 順 序 統 計 量 1,2,3, 4,5 の 場 合 には 中 央 値 は 3 1,2,3, 4,5,6 では と 分 かりま すが 3,3,4, 4,5,5 のように 同 順 位 の 値 がある 場 合 にはどうでしょうか? この 場 合 には 直 感 的 に4を 中 央 値 とすることは 納 得 のいく 所 です 3,3,4,4,4,5 はどうでしょう? 気 楽 に 4 は 真 ん 中 に 入 っているから 中 央 値 は4と 済 まして しまいましょう こういう 立 場 をとっているのが 種 々の 統 計 ソフトです 通 常 はこれでかまわな いと 思 います x<-c(1,2,3,4,5)#データ meda<-meda(x)# 中 央 値 meda [1] 3 こだわる 方 のために Grmm(1933)の 考 え 方 を 御 紹 介 します Grmm は それぞれの 値 を 表 示 単 位 の 区 間 の 中 点 と 考 え 同 順 位 の 値 はそれぞれ 区 間 内 に 均 等 に 散 らばると 考 える としていま す 例 えば 3,3,4,4,4,5 では 3 は 2 つ 4 は 3 つありますので 均 等 に 散 らばると 考 えると 3 の 2 つで 1/2=0.5 から 2.5,3.5 3 つの 4 では 1/3 0.3 から 33.67,4,4.33 と 考 えますから 3,3,4,4,4,5 は2.5,3.5,3.67, 4, 4.33,5 となって 中 央 値 は となります ここで ある 同 順 位 の 区 間 の 下 限 値 階 級 幅 個 数 をそれぞれ L, h, t として 一 つ 下 の 区 間 ま での 個 数 を L N L としますと N L +1 番 目 N L +2 番 目 1 2 L t h N t h 3 2 L 2 1 2t h です + 番 目 の 値 は L t t h N L + t 番 目 の 値 は 順 に となります すなわち L N 1-7

9 上 述 したように 標 本 数 が 奇 数 ならば 中 央 値 は の 順 位 を c として N L 1 2 が 成 り 立 ちます c 1 2 番 目 ですので 中 央 値 が 含 まれる 階 級 について 解 いて N 1 2 となり c c L L L L 2 1 2t h に 代 入 して 中 央 値 は L N t h L N t h となります 標 本 数 が 偶 数 の 場 合 には 同 様 にして 中 央 値 は 2 L N t h となります L さ い ひ ん ち 3) 最 頻 値 (sample mode) 文 字 通 り 最 も 度 数 が 多 い 値 のことです 英 語 の 読 みをそのままにモードとも 呼 ばれることも あります 最 頻 値 が 2 つあることがありますが この 分 布 は 二 峰 性 (bmodal)と 呼 ばれます また 出 現 頻 度 が 同 じ( 一 様 分 布 等 ) 場 合 には 存 在 しません 4)まとめ 位 置 を 表 す 指 標 としてこの 他 に 重 み 付 平 均 (weghted mea) 幾 何 平 均 (geometrc mea) 調 和 平 均 (harmoy mea)などがありますが 分 布 によって 平 均 中 央 値 最 頻 値 の 関 係 は 変 わってきます 単 峰 性 で 分 布 が 歪 んでいない 場 合 には 平 均 中 央 値 最 頻 値 は 一 致 しますし 二 峰 性 でも 分 布 が 歪 んでない 場 合 には 平 均 値 と 中 央 値 は 一 致 することになります 単 峰 性 で 左 に 寄 った 分 布 では 平 均 < 中 央 値 < 最 頻 値 右 に 寄 った 分 布 では 最 頻 値 < 中 央 値 < 平 均 と 逆 の 順 番 に なります このため 中 央 値 のほうが 平 均 より 堅 牢 であると 言 われます (1,2,3, 4,5,6,7,8,9 )の 平 均 と 中 央 値 は 共 に 5 となりますが (1,2,3,4,5,6,7,8,100 )の 場 合 には 中 央 値 は 5 と 変 化 がなく 平 均 は 136/ と 100 の 極 端 に 離 れた 値 の 影 響 を 受 けることになります すなわち 中 央 値 の ほうが 極 端 に 離 れた 値 の 影 響 を 受 けづらくなっています このように 小 学 校 以 来 使 いなれてきた 平 均 は a) 同 じ 母 集 団 から 抽 出 回 数 を 増 やせば 一 定 の 値 になる b) 多 くの 統 計 量 や 検 定 で 使 われている などのプラス 面 と c) 極 端 な 値 の 影 響 を 受 けや すい d) 打 ち 切 りデータ( 後 述 )に 使 うと 中 心 としての 指 標 としてそぐわないことがある な 1-8

10 どのマイナス 面 もあることも 忘 れてはならないことでしょう 3.2 バラツキ(Varable)の 指 標 データの 特 徴 をつかむためには 位 置 の 指 標 の 他 にバラツキ(Varable)の 指 標 も 必 要 となり ます 例 えば 平 均 値 が 同 じでも 標 準 偏 差 が 異 なる 正 規 分 布 では 図 -8 のように 全 く 異 なる 分 布 となるからです 図 - 8 平 均 が 同 じで 標 準 偏 差 が 異 なる 正 規 分 布 1) 標 本 範 囲 (sample rage) 最 大 値 から 最 小 値 を 引 いた 値 の 最 も 単 純 なバラツキの 指 標 です 平 均 と 同 じく 極 端 に 外 れた 値 の 影 響 を 受 けやすい 値 です 2)パーセンタイル(percetle) 四 分 位 範 囲 四 分 位 偏 差 データを 小 さい 順 に 並 べた 順 位 統 計 量 ( x 1 x 2 x )では x 1 が 最 小 値 x が 最 大 値 とな りますが ある 値 ( x ) 以 下 のデータ 数 が %であるような 順 位 は パーセントタイル 順 位 (percetle rak)と 呼 ばれます そして x 値 を パーセントタイルと 呼 びます このため 50 パーセントタイルは 中 央 値 ( 平 均 値 ではありません)となります パーセンタイルの 中 で 50 パーセントタイルの 他 に 25 パーセントタイル 75%パーセントタ イルがよく 使 われています 4 つの 等 しい 個 数 の 郡 に 分 けたとき1 4(25%),2 4(50%),3 4(75%) にあたる 値 全 体 を 四 分 位 数 (quatle)と 呼 び 順 に 第 1 四 分 位 数 第 2 四 分 位 数 第 3 四 分 位 数 と 呼 ばれています すなわち 25 パーセントタイル= 第 1 四 分 位 数 50 パーセントタイル= 中 央 値 = 第 2 四 分 位 1-9

11 数 75%パーセントタイル= 第 3 四 分 位 数 となります 四 分 位 範 囲 (Iter-Quartle Rage, IQR)は 第 3 四 分 位 数 と 第 1 四 分 位 数 の 間 隔 ですので 中 央 値 付 近 の 50%が 含 まれる 範 囲 を 示 すことになります そして 四 分 位 範 囲 を 2 で 除 した 値 は 四 分 位 偏 差 (Sem Iter-Quartle, SIQR)と 呼 ばれま す SIQR を 使 うと 中 央 値 -SIQR 中 央 値 +SIQR の 間 に 50%の 範 囲 が 含 まれることになります パーセンタイル(percetle) 四 分 位 数 (quatle)は 本 来 順 序 統 計 量 を 意 識 したものです が 累 積 確 率 で 下 から 確 率 p の 位 置 にある 値 を p クォンタイルと 呼 び クォンタイルの 確 率 の 指 定 をパーセントで 行 うときはパーセント 点 (percetle)と 呼 ぶ と 確 率 分 布 までに 拡 張 する 場 合 もあります これに 従 えば 木 材 強 度 の 基 本 値 として 使 われる( 累 積 ) 確 率 5% 値 ( 下 側 5% 値 )は 5%le(5% 値 )と 表 現 することができることになります x<-rorm(200,100,20)# 平 均 100 標 準 偏 差 20 の 正 規 分 布 乱 数 を 200 個 発 生 quatle(x) # x のクォンタイル 点 0% 25% 50% 75% 100% ) 標 本 分 散 (sample Varace) バラツキを 表 すためにある 値 からの 距 離 を 総 和 すれば 良 いと 直 感 的 に 分 かります ある 値 を 平 均 値 ( x )にとり 各 データの 差 の 総 和 x x ところが x は 使 えません x I 1 そこで x x x x 2 x x を 考 えるのは 自 然 です ですので x x x x 0 となり バラツキの 指 標 に 1 1 I 1 の 代 わりに 絶 対 値 (マンハッタン 距 離 )の 総 和 1 x x や 二 乗 の 総 和 を 使 うアイデアが 生 まれましたが 絶 対 値 は 演 算 的 に 扱 いが 厄 介 ということで を 使 うこととし データ 数 ( )の 影 響 を 受 けないように で 除 した 値 の 標 本 分 散 (sample varace)をバラツキの 指 標 として 用 いられています 1-10

12 1 2 v x X 1 の 代 わりに 1( 標 本 自 由 度 )で 除 した 不 偏 1 分 散 (ubased varace)と 呼 ばれる 値 があ ります これは 標 本 データからの 母 集 団 分 散 ( 2 )の 不 偏 推 定 値 (ubased tmate)となり ます 1 v x X R での 分 散 を 求 める 関 数 var( x) は 不 偏 分 散 ( v )を 求 める 関 数 ですので 標 本 分 散 ( v ) 1 を 求 めるためには 変 換 が 必 要 になります v( x) var( x) data<-rorm(200,10,20)# 平 均 10 標 準 偏 差 2 の 正 規 分 布 乱 数 を 200 個 発 生 v<-var(data)# 不 偏 分 散 <-legth(data)# 標 本 の 大 きさ v<-v*(-1)/# 標 本 分 散 > v [1] > v [1] v 4) 標 準 偏 差 (stadard devato) 分 散 の 平 方 を 標 準 偏 差 (stadard devato)と 呼 びます 分 散 はデータ 値 を 二 乗 しています からデータと 次 元 が 異 なりますが 標 準 偏 差 はその 平 方 となっていますので 次 元 がデータと 等 しくなります 上 述 したように 分 散 には 平 方 和 を で 除 した 標 本 分 散 ( v )と 1で 除 した 不 偏 分 散 ( v ) がありますので 各 々に 対 応 して 標 本 標 準 偏 差 ( sd ) 不 偏 標 準 偏 差 ( sd )が 定 義 できます 1 1 sd v x x sd v x x 2 2, なお 不 偏 標 準 偏 差 は 母 標 準 偏 差 ( )の 不 偏 量 ではありません 不 偏 標 準 偏 差 の 不 偏 は 不 偏 分 散 ( sd )からの 値 であるとの 意 味 合 いとなります 1 ある 推 定 量 の 期 待 値 が 推 定 すべき 母 数 に 等 しいとき その 推 定 量 を 不 偏 推 定 量 と 呼 び その 推 定 値 を 不 偏 推 定 値 (ubased tmate)と 呼 ぶ 1-11

13 R での 標 準 偏 差 を 求 める sd( x) は 不 偏 標 準 偏 差 ( sd )を 求 める 関 数 ですので 標 本 標 準 偏 差 ( sd )を 求 めるためには 変 換 するか 標 本 分 散 ( v )の 平 方 根 とする 必 要 があります 1 sd sd( x) v data<-rorm(200,100,20)# 平 均 100 標 準 偏 差 20 の 正 規 分 布 乱 数 を 200 個 発 生 # 不 偏 分 散 から 求 める 関 数 (val())を 使 う 場 合 sd<-var(data)^0.5# 不 偏 標 準 偏 差 <-legth(data)# 標 本 の 大 きさ sd<-sd*((-1)/)^0.5# 標 本 標 準 偏 差 > sd [1] > sd [1] # 不 偏 標 準 偏 差 を 求 める 関 数 (sd())を 使 う 場 合 sd<-sd(data) # 不 偏 標 準 偏 差 <-legth(data)# 標 本 の 大 きさ sd<-sd*((-1)/)^0.5# 標 本 標 準 偏 差 > sd [1] > sd [1] ) 標 本 変 動 係 数 (sample coeffcet of varato) 単 位 が 異 なるデータのバラツキを 比 較 したい 場 合 に 標 本 標 準 偏 差 ( sd )を 平 均 値 で 除 した 標 本 変 動 係 数 (cv )を 使 うことがあります 平 均 値 で 除 すことにより 無 次 元 化 されますので 性 質 が 異 なる 分 布 のバラツキの 比 較 にも 使 用 することができます sd cv x 1 1 x x 2 なお 変 動 係 数 を 母 集 団 統 計 量 とみなして 不 偏 標 準 偏 差 ( sd )を 使 って 定 義 しているもの もあります 本 書 では cv として 用 います x cv 1 V sd 1 1 x x x x x 2 data<-rorm(200,100,20)# 平 均 100 標 準 偏 差 20 の 正 規 分 布 乱 数 を 200 個 発 生 # 不 偏 分 散 から 求 める 関 数 (val())を 使 う 場 合 1-12

14 mea<-mea(data)# 平 均 値 sd<-var(data)^0.5# 不 偏 標 準 偏 差 <-legth(data)# 標 本 の 大 きさ sd<-sd*((-1)/)^0.5# 標 本 標 準 偏 差 cv<-sd/mea# 標 本 変 動 係 数 cv<-sd/mea# 不 偏 変 動 係 数 > cv [1] > cv [1] # 不 偏 標 準 偏 差 を 求 める 関 数 (sd())を 使 う 場 合 mea<-mea(data)# 平 均 値 sd<-sd(data) # 不 偏 標 準 偏 差 <-legth(data)# 標 本 の 大 きさ sd<-sd*((-1)/)^0.5# 標 本 標 準 偏 差 cv<-sd/mea# 標 本 変 動 係 数 cv<-sd/mea# 不 偏 変 動 係 数 > cv [1] > cv [1] わ い ど 4) 標 本 歪 度 (sample skews) 分 布 の 左 右 対 称 性 ( 歪 み)を 表 す 数 値 です 歪 み 度 (ゆがみど ひずみど)と 呼 ぶ 場 合 もあり ます x x x x x x 1 1 ( 1) v 1 sd v sk sk 0 : 左 右 対 称 sk 0 : 右 に 裾 が 長 い( 左 に 偏 った) 分 布 sk 0 偏 った) 分 布 となります : 左 に 裾 が 長 い( 右 に EXCEL や Mathcad では 歪 度 を 求 める 関 数 は SKEW()ですが その 定 義 式 は 次 式 となって います これは 母 集 団 の 歪 度 の 推 定 値 を 与 えるものですから sk として sk と 区 別 しておきます sk 3 x x 1 sd 1 2 sk<-fucto(data)# 標 本 歪 度 {<-legth(data) mea<-mea(data) sum(((x-mea)/sqrt((-1)*var(data)/))^3)/ } sk<-fucto(data)# 歪 度 の 推 定 値 {<-legth(data) mea<-mea(data) /(-1)/(-2)*sum(((x-mea)/sd(data))^3) } 1-13

15 せ ん ど 5) 標 本 尖 度 (sample kurtoss) 分 布 の 尖 りを 計 算 し 正 規 分 布 よりどれだけ 逸 脱 しているかを 表 す 指 標 です 4 4 x x x x ku v 1 v 尖 り 具 合 が ku 0: 正 規 分 布 と 同 じ ku 0: 正 規 分 布 より 尖 っている uk 0: 正 規 分 より 扁 平 という 判 断 となります 母 集 団 尖 度 の 推 定 値 ( ku )は 次 式 となります (EXCEL,Mathcad の KURT() 関 数 ) ku 2 1 x 3 1 x sd 2 3 ku<-fucto(data)# 標 本 尖 度 {<-legth(data) sum((x-mea(data))^4)/(((-1)/*var(data))^2)/-3 } ku<-fucto(data)# 尖 度 の 推 定 値 {<-legth(data) *(+1)*sum(((x-mea(data))/sd(data))^4)/(-1)/(-2)/(-3)-3*(-1)^2/(-2)/(-3) } 6)まとめ 平 均 は 中 央 値 に 比 べて 外 れ 値 の 影 響 を 受 けやすいと 述 べましたが バラツキも 指 標 の 範 囲 分 散 標 準 偏 差 は 四 分 位 範 囲 に 比 べて 外 れ 値 の 影 響 を 受 けやすくなります データのバラツキの 要 約 として 分 散 ( 標 準 偏 差 )だけではなく 中 央 値 四 分 位 範 囲 も 求 めて おくことをお 奨 めします 3.3 対 のデータ 間 の 関 係 指 標 曲 げヤング 係 数 と 曲 げ 強 度 のように 組 の 対 のデータ x, y 1 が 得 られている 場 合 に その 対 のデータ 間 の 関 係 を 示 す 指 標 です 1)ピアソンの 積 率 相 関 係 数 (Pearso s Product Momet Correlato Coeffcet) 1-14

16 X とY の 標 本 共 分 散 を X の 標 本 分 散 とY の 標 本 分 散 の 平 方 で 除 した 値 のことであり 一 般 的 に 相 関 係 数 と 言 った 場 合 にはピアソンの 積 率 相 関 係 数 のことを 指 します 1 x x y y x x y y S xy 1 1 r Sxx S yy x x y y x x y y r 1であり r が 1 に 近 ければ 近 いほど 関 係 ( 相 関 )があることになり r 0 ならば 正 の 相 関 r 0 ならば 負 の 相 関 と 呼 ばれます 相 関 関 係 は 変 量 間 の 関 係 ですので その 関 係 が 線 形 非 線 形 であっても 問 題 ありませんが ピ アソンの 積 率 相 関 係 数 ( r )は 2 つの 変 量 が 正 規 分 布 に 従 い かつ 線 形 関 係 にある 場 合 に 相 関 関 係 の 強 さを 最 もうまく 表 現 できることを 忘 れてはならないでしょう また 非 線 形 の 相 関 関 係 を 捉 える 方 法 としては 1) 線 形 になるように 対 数 変 換 をほどこす 2) 順 位 の 情 報 だけを 使 って 相 関 係 数 を 使 う などの 方 法 があります 1)の 方 法 では 変 換 することにより 元 の 分 布 形 の 情 報 が 保 持 されていることが 保 証 されません ので 2)の 方 法 がベターです この 他 の 相 関 係 数 としては 順 序 統 計 量 扱 いのスピアマンの 順 位 相 関 係 数 (Spearma s Correlato Coeffcet) ケンドールの 順 位 相 関 係 数 (Kedall s Correlato Coeffcet)があ ります cor(x,y)#ピアソンの 相 関 係 数 cor(x,y,method="kedall")#ケンドールの 相 関 係 数 cor(x,y,method="spearma")#スピアマンの 相 関 係 数 4. 計 算 例 ステップ 0 データのインポート 何 はさておき データを 用 意 する 必 要 があります データ 数 が 少 ない 場 合 は 直 接 R に 入 力 し てもかまわないのですが 入 力 ミスをした 場 合 など 修 正 しづらいので 使 い 慣 れたエディッタや 1-15

17 EXCEL Opeoffce などで 入 力 し テキスト(タブ 区 切 り) または CSV(カンマ 区 切 り) データ 用 意 します データの1 行 目 には 変 数 名 を 記 入 します CSV(カンマ 区 切 り) テキスト(タブ 区 切 り) MOE,MOR MOE MOR 12.3, , , , , , , , , データを 読 み 込 み 読 み 込 みます テキスト(タブ 区 切 り)ファイルとして 作 業 ディレクトリに TEST.dat CSV(カンマ 区 切 り) ファイルとして TEST.csv があるものとします > xy<- read.table("tt.dat", header=true)#テキスト(タブ 区 切 り)ファイル 読 込 > xy<- read.csv("tt.csv", header=true)#csv(カンマ 区 切 り)ファイル 読 込 データが 読 み 込 まれたかどうか 確 認 するためにデータの 数 を 求 めてみましょう ( 必 須 ではあり ません) > xy<-read.table("データ.csv",header=true,sep=",")#データ 読 込 > x<-xy$x#x データセット > y<-xy$y#y データセット > legth(x)#データの 大 きさの 確 認 [1] 120 > legth(y)#データの 大 きさの 確 認 [1] 120 さの 確 認 [1]

18 ステップ 1 図 表 現 1)ヒストグラム > hst(moe)#moe のヒストグラム > hst(mor)#mor のヒストグラム Hstogram of y Hstogram of x Dty Dty x y 箱 ヒゲ 図 >boxplot(x)#x の 箱 ヒゲ 図 > boxplot(x)#y の 箱 ヒゲ 図 散 布 図 > plot(x,y)# 散 布 図 あるいは > plot(xy)# 散 布 図 1-17

19 y x ステップ 2 数 値 要 約 最 小 値 第 1 四 分 位 数 中 央 値 標 本 平 均 第 3 四 分 位 数 最 大 値 を 求 める summary() 関 数 を 使 います > summary(x)#x の 最 小 値 第 1 四 分 位 数 中 央 値 標 本 平 均 第 3 四 分 位 数 最 大 値 M. 1st Qu. Meda Mea 3rd Qu. Max > summary(y)#y の 最 小 値 第 1 四 分 位 数 中 央 値 標 本 平 均 第 3 四 分 位 数 最 大 値 M. 1st Qu. Meda Mea 3rd Qu. Max クォンタイル 点 を 求 める > quatle(x) #x のクォンタイル 点 0% 25% 50% 75% 100% > quatle(y) #y のクォンタイル 点 0% 25% 50% 75% 100% 分 散 ( v, v ) 標 準 偏 差 ( sd, sd ) 変 動 係 数 ( cv, cv ) 歪 度 ( sk, sk ) 尖 度 ( ku, ku ) を 求 める 求 める 関 数 を 定 義 します 1-18

20 vsdvdkkucal<-fucto(data)# 分 散 標 準 偏 差 変 動 係 数, 歪 度 尖 度 の 算 出 関 数 { me<-mea(data)# 平 均 値 <-legth(data)#データの 大 きさ v<-var(data)# 不 偏 分 散 v<-(-1)/*v# 標 本 分 散 sd<-sd(data)# 不 偏 標 準 偏 差 sd<-sd/((-1)/)^0.5# 標 本 標 準 偏 差 cv<-sd/me # 不 偏 標 準 偏 差 を 用 いた 変 動 係 数 cv<-sd/me# 標 本 変 動 係 数 sk<-sum(((data-me)/sd)^3)/# 標 本 歪 度 sk<-/(-1)/(-2)*sum(((data-me)/sd)^3)# 歪 度 の 推 定 値 ku<-sum(data-me)^4/(((-1)/*v)^2)/-3# 標 本 尖 度 ku<-*(+1)*sum(((data-μ)/sd(data))^4)/(-1)/(-2)/(-3)-3*(-1)^2/(-2)/(-3)# 尖 度 の 推 定 値 ata<-c("mea"=me,"v"=v,"v"=v,"sd"=sd,"sd"=sd,"cv"=cv,"cv"=cv,"sk"=sk,"sk"=sk,"ku"=ku,"ku "=ku) } この 関 数 を 使 った 場 合 の 結 果 です > ata<-vsdvdkkucal(x) > ata v v sd sd sk sk ku ku > ata<-vsdvdkkucal(y) > ata v v sd sd sk sk ku ku