PowerPoint プレゼンテーション

Transcription

1 自 主 学 習 セミナー 第 2 回 ExcelとRを 用 いた 統 計 処 理 の 実 際 使 用 する 項 目 に チェックを 入 れる 右 クリックで 複 数 追 加 使 用 できる Excelのピボットテーブル 集 計 方 法 ( 合 計 データ の 個 数 平 均 最 大 値 最 小 値 積 数 値 の 個 数 標 本 標 準 偏 差 標 準 偏 差 分 散 ) 計 算 の 種 類 ( 比 率 累 計 順 位 など) フィルター 処 理 により データを 選 択 する 場 合 内 容 を 列 の 項 目 名 として 展 開 する 場 合 内 容 を 行 の 項 目 名 として 展 開 する 場 合 各 行 に 対 応 して 種 々の 数 値 集 計 する 場 合 はこ こに 入 れる ( 値 フィールドの 設 定 で 集 計 方 法 計 算 の 種 類 を 選 ぶ)

2 Excelの 統 計 処 理 統 計 関 数 統 計 関 数 [ 数 式 ] [その 他 の 関 数 ] [ 統 計 ] 基 本 統 計 量 平 均 AVERAGE 範 囲 選 択 OK メディアン MEDIAN 範 囲 選 択 OK 四 分 位 QUARTILE.INC 配 列 の 範 囲 指 定 戻 り 値 ( 最 小 :0 25%:1 50%:2 75%:3 最 大 値 :4) 標 本 標 準 偏 差 STDEV.S 範 囲 選 択 OK 検 定 (p 値 が 表 示 されます) t 検 定 T.TEST 配 列 1の 範 囲 選 択 配 列 2の 範 囲 選 択 検 定 の 指 定 ( 片 側 :1 両 側 :2) 検 定 の 種 類 ( 対 応 あり:1 対 応 なし 等 分 散 :2 対 応 なし 不 等 分 散 :3) χ2 検 定 CHISQ.TEST 実 測 範 囲 選 択 対 応 する 期 待 値 範 囲 選 択 < 期 待 値 範 囲 の 作 り 方 > クロス 表 期 待 値 範 囲 A1 B1 C1=A1+B1 A2 B2 C2=A2+B2 A3=A1+A2 B3=B1+B2 C3=A1+A2+B1+B2 C1*A3/C3 C2*A3/C3 相 関 と 回 帰 相 関 係 数 CORREL 配 列 1の 範 囲 選 択 配 列 2の 範 囲 選 択 回 帰 式 の 傾 き SLOPE yの 範 囲 選 択 xの 範 囲 選 択 回 帰 式 のy 切 片 INTERCEPT yの 範 囲 選 択 xの 範 囲 選 択 C1*B3/C3 C2*B3/C3

3 Excelの 統 計 処 理 分 析 ツール 配 列 数 式 分 析 ツール [データ] [データ 分 析 ] 基 本 統 計 量 ヒストグラム t 検 定 分 散 分 析 相 関 回 帰 分 析 など 分 析 ツールの 登 録 [ファイル ] [オプション] [アドイン] 管 理 Excelアドイン [ 設 定 ] 分 析 ツール としておく 市 販 アドインツール エクセル 統 計 2015 アカデミック 版 20,000 配 列 数 式 = 関 数 (IF( 条 件 範 囲 の 条 件 設 定, 計 算 対 象 範 囲,"")) Shift + Ctrl + ENTER 条 件 付 き 基 本 統 計 量 を 求 める 例 ) 条 件 付 き 中 央 値 =MEDIAN(IF(C2:C30= 女, ),F2:F30) 条 件 が 複 数 ある 場 合 AND 条 件 条 件 範 囲 の 条 件 設 定 = ( 条 件 設 定 1) * ( 条 件 設 定 2)----- * ( 条 件 設 定 n) OR 条 件 条 件 範 囲 の 条 件 設 定 = ( 条 件 設 定 1) + ( 条 件 設 定 2) ( 条 件 設 定 n) とする 例 ) 複 数 条 件 付 き 中 央 値 =MEDIAN(IF((C2:C30= 女 )*(D2:D30>=70), ),F2:F30) 条 件 付 き 検 定 例 ) 条 件 付 きt 検 定 =T.TEST(IF(C2:C30= 男,F2:F30,""),IF(C2:C30= 女,F2:F30,""),2,3) T.TEST( 条 件 付 き 範 囲 1, 条 件 付 き 範 囲 2, 両 側, 不 等 分 散 )

4 Rによる 統 計 処 理 準 備 Rのダウンロード サイト:The Comprehensive R Archive Network (CRAN) 以 下 のどれか?Download R for Linux?Download R for (Mac) OS X?Download R for Windows Download R for Windows install R for the first time Download R for Windows( 現 時 点 で 最 新 ) インストール R win.exe をクリックし ウイザードに 従 ってインストールする 途 中 Message translations にはチェックを 入 れておくこと( 日 本 語 化 のため) 起 動 Rを 起 動 [ファイル] [ 作 業 スペースの 保 存 ] ( 予 め 作 っておいた 作 業 用 フォルダ) フォルダ 内 に R.Rdata が 作 成 されます 以 後 の 作 業 は 作 業 用 フォルダ 内 で R.Rdata をクリックしてから 開 始 します パッケージの 読 み 込 み [パッケージ] [パッケージの 読 み 込 み] で 既 登 録 のパッケージを 読 み 込 めます ここにないパッケージはミラーサイトからダウンロードします < 例 えば 日 本 のミラーサイトの 場 合 は> [パッケージ] [パッケージのインストール] (HTTP mirrors) Japan (Tokyo) パッケージ

5 Rによる 統 計 処 理 データとファイル データファイルの 準 備 質 的 変 数 は 数 値 の1-0に 変 換 しておきます CSVファイルの 読 み 込 み (CSVファイル d.csv をデータオブジェクト d に 読 み 込 むコマンド) > d <- read.csv("d.csv") 項 目 名 ヘッダがない 場 合 は read.csv( d.csv, header=false)とします データオブジェクトをcsvに 書 き 出 す 時 は >write.csv(d, "d.csv")とします データオブジェクトでのセルの 表 現 d[ 行, 列 ] とし d[1,] は1 行 目 d[,2]は2 列 目 d[1,2:10]は1 行 目 の2~10 列 となる 項 目 行 は 含 まれません 本 日 は 下 記 のサンプル(dvt.csv)を 使 用 し DVTの 予 測 式 をロジスティック 回 帰 で 作 成 します DVT Age Sex BMI Ddimer olddvt HT CHF DM Lipid Brain MI Cancer Liver Kidney OA

6 多 重 ロジスティック 回 帰 と 変 数 選 択 法 について 多 重 ロジステック 回 帰 一 般 化 線 形 モデル(GLM)の 一 つ 線 形 回 帰 を 確 率 ( p 0~1の 値 域 )で 表 現 する log p 1 p = β 0 + β 1 x 1 + β 2 x 2 + +β n x n 書 き 換 えて p = 1 1+e β 0+β1x1+β2x2+ +βnxn 量 的 変 数 質 的 変 数 交 差 変 数 が 混 在 できる 多 変 量 の 変 数 選 択 法 赤 池 の 情 報 量 基 準 AIC= 2 ( 最 大 対 数 尤 度 - 自 由 パラメーターの 数 ) AICが 小 さい 値 を 示 すほうのモデルを 選 ぶ 正 則 化 回 帰 分 析 ( 正 則 化 最 小 二 乗 法 ) モデルと 推 定 値 の 差 の 二 乗 和 に 正 則 化 項 を 加 えた 誤 差 評 価 式 (y i y i ) 2 + λp(θ) を 最 小 にするパラメーターベクトルθを 求 める Lasso 回 帰 (L1 正 則 化 )の 場 合 P(θ) は θ i

7 Rによる 統 計 処 理 多 重 ロジスティック 回 帰 と 変 数 選 択 多 重 ロジスティック 回 帰 一 般 化 線 形 回 帰 式 glm() を 結 果 オブジェクト rs に 代 入 します > rs <- glm(formula=y~x1+x2+x3 +xn, data=d, family=binomial(logit)) 変 数 の 相 互 関 係 も 検 討 する 場 合 は formula=y~x1*x2*x3 *xnとします familyで 分 布 型 を 指 定 します ロジスティック 回 帰 ではbinomial(logit)です familyとリンク 関 数 には 以 下 の 例 があります モデル 分 布 family リンク 関 数 正 規 分 布 gaussian identity, log, inverse ポアソン 分 布 poisson identity, log, sqrt 二 項 分 布 binomial logit, probit, log など logit; 線 形 式 =log(p/(1-p)) pがロジステック 分 布 になる probit;pが 正 規 分 布 になる log; 線 形 式 =log(p) pが 指 数 分 布 になる 多 変 量 の 変 数 選 択 AIC パッケージ MASS 関 数 stepaic() を 使 用 (ダウンロード 必 要 ) > stepaic(rs, direction="both", scope=list(upper=~x1+x2+x3 +xn, lower=~1)) 増 減 法 の 使 用 変 数 上 限 は 全 説 明 変 数 下 限 は 定 数 項 のみと 指 定 しています directionは both( 増 減 法 ) backward( 減 少 法 ) forward( 増 加 法 ) で 選 択 Lasso 回 帰 パッケージ glmnet 関 数 glmnet() を 使 用 (ダウンロード 必 要 ) > lasso <- glmnet(x, y, family="binomial", alpha=1) データオブジェクトdは Matrix 形 式 x, yに 変 換 しておきます alphaは 1がLasso 回 帰 0がRidge 回 帰 0~1が 併 用 (Elastic net)になります

8 Rによる 統 計 処 理 サンプルを 使 った 実 際 の 作 業 例 一 般 化 線 形 回 帰 関 数 による 多 重 ロジスティック 回 帰 分 析 > d <- read.csv( DVT.csv ) csvをdに 読 み 込 み > rs <- glm(formula=dvt~age+sex+bmi+ddimer+olddvt+ht+chf+dm+lipid+brain+mi+cancer+liver+kidney +OA, data=d, family=binomial(logit)) 回 帰 の 結 果 をrsに 入 れる > summary(rs) 係 数 の 一 覧 表 示 AICによる 変 数 選 択 ( 変 数 増 減 法 ) > library(mass) > rs2 <- stepaic(rs, direction="both", scope=list(upper=~age+sex+bmi+ddimer+olddvt+ht+chf+dm+lipid +Brain+MI+Cancer +Liver+Kidney+OA, lower=~1)) 変 数 選 択 結 果 をrs2に 入 れる > summary(rs2) 選 択 された 係 数 の 一 覧 Lasso 回 帰 > library(glmnet) > x <- as.matrix(d[,2:16]) dの 説 明 変 数 をMatrix 形 式 に 変 更 > y <- as.matrix(d[,1]) dの 応 答 変 数 をMatrix 形 式 に 変 更 > lasso <- glmnet(x, y, family= binomial, alpha=1) Lasso 回 帰 はalpha=1 > plot(lasso) 係 数 とその 絶 対 値 和 の 関 係 図 示 > coef(lasso) 係 数 セットの 一 覧 > cvfit <- cv.glmnet(x, y, family= binomial, alpha=1) 交 差 検 証 によるλと 誤 差 との 関 係 > plot(cvfit) log(λ)と 誤 差 との 関 係 の 図 示 > coef(cvfit, s= lambda.min ) 誤 差 最 小 時 のλに 対 応 する 係 数 > p <- predict(cvfit, s= lambda.min, newx=x) 線 形 式 の 予 測 値 p > L <- 1/(1+exp(-p)) ロジスティック 式 の 予 測 値 L > write(l, output.txt, ncolumns=1) 予 測 値 のファイル 出 力