異 文 化 言 語 教 育 評 価 ⅠA 第 8 章 回 帰 分 析 平 成 26 年 7 月 2 日 報 告 者 :H.W. 8-1 回 帰 分 析 とは 回 帰 分 析 : 変 数 間 の 因 果 関 係 や 方 向 性 を 想 定 して 1つまたは 複 数 の 独 立 変 数 から 従 属 変 数 の 予 測 の 大 きさ( 説 明 率 )を 検 討 する 場 合 に 用 いる 単 回 帰 分 析 :1つの 独 立 変 数 から 予 測 重 回 帰 分 析 : 複 数 の 独 立 変 数 から 予 測 例 )アパートを 借 りる 場 合 の 条 件 ( 独 立 変 数 )から アパートの 家 賃 ( 従 属 変 数 )を 予 測 することができる 独 立 変 数 従 属 変 数 駅 からの 距 離 築 年 数 予 測 測 アパートの 家 賃 部 屋 の 広 さ ああ パラメトリック 検 定 だが 従 属 変 数 および 独 立 変 数 ともに 間 隔 尺 度 または 比 率 尺 度 に 2 値 の 名 義 データ( 例 : 木 造 鉄 筋 )を 加 えて 重 回 帰 分 析 を 行 うことができる 8-1-1 単 回 帰 分 析 と 単 回 帰 式 1つの 独 立 変 数 から 従 属 変 数 を 予 測 することを 単 回 帰 分 析 という 単 回 帰 式 :Y =b1x + b0 定 数 Y : 従 属 変 数 目 的 変 数 ともよぶ( 例 : 期 末 テストの 得 点 ) Y : 予 測 値 回 帰 式 (モデル)で 予 測 された 値 ( 例 :i 番 目 の 観 測 値 ; 図 8.1 の Yi ) X : 独 立 変 数 説 明 変 数 または 予 測 変 数 ともよぶ 予 測 に 用 いられる 変 数 b1 : 回 帰 係 数 独 立 変 数 が 従 属 変 数 に 与 える 影 響 力, 直 線 の 傾 き b 0 : 定 数 回 帰 直 線 が 縦 軸 と 交 わる 点, 切 片 例 ) 期 末 テストの 予 測 点 =(b1 勉 強 量 )+b0( 普 段 の 勉 強 でとれる 得 点, 常 に 変 わらない 値 ) 回 帰 係 数 (b1)および 定 数 (b 0 )の 値 は 回 帰 直 線 が 実 際 のデータに 最 もよく 適 合 するよ うに 計 算 される その 計 算 式 を 導 く 方 法 として 最 小 2 乗 法 がある 残 差 平 方 和 =Σ( 観 測 値 - 予 測 値 ) 2 残 差 平 方 和 が 最 小 になるよう 計 算
8-1-2 重 回 帰 分 析 と 重 回 帰 式 複 数 の 独 立 変 数 から 従 属 変 数 を 予 測 することを 重 回 帰 分 析 という 重 回 帰 式 は 単 回 帰 式 の 応 用 で 複 数 の 独 立 変 数 が 式 に 追 加 された 直 線 モデル 重 回 帰 式 : Y = b1x1+b2x2+b3x3 + b0 変 動 する 部 分 定 数 Y : 予 測 値 重 回 帰 式 (モデル)で 予 測 された 値 X1,X2,X3: 独 立 変 数 b1, b2, b3: 各 独 立 変 数 の 偏 回 帰 係 数 例 ) 家 賃 =(b1 駅 からの 距 離 +b2 築 年 数 +b3 部 屋 の 広 さ)+b0( 定 数, 基 準 家 賃 ) 駅 からの 距 離 の 偏 回 帰 係 数 (b1)が 1500 だったとすると: 1km 離 れたアパートは 家 賃 が 1,500 円 ( 1500 1) 安 くなる 10 km 離 れたアパートは 家 賃 が 15,000 円 ( 1500 10) 安 くなる 各 独 立 変 数 (b1, b2, b3)の 影 響 力 を 比 較 する 場 合 : 従 属 変 数 および 全 ての 独 立 変 数 の 平 均 を 0 分 散 を 1 に 標 準 化 する そのときの 偏 回 帰 係 数 を 標 準 ( 化 ) 偏 回 帰 係 数 とよび 1 に 近 いほど 影 響 力 が 大 きいといえる 偏 回 帰 係 数 の 解 釈 ( 留 意 点 ) 1 重 回 帰 式 は 従 属 変 数 (Y, 家 賃 )を 変 化 させる 部 分 (b1x1+b2x2+b3x3)と 変 化 さ せない 部 分 (b0)から 成 り 立 っている 定 数 部 分 (b0, 基 準 家 賃 )の 割 合 が 変 動 する 部 分 (b1x1+b2x2+b3x3)よりかなり 大 きい 場 合 いくら 偏 回 帰 係 数 (b1,b2,b3)が 大 きくても 独 立 変 数 ( 駅 からの 距 離 築 年 数 部 屋 の 広 さ)の 従 属 変 数 全 体 ( 家 賃 )に 及 ぼす 影 響 は 小 さくなる 例 ) 定 数 (b0)が 30 万 円 の 場 合 : 偏 回 帰 係 数 (b1,b2,b3)によって 家 賃 を 変 動 させることができる 割 合 は 全 体 として 小 さ くなり どのような 条 件 でも 比 較 的 家 賃 が 高 くなる 2 偏 回 帰 係 数 の 大 きさは 従 属 変 数 ( 家 賃 )と 独 立 変 数 ( 駅 からの 距 離 築 年 数 部 屋 の 広 さ)との 因 果 関 係 の 強 さまでは 示 していない 偏 回 帰 係 数 を 因 果 関 係 の 強 弱 として 解 釈 する 場 合 は 理 論 的 な 根 拠 が 必 要 になる 3 標 準 偏 回 帰 係 数 は 単 独 では 従 属 変 数 ( 家 賃 )に 対 して 大 きな 影 響 力 を 持 つ 独 立 変 数 で あっても 他 の 独 立 変 数 の 従 属 変 数 への 予 測 力 に 影 響 され どのような 変 数 を 投 入 する かによって 標 準 偏 回 帰 係 数 が 小 さい 値 になったり ときに 負 の 値 になったりすること がある 2
従 属 変 数 と 独 立 変 数 の 関 係 だけでなく 独 立 変 数 同 士 の 相 関 や 多 重 共 線 性 の 問 題 (p161) などを 考 慮 に 入 れて 解 釈 する 必 要 がある 8-1-3 重 相 関 係 数 と 決 定 係 数 重 回 帰 分 析 によって 示 されるもの 1. 偏 回 帰 係 数 b1, b2, b3: 個 々の 独 立 変 数 の 予 測 力 を 示 したもの 2. 重 相 関 係 数 R: 独 立 変 数 全 体 から 得 られた 従 属 変 数 との 相 関 を 示 したもの 単 回 帰 分 析 の 場 合 : 算 出 されるR は 従 属 変 数 との 相 関 係 数 となり 標 準 回 帰 係 数 と 同 じになる 3. 決 定 係 数 R 2 : 独 立 変 数 全 体 でどのくらい 従 属 変 数 を 説 明 しているかを 示 したもの 決 定 係 数 は 回 帰 式 のあてはまりの 良 さを 表 しており 1に 近 いほ どあてはまりがよいといえる 決 定 係 数 の 算 出 にあたり3 種 類 の 分 散 が 算 出 される 1 SST: 平 均 と 個 々の 観 測 値 の 差 の 2 乗 を 足 し 合 わせた 全 平 方 和 ( 全 変 動 )のこと 従 属 変 数 の 平 均 が 観 測 値 のモデルとしてどの 程 度 適 切 であるかを 表 す ( 傾 き 0 の 場 合 の 分 散 ) 2 SSR: 残 差 平 方 和 のこと 観 測 値 が 回 帰 直 線 からどの 程 度 ずれているかを 表 す 3 SSM:SST から SSR を 引 いた 平 方 和 で 回 帰 直 線 による 変 動 のこと 従 属 変 数 の 平 均 値 より 回 帰 直 線 を 予 測 に 使 うことで どの 程 度 予 測 がよくなった かを 示 す 決 定 変 数 (R 2 )は 全 変 動 (SST)に 対 する 回 帰 直 線 による 変 動 (SSM)の 割 合 を 示 す F 検 定 ( 分 散 分 析 ) 決 定 係 数 が 有 効 かどうか つまり 従 属 変 数 の 平 均 を 使 うより 回 帰 式 のほうが 観 測 値 のあ てはまりがよいかの 検 定 結 果 が 図 8.3(p160)のように 表 示 される 有 意 でない 場 合 はモデルを 使 って 予 測 する 意 義 がないことを 示 す 8-2 回 帰 分 析 を 行 う 際 の 注 意 点 8-2-1 回 帰 分 析 の 前 提 特 に 重 回 帰 分 析 を 行 う 場 合 には 関 わってくる 前 提 が 多 く 注 意 が 必 要 3
(1) サンプルサイズと 質 信 頼 性 のある 決 定 係 数 を 得 るために 50+8k(k= 独 立 変 数 の 数 )のサンプルが 必 要 各 独 立 変 数 の 有 意 性 を 検 定 するに 104+k(k= 独 立 変 数 の 数 )のサンプルが 必 要 誤 差 の 少 ない 信 頼 性 の 高 いデータであることが 望 ましい 高 い 説 明 率 ( 独 立 変 数 がどのくらい 従 属 変 数 を 説 明 できているか)が 期 待 できる のであればサンプルサイズは 80 で 十 分 だが 高 い 説 明 率 が 期 待 できないのであ れば サンプルサイズは 200 以 上 必 要 となる 制 限 付 きデータであれば 正 確 な 分 析 はできない (2) 多 重 共 線 性 独 立 変 数 間 で 非 常 に 高 い 相 関 がある 場 合 回 帰 式 の 信 頼 性 が 低 くなる 場 合 がある この ような 独 立 変 数 間 の 関 係 から 生 じる 問 題 を 多 重 共 線 性 という 独 立 変 数 間 の 相 関 係 数 が.80 以 上 であれば(.90 以 上 であれば 必 ず) 多 重 共 線 性 を 疑 う 必 要 がある さらに 許 容 度 と VIF の 指 標 で 多 重 共 線 性 が 発 生 していないか 診 断 する 例 ) 駅 からの 距 離 駅 からの 所 要 時 間 が 独 立 変 数 の 場 合 よく 似 た 変 数 であるため 高 い 相 関 があると 考 えられる 相 関 係 数 をチェック+ 許 容 度 と VIF の 指 標 をチェック 1 許 容 度 :ある 独 立 変 数 を 従 属 変 数 として 他 の 独 立 変 数 群 から 予 測 した 場 合 に 得 られる 決 定 係 数 の 値 を 1から 引 くことで 求 められます 引 いた 値 が.10 以 下 のときに 多 重 共 線 性 が 生 じていると 判 断 される(p169; 図 8.12) 2 VIF の 指 標 : 許 容 度 の 逆 数 (VIF=1/ 許 容 度 )で 10 以 上 であると 多 重 共 線 性 が 発 生 し ているとされる 10 未 満 であっても 10 に 近 い 値 になっていれば 注 意 が 必 要 (p169; 図 8.12) 多 重 共 線 性 が 生 じていると 判 断 できる 場 合 の 対 策 相 関 の 高 い 2 つの 独 立 変 数 のうち 1つを 分 析 から 外 す 相 関 の 高 い 2 つの 独 立 変 数 の 平 均 値 あるいは 因 子 得 点 (p199)などの 合 成 得 点 を 使 う (3) 外 れ 値 回 帰 直 線 は 外 れ 値 に 大 きく 影 響 されるので データに 外 れ 値 が 含 まれていないかを 事 前 に 調 べる 必 要 がある 1 残 差 : 各 データの 残 差 を 標 準 値 (z 得 点 )に 変 換 し その 標 準 偏 差 ±2SD または±3 SD 以 上 の 値 の 割 合 を 調 べる(p167; 図 8.8,p170; 図 8.14) ±2SD 以 上 の 値 をとるデータの 数 が 全 体 の 5% 以 内 であれば 問 題 ない ±2.5SD 以 上 の 値 をとるデータの 数 が 全 体 の 1% 以 内 であれば 問 題 ない 0.1% 以 下 の 確 率 で 起 こる±3.3SD 以 上 の 値 は 検 討 の 余 地 がある( 残 差 ) 4
2 クックの 距 離 :データが 回 帰 式 全 体 に 与 える 影 響 を 示 す 指 標 であり この 値 が 1 以 上 で あれば 問 題 があると 考 えられる(p168; 図 8.9,p170; 図 8.15) 3 てこ 比 : 各 ケースにおける 複 数 の 変 数 データが 全 体 の 平 均 からどの 程 度 ずれているかを 示 す 指 標 で 0 から 1 までの 値 をとる この 値 が 平 均 てこ 比 (p162; 式 8.10)で 求 め られる 値 の 3 倍 以 上 の 値 をとるケースは 問 題 がある(p168; 図 8.9,p170; 図 8.15) 4 マハラノビス 距 離 : 複 数 の 独 立 変 数 における 各 データの 平 均 が 交 差 する 重 心 と 各 ケース のデータの 距 離 を 示 す 指 標 であり この 値 が 大 きいデータは 外 れ 値 である 可 能 性 がある マハラノビスの 表 を 参 考 にカットポイントを 決 める(p168; 図 8.9,p170; 図 8.15) てこ 比 と 同 じような 外 れ 値 が 検 出 されるので いずれか 一 方 の 指 標 を 用 いればよい (4) 残 差 の 独 立 性 正 規 性 等 分 散 性 線 形 性 回 帰 分 析 では 残 差 に 関 して1 独 立 性 2 正 規 性 3 等 分 散 性 4 線 形 性 の 4 つが 満 た されているという 前 提 がある 1 独 立 性 :どの 独 立 変 数 の 残 差 間 にも 相 関 がないという 前 提 ダービン ワトソン 検 定 (p167; 図 8.8,p168; 図 8.11)で 調 べることができる 0 から 4 までの 値 をとり この 値 が 2 に 近 いほどよいと 考 えられる 2 正 規 性 : 残 差 の 散 布 図 やヒストグラムを 作 成 し データが 正 規 分 布 していることを 確 認 する(p168; 図 8.10,p171; 図 8.16) 前 提 が 満 たされない 場 合 データの 変 換 線 形 回 帰 分 析 から 非 線 形 回 帰 のロジスティック 回 帰 分 析 への 切 り 替 え 3 等 分 散 性 : 独 立 変 数 がどの 値 のときも 残 差 分 散 は 同 じである( 等 質 性 がある) 必 要 があ る つまり 残 差 は 予 測 した 回 帰 直 線 に 沿 って 同 じように 散 らばっていることが 望 まし い (p168; 図 8.10,p171; 図 8.17) かなり 異 なっている 場 合 (p163; 図 8.4(b,d)) 不 等 分 散 性 があり その 他 の 要 因 が 予 測 に 影 響 していると 考 えられる 4 線 形 性 : 線 形 回 帰 分 析 の 場 合 残 差 は 予 測 値 (Y )と 線 形 関 係 にある 必 要 がある (p163; 図 8.4(a)) これは 標 準 残 差 と 標 準 予 測 値 の 関 係 を 散 布 図 にして 調 べることが できる(p168; 図 8.10,p171; 図 8.18) 線 形 の 関 係 が 成 り 立 っていない 場 合 (p163; 図 8.4(c,d)) 線 形 回 帰 分 析 から 非 線 形 回 帰 のロジスティック 回 帰 分 析 への 切 り 替 え 5
8-2-2 投 入 法 重 回 帰 式 が 有 意 でも モデルに 投 入 された 全 ての 独 立 変 数 が 有 意 とは 限 らないので 重 回 帰 式 の 有 意 性 と 各 独 立 変 数 の 有 意 性 とは 別 に 考 える 必 要 がある 独 立 変 数 をどの 順 序 で 重 回 帰 式 に 投 入 するかによって 各 独 立 変 数 の 有 意 性 および 偏 回 帰 係 数 が 変 化 する 目 的 に 合 った 投 入 法 を 用 いて 解 釈 することが 大 切 (1) 強 制 投 入 法 : 全 ての 独 立 変 数 を 一 度 に 投 入 する 方 法 全 ての 独 立 変 数 でどの 程 度 従 属 変 数 を 説 明 することができるのか また 従 属 変 数 の 予 測 における 各 独 立 変 数 の 独 自 の 寄 与 がどの 程 度 であるかを 調 べるのに 使 用 する 関 係 のない 独 立 変 数 であっても 分 析 に 投 入 されると 決 定 係 数 は 大 きくなるため 本 当 に 重 要 な 変 数 を 過 少 評 価 することにつながる そのため 理 論 や 仮 説 にもと づいて 慎 重 に 選 んだ 独 立 変 数 のみを 投 入 するようにする 予 測 に 有 効 な 独 立 変 数 のみで 再 分 析 を 行 い 回 帰 式 および 決 定 係 数 を 算 出 するこ ともある (2) 階 層 的 投 入 法 ( 階 層 的 回 帰 分 析 ): 理 論 や 仮 説 に 基 づいて 独 立 変 数 を 一 つずつ 投 入 して 行 く 方 法 従 属 変 数 の 予 測 に 重 要 とされる 変 数 から 投 入 することで 理 論 的 に 優 先 する 独 立 変 数 の 説 明 率 を 調 べるために 使 用 する 強 制 投 入 法 の 分 析 後 に 行 うことで 各 独 立 変 数 の 説 明 率 が 変 化 する 過 程 を 確 認 で きる (3) ステップワイズ 投 入 法 ( 統 計 的 回 帰 分 析 ): 統 計 的 に 最 も 予 測 率 が 高 いと 考 えられ る 変 数 から 順 に 自 動 的 に 投 入 される 方 法 適 合 度 が 最 良 の 重 回 帰 式 を 調 べる 際 に 使 用 する 独 立 変 数 を 投 入 するごとに 除 去 すべき 変 数 がないかを 分 析 できる 統 計 的 な 根 拠 に 基 づいて 投 入 されるため 投 入 された 独 立 変 数 が 理 論 にかなって いるかは 別 途 判 断 する 必 要 がある その 他 変 数 増 加 法 :ステップワイズ 法 と 同 様 に 独 立 変 数 を 順 に 投 入 していく 方 法 独 立 変 数 を 投 入 するごとに 除 去 すべき 変 数 がないかは 分 析 できない 変 数 減 少 法 : 最 初 に 全 ての 独 立 変 数 を 投 入 し 予 測 への 寄 与 が 小 さい 独 立 変 数 から 順 に 変 数 を 抜 いていく 方 法 6
以 上 の 投 入 法 を 視 覚 的 に 表 したのが 図 8.5 のベン 図 (1) 強 制 投 入 法 偏 回 帰 係 数 IV1 a,iv2 c,iv3 e 重 相 関 R a,b,c,d,e 全 てが 反 映 決 定 変 数 R 2 a,b,c,d,e 全 てが 反 映 (2) 階 層 的 投 入 法 Step1 偏 回 帰 係 数 IV1 a,b 重 相 関 R a,b が 反 映 決 定 変 数 R 2 a,b が 反 映 Step2 偏 回 帰 係 数 IV1 a,iv2 c,d 重 相 関 R a,b,c,d が 反 映 決 定 変 数 R 2 a,b,c,d が 反 映 Step3 偏 回 帰 係 数 IV1 a,iv2 c, IV3 e 重 相 関 R a,b,c,d,e が 反 映 決 定 変 数 R 2 a,b,c,d,e が 反 映 (3)ステップワイズ 法 (d+e)の 説 明 部 分 が 最 も 大 きいとすると Step1 偏 回 帰 係 数 IV3 d,e 重 相 関 R d,e が 反 映 決 定 変 数 R 2 d,e が 反 映 Step2 偏 回 帰 係 数 IV3 d,e,iv1 a,b 重 相 関 R a,b,d,e が 反 映 決 定 変 数 R 2 a,b,d,e が 反 映 Step3 偏 回 帰 係 数 IV3 e,iv1 a, IV2 c 重 相 関 R a,b,c,d,e が 反 映 決 定 変 数 R 2 a,b,c,d,e が 反 映 7
誤 植 :p159 の 図 8.2 は 2と3の 図 が 入 れ 替 わっている 補 足 : 1. 分 析 の 手 順 外 れ 値 が 観 察 された 場 合 は まず 外 れ 値 を 除 外 して 分 析 をし 直 すことが 大 事 外 れ 値 を 除 外 することで 偏 回 帰 係 数 や 有 意 確 率 などが 変 わる 可 能 性 がある 2. 投 入 法 理 論 に 基 づいた 独 立 変 数 の 投 入 が 難 しい 場 合 は ステップワイズ 法 を 利 用 す ると 便 利 である しかし ステップワイズ 法 のみから 結 論 を 導 くと 解 釈 を 誤 る 場 合 が あるので 強 制 投 入 法 など 他 の 方 法 の 結 果 も 参 考 にしながら 分 析 をすすめたほうがよ い 8