重 回 帰 分 析 multle regresso aalss 回 帰 分 析 Regresso Aalss) 単 回 帰 分 析 重 回 帰 分 析.3~. 重 回 帰 分 析 説 明 変 数 がつの 場 合 ) 線 形 的 な 関 係 式 を 求 め 以 下 の 事 柄 を 明 らかにする 予 測 潜 在 能 力 評 価 Data Data 説 明 変 数 の 目 的 変 数 に 及 ぼす 影 響 度 3 説 明 変 数 の 重 要 性 の 格 付 け 変 数 の 影 響 力 つの 説 明 変 数 の 目 的 変 数 に 対 する 影 響 力 係 数 のデータ 単 位 は 目 的 変 数 のデータ 単 位 と 同 じになる 売 上 額 ) 千 万 円 広 告 費 ) 百 万 円 セールスマン) 人..86. 46 広 告 費 のデータ 単 位 広 告 費 の 係 数 大 小 セールスマン 数 の 係 数 百 万 円.86 >.46 十 万 円.86 <.46 売 上 を 予 測 するため どの 説 明 変 数 が 大 事 であるかは 分 からない 係 数 とは 別 に 統 計 値 標 準 偏 回 帰 係 数 という)を 算 出 し この 値 を 用 いて 重 要 な 説 明 変 数 のランキングを 行 う 標 準 変 量 より 重 回 帰 直 線 二 個 の 説 明 変 数 の 場 合 生 データで 求 めたもの ; s w ; s 標 準 変 量 で 求 めたもの * r r r s * r r r,,... ) R w R 相 関 行 列 分 散 共 分 散 行 列 分 析 精 度 を 表 す ー 寄 与 率 決 定 係 数 ) 重 相 関 係 数 による 方 法 教 科 書.3) 実 績 値 と 理 論 値 がどれほど 一 致 しているかを 見 るのは 実 績 値 と 理 論 値 との 相 関 係 数 Rを 求 めることと 同 じ R ŷ 決 定 係 数 = 寄 与 率 =R se s s 実 績 値 理 論 値 予 測 値 ) s 単 or 重 ) 相 関 係 数 Rの 計 算 例 実 績 値 ŷ 理 論 値 予 測 値 回 帰 直 線 上 の 点 ) 5.34 5.98 5. 98 実 績 値 理 論 値 A 8 8. B 9 9 C.7 D.9 E 3 3.4 F 7 6.9 平 均.7.7 R.9965 Rはに 近 いので 重 回 帰 式 がよく 当 てはまっている
決 定 係 数 寄 与 率 )の 回 答.353 5.34 ŷ 実 績 値 理 論 値 予 測 値 回 帰 直 線 上 の 点 ) 実 績 値 理 論 値 A 8 8.98 B 9 9. C.67 D.86 E 3 3.45 F 7 6.9 平 均.7.7.993 5.34.353 R s R ) 決 定 係 数 = 寄 与 率 = 注 小 数 点 レベルの 誤 差 がある 重 回 帰 モデルの 仕 組 み 単 回 帰 =+)D 平 面, 重 回 帰 =P+)D 空 間 ) 重 回 帰 分 析 説 明 変 数 個 ) 残 差 平 方 和 Qを 最 小 にするようなβ を 最 小 乗 法 で 求 める ) )} { / ) )} { / ) )} { / )} { } { 目 的 変 数 を 複 数 個 )の 説 明 変 数 の 線 形 重 回 帰 モデル として 表 す 重 回 帰 式 重 回 帰 分 析 の 正 規 方 程 式 は 次 のようになる. 重 回 帰 分 析 説 明 変 数 個 ) ) の 場 合 行 列 とベクトルで 表 現 行 列 を 用 いた 方 法 説 明 変 数 個 ) 目 的 変 数 を 複 数 個 )の 説 明 変 数 の 線 形 重 回 帰 モデルとして 表 す,,, ε β ε β ベクトルと 行 列 を 用 いた 方 法 行 列 を 用 いた 方 法 説 明 変 数 個 ),, を 表 す 線 形 式 の 予 測 値 一 次 形 式
標 準 変 量 データより 重 回 帰 直 線 個 の 説 明 変 数 の 場 合 まず 生 データから 標 準 変 量 へ ; s s s,,... ) ; ; 次 標 準 変 量 データを 用 いて 分 散 共 分 散 行 列 = 相 関 行 列 )を 求 める 目 的 変 数 s 標 準 変 量 データより 重 回 帰 直 線 個 の 説 明 変 数 の 場 合......... 行 列 とベクトルで 表 現 すると Rは 説 明 変 数 データの 分 散 共 分 散 行 列 or相 関 行 列 ) は 偏 ) 回 帰 係 数 のベクトル R w wは 説 明 変 数 と 目 的 変 数 の 共 分 散 ベクトル 回 帰 係 数 のベクトルを 求 める R w R R より) 重 回 帰 分 析 のまとめ 個 の 説 明 変 数 の 場 合 線 形 的 な 関 係 式 を 求 め 以 下 の 事 柄 を 明 らかにする 予 測 潜 在 能 力 評 価 Data Data 説 明 変 数 の 目 的 変 数 に 及 ぼす 影 響 度 3 説 明 変 数 の 重 要 性 の 格 付 け Data 変 数 選 択 の 方 法 分 析 の 精 度 はどのような 説 明 変 数 を 用 いるかによって 決 まる 良 い 説 明 変 数 の 選 択 が 分 析 の 精 度 向 上 に 必 要 説 明 変 数 の 選 択 基 準 目 的 変 数 と 相 関 の 高 い 変 数 を 説 明 変 数 にする 重 相 関 係 数 Rを 用 い R>.7のものを 説 明 変 数 にするのが 一 般 的 説 明 変 数 の 絞 込 み 説 明 変 数 同 士 で 高 い 相 関 のあるものを 探 し そのどちらかを 落 とす 相 関 が.9 以 上 あるときはどちらかを 落 とすのが 一 般 的 計 測 できない 説 明 変 数 を 落 とす 変 数 クラスター 分 析 変 数 選 択 法 を 用 いると 変 数 選 択 が 容 易 にできる 説 明 変 数 とサンプルの 数 説 明 変 数 の 数 は 未 満 に 説 明 変 数 の 数 が 多 い 決 定 係 数 が 高 くなる マルチコの 問 題 にぶつかる 数 が 桁 になるとマルチコが 起 こる 確 率 が 高 くなる そのため 個 未 満 で 決 定 係 数 を 最 大 にするように 変 数 選 択 する サンプルの 数 は 変 数 の 数 より 多 めに サンプル 数 )と 変 数 の 数 )の 差 は 以 上 であることが 必 要 -- > 必 要 条 件 ) サンプル 数 が 少 ないと 求 めた 重 回 帰 式 を 予 測 に 使 えないという 事 態 が 発 生 する サンプル 数 はできるだけ 多 く 取 った 方 がよい 決 定 係 数 はどれぐらい 以 上 あれば 良 い? 決 定 係 数 分 析 者 が 経 験 的 な 判 断 から 決 める!! R 普 通.5 重 相 関 係 数 Rは.7)を 基 準 に 判 断 決 定 係 数 重 相 関 係 数 非 常 に 良 い.8 以 上.9 以 上 やや 良 い.5 以 上.7 以 上 悪 い.5 未 満.7 未 満 サンプル 数 と 説 明 変 数 との 差 が 以 上 でなければ 分 析 できない 決 定 係 数 の 検 定 より 決 定 係 数 の 有 意 性 を 評 価 3
回 帰 式 の 種 類 回 帰 分 析 による 画 像 処 理 例 線 形 重 回 帰 分 析 直 線 や 平 面 などの 線 形 回 帰 線 形 予 測 データの 分 布 より 曲 線 や 曲 面 などの 回 帰 もある 非 線 形 重 回 帰 分 析 曲 線 曲 面 の 式 で 回 帰 予 測 ECELを 用 いた 重 回 帰 分 析 の 手 順 EcelとRを 用 いたデータ 解 析 方 法 htt//www.caslecosultg.co.j/logegeer/%e3%83%87%e3%83%bc%e3%8%bf%e8%a7%a3%e6%9e%9/ecel%e3%8%a8r%e3%8%9%e7%94%a8%e3%8%84%e3%8%9f%e3%83%87%e3%83%bc% E3%8%BF%E8%A7%A3%E6%9E%9%E6%96%B9%E6%B3%95/ htt//homeage.ft.com/gfk/multreg.htm Ecelによる 回 帰 分 析 htt//www.tcue.ac.j/home/aek/htdocs/stat/ecel/reg/reg.html 概 要 寄 与 率 回 帰 統 計 重 相 関 R.97384694 重 決 定 R.94837787 補 正 R.9336869 標 準 誤 差.6365 観 測 数 ECELの 出 力 例 分 散 分 析 表 自 由 度 変 動 分 散 観 測 された 分 散 比 有 意 F 回 帰 8.93753 4.4687565 64.3375 3.55E-5 残 差 7.48648698.694984 合 計 9 9.44 回 帰 係 数 係 数 標 準 誤 差 t P- 値 下 限 95% 上 限 95% 切 片.955.443639.9953684.558639 -.88736.6933 値.668477.76459 9.456847 3.89E-5.59968.835 値 -.8899.45-6.69458.33475 -.97765 -.588 ECELを 用 いた 重 回 帰 分 析 表 5. 中 古 マンションのデータ サンプルNo. 広 さ 築 年 数 価 格 m ) 年 数 ) 千 万 円 ) 5 6 3. 38 4 3. 3 57 6 3.3 4 5 3.9 5 53 4 4.4 6 77 4.5 7 63 5 4.5 8 69 5 5.4 9 7 5.4 73 6. ECELを 用 いた 重 回 帰 分 析 課 題 表 5. 中 古 マンションのデータ サンプルNo. 広 さ 築 年 数 価 格 m ) 年 数 ) 千 万 円 ) 5 6 3. 38 4 3. 3 57 6 3.3 4 5 3.9 5 53 4 4.4 6 77 4.5 7 63 5 4.5 8 69 5 5.4 9 7 5.4 73 6. [ツール] [ 分 析 ツール] [ 回 帰 分 析 ]を 選 び, 説 明 変 数 と 被 説 明 変 数 を 指 定 すると,パラメータの 推 定 値 が 得 られる. 計 算 結 果 のプリントを 提 出 してください) 4
ECELを 用 いた 重 回 帰 分 析 課 題 教 科 書.4-6の 計 算 例 表.5)の 問 題 をEcelで 確 認 してください [ツール] [ 分 析 ツール] [ 回 帰 分 析 ]を 選 び, 説 明 変 数 と 被 説 明 変 数 を 指 定 すると,パラメータの 推 定 値 が 得 られる. 計 算 結 果 のプリントを 提 出 してください) 主 成 分 分 析 Prcal Comoet Aalss PCA).35~49 回 帰 分 析 と 主 成 分 分 析 回 帰 分 析 は 条 件 の 付 かない 最 小 問 題 主 成 分 分 析 は 条 件 付 の 最 大 最 小 問 題 手 順 は 殆 ど 同 じ 回 帰 分 析 は 多 変 量 解 析 の 手 法 の 中 で 最 もポピュラーな 手 法 主 成 分 分 析 今 回 のポイント) 主 成 分 分 析 は 条 件 付 の 最 大 最 小 問 題 問 題 観 測 データにおける 分 散 が 最 大 の 軸 を 求 める 条 件 新 しい 軸 Z 軸 同 士 が 直 交 次 元 の 軸 の 長 さ= 新 しい 軸 Z 主 成 分 分 析 の 問 題 固 有 値 問 題 主 成 分 分 析 PCA) 多 変 量 解 析 の 数 学 的 考 え 方 の 基 本 形 は 主 成 分 分 析 にある 主 成 分 分 析 が 理 解 できれば 多 変 量 解 析 は 半 分 以 上 が 理 解 できたと 言 える 観 測 データの 主 要 な 変 動 を 要 約 し 特 徴 を 把 握 する ための 統 計 的 手 法 を 主 成 分 分 析 と 呼 ぶ 主 成 分 分 析 の 目 的 情 報 の 要 約 縮 約 ) 新 しい 尺 度 の 構 築 構 造 の 探 索 データの 要 約 縮 約 )とは 変 量 の 要 約 平 均 分 散 標 準 偏 差 変 量 の 要 約 相 関 係 数 分 散 共 分 散 ) 多 変 量 の 要 約 総 和 加 重 和 主 成 分 分 析 回 帰 分 析 など z = l 多 変 量 変 量 の z に 次 元 縮 小 z z l 5
次 元 縮 小 情 報 要 約 新 変 数 不 可 視 可 視 化 質 量 体 積 = 密 度 体 重 身 長 胸 囲 座 高 体 格 具 体 的 現 象 的 計 測 できる) 抽 象 的 概 念 的 次 元 縮 小 抽 象 度 上 昇 科 目 テストの 成 績 能 力 観 測 変 数 合 成 変 数 eal legthがく 長 ) eal wdthがく 幅 ) 3 Petal legth 花 びら 長 ) 4 Petal wdth 花 びら 幅 ) 単 純 化 理 解 解 釈 が 容 易 に データの 要 約 縮 約 )の 特 例 データの 要 約 縮 約 )の 一 般 例 変 量 )は 一 直 線 上 に 並 んでいる 場 合 新 しいz 軸 で 表 現 次 元 表 現 が 次 元 に 圧 縮 次 元 縮 小 新 しい 軸 z N 変 量 は 直 線 に 近 い 状 態 で 並 んでいる 場 合 N=) 次 元 から 次 元 へ 新 しい 軸 z 次 元 縮 小 拡 張 N 次 元 の 変 量 は 一 直 線 上 に 並 んでいる 時 も 同 じように 次 元 に 圧 縮 できる 問 題 Z 軸 をどのように 定 めたらよいか? 回 帰 分 析 と 主 成 分 分 析 における 誤 差 の 考 え 方 回 帰 直 線 めのこ 主 成 分 分 析 残 差 は, 垂 直 方 向 最 小 残 差 は, 直 線 の 方 向 最 小 OZ OZ 主 成 分 分 析 のイメージ が 最 大 にするのが 元 の 点 P...4) の 位 置 をあまり 損 なわずに OZ OZ OZ OZ OZ 3 OZ 4 考 え 方 を 用 いる 主 成 分 分 析 の 基 本 は 式 ) が 3 4 z軸 上 に 表 現 できる 新 しい 軸 z 負 の 値 を 取 ることが 避 けるため P4 ) Z4 Z3 重 心 O Z P3 P P Z 最 大 となる 新 しい 軸 を 求 める 問 題 に 帰 着 する 新 しい 軸 の 分 散 を 最 大 にする 新 しい 軸 への 垂 線 6
直 線 と 点 の 距 離 の 乗 最 小 ) データの 中 心 平 均 ) データの 中 心 平 均 ) 中 心 と 点 の 距 離 の 乗 最 大 主 成 分 の 分 散 = 主 成 分 得 点 中 心 を 通 る 以 下 の 直 線 新 しい 軸 Z)を 求 める 問 題 に 帰 着 ) 各 点 からこの 直 線 におろした 垂 線 の 長 さの 乗 和 の 値 が 最 小 にする 直 線 or ) 各 点 からこの 直 線 におろした 点 と 中 心 の 距 離 の 乗 和 を 最 大 にする 直 線 直 線 と 点 の 距 離 の 乗 最 小 ) ) 直 線 と 点 の 距 離 の 乗 最 小 ) データの 中 心 平 均 ) 一 定 中 心 と 点 の 距 離 の 乗 主 成 分 の 分 散 最 大 ) = 主 成 分 得 点 一 定 ) データの 中 心 平 均 ) ) 主 成 分 の 分 散 最 大 ) = 主 成 分 得 点 中 心 を 通 る 以 下 の 直 線 新 しい 軸 Z)を 求 める 問 題 に 帰 着 ) 各 点 からこの 直 線 におろした 垂 線 の 長 さの 乗 和 の 値 が 最 小 にする 直 線 直 角 三 角 形 の 有 名 なピタゴラスの 定 理 より 内 容 的 にはまったく 同 じことを 意 味 ) ) 各 点 からこの 直 線 におろした 点 と 中 心 の 距 離 乗 総 和 を 最 大 にする 直 線 これから)の 言 い 方 で 統 一 全 てのデータに 対 して 新 しい 軸 Zの 分 散 を 最 大 にする 数 英 学 語 合 計 順 位 A 3 5 7 B 4 5 7 C 4 D 3 5 7 E 5 4 9 3 F 4 4 8 6 G 8 5 3 H 6 3 9 3 I 7 6 3 J 4 5 9 3 主 成 分 分 析 の 例 左 の 表 では 順 位 は 単 純 合 計 値 によるが 主 成 分 分 析 を 行 い 主 成 分 得 点 で 順 位 を 出 す ) 点 数 グラフを 作 成 ) 英 語 と 数 学 のそれ ぞれの 平 均 点 を 重 心 とする 3) 重 心 を 通 る 線 を 引 く 8 6 英 4 語 B F J E A H C D I G 4 6 8 数 学 ) 重 心 4.,3.8) 主 成 分 分 析 で 求 めた 主 成 分 主 軸 )は ) 重 心 を 通 る 直 線 である ) 各 点 からこの 直 線 におろした 点 と 重 心 の 距 離 乗 総 和 を 最 大 に する 直 線 軸 )= 分 散 最 大 ) 数 英 学 語 合 計 主 成 分 分 析 の 例 続 ) 順 位 A 3 5 7 B 4 5 7 C 4 D 3 5 7 E 5 4 9 3 F 4 4 8 6 G 8 5 3 H 6 3 9 3 I 7 6 3 J 4 5 9 3 Z Z 重 心 新 しい 軸 Z 軸 第 主 成 分 で 総 合 能 力 軸 第 主 成 分 で 系 別 能 力 Z と Z 新 しい 軸 Z 垂 直 第 二 主 成 分 第 一 主 成 分 第 一 主 成 分 得 点 7
次 元 のデータ 形 式 と 主 成 分 主 軸 ) 個 のケース 個 の 変 数 得 られる 主 成 分 主 軸 ) z l l z l l lj k jk k j 個 の 変 量 の 線 形 一 次 ) 結 合 但 し 以 下 の 条 件 を 満 足 単 位 ベクトル, 各 変 数 の 観 測 データ 軸 同 士 直 交 l l,, j,; 分 散 が 最 大 の 軸 を 探 す 次 元 のデータ 形 式 と 主 成 分 主 軸 ) 得 られる 主 成 分 主 軸 ) 単 位 ベクトル 軸 同 士 直 交 lj l l, k jk k, z l l z l l 個 の 変 量 の 線 形 結 合 であり 以 下 の 条 件 を 満 足 l 単 位 ベクトル l, l l 軸 同 士 直 交 l l ただし, j,; j l l, l l l l l l 主 成 分 分 析 次 元 の 場 合 数 式 で 表 す) - 座 標 系 上 の 点, )は 直 交 軸 の 回 転 をした 場 合 の 新 しい- 座 標 系 では 点 P,)となる 回 転 角 度 をとすると 回 転 後 の 点 P, )と 回 転 前 の 点, )の 関 係 cos ) s ) s ) cos ) Z cos ) s ) この 基 礎 知 識 から, )が 新 しいZ 軸 第 主 軸 ) 上 の 点 Zを 次 式 で 表 現 する Z cos ) s ),,... ) 軸 軸 回 転 前,) 回 転 後 P, ) 新 しいZ 軸 軸 軸 Z l l 主 成 分 分 析 次 元 の 場 合 数 式 で 表 す) Z cos ) s ),,..., ) より ここで l cos;,,..., ) l s Z l l,,..., ) Z Z Z l ベクトルZとl 行 列 で 表 現 l l Z ベクトルZの 分 散 Z ZZ Z を 最 大 にする 問 題 ZZ 主 成 分 分 析 次 元 の 場 合 数 式 で 表 す) Z Zの 最 大 となる 時 のベクトルlの 値 を 求 めれば 新 しいZ 軸 第 主 軸 )が 求 められる ただし 下 の 制 約 条 件 が 常 に 付 いている l cos; l s から l ベクトルl で 表 現 すると l l となる l ラグランジュの 未 定 乗 数 法 を 使 って 新 しい 式 を 定 義 l l その 問 題 を 解 く 式 は? 各 自 で 書 いてみてください) タイトル 演 習 レポート 日 付 学 生 番 号 氏 名 を 書 く 主 成 分 分 析 回 答 ) 次 元 の 場 合 数 式 で 表 す) ベクトルZの 分 散 Z ZZ Z を 最 大 にする 問 題 下 の 制 約 条 件 が 常 に 付 いている l cos; l s から l l l ベクトルl で 表 現 すると l l となる l ラグランジュの 未 定 乗 数 法 を 使 って 問 題 を 解 く 式 v Z Z l l ) 8
主 成 分 分 析 数 式 で 表 す) v Z Z l l ) にZ=l を 代 入 して v l) l) l l ) l l l l ) l Σl l l ここで Σ 分 散 共 分 散 行 列 ) 対 称 行 列 ベクトルlについて 偏 微 分 して とおくと どんな 式 が 得 られるか? タイトル 演 習 レポート 日 付 学 生 番 号 氏 名 を 書 く 数 式 で 表 す のまとめ 主 成 分 分 析 はとても 簡 単 な 計 算 で 求 めることができる 今 まで 復 習 した 内 容 を 綺 麗 にかつ 簡 潔 に 使 った データから 分 散 共 分 散 行 列 さえ 計 算 されれば 簡 単 にヤコビ 法 で 解 くことができる 注 意 対 称 行 列 Aのとき ) w Aのベクトルについての 偏 微 分 は w A ) w のベクトルについての 偏 微 分 は w 3) w Aのベクトルについての 偏 微 分 は w A 主 成 分 分 析 の 計 算 を 行 ってみよう 個 のケース 個 の 変 数 各 変 数 の 観 測 データ 分 散 が 最 大 の 軸 を 探 す Z 5 7 Z l 65 6 75 85 75 l 8 l 7 9 主 成 分 分 析 の 計 算 次 分 散 共 分 散 行 列 を 求 める 5 85 5 7 75 l 7 Z l 65 8 65 l 6 7 6 75 9 75 平 均 値 は 64 8 ベクトル, の 分 散 共 分 散 行 列 Σ 74 5 85 75 8 7 9 次 分 散 共 分 散 行 列 の 固 有 値 と 固 有 ベクトルを 求 めよう Σ Σl lより Σ E)l Σの 固 有 値 を 求 めるΣ E の 固 有 ベクトルを 求 める Σ E)l k k ) lk lk lk k ) lk lk 制 約 条 件 k k 主 成 分 分 析 の 計 算 問 題 データの 分 散 共 分 散 行 列 74 Σ 5 Σの 固 有 値 と 固 有 ベクトルを 求 めて 下 さい タイトル 演 習 レポート 日 付 学 生 番 号 氏 名 を 書 く 9
主 成 分 分 析 の 宿 題 下 記 の 表 に 基 づいて 以 下 の 問 題 を 答 えなさい No 標 本 英 語 ) 数 学 ) A 5 8 B 5 5 3 C 7 4 4 D 8 5 )との 平 均 値 を 求 めなさい )との 分 散 と 共 分 散 を 求 める 定 義 式 を 書 き 分 散 共 分 散 行 列 を 求 めなさい 3) 分 散 共 分 散 行 列 の 固 有 値 を 求 める 定 義 式 を 書 き 固 有 値 を 求 めなさい 4) 分 散 共 分 散 行 列 のランクを 答 え その 理 由 を 述 べなさい