Microsoft PowerPoint - 資料04 重回帰分析.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - 資料04 重回帰分析.ppt"

とよみあいしま
5 years ago
Views:

1 04. 重回帰分析京都大学加納学 Division of Process Control & Process Sstems Engineering Department of Chemical Engineering, Koto Universit

2 Outline 重回帰式の導出幾何学的解釈重回帰式の評価具体例多重共線性リッジ回帰

3 身近な例 3 身長体重から身長を推定できる? 身長定数体重 + 定数 + 誤差 b x e b 0 体重 n n ei ( i bx i b0) i i を最小にする係数 b を求める.

4 因果関係を探る 4 重回帰分析結果である目的変数と原因である説明変数の関係を重回帰式で表現する手法 ( 標本 ) 偏回帰係数現実には, 目的変数は説明変数以外の要因にも影響されるため, それらの n 番目の標本 ( 測定値 ) が単回帰モデルによって表現されると考える. 母偏回帰係数誤差項 ε n は互いに独立に N(0, σ ) に従うと仮定する.

5 目的変数の予測 5 目的変数の予測値各変数の平均を 0 とすれば誤差項 ε n の期待値は 0 残差目的変数の測定値と予測値の差

6 回帰分析における誤差の考え方 6 目的変数に影響を与える説明変数 x 以外の要因をまとめて誤差とみなすため, のみに誤差がある, つまり, x は正確に指定できると考える.

7 最小二乗法 7 最小二乗法残差平方和 ( 目的変数の測定値と推定値の差の二乗和 ) が最小となるように, 偏回帰係数を決定する. 予測値残差平方和

8 正規方程式の導出 8 残差平方和必要条件 Q 極値であること! 正規方程式 b

9 偏回帰係数の推定 9 正規方程式偏回帰係数の推定値行列 X T X が正則である ( 逆行列を持つ ) 場合共分散行列

10 標準化 0 各変数を平均 0, 分散の変数に変換する. x nm x σ * nm m x m 変数 m サンプル n 平均 x N * m x nm N n 分散 σ m N N n ( x * nm x m )

11 重回帰分析 : 重回帰式標準化後の変数による表現 ˆ P bpx p p b p 標準偏回帰係数標準化前の変数による表現 * ˆ σ P b p p x * p σ p x p σ σ p b p 偏回帰係数 P b P * pσ b * pσ ˆ xp + x p σ p p σ p p

12 Outline 重回帰式の導出幾何学的解釈重回帰式の評価具体例多重共線性リッジ回帰

13 重回帰分析の幾何学的解釈 3 誤差が最小となるためには, 誤差と予測値が直交すればよい. ˆ, ˆ Xb, Y Xb T T T b ( X Y X Xb) 0 正規方程式 N 次元線形空間 x 測定値誤差予測値 ˆ ŷ bx + b x x M 次元部分空間

14 重相関係数の最大化 4 誤差が最小となるためには, 誤差と予測値が直交すればよい. 誤差が最小となるためには, 測定値と予測値がなす角 θ が最小になればよい. 誤差が最小となるためには, 測定値と予測値の相関係数が最大になればよい. 重相関係数 r ˆ T sˆ ˆ ss ˆ ˆ cosθ

15 重回帰式の評価 5 重相関係数目的変数とその推定値の相関係数寄与率 ( 決定係数 ) 目的変数の分散に対する推定値の分散の比

16 寄与率に関する式 6

17 Outline 7 重回帰式の導出幾何学的解釈重回帰式の評価具体例多重共線性リッジ回帰

18 分散分析 8 変動要因平方和自由度不偏分散分散比全変動 SS N - - 回帰による変動残差の変動 SS r SS e N P P V e V r N SS P SS r e P F V V r e 分散比 F は自由度 P, N-P- の F 分布に従う. F > F( P, N P ; α ) であれば, 重回帰式は無意味ではない. 自由度 P, N-P- の F 分布, 危険率 α

19 分散分析の心 9 分散比 F は自由度 P, N-P- の F 分布に従う. F > F( P, N P ; α ) であれば, 重回帰式は無意味ではない. 自由度 P, N-P- の F 分布, 危険率 α でたらめに重回帰式を作ったとしよう. そのとき, 分散比 F はある F 分布に従う. もし,F が普通でないほど大きかったら, つまり, 回帰による変動が残差の変動を凌駕していれば, その重回帰式は無意味ではない! 普通はこの範囲に入る α0.05 普通でない!

20 0 重要な式 N i i SS * ) ( N i i r SS * ) ˆ ( N i i i e SS * ) ˆ ( e r SS SS SS + * * ( ) P p p p p b x x ) ) /( ( / p N R p R V V F e r

21 F 分布表 (α0.05) 自由度自由度

22 Outline 重回帰式の導出幾何学的解釈重回帰式の評価具体例多重共線性リッジ回帰

23 例 : 対象データ 3 身長 () 胸囲 (x) 体重 (x)

24 例 : 重回帰分析 4 身長 () 胸囲 (x) 体重 (x) 平均標準偏差偏回帰係数標準偏回帰係数重相関係数 (R) 決定係数 (R)

25 例 : 分散分析 5 変動要因平方和自由度不偏分散分散比全変動回帰による変動残差の変動 FPN (, P ; α) 自由度 P, N-P- の F 分布, 危険率 α F(,7;0.05) > 3.3 重回帰式に意味なし!

26 Outline 6 重回帰式の導出幾何学的解釈重回帰式の評価具体例多重共線性リッジ回帰

27 重回帰分析の問題点 7 偏回帰係数 ( T T b X X) X Y X T X が逆行列を持たない場合, 最小二乗法は使えない. 入力変数が線形従属である場合サンプル数が入力変数の数より少ない場合もダメ. 以下では, サンプル数は十分にあるとする.

28 多重共線性 8 Data A Data B x x x3 x x x 係数入力変数が厳密に線形従属でなくても, 入力変数間に強い相関関係が存在する場合には, 係数推定値の分散が大きくなり, 推定結果の信頼性が低下してしまう.

29 何が問題なのか? 9 推定値の分散が大きくなると, 何が問題なのか? 推定ができれば良いのではないか? < 重回帰分析で酷い目に遭う例 > + 測定データ Model Model Model 3 x x ax ax ˆ x ˆ 0.5x + ˆ.00, x.0, x 0. 5 x 00x 99x 係数が大きいほど, 測定ノイズの影響を受けやすい.

30 最小二乗法の拡張 30 Ordinar Least Squares (OLS) a ( X X ) T X T Y min Y Xa Minimum Norm Solution a X + Y X + : 一般化逆行列 Ridge Regression (RR) a ( X X + λi) T X T Y min Y Xa + λ a Principal Component Regression (PCR) Partial Least Squares (PLS) いずれの手法も係数を小さく抑えようとする.

31 Outline 3 重回帰式の導出幾何学的解釈重回帰式の評価具体例多重共線性リッジ回帰

32 リッジ回帰 3 評価関数の違い重回帰 min Y Xa リッジ回帰 min Y Xa + λ a 必要条件 ( 評価が最小となるための ) 回帰係数に対する懲罰 J T T ( X Xa X Y + λa) a a ( X X + λi) T X T Y 0

33 33 例題 : リッジ回帰ーーーーーー偏回帰係数重回帰リッジ回帰 x3 x x x3 x x Data Set: B Data Set: A

多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典

多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典重回帰分析とは? 重回帰分析とは複数の説明変数から目的変数との関係性を予測評価説明変数 ( 数量データ ) は目的変数を説明するのに有効であるか得られた関係性より未知のデータの妥当性を判断するこれを重回帰分析というつまりどんなことをするのか? 1 最小 2 乗法により重回帰モデルを想定 2 自由度調整済寄与率を求め