Ch.3 重回帰分析 : 推定 重回帰分析 ( 複数要因のモデル ) y = + x + x +... + k x k + u. 推定. 重回帰分析の必要性. OLSE の計算と解釈 3. OLSE の期待値 4. OLSE の分散 5. OLS の効率性 :Gauss-Markov 定理 6. 重回帰の用語 入門計量経済学 入門計量経済学 ( 線形 ) 重回帰モデルの定義 変数 yを変数 x, x,, x k で説明する 切片 Intercept 傾きSlope parameters 重回帰分析の必要性 より多くの説明要因をモデルに組込 他の説明要因 x,, x k を明示的に固定 より柔軟な関数形 例 : 賃金方程式 教育効果を計測 ( 明示的に職業経験を固定 ) 被説明変数 従属変数 Dependent variable, explained variable, response variable, 説明変数 独立変数 Independent variables, explanatory variables, regressors, 誤差項 Error term, disturbance, unobservables, 賃金教育職歴他の要因 入門計量経済学 3 入門計量経済学 4 例 : 高校別テスト平均点と支出 例 : 家計所得と消費 学校ごとのテスト平均点 各学校の生徒 人当り支出額 各学校の平均家庭収入額 他の要因 生徒 人当り支出は 学校の資金調達のため 各高校の平均家庭収入と相関しやすい 回帰式から平均家庭収入を省略すると テスト平均点に対する支出の影響の推定はバイアスを持つ 単回帰モデルでの生徒 人当り支出の効果は 家庭収入のテスト平均点への効果を部分的に含む 入門計量経済学 5 家計消費 家計所得 説明変数のモデル : 所得 と 所得 所得 消費は所得の 次関数として説明 係数の解釈には若干の注意が必要 : 問題所得が 単位増えると 消費はどれほど増えるのか? 家計所得 家計所得 他の要因 答え係数値と所得水準に依る 入門計量経済学 6
例 :CEO 給与と売上 在職年数 3-a 重回帰モデルの OLS 推定 無作為標本 Random sample 給与の対数売上の対数 CEO 在職年数の 次関数 モデルは CEO 給与と当該企業売上高との間に一定の弾力性の関係を想定 CEO 給与と会社の在職期間との間に 次関数を想定 線形 回帰式の意味 モデルは係数間で線形でなければならない 変数間の線形性は不必要 ( 例 : 対数 乗 ) 回帰残差 Regression residuals 残差平方和最小化 Minimizing SSR 最小化はコンピューターが計算 入門計量経済学 7 入門計量経済学 8 3-b 重回帰モデルの解釈 他の説明変数と誤差項を一定として j 番目の説明変数が 単位増加すると被説明変数がどれだけ変化するか Ceteris paribus( その他条件一定 ) の解釈 線形重回帰モデルは (x j と実際には相関していたとしても ) 他の説明変数の値をまるで固定しているかのように計算 説明変数が変動しても観察されない要因 u は変化しないと仮定 入門計量経済学 9 例 3.: 大学 GPA の決定要因 解釈 大学 GPA 高校 GPA 共通テスト点数 ACTを固定すると 高校 GPA 点は大学 GPA.453 点と関連 または同じACTの 人の学生を比較すると 学生 Aの高校 GPAが 点高いと 学生 Aは学生 Bよりも.453 点高い大学 GPAを持つと予測 高校 GPAを固定すると ACT 点は大学 GPAの. 点未満と関連 入門計量経済学 3-e OLS の特性 予測値 Fitted values と残差 residuals 予測値 OLS 回帰の代数的性質 残差の合計は 説明変数と残差の共分散は 残差 各変数の標本平均は回帰線上にある 3-f 重回帰の Partialling out 解釈 重回帰における補完的係数推定 :. 説明変数 x j を他のすべての説明変数に回帰. y をこの回帰の残差に回帰 補完的係数推定の解釈 最初の回帰での残差は説明変数 x j の一部である一方 他の説明変数とは無関係 したがって 第 回帰の傾き係数は 被説明変数 y に対する説明変数 x j のみの影響を表示 つまり他の変数の影響を排除 (=Partialling out) 入門計量経済学 入門計量経済学
k のケースを考えると yˆ ˆ ˆ x ˆ x このとき ˆ i i の残差を表す x ˆ ˆ x rˆ y i i i rˆ rˆ i i (3.) ここで rˆ は次の推定回帰式から ˆ ここで rˆ x ( ˆ ˆ x ) つまり rˆ ( x x) y ( 単回帰推定値 ) ( x x ) ( rˆ ˆ r ) y ( 重回帰推定値 ) ( rˆ rˆ ) xをx に回帰した時の残差であるから 入門計量経済学 3 入門計量経済学 4 単回帰 y x 重回帰 yˆ ˆ ˆ ˆ x x ˆ ˆ 差 (3.3) ここで はxi をx iに回帰した時の係数 一般的に ˆ ただし ˆ ( xの部分効果がない ) もしくは ( xとx は相関しない) は例外 3-h Goodness-of-Fit 全変動の分解 SST = SSE + SSR 決定係数 R-squared 決定係数の別表現 説明変数が増えるだけで R が増加することに注意 R は被説明変数 y の実際値と予測値の相関係数の二乗に等しい Economerics 5 入門計量経済学 6 例 3.5: 逮捕歴の説明 986 年の逮捕件数 986 年以前に有罪となった逮捕比率 986 年の拘留期間 986 年の雇用期間 例 3.5: 逮捕歴の説明 ( 続き ) 説明変数を追加 判決前の平均刑期 解釈 前回の逮捕率が.5 上昇すると 人当たり 7.5 人の逮捕者の減少 (=.5.5 ) 拘留期間が から に増加した場合.48 件の逮捕件数の減少 (=.34 ) 雇用期間が 期増加すれば 人当たり.4 人の逮捕者の減少 (=.4 ) 入門計量経済学 7 解釈 R のわずかな上昇 長い平均刑期が犯罪件数を増加? R で表される説明力の上昇は限定的 R について R が低くても 回帰が ceteris paribus 効果の良い推定を示すこともある 入門計量経済学 8 3
重回帰モデルの標準仮定 仮定 MLR. ( 係数の線形 Linear in parameters) 母集団のyとx, x,, x k は線形 仮定 MLR. ( 無作為抽出 Random sampling) データは母集団からの抽出した無作為標本 各データポイントは母集団の式に従う 重回帰モデルの標準仮定 ( 続き ) 仮定 MLR.3 ( 非完全共線性 No perfect collinearity) 標本 ( したがって母集団 ) では どの説明変数も一定ではなく また説明変数間に完全な線形関係はない 仮定 MLR.3 について この仮定は説明変数間の完全共線性 ( 相関性 ) を除外 不完全共線性は OK 説明変数が他の説明変数の完全な線形結合であれば その変数は不必要であり 排除可能 数値が一定の変数も除外 ( 切片との完全共線性 ) 入門計量経済学 9 入門計量経済学 完全共線性の例 : 小標本 テスト平均点教育支出額家計収入額 教育支出が家計収入に比例する可能性 例 :expend = avginc 個別効果への分解は困難 完全共線性の例 : 説明変数の線形関係 A の得票率 A の選挙費用比 B の選挙費用比 sharea + shareb = sharea と shareb は 線形関係にあるため どちらかを回帰モデルから除外 重回帰モデルの標準仮定 ( 続き ) 仮定 MLR.4 (Zero conditional mean) 説明変数の値は 観測されなかった要因の平均に関する情報を含まない 重回帰モデルではuに入る要因が少ない分 多少現実的 例 : テスト平均点 もし avginc が回帰に含まれなければ誤差項に含まれ この場合 教育支出が誤差と無相関である仮定は非現実的 入門計量経済学 入門計量経済学 条件付き平均ゼロ 仮定について 内生的 endogenous 誤差項に相関する説明変数 内生性は仮定 MLR.4に違反 外生的 exogenous 誤差項と無相関な説明変数 すべての説明変数が外生ならば MLR.4 は成立 回帰の因果的解釈や OLS 推定量の不偏性のために重要 定理 3.(OLS の不偏性 ) 3-3a 無関係変数の追加 期待値は問題なし 母集団では 3 = ただし無関係変数の追加は標本分散を大きくする 3-3b 関連変数の欠落 : 単純なケース 真のモデル (x と x を含む ) 不偏性は 繰り返し標本の平均的な特性 標本によっては推定値が真の値から離れている可能性も x 実際に推定されたモデル (x は削除 ) 入門計量経済学 3 入門計量経済学 4 4
欠落変数バイアス Omitted variable bias もし x と x が相関するならば 両者の線形回帰関係を仮定 例 : 賃金方程式の 能力 変数の欠落 両係数ともに正と想定 結論 y を x のみに回帰した時の切片 y を x のみに回帰した時の x の傾き すべての推定係数はバイアスを持つ 新たな誤差項 教育への収益 は過大推定 より教育を受けた人が非常に高い賃金を稼ぐ ように見えるが 実際は より教育を受けている人は平均的により能力が高い という事実にも起因 欠落変数バイアスのないケース 欠落変数が無関係 ( = )or 無相関 ( = ) 入門計量経済学 5 入門計量経済学 6 3-3c 欠落変数バイアス : 一般のケース重回帰分析の標準仮定 ( 続き ) 真のモデル (x, x, x 3 を含む ) 実際の推定モデル (x 3 を削除 ) 仮定 MLR.5 ( 均一分散 Homoskedasticity) バイアスの方向性は変数 係数に依存 変数間の無相関ならば 単純ケース 例 : 賃金方程式の 能力 の欠落 もし exper が近似的に educ と abil に無相関ならば β のバイアスの方向は単純ケースで分析可能 説明変数の値は u の分散についての情報を含まない 例 : 賃金方程式 実際にはこの仮定の正当化は困難 簡略表現ここで すべての説明変数をベクトル x で表現 入門計量経済学 7 入門計量経済学 8 定理 3.(OLS 推定量の標本分散 ) 仮定 MLR. MLR.5 のもとで 説明変数 x j の標本全変動 誤差項の分散 3 説明変数 x j を ( 切片含む ) 他のすべての説明変数に回帰したときの R 3-4a OLS 分散の内訳 : 誤差分散 誤差分散が大きければ推定値の標本分散増大 大きな誤差分散は必然的に推定値の正確性を低下 標本サイズ増加でも誤差分散は減少せず 説明変数の標本全変動 標本全変動が大きいほど推定値の正確性 up x j の変動 ( 分散 ) 増加とともに標本全変動も増大 標本サイズ増加は SST 増大 推定値の正確性を上昇 入門計量経済学 9 入門計量経済学 3 5
3 説明変数間の線形関係 説明変数 x j を他の説明変数に回帰 x j = d + d x + d x + + d k x k + e x j への他の説明変数による線形モデルでの説明力が高いほど この式のR は高くなる 説明変数 x j への他の説明変数による説明力が高いほど 推定値の標本分散は増大 多重共線性 multicollinearity 説明変数間にほぼ線形関係が存在するという問題 多重共線性の例 各学校の共通テスト平均点 教員給与教材費他のコスト 各支出項目は比例的に増減するため 変数間に高い相関の傾向 多重共線性 各支出項目の異なる効果の推定は困難 異なる効果を正確に推定するには 各支出が比例的でなく変化するような状況の情報が必要 あるいは全支出項目を一括する方法も 結果として 推定効果の標本分散は大きくなる 入門計量経済学 3 入門計量経済学 3 多重共線性 問題について 多重共線性は MLR.3 に反しないことに注意 問題 多重共線性に関与する変数の標本分散が増大 他の効果の推定値は非常に正確 対処法 VIF で検出 : 関連変数を一括し 変数にまとめる 関連する説明変数を削除 ただし 欠落変数バイアスとなる可能性あり 目安として VIF< であれば問題なし 3-4b 誤って特定化されたモデルの分散 特定の変数を回帰式に含めるかどうかの選択 バイアスと分散の間のトレードオフを検討実際の推定モデル : 実際の推定モデル : 例 : 真の母集団モデル ( 誤って特定化された ) モデル 欠落変数バイアス 通常 モデルの標本分散 <モデルの標本分散 推定値にバイアスが生じても分散が十分小さければ モデル を採用するケースもあり得る 入門計量経済学 33 入門計量経済学 34 誤って特定化されたモデルの分散 ( 続き ) モデル: モデル : 通常 モデル の分散はモデル より小さい モデル が正しいケース 不偏性 効率性 無関係の説明変数を含めない モデル が正しくないケース 不偏性 効率性 (or ) トレードオフを考慮 入門計量経済学 35 3-4c 誤差分散の推定 定理 3.3( 誤差分散の不偏推定量 ) OLS 推定量の標本分散の推定 の真の標本変動 の推定標本変動 自由度 degree of freedom: n 個の残差はその算出の際に ( 最小化問題 FOC を定義する )k+ 本の式に制約を受けるため その分を調整 未知のにを代入 仮定 MLR.-MLR.5( 特に均一分散 ) のもとでのみ有効 入門計量経済学 36 6
3-5 OLS の効率性 OLS の効率性 :Gauss-Markov 定理 仮定 MLR. - MLR.5 のもとで OLS は不偏 しかし他にも多くの不偏推定値が存在する可能性 どれが最小分散である不偏推定量なのか? この質問に答えるために 通常 線形推定量 すなわち被説明変数の線形推定量に限定 推定量はyの加重平均 3-5 OLS の効率性 定理 3.4(Gauss-Markov 定理 ) 仮定 MLR. - MLR.5のもとで OLS 推定量は最良線形不偏推定量 BLUE, the best linear unbiased estimators 不偏性を満たす線形推定量のうち最小分散となる推定量 OLS 推定量の場合 (3.) 式を参照 w ij は全説明変数の標本値の任意関数 仮定 MLR. MLR.5 が成立しなければ OLS 推定量は最良の線形不偏推定量ではない 入門計量経済学 37 入門計量経済学 38 7