回帰分析 重回帰(2)

Transcription

1 回帰分析 重回帰 (2) 仮説検定

2 仮説検定 単一の制約 t 検定 メニューから行う方法 複数の制約 F 検定 メニューから行う方法 F 統計量を実際に求める F 検定の応用 構造変化, 最適なモデルの決定

3 回帰分析の前提 linearity y X u u ~ N (0, 2 I ) X : full rank

4 最小二乗推定量 1) ( 1) ( ' 0 ' ˆ ' ) ' ( ˆ ' ) ' ( ' ) ' ( k n RSS k n e e s e X My y P I y y e Py y X X X X Xb y u X X X y X X X b RSS: Residual Sum of Squares Sum of Squared Residuals 残差平方和

5 最小二乗推定量 (2) 1) ( ~ 1) ( ' (0,1) ~ ) ' (, ~ k n X s k n RSS e e N a b X X N b jj j j 実際の検定では 2 ( 誤差項の分散 ) は未知なので,s 2 =RSS/[n-(k+1)] で置き換えて検定

6 個々の係数に関する検定 H : 0 0 j j b j s. e.( b s. e.( b j j 0 j ) ~ t n ) s a jj ( k 1) s: 回帰の標準誤差 (standard error of regression) s 2 の平方根, s 2 =RSS/[n-(k+1)] 誤差項の分散 2 についての最小二乗推定量

7 両側検定 臨界値の両側に落ちる確率を として検定

8 片側検定 臨界値の片側に落ちる確率を として検定

9 H0: ある変数の係数が 0 係数の標準誤差 t 値 = b / b(s.e.) 係数の真の値が 0 だとして計算 p 値 ( 両側確率 ) 通常は,0.05 より小さければ 0 と有意に異なると判断 EDUC の t 値は t 分布に従う確率変数が ( 絶対値で ) より大きな値をとる確率

10 仮説検定単一の制約 t 分布 特に, 係数が 0 に等しい という仮説は, 回帰分析の output をみるだけでよい p 値 output の Prob. 欄 wage1.raw の回帰分析の結果では,educ の p 値は educ の係数の真の値が 0 だとすると, ( 絶対値で ) 以上の推定値を得る確率が だということ ( 両側確率 ) 一般的には,p 値が 0.05 未満なら, 係数 =0 の仮説は棄却される 注意 : Eviews の p 値は両側確率

11 educ の係数の信頼区間を求める b 0 j j s. e.( b j ) ~ t n ( k 1) educ の係数は自由度 522 の t 分布をする df = オブザベーション数 (526) 説明変数の個数 (4) = 522 片側 5% の臨界値 t 分布の 95% 点 両側 5% の臨界値 t 分布の 97.5% 点 例えば, 両側 5% の場合, 臨界値を t とすれば,b j の信頼区間は次の通りになる 0 j t s. e.( bj ) bj j t s. e.( b j )

12 educ の係数の信頼区間を求める (2) Eviews df) 累積分布がpになるt 値を返す ( 自由度 i 番目の係数 ( 定数項は1 番目とカウント i 番目の係数の標準誤差 を用い, コマンド行で次のようにタイプする ( j0 =b j とした場合 ) scalar tc 522) scalar b_low=@coefs(i) tc scalar + tc i : 実際の数字 (2 番目の変数の係数なら2を入れる ) 計算すると,b_low = , b_up= 任意の j0 については, に想定した値を代入回帰分析の結果のメニューから ViewCoefficient Diagnostics Confidence Intervals をたどっても信頼区間を求められる Excel を用いることもできる

13 問題 Wage1.raw のデータを用いた先ほどの OLS で, 次の仮説をそれぞれ検定せよ EDUC の係数が 0.06 に等しい EXPER の係数が に等しい TENURE の係数が 0.02 に等しい それぞれの場合の を用いる この場合の t 分布の自由度は? OLS を行った後,menu から View/Coefficient Diagnostics / Wald Test Coefficient Restrictions とたどる

14 複数の制約 RRSS URSS URSS r n ( k 1) ~ F( r, n ( k 1)) RRSS (Restricted Residual Sum of Squares: 制約付きの残差平方和 ) URSS (Unrestricted Residual Sum of Squares: 制約無しの残差平方和 ) r : 制約の数 n-(k+1): 制約無しの回帰での自由度

15 F Distribution: Numerator df = 5, Denominator df = 100 臨界値よりも大きな値をとる場合に仮説 H0 を棄却 f

16 複数の j に関する制約 ( 単一の制約 ) 単一の制約の問題に帰着できる場合がある 例 ) Kane and Rouse(1995) 短大と 4 年生大学 : 賃金差はあるか 回帰式 ln(wage)=+ 1 *jc + 2 *univ+ 3 *exper + u jc 短大の教育年数 univ 4 年生大学の教育年数 exper 卒業後の年数 ( 労働市場にでてからの年数 ) H 0 : 1 = 2

17 複数の j に関する制約 ( 単一の制約 ) 続き 1. ln(wage) = + 1 *jc + 2 *univ + 3 *exper + u 1. で 2 = 1 +d とおくと H 0 : 1 = 2 ln(wage) = + 1 *jc + ( 1 +d)*univ + 3 *exper + u これより 2. ln(wage) = + 1 *(jc + univ) + d*univ + 3 *exper + u H 0 : d=0 jc+univ, univ で回帰し,univ の係数が 0 という制約に帰着

18 Eviews 係数の制約 ここをクリックし,coefficient diagnostics Wald tests - coefficient restrictions.. をたどると, 係数の制約のテストの画面が表れる 複数の制約も可能 個々の係数 =0 の検定はここをみる この値から F 検定を行うこともできる E-views に保存される 説明変数の全て (educ, exper, tenure) の係数が 0 かどうか

19 Eviews での F 検定 View/ Coefficient diagnostics/ Wald test Coefficient Restrictions を選択 c(3)=0, c(4)=0 で制約式を指定 ( 複数の制約式は, で区切る ) c(3) は 3 番目の説明変数の係数 ( 定数項を 1 番目とカウント ) H0: exper,tenure の係数がともに 0 検定のための統計量は, 自由度が (2,522) の F 統計量 5% 水準の臨界値は H0 は棄却される 自由度 (2,252) の F 分布に従う確率変数が よりも大きな値をとる確率は

20 F 検定 ( コマンドを打ち込む方法 ) 制約無しの回帰分析 URSS を求める 制約なしの回帰後, コマンドウィンドウで scalar 制約付の回帰分析 RRSS を求める 制 約つきの回帰後, コマンドウィンドウで scalar F 統計量を計算 分子は (rrss-urss)/( 制約の数 ), 分母は urrs/( 制約なしの回帰の自由度 ) で計算した変数を作る ( 以下では,ff とした ) コマンドウィンドウで次のようにタイプ scalar f1= (rrss urss)/ 制約の数 scalar f2 =urss/(@regobs 定数項を含んだ説明変数の個数 ) scalar ff =f1/f2 ff の累積分布を求める (@cfdist(ff,df1,df2) を用いる Excel でも同様の計算ができる

21 R での係数制約の検定 回帰の結果を wage1.lm に保存した場合 単一の仮説 H 0 : j =0 summary(wage1.lm) で t 値,p 値をみる 係数の信頼区間 confint(wage1.lm) 回帰係数の値は coef(wage1.lm) で取り出せるが, 標準誤差, t 値は次のようにする coef(summary(wage1.lm) ) で係数,s.e. t-value, p-value の行列が出力される coef(summary(wage1.lm) )[,n] で係数,s.e. t 値,p 値が取り出せる ([, n] は行列の n 列の成分を表す ) n=1: 係数, n=2: s.e., n=3: t 値, n=4: p 値 coef(summary(wage1.lm))[2,2] とすると行列の (2,2) 成分が取り出せる

22 R での係数制約の検定 (2) RRSS URSS URSS r n ( k 1) ~ F( r, n ( k 1)) 残差平方和は deviance(object) で取り出す > wage1.lm <- lm(lwage ~ educ + exper + tenure) # 制約なし回帰 > wage2.lm <- lm(lwage~ educ) # 制約付き回帰 > rss1 <- deviance(wage1.lm) # 制約なし残差平方和 urss > rss2 <- deviance(wage2.lm) # 制約つき残差平方和 rrss > ff <- rss2 - rss1 # rrss - urss > ff1 <- ff/2 # 制約は2つ (r=2) > ff2 <- rss1/(522) # 分母 fff <- ff1/ff2 # F 統計量この場合,fff=49.685です > 1 - pf(fff,2,522) [1] 0 # 自由度 (2,522) のF 分布に従う確率変数がfffより大きくな る確率 > qf(.95, 2, 522) [1] # 自由度 (2,522) のF 分布に従う確率変数の95% 点

23 R での係数制約の検定 (3) linearhypothesis( ) 関数を用いる linearhypothesis(object, 制約式の行列, 右辺 ) car という package を読み込む必要 Rstudio の右下の window から読み込む lwage~educ + exper + tenure でexper, tenureの係数がともにゼロ 行列で表現 α β β = 2 0 β 3

24 > lhs <- rbind(c(0,0,1,0),c(0,0,0,1)) > rhs <- c(0,0) > linearhypothesis(wage1.lm, lhs, rhs ) rhs: 省略すれば 0 の default は 0 car package を読み込んで上のコマンドを実行上の式の lhs は次の式の右辺の行列を代入したもの Linear hypothesis test Hypothesis: exper = 0 tenure = 0 制約なし, 制約付きの残差平方和 α β 1 β 2 β 3 = 0 0 c( ) は連結関数 (concatenate) でベクトルを作る rbind( ) は rowbind でベクトルを行方向に加える関数 cbind( ) clomnbind は列方向に加える関数 Model 1: restricted model Model 2: lwage ~ educ + exper + tenure Res.Df RSS Df Sum of Sq F Pr(>F) < 2.2e-16 *** --- Signif. codes: 0 *** ** 0.01 * F 統計量

25 example : linearhypothesis(model, lhs, rhs) 変数の名前を用いて書くこともできる (rhsのdefaultは0) 賃金方程式 (wage1.lm) H0: exper=0,tenure=0の検定 linearhypothesis(wage1.lm, c( exper, tenure ) ) あるいは lhs=c( exper, tenure ) ; linearhypothesis(wage1.lm,lhs) H0: exper-tenure=0 の場合 linearhypothesis(wage1.lm, "exper - tenure ) linearhypothesis(wage1.lm, exper - tenure=0 ) 具体例はhelpを参照

26 R での係数制約の検定 (4) waldtest( ) を使う ( パッケージlmtestが必要 ) 制約なしモデル wage1.lm 制約付きモデル wage2.lm だとして ( 例えば,wage2.lmではexperとtenureの係数が共に0という制約を課したモデル ) waldtest(wage1.lm, wage2.lm) でF 検定が行われる 個々の係数が0の検定は coeftest( ) でも出力される パッケージlmtest 必要 summary( ) と同じ情報

27 問題 1 wage1.raw 被説明変数 ln(wage) 説明変数 educ, exper, tenure, female 次の仮説を検定せよ 1. H0 : 全ての説明変数の係数が 0 に等しい 2. H0 : 女性と男性の賃金格差は無い ( 定数項ダミーだけでよい ) 3. H0 : exper と tenure の係数が共に 0 である 2. と 3. については, 制約なしの残差平方和と制約付の残差平方和の値を求める方法でも計算せよ

28 問題 2 問題 1 と同じデータで次の仮説を検討せよ 説明変数に female ダミーと学歴 (educ), 勤続年数 (tenure) の交差項を加える 女性と男性の賃金格差 ( 定数項 ) は無いし, 学歴の効果の違いも無いし, 勤続年数の効果の違いも無い

29 問題 3 MLB1.RAW 次の回帰式を推定 被説明変数 :log(salary) 説明変数 : years, gamesyr, bavg, hrunsyr, rbisyr, runsyr, fldperc, allstar, firstbase, scndbase, thrdbase, shrtstop, catcher,(base は outfield) 次の仮説を検討せよ 他の要因を一定にした場合, 捕手と外野手の年俸は同じ 他の要因を一定にした場合, 守備位置の違いは年俸に影響を与えない

30 Chow テスト 構造変化の検定 例 ) 消費関数, 投資関数の推計 T 個の時系列データ 時点 s 以降で構造変が起きたかどうかの検定 全体を二つの期間に分割 時点ダミーを導入して g=0 の検定を行う y t D t x 0 1 t g D x ( RRSS URRS ) / k URRS / T 2k t t t t u 1,.., s s 1,..., T ~ t F( k, T k は説明変数の個数 ( 定数項も含めて ) 2k)

31 F 検定 最適なモデルの決定 nested model の場合 adjusted R2 を用いる方法 AIC 基準 (Akaike Information Criteria) AIC=-2ln(L)+2k ln(l): 対数尤度, k: パラメータの数 ( 説明変数の数 ) AIC を最小にするようなモデルを選ぶ たいていの統計パッケージでは自動的に出力される R では AIC(object 名 ) で取り出せる 変数増減法 (stepwise regression) RESET (regression specification error test) 回帰式非線形性のテスト J テスト non nested model

32 RESET y 0 1x1 k xk u (1) 上のモデルを推計し,y の予測値を得る y の予測値の平方,3 乗の項,... を説明変数に加えた次のモデルを推計する y g yˆ g yˆ x1 k xk 1 2 u H0: (1) の定式化が正しい g 1 =g 2 =0 (2) Eviews での RESET (1) 式を OLS で推計 View/ Stability Diagnostics/ Ramsey RESET Test Number of Fitted Terms で (2) 式に Fitted value をいくつ入れるかを設定 1 2 次の項まで, 2 3 次の項まで R での RESET resettest(object 名 ), パッケージ lmtest が必要

33 Non nested model MLB1.raw の MLB 選手の年棒の回帰分析では, hrunsyr( ホームラン数 ) と rbisyr( 打点 ) はともに, 有意ではなかった ( 二つの変数の単相関は 0.89 と非常に高いため ) そこで, 次の二つのモデルのどちらが適切かを選択する必要に迫られたとする H H 1 2 : : log( salary) log( salary) 0 0 years 1 years 1 gamesyr 2 hrunsyr u gamesyr 2 4 bavg bavg rbisyr u 4 3 3

34 J test どちらか一方のモデルが正しいモデルであれば, 他方のモデルで得られた予測値は説明力を持たない ( 例 )H 2 で推定したモデルの予測値 (y2hat) を説明変数として H 1 に代入して, 5 =0 の検定を行う log( salary) 0 years gamesyr bavg 1 hrunsyr y2hat u 同様に,H 1 で推定したモデルの予測値 (y1hat) を説明変数として H 2 に代入して, 5 =0 の検定を行う 両方のテストとも棄却される場合がある 別のモデル

35 Eviews distribution inverse number generator @qtdist(p,df) t 分布 Eviews で, 自由度 (2,522) の F 分布に従う変数の 95% 点を求めるためには scalar 2, 522) をコマンド行に打ち込む

36 Eviews : i t i 番目のj : F standard error of the 回帰分析でのオブザベーション数

37 R での回帰分析の統計量 回帰分析の結果が object に保存されている場合 summary(object) 回帰分析の結果 coef(object) 係数の推定値 resid(object) 残差 fitted(object) 回帰モデルの推定値 deviance(object) 残差平方和 plot(object) 残差のチェックのためのグラフ confint(object) 係数の信頼区間 coef(summary(object)) 係数,s.e. t 値,p 値の行列 coef(summary(object))[,n] n=1: 係数,n=2: 標準誤差,n=3:t 値,n=4:p 値回帰の標準誤差,F 値, 自由度修正済み決定係数, 自由度 summary(object)$sigma summary(object)$fstatistic summary(object)$adj.r.squared summary(object)$df

38 R の統計関数 Distribution R name additional arguments beta beta shape1, shape2, ncp binomial binom size, prob chi-squared chisq df, ncp exponential exp rate F f df1, df2, ncp log-normal lnorm meanlog, sdlog logistic logis location, scale normal norm mean, sd Student s t t df, ncp uniform unif min, max 累積分布関数 p +, 密度関数 d +, 分布関数の逆関数 q +, 乱数 r +