重回帰式 y= x x 2 重症度 5 TC TC 重症度

Transcription

1 3. 重回帰分析 3.1 重回帰分析の原理 重回帰分析は説明変数が複数になった回帰分析 (1) 重回帰モデル ある結果項目に影響を与えている原因項目が複数ありしかも原因項目間に相関関係がある 複数の原因項目間の相関関係を考慮して結果項目との間の因果関係の内容を検討したい 重回帰分析を適用重回帰分析は目的変数が 1 つで 説明変数が複数でお互いに相関がある時の回帰分析 目的変数には誤差変動があり 説明変数には誤差変動がないことを前提にしている 重回帰モデル y=b 0 + b 1 x b p x p y: 目的変数 x 1 ~x p : 説明変数 b 0 : 定数 b 1 ~b p : 偏回帰係数 第 1 章第 2 節で説明した概括評価項目を表す式において 概括評価項目が目的変数 y に 検 査項目が説明変数 x 1 ~x p になった式に相当する (2) 重回帰分析の適用例 概括評価の例として 第 1 章第 1 節の表 1.1 のデータに重回帰分析を適用する < 表 1.1 脂質異常症患者の TC と TG と重症度 > 症例 No. TC TG 重症度

2 重回帰式 y= x x 2 重症度 5 TC TC 重症度 TG TG TG 重症度 TC 図 3.1 見取り図と 3 種類の散布図 図 3.1 の左上が見取り図 右上が TC と重症度の散布図 ( 正面図 ) 左下が重症度と TG の散布図 ( 側面 図 ) 右下が TC と TG の散布図 ( 立面図 ) 右上の TC と重症度の散布図と座標軸を合わせるために 他 の 2 枚の散布図は座標軸を反転しているので注意 この場合 重回帰式は平面になる 3-2

3 3.2 重回帰分析結果の解釈 重回帰分析では検定結果よりも重回帰式と重寄与率の実質科学的解釈が大切 (1) 計算結果 === 重回帰分析 (multiple regression analysis) === [DANS V7.0] データ名 : 表 1.1 目的変数 y : 重症度説明変数 x 1:TC 説明変数 x 2:TG 各変数の基礎統計量 x 1: 例数 =10 平均値 =251 標準偏差 = 標準誤差 = x 2: 例数 =10 平均値 =209 標準偏差 = 標準誤差 = y 1: 例数 =10 平均値 =2.1 標準偏差 = 標準誤差 = 相関行列(correlation coefficient matrix) x 1 x 2 y x x y 全変数を選択した結果 標準 有意確率 変数偏回帰係数 標準誤差偏回帰係数偏相関係数 偏 F 値 p 値 定数 ** x ** x 変数 偏回帰係数 95% 信頼区間幅 下限 上限 定数 x x 重寄与率 ( 決定係数 )R^2= 自由度調整済重寄与率 ( 決定係数 )R'^2= 重相関係数 R = 自由度調整済重相関係数 R' =

4 分散分析表 (ANOVA table) 要因 平方和 自由度 平均平方和 F 値 有意確率 p 値 回帰 ** 残差 全体 (2) 各種パラメーターの意味 相関行列 2 つの変数間の単相関係数を行列形式の表にしたもの x 1 x 2 :0.753 x 1 :TC と x 2 :TG の相関係数 図 3.1 の右下のグラフ x 1 y:0.827 x 1 :TC と y: 重症度の相関係数 図 3.1 の右上のグラフ ( 参考 )TC と重症度の単回帰式 :y= x 1 x 2 y:0.386 x 2 :TG と y: 重症度の相関係数 図 3.1 の左下のグラフ ( 参考 )TG と重症度の単回帰式 :y= x 2 これらの単相関係数は重回帰分析の結果を解釈する時の参考情報になる 重回帰式 目的変数と複数の説明変数の因果関係を平面で近似した式 y= x x 2 偏回帰係数 他の説明変数の影響を取り除いた時の回帰係数これは重回帰平面が座標面と交わる交線の傾きになる 例えば図 3.1 の見取り図で 重回帰式が表す平面が TC 重症度座標面と交わる交線は 重回帰式の x 2 (TG) に 0 を代入し y= x 1 となる この直線の傾き が偏回帰係数 偏回帰係数 = TG が一定という条件で TC が 1 増加した時 重症度が平均的に 増加する TG の影響を取り除いた時の TC の影響を表す 標準誤差 偏回帰係数の標準誤差 3-4

5 母偏回帰係数の推測誤差 標準偏回帰係数 説明変数と目的変数を標準偏差単位にした時の偏回帰係数他の説明変数が一定という条件で各説明変数が 1 標準偏差 増加した時 目的変数が標準偏差単位でいくつ変化するかを表す値 各説明変数が目的変数に与える影響の強さを比較する時の指標 説明変数のひとつに身長があった時 身長をメートル単位で測定 身長をセンチメートル単位で測定 身長が 1 増加する 身長が 1m 増加する 身長が 1 増加する 身長が 1cm 増加する 身長が 1m 増加した時 目的変数が 5 増加する場合身長が 1cm 増加すれば目的変数は 0.05 増加するはず 身長をメートル単位で測定した時の偏回帰係数 = 5 身長をセンチメートル単位で測定した時の偏回帰係数 = 0.05 偏回帰係数は 100 対 1 になり見かけ上はメートル単位で測定した時の方が影響が強く見える 標準偏回帰係数はどちらも同じ値になり影響力を公平に比較することが可能 偏 F 値 偏回帰係数が 0 かどうかの検定を行うための検定統計量 この値は変数選択の基準値として利用されることもある 第 3 節参照 3-5

6 有意確率 p 値 偏回帰係数が 0 かどうかの検定結果 普通の検定の有意確率と同じ 通常は有意性検定 検定結果よりも偏回帰係数に関する実質科学的な考察の方が大切 偏回帰係数の 95% 信頼区間 偏回帰係数の推定結果 偏回帰係数について実質科学的に考察するための情報 重寄与率 ( 決定係数 ) 目的変数の全変動のうち 全ての説明変数によって説明できる割合 分散分析表の回帰の平方和を全体の平方和で割った値 = /16.9= 説明変数同士に相関関係があるため 個々の説明変数の寄与率は求められない その代わり標準偏回帰係数を比較することによって 説明変数の重要度を調べることができる 重要な説明変数ほど 目的変数に対する寄与が大きい 自由度調整済み重寄与率 例数を考慮した重寄与率この値は変数選択の基準値として利用される 第 3 節参照 分散分析表 重寄与率が 0 かどうかの検定 回帰 の有意確率 p 値が検定結果 通常は有意性検定 検定結果よりも重回帰式全体と重寄与率を実質科学的に考察する方が大切 偏相関係数 重相関係数 自由度調整済み重相関係数 重相関分析の指標説明変数と目的変数の関係が因果関係ではなく相関関係の時は 重相関分析を用いる これらの指標はその結果で 参考までに出力してある (3) 多重共線性 (multi-colinearity マルチコ) 説明変数同士の相関が強い時に 偏回帰係数の値が一見すると非合理になり 解析結果の信頼性が低くなってしまう現象 3-6

7 表 1.1 の重回帰分析結果では TG と重症度の単相関係数は正にもかかわらず TG の偏回帰係数の符号が負になっている 多重共線性 この結果の解釈 i) TC と TG をそれぞれ単独で用いる時は 値が大きいほど重症度を大きく判定している しかし両者を総合して判定する時は 両者の差 (TC-TG) が大きいほど重症度を大きく判定している y= x x 2 = ( )x x 2 = x (x 1 -x 2 ) (x 1 -x 2 )=(TC-TG): 脂質異常症のタイプを表す指標 値が大きい 高コレステロール型 値が小さい 高トリグリセリド型 この重回帰式は TC と脂質異常症のタイプが重症度に正の影響を与えている つまり TC の値が高いほど重症度を高く判定し TC の値が同じなら高コレステロール型になるほど重症度を高く判定している と解釈可能 同様のことは収縮期血圧と拡張期血圧でも起きる その時は ( 収縮期血圧 - 拡張期血圧 ) つまり脈圧が影響している と解釈可能 説明変数同士の相関が高い 同じ因子の異なった面を表す指標 説明変数の差に科学的な意義がある 説明変数の差を説明変数に入れると合理的な結果になる 無暗に説明変数を除外すると重要な説明変数を見逃してしまう! 3-7

8 ii) TG は重症度に対して本当は負の影響を与えているが TC と強い正の相関があってそれにひきずられるため 見かけ上は正の単相関を持ってしまう iii) TG は重症度に対して通常は正の影響を与えているか ほとんど影響を与えていないが TC が一定の値になった時だけ負の影響を与えるようになる iv) TC だけが重症度に強い正の影響を与えており TG はあまり影響していないが データの誤差によってたまたま負の偏回帰係数になってしまった これらの解釈のうち どれが実質科学的に合理的か検討して結果を解釈する 説明変数同士の相関が高い 同じ情報を重複して持っている どちらか一方を説明変数に入れるだけで良い 多重共線性の発生を防ぐことが可能 (4) 重回帰分析の注意点 i) 誤差の少ない信頼のおける多数のデータに適用したか? 目安 : 例数 ( 変数の数 10) または ( 変数の数の 2 乗 ) の大きい方 ii) 重回帰モデルに組み込んだ項目が適当か? iii) 高い重寄与率が得られているか? iv) 重回帰式が実質科学的に納得できるか? 3-8

9 3.3 変数の選択 変数選択結果は簡便で実用的な重回帰式を得るためのもの (1) 変数選択法できるだけ少ない説明変数で できるだけ効率的に目的変数の変動を説明できる 簡便で実用的な重回帰式を組み立てるための手法 i) 変数指定方法 実質科学的な知見に基づいて適当な説明変数を指定 ii) 総当たり法 全ての説明変数の組み合わせを計算し 最良のものを選択 iii) 逐次選択法 一定の規則に従って説明変数を逐次選択変数増加法 ( 前進的選択法 ) 変数減少法( 後退的選択法 ) 変数増減法 変数減増法 (2) 変数増減法の手順 1) 最初の変数の取り込み目的変数に対する単寄与率が最大の説明変数を取り込む 残差自由度 = n-2 y ( 単寄与率 ) x 1 図 3.3 1つの説明変数を取り込んだ時 2) 次の変数の取り込み残りの説明変数から今取り込んだ説明変数と共有する情報を取り除き その上で目的変数に対する単独寄与分が最大のものを探す そしてその変数が取り込み基準を満足するなら取り込む 各種の取り込み基準 3-9

10 i) 偏 F 値 (= 単独寄与分の情報密度 / 残差の情報密度 ) が基準値以上 ii) 有意確率 p 値が基準値以下 iii) 変数を取り込むと自由度調整済み重寄与率が増加 iv) 変数を取り込むと赤池の情報量基準 AIC が減少 y 残差自由度 = n-3 x j の単独寄与分 x 1 x j 図 3.4 次の説明変数を取り込んだ時 3) 変数の追い出し これまでに取り込んだ説明変数のうち 単独寄与分が最小のものを探す そしてその変数が追 い出し基準を満足するなら追い出す y 残差 x k を追い出す x 1 x j x k 図 3.5 説明変数の追い出し 3-10

11 各種の追い出し基準 i) 偏 F 値が基準値未満 ii) 有意確率 p 値が基準値より大きい iii) 変数を追い出すと自由度調整済み重寄与率が増加 iv) 変数を追い出すと赤池の情報量基準 AIC が減少 4) 変数選択の終了 2) に戻って変数の取り込みを続け 取り込む変数も追い出す変数もなくなるまで 2) と 3) を繰り 返す (3) 変数選択の例 === 重回帰分析 (multiple regression analysis) === [DANS V7.0] データ名 : 表 1.1 目的変数 y : 重症度説明変数 x 1:TC 説明変数 x 2:TG 各変数の基礎統計量 x 1: 例数 =10 平均値 =251 標準偏差 = 標準誤差 = x 2: 例数 =10 平均値 =209 標準偏差 = 標準誤差 = y 1: 例数 =10 平均値 =2.1 標準偏差 = 標準誤差 = 相関行列(correlation coefficient matrix) x 1 x 2 y x x y 前進的変数増減法(stepwise forward selection method) による変数選択結果 取り込み基準 : 偏 F 値 Fin=2 追い出し基準 : 偏 F 値 <Fout=2 標準 有意確率 変数偏回帰係数 標準誤差偏回帰係数偏相関係数 偏 F 値 p 値 定数 ** x ** x

12 変数 偏回帰係数 95% 信頼区間幅 下限 上限 定数 x x 重寄与率 ( 決定係数 )R^2= 自由度調整済重寄与率 ( 決定係数 )R'^2= 重相関係数 R = 自由度調整済重相関係数 R' = 分散分析表 (ANOVA table) 要因 平方和 自由度 平均平方和 F 値 有意確率 p 値 回帰 ** 残差 全体 変数選択法で選択されなかった変数は目的変数に影響を与えていないとは限らない ある説明変数が目的変数に影響を与えていないことを検証したい時は変数選択をしない方が良い 変数選択法で得られた説明変数の組み合わせは実質科学的に最適なものとは限らない 実質科学的に解釈困難な結果または実用的ではない結果なら特定の変数を強制的に取り込んだり追い出したりして色々な重回帰式を検討した方が良い 3-12

13 3.4 パス解析 パス図を利用して重回帰分析の結果をグラフ化すると解釈しやすい (1) パス図 多変量解析の結果を模式的にグラフ化し 結果の解釈を助けるための図 TC 誤差 重症度 TG 直接観測された変数を 観測変数 といい 四角形で囲む 例 : 臨床検査値 アンケート項目 図 3.6 パス図 TC 重症度 直接観測されない仮定上の変数を 潜在変数 といい 丸または楕円で囲む 例 : 因子分析の因子 心機能 自立心 分析対象以外の要因を表す変数を 誤差変数 といい 何も囲まないか丸または楕円で囲む 例 : 重回帰分析の回帰誤差 誤差 未知の原因 因果関係を表す時は原因変数から結果変数方向に単方向の矢印を描く TC 重症度 3-13

14 相関関係 ( 共変関係 ) を表す時は変数と変数の間に双方向の矢印を描く 心機能 自立心 これらの矢印を パス といい パスの傍らにパス係数を記載する TC 1.239* 重症度 パス係数は 因果関係の場合は重回帰分析の標準偏回帰係数または偏回帰係数を 用い 相関関係の場合は相関係数または偏相関係数を用いる パス係数に有意水準 を表す有意記号 * を付ける時もある (2) 階層的重回帰分析 ある説明変数が目的変数に影響を与え さらにその目的変数が別の目的変数に影響を与える というような階層的な因果関係を 複数の重回帰分析を組み合わせて解析する手法 表 1.1 に年齢を追加し 年齢が TC と TG に影響を与え さらに TC と TG に基づいて重症度を 判定しているという因果関係を想定した時 < 表 3.1 脂質異常症患者の年齢と TC と TG と重症度 > 症例 No. 年齢 TC TG 重症度 説明変数 x: 年齢 目的変数 y:tc にした単回帰分析 3-14

15 単回帰式 :y= x 標準偏回帰係数 = 単相関係数 =0.321 説明変数 x: 年齢 目的変数 y:tg にした単回帰分析単回帰式 :y= x 標準偏回帰係数 = 単相関係数 =0.280 説明変数 x 1 :TC x 2 :TG 目的変数 y: 重症度にした重回帰分析重回帰式 :y= x x 2 TC の標準偏回帰係数 =1.239 TG の偏回帰係数 = 重寄与率 :R 2 =0.814(81.4%) 残差寄与率の平方根 = 誤差 = = TC 誤差 年齢 重症度 TG 図 3.7 階層的重回帰分析結果のパス図 (3) パス解析階層的重回帰分析とパス図を利用し 複雑な因果関係を各種の効果に分けて分析する手法 直接効果 原因変数が結果変数に直接影響している効果図 3.7 の TC 重症度の直接効果 :1.239 間接効果 A B C という因果関係がある時 A が B を通して C に影響を及ぼしている間接的な効果図 3.7 の年齢 (TC+TG) 重症度の間接効果 : (-0.549)=0.244 相関効果 相関関係がある他の原因変数を通して 結果変数に影響を及ぼしている間接的な効果図 3.7 の TC TG 重症度の相関効果 :0.753 (-0.549)= 全効果 直接効果と間接効果と相関効果を合計した効果図 3.7 の TC 重症度の全効果 : =0.826(TC と重症度の単相関係数と一 3-15

16 致する ) 重回帰分析だけでなく 判別分析や因子分析とパス解析を組み合わせ 潜在因子も含めた複雑な因果関係を総合的に分析する手法を共分散構造分析 (CSA:Covariance Structure Analysis) または構造方程式モデリング (SEM:Structural Equation Modeling ) という これらの手法はモデルの組み立てに恣意性が高いため 主として社会学や心理学分野で用いられる 3-16