回帰分析の用途・実験計画法の意義・グラフィカルモデリングの活用 | 永田 靖教授（早稲田大学）

回帰分析の用途 実験計画法の意義 グラフィカルモデリングの活用 早稲田大学創造理工学部 経営システム工学科 永田靖, The Institute of JUSE. All Rights Reserved.

内容. 回帰分析の結果の解釈の仕方. 回帰分析による要因効果の把握の困難さ. 実験計画法の意義 4. グラフィカルモデリング 参考文献 : 統計的品質管理 ( 永田靖, 朝倉書店,9) 入門実験計画法 ( 永田靖, 日科技連,) グラフィカルモデリングの実際 ( 日本品質管理学会 テクノメトリックス研究会編, 日科技連,999), The Institute of JUSE. All Rights Reserved.

. 回帰分析の結果の解釈の仕方 () 変数選択結果への困惑と疑問 No. 4 5 6 7 8 9 重回帰分析のためのデータ ( その ) 6.9 6.9 8.8 7. 5.5. 7.4 9. 7.5.5.9...8 4. 4..8.. 4.6 8. 6.4 7. 8.4 8.5 6. 8.9 8.5 6.6 5.7 4. 4.6 4.8 4.5 4..8 4.6 4.6 7. 8. -.84.67.8 相関係数 ( その ) -.84 -.4 -.47.67 -.4.97.8 -.47.97, The Institute of JUSE. All Rights Reserved.

F 比が 以上ならその変数を重回帰式に取り込み, 未満ならその変数を重回帰式から外すという規準で変数選択. ˆ 6.96 4. ( R.849) () ˆ 9.55.96. ( R ˆ.67 ˆ. 4.66.864.9 ( R 9.454 ( R.9.9957).96).996) () () (4) 解析者の疑問 : (A) なぜ, 最初に一番影響のあった が最終的には外されるのか? (B) なぜ, 偏回帰係数は ()~(4) 式により大きく値が変わるのか? (C) なぜ,() 式と () 式では 4 の偏回帰係数の符号が異なるのか?, The Institute of JUSE. All Rights Reserved.

() 偏回帰係数の解釈の基本 変数 k の偏回帰係数の解釈の仕方 () 重回帰式中の他の変数が固定されたもとで k が 単位増えるとき, が増える量 (b) k が変化するとき, 重回帰式中にない変数は固定されず, それらの変数の影響は k の偏回帰係数に算入される 5, The Institute of JUSE. All Rights Reserved.

に関連する変数は,, の つしかないとする ˆ.67 4.66.9. 9 ().9 4.66 -.9 () 式に基づく変数関連図 4.66 は と が固定されたもとで が 単位増えるときに が増える量 ( の推定値 ) 6, The Institute of JUSE. All Rights Reserved.

ˆ.67 4.66.9. 9 () を目的変数,, を説明変数として重回帰式 ˆ.9.8. ˆ.67 4.66.9(.9 {4.66.9.8 (.67.9.9) 9.55.96.. (.8)} (.9.9.) ).9 ( ()) 7, The Institute of JUSE. All Rights Reserved.

ˆ 9.55.96. ( ()) の偏回帰係数.96 の意味 :.96 4.66.9 (.8) -.9 4.66 -.9 8, The Institute of JUSE. All Rights Reserved.

ˆ 9.55.96. ( ()) の偏回帰係数.96 の意味 :.96 4.66.9 (.8).9-4.66 () 重回帰式中の他の変数が固定されたもとで が 単位増えるとき, が増える量 -.9 (b) が変化するとき, 重回帰式中にない変数は固定されず, それらの変数の影響は の偏回帰係数に算入 9, The Institute of JUSE. All Rights Reserved.

ˆ 9.55.96. を目的変数, を説明変数として単回帰式 ˆ.975. 59 ˆ 6.96 4. ().9-4.66 - -.9, The Institute of JUSE. All Rights Reserved.

ˆ 6.96 4. ˆ 9.55.96. ˆ.67 4.66.9. 9 () () () () () () の偏回帰係数に含まれる影響 の偏回帰含まれる影響係数 4...9, -, -, - -, - -, -.9 4.66 -.9, The Institute of JUSE. All Rights Reserved.

() 説明変数間が無相関の場合 重回帰分析のためのデータ ( その ) No. 4 5 6 7 8 9.4.5.88.8 -. -.5.488.7.75 -.4.76 -.85 -.86.796.48 -.96.58. -.48 -.4.9 -.78..847 -.5 -.88 -.68 -.84.546 -.44 5.9-7..6 5.5 4. -5. 6..5-4. -5.9. -..457...889 相関係数 ( その ) -...84.457.889.84, The Institute of JUSE. All Rights Reserved.

F 比が 以上ならその変数を重回帰式に取り込み, 未満ならその変数を重回帰式から外すという規準で変数選択. ˆ. 4.456 ( R.6666)..44 4.456 ( R.885) ˆ ˆ..44 4.455 ( R.59.984) (5) (6) (7) 偏回帰係数はほとんど変化しない 4.455.44.59 (7) 式に基づく変数関連図, The Institute of JUSE. All Rights Reserved.

. のまとめ 偏回帰係数は重回帰式中の他の変数を固定したもとでの効果 偏回帰係数は重回帰式外の他の変数の影響を受ける 説明変数間に相関があると変数選択の過程で偏回帰係数は大きく変化 4, The Institute of JUSE. All Rights Reserved.

. 回帰分析による要因効果の把握の困難さ () 回帰分析は何の役に立つのか 回帰分析の用途 : () 予測には有用 () 要因分析 制御のためには回帰分析だけでは困難 要因分析 制御を行うには実験計画法 回帰式の偏回帰係数には, 説明変数から目的変数 への直接的な影響だけでなく, その他の変数の影響が含まれてくるので, その解釈は困難 5, The Institute of JUSE. All Rights Reserved.

を説明変数, を目的変数として, 単回帰式 ˆ ˆ β ˆ β (8) (8) 式より と についての関係を想定できるか? 観測されていない ( 認識されていない ) 別の変数 の存在の可能性を考慮して,5つのパターン (A) (B) (C) (D) (E) 5 つのパターン 6, The Institute of JUSE. All Rights Reserved.

ˆ ˆ β ˆ β (8) (A) (B) (C) (D) (E) (A) (B) (C) (D) (E) ˆβ に含まれる影響,, 各パターンと偏回帰係数との関係 を 単位変化させるときの変化量 ( 直接効果 ), ( 総合効果 ) ( 直接効果 ) ( 間接効果 ) 擬似相関 7, The Institute of JUSE. All Rights Reserved.

どのパターンが真でも, それを知らなくても, の値を知れば,(8) 式を利用して は予測可能 パターン図の変数間の関連情報がなくても予測可能 の効果 ( を 単位変化させるとき の変化量 ) は, パターンにより異なる. どのパターンが真なのか未知なら, の効果は適切に判断できない. 8, The Institute of JUSE. All Rights Reserved.

回帰分析で各変数の効果を見積もるには, パターンの識別が必要 パターンを探索にはグラフィカルモデリングが有用 グラフィカルモデリングでは偏相関係数に基づいて解析 グラフィカルモデリング 独立グラフ, 有向独立グラフ 回帰分析で要因分析 制御するには, 有向独立グラフを併用 9, The Institute of JUSE. All Rights Reserved.

. のまとめ 回帰分析は予測には有用 要因分析や制御には実験計画法が有用 回帰分析で要因分析 制御を行うには有向独立グラフを併用, The Institute of JUSE. All Rights Reserved.

. 実験計画法の意義 繰返しのない 元配置法のデータの形式 B B 水準 B A ( ) ( ) ( ) A ( 4 ) ( 5 ) ( 6 ) ij μ i b j ε ij i ε ~ N(, σ ) ij i, i b j b b b, The Institute of JUSE. All Rights Reserved.

6 6 5 5 4 4 ε μ ε μ ε μ ε μ ε μ ε μ b b b b b b ( 6 ) ( 5 ) ( 4 ) A ( ) ( ) ( ) A B B B 水準繰返しのない 元配置法のデータの形式 b b b b b b b i j i i, The Institute of JUSE. All Rights Reserved.

繰返しのない 元配置法のデータの形式 水準 B B B A ( ) ( ) ( ) A ( 4 ) ( 5 ) ( 6 ) 4 5 6 μ μ μ μ μ μ b b b b b b b b β, b β, ε ε ε ε ε 4 ε μ β, b β 5 6 とおくと, The Institute of JUSE. All Rights Reserved.

4 6 6 5 5 4 4 ) ( ) ( ) ( ) ( ) ( ) ( ) ( ε β β β β ε β β β β ε β β β β ε β β β β ε β β β β ε β β β β ( 6 ) ( 5 ) ( 4 ) A ( ) ( ) ( ) A B B B 水準繰返しのない 元配置法のデータの形式, The Institute of JUSE. All Rights Reserved.

繰返しのない 元配置法のデータの形式 水準 B B B A ( ) ( ) ( ) A ( 4 ) ( 5 ) ( 6 ) i β β β β ε ( i i i i i,,...,6) 上式に代入するデータ No. 4 5 6 - - - - - - - 4 5 6 r 相関係数.5 r.5 r r r r (A) と (, ) (B) は無相関 5, The Institute of JUSE. All Rights Reserved.

日常データなどの観察データでは, 説明変数間を無相関にすることは困難 実験計画法では各因子に対応する説明変数間が無相関になるように 計画 説明変数間が無相関であっても, 回帰分析では観測していない他の変数の影響を受ける 実験計画法では つの工夫より, 他変数の影響を回避 () 取り上げていない要因はできるだけ一定にして実験 () ランダムな順序で実験 6, The Institute of JUSE. All Rights Reserved.

実験に取り上げていない因子一定になるように配慮 u,u, v,v, 実験に取り上げた因子 ( 説明変数 ),, 目的変数 ( 特性値 ) 実験計画法の工夫 w,w, z,z, 実験に取り上げていない因子一定にしようと配慮されていない 7, The Institute of JUSE. All Rights Reserved.

実験に取り上げていない因子一定になるように配慮 u,u, v,v, 実験計画法の特徴 実験に取り上げた因子 ( 説明変数 ),, 説明変数間は無相関 総合効果 目的変数 ( 特性値 ) 実験順序のランダム化 w,w, z,z, 実験に取り上げていない因子一定にしようと配慮されていない 8, The Institute of JUSE. All Rights Reserved.

実験順序と解析方法 データの形式 水準 B A 5 A B B 5 9 5 8 同じデータの形式であっても, データの取り方により解析方法は異なる. 繰返しのある 元配置法 乱塊法 分割法 4 繰返しのない 元配置法 測定のみの繰返し 9, The Institute of JUSE. All Rights Reserved.

繰返しのある 元配置法 XX 回の実験をランダムな順序で実施 水準 実験順序 B B A 8 B 4 9 A 6 5 7 要因 平方和 分散分析表 自由度平均平方 分散比 A B AXB E 5.8 9.5 6.7 4.5 6 5.8 9.75 8.8.47 5.8/.47.5 9.75/.478.7 8.8/.477.48 T 4.5, The Institute of JUSE. All Rights Reserved.

乱塊法 第 反復 R:X6 回の実験をランダムな順序で実施 第 反復 R:X6 回の実験をランダムな順序で実施 要因 R A B AXB E T 平方和.8 5.8 9.5 6.7.4 4.5 自由度 5 分散分析表 平均平方.8 5.8 9.75 8.8.484 R 実験順序 B B A 5 6 B A 4 R B B A 7 B A 8 9 分散比.8/.484.84 5.8/.484. 9.75/.4847.95 8.8/.4487.8, The Institute of JUSE. All Rights Reserved.

分割法 次因子 :A, 次因子 :B 第 反復 R: A のまま 回をランダムな順序 A のまま 回をランダム順序 同様に第 反復 R 要因 R A E() B AXB E T 平方和.8 5.8 6.75 9.5 6.7 5.67 4.5 自由度 4 分散分析表 平均平方.8 5.8 6.75 9.75 8.8.4 R 実験順序 B B A 5 4 6 B A R B B A 7 9 8 B A 分散比.8/6.75. 5.8/6.757.7 6.75/.44.75 9.75/.4.9 8.8/.4.7, The Institute of JUSE. All Rights Reserved.

4 繰返しのない 元配置法 測定のみの繰返し A と B の水準組合せ 6 通りをランダムな順序で実験し, 測定を 回繰返す 実験は 6 回 要因 A B E() E() T 平方和 5.8 9.5 6.7 4.5 4.5 自由度 6 分散分析表 平均平方 5.8 9.75 8.8.47 実験順序 ( かっこ内は測定順序 ) B B 水準 B A 5 (9)() (5)(6) ()(4) A 4 (7)(8) ()() 6 ()() 分散比 5.8/8.8.88 9.75/8.8.9 8.8/.477.48, The Institute of JUSE. All Rights Reserved.

同じデータの形式であっても, データの取り方により解析方法は異なる. 繰返しのある 元配置法 乱塊法 分割法 4 繰返しのない 元配置法 測定のみの繰返し 教科書の記載順序 実験しやすい順序 4, The Institute of JUSE. All Rights Reserved.

. のまとめ 実験計画法では つの工夫より, 他変数の影響を回避 () 取り上げていない要因はできるだけ一定にして実験 () ランダムな順序で実験 知りたい効果だけを取り出せる点が実験計画法の意義 社会科学や疫学等のように実験できない場合には, 回帰分析を用いた因果推論のアプローチ 実験しやすい手法の順序 と 教科書での記載順序 は逆. ていねいに勉強しないと, 実験方法と解析方法が 5 不整合になる危険性, The Institute of JUSE. All Rights Reserved.

4. グラフィカルモデリング () グラフィカルモデリングで作成するグラフ 無向独立グラフ 有向独立グラフ 5 4 4 連鎖独立グラフ ( 本稿では扱わない ) 5 4 6 6, The Institute of JUSE. All Rights Reserved.

() 回帰分析との関係 44 β β β β β ε もし, 変数間の真の関係が 4 だったら, 回帰分析の変数選択より ˆ ˆ β ˆ β ˆ β を予測するなら, 4 だけで十分 を制御するとき, 4 が介入しにくい変数なら, に介入する 4 4 7, The Institute of JUSE. All Rights Reserved.

8 () 相関係数行列と偏相関係数行列 p p p r r L,...,,...,, の標本偏相関係数とを与えたときに対して, ˆ ˆ ˆ ˆ ˆ e p p p L L 残差 : p p r e e の標本相関係数がと L L ˆ ˆ ˆ ˆ ˆ e b b b p p p L L 残差 :, The Institute of JUSE. All Rights Reserved.

9 [ ] ij p p p p p j i ij Π,...,, : L M O M M L L に対しての母相関係数と [ ] ij pp p p p p Π L M O M M L L と定める.- と表示 ) ( : 残りの変数 ) ( の母偏相関係数と ii jj ii ij ij j i 下付の添え字上付の添え字, The Institute of JUSE. All Rights Reserved.

4 Π.6.6.6.6.6.6.6.6.6.6.6.6 4 4 4 4 4 4 Π.56.98.56.98.56.98.98.98.98.688 44 4 4 4 4 4 4.56.56.458.56.688.98) ( 4 4 相関係数行列, The Institute of JUSE. All Rights Reserved.

4 が求まらないことがある Π Π Λ.458.458.458.458.458.458 4 4 4 4 4 4 ) ( > c b b 例 : 偏相関係数行列間に何らかの線形性があるとき p,...,, 対処法 : 関係式を構成している変数を解析から除外多重共線性, The Institute of JUSE. All Rights Reserved.

(4) 無向独立グラフ Π Λ.9.8.9.7.778.5.8.7.778.5 母相関係数行列 母偏相関係数行列 ( 図独立グラフ : 条件付き独立 : 独立 ) b c given という意味 4, The Institute of JUSE. All Rights Reserved.

4 )), ( ( )), ( ( )), ( ( 4 4 4 4 4 Λ.458.458.458.458.458.458 4 4 4 4 4 4 図独立グラフ 4 ) ( ) ( ) ( 4 4 4 4, The Institute of JUSE. All Rights Reserved.

44 ) ( () () Λ Λ () 4 ( 例題 ) 次の偏相関係数行列より独立グラフを作成せよ. () 4, The Institute of JUSE. All Rights Reserved.

(5) 有向独立グラフ,,..., p の順序があると仮定 : 因果関係, 時間的先行性など Step.? ここだけ相関係数 Step.?,? (? の判定はしない. は意味がない ) Step. 4?, 4?, 4? (?,?, 4 4 4? の判定はしない ) Step 4 5 4?, 54?, 54?, 45? 以下同様 45, The Institute of JUSE. All Rights Reserved.

46 Π.8.4.4.5.5,,, 4 4 4 4 の順序があると仮定 ( 例 ). Step Λ Π.58.58..5.5 相関係数行列.58.58, 矢印がない Step. 相関係数行列偏相関係数行列, The Institute of JUSE. All Rights Reserved.

47 Π.8.4.4.5.5 4 4 4 相関係数行列.69 4 4 4,, Step. Λ.69.4.4. 4 4 4 偏相関係数行列 4 図有向独立グラフ, The Institute of JUSE. All Rights Reserved.

48 有向独立グラフを作成せよ. ( 例題 ) 5 の順序があると仮定する. 4,,,, Π 45 5 5 5 4 4 4 Λ Λ Λ 相関係数行列偏相関係数行列 4 5 4 5, The Institute of JUSE. All Rights Reserved.

49 (6) 適合度の指標 : 大 ): 大 ( ˆ log ˆ log ) ( RM dev n R n R n RM dev Π Π ) ( ) ( ) ( GFI df p p AGFI inde fit of goodness djusted AGFI ( 対角要素の和 ) pp pp p p p p A tr A L L M O M M L L ] [ ) ( ] } [{ ˆ ] )} ˆ ( [{ ˆ ) ( Π Π Π GFI R tr R tr GFI inde fit of goodness GFI : モデルのもとでの標本相関係数行列最初の標本相関係数行列 Πˆ R :, The Institute of JUSE. All Rights Reserved.

4. のまとめ グラフィカルモデリングでは, 相関係数ではなく, 偏相関係数を用いてグラフを作成する. 偏相関係数 は条件付き独立を意味する. 有向独立グラフを作成することにより, 変数間の関連が理解でき, 回帰分析の結果を適切に解釈できる. 5, The Institute of JUSE. All Rights Reserved.

終 5, The Institute of JUSE. All Rights Reserved.

掲載されている著作物の著作権については, 制作した当事者に帰属します. 著作者の許可なく営利 非営利 イントラネットを問わず, 本著作物の複製 転用 販売等を禁止します. 所属および役職等は, 公開当時のものです. 公開資料ページ弊社ウェブページで各種資料をご覧いただけます http://www.i-juse.co.jp/sttistics/jirei/ jp/sttistics/jirei/ お問い合わせ先 ( 株 ) 科技研数理事業部パッケージサポート係 http:/www.i-juse.co.jp/sttistics/support/contct.html, The Institute of JUSE. All Rights Reserved.