- PDF Free Download

Size: px

Start display at page:

Download ""

えりかこうい
5 years ago
Views:

1 Ecel で学ぶ多変量データ処理入門坂元保秀

3 まえがき本テキストは, 種々の分野で収集された多変量データを Mcosof Ecel を用いて処理する方法を述べたものである. 特に, 収集した多変量データを処理するために Sofwae がなく断念した, また Sofwae を購入するまでに至らなかった等, 初期の目的を達成できなかったとの意見を聞いたことがあり Ecel の基本関数を用いて解析を試みた. 多変量統計解析の理論を理解するためには, かなり統計学の基礎知識や数学的基礎知識を理解しておく必要があるが, それぞれのデータ処理法が何を目的としたデータ処理なのかを理解して解析の方法論を修得して欲しいと願っている. 本テキストでは, 時間さえ十分にかければ Mcosof Ecel を用いて多変量データの処理は可能であることをポイントとしている. 各章に Ecel 演習問題ワークシートおよび Ecel 演習問題解答を配置し, また固有方程式の解法には Ecel VBA を用いてプログラムを Ecel シートに作成した. いくつかの章に対しては,Ecel 演習問題ワークシート No. と No. または No.3 の三つを提示しているので, 応用として No. または No.3 のワークシートにも挑戦していただきたいと願っている. 演習問題で扱ったデータは, 表示用として少ない変数およびサンプルとして提示してあるが, 本来の多変量データは多変数および多サンプルとなるので, 本書では処理方法に重点をおいている. さらには統計的な解析については言及していない. 本テキストで示した Ecel 演習問題ワークシートおよび Ecel 演習問題解答についてはホームページで公開した. 公開先のURLは, h:// である. また本書で扱っている次の () 重回帰分析 () 主成分分析 (3) 因子分析 (4) 判別分析 (5) 正準相関分析 (6) クラスター分析 (7) 数量化理論 Ⅰ 類 (8) 数量化理論 Ⅱ 類 (9) 数量化理論 Ⅲ 類 () 数量化理論 Ⅳ 類の処理方法については,Wdows 用アプリケーションソフトとして開発作成して公開し, インストールを Wdows XP/7/8/8./ まで対応させた. 本書については大学での演習や社内教育等でご利用いただきご意見を賜れば幸いである. 5// 修正 7/3/9 修正坂元保秀 ( 元 TGU 教授 )

4 目次まえがき第章行列の基礎. ベクトル表現. 行列表現.3 ベクトルの演算.4 行列の演算.5 逆行列 3 第章 Ecel 演習問題 4 第章統計的処理の基礎. データの分布 5.. ヒストグラムの作成法 5.. 散布図の作成法 6. データの基本統計量 6.. 分布の中心的傾向 6.. 分布の散らばり的傾向 7..3 二つの特性間の関係 7.3 正規分布 8.3. 正規分布の確率 9.3. 多変量正規分布 9 第章 Ecel 演習問題第 3 章多変量データとは 3. 多変量データの行列表示 3 3. データの種類多変量データの基本統計量全変数が定量的データのとき変数に定性的データが含まれるとき 5 第 3 章 Ecel 演習問題 6 第 4 章重回帰分析 4. 重回帰分析とは 7 4. 重回帰モデルと偏回帰係数の推定重回帰式の妥当性推定した回帰式による予測変数間の分散共分散の推定変数間の相関行列の推定 4.7 変数間の偏相関行列の推定第 4 章 Ecel 演習問題第 5 章主成分分析 5. 主成分分析とは 3 5. 主成分の導出変数が個の場合の主成分の導出変数が個の場合の主成分の導出寄与率因子負荷量 6 --

5 5..5 主成分得点標準化したデータを用いる主成分分析主成分の導出寄与率因子負荷量主成分得点ラグランジュの未定乗数法固有方程式固有値, 固有ベクトルを求めるプログラム使用手順 9 第 5 章 Ecel 演習問題 3 第 6 章判別分析 6. 判別分析とは説明変数個の場合の判別分析線型判別関数による判別分散の推定誤判別の確率説明変数個の場合の判別分析線型判別関数による判別分散共分散行列の推定誤判別の確率説明変数個の場合の判別分析変数 k 群による線型判別関数による判別誤判別の確率行列表示 39 第 6 章 Ecel 演習問題 4 第 7 章正準相関分析 7. 正準相関分析とは 4 7. 正準変量および正準相関係数の求め方第番目以降の正準変量および正準相関係数 46 第 7 章 Ecel 演習問題 47 第 8 章因子分析 8. 因子分析とは因子分析モデルと因子行列共通性の推定非反復法による因子行列の推定反復法による因子行列の推定因子得点の推定固有方程式 54 参考因子分析による因子得点の推定法( 回帰推定法 ) 55 第 8 章 Ecel 演習問題 58 第 9 章クラスター分析 9. クラスター分析とは 6 9. クラスター構成法類似性を測る統計量クラスター間の類似性を測る統計量クラスター間の類似性を測る最短距離法クラスター間の類似性を測るウォード法 6 --

6 9.5 クラスターのデンドログラム 64 第 9 章 Ecel 演習問題 65 第章数量化理論 Ⅰ 類. 数量化理論 Ⅰ 類とは 66. ダミー法 66.3 数量化理論 Ⅰ 類回帰モデルとカテゴリ数量の推定 68.4 カテゴリ数量の基準化 7.5 回帰式の妥当性 7.6 推定した回帰式による予測 7.7 アイテム間の分散共分散の推定 7.8 アイテム間の相関行列の推定 7.9 アイテム間の偏相関行列の推定 7 第章 Ecel 演習問題 73 第章数量化理論 Ⅱ 類. 数量化理論 Ⅱ 類とは 74. ダミー法 74.3 アイテム数個の場合の数量化理論 Ⅱ 類線型判別関数による判別分散共分散行列の推定誤判別の確率 77.4 アイテム数個の場合の数量化理論 Ⅱ 類 78 第章 Ecel 演習問題 79 第章数量化理論 Ⅲ 類. 数量化理論 Ⅲ 類とは 8. ダミー法 8.3 数量化変数の推定 8.4 一般的なデータ表に基づく数量化変数の推定 83 第章 Ecel 演習問題 86 第 3 章数量化理論 Ⅳ 類 3. 数量化理論 Ⅳ 類とは数量化変数の推定分析対象物の数量化行列 H の求め方固有値と固有ベクトル 93 第 3 章 Ecel 演習問題 96 第 4 章クロス表を応用した数量化理論 Ⅰ 類 4. クロス集計表偏差積和行列カテゴリ数量の推定 99 第 4 章 Ecel 演習問題第 5 章クロス表を応用した数量化理論 Ⅱ 類 5. クロス集計表 5. 偏差積和行列 5.3 線型判別関数の推定誤判別の確率 5 --

7 第 5 章 Ecel 演習問題 6 付録 Ecel 関数を用いた基本統計量の求め方 ~ 関数の使用法いろいろ ~ データ表から直接求める方法を規準として 7 第章 Ecel 演習問題 Wok Shee 解答第章 Ecel 演習問題 Wok Shee 解答 3 第 3 章 Ecel 演習問題 Wok Shee 解答 6 Ecel 演習問題 Wok Shee 解答 9 第 4 章 Ecel 演習問題 Wok Shee 解答 Ecel 演習問題 Wok Shee 解答 4 参考各種統計量の行列 ( 偏差積和行列, 分散共分散行列相関行列, 偏相関行列 ) の求め方 6 第 5 章 Ecel 演習問題 Wok Shee 解答 8 Ecel 演習問題 Wok Shee 解答 3 Ecel 演習問題 Wok Shee3 解答 36 第 6 章 Ecel 演習問題 Wok Shee 解答 4 Ecel 演習問題 Wok Shee 解答 43 第 7 章 Ecel 演習問題 Wok Shee 解答 46 Ecel 演習問題 Wok Shee 解答 49 第 8 章 Ecel 演習問題 Wok Shee 解答 5 Ecel 演習問題 Wok Shee 解答 57 Ecel 演習問題 Wok Shee(SMC 規準 ) 解答 6 第 9 章 Ecel 演習問題 Wok Shee 解答 67 第章 Ecel 演習問題 Wok Shee 解答 73 第章 Ecel 演習問題 Wok Shee 解答 77 第章 Ecel 演習問題 Wok Shee 解答 8 第 3 章 Ecel 演習問題 Wok Shee 解答 87 第 4 章 Ecel 演習問題 Wok Shee 解答 9 第 5 章 Ecel 演習問題 Wok Shee 解答 97 参考文献 -v-

9 -- 第章行列の基礎. ベクトル表現通常ベクトルと言えば列ベクトルを表し, 行ベクトルは転置の記号を用いる. 例えば,,,, がベクトルであるとき, 列 ( 縦 ) ベクトルは次式となる. また, 行 ( 横 ) ベクトルは次式で表される.. 行列表現列ベクトル,,, が,,,, であるとき, X を行列という. 特にこの行列は行列から成る行列で行列とも呼ばれる. 行列 X の行と列の配置を入れ換えた行列, X を行列 X の転置行列といい行列となる..3 ベクトルの演算二つのベクトル, が,, であるとき, 二つのベクトルの内積は次式で定義される. (.) (.) (.3) (.4) (.5)

10 -- また, 二つのベクトル, が次式であるとき,, ただし,, S S S となり S, S, S は偏差平方和または偏差積和と呼ばれる..4 行列の演算行列 X が次であるとき, X 行列 X の転置行列と X の積は, X X となる. また, 行列 A が次であるとき, A (.6) (.7) (.8) (.9) (.) (.) (.) (.3)

11 -3- S S S S A A.5 逆行列 ( 次 ) の正方行列 A ( ak A ) に対して, I A A AA を満たす行列 A を行列 A の逆行列という. また, 行列 I は単位行列と呼ばれ対角要素がすべて, 非対角要素はとなる. 一般に, 行列 A の逆行列は次式で求められる. A A A ~ ただし, A ~ : 余因子行列 A: 行列 A の値 (.4) (.5) (.6)

12 第章 Ecel 演習問題問題 - 次のベクトルの転置行列を求めよ問題 - 次の行列 X の転置行列を求めよ X 問題 -3 次のベクトルとの内積を求めよ問題 -4 次の行列 X の積 X X を求めよ X 問題 -5 次の行列 A の逆行列 A を求め, さらに A A を求めよ A

13 第章統計的処理の基礎. データの分布.. ヒストグラムの作成法一つの特性について多くのデータがあるとき, データの分布状態を把握することがある. この分布状態の表現にはヒストグラムを利用する. 手順. 多くのデータ,,, を収集する. 手順. 範囲 R を求める. R ma m m a: データの最大値, m : データの最小値手順 3. 級の幅を次式で求め, 級の幅 h を測定単位の整数倍に丸める. h R m: 測定単位手順 4. 級の境界値を求める. 級の下部境界値級の上部境界値級の下部境界値級の下部境界値 L m U L L U U L m h h 以下順次, データの最大値が含まれる級まで求める. ma 手順 5. 級の中央値を求める. L 級の中央値 z U L U 級の中央値 z 以下順次, 最後の級まで求める. 手順 6. 度数表を作成する. f, f,, f はそれぞれの級の境界値の範囲にあるデータの個数である. k f 表. ヒストグラム作成のための度数表級 No. 境界値下部上部中央値マーキング度数 L ~ U z L ~ U z f k kl ~ ku z k f k 手順 7. ヒストグラムを作成する. 度数表の中央値 z, z,, zk を横軸に, カウントしたデータの度数 f, f,, f k を縦軸にとり作成した図. はヒストグラムと呼ばれる. ヒストグラムを作成すると一つの特性がどのように分布しているかがわかる. -5-

図. ヒストグラム.. 散布図の作成法二つの特性, について多くの対のデータがあるとき, データの分布状態を把握することがある. この分布状態の表現には散布図を利用する.,,,,, を収集する., 手順. 多くのデータ手順. それぞれ, について最大値, 最小値を求める. ma : データの最大値, m : データの最小値 ma : データの最大値, m : データの最小値手順 3.

14 図. ヒストグラム.. 散布図の作成法二つの特性, について多くの対のデータがあるとき, データの分布状態を把握することがある. この分布状態の表現には散布図を利用する.,,,,, を収集する., 手順. 多くのデータ手順. それぞれ, について最大値, 最小値を求める. ma : データの最大値, m : データの最小値 ma : データの最大値, m : データの最小値手順 3. 散布図を作成する. 横軸をデータ, 縦軸をデータとして, それぞれのデータの最大値, 最小値を考えて軸上を目盛る. このとき注意しておきたいことは, 二つの特性, の範囲がおおよそ正方形になるよう各軸の調整を行ない目盛る. この作成した図. は散布図と呼ばれる. 散布図を作成すると二つの特性がどのように分布しているかがわかると共に, 二つの特性, の関係を知ることができる. 図. 散布図. データの基本統計量.. 分布の中心的傾向 () 最頻値データ,,, があるとき, 最頻値は最も頻繁に現れる値である.,,, M mode o () 中央値データ,,, があるとき, データを大小順に並べたとき中央のデータである. -6-

15 M e が偶数のとき M が奇数のとき e (3) 平均値データ,,, があるとき, 平均値は次式で与えられる. (.) (.) (.3).. 分布の散らばり的傾向 () 範囲データ,,, があるとき, 範囲 R は次式で与えられる. R m a m () 平方和データ,,, があるとき, 平方和 S は次式で与えられる. S 特に式 (.5) は偏差平方和と呼ばれ, 計算のために次式が用いられることがある. S (3) 分散分散 V は次式で与えられる. S V 特に, 式 (.7) で求められる分散 V は不偏分散と呼ばれる. (4) 標準偏差標準偏差 s は次式で与えられる. s S..3 二つの特性間の関係 V 二つの特性,,,,,,, があるとき, 特性間の関係を知ることができる. この特性間の関係については正の相関がある負の相関があるまた相関はないという表現を用いる. 相関の有無を数量的に表現するため相関係数を求める. 相関係数は式 (.) で与えられる. について対のデータについての平方和 S j j j j j j (.4) (.5) (.6) (.7) (.8) -7-

16 についての平方和 S j と j j についての積和 S j j j 相関係数は, S ただし, S S 計算された相関係数値からが+に近づけば正の相関が強い,-に近づけば負の相関が強い, またの近傍では相関はないと判断する. 相関係数より相関の有無を.645 判断する目安はのとき相関ありと判断する..3 正規分布一つの特性のデータについて分布状態はヒストグラムを作成して把握することができる. この特性のデータ数が多数 ( ) あるとき, ヒストグラムを作成すればその極限分布は, 滑らかな曲線を描き図.3 の形となる. この分布は正規分布 ( またはガウス分布 ) と呼ばれ統計処理の基礎となる分布で広く利用されている. 今, この特性をとおくと正規分布の曲線 f は, j j f e, (.) で表され確率密度関数と呼ばれる. この分布は平均値, 分散の正規分布である. したがって, 正規分布は種々の特性に対し, 平均値, 分散布は無数に存在することになる. j j j j j j j (.9) j (.) の組み合わせによる分図.3 正規分布正規分布の確率密度関数式 (.) において, u 図.4 標準正規分布 (.) で標準化すると確率密度関数は, u fu e (.3) となる. この分布は標準正規分布と呼ばれ図.4 に示す. したがって, 標準正規分布の平均値は, 分散はの正規分布となる. -8-

17 .3. 正規分布の確率正規分布の確率密度関数において, 累積分布関数を F とおくと, F f d となる. したがって, P a を示す.,a の範囲の a a P a f d e d また, 式 (.) の標準化の式を用いた標準正規分布では, P u は, u 値までの下側確率 P u f udu で求められる. F は, 正規分布における a 値までの下側確率 u e du, で Fu (.4) (.5) となり (.6) 図.5 正規分布の確率図.6 標準正規分布の確率.3. 多変量正規分布について,,,,, 二つの特性,, の対のデータに対してその変数および平均のベクトルを, (.7) で表すと確率密度関数は, f f, e (.8) で定義され, この分布は次元正規分布と呼ばれる. ここでは分散共分散行列である. ただし, j 4 また,, の相関係数をとすれば,, となる. の逆行列は式 (.6) より, k jk j k (.9) (.) (.) -9-

18 -- c c c c 式 (.8) の指数部は, c c c となり確率密度関数は, e, f f となる. さらに個の特性,,, について変数, 平均のベクトルおよび分散共分散行列を,,, と表せば次元正規分布の確率密度関数は, e,,, f f となり, 一般にこの次元正規分布を多変量正規分布と呼んでいる. (.) (.3) (.4) (.5) (.6)

19 第章 Ecel 演習問題問題 - 次表のデータより統計量を求めよ. 表 -. データ表特性データ () 最頻値 () 中央値 (3) 平均値 (4) 範囲 (5) 平方和 (6) 分散 (7) 標準偏差問題 - 次表のデータよりヒストグラムを作成し, 平均値および標準偏差を求めよ. 表 -. データ表データ問題 -3 次表のデータより散布図を作成し, それぞれ特性の平均値および標準偏差, さらに相関係数を求めよ. 表 -3. データ表 No. No. No 問題 -4 次図の正規分布における確率を求めよ , () P () 6, 5 P 図 -4. 図

(3) P u.3, (4). u.5, P 問題 -5 標準正規分布 ( 求め作図せよ. 図 -4.3 図 -4.4, u -4. -3.5-3. -.5 -.

20 (3) P u.3, (4). u.5, P 問題 -5 標準正規分布 ( 求め作図せよ. 図 -4.3 図 -4.4, u ) における確率密度関数 f u および累積分布関数 Fu 表 -5. 計算表 u f F u を --

21 第 3 章多変量データとは調査や分析のために我々は多くのデータを収集する. 例えば, 中古乗用車のデータ走行距離 (Km), 排気量 (cc), 年式 ( 年 ), 価格 ( 万円 ), のデータについて 3 台収集した. 発売された製品 Aの販売個数を北海道地区, 東北地区, 関東地区, 東海地区, 近畿地区, 中国地区, 四国地区, 九州地区, 6 7 の地区別に年間調査しデータを収集した. 3 児童の発育データについて性別, 身長, 体重, 胸囲, 座高, のデータを男女人を調査し収集した. 4 経営指標売上総利益, 営業利益, 経常利益, 資本回転率, について 5 社のデータを収集した. 5アンケート調査を実施し次の設問設問, 設問, 設問 3, 設問 4, 設問 5, 北陸地区について5 段階の回答を 3 人収集した. などのように変数,,, についてサンプル数のデータを多変量データ ( または行列データ ) という. 3. 多変量データの行列表示今, 個から成る変数,,, についてサンプル数のデータを収集したとき, そのデータ表は表 3. となる. 表 3. 多変量データ表サンフル No 得られた表 3. の多変量データを行列として表示すると, となる. (3.) 3. データの種類多変量データとして収集される,,, には,4 つの種類の性質をもつデータが一般的である. それらは測定される方法により Seves の次の尺度で表される. -3-

22 () 名義尺度この尺度によるデータは, 個体間の同値関係のみが定められているデータである. このデータは等号, 不等号のない分類のデータとして扱われ層別因子等がこれに相当する. () 順序尺度または序数尺度この尺度によるデータは, 同値関係の他に順位関係が定義できるデータである. このデータは等号, 不等号の他に大小関係が存在し人間の感覚や物理的基準によって格付けされたデータである. このデータの順序間の距離は問題にしていない. (3) 間隔尺度この尺度によるデータは, 順序尺度に加え順序間の距離が定義されたデータである. 一般的に加法的尺度とも言われ, 数学的な加法性が成り立ち平均値, 標準偏差, 相関係数などの計算が可能で従来から最も多く用いられているデータである. この尺度の原点は任意である. (4) 比率尺度この尺度によるデータは, 原点 ( 絶対零 ) をもつ間隔尺度で定義されたデータである. このデータは等間隔, 等比率が保証され, 一般的に乗法的尺度とも言われ, 長さや重さ等のデータに対し諸解析が行なえるデータである. 従来, データに対し間隔尺度と比率尺度が多用されていたが, 各尺度とも有効なデータの処理法が開発されている. ここで 4 つの尺度のうち名義尺度と順序尺度 ( 序数尺度 ) を定性的データ, 間隔尺度と比率尺度を定量的データと呼ぶことにする. 以上をまとめると表 3. となる. 表 3. 多変量データの種類データの種類尺度意味名義尺度性別や商品などのように分類のみを表す. 定性的データ順序尺度優, 良, 可, 不可などのように順序に意味があり, ( 序数尺度 ) 順序間の距離は一定でない. 間隔尺度順序や間隔に意味があり原点は任意である. 定量的データ長さや重さ等のように間隔尺度であり原点は定ま比率尺度っている. 3.3 多変量データの基本統計量 3.3. 全変数が定量的データのとき一般に収集した変数のデータが定量的データの場合, 基本統計量として各変数の平均値, 標準偏差, 分散および各変数間の相関係数等が計算される. その計算は表 3. に示す多変量データ計算表を作成し, 行列演算法を利用すれば容易に計算できる. 表 3. 多変量データ計算表サンフル No. 平均値標準偏差 s s s データ行列, 各変数の平均値を求めて平均値の行列をとすれば, -4-

23 , (3.) 偏差行列は, (3.3) となり, 平方和行列 S および分散共分散行列は, S S, (3.4) として求められる. また, 相関行列 R は式 (3.4) で求められたの平方和行列 S の要素を S, または分散共分散行列の要素をとすると, j R, ただし j として求められる変数に定性的データが含まれるとき j S S j S jj, または収集した変数のデータに定性的データが含まれているとき, 基本統計量を計算することは意味がない. しかし層別用として扱い他変数の特徴を見出すのに大きな効果を発揮する. また, 後述するデータ処理の方法として定性的データを数量化し, 計算処理を施すことによって目的とする多変量データを処理する. j j jj (3.5) -5-

24 第 3 章 Ecel 演習問題問題 3- 次表のように児童人について身長, 体重, 胸囲, 座高のデータを収集した. 各変数について平方和行列 S, 分散共分散行列, 相関行列 R を求めよ. 表 3-. データ表身長体重胸囲座高 No 問題 3- また児童人の性別のデータも収集でき身長, 体重, 胸囲, 座高のデータ表を次表のように整理した. 各変数について性別で層別しそれぞれ男児, 女児の平方和行列 S, 分散共分散行列, 相関行列 R を求めよ. 表 3-. データ表性別身長体重胸囲座高 No 男児女児男児女児男児男児女児女児女児男児

25 - - 7 第 4 章重回帰分析 4. 重回帰分析とは重回帰分析とは, 得られた多変量データに対し一つの目的変数に対して二つ以上の説明変数,, 3 で回帰関係を把握する方法であり, もしこの回帰関係が数式で表現できるならば, 説明変数の値から目的変数の値を予測することができる. 重回帰分析のデータの形式を表 4. に示す. 表 4. 重回帰分析用多変量データ表サンフル No. 説明変数目的変数 4. 重回帰モデルと偏回帰係数の推定目的変数を, 個からなる説明変数をとしたとき, 得られた組のデータについて重回帰モデルは偏回帰係数をとすれば, ただし, ) (, N E,,, で与えられる. 例えば, 目的変数を, 個からなる説明変数とすれば, 重回帰モデルおよびデータは, と表される. ここで偏回帰係数の推定値をとおくと推定される重回帰式は, Y となる. したがって推定式は実験値と予測値の差, すなわち残差を, ) ( Y e とおき, この残差の二乗和 e を最小にする偏回帰係数を求めることになる. この解法は最小二乗法と呼ばれる. e Y e S e e e S S S (4.) (4.) (4.3) (4.4)

26 - - 8 整理すると, となる, この式 (4,5) は,, に関する連立方程式であり特に正規方程式と呼ばれる, したがって, この正規方程式を解くと偏回帰係数,, は求められる. 今, 式 (4.5) の第式よりを求めると, となり, さらに式 (4.5) の第,3 式に代入すると, が得られる. ここで多変量データより式 (4.7) に対応するベクトルを, とおけば, 式 (4.7) は, または S S ただし, S S となり, 偏回帰係数, は, または S S と求められる. ここで S はデータ, の平方和行列, S は平方和行列の逆行列, S はデータ, との積和行列である. 一般に目的変数を, 個からなる説明変数としたとき式 (4.) の偏回帰係数は, とおき, または S S (4.5) (4.6) (4.7) (4.8) (4.9) (4.) (4.)

27 と求められる. 式 (4.) の行列 S, S の要素を, s s S s s s S s とすれば, 偏回帰係数式 (4.) は k s k と計算される. s k,,, s s s s s s (4.) (4.3) (4.4) 4.3 重回帰式の妥当性得られた重回帰式が予測などの検討を行う上で妥当であるかどうかを調べるのに重相関係数および寄与率を計算し妥当性を考える方法がある. 今, 個の説明変数から得られた重回帰式を, Y (4.5) とすれば, 重相関係数とは, 個の得られたデータと推定された重回帰式による予測値 Y との相関係数をいい, R ( ( )( Y ) Y) ( YY) で定義される. また重相関係数の二乗 R は寄与率と呼ばれ, 重相関係数はサンプル数が少ないときに近くなることがあり, 理論的には説明変数が個でサンプル数がのときは常に R となる. 寄与率は, 得られた重回帰式が目的変数にどれだけ寄与しているかを表す尺度である. 4.4 推定した回帰式による予測回帰係数の推定値が式 (4.)(4.4) で得られると, 説明変数のある設定値に対する目的変数の値を予測できる. ある設定値を (,,, ), 予測値をY とおくと予測値は, Y (4.7) で与えられる. 4.5 変数間の分散共分散の推定目的変数を, 個からなる説明変数,,, の偏差行列を, (4.6) - 9-

28 - - A とすれば分散共分散行列は, A A となる. 4.6 変数間の相関行列の推定目的変数を含む個の変数間の相関係数は, 式 (4.9) の分散共分散行列より, R ただし, jj j j, と求められる. 4.7 変数間の偏相関行列の推定式 (4.) で求めた相関係数で, 例えば変数と目的変数の相関係数はとだけの相関を表してはいない. なぜなら, とはそれぞれ変数,, 3, と何らかの相関があるためには,, 3, の影響があるためである. ここで,, 3, を一定にしたときのとの相関係数を 3 と表し計算された値を偏相関係数と呼び式 (4.) の相関係数と区別する. 変数と目的変数の偏相関係数 3 は, 変数,, 3, がそれぞれとに及ぼす影響を, (4.8) (4.9) (4.)

29 の線形関数と考えて相関係数を計算して求められる. すなわちとの偏相関係数は, と定義される. 具体的な演算法は式 (4.) の相関行列 R より, R の逆行列を求め, その逆行列の要素より偏相関行列 R は q q q q q q q q q q q q q q q q R ただし, jj j j q, q と求められる. (4.) (4.) (4.3)

30 第 4 章 Ecel 演習問題問題 4- ある車種の中古乗用車台について経過年 ( 年 ), 走行距離 ( 万 Km), 価格 ( 万円 ) のデータを収集し次表を得た. 変数, から価格を予測したい. について重回帰式および重相関係数を求めよ. 表 4-. データ表 No. 経過年 ( 年 ) 走行距離 ( 万 Km) 価格 ( 万円 ) 問題 4- 上記データ表における各変数,, 間の分散共分散行列, 相関行列 R, 偏相関行列 Rを求め, 経過年 4. ( 年 ), 走行距離 3. ( 万 Km) のとき価格 Y ( 万円 ) はいくらと予測できるか求めよ. - -

31 第 5 章主成分分析 5. 主成分分析とは主成分分析とは, 相関関係の認められる個の変数の値を, 少数個の合成変数 ( 主成分 ) で表すデータ処理法である. 例えば, 高校での諸科目の得点は, 受験生が理系指向か文系指向かを決める有効なつの合成変数であり, また, アパレル商品の着心地感は夏型か冬型かを決めるマーケティング活動における販売戦略の有効な合成変数でもある. このように主成分分析は, 多くの変数で表せるサンプルまたは個体を, 次元数を集約し現象を要約する有効なデータ処理法である. 今, 図 5. に示す個の変数, が身長と体重であるとき, つの変数間に強い相関関係が認められていると仮定する. ここで,A 君は身長が A, 体重が A であり身長, 体重ともに大きく,B 君は身長が B, 体重が B であり身長, 体重ともに小さいことがわかる. すなわち, 両君の特徴は, 変数, の変数の値で特徴づけられる. そこで, 変数, の相関が強いとき, 図 5. に示すY 軸が変数, の合成変数として確立できるならば,A 君はY A,B 君図 5. 変数と主成分の関係はY B のつの値を知ることによって特徴づけることができる. すなわち,, の変数で表現した両君を, 相関の強い方向へ軸変換を行った合成変数 Y を抽出することによりつの変数に集約できることになる. この合成変数 Y 軸を主成分と呼び, 身長, 体重ともに大きいA 君は大柄な人, 身長, 体重ともに小さいB 君は小柄な人であることがわかる. よって,Y 軸の値は大柄な人であるか, 小柄な人であるかを表す主成分となる. このように主成分分析では, 各得られた主成分の意味づけも重要なポイントである. 一般に, 主成分分析は, 次元で表せるサンプルや個体を, 数個のより少ない合成変数である主成分を抽出し意味づけしてサンプルや個体を特徴づけることである. 変数個を持つ次元のサンプルや個体を表す主成分分析のデータの形式を表 5. に示す. 5. 主成分の導出主成分分析用のデータ表 5. に示された値は, 同一のサンプルまたは個体について相関関係があり, それぞれ変数相互に関連のある変動を表していると考えられることから, 表 5. 主成分分析用多変量データ表説明変数サンフル No. これを説明する関数として個の変数の次結合として, Yaa a (5.) -3-

32 を仮定し, a の条件下で式 (5.) のY の分散が最大となる関数を求めることになる. このときの関数を, a a Y a と表し, Y を第主成分という. 次にY と無相関なY の中で a の条件を満足する最大の分散をもつ関数を求める. この関数を, a a a Y と表し, Y を第主成分という. 以下同様にしてY m まで求め, 全変動の大部分が説明されていれば求めることを終了する. このようにして求めた主成分 Y, Y,, Ym は, 各々無相関で直交しY が分散最大となる. 5.. 変数が個の場合の主成分の導出主成分分析のためのデータが変数であるとき第主成分は, Y a a (5.4) で表される. ここで, a a, X a とすれば, 式 (5.4) は, Y ax a (5.5) となる. また, 第主成分 Y の分散は, Va YVa axava Xa aa (5.6) となる. この分散をa a の条件下で最大にするためには, ラグランジュの未定乗数を用いて, aa aa (5.7) を最大にすることになる. すなわち, aa a, Ia となる. ここで, 式 (5.8) の係数 a が以外の解をもつためには行列式, I が成立しなければならない. 式 (5.9) の方程式は, 行列の固有方程式と呼ばれ, この方程式を満たすは固有値と呼ばれる. 行列は, サンプル数からのデータ偏差行列を, (5.) とすれば, 偏差平方和および分散共分散行列は, S, S (5.) と求められる. 同様に, 第主成分は, (5.) (5.3) (5.8) (5.9) -4-

33 Y a a (5.) とし, a a, X a とすれば, 式 (5.) は, Y ax ただし, aa (5.3) となる. ここで第主成分は式 (5.4) で求めた第主成分と無相関で分散が最大となるよう求めることになるから Y と Y の共分散はでなければならない. よって, Cov Y Y Cov axa, XaCov XX, a aa (5.4), となる. したがって, a a (5.5) が成り立つ. 式 (5.5) は, 第主成分の係数ベクトルa と第主成分の係数ベクトルa は直交していることを表している. したがって, 第主成分と同様に求めると, Ia (5.6) となり, 係数 a が以外の解を満足するには式 (5.9) を得る. 5.. 変数が個の場合の主成分の導出一般に変数,,,, サンプル数であるとき第主成分は,, ただしa a Y a a a で表され式 (5.9) の行列の固有方程式を解くことにより係数ベクトルa は求められる. 以下, 順次第主成分と無相関な第主成分, 第主成分と無相関な第 3 主成分, 第 3 主成分と無相関な第 4 主成分と求めていくことになる. 今, 式 (5.9) で求められた解がであるとき, 式 (5.8) より a a, aa aa (5.8) となり, Va Yaa (5.9) となる. したがって, 第主成分 Y の分散が最大となるのは, 式 (5.8) における固有方程式の固有値が最大をとるときであり, 係数ベクトルa はそのときの固有ベクトルである. 第主成分は式 (5.6) より, a a, aa a a (5.) となり, 第番目の固有値が, Va Yaa (5.) となる. すなわち, 第主成分 Y が第主成分 Y と無相関で分散が最大となるのは, 固有方程式の第番目の固有値のときであり, 係数ベクトルa はそのときの固有ベクトルとなる. 以下, 第 3 主成分 Y3 は, 第 3 番目に大きい固有値に対する固有ベクトルがa 3 に対応し, 第 4 主成分 Y4 は, 第 4 番目に大きい固有値に対する固有ベクトルがa 4 に対応していくことになる寄与率各主成分として式 (5.7) で求められた合成変数は, それぞれ全変動に対してどの程度の割合で説明しているかを考える. 一般に個の変数から求められる主成分数は個である. また, それぞれの主成分は固有方程式を解くことにより分散は, 式 (5.9)(5.) より固有値 (5.7) -5-

34 に等しくなる関係から, 第 m 主成分が説明している割合は, m cm, ただしとなる. この値 cm を第 m 主成分の寄与率と呼び, P k ck c k を第 k 主成分までの累積寄与率と呼ぶ. 主成分分析は, 次元で表されているサンプルや個体を, 累積寄与率を考慮しより少ない合成変数である主成分を抽出し, それぞれ各主成分に意味づけしてサンプルや個体を特徴づけることである因子負荷量求められた各主成分 Ym と各変数,,, との相関係数を各主成分 m Y の因子負荷量と呼び, 主成分 Ym ともとの変数,,, がどのくらい強く係わり合っているかを見ることができる. 各主成分の係数ベクトルや因子負荷量を検討することにより主成分の意味付けに用いる. 主成分 Ym と変数 j の相関係数を mj と表すと, mj Va で求められる. m, j m a Y Va Cov Y 5..5 主成分得点 m j jj mj 求められた各主成分 Ym に表 5. として得られた各変数,,, のデータを代入し計算された値を主成分得点と呼び, 次元の散布図としてサンプルおよび個体を布置することにより特徴を見出すことができる. 例えば, k 番目までの主成分得点を計算するとすれば, 第サンプルの第 m 主成分の得点は, Y m a m と求められる. am am amj j m,,,k j 5.3 標準化したデータを用いる主成分分析収集した変数,,, のデータについて, 例えば, 単純にとの値の大小関係を比較することができない場合がある. なぜなら, 得られた,,, のデータは測定単位が常に同一とは限らないことである. この場合には, 得られたデータを次式 u (5.) (5.3) (5.4) (5.5) (5.6) で標準化して主成分を抽出する. 式 (5.6) で標準化された u 値は常に平均, 分散に従うことがわかっている. 標準化された多変量データ表を表 5. に示す. -6-

35 サンフル No. 表 5. 標準化した主成分分析用多変量データ表説明変数標準化した変数 u u u u u u u u u u u u 平均値標準偏差 5.3. 主成分の導出標準化した変数 u, u,, u を用いたときの第主成分を,, ただしa a Y au a u a u とし, それぞれのベクトル表示を, a u a a, u U a u とすれば, 式 (5.7) は, Y au ただし, a a となる. また, 第主成分 Y の分散は, Va Y Va auava Ua a a となり, この分散をa a の条件下で最大にするために, ラグランジュの未定乗数を用いて, 整理すると, Ia となる. ここで, 式 (5.3) の係数 a が以外の解をもつためには行列式, I を満足しなければならない. すなわち, 式 (5.3) は行列の固有値問題に帰着する. ここで行列は標準化された変数を用いて, サンプル数からのデータ偏差行列を, u u u u u u u u u u とすれば, 偏差平方和は, S uu と求められ, 分散共分散行列は (5.7) (5.8) (5.9) (5.3) (5.3) (5.3) (5.33) S と計算して相関行列となる. よって相関行列は, -7-

36 R S ただし, k kj j j j u u j ukukj k k j j となる. したがって, 式 (5.3) の固有値問題は, R I となり, 標準化された変数を用いた主成分分析は, 多変量データから相関行列 R を求めて解く固有値問題となることがわかる. なお, 第主成分以下の各主成分は固有値, 固有ベクトルに対応する寄与率各主成分として式 (5.7) で求められた合成変数の寄与率は, 個の変数から求められる主成分数は個であるから, 第 m 主成分が説明している割合は, c m m, ただしR R となり, 第 k 主成分までの累積寄与率は, P となる. k ck 因子負荷量 c k 因子負荷量は, 求められた各主成分 Ym と各変数 u, u,, u との相関係数で表され, 主成分 Ym と変数 u j の相関係数を mj と表すと, CovY m, u j mj m a (5.39) Va Y Va u で求められる主成分得点 mj m j 求められた各主成分 Ym に表 5. として得られた各変数,,, の標準化した変数 u, u,, u を代入し計算された値を主成分得点と呼び, 次元の散布図としてサンプルおよび個体を布置することにより特徴を見出すことができる. 例えば,k 番目までの主成分得点を計算するとすれば, 第サンプルの第 m 主成分の得点は, Y m a m と求められる. u amu amu amjuj m,,,k j (5.34) (5.35) (5.36) (5.37) (5.38) (5.4) -8-

37 5.4 ラグランジュの未定乗数法関数 f,,, について, 条件,,, たは最小を求めるためには, 次の関数, z f,, h,,,, h のもとで, 関数の最大まを考える. ここで,z を最大または最小にすることは, 関数を条件,,, h のもとで最大または最小にすることと同じであることが知られている. したがって, z z z (5.4) h,,, を解いて,,, を求めると, この,,, に対応するの値は最大または最小となる. この解法をラグランジュの未定乗数法と呼んでいる. また, 条件が, h,,,, h,,, と個ある場合, z f,,, h,,, h,,, (5.43) の関数を考えて式 (5.4) を解けば,,,, に対応するの値は最大または最小とすることができる. 5.5 固有方程式行列からなる正方行列 A があるとき, A (5.44) の係数ベクトルと定数を求める問題を固有値問題と呼び, 係数ベクトルを固有ベクトル, 定数は固有値と呼ばれる. したがって, 式 (5.44) は, A I (5.45) となり, 係数ベクトルおよび定数について方程式を解けばよい. 式 (5.45) で係数ベクトルがでは意味がなく, の解を求めるためには, A I (5.46) でなければならない. この方程式を固有方程式と呼び, 固有値に対する固有ベクトルを求めることになる. 固有値と固有ベクトルの計算法には, ヤコビ法, ベキ乗法等があり, ヤコビ法については, 第 5 章 Ecel 演習問題 WokShee に Ecel 用 VBA で作成したプログラムを示した. 固有値, 固有ベクトルの計算には, プログラムを利用すればよい. 5.6 固有値, 固有ベクトルを求めるプログラム使用手順 (5.4) 固有方程式を解くためには, プログラムを利用した方が便利である. 第 5 章 Ecel 演習問題 WokShee に作成したプログラムの操作方法について解説する. 例えば, 固有値, 固有ベクトルを求める行列を, A とする. -9-

で表示される. ただし, 求める行列は正方行列とする. 手順 3 行列 A の値を入力する領域にデータを入力する.

38 手順全消去ボタンをクリックしデータの内容を消去する. 手順固有値, 固有ベクトルを求める行列 A の行数を入力し, 行列表示ボタンをクリックすると, 行列の値を入力する領域が. で表示される. ただし, 求める行列は正方行列とする. 手順 3 行列 A の値を入力する領域にデータを入力する. 手順 4 データ入力後 Jaco 法ボタンをクリックすると, 行列 A の固有値, 固有ベクトルが求められる. 手順 5 得られた固有値, 固有ベクトルの値を複写し累積寄与率, 主成分得点等の計算に用いる. -3-

39 第 5 章 Ecel 演習問題問題 5- ある高校の進学クラスの生徒人をランダムに選び, 模擬試験 5 科目の結果として次表を得た. 結果を分析し生徒の特徴等を見出し進路指導に役立てたい. 表 5-. データ表生徒 No. 国語社会数学理科英語 () データについて主成分分析を行い第主成分および第主成分を抽出し, 意味付けを行なえ. ただし, 分散共分散行列より固有値, 固有ベクトルを求めよ. () 主成分得点を計算し散布図を描け. -3-

40 問題 5- アイドル女優の特徴を分析するために女性週刊誌に掲載されたアイドル女優 3 人の身体計測値を入手し次表にまとめた. 表 5-. データ表女優 No. 身長体重バストウェストヒップ () データについて主成分分析を行い各主成分を抽出し, 意味付けを行なえ. ただし, 相関行列より固有値, 固有ベクトルを求めよ. () 主成分得点を計算し散布図を描け. -3-

多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典

多変量解析 ~ 重回帰分析 ~ 2006 年 4 月 21 日 ( 金 ) 南慶典重回帰分析とは? 重回帰分析とは複数の説明変数から目的変数との関係性を予測評価説明変数 ( 数量データ ) は目的変数を説明するのに有効であるか得られた関係性より未知のデータの妥当性を判断するこれを重回帰分析というつまりどんなことをするのか? 1 最小 2 乗法により重回帰モデルを想定 2 自由度調整済寄与率を求め