Ecel で学ぶ 多変量データ処理入門 坂元保秀

まえがき 本テキストは, 種々の分野で収集された多変量データを Mcosof Ecel を用いて処理する方法を述べたものである. 特に, 収集した多変量データを処理するために Sofwae がなく断念した, また Sofwae を購入するまでに至らなかった等, 初期の目的を達成できなかったとの意見を聞いたことがあり Ecel の基本関数を用いて解析を試みた. 多変量統計解析の理論を理解するためには, かなり統計学の基礎知識や数学的基礎知識を理解しておく必要があるが, それぞれのデータ処理法が何を目的としたデータ処理なのかを理解して解析の方法論を修得して欲しいと願っている. 本テキストでは, 時間さえ十分にかければ Mcosof Ecel を用いて多変量データの処理は可能であることをポイントとしている. 各章に Ecel 演習問題ワークシートおよび Ecel 演習問題解答を配置し, また固有方程式の解法には Ecel VBA を用いてプログラムを Ecel シートに作成した. いくつかの章に対しては,Ecel 演習問題ワークシート No. と No. または No.3 の三つを提示しているので, 応用として No. または No.3 のワークシートにも挑戦していただきたいと願っている. 演習問題で扱ったデータは, 表示用として少ない変数およびサンプルとして提示してあるが, 本来の多変量データは多変数および多サンプルとなるので, 本書では処理方法に重点をおいている. さらには統計的な解析については言及していない. 本テキストで示した Ecel 演習問題ワークシートおよび Ecel 演習問題解答についてはホームページで公開した. 公開先のURLは, h://www.age.sae.e.j/o-skm/ である. また本書で扱っている次の () 重回帰分析 () 主成分分析 (3) 因子分析 (4) 判別分析 (5) 正準相関分析 (6) クラスター分析 (7) 数量化理論 Ⅰ 類 (8) 数量化理論 Ⅱ 類 (9) 数量化理論 Ⅲ 類 () 数量化理論 Ⅳ 類の処理方法については,Wdows 用アプリケーションソフトとして開発作成して公開し, インストールを Wdows XP/7/8/8./ まで対応させた. 本書については大学での演習や社内教育等でご利用いただきご意見を賜れば幸いである. 5// 修正 7/3/9 修正坂元保秀 ( 元 TGU 教授 )

目 次 まえがき 第 章行列の基礎. ベクトル表現. 行列表現.3 ベクトルの演算.4 行列の演算.5 逆行列 3 第 章 Ecel 演習問題 4 第 章統計的処理の基礎. データの分布 5.. ヒストグラムの作成法 5.. 散布図の作成法 6. データの基本統計量 6.. 分布の中心的傾向 6.. 分布の散らばり的傾向 7..3 二つの特性間の関係 7.3 正規分布 8.3. 正規分布の確率 9.3. 多変量正規分布 9 第 章 Ecel 演習問題 第 3 章多変量データとは 3. 多変量データの行列表示 3 3. データの種類 3 3.3 多変量データの基本統計量 4 3.3. 全変数が定量的データのとき 4 3.3. 変数に定性的データが含まれるとき 5 第 3 章 Ecel 演習問題 6 第 4 章重回帰分析 4. 重回帰分析とは 7 4. 重回帰モデルと偏回帰係数の推定 7 4.3 重回帰式の妥当性 9 4.4 推定した回帰式による予測 9 4.5 変数間の分散共分散の推定 9 4.6 変数間の相関行列の推定 4.7 変数間の偏相関行列の推定 第 4 章 Ecel 演習問題 第 5 章主成分分析 5. 主成分分析とは 3 5. 主成分の導出 3 5.. 変数が 個の場合の主成分の導出 4 5.. 変数が 個の場合の主成分の導出 5 5..3 寄与率 5 5..4 因子負荷量 6 --

5..5 主成分得点 6 5.3 標準化したデータを用いる主成分分析 6 5.3. 主成分の導出 7 5.3. 寄与率 8 5.3.3 因子負荷量 8 5.3.4 主成分得点 8 5.4 ラグランジュの未定乗数法 9 5.5 固有方程式 9 5.6 固有値, 固有ベクトルを求めるプログラム使用手順 9 第 5 章 Ecel 演習問題 3 第 6 章判別分析 6. 判別分析とは 33 6. 説明変数 個の場合の判別分析 33 6.. 線型判別関数による判別 33 6.. 分散の推定 34 6..3 誤判別の確率 34 6.3 説明変数 個の場合の判別分析 35 6.3. 線型判別関数による判別 35 6.3. 分散共分散行列の推定 36 6.3.3 誤判別の確率 37 6.4 説明変数 個の場合の判別分析 37 6.4. 変数 k 群による線型判別関数による判別 37 6.4. 誤判別の確率 39 6.5 行列表示 39 第 6 章 Ecel 演習問題 4 第 7 章正準相関分析 7. 正準相関分析とは 4 7. 正準変量および正準相関係数の求め方 4 7.3 第 番目以降の正準変量および正準相関係数 46 第 7 章 Ecel 演習問題 47 第 8 章因子分析 8. 因子分析とは 48 8. 因子分析モデルと因子行列 48 8.3 共通性の推定 5 8.4 非反復法による因子行列の推定 5 8.5 反復法による因子行列の推定 5 8.6 因子得点の推定 53 8.7 固有方程式 54 参考 因子分析による因子得点の推定法( 回帰推定法 ) 55 第 8 章 Ecel 演習問題 58 第 9 章クラスター分析 9. クラスター分析とは 6 9. クラスター構成法 6 9.3 類似性を測る統計量 6 9.4 クラスター間の類似性を測る統計量 6 9.4. クラスター間の類似性を測る最短距離法 6 9.4. クラスター間の類似性を測るウォード法 6 --

9.5 クラスターのデンドログラム 64 第 9 章 Ecel 演習問題 65 第 章数量化理論 Ⅰ 類. 数量化理論 Ⅰ 類とは 66. ダミー法 66.3 数量化理論 Ⅰ 類回帰モデルとカテゴリ数量の推定 68.4 カテゴリ数量の基準化 7.5 回帰式の妥当性 7.6 推定した回帰式による予測 7.7 アイテム間の分散共分散の推定 7.8 アイテム間の相関行列の推定 7.9 アイテム間の偏相関行列の推定 7 第 章 Ecel 演習問題 73 第 章数量化理論 Ⅱ 類. 数量化理論 Ⅱ 類とは 74. ダミー法 74.3 アイテム数 個の場合の数量化理論 Ⅱ 類 74.3. 線型判別関数による判別 74.3. 分散共分散行列の推定 76.3.3 誤判別の確率 77.4 アイテム数 個の場合の数量化理論 Ⅱ 類 78 第 章 Ecel 演習問題 79 第 章数量化理論 Ⅲ 類. 数量化理論 Ⅲ 類とは 8. ダミー法 8.3 数量化変数の推定 8.4 一般的なデータ表に基づく数量化変数の推定 83 第 章 Ecel 演習問題 86 第 3 章数量化理論 Ⅳ 類 3. 数量化理論 Ⅳ 類とは 87 3. 数量化変数の推定 88 3.3 分析対象物の数量化 9 3.4 行列 H の求め方 9 3.5 固有値と固有ベクトル 93 第 3 章 Ecel 演習問題 96 第 4 章クロス表を応用した数量化理論 Ⅰ 類 4. クロス集計表 98 4. 偏差積和行列 98 4.3 カテゴリ数量の推定 99 第 4 章 Ecel 演習問題 第 5 章クロス表を応用した数量化理論 Ⅱ 類 5. クロス集計表 5. 偏差積和行列 5.3 線型判別関数の推定 4 5.4 誤判別の確率 5 --

第 5 章 Ecel 演習問題 6 付録 Ecel 関数を用いた基本統計量の求め方 ~ 関数の使用法いろいろ ~ データ表から直接求める方法を規準として 7 第 章 Ecel 演習問題 Wok Shee 解答 第 章 Ecel 演習問題 Wok Shee 解答 3 第 3 章 Ecel 演習問題 Wok Shee 解答 6 Ecel 演習問題 Wok Shee 解答 9 第 4 章 Ecel 演習問題 Wok Shee 解答 Ecel 演習問題 Wok Shee 解答 4 参考 各種統計量の行列 ( 偏差積和行列, 分散共分散行列相関行列, 偏相関行列 ) の求め方 6 第 5 章 Ecel 演習問題 Wok Shee 解答 8 Ecel 演習問題 Wok Shee 解答 3 Ecel 演習問題 Wok Shee3 解答 36 第 6 章 Ecel 演習問題 Wok Shee 解答 4 Ecel 演習問題 Wok Shee 解答 43 第 7 章 Ecel 演習問題 Wok Shee 解答 46 Ecel 演習問題 Wok Shee 解答 49 第 8 章 Ecel 演習問題 Wok Shee 解答 5 Ecel 演習問題 Wok Shee 解答 57 Ecel 演習問題 Wok Shee(SMC 規準 ) 解答 6 第 9 章 Ecel 演習問題 Wok Shee 解答 67 第 章 Ecel 演習問題 Wok Shee 解答 73 第 章 Ecel 演習問題 Wok Shee 解答 77 第 章 Ecel 演習問題 Wok Shee 解答 8 第 3 章 Ecel 演習問題 Wok Shee 解答 87 第 4 章 Ecel 演習問題 Wok Shee 解答 9 第 5 章 Ecel 演習問題 Wok Shee 解答 97 参考文献 -v-

-- 第 章行列の基礎. ベクトル表現通常ベクトルと言えば 列ベクトル を表し, 行ベクトルは転置の記号 を用いる. 例えば,,,, がベクトル であるとき, 列 ( 縦 ) ベクトルは次式となる. また, 行 ( 横 ) ベクトルは次式で表される.. 行列表現列ベクトル,,, が,,,, であるとき, X を行列という. 特にこの行列は 行 列から成る行列で 行列とも呼ばれる. 行列 X の行と列の配置を入れ換えた行列, X を行列 X の転置行列といい 行列となる..3 ベクトルの演算二つの ベクトル, が,, であるとき, 二つのベクトルの内積は次式で定義される. (.) (.) (.3) (.4) (.5)

-- また, 二つの ベクトル, が次式であるとき,, ただし,, S S S となり S, S, S は偏差平方和または偏差積和と呼ばれる..4 行列の演算 行列 X が次であるとき, X 行列 X の転置行列と X の積は, X X となる. また, 行列 A が次であるとき, A (.6) (.7) (.8) (.9) (.) (.) (.) (.3)

-3- S S S S A A.5 逆行列 ( 次 ) の正方行列 A ( ak A ) に対して, I A A AA を満たす行列 A を行列 A の逆行列という. また, 行列 I は単位行列と呼ばれ対角要素がすべて, 非対角要素は となる. 一般に, 行列 A の逆行列は次式で求められる. A A A ~ ただし, A ~ : 余因子行列 A: 行列 A の値 (.4) (.5) (.6)

第 章 Ecel 演習問題 問題 - 次のベクトル の転置行列を求めよ. 4 8 5 7 問題 - 次の行列 X の転置行列を求めよ. 5 3.6 4 4.8 X 8 54.9 5 36 5. 7 48 8.5 問題 -3 次のベクトル と の内積 を求めよ. 3.6 4 4.8 8.9 5 5. 7 8.5 問題 -4 次の行列 X の積 X X を求めよ. 5 3.6 4 4.8 X 8 54.9 5 36 5. 7 48 8.5 問題 -5 次の行列 A の逆行列 A を求め, さらに A A を求めよ. 5 3.5 A 4 4.8 8 54.9-4-

第 章統計的処理の基礎. データの分布.. ヒストグラムの作成法 一つの特性について多くのデータがあるとき, データの分布状態を把握することがある. この分布状態の表現にはヒストグラムを利用する. 手順. 多くのデータ,,, を収集する. 手順. 範囲 R を求める. R ma m m a: データの最大値, m : データの最小値手順 3. 級の幅を次式で求め, 級の幅 h を測定単位の整数倍に丸める. h R m: 測定単位 手順 4. 級の境界値を求める. 級 の下部境界値 級 の上部境界値 級 の下部境界値 級 の下部境界値 L m U L L U U L m h h 以下順次, データの最大値 が含まれる級まで求める. ma 手順 5. 級の中央値を求める. L 級 の中央値 z U L U 級 の中央値 z 以下順次, 最後の級まで求める. 手順 6. 度数表を作成する. f, f,, f はそれぞれの級の境界値の範囲にあるデータの個数である. k f 表. ヒストグラム作成のための度数表 級 No. 境界値下部上部 中央値 マーキング 度数 L ~ U z L ~ U z f k kl ~ ku z k f k 手順 7. ヒストグラムを作成する. 度数表の中央値 z, z,, zk を横軸に, カウントしたデータの度数 f, f,, f k を縦軸にとり作成した図. はヒストグラムと呼ばれる. ヒストグラムを作成すると一つの特性がどのように分布しているかがわかる. -5-

図. ヒストグラム.. 散布図の作成法 二つの特性, について多くの対のデータがあるとき, データの分布状態を把握することがある. この分布状態の表現には散布図を利用する.,,,,, を収集する., 手順. 多くのデータ 手順. それぞれ, について最大値, 最小値を求める. ma : データ の最大値, m : データ の最小値 ma : データ の最大値, m : データ の最小値手順 3. 散布図を作成する. 横軸をデータ, 縦軸をデータ として, それぞれのデータの最大値, 最小値を考えて軸上を目盛る. このとき注意しておきたいことは, 二つの特性, の範囲がおおよそ正方形になるよう各軸の調整を行ない目盛る. この作成した図. は散布図と呼ばれる. 散布図を作成すると二つの特性がどのように分布しているかがわかると共に, 二つの特性, の関係を知ることができる. 図. 散布図. データの基本統計量.. 分布の中心的傾向 () 最頻値 データ,,, があるとき, 最頻値は最も頻繁に現れる値である.,,, M mode o () 中央値データ,,, があるとき, データを大小順に並べたとき中央のデータである. -6-

M e が偶数のとき M が奇数のとき e (3) 平均値データ,,, があるとき, 平均値 は次式で与えられる. (.) (.) (.3).. 分布の散らばり的傾向 () 範囲 データ,,, があるとき, 範囲 R は次式で与えられる. R m a m () 平方和データ,,, があるとき, 平方和 S は次式で与えられる. S 特に式 (.5) は偏差平方和と呼ばれ, 計算のために次式が用いられることがある. S (3) 分散分散 V は次式で与えられる. S V 特に, 式 (.7) で求められる分散 V は不偏分散と呼ばれる. (4) 標準偏差標準偏差 s は次式で与えられる. s S..3 二つの特性間の関係 V 二つの特性,,,,,,, があるとき, 特性間の関係を知ることができる. この特性間の関係については 正の相関がある 負の相関がある また 相関はない という表現を用いる. 相関の有無を数量的に表現するため相関係数を求める. 相関係数は式 (.) で与えられる. について対のデータ についての平方和 S j j j j j j (.4) (.5) (.6) (.7) (.8) -7-

についての平方和 S j と j j についての積和 S j j j 相関係数は, S ただし, S S 計算された相関係数値から が+に近づけば 正の相関が強い,-に近づけば 負の相関が強い, また の近傍では 相関はない と判断する. 相関係数より相関の有無を.645 判断する目安は のとき 相関あり と判断する..3 正規分布 一つの特性のデータについて分布状態はヒストグラムを作成して把握することができる. この特性のデータ数が多数 ( ) あるとき, ヒストグラムを作成すればその極限分布は, 滑らかな曲線を描き図.3 の形となる. この分布は正規分布 ( またはガウス分布 ) と呼ばれ統計処理の基礎となる分布で広く利用されている. 今, この特性を とおくと正規分布の曲線 f は, j j f e, (.) で表され確率密度関数と呼ばれる. この分布は平均値, 分散 の正規分布である. したがって, 正規分布は種々の特性 に対し, 平均値, 分散 布は無数に存在することになる. j j j j j j j (.9) j (.) の組み合わせによる分 図.3 正規分布正規分布の確率密度関数式 (.) において, u 図.4 標準正規分布 (.) で標準化すると確率密度関数は, u fu e (.3) となる. この分布は標準正規分布と呼ばれ図.4 に示す. したがって, 標準正規分布の平均値は, 分散は の正規分布となる. -8-

.3. 正規分布の確率 正規分布の確率密度関数において, 累積分布関数を F とおくと, F f d となる. したがって, P a を示す.,a の範囲の a a P a f d e d また, 式 (.) の標準化の式を用いた標準正規分布では, P u は, u 値までの下側確率 P u f udu で求められる. F は, 正規分布における a 値までの下側確率 u e du, で Fu (.4) (.5) となり (.6) 図.5 正規分布の確率 図.6 標準正規分布の確率.3. 多変量正規分布 について,,,,, 二つの特性,, の対のデータに対してその変数および平均のベクトルを, (.7) で表すと確率密度関数は, f f, e (.8) で定義され, この分布は 次元正規分布と呼ばれる. ここで は分散共分散行列である. ただし, j 4 また,, の相関係数を とすれば,, となる. の逆行列は式 (.6) より, k jk j k (.9) (.) (.) -9-

-- c c c c 式 (.8) の指数部は, c c c となり確率密度関数は, e, f f となる. さらに 個の特性,,, について変数, 平均のベクトルおよび分散共分散行列を,,, と表せば 次元正規分布の確率密度関数は, e,,, f f となり, 一般にこの 次元正規分布を多変量正規分布と呼んでいる. (.) (.3) (.4) (.5) (.6)

第 章 Ecel 演習問題 問題 - 次表のデータより統計量を求めよ. 表 -. データ表 3 4 5 6 7 8 特性 データ 9. 7.4 4.3 8.6 9. 9.4 8.6.7 () 最頻値 () 中央値 (3) 平均値 (4) 範囲 (5) 平方和 (6) 分散 (7) 標準偏差 問題 - 次表のデータよりヒストグラムを作成し, 平均値および標準偏差を求めよ. 表 -. データ表 データ 5. 4.75 5.3 4.6 4.84 5.7 5.7 4.4 5.96 5. 5.3 4.69 5.3 5.8 5. 5.68 4.7 4.99 4.8 5. 4.37 5.45 4.56 5. 5. 4.69 4.87 4.96 4.97 4.97 5.5 3.69 4.7 5.48 5.4 4.9 5.8 4.56 4.59 4.6 5. 5.65 5.56 5. 4.8 4.3 4.93 5.39 5.3 5.58 問題 -3 次表のデータより散布図を作成し, それぞれ特性の平均値および標準偏差, さらに相関係 数を求めよ. 表 -3. データ表 No. No. No. 4 44 8 39 6 4 43 39 6 43 3 4 3 3 44 3 4 4 6 4 4 9 4 4 3 4 5 3 4 5 8 44 5 8 4 6 5 4 6 9 45 6 3 46 7 3 4 7 6 39 7 4 8 7 43 8 8 46 8 3 47 9 8 43 9 4 4 9 5 4 5 44 4 3 3 4 問題 -4 次図の正規分布における確率を求めよ..8 4.7, () P () 6, 5 P 図 -4. 図 -4. --

(3) P u.3, (4). u.5, P 問題 -5 標準正規分布 ( 求め作図せよ. 図 -4.3 図 -4.4, u -4. -3.5-3. -.5 -. -.5 -. -.5..5..5..5 3. 3.5 4. ) における確率密度関数 f u および累積分布関数 Fu 表 -5. 計算表 u f F u を --

第 3 章多変量データとは 調査や分析のために我々は多くのデータを収集する. 例えば, 中古乗用車のデータ 走行距離 (Km), 排気量 (cc), 年式 ( 年 ), 価格 ( 万円 ), のデータについて 3 台収集した. 発売された製品 Aの販売個数を 北海道地区, 東北地区, 関東地区, 東海地区, 近畿地区, 中国地区, 四国地区, 九州地区, 6 7 の地区別に 年間調査しデータを収集した. 3 児童の発育データについて 性別, 身長, 体重, 胸囲, 3 8 3 3 4 3 5 9 4 4 座高, のデータを男女 人を調査し収集した. 4 経営指標 売上総利益, 営業利益, 経常利益, 資本回転率, について 5 社のデータを収集した. 5アンケート調査を実施し次の設問 設問, 設問, 設問 3, 設問 4, 3 4 4 5 5 設問 5, 北陸地区 について5 段階の回答を 3 人収集した. などのように変数,,, についてサンプル数 のデータを多変量データ ( または行列 データ ) という. 3. 多変量データの行列表示 今, 個から成る変数,,, についてサンプル数 のデータを収集したとき, そ のデータ表は表 3. となる. 表 3. 多変量データ表サンフ ル No. 3 3 3 3 得られた表 3. の多変量データを行列 として表示すると, 3 3 3 となる. (3.) 3. データの種類多変量データとして収集される,,, には,4 つの種類の性質をもつデータが一般的である. それらは測定される方法により Seves の次の尺度で表される. -3-

() 名義尺度この尺度によるデータは, 個体間の同値関係のみが定められているデータである. このデータは等号, 不等号のない分類のデータとして扱われ層別因子等がこれに相当する. () 順序尺度または序数尺度この尺度によるデータは, 同値関係の他に順位関係が定義できるデータである. このデータは等号, 不等号の他に大小関係が存在し人間の感覚や物理的基準によって格付けされたデータである. このデータの順序間の距離は問題にしていない. (3) 間隔尺度この尺度によるデータは, 順序尺度に加え順序間の距離が定義されたデータである. 一般的に加法的尺度とも言われ, 数学的な加法性が成り立ち平均値, 標準偏差, 相関係数などの計算が可能で従来から最も多く用いられているデータである. この尺度の原点は任意である. (4) 比率尺度この尺度によるデータは, 原点 ( 絶対零 ) をもつ間隔尺度で定義されたデータである. このデータは等間隔, 等比率が保証され, 一般的に乗法的尺度とも言われ, 長さや重さ等のデータに対し諸解析が行なえるデータである. 従来, データに対し間隔尺度と比率尺度が多用されていたが, 各尺度とも有効なデータの処理法が開発されている. ここで 4 つの尺度のうち名義尺度と順序尺度 ( 序数尺度 ) を定性的データ, 間隔尺度と比率尺度を定量的データと呼ぶことにする. 以上をまとめると表 3. となる. 表 3. 多変量データの種類データの種類尺度意味名義尺度性別や商品などのように分類のみを表す. 定性的データ順序尺度優, 良, 可, 不可などのように順序に意味があり, ( 序数尺度 ) 順序間の距離は一定でない. 間隔尺度順序や間隔に意味があり原点は任意である. 定量的データ長さや重さ等のように間隔尺度であり原点は定ま比率尺度っている. 3.3 多変量データの基本統計量 3.3. 全変数が定量的データのとき 一般に収集した変数のデータが定量的データの場合, 基本統計量として各変数の平均値, 標準偏差, 分散および各変数間の相関係数等が計算される. その計算は表 3. に示す多変量 データ計算表を作成し, 行列演算法を利用すれば容易に計算できる. 表 3. 多変量データ計算表 サンフ ル No. 平均値 標準偏差 s s s データ行列, 各変数の平均値を求めて平均値の行列を とすれば, -4-

, (3.) 偏差行列 は, (3.3) となり, 平方和行列 S および分散共分散行列 は, S S, (3.4) として求められる. また, 相関行列 R は式 (3.4) で求められた の平方和行列 S の要 素を S, または分散共分散行列 の要素を とすると, j R, ただし j として求められる. 3.3. 変数に定性的データが含まれるとき j S S j S jj, または 収集した変数のデータに定性的データが含まれているとき, 基本統計量を計算することは意味がない. しかし層別用として扱い他変数の特徴を見出すのに大きな効果を発揮する. また, 後述するデータ処理の方法として定性的データを数量化し, 計算処理を施すことによって目的とする多変量データを処理する. j j jj (3.5) -5-

第 3 章 Ecel 演習問題 問題 3- 次表のように児童 人について身長, 体重, 胸囲, 座高のデータを収集した. 各変数について平方和行列 S, 分散共分散行列, 相関行列 R を求めよ. 表 3-. データ表身長体重胸囲座高 No. 3 4 49 36 6 79 4 3 66 76 3 5 43 77 79 4 39 3 68 74 5 6 45 7 84 6 4 33 67 77 7 5 36 73 79 8 45 35 7 77 9 56 44 7 85 47 38 73 78 問題 3- また児童 人の性別のデータも収集でき身長, 体重, 胸囲, 座高のデータ表を次表のように整理した. 各変数について性別で層別しそれぞれ男児, 女児の平方和行列 S, 分散共分散行列, 相関行列 R を求めよ. 表 3-. データ表性別身長体重胸囲座高 No. 3 4 5 男児 49 36 6 79 女児 4 3 66 76 3 男児 5 43 77 79 4 女児 39 3 68 74 5 男児 6 45 7 84 6 男児 4 33 67 77 7 女児 5 36 73 79 8 女児 45 35 7 77 9 女児 56 44 7 85 男児 47 38 73 78-6-

- - 7 第 4 章重回帰分析 4. 重回帰分析とは重回帰分析とは, 得られた多変量データに対し一つの目的変数 に対して二つ以上の説明変数,, 3 で回帰関係を把握する方法であり, もしこの回帰関係が数式で表現できるならば, 説明変数の値から目的変数の値を予測することができる. 重回帰分析のデータの形式を表 4. に示す. 表 4. 重回帰分析用多変量データ表サンフ ル No. 説明変数目的変数 4. 重回帰モデルと偏回帰係数の推定目的変数を, 個からなる説明変数を としたとき, 得られた 組のデータについて重回帰モデルは偏回帰係数を とすれば, ただし, ) (, N E,,, で与えられる. 例えば, 目的変数を, 個からなる説明変数とすれば, 重回帰モデルおよびデータは, と表される. ここで偏回帰係数の推定値を とおくと推定される重回帰式は, Y となる. したがって推定式は実験値と予測値の差, すなわち残差を, ) ( Y e とおき, この残差の二乗和 e を最小にする偏回帰係数 を求めることになる. この解法は最小二乗法と呼ばれる. e Y e S e e e S S S (4.) (4.) (4.3) (4.4)

- - 8 整理すると, となる, この式 (4,5) は,, に関する連立方程式であり特に正規方程式と呼ばれる, したがって, この正規方程式を解くと偏回帰係数,, は求められる. 今, 式 (4.5) の第 式より を求めると, となり, さらに式 (4.5) の第,3 式に代入すると, が得られる. ここで多変量データより式 (4.7) に対応するベクトルを, とおけば, 式 (4.7) は, または S S ただし, S S となり, 偏回帰係数, は, または S S と求められる. ここで S はデータ, の平方和行列, S は平方和行列の逆行列, S はデータ, と の積和行列である. 一般に目的変数を, 個からなる説明変数としたとき式 (4.) の偏回帰係数は, とおき, または S S (4.5) (4.6) (4.7) (4.8) (4.9) (4.) (4.)

と求められる. 式 (4.) の行列 S, S の要素を, s s S s s s S s とすれば, 偏回帰係数式 (4.) は k s k と計算される. s k,,, s s s s s s (4.) (4.3) (4.4) 4.3 重回帰式の妥当性 得られた重回帰式が予測などの検討を行う上で妥当であるかどうかを調べるのに重相関係数および寄与率を計算し妥当性を考える方法がある. 今, 個の説明変数から得られた 重回帰式を, Y (4.5) とすれば, 重相関係数とは, 個の得られたデータ と推定された重回帰式による予測値 Y との相関係数をいい, R ( ( )( Y ) Y) ( YY) で定義される. また重相関係数の二乗 R は寄与率と呼ばれ, 重相関係数はサンプル数 が少ないときに近くなることがあり, 理論的には説明変数が 個でサンプル数が のときは常に R となる. 寄与率は, 得られた重回帰式が目的変数にどれだけ寄与しているかを表す尺度である. 4.4 推定した回帰式による予測 回帰係数の推定値が式 (4.)(4.4) で得られると, 説明変数のある設定値に対する目的変数の値を予測できる. ある設定値を (,,, ), 予測値をY とおくと予測値は, Y (4.7) で与えられる. 4.5 変数間の分散共分散の推定 目的変数を, 個からなる説明変数,,, の偏差行列を, (4.6) - 9-

- - A とすれば分散共分散行列 は, A A となる. 4.6 変数間の相関行列の推定目的変数を含む 個の変数間の相関係数は, 式 (4.9) の分散共分散行列より, R ただし, jj j j, と求められる. 4.7 変数間の偏相関行列の推定式 (4.) で求めた相関係数で, 例えば変数 と目的変数 の相関係数 は と だけの相関を表してはいない. なぜなら, と はそれぞれ変数,, 3, と何らかの相関があるため には,, 3, の影響があるためである. ここで,, 3, を一定にしたときの と の相関係数を 3 と表し計算された値を偏相関係数と呼び式 (4.) の相関係数と区別する. 変数 と目的変数 の偏相関係数 3 は, 変数,, 3, がそれぞれ と に及ぼす影響を, (4.8) (4.9) (4.)

- - 3 3 3 3 3 3 3 3 3 3 3 3 の線形関数と考えて相関係数を計算して求められる. すなわち と の偏相関係数は, 3 3 3 3 3 と定義される. 具体的な演算法は式 (4.) の相関行列 R より, R の逆行列を求め, その逆行列の要素より偏相関行列 R は q q q q q q q q q q q q q q q q R ただし, jj j j q, q と求められる. (4.) (4.) (4.3)

第 4 章 Ecel 演習問題 問題 4- ある車種の中古乗用車 台について経過年 ( 年 ), 走行距離 ( 万 Km), 価格 ( 万円 ) のデータを収集し次表を得た. 変数, から価格 を予測したい. について重回帰式および重相関係数を求めよ. 表 4-. データ表 No. 経過年 ( 年 ) 走行距離 ( 万 Km) 価格 ( 万円 ) 3.. 75. 6..4 49.8 3 5. 9.4 9. 4 4. 9. 3. 5 9. 6.5 9.8 6 6. 3.9 49. 7 5. 4.9 49. 8 6. 4.5 8. 9 3. 6.8 6. 3. 3.3 73...7 5. 問題 4- 上記データ表における各変数,, 間の分散共分散行列, 相関行列 R, 偏相関行列 Rを求め, 経過年 4. ( 年 ), 走行距離 3. ( 万 Km) のとき価格 Y ( 万円 ) はいくらと予測できるか求めよ. - -

第 5 章主成分分析 5. 主成分分析とは 主成分分析とは, 相関関係の認められる 個の変数の値を, 少数個の合成変数 ( 主成分 ) で表すデータ処理法である. 例えば, 高校での諸科目の得点は, 受験生が理系指向か文系指向かを決める有効なつの合成変数であり, また, アパレル商品の着心地感は夏型か冬型かを決めるマーケティング活動における販売戦略の有効な合成変数でもある. このように主成分分析は, 多くの変数で表せるサンプルまたは個体を, 次元数を集約し現象を要約する有効なデータ処理法である. 今, 図 5. に示す 個の変数, が身長と体重であるとき, つの変数間に強い相関関係が認められていると仮定する. ここで,A 君は身長が A, 体重が A であり身長, 体重ともに大きく,B 君は身長が B, 体重が B であり身長, 体重ともに小さいことがわかる. すなわち, 両君の特徴は, 変数, の 変数の値で特徴づけられる. そこで, 変数, の相関が強いとき, 図 5. に示すY 軸が変数, の合成変数として確立できるならば,A 君はY A,B 君図 5. 変数と主成分の関係はY B の つの値を知ることによって特徴づけることができる. すなわち,, の 変数で表現した両君を, 相関の強い方向へ軸変換を行った合成変数 Y を抽出することにより つの変数に集約できることになる. この合成変数 Y 軸を主成分と呼び, 身長, 体重ともに大きいA 君は 大柄な人, 身長, 体重ともに小さいB 君は 小柄な人 であることがわかる. よって,Y 軸の値は 大柄な人であるか, 小柄な人であるか を表す主成分となる. このように主成分分析では, 各得られた主成分の意味づけも重要なポイントである. 一般に, 主成分分析は, 次元で表せるサンプルや個体を, 数個のより少ない合成変数で ある主成分を抽出し意味づけしてサンプルや個体を特徴づけることである. 変数 個を持 つ 次元のサンプルや個体を表す主成分分析のデータの形式を表 5. に示す. 5. 主成分の導出 主成分分析用のデータ表 5. に示された値は, 同一のサンプルまたは個体について相関関係があり, それぞれ 変数相互に関連のある変動を表していると考えられることから, 表 5. 主成分分析用多変量データ表説明変数サンフ ル No. これを説明する関数として 個の変数の 次結合として, Yaa a (5.) -3-

を仮定し, a の条件下で式 (5.) のY の分散が最大となる関数を求めることになる. このときの関数を, a a Y a と表し, Y を第 主成分という. 次にY と無相関なY の中で a の条件を満足する最 大の分散をもつ関数を求める. この関数を, a a a Y と表し, Y を第 主成分という. 以下同様にしてY m まで求め, 全変動の大部分が説明されていれば求めることを終了する. このようにして求めた主成分 Y, Y,, Ym は, 各々無相関で直交しY が分散最大となる. 5.. 変数が 個の場合の主成分の導出 主成分分析のためのデータが 変数 であるとき第 主成分は, Y a a (5.4) で表される. ここで, a a, X a とすれば, 式 (5.4) は, Y ax a (5.5) となる. また, 第 主成分 Y の分散は, Va YVa axava Xa aa (5.6) となる. この分散をa a の条件下で最大にするためには, ラグランジュの未定乗数 を用いて, aa aa (5.7) を最大にすることになる. すなわち, aa a, Ia となる. ここで, 式 (5.8) の係数 a が 以外の解をもつためには行列式, I が成立しなければならない. 式 (5.9) の方程式は, 行列 の固有方程式と呼ばれ, この方程式を満たす は固有値と呼ばれる. 行列 は, サンプル数 からのデータ偏差行列を, (5.) とすれば, 偏差平方和および分散共分散行列は, S, S (5.) と求められる. 同様に, 第 主成分は, (5.) (5.3) (5.8) (5.9) -4-

Y a a (5.) とし, a a, X a とすれば, 式 (5.) は, Y ax ただし, aa (5.3) となる. ここで第 主成分は式 (5.4) で求めた第 主成分と無相関で分散が最大となるよう 求めることになるから Y と Y の共分散は でなければならない. よって, Cov Y Y Cov axa, XaCov XX, a aa (5.4), となる. したがって, a a (5.5) が成り立つ. 式 (5.5) は, 第 主成分の係数ベクトルa と第 主成分の係数ベクトルa は直交していることを表している. したがって, 第 主成分と同様に求めると, Ia (5.6) となり, 係数 a が 以外の解を満足するには式 (5.9) を得る. 5.. 変数が 個の場合の主成分の導出 一般に 変数,,,, サンプル数 であるとき第 主成分は,, ただしa a Y a a a で表され式 (5.9) の行列 の固有方程式を解くことにより係数ベクトルa は求められる. 以下, 順次第 主成分と無相関な第 主成分, 第 主成分と無相関な第 3 主成分, 第 3 主成分と無相関な第 4 主成分と求めていくことになる. 今, 式 (5.9) で求められた解が であるとき, 式 (5.8) より a a, aa aa (5.8) となり, Va Yaa (5.9) となる. したがって, 第 主成分 Y の分散が最大となるのは, 式 (5.8) における固有方程式 の固有値が最大をとるときであり, 係数ベクトルa はそのときの固有ベクトルである. 第 主成分は式 (5.6) より, a a, aa a a (5.) となり, 第 番目の固有値が, Va Yaa (5.) となる. すなわち, 第 主成分 Y が第 主成分 Y と無相関で分散が最大となるのは, 固有 方程式の第 番目の固有値のときであり, 係数ベクトルa はそのときの固有ベクトルとな る. 以下, 第 3 主成分 Y3 は, 第 3 番目に大きい固有値に対する固有ベクトルがa 3 に対応し, 第 4 主成分 Y4 は, 第 4 番目に大きい固有値に対する固有ベクトルがa 4 に対応していくこと になる. 5..3 寄与率 各主成分として式 (5.7) で求められた合成変数は, それぞれ全変動に対してどの程度の割合で説明しているかを考える. 一般に 個の変数から求められる主成分数は 個である. また, それぞれの主成分は固有方程式を解くことにより分散は, 式 (5.9)(5.) より固有値 (5.7) -5-

に等しくなる関係から, 第 m 主成分が説明している割合は, m cm, ただし となる. この値 cm を第 m 主成分の寄与率と呼び, P k ck c k を第 k 主成分までの累積寄与率と呼ぶ. 主成分分析は, 次元で表されているサンプルや個 体を, 累積寄与率を考慮しより少ない合成変数である主成分を抽出し, それぞれ各主成分に意味づけしてサンプルや個体を特徴づけることである. 5..4 因子負荷量 求められた各主成分 Ym と各変数,,, との相関係数を各主成分 m Y の因子負荷量 と呼び, 主成分 Ym ともとの変数,,, がどのくらい強く係わり合っているかを見ることができる. 各主成分の係数ベクトルや因子負荷量を検討することにより主成分の意味付けに用いる. 主成分 Ym と変数 j の相関係数を mj と表すと, mj Va で求められる. m, j m a Y Va Cov Y 5..5 主成分得点 m j jj mj 求められた各主成分 Ym に表 5. として得られた各変数,,, のデータを代入し計算された値を主成分得点と呼び, 次元の散布図としてサンプルおよび個体を布置することにより特徴を見出すことができる. 例えば, k 番目までの主成分得点を計算するとすれば, 第 サンプルの第 m 主成分の得点は, Y m a m と求められる. am am amj j m,,,k j 5.3 標準化したデータを用いる主成分分析 収集した変数,,, のデータについて, 例えば, 単純に と の値の大小関係を比較することができない場合がある. なぜなら, 得られた,,, のデータは測定単位 が常に同一とは限らないことである. この場合には, 得られたデータを次式 u (5.) (5.3) (5.4) (5.5) (5.6) で標準化して主成分を抽出する. 式 (5.6) で標準化された u 値は常に平均, 分散 に従うことがわかっている. 標準化された多変量データ表を表 5. に示す. -6-

サンフ ル No. 表 5. 標準化した主成分分析用多変量データ表説明変数標準化した変数 u u u u u u u u u u u u 平均値 標準偏差 5.3. 主成分の導出 標準化した変数 u, u,, u を用いたときの第 主成分を,, ただしa a Y au a u a u とし, それぞれのベクトル表示を, a u a a, u U a u とすれば, 式 (5.7) は, Y au ただし, a a となる. また, 第 主成分 Y の分散は, Va Y Va auava Ua a a となり, この分散をa a の条件下で最大にするために, ラグランジュの未定乗数 を 用いて, 整理すると, Ia となる. ここで, 式 (5.3) の係数 a が 以外の解をもつためには行列式, I を満足しなければならない. すなわち, 式 (5.3) は行列 の固有値問題に帰着する. ここで行列 は標準化された変数を用いて, サンプル数 からのデータ偏差行列を, u u u u u u u u u u とすれば, 偏差平方和は, S uu と求められ, 分散共分散行列は (5.7) (5.8) (5.9) (5.3) (5.3) (5.3) (5.33) S と計算して相関行列となる. よって相関行列は, -7-

R S ただし, k kj j j j u u j ukukj k k j j となる. したがって, 式 (5.3) の固有値問題は, R I となり, 標準化された変数を用いた主成分分析は, 多変量データから相関行列 R を求めて解く固有値問題となることがわかる. なお, 第 主成分以下の各主成分は固有値, 固有ベクトルに対応する. 5.3. 寄与率 各主成分として式 (5.7) で求められた合成変数の寄与率は, 個の変数から求められる主 成分数は 個であるから, 第 m 主成分が説明している割合は, c m m, ただしR R となり, 第 k 主成分までの累積寄与率は, P となる. k ck 5.3.3 因子負荷量 c k 因子負荷量は, 求められた各主成分 Ym と各変数 u, u,, u との相関係数で表され, 主成分 Ym と変数 u j の相関係数を mj と表すと, CovY m, u j mj m a (5.39) Va Y Va u で求められる. 5.3.4 主成分得点 mj m j 求められた各主成分 Ym に表 5. として得られた各変数,,, の標準化した変数 u, u,, u を代入し計算された値を主成分得点と呼び, 次元の散布図としてサンプルお よび個体を布置することにより特徴を見出すことができる. 例えば,k 番目までの主成分得点を計算するとすれば, 第 サンプルの第 m 主成分の得点は, Y m a m と求められる. u amu amu amjuj m,,,k j (5.34) (5.35) (5.36) (5.37) (5.38) (5.4) -8-

5.4 ラグランジュの未定乗数法 関数 f,,, について, 条件,,, たは最小を求めるためには, 次の関数, z f,, h,,,, h のもとで, 関数 の最大ま を考える. ここで,z を最大または最小にすることは, 関数 を条件,,, h の もとで最大または最小にすることと同じであることが知られている. したがって, z z z (5.4) h,,, を解いて,,, を求めると, この,,, に対応する の値は最大または最小と なる. この解法をラグランジュの未定乗数法と呼んでいる. また, 条件が, h,,,, h,,, と 個ある場合, z f,,, h,,, h,,, (5.43) の関数を考えて式 (5.4) を解けば,,,, に対応する の値は最大または最小とする ことができる. 5.5 固有方程式 行 列からなる正方行列 A があるとき, A (5.44) の係数ベクトル と定数 を求める問題を固有値問題と呼び, 係数ベクトル を固有ベクトル, 定数 は固有値と呼ばれる. したがって, 式 (5.44) は, A I (5.45) となり, 係数ベクトル および定数 について方程式を解けばよい. 式 (5.45) で係数ベクトルが では意味がなく, の解を求めるためには, A I (5.46) でなければならない. この方程式を固有方程式と呼び, 固有値 に対する固有ベクトル を求めることになる. 固有値と固有ベクトルの計算法には, ヤコビ法, ベキ乗法等があり, ヤコビ法については, 第 5 章 Ecel 演習問題 WokShee に Ecel 用 VBA で作成したプログラムを示した. 固有値, 固有ベクトルの計算には, プログラムを利用すればよい. 5.6 固有値, 固有ベクトルを求めるプログラム使用手順 (5.4) 固有方程式を解くためには, プログラムを利用した方が便利である. 第 5 章 Ecel 演習問題 WokShee に作成したプログラムの操作方法について解説する. 例えば, 固有値, 固有ベクトルを求める行列を, 7.55 3.93 7.97 8.63 3.93.95 9.7 6.59 A 7.97 9.7 3.56.5 8.63 6.59.5 9.94 とする. -9-

手順 全消去 ボタンをクリックしデータの内容を消去する. 手順 固有値, 固有ベクトルを求める行列 A の行数を入力し, 行列表示 ボタンをクリックすると, 行列の値を入力する領域が. で表示される. ただし, 求める行列は正方行列とする. 手順 3 行列 A の値を入力する領域にデータを入力する. 手順 4 データ入力後 Jaco 法 ボタンをクリックすると, 行列 A の固有値, 固有ベクトルが求められる. 手順 5 得られた固有値, 固有ベクトルの値を複写し累積寄与率, 主成分得点等の計算に用いる. -3-

第 5 章 Ecel 演習問題 問題 5- ある高校の進学クラスの生徒 人をランダムに選び, 模擬試験 5 科目の結果として次表を得た. 結果を分析し生徒の特徴等を見出し進路指導に役立てたい. 表 5-. データ表 生徒 No. 国語社会数学理科英語 3 4 5 35 3 68 78 7 7 67 7 63 85 3 73 9 78 75 88 4 5 55 57 59 73 5 76 9 95 87 86 6 59 84 65 65 76 7 8 9 7 6 83 8 6 83 7 77 8 9 69 74 8 66 84 5 69 7 6 8 68 63 95 56 85 86 88 89 84 88 3 8 74 95 8 86 4 75 6 66 56 74 5 86 8 77 8 85 6 76 79 77 69 8 7 37 4 44 3 84 8 66 7 77 66 83 9 8 76 79 66 88 46 6 55 83 () データについて主成分分析を行い第 主成分および第 主成分を抽出し, 意 味付けを行なえ. ただし, 分散共分散行列より固有値, 固有ベクトルを求めよ. () 主成分得点を計算し散布図を描け. -3-

問題 5- アイドル女優の特徴を分析するために女性週刊誌に掲載されたアイドル女優 3 人の身体計測値を入手し次表にまとめた. 表 5-. データ表 女優 No. 身長体重バストウェストヒップ 3 4 5 6 46 8 57 86 68 55 88 6 9 3 63 5 8 6 9 4 58 48 8 6 85 5 58 45 85 58 85 6 66 5 86 59 9 7 58 45 87 57 88 8 54 44 84 58 88 9 58 48 83 58 88 74 5 8 6 86 59 46 85 56 86 55 47 8 6 86 3 58 4 8 57 84 4 57 4 78 59 8 5 65 5 88 6 9 6 57 4 78 56 78 7 56 4 8 59 83 8 57 4 75 57 8 9 67 47 83 59 88 65 54 88 63 9 6 4 8 58 84 6 44 76 57 83 3 57 4 83 56 83 4 6 47 83 58 84 5 63 4 83 57 83 6 6 46 78 58 83 7 58 43 79 53 83 8 58 48 8 6 85 9 54 44 8 6 84 3 57 48 86 6 88 () データについて主成分分析を行い各主成分を抽出し, 意味付けを行なえ. ただし, 相関行列より固有値, 固有ベクトルを求めよ. () 主成分得点を計算し散布図を描け. -3-