レッスン1part

Size: px

Start display at page:

Download "レッスン1part"

がんまいまいだ
5 years ago
Views:

1 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解レッスン特異値分解レッスンの主題は m 行列の特異値分解 U {,,, } V dag ここに, ak, > ( ), U U V V であるこれはまたはのシュール分解をいくらか変形したものと見なせるそしての最大特異値はの - 演算子ノルムに等しいが次可逆行列ならを中心とする半径の開球は可逆行列のみを含むまたはの - 演算子ノルムに等しい特異値分解の用途は階数分析行列方程式の誤差解析最小自乗法次節の主題 CS 分解など多彩である. 実行列の特異値分解 (I) 定義与えられた m 実行列は適当な m 次実直交行列 U ( U U ) および次実直交行列 V ( V V ) をとれば () U V Udag{,,, } V UΣV の形に分解できるここに > をの特異値 sgula value m + といい () をの特異値分解 sgula value decomposto, SVD というここに ak( ) m m m, } { そして Σ を特異値分解の標準形 caocal fom という証明は後述する () を受け入れると V ( ) V Σ Σ dag{,,, }: U ( ) UΣΣ dag{,,, }: m m が従うゆえにの各特異値はまたはの大きい方から m 個の固有値の平方根に等しいこれより特異値と標準形 Σ はによって一意的に定まることがわかるまたと B PQ( ただしは任意の直交行列 ) は同一の標準形をもつことがわかるこの関 PQ, 係を ~ Bによって表せば関係 ~ は回帰性対称性推移性を満たすので同値関係を表すまた直前の式より U の各列はの固有ベクトル V の各列はの固有ベ Copyght 再履修線形代数研究会

2 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解クトルを表すこともわかる U の各列をの左特異ベクトル left sgula vecto V の各列を右特異ベクトル ght sgula vecto という m ' R R 内に直交座標変換 x V x y Uy ' ' ' を導入すれば y x は y UVxΣx となるすなわち Σ は今導入した新座標系から見たの姿を表すものと解釈できる証明次実対称行列のシュール分解 ( レッスン 7) を () V ( ) V D dag{ d,, d} dag{ d,,d, } ( ak( ) ) とするここに V は適当な次直交行列を表し d d にとるものとする ' ( Ve ) ( Ve ) (Ve ) ( )( Ve ) ( Ve ) ( VDV )(Ve ) e De d ここには第単位ベクトルを表す (,, ) そこで, と書き () を e d ( V) V ( V ) ( V ) D dag{,, } ( > ) と書き直し [ p p ] V p, : m と書けば直前の式は ( p / ) ( p j / j ) δ j (, j,, ), p j ( < j ) は意味するすなわち { u p /,, u p / } は正規直交系をなすこれを R + 規直交基底 { u, u,, u } m に拡張しこれらを列とする行列,, : m m, u, U u um UU I を定義すると U はを満たし u u m [ p p ] UV u dag{,,, } [ ] ( ) となるこれはの特異値分解形に他ならないのシュール分解 UU: m mから出発しても同様の手続きを踏めばやはりの特異値分解を導出できる () において U [ u u ] V [ v ] m, v と書けば次の関係従う : m の正 () V UΣ すなわち v j u ( j,, ) j j Copyght 再履修線形代数研究会

3 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解 (3) [ ] v m v UΣ V u u u v + + u v ()(3) もときに有用な式である例, によって与えられる UΣV はの特異値分解を表す特異値は例 a a a α α a a UΣ V ( ただし α a + a > ) はの特 a ( ) [] 異値分解を表す特異値は α の個のみである例 3 a ( α a + + am > ) の特異値は a + + a m : の固 a m 有値の平方根すなわち α によって与えられる特異値分解を考えると a [] a の場合は ± I a としてよく a + + a > の場合は H αe を満たす反射行列 H I ww / w w ( w αe ) をとればこの式自体が特異値分解を表す反射行列についてはレッスン 7 7. 節参照例 4 D dag{ d,, d } R d,, d を絶対値の減少する順に並べかえたものを dα, dβ,, dγ sg( dα ) α sg( dβ) β sg( dγ) γ P e e e ( [ ] sg( a) ( a ), ( a< ) sg( a) a a ) Q eα eβ eγ e, とすれば PP QQ I PDQ dag{ d, d,, d } α β γ は D の特異値分解を与えている. 複素行列の特異値分解 m 与えられた m m C は適当なユニタリ行列, に対して () ( U C V C ( U U, V V ) U dag{,,, } V U ΣV ak( ), > ) Copyght 再履修線形代数研究会 3

4 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解の形に分解できるこれを複素行列のを多少変更すればよいの特異値分解という証明法は前節の実行列に対するも.3 ベクトル - ノルムこの節では C 型複素行列の -ノルム -om( 以下単にベクトルノルムまたはノルムという ) に関する基本的事項を学ぶこれを拡張した C m 型行列の - ノルムは次節の話題とする行列計算においては行列の大きさを評価する必要性が常に起るこの目的にはノルムの使われることが多い [ ],, x x x C のノルム (- ノルム ) とは負でない実数 () x + + x x x x x をいうこの定義から次の事実が従う : () x x (3) cx c x ( c は任意の複素数 ) (4) Q Q, x C なら Qx x ( : m : m ( m), Q I Qx x : に注意 ) 以上の証明は練習問題とする (5) コーシーシュワルツ不等式 Cauchy- Schuwaz equalty: 任意の対して x, y C に x y x y が成立する xy の場合等号成立の必要十分条件は x, y の一方が他方の複素数倍であることである x, y, x y 証明 (4) の場合のみ考えれば十分であるこの場合はとおけば λ x y / x y x y x y x y x λ ( λ ) ( λ ) ( x y x y x y x y y ) x y これより x y x y が出るここで等号の成立は明らかに λ x y これは x, y の一方が他方の複素数倍でることと同値である ( 確かめて下さい ) と同値である別証行列 [ x y ]( x, y C ) を考えると xx xy : yx yy Copyght 再履修線形代数研究会 4

5 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解の特異値をとすればの固有値は, だから det( ) xx yy ( x y)( y x) x y x y 次に x y x y は det( ) と同値これは ak( ) ak( ) る階数 + 零空間の次元列数ゆえこれはすなわち [ 複素数, ] α α x y β が非零解もつことすなわち β を x λy か y μ λ μ が存在することと同値である (5) 三角不等式 tagula equalty x + y x + y と同値であの零空間の次元は以上であること x を満たす等号が成立するための必要十分条件は x, y の一方が他方の負でない実数倍であることである証明 x y の場合だけを考えておけば十分である x + y ( x + y) ( x + y) x + Re( x y) + y ( Re( ) の実部 ) x + x y + y x + x y + y ( コーシーシュワルツ不等式 ) ( + x ) y ( 前半の証明了 ) 等号が成立するための必要十分条件は Re( x y) x y x y であるが最初の相等関係は xy と同値である後半の相等関係はコーシーシュワルツ不等式により y cx( c は適当な複素数 ) と同値であるこの二つの条件は c (6) 三角不等式の別形 x y x y y cx かつと同値であるこれはノルムの連続性 ( ベクトル間の差が小さければノルム値間の差も小さい ) を示す証明 x ( x y) + y のノルムをとると三角不等式より x x y + y が出る同様にして y y x + x も出るこの両者から (6) が出る ( x y y x ).4 ノルム空間前節において定義したベクトル -ノルムはC から負でない実数全体への写像を表し次の 3 性質を満たす : 任意の x, y C 任意の複素数 c に対して Copyght 再履修線形代数研究会 5

6 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解 (a) x x (b) cx c x (c) x + y x + y このような構造は線形代数ではよく現れるそこで一般に与えられた複素ベクトル空間 X から負でない実数への写像が上の 3 性質を満たすときを X 上のノルム om X をノルム空間 omed space という有限次元ノルム空間の詳しい話をレッスン 4 で行う与えられたノルム空間 X 内の任意の x, y に対して x, y 間の距離を d ( x, y) x y によって定義すればノルムの性質から任意の xyz,, X (d) d( x, y) ; d( x, y) x y (e) d( x, y) d( y, x ) (f) d( x, y) + d( y, z) d( x, z )(3 角不等式 ) に対してが成り立つ一般に任意の集合 X 上にこのような性質を満たす写像 d(,) が定義された空間を距離空間 metc space といい d (, ) を距離 metc というまた任意の集合 X に対して d ( x, y) x y; d ( x, y) x y とおけば X は距離空間となるので ( 確かめて下さい ) 距離空間に何らの構造的特徴はないことがわかるこのコンテンツで現れる距離空間はノルム空間のみであるノルム空間の話をする場合よく現れるのが与えられたベクトル a を中心とする半径 ρ > の開球 ope shee{ x X : x a < ρ} であるその表面 suface{ x X : x a ρ} との合併集合を a を中心とする半径 ρ > の閉球 closed shee いう.5 行列ノルム ( 演算子 - ノルム ) (I) 定義与えられた m a j C の特異値分解 (. 節 ) を UΣV U {,,, } V dag >, U U, V V ) () ( ) とすれば () Σ Σ Σ x x U V x x V U U V Σy ( [ y ] y y V x ) y m ym + + いま x C が x を満たすすべての値をとるとき y は y V x x を満たすすべての値をとるゆえに () より x は y e ときすなわち x Ve のとき最大 Copyght 再履修線形代数研究会 6

7 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解をとるすなわち max x Ve この量 max 値 x x x をベクトル - ノルムに対応するの演算子 - ノルム opeato -om coespodg to the vecto -om といい ( 以下単に演算子ノルム ) 記号で表す : (3) max x ( Ve ) x, x C すなわち演算子ノルムとは x が値を表しその値はの最大特異値に等しい C の単位球表面を自由に動いたときの x の最大 (II) 任意の m C 任意の x C に対して x x 証明 x としてよいすると / x x x ゆえ (3) より x (III) m R なら max x, x R x max x, x C x ゆえに実行列の演算子ノルムをこのどちらの式によって定義しても混乱は生じない証明 : max α x, x R x β max x, x C x とおけば明らかにα β が成り立つから β α を示せば十分であるそこで任意の z ( x + y) x + y x + y (,, z x+ y C ( x, y R, ) をとれば xy は実行列 ) α( x + ( y ) α x + y α z z C は全く任意であったからこの式は β α 別証 : れば R m を示すに対しては実行列の特異値分解 (. 節 ) を使い x を実ベクトルに制限す max ( ) x, x R x Ve がいえる例演算子ノルムの定義 (4) から a a 例 a [ ] C の演算子ノルムとベクトルノルムの値は一致する実際前者を a op と書くと (3) により a op a a a ( ベクトルノルム ) ゆえに両者に同じ記 Copyght 再履修線形代数研究会 7

8 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解号を使っても混乱は起きない.6 演算子ノルムの性質以下とくに断らない限り m C は与えられた行列とする (I) すべての x C に対して x x ( 前節から再掲 ) (II) の最小性 : 与えられた実定数 α に対して x α x がすべての x C に対して成立するなら α が成り立つ証明 x を満たす x C ( x ) をとれば x α x α (III) 証明ならすべての x に対して x ( / x ) ゆえにすべての x に対して x すなわち x これはを意味する逆は明らかに真 m (IV) 任意の複素数 c 任意の C に対して c c 証明行列ノルムの定義から直ちに出る m (V) 三角不等式 : 任意の B, C に対して + B + B 証明任意の x C に対して ( + B) x x+ Bx x + Bx ( ベクトルに対する三角不等式 ) x + B x ((I) による ) ( + B ) x (II) により + B + B (III)(IV)(V) により演算子ノルムは C m (VI) ( 演算子ノルムの連続性 ) 任意の, 証明練習問題とする.3 節 (6) 参照上のノルムを表す m B R に対して B B m p (VII) 積のノルムに関する不等式 C, B C なら B B Copyght 再履修線形代数研究会 8

9 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解証明 (I) によりすべての x C p に対して ( B) x ( Bx) Bx B x が成り立つこれに (II) を適用する l (VIII) m P C ( l m) がを満たせば列の演算子ノルムはに等しい PP I P m が成り立つゆえにユニタリ行証明任意の m y C に対して m Py y PPy y I y y (IX) 証明とは全く同一の特異値を共有することから明らか (X) 任意の m C 任意の次ユニタリ行列 ( Q Q ) Q PP I を満たす任意の m l m P C ( l m) に対して PQ が成り立つ証明 (VII)(VIII) により PQ P Q が成り立つ次に x を満たす x C ( x ) をとり y Qx とおけば y ( Q のユニタリ性による ) そして PQy Qy ( 前項による ) Q Q x x これより PQ が出る (XI) 任意の行列 B, に対して B B ( max{, B }) B 略証 : m C, B C p q とし X B とおけば任意の q x C y C に対して x x X x + By ( B )( x + y y By ) ( )( x B y となるこれより X B 他方 u ( u ) Bv B ( v ) を満 q たす u C v C とれば X u X v u v B( ) Copyght 再履修線形代数研究会 9

10 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解ゆえに X B 他の相等関係も同様の手続きで証明できる (XII) C の任意の固有値 λ に対して λ が成立する証明固有値固有ベクトル間の関係式 λ x x( x ) のノルムをとればよい.6 階数分析への応用この節では便宜上実行列を扱う m R ( ) (I) 与えられた行列の階数をとし > またはそれ以下の特定の階数をもつ行列までの最短距離を求める問題を考える特異値分解を使えば実に明快な答えが出ることを示す実際の特異値分解を v () UΣV [ u um] dag{,,, } u v ( v ak( )) Σ { k,,, } U V Udag V u v とし k k k ( k < ) とすれば m + ( ) m ak ( X) k ak ( X) k X X ( ak( ) k に注意!) () k k すなわちから階数 k 以下の行列までの最短距離は ( ) k + 列 k によって実現されるいいかえればを中心とする半径 ( k + ) k k k に等しくこれは階数 k の行の開球は階数が少なくともまたはそれ以上の行列のみを含みその表面上に階数の行列が存在する ( k+ ( ) > + k に注意 ) とくに次可逆行列から非可逆行列までの最短距離はに等しく ( > ) それは階数を中心とする半径の開球は可逆行列のみを含む証明まずの形から ak( ) k k k の行列 uv によって実現されは明らかであるそして U( Σ Σ ) V ( Σ Σ) ( UV, は直交行列ゆえ前節 (X) を適用 ) k k k dag{,,,,} (. 節例 4) k+ k + 次に ak( ) k と書けば dm X なら X k + が成立することを示す実際 X の零空間を N( X ) N( ) ak( ) に次元公式を適用し X X k ゆえ S N( ) dm ( S ) dm S+ dm dm( S+ ) k+ k+ X spa { v,, vk + } Copyght 再履修線形代数研究会

11 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解が出るゆえに x を満たす x S が存在するすると X ( X ) x Xx x x ( x N( B) ) y y V ( x V, :( k + ) y x spa v k + {,, v }) y y U V V ( x ゆえ y ) Σ Σ k 例 6 6 ( U U U UU I) はの特異値分解 ( かつシュール分解 ) を表し特異値はえに 3 ak ( X) 9, 6, 3 によって与えられるゆ 3 3 m X, Udag{9,6,} U 6 m X, Udag{9,,} U ak ( X) 9 m X, Udag{,,} U ak ( X) を中心とする半径それぞれ 3,, の開球を S 3, S, Sと呼べば S 3 は階数 3 の行列 ( 可逆行列 ) のみ S は階数以上のもの S は階数以上のもの ( 非零行列 ) のみを含むただの非零実数倍はやはり可逆行列であるから S 外にも可逆行列が存在することは明らかである m R X の厳値分解となっていることが知られているここに例与えられた行列の特異値分解を数値計算によって求めると得られた特異値分 + 密な特異 X は計算誤解は c 差を表す行列である ak( ) ρ とするもし X < ρ ( ) が保証されれはを c c ば c 中心とする半径 ( ) ρ の開球内に存在することになり ( X < ρ ( ) c c c ) その階数は ρ またはそれ以上であることが保証される反対に X > ρ ( ) ならは問題の開球の外側にあるため ak( ) ρ の保証はない c Copyght 再履修線形代数研究会

12 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解.7 行列方程式への応用この節では特異値分解の応用として行列方程式の解摂動問題すなわちデータの変動に解がどう反応するかを考えるそこで R を可逆行列としその特異値分解を () v UΣV [ uu ] uv ( > ) v b R とすれば方程式 x b ( は既知 ) の解は次式によって与えられる : () ( ) x b VΣ U b V U v u b 特異値分解は LDU 分解に比べて計算量が大きいからこの式を使って () を解くことは通常行われないがこの式からの変動に解がどう反応するかについての定性的な性質を見ることができるすなわち () 式を見ると解は小さな特異値の変動により敏感に反応することが読み取れる ( y / xの原点付近の挙動を考えればよい ) 定量的な解析を示そうそこで行列方程式 x b( ) にデータの変動 + b b+ b を与えたとき解の変動 x x+ x をどう評価できるかについて考える次の結果が成り立つ : x b ( + )( x+ x) b+ b < とすれば ( + ) が存在し (3) x cod( ) b ( + ) x ( / ) b ここに cod はの条件数 ( ) codto umbe と呼ばれるこの式を見ると / ならデータ b, の相対変動率の和がほぼ条件数倍されて解の相対変動率に伝播しうることがわかる証明与えられた条件 < は + がを中心とする半径の開球内にあることを ( + ) 示すゆえにが存在する ( 前節参照 ) すると与えられた方程式から x + x+ b I+ x+ b ( ) ( ) ( ) ( ) I+ ( + ) ここにゆえ左辺の逆行列は確かに存在するノルムをとり x で割ると Copyght 再履修線形代数研究会

13 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解 x b () ( I+ ) ( + ) x x ここで Y とおけば Y < また ( I+ Y)( I+ Y) I より ( I+ Y) I Y( I+ Y) だからノルムをとれば ( ) I+ Y ( Y ) ( Y < ) また x b のノルムをとれば / x / b 以上を() に使うと (3) が出る (3) について追加説明を行う条件数の逆数はから非可逆行列 ( ) / までの最短距離をで割った商に等しいを c 倍すれば特異値は c 倍されるから / はから非可逆行列までの正規化された最短距離を表すと考えてよいゆえに条件数が大きい ( 悪条件である ll-codtoed) ほどその行列は非可逆行列に近いと考えてよい従ってが悪条件なら x b は解きにくいことが予想される (3) 式はこのことを定量的に示すものと解釈できるが直交行列ならだから直交行列の条件数はに等しい条件数が過度に大でないを良条件である well-codtoed という x b をよい算法を使って数値的に解き解 x c が得られたとすれば x c は小さな Δ, Δb に対して ( +Δ ) x c b+δbの厳密解になっていることが知られているがが悪条件ならたとえ, b が小さくてもわけである x は (3) 式の意味で原方程式の解 x と大きく違っていることがあり得る c.8 最小自乗法への応用最小自乗法 ( あるいは最小自乗問題 ) とは何か一般論の前に例による説明を行う (I) 例ある物理量 ( 例 : 温度の変化量 ) に正比例する他の物理量 ( 例 : 均質な細い棒の伸縮量 ) という理論模型を考える実験を行いデータの組 ( l, t ),,( l, t ) m m が得られたとしよう模型が正しく実験誤差がなければ l αt,,, m, のすべてを満たす比例定数 α が定まるはずだが実際にはそうはならない誤差が一定の統計的分布 ( 正規分布 ) に従うとすれば最も確からしいα の値は () ( l αt) + + ( lm αtm) f( α) 最小となるようなα α であることが知られている問題 () を最小自乗法または最小自乗問題 least squae method o poblem という左辺はα の次式であり t > を仮定すれば Copyght 再履修線形代数研究会 3

14 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解 B B f( α) l ( lt ) α + ( t ) α C Bα + α C α ) + ( と変形できるからの値と f ( α ) α は次式によって与えられる : () α B lt t f ( ) C B l t ( lt ) t α いま l [ l,, l ], t [ t,, t ] (3) [ ] m m とおけば ()() は簡潔に次のように書ける : ( ) t α l f α l t l t 最小 ( t ) α lt ( ) t t [ ] t α lは先ほどいったように一般に可解ではないが左から t を乗た正規方程式方程式じ omal equato tt[ α ] tlは常に可解でありこれを満たすα がα に他ならないことは注目に値する (II) 最小自乗法問題一般に m 実行列方程式 (4) x m b ( R, b R m を最小自乗法の意味で解くとはは既知 x R は未知 ) x R を自由に変えて (5) x b 最小 ( x b 最小 x x m となるを求める問題である応用上はの場合が多いそして ( x) x b は残差 esdual と呼ばれることが多い幾何学的にいえば最小自乗法とは与えられた点 b R 引く問題に他ならない垂線の足を y と書けば m から R m の値域へ垂線を x y を満たす解 x R が最小自乗法の解距離 x b が残差の最小値を与えることになるなるこのレッスンの主題である特異値分解を応用すれば最小自乗法問題の解法は以下のようにの特異値分解を (6) UΣV U {,,, } V dag とする以下場合に分けて考える Copyght 再履修線形代数研究会 4

15 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解 (a) ak( ) 特異値分解はの場合この場合は必然的にかつ m > が満たされ (7) UΣV Udag{,,, } V Σ U V Σ dag{,, }) ( の形をとる最小化すべき式にこれを使って変形していくと x b UΣV x b U( ΣV x U b) ΣV x U b ( U U ) Σy c ( y Vxc, Ub) Σ c Σy c y Σy c + c c c これより x b 最小の解は一意的に (8) x x V( Σ c ) Vdag{,, } U b ( U [ U U ], U : m) x b c U b b U b ) < ak( ) (b < の場合解は (a) の場合と同様の計算を行えば出てくるが解は一意ではない実際この場合のの特異値分解は (9) UΣV Σ V ( U Σ dag{,, }) の形をとるから x b Σ V x U b + U b U U U, V V V, U : m, V : ) ( [ ] [ ] となるここに V x U b は行列方程式であるその特解の一つは明らかに Σ x VΣ U b であり同次方程式 V x の一般解は x V c ( c:( ) ) だから Σ ( ( : x Vy y ) と書けばわかる ) 結局 V x Σ U b の一般解 ( すなわち x ) は Copyght 再履修線形代数研究会 5

16 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解 () Σ Ub Σ Ub x VΣ U b+ Vc [ V V] V c c によって与えられるこのうちで最小のノルムをもつものれる : () x は明らかに次式によって与えら () () Σ Ub x V VΣ Ub 例 (II) で得られた一般的結果を例 (I) に適用してみよう最小自乗問題は [ ] l l m [ ] t t m t b l x [ α ]: x b 最小である t の特異値は tt( t ) > のみであるから一般論 (a) の場合になる t の特異値分解の形は t t x x [] ( t x x UΣ V U U, V [] ) t m tm x x でなければならないから (8) 式より Σ [] t tm tl l m x V U b U [ ] t t m ( Σ : ) l tl tt x tl lltt tl b b U b l l ( ) l t t l tt t によって与えられる以上は (I) で得られた結果と当然一致する最小自乗法に関する話題はまだまだあるが続きの話は腕試し問題に回すことにする最後にひとこと : 上で見たように特異値分解は理論解析用にも実務計算用にも価値の高い分解である ( 実 ) m 行列の特異値分解とはのシュール分解をいくらか変形したものであることを忘れないこと Copyght 再履修線形代数研究会 6

17 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解腕試し問題問題. D の特異値分解と特異値を求めよ ( 略解 :. 節例 4 参照特異値分解例,, によって与えられる ) 特異値は 3 問題. ( 特異値分解計算の簡略化 ) まずレッスン 7 からの既知事実をのべる : a,, am ( a + + am > ),,,, m a b a a R, () [ ] ここに cc H I ( c a b) cc H Ha b は反射行列またはハウスホルダー行列と呼ばれから実対称直交行列を表す H H, H I を満たす m を与えられた行列とすれば適当な m 次反射行列または単位 aj R, m 行列 U,, Um V,, V をとれば ( Um U) ( VV ) を重対角行列形 x x B に変形できることを示せこれにより B の特異値分解がわかればの x x x 特異値分解も計算できることになる x x x x x x x ( 略解 : x x x U UV ( 以下同様 ) ) x x x x x 問題.3 x y x y において等号が成立するための必要十分条件は何かただしはC 上で定義された -ノルムを表す Copyght 再履修線形代数研究会 7

18 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解 ( 略解 : 場合わけの後.3 節 3 角不等式における等号成立条件を応用すればよい答 :x, y の一方が他方の負でない実数倍であること ) 問題.4 ( 最小自乗法 ) 最小自乗問題 () m m x b 最小 ( R, b R は既知 x R は未知 ) を考える正規方程式 () x b は常に可解であり ( a k( ) x ならは可逆行列となる ) ()() の解は一致することを示せまた任意解に対応する残差は次式によって与えられることを示せ: (3) ( b ) x b b x b x 注意 () はすべての w R に対して ( w) ( b x) と同値であるこの条件は b xがの値域と直交するに他ならないから最小自乗問題 () とはb からの値域へ垂線を下す問題に他ならず (3) はピタゴラスの定理 ( 三平方の定理 ) を表すまた誤差解析上の理由から正規方程式を解くことはお奨めできない ) ( 略証正規方程式は常に可解であることを示す可解性の必要十分条件は y y b ( ) y R であるがこれは満たされている : y y y ( y) y y y り x x + y とおけば次に () の任意解 x をと x b y + b ( b x) y + b x b x x b が成り立つこの式よりの解と最小自乗問題の解は一致することがわかる ) 問題.5( 最小自乗法と QR 分解 ) 最小自乗問題 () x b 最小 ( R m, b R m は既知 x R は未知 ) を QR 分解 ( レッスン 7) を使って解けただしの QR 分解を () R QR Q [ Q Q] ( : m, : m ( m ), Q Q Q Q ) としかつ,, > とする Copyght 再履修線形代数研究会 8

19 再履修線形代数分解定理を主軸に整理整頓レッスン特異値分解 ( 略解 : R Q b ( ) ) Q b x b Q Rx Q b x R x Q b + Q b だから解は x R Qb 残差は x b Q b によって与えられる ) λ,, λ 問題.6 ( 特異値と固有値の関係 ) 複素次正方行列の固有値を ( ) m max とすれば m m λ max λ max とし特異値をが成り立つことを示せ λ ( 略証 : のシュール分解をQQ とすればとの特異値は等しいか λ ら max max x e j λj λj ( j,, e j 第 x j 単位ベクトル ) つぎに m m を示す m の場合は除外してよいから m > とすればの存在 λ が保証されるの特異値固有値はそれぞれの特異値固有値の逆数だからこれに上の結果を適用すれば ( j,, ) が得られる ) / m / λ j Copyght 再履修線形代数研究会 9

Microsoft PowerPoint - 10.pptx

Microsoft PowerPoint - 10.pptx m u. 固有値とその応用 8/7/( 水 ). 固有値とその応用固有値と固有ベクトル行列による写像から固有ベクトルへ m m 行列によって線形写像 f : R R が表せることを見てきたここでは次元平面の行列による写像を調べるとし写像 f : を考える R R まず単位ベクトルの像 u y y f : R R u u, u この事から線形写像の性質を用いると次の格子上の点全ての写像先が求まる