PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

さわかたづ
9 years ago
Views:

1 . カーネル法への招待正定値カーネルによるデータ解析 - カーネル法の基礎と展開 - 福水健次統計数理研究所 / 総合研究大学院大学統計数理研究所公開講座 0 年月 34 日

2 概要カーネル法の基本線形データ解析と非線形データ解析カーネル法の原理カーネル法のつの例カーネル主成分分析 : PCA の非線形拡張リッジ回帰とそのカーネル化

3 概要カーネル法の基本線形データ解析と非線形データ解析カーネル法の原理カーネル法のつの例カーネル主成分分析 : PCA の非線形拡張リッジ回帰とそのカーネル化 3

4 データ解析とは? Anlyss of dt s process of nspectng clenng trnsformng nd modelng dt wth the gol of hghlghtng useful nformton suggestng conclusons nd supportng decson mkng. Wkped 4

5 線形データ解析データは数値のテーブルとして与えられることが多い. 行列表現 m m m m dmensonl dt データ解析には線形代数が主な数学的道具相関 Correlton 線形回帰 Lner regresson nlyss 主成分分析 Prncpl component nlyss 正準相関分析 Cnoncl correlton nlyss etc. 5

6 Exmple : Prncpl component nlyss PCA... : m- 次元のデータ PCA: 分散が最大になるように d- 次元の部分空間へ射影する 6

7 第主軸 Generl soluton: u... u : V の固有ベクトル固有値の降順第 p 主軸 u p の第 p 主成分 u p PCA 固有値分解線形代数 7 ] rgmx Vr[ ] [ Vr. V V 標本共分散行列

8 Exmple : Lner clssfcton 値識別線形識別関数による方法 : so tht Exmple: Fsher 線形判別分析線形サポートベクターマシン etc. 8 m m m Input dt } { ± Clss lel x x h + sgn h for ll or most.

9 線形で十分か? lnerly nseprle lnerly seprle x 0 - trnsform z x z z 5 z z z3 x x xx Uncler? Wtch the followng move! 9

10 Another exmple: correlton ρ Cov[ ] E[ E[ ] E[ ]] Vr[ ] Vr[ ] E E[ ] E E[ [ ] [ ] ] 3 ρ

11 ρ ρ trnsform データの非線形変換によって高次モーメントを抽出するアプローチが有効そうである.

12 データの非線形変換 Anlyss of dt s process of nspectng clenng trnsformng nd modelng dt wth the gol of hghlghtng useful nformton suggestng conclusons nd supportng decson mkng. Wkped. カーネル法データの非線形性あるいは高次の情報を扱うための非線形変換の系統的方法論.

13 概要カーネル法の基本線形データ解析と非線形データ解析カーネル法の原理カーネル法のつの例カーネル主成分分析 : PCA の非線形拡張リッジ回帰とそのカーネル化 3

14 カーネル法の概観 Ω x x データの空間特徴写像 φ x φ x H k 特徴空間特徴空間で線形のデータ解析を行う! e.g. SVM どのような変換特徴写像がよいか? 元のデータのさまざまな非線形性が抽出できる. 特徴空間で内積が計算しやすい. 多くの線形データ解析手法は内積計算に拠っている. 4

15 計算論的な問題もちろん高次項を並べてもよいが Z Z Z Z Z 元のデータが高次元だと計算量爆発! e.g. 元のデータが 00 次元のとき 3 次まで取ると特徴ベクトルの次元は 00C + 00 C + 00 C 現在の計算機を持ってしても行列演算は困難. より効率的な方法カーネル法. 5

16 正定値カーネルによる内積計算特徴写像 : : Ω H 特徴写像をうまく選択すると特徴空間での内積が正定値カーネル kx y により与えられる k kernel trck. 多くの線形データ解析手法では内積の値のみが必要で特徴ベクトルの形は知らなくてもよい. e.g. PCA. 後述 6

17 概要カーネル法の基本線形データ解析と非線形データ解析カーネル法の原理カーネル法のつの例カーネル主成分分析 : PCA の非線形拡張リッジ回帰とそのカーネル化 7

18 PCA: 線形の次元削減法. PCA から Kernel PCA へ Kernel PCA: 非線形な次元削減法 Schölkopf et l Revew of PCA mx : Vr[ ] PCA の計算方向ベクトルとデータの内積目的関数の最適化固有値問題に還元される 8

19 特徴空間での PCA 特徴ベクトル : 仮定 : 特徴空間 H は内積を持ち特徴ベクトルの内積が k kernel trck により計算可能目的関数 : mx f : Vr[ f ] f: 特徴空間 H 内での方向ベクトルただし { } f 9

20 解は次の形で十分 f c... 空間 H を特徴ベクトルの張る部分空間 H 0 とその直交補空間 H 0 に直交分解 : H H H 0 0. 方向ベクトル f を f g + h g H0 h H0 と表わすと目的関数は mx { } f f mx { } g g + h h 0 の時が最適. 0

21 内積計算 : ノルム分散目的関数 Kc c f k k K + k k 中心化グラム行列 centered Grm mtrx c K c c f c K c mx suect to* c Kc Kernel PCA: c f * suect to は最適化問題で制約条件を書くときの慣用句.

22 Kernel PCA も固有値問題に還元される Kernel PCA アルゴリズム行列 K K の計算の固有値分解 K λ u u λ λ λ 0 egenvlues u u u unt egenvectors 第 p 主軸 f p の第 p 主成分 f p c p c λ u p p p λ p u p

23 内積計算のチェック : for 3 Kc c f c K c f c c c c f. : K を展開せよ. c f K + + k k k k 上と同様に計算できる [Exercse]

24 4 リッジ回帰線形回帰復習問題データ行列最適解最適な関数 m m m R R m w f mn を達成する線形関数 f w x w x w ˆ x x f w ˆ

25 リッジ回帰 Rdge regresson 問題 mn f w w + λ を達成する線形関数 fwx w x 最適解は最適な関数は wˆ + λi fw ˆ x + λi x リッジ回帰はが特異また特異に近いときによく使われる. Byes 的な解釈もできる正則化 : 後述 5

26 リッジ回帰のカーネル化 Dt: : 任意の集合 Ω に値を持つ. R 特徴写像仮定 : 特徴空間 H は内積を持ち特徴ベクトルの内積が k により計算可能 kernel trck 特徴空間 H におけるリッジ回帰 mn f H f + λ f H 6

27 最適解 : は以下の形を持つ f c データ { } の張る H の部分空間を H 0 直交補空間を H とするとき f h 0 + h の分解で目的関数の第項は h 0 のみに依存. 第項は f h 0 + h により h 0 のときが最適. 内積計算乗ノルム : 線形関数 : f c Kc K k グラム行列 f c Kc カーネルリッジ回帰最適解 mn c R Kc f x K + λi [Exercse] 導出を確認せよ. + λc Kc k x k x k x k x 7

28 カーネル法の原理特徴写像によって内積を持つ特徴空間 Hにデータを写像する. { } 特徴ベクトルに H 上で線形の解析手法を適用する. 多くの場合最適解 H の元は次の形を持つことがわかる. f c 問題は内積を用いて表現される. カーネル法では上の内積が k kernel trck によって効率的に計算される. 基底による展開や表示は必要ない. 8

29 Queston: カーネルトリック x y k x y を満たすような特徴写像と k はどのようなものか? 正定値カーネル 9

Microsoft PowerPoint - H17-5時限（パターン認識）.ppt

Microsoft PowerPoint - H17-5時限（パターン認識）.ppt パターン認識早稲田大学講義平成 7 年度独産業技術総合研究所栗田多喜夫赤穂昭太郎統計的特徴抽出パターン認識過程特徴抽出認識対象から何らかの特徴量を計測抽出する必要がある認識に有効な情報特徴を抽出し次元を縮小した効率の良い空間を構成する過程文字認識 : スキャナ等で取り込んだ画像から文字の識別に必要な本質的な特徴のみを抽出例文字線の傾き曲率面積など識別与えられた未知の対象を