Microsoft PowerPoint - OsakaU_1intro.pptx

Size: px

Start display at page:

Download "Microsoft PowerPoint - OsakaU_1intro.pptx"

かずただよしなが
5 years ago
Views:

1 カーネル法入門. カーネル法へのイントロダクション福水健次統計数理研究所 / 総合研究大学院大学大阪大学大阪大学大学院基礎工学研究科集中講義 204 September

2 カーネル法 : 近年 990 年代半ばごろから発展したデータ解析の方法論. 非線形な情報や高次モーメントの扱いが容易. サポートベクターマシンの提案が発端となった. 2

3 線形なデータ解析非線形なデータ解析 3

4 データ解析とは? Analyss of data s a process of nspectng cleanng transformng and modelng data wth the goal of hghlghtng useful nformaton suggestng conclusons and supportng decson makng. Wkpeda 4

5 線形なデータ解析数値の表行列表現 2 m 2 m m m 次元個のデータ線形代数を使ってデータ解析を行う. 相関主成分分析 Prncpal component analyss PCA 正準相関分析 Canoncal correlaton analyss CCA 線形回帰線形判別分析 etc. ロジスティック回帰 5

6 例 : 主成分分析 Prncpal component analyss PCA PCA: 分散が最大となる低次元部分空間にデータを射影する.. st drecton = 6 ] argmax Var[ a T a T T a a 2 ] Var[ a. V a T T V --- の分散共分散行列

7 第 p 主成分方向 : V の第 p 最大固有値に対する単位固有ベクトル PCA 行列の固有値問題 7

8 例 2: 線形識別判別 2 値識別識別器を次にように構成する例 : Fsher の線形判別分析線形サポートベクターマシン etc m m m 入力 Y Y Y Y } { 2 クラスラベル sgn b x a x h T Y h for all or most.

9 線形で十分か? 6 線形識別不能線形識別可能 x transform z x 5 z z z z2 z3 x x2 2xx2 Watch the move! 9

10 Another example: correlaton Cov[ Y ] Y E E[ ] Y E[ Y ] Var[ ] Var[ Y ] 2 E E[ ] E Y E[ Y ] = 0.94 Y

11 Y Y 0.5 = Y = transform Y 2 Y

12 がん研多目的コホート研究 JPHC Study 肥満度 BMI のがん全体の罹患に与える影響 2

13 非線形変換は有望 Analyss of data s a process of nspectng cleanng transformng and modelng data wth the goal of hghlghtng useful nformaton suggestng conclusons and supportng decson makng. Wkpeda. カーネル法 = データの非線形情報高次モーメントを抽出するためにデータを高次元の特徴空間に写像する方法論. 3

14 カーネル法の要点 4

15 カーネル法の概略カーネル法の概念図 x x 元のデータの空間特徴写像 x x H k 特徴空間特徴空間で線形データ解析を施す! e.g. SVM 特徴空間として望まれる性質 : データのさまざまな非線形特徴を有していること内積計算が容易にできること. 多くの線形データ解析の計算は内積に依拠している. 5

16 計算の問題高次情報の抽出 Y Z Y Z 2 Y 2 Z 2 Y YZ Z 元の空間の次元が高いと計算は実現できない! e.g 次元のデータ 2 次までの特徴 0000C C 2 = 計算量爆発. より効率的な方法が必要カーネル法 6

17 特徴空間と正定値カーネル特徴写像 : 元の空間から特徴空間への写像 Φ: Ω Φ 特別な特徴空間再生核ヒルベルト空間を用いると特徴ベクトルの内積計算が関数値正定値カーネルの評価に置き換えられる k kernel trck 内積計算さえできれば特徴ベクトル. の陽な形は知らなくてもよい. 7

18 正定値カーネル定義. : 集合カーネル : Ω Ω が正定値であるとは対称性 2 正値性任意の点 Ω に対し 8 0 n x x k c c n n n n x x k x x k x x k x x k x y k y x k が半正定値.e. for any R c Gram 行列

19 例 : R m 上 Eucld 内積 Gaussan k x y x T y Gaussan RBF カーネル k G Laplace カーネル 2 x y exp x y 2 0 Laplacan k 多項式カーネル L x y exp m x y 0 P T d c x y c 0 d k x y 9

20 命題. を内積を持つベクトル空間とし Φ: Ω を写像特徴写像とする. : Ω Ω を Φ Φ により定義するとは正定値である. カーネルトリックを成り立たせる関数は正定値カーネルである. 20 kernel trck 0 2 n n n c c c n n n c c k c c *Proof

21 正定値性は十分でもある. 定理.2 Moore-Aronszan Ω 上の正定値カーネルに対し Ω 上の関数からなるHlbert 空間 * 再生核ヒルベルト空間 RKHS が存在して次が成り立つ. Ω. 2 span Ω はで稠密 3 再生性 for any Ω. *Hlbert 空間 : 内積を持つベクトル空間で内積により決まるノルムが完備であるもの. 2

22 正定値カーネルによる特徴写像正定値カーネルを用意特徴空間 = RKHS 特徴写像 : Φ: Ω H k x x feature map x Space of orgnal data x Feature space カーネルトリック再生性 : k 正定値カーネルを与えれば十分. 特徴写像特徴ベクトルを陽に知る必要はない. カーネル法の計算はグラム行列による計算となる. 22

23 カーネル法の例 : カーネル PCA 23

24 PCA からカーネル PCA へ PCA: 線形な次元削減. カーネル PCA: 非線形な次元削減 Schölkopf et al 特徴空間で PCA を行う 24 : max f : max a T T a a 2 ] Var[ f f 2 ] Var[

25 次の形のを考えれば十分直交する方向は分散に効いてこない! [Representer 定理 ] 25 c f max subect to ~ c K c f T カーネルトリックを使うと b b k k K ~ b a b a a a k k 2 中心化 Gram 行列 f Var Φ

26 証明 Φ とすると [ Φ Φ Φ Var Φ Φ ] Φ Φ Φ Φ. Φ Φ. Φ Φ Φ Φ 26

27 27 カーネル PCA のアルゴリズム : 中心化 Gram 行列の計算の固有分解 ~ K 第 p 主成分方向 u T Φ u 2 0 egenvalues u u 2 u unt egenvectors Φ Φ Φ : 中心化特徴ベクトルの第 p 主成分 Φ

28 カーネル PCA の例 Wne データ UCI repostory 3 種類のイタリアワインに関する 3 次元の化学測定値 78 データ. クラスの情報はカーネルPCAには用いていない 4 3 Lnear PCA Kernel PCA Gaussan kernel =

29 カーネル法の構成要素特徴空間上で線形データ解析を適用する. Kernelzaton 多くの場合目的関数をカーネルによって書き直すことができる k f 解は以下の形で考えれば十分である有限パラメータの問題に還元 f c Representer 定理すべての量が Gram 行列によって表現されるサイズ = データ数. 元の空間が高次元でも計算量の問題が生じない.Gram 行列を計算した後はデータ数のみに依存した計算量. 以上はカーネル法一般に共通の要素である. 29

30 参考文献福水カーネル法入門章朝倉書店 200. B. Schölkopf and A. Smola. Learnng wth kernels. MIT Press 赤穂カーネル多変量解析非線形データ解析の新しい展開岩波書店

PowerPoint Presentation

PowerPoint Presentation . カーネル法への招待正定値カーネルによるデータ解析 - カーネル法の基礎と展開 - 福水健次統計数理研究所 / 総合研究大学院大学統計数理研究所公開講座 0 年月 34 日概要カーネル法の基本線形データ解析と非線形データ解析カーネル法の原理カーネル法のつの例カーネル主成分分析 : PCA の非線形拡張リッジ回帰とそのカーネル化概要カーネル法の基本線形データ解析と非線形データ解析