カーネル法入門. カーネル法へのイントロダクション 福水健次 統計数理研究所 / 総合研究大学院大学 大阪大学大阪大学大学院基礎工学研究科 集中講義 204 September
カーネル法 : 近年 990 年代半ばごろから 発展したデータ解析の方法論. 非線形な情報や高次モーメントの扱いが容易. サポートベクターマシンの提案が発端となった. 2
線形なデータ解析 非線形な データ解析 3
データ解析とは? Analyss of data s a process of nspectng cleanng transformng and modelng data wth the goal of hghlghtng useful nformaton suggestng conclusons and supportng decson makng. Wkpeda 4
線形なデータ解析 数値の表行列表現 2 m 2 m m m 次元 個のデータ 線形代数を使ってデータ解析を行う. 相関 主成分分析 Prncpal component analyss PCA 正準相関分析 Canoncal correlaton analyss CCA 線形回帰 線形判別分析 etc. ロジスティック回帰 5
例 : 主成分分析 Prncpal component analyss PCA PCA: 分散が最大となる低次元部分空間にデータを射影する.. st drecton = 6 ] argmax Var[ a T a T T a a 2 ] Var[ a. V a T T V --- の分散共分散行列
第 p 主成分方向 : V の第 p 最大固有値に対する単位固有ベクトル PCA 行列 の固有値問題 7
例 2: 線形識別 判別 2 値識別識別器を次にように構成する 例 : Fsher の線形判別分析 線形サポートベクターマシン etc. 8 2 2 m m m 入力 Y Y Y Y } { 2 クラスラベル sgn b x a x h T Y h for all or most.
線形で十分か? 6 線形識別不能 線形識別可能 4 5 0 x 2 2 0-2 transform z 3 5 0-5 -0-5 0-4 -6-6 -4-2 0 2 4 6 x 5 z 0 5 20 0 5 0 z 2 5 20 2 2 z z2 z3 x x2 2xx2 Watch the move! https://www.youtube.com/watch?v=3lcbrzprza 9
Another example: correlaton Cov[ Y ] Y E E[ ] Y E[ Y ] Var[ ] Var[ Y ] 2 E E[ ] E Y E[ Y ] 2 3 2 = 0.94 Y 0 - -2-3 -3-2 - 0 2 3 0
2.5 2.5 2 2.5 Y Y 0.5 = 0.7.5 0.5 2 Y = 0.96 0 0-0.5 -.5 - -0.5 0 0.5.5-0.5 0 0.5.5 2 2.5 transform Y 2 Y
がん研多目的コホート研究 JPHC Study 肥満度 BMI のがん全体の罹患に与える影響 2
非線形変換は有望 Analyss of data s a process of nspectng cleanng transformng and modelng data wth the goal of hghlghtng useful nformaton suggestng conclusons and supportng decson makng. Wkpeda. カーネル法 = データの非線形情報 高次モーメントを抽出するために データを高次元の特徴空間に写像する方法論. 3
カーネル法の要点 4
カーネル法の概略 カーネル法の概念図 x x 元のデータの空間 特徴写像 x x H k 特徴空間特徴空間で線形データ解析を施す! e.g. SVM 特徴空間として望まれる性質 : データのさまざまな非線形特徴を有していること 内積計算が容易にできること. 多くの線形データ解析の計算は内積に依拠している. 5
計算の問題 高次情報の抽出 Y Z Y Z 2 Y 2 Z 2 Y YZ Z 元の空間の次元が高いと計算は実現できない! e.g. 0000 次元のデータ 2 次までの特徴 0000C + 0000 C 2 = 50005000 計算量爆発. より効率的な方法が必要 カーネル法 6
特徴空間と正定値カーネル 特徴写像 : 元の空間から特徴空間への写像 Φ: Ω Φ 特別な特徴空間 再生核ヒルベルト空間 を用いると 特徴ベクトルの内積計算が関数値 正定値カーネル の評価に置き換えられる k kernel trck 内積計算さえできれば 特徴ベクトル. の陽な形は知らなくてもよい. 7
正定値カーネル定義. : 集合カーネル : Ω Ω が正定値であるとは 対称性 2 正値性 任意の点 Ω に対し 8 0 n x x k c c n n n n x x k x x k x x k x x k x y k y x k が半正定値.e. for any R c Gram 行列
例 : R m 上 Eucld 内積 Gaussan k x y x T y Gaussan RBF カーネル k G Laplace カーネル 2 x y exp x y 2 0 Laplacan k 多項式カーネル L x y exp m x y 0 P T d c x y c 0 d k x y 9
命題. を内積 を持つベクトル空間とし Φ: Ω を写像 特徴写像 とする. : Ω Ω を Φ Φ により定義すると は正定値である. カーネルトリックを成り立たせる関数は 正定値カーネルである. 20 kernel trck 0 2 n n n c c c n n n c c k c c *Proof
正定値性は十分でもある. 定理.2 Moore-Aronszan Ω 上の正定値カーネル に対し Ω 上の関数からなるHlbert 空間 * 再生核ヒルベルト空間 RKHS が存在して 次が成り立つ. Ω. 2 span Ω はで稠密 3 再生性 for any Ω. *Hlbert 空間 : 内積を持つベクトル空間で 内積により決まるノルムが完備であるもの. 2
正定値カーネルによる特徴写像 正定値カーネル を用意 特徴空間 = RKHS 特徴写像 : Φ: Ω H k x x feature map x Space of orgnal data x Feature space カーネルトリック 再生性 : k 正定値カーネルを与えれば十分. 特徴写像 特徴ベクトルを陽に知る必要はない. カーネル法の計算は グラム行列 による計算となる. 22
カーネル法の例 : カーネル PCA 23
PCA からカーネル PCA へ PCA: 線形な次元削減. カーネル PCA: 非線形な次元削減 Schölkopf et al. 998. 特徴空間で PCA を行う 24 : max f : max a T T a a 2 ] Var[ f f 2 ] Var[
次の形の を考えれば十分 直交する方向は分散に効いてこない! [Representer 定理 ] 25 c f max subect to ~ c K c f T カーネルトリックを使うと b b k k K ~ b a b a a a k k 2 中心化 Gram 行列 f Var Φ
証明 Φ とすると [ Φ Φ Φ Var Φ Φ ] Φ Φ Φ Φ. Φ Φ. Φ Φ Φ Φ 26
27 カーネル PCA のアルゴリズム : 中心化 Gram 行列 の計算 の固有分解 ~ K 第 p 主成分方向 u T Φ u 2 0 egenvalues u u 2 u unt egenvectors Φ Φ Φ : 中心化特徴ベクトル の第 p 主成分 Φ
カーネル PCA の例 Wne データ UCI repostory 3 種類のイタリアワインに関する 3 次元の化学測定値 78 データ. クラスの情報はカーネルPCAには用いていない 4 3 Lnear PCA 0.6 0.4 Kernel PCA Gaussan kernel = 3 2 0.2 0 0 - -0.2-2 -0.4-3 -0.6-4 -5 0 5-0.8-0.8-0.6-0.4-0.2 0 0.2 0.4 0.6 28
カーネル法の構成要素 特徴空間上で線形データ解析を適用する. Kernelzaton 多くの場合 目的関数をカーネルによって書き直すことができる k f 解は以下の形で考えれば十分である 有限パラメータの問題に還元 f c Representer 定理 すべての量が Gram 行列によって表現される サイズ = データ数. 元の空間が高次元でも計算量の問題が生じない.Gram 行列を計算した後は データ数のみに依存した計算量. 以上はカーネル法一般に共通の要素である. 29
参考文献 福水 カーネル法入門 章朝倉書店 200. B. Schölkopf and A. Smola. Learnng wth kernels. MIT Press 2002. 赤穂 カーネル多変量解析 非線形データ解析の新しい展開 岩波書店 2008 30