公開講座 : ガウス過程の基礎と応用 05/3/3 ガウス過程の基礎 統計数理研究所 松井知子
目次 ガウス過程 (Gaussian Process; GP) 序論 GPによる回帰 GPによる識別 GP 状態空間モデル 概括 GP 状態空間モデルによる音楽ムードの推定
GP 序論 ノンパラメトリック予測 カーネル法の利用 参照文献 : C. E. Rasmussen and C. K. I. Williams Gaussian Processes for Machine Learning David Barber Gaussian Process (chapter 9 in Bayesian Reasoning and Machine Learning) GP 関連サイト hmp://www.gaussianprocess.org hmp://www.gaussianprocess.org/gpml/
GP 序論 E. Ebden (A quick introducson) Typical predicson problem: given some inputs and the corresponding noisy outputs y, the best essmate y * for a new input * is? hmp://www.robots.o.ac.uk/~mebden/reports/gptutorial.pdf with author s consent for use
GP 序論 : y = f()? 線形モデルを仮定 最小二乗法による線形回帰 y = w i φ i () i 次 3 次 非多項式モデルなどから選択 モデル選択法を利用 ガウス過程で表す データに基づいてモデルを自動決定
hmp://learning.eng.cam.ac.uk/carl/talks/gpnt06.pdf with author s consent for use GP 序論 C. E. Rasmussen Eample CO per year 40 CO concentration, ppm 400? 380 360 340 30 960 980 year 000 00
GP 序論 C. E. Rasmussen Eample CO per year 最小 乗法による線形モデルの当てはめ CO concentration, ppm 40 400 380 360 340 30 960 980 000 00 year hmp://learning.eng.cam.ac.uk/carl/talks/gpnt06.pdf with author s consent for use 問題 : 季節変動が捉えられない
GP 序論 C. E. Rasmussen Eample CO per year { 季節変動 - 正弦関数 }+{ トレンド - 3 次多項式 } モデルの当てはめ 40 CO concentration, ppm 400 380 360 340 30 hmp://learning.eng.cam.ac.uk/carl/talks/gpnt06.pdf with author s consent for use 960 980 000 00 year
GP 序論 C. E. Rasmussen Eample CO per year { 季節変動 - 正弦関数 }+{ トレンド - 次多項式 } モデルの当てはめ CO concentration, ppm 40 400 380 360 340 30 hmp://learning.eng.cam.ac.uk/carl/talks/gpnt06.pdf with author s consent for use 960 980 000 00 year
GP 序論 C. E. Rasmussen Eample CO per year { 季節変動 - 正弦関数 }+{ トレンド - 多項式 } 回帰モデル : ü データがある部分についてはよく適合している ü データがない部分については トレンド成分を表す基底関数を 3 次から 次の多項式の変更しただけで 予測が異なる 問題 : パラメトリックなモデルの利用の難しさ 将来の CO はどうのように予測したらよいか? GP の利用
GP 序論 : ノンパラメトリック予測 Y n 番目の入力 : n 出力: y n 学習データ : D = {( n,y n ),n=,...,n} = X [ Y Z p(y, Y, X )= p(y, )p( ) Y p(y n, n ) n パラメトリックモデル [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use ノンパラメトリックモデル
GP 序論 : 線形モデルから GP へ 線形モデル y = Φw, Φ = φ( ),...,φ( N ) [ ] Τ, p(w) = Ν(w 0, Σ w ) p(y ) = w δ y Φw ( ) mean: y = Φ w p(w) = 0 p(w) : Gaussian distributed with Σ w = I ΦΦ T cov: yy Τ = Φ ww Τ p(w) ΦΤ = ΦΣ w Φ Τ = ΦΣ w K ( )( ΦΣ ) Τ w [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use
GP 序論 : 線形モデルから GP へ 線形モデル y = Φw, Φ = φ( ),...,φ( N ) [ ] Τ, p(w) = Ν(w 0, Σ w ) p(y ) = Ν y 0, K ( ) Gram matri: K [ ] n,n' = φ( n ) Τ φ( n' ) = k( n, n' ) GP: ノンパラメトリックモデル [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use
GP 序論 : カーネル法 z o o o o o o o o o o z z 3 (, ) (z, z, z 3 ) := (,, ) 入力空間 R 特徴空間 R 3
GP 序論カーネル法 : 高次元空間での内積計算 次元から 3 次元空間への写像 カーネル関数 ),, ( ) ( ), ( = Φ =, ) :, K( y y =, ), ),(, ( ),, ),(,, ( ) ( ), ( y y = = = Φ Φ y y y y y y
GP 序論 カーネル法 : 次元の呪いの克服 カーネル関数 K(, y) = (, y + ) s 実際の計算! 高々 64 次元の内積 が64 次元で s = 3の時 = (,, 64) [ 入力空間 ] Φ( ) = 3 4 (,,,,, 3, ),, 64,,,,, 6 3,, [ 特徴空間 ] Φ( ), Φ( y) 47905 次元の内積 大変な計算!
GP 序論 カーネル法 : 識別関数 ( ) = w T Φ( ) + b ( f = w 3 +!+ w 4664 6 63 64 : 64 次元ベクトル K(, y) = ( T y+) 3 + w 4665 +!+ w 45696 64 63 + w 45697 +!+ w 477 63 64 + w 4773 +!+ w 47776 64 + w 47777 +!+ w 47840 64 + w 4784 3 3 +!+ w 47904 64 i SV + w 47905 ) + b = α i y i k( i, )+ b w i が大きければ識別に有効な特徴量 高い表現力!
GP 序論 カーネル法 : 入力空間と特徴空間 非線形識別 回帰 入力空間 :Ω i 線形識別 回帰特徴空間 :H {w,b} (~ 次元 ) Φ( i ) カーネル関数による計算 ( 高々サンプル数 ) 8
GP 序論カーネル法 : k(, y) = Φ T () Φ(y) となる条件. 正定値カーネル. 再生核ヒルベルト空間 集合 Ω, k: Ω Ω R k(, y): Ω 上の正定値カーネル [ 対称性 ] k(, y) = k(y, ) [ 正定値性 ] 任意の自然数 n と任意の Ω の点,, n に対して n n グラム行列 n { k( i, j )} i, j=! # = # # "# k(, )! k(, n )! "! k( n, )! k( n, n ) が半正定値 すなわち 任意の実数 c,, c n に対して c j k( i, j ) 0 n c i, j= i $ & & & %&
GP 序論 : 正定値カーネル m Ω = R 多項式 k(, ') = ( T '+σ 0 ) p Squared eponensal γ- eponensal " k(, ') = ep ' % $ # l ' & " " k(, ') = ep $ $ # # ' l % ' & γ % ' &
GP 序論 : カーネル設計 カーネルの特質 : 和 : k(, ) = k (, ) + k (, ) 積 : k(, ) = k (, ) k (, ) z = [, y] T の時 : 和 : k(z, z ) = k (, ) + k (y, y ) 積 : k(z, z ) = k (, ) k (y, y )
目次 ガウス過程 (Gaussian Process; GP) 序論 GPによる回帰 GPによる識別 GP 状態空間モデル 概括 GP 状態空間モデルによる音楽ムードの推定
線形モデルから GP へ ( 再び ) 線形モデル y = Φw, Φ = φ( ),...,φ( N ) [ ] Τ, p(w) = Ν(w 0, Σ w ) p(y ) = Ν y 0, K ( ) Gram matri: K [ ] n,n' = φ( n ) Τ φ( n' ) = k( n, n' ) GP: ノンパラメトリックモデル [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use
GP による回帰 PredicSon problem using a dataset D = {, y}: p(y, y *, * ) = Ν(y, y * 0 N+, K + ) K + K, K,* K *, K *,* p(y * *, D) = Ν(y * K K *,,y, K *, * K K *,,K,* ) PredicSve distribuson [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use
GP による回帰 回帰問題 : y = f ()+ε, ε ~ N(0,σ ) R d Unknown system y R GP 回帰 : f = [ f ( ), f ( ),..., f ( n )], f ~ N(m, K) n=,..., f () ~ GP(m(), k(, ')) m() = E[ f ()] k(, ') = E[( f () m())( f (') m(')))]
GP による回帰 平均と分散 : m = [m( ), m( ),..., m( n )]! # # K = # # "# k(, ) k(, )... k(, n ) k(, ) k(, )... k(, n )............ k( n, ) k( n, )... k( n, n ) $ & & & & %& k(, ') - any valid kernel funcson.
GP による回帰 p(y * *, y, ) = p(y * f * )p( f * *, y, ) df * Gaussian p( f * *, y, ) = p( f * f, *, ) p(f y, )df Gaussian p(y * *, y, ) = N( f *, var( f * )) Gaussian
GP による回帰 回帰問題 : 予測 : p(y * *, y, ) = N( f *, var( f * )+σ I) Prior y = f ()+ε, ε ~ N(0,σ ) f * = K *, (K, +σ I) y var( f * ) = K *, * K *, (K, +σ I) K,* Posterior output, f() 0 output, f() 0 5 0 5 input, 5 0 5 input,
GP による回帰 ハイパーパラメータの学習 : Θ = {σ,l} ma Θ p(y,θ) = ma Θ p(y f)p(f, Θ)df ML type II estimation
目次 ガウス過程 (Gaussian Process; GP) 序論 GPによる回帰 GPによる識別 GP 状態空間モデル 概括 GP 状態空間モデルによる音楽ムードの推定
GP による識別 入力 のクラス c を推定する問題 : p(c ) = p(c y, )p(y )dy = p(c y)p(y )dy 学習データ X = {,, N } とそのクラス C = {c,,c N } が与えられた時 新しい入力 * のクラスを推定する : p(c * *,C, X) = p( c * y * )p(y * X,C)dy * p(y * X,C) p(y *,C X) = p(y *, Y,C X, * )dy = p(c Y)p(Y, y * X, * )dy クラス写像 # N & GP = $ p(c n y n )' p(y,.., y N, y *,.., N, * )dy,.., dy N % ( n=
GP による識別 グラフ表現 : c c N c y y N y N [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use
GPによる識別 :クラス分類 c { 0,} 例 ) クラス写像としてシグモイド関数を利用 : σ () = + ep( ) p(c y) = σ ((c )y) 問題 非線形のクラス写像の場合 p(y * X, C) の積分計算 " N % p(y * X,C) # p(c n y n )& p(y, y * X, * )dy $ ' n= [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use
GP による識別 : クラス分類 c { 0,} ラプラス近似法 ( 分布の Gaussian 近似法 ) の利用 : p(y *, Y *, X,C) p(y *, Y,C *, X) p(y * Y, *, X)p(Y C, X) クラス情報を含まない Gaussian で近似 p(y *, Y *, X,C) p(y * Y, *, X)q(Y C, X) Joint Gaussian p(c * = *, X,C) σ (y * ) N (y * <y * >,var(y * )) [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use
GPによる識別 :クラス分類 c { 0,} 0.8 0.6 0.4 0. 0 0 8 6 4 0 4 6 8 0 [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use
GP による識別 : 多クラス分類 ソフトマックス関数の利用 : p(c = m y) = m' ep(y m ) ep(y m' ) m p(c = m) = [D. Barber, Bayesian Reasoning and Machine Learning, 0] with author s consent for use
目次 ガウス過程 (Gaussian Process; GP) 序論 GPによる回帰 GPによる識別 GP 状態空間モデル 概括 GP 状態空間モデルによる音楽ムードの推定 [K. Markov and T. Matsui, Dynamic music emoson recognison using state space models, Proc. MediaEval04]
状態空間モデル 時系列を解析するモデル : 状態 t と観測 y t を表す式! " # $% " #&',) +υ #, υ~./0, 3 # $4 " #,5 +ν #, ν~./0,7
カルマンフィルター 線形状態空間モデル + +, -,+,/0 υ, 3, --+, ν, 長所 : 解析的な推定法が確立されている 高速に計算できる 短所 : 線形のモデル
状態と観測の式 : 長所 : GP 状態空間モデル 非線形 ノンパラメトリックのモデル 表現力が高い 短所 :! " # $% " #&' (υ #, %,"- /0,0, - 4 # $5 " # ( ν #, 5,"- /0,0, 3 - 推定法がまだ確立されていない 計算コストが大きい
使用データ 学習セット - 600 clips. テストセット - 44 clips. 実験 MediaEval04 カルマンフィルター GP 状態空間モデル A- V 空間を 4 つにクラスタリング 各クラスタごとに状態空間モデルを推定 最尤基準によるモデル選択 [hmp://www.mulsmediaeval.org/mediaeval04/]
実験 MediaEval04 音楽特徴量 mfcc メル周波数ケプストラム係数 baseline MediaEval04 における標準の特徴量 ( スペクトルの変化 ハーモニックの変化 音量 音色 ゼロ交差率を表す 5 つの特徴量 )
実験結果 :RMSE 特徴量 カルマンフィルター GP 状態空間モデル RMSE RMSE AROUSAL MULTIPLE MODELS mfcc 0.085 0.089 baseline 0.384 0.073 VALENCE MULTIPLE MODELS mfcc 0.590 0.096 baseline 0.35 0.67
ご質問をどうぞ!