基底関数ネットワーク

6. 基底関数ネットワーク (Bass Functon Network) 6-1 基底関数ネットワーク研究の背景 (1)( 階層型 ) ニューラルネットワークの問題点の回避 設計性の悪さ ローカルミニマム問題 (2) 級数展開の利用 基底関数が周期関数 フーリエ級数

フーリエ級数

フーリエ級数 F1 フーリエ係数 F2 信号 + F3 F4

フーリエ展開で関数を近似した例

フーリエ係数の意味 F1 F2 F3 F4 スペクトル スペクトル F1 F3 F4 F2 それぞれの波の成分がどれぐらいふくまれるか 信号の特徴が分かる 周波数 1Hz 2Hz 8Hz

フーリエ係数 信号がどのような成分から成り立っているか いつ, その成分が現れているのか ウェーブレット理論 いつ, その成分が現れているのか

ウェーブレット関数 一部に局在する関数 ( 例 ) Harr ウェーブレット ψ-10 ψ00 ψ10 ψ11 ψab : 基底関数 a b : 基底の幅を決める : 基底の位置を決める ψ20 ψ21 ψ30

ウェーブレット級数

ウェーブレット級数 W -1 0 W00 W10 信号 + W11 W20 W21 W22 W23

関数近似の例

信号解析 Wj ウェーブレット係数 周波数 ( 関数の幅 ) 時間 スペクトル値

九州東海大学ソーラーカープロジェクト NEXTAGE号

ウェーブレット解析例 加速時 減速時 ソーラーカー車内音のウェーブレット解析結果 ( 縦軸 : 周波数, 横軸 : ステップ数 ( サンプリングレート 22050 /sec))

離散コサイン変換 ＤＣＴ ＪＰＥＧ １ ９６圧縮 離散ウェーブレット変換 ＤＷＴ ＪＰＥＧ２０００ １ ９６圧縮 出典 http://www.zdnet.co.jp/news/0012/04/jpeg2000.html

6. 基底関数ネットワーク (Bass Functon Network) 6-1 基底関数ネットワーク研究の背景 (1)( 階層型 ) ニューラルネットワークの問題点の回避 設計性の悪さ ローカルミニマム問題 (2) 級数展開の利用 基底関数が周期関数 フーリエ級数

6 2 基底関数ネットワークの基礎 (1) 基本構造 さっきのフーリエ級数展開の図 f ( x) = F g ( x)

(2) 基底関数の種類 ガウス関数 RBF(Radal Bass Functon) ネットワーク ウェーブレット関数 詳しくはのちほど... ファジィメンバーシップ関数 その他 前件部 : 相補型メンバーシップ関数後件部 : シングルトン

(3) 特徴 ローカルミニマム問題の回避 設計性の向上 汎化能力の低下 (4) 演算方法 学習 最小二乗法 ( 逆行列計算 ) (5) 応用例 ウェーブレットネットワーク

ウェーブレット理論 (Wavelet Theory) wavelet ってなに?

ウェーブレット理論 (Wavelet Theory) wavelet ってなに? wave 波 let 小さいという意味の接尾語

ウェーブレット理論 (Wavelet Theory) wavelet ってなに? wave 波 let 小さいという意味の接尾語 小波, さざなみ

ウェーブレット理論 (Wavelet Theory) wavelet ってなに? wave 波 let 小さいという意味の接尾語 小波, さざなみ さざなみ を利用した理論

ウェーブレット理論 (Wavelet Theory) wavelet ってなに? wave 波 let 小さいという意味の接尾語 小波, さざなみ さざなみ を利用した理論

ウェーブレットニューロン (Wavelet Neuron) x 1 ニューロンの数式モデル x 2 w 1 w 2 θ y w n x n θ : 閾値

ウェーブレットニューロン (Wavelet Neuron) ニューロンの数式モデル 非線形シナプスニューロン x 1 x 1 x 2 w 2 w 1 θ y x 2 f 2 f 1 y w n f n x n θ : 閾値 x n f k 非線形シナプス 期待される効果 ローカルミニマム問題の回避 局所的な非線形性の記述 設計性の向上 Ψ0,0( x k ) w x k0,0 f k ( x k ) k Ψ x ) 1,0( k w k1,0 w, Ψ m, m ( xk ) k m m Weght Wavelet Bass

Approxmaton of a Functon by a Nonlnear Synapse Pecewse Lnear Part Smooth Part Leanng Data (101 ponts, samplng nterval 0.01)

Convex wavelet 1 ψ ( a, b)( x) =ψ ( ax b) ψ (0,0) -1/2 0 1/2 ψ (1,0) ψ (1,1 ) ψ ( x) = cosπx 0 x 1 2 ( otherwse) ψ (2,0) ψ (2,1) ψ (2,2 ) ψ (3,0) ψ (3,1) ψ (3,2) ψ (3,3 ) ψ (M,0) ψ (M,1) ψ ( M, M ) Non-Orthogonal Convex Smooth Compactly Supported f ( x) = a a= 0 b= 0 W a x (, b) ψ ( a, b) ( ) Convergent seres (1996)

Approxmaton of a Functon by a Nonlnear Synapse Compactly Supported Convex Wavelet (M=15, 136 weghts ) Leanng Tme:100 tmes Generalzaton Set Learnng Data

Approxmaton of a Functon by a Nonlnear Synapse Harr Wavelet Leanng Tme:100 tmes Generalzaton Set Learnng Data

Approxmaton of a Functon by a Nonlnear Synapse Non-convex Wavelet Leanng Tme:100 tmes Generalzaton Set Learnng Data

R.M.S.Error vs. Number of Bases 学習データ

Applcaton to System Modelng Modelng of Nonlnear Dynamcal System Modelng(Learnng) Predcton x 5x t t+ 1 = 0.5x 0.5 2 t xt 1 + 0. 5xt 2 1+ xt ( x = 0.2, x1 = 0.3, x2 0 = 1.0)

The Wavelet Neuron Achevng Modelng and Predcton Leanng Phase (Modelng) x t D x t 1 error = x t xˆ t D x t 2 f 2 f 1 xˆt D xt n f n Iterated Predcton Phase D x = ˆ t x t x t 1 D x t 2 f 2 f 1 xˆt D xt n f n

R.M.S.Error vs. Number of Synapses The 3 synapses (delay elements) are employed here. Number of Synapses

Mappng Functons Obtaned by Leanng Real W.Synapse Real W.Synapse Real W.Synapse x ( ) f 1 f1 x f2 x ( ) f2 x 3 x f f ( x 3 ) x t D x t 1 D D x t 2 xt n f 1 f 2 f 3 xˆt

Results of Iterated Predcton Well Predcted Wavelet Neuron 4-Layerd Neural Network

Solvng dfferental equaton Dfferental equaton f 2 dy d y x, y,, 2 dx dx n d y,, n dx = 0

Solvng dfferental equaton f Dfferental equaton x 2 n dy d y d y y,,,, n dx dx dx, 2 = 0 y = W ψ

Solvng dfferental equaton f Dfferental equaton x 2 n dy d y d y y,,,, n dx dx dx, 2 = 0 y dy dx = = W W ψ dψ dx known 2 d y 2 dx = W 2 d ψ 2 dx n d y n dx = W n d ψ n dx

Solvng dfferental equaton f Dfferental equaton x 2 n dy d y d y y,,,, n dx dx dx, 2 = 0 y dy dx = = W W ψ dψ dx known 2 d y 2 dx = W 2 d ψ 2 dx n d y n dx = W n d ψ n dx 入出力関係 学習で W を求める y

Rccat dfferental equaton (nonlnear dfferental equaton) f ( x) dy 2 = + P1 ( x) y + P2 ( x) y = 0, y(0) = dx 1 dy dx x x d ψ (0,0 ) dx d ψ (1,0 ) dx d ψ ( M, M ) P 1 ( x) y + x f (x) P 2 ( x) W ( a, b) y y :common dx ψ (0,0) ψ (1,0) W (1,0) W (0,0) W (1,0) W (0,0) Σ W( M, M ) ψ ( M, M ) W( M, M ) dy ( x) dx Σ y(x) 1 dψ dx 1/ 2 1/ 2 2 /π 1/π ψ 1/ 2 1/ 2

Soluton of Rccat dfferental equaton 解は級数

Conclusons ウェーブレット (wavelet) 時間 - 周波数解析 高い圧縮能力 ウェーブレットニューロン (wavelet neuron) 局所的な非線形性の記述ローカルミニマム問題の回避設計性の向上高い汎化能力