TC1-31st Fuzzy System Symposium (Chofu, September -, 15) cremental Neural Networ (SOINN) [5] Enhanced SOINN (ESOINN) [] ESOINN GNG Deng Evolving Self-

Size: px

Start display at page:

Download "TC1-31st Fuzzy System Symposium (Chofu, September -, 15) cremental Neural Networ (SOINN) [5] Enhanced SOINN (ESOINN) [] ESOINN GNG Deng Evolving Self-"

なおとくやす
6 years ago
Views:

1 TC1-31st Fuzzy System Symposium (Chofu, September -, 15) Proposing a Growing Self-Organizing Map Based on a Learning Theory of a Gaussian Mixture Model Kazuhiro Tounaga National Fisheries University Abstract: This study aims to develop a learning algorithm for increasing a learning speed and stability in a growing self-organizing map. In this presentation, I propose the growing self-organizing map based on a learning theory of a gaussian mixture model. In the proposed method, a stability of a leaning result is increased compared with conventional methods, because the new node is inserted based on the theory. Moreover, the growing speed of the networ is fast. 1 Self-Organizing Map: SOM [1] Fritz Growing Neural Gas (GNG) [] [3] SOM, Fritz Growing Cell Structure (GCS) [], Growing Neural Gas (GNG) [] Shen GNG Self-Organizing In- 5

2 TC1-31st Fuzzy System Symposium (Chofu, September -, 15) cremental Neural Networ (SOINN) [5] Enhanced SOINN (ESOINN) [] ESOINN GNG Deng Evolving Self- Organizing Map (ESOM) [7] ESOM [] [] Statistics based Growing Self-Organizing Map: SGSOM SGSOM.1 x Θ p(x Θ) p(x Θ) Θ p(x Θ) Θ = {π, M, S, π = {π, M = {µ, S = {Σ K K p(x π, M, S) = π N (x µ, Σ ), π = 1 (1) =1 =1 SGSOM. SGSOM SGSOM SGSOM 53

3 TC1-31st Fuzzy System Symposium (Chofu, September -, 15) SGSOM K L v = N (x t ; µ, Σ ) = (1,..., K). x t t Σ σ SGSOM σ N (x t ; µ, σ ) x t H p(x t ) = H π N (x t ; µ, σ ) () = H π ( 1 (πσ ) d exp ( x t µ ) ) σ Σ H π = 1.3 [] L(π, µ, Σ ) = { ( ) log N (x t ; µ, Σ ) λ π 1 (3). H H µ new σ new π new = µ old + ϵ µ γ (x t ) σ = σ old + ϵ σ γ (x t ) σ { = π old γ (x t ) + ϵ π π old 1 { xt µ old { xt µ new σ () (5) () γ (x t ) γ (x t ) = πold π old H N (x t; µ old N (x t; µ old, σold ), σold ) (7) γ π ϵ µ ϵ σ ϵ π < ϵ µ, ϵ σ, ϵ π < 1. ϵ µ =.1, ϵ π =.1, ϵ σ =.1 ϵ π ϵ σ µ π π ϵ π. BIC BIC BIC(K) = ln L(K) + C(K) ln(n). () K, L(K) K C(K) n BIC BIC 5

4 TC1-31st Fuzzy System Symposium (Chofu, September -, 15) T x T BIC(K + 1) > BIC(K) ln L(K + 1) ln L(K) > {C(K + 1) C(K) ln T L(K) L(K + 1) L(K) = L(K + 1) = T p K (x t ) (1) T p K+1 (x t ) (11) x T p K+1 (x t ) p K+1 (x T ) = ˆπ N (x T ; µ, σ ) + H π K+1 N (x T ; µ K+1, σ K+1 ) (1) ˆπ = τ 1 τ π π K+1, µ K+1, σ K+1 π K+1 = 1 τ, µ K+1 = x t, σ K+1 = α (13) τ T T τ = 1 τ 1 11 T τ α ESOM σ 11 { τ L(K + 1) = ˆπ N (x t ; µ, σ ) + H (9) π K+1 N (x t ; µ K+1, σ K+1 ) (1) T L(K + 1) { τ 1 ( ) ˆπ N (x t ; µ, σ ) p K+1 (x τ ) (15) = { τ 1 H τ 1 p K (x t ) τ p K+1 (x τ ) (1) ( ) τ 1 L(K + 1) τ 1 p K+1 (x τ ) L(K) τ p K (x τ ) (17) 9 ln p K+1 (x τ ) ln p K (x τ ) > {C(K + 1) C(K) ln τ + 1 (1) τ (τ 1) ln τ 1 τ 1 (19) BIC.5 s new 1, = (1 β)s old 1, + βp 1 p () s 1, 1 -th -th p 1, p p = N (x t ) β β =.1 3 SGSOM SGSOM 55

5 TC1-31st Fuzzy System Symposium (Chofu, September -, 15) 3.1 初期プロセス加されているを利用する SGSOM のパラメータは初期においてカーネルの数はからスタートする ϵµ =.1, ϵσ =.1, ϵπ =.1, τ = 3, α = そして最初の入力ベクトル x1 に対して式 13 に従っ.5, β =.1 としたまたノードとエッジの削除にて最初のカーネルを生成する関する閾値はそれぞれ π <=. になった場合 3. に学習途中で削除を行うさらに学習が終了したあと評価プロセス入力ベクトル xt が与えられる度に各カーネルの中心 µ と入力ベクトル間のマハラノビス距離を計算しどのノードにも接続されていない孤立したノードはノイズと見なして削除する図 1 に実験結果を示す図 1 では学習サンプルを勝者カーネルおよび第二勝者カーネルを決定するまた pk (x) および pk+1 (xt ) をそれぞれ式 1 式 13 で計 1,,, 1 点与えた際の結果を示してい算するそして条件式 1 を評価し条件式が満たさるそれぞれの結果は孤立したノードをノイズと見なれれば挿入プロセスへ満たされなければ更新プロし非表示にしてあるグレーの丸が入力ベクトル黒セスへプロセスを進めるい点と線が SGSOM のノードとエッジを表す 3.3 結果から本研究で導出されたアルゴリズムは逐挿入プロセス次的に入力されるデータに対してグラフネットワーク入力ベクトル xt に対して式 13 に従って新規カーネルを挿入するまた新規カーネル勝者カーネル第二勝者カーネルのそれぞれの間をエッジで結合するすなわちノードとパスで三角形ができるようにエッジを結合するその際エッジの強度は式 1 における sold = として計算するさらに新規ノードと勝者カーネルに接続されているカーネルの混合比 π を総和が 1 になるように既存カーネルの π を τ 1 τ π で正規化するこの後削除プロセスにプロセスを進める 3. を成長させることができたまた SGSOM は少ないサンプルでもデータの分布を表現するグラフが生成できている SGSOM の学習アルゴリズムは混合ガウスモデルがもととなっているためデータの密度が高いところにカーネルの中心が配置されるよう学習が行われるまた少数の学習サンプリングでも十分に教師なしクラスタリングが可能となるグラフが生成できることが示唆されるさらに複数のテストを行ったが結果には一貫性があった更新プロセス既存する各カーネルのパラメータを式 5,,7 に従って更新するまた勝者カーネルに接続されているエッジの強度を式 1 に従って更新するその際に勝者カーネルと第二勝者カーネルが接続されてない場合は新規にエッジで接続するこの後削除プロセスにプロセスを進める削除プロセス削除プロセスではノードとエッジを削除するノードは混合比があらかじめ設定した閾値以下になった場合に削除するまたエッジも同様にあらかじめ設定した閾値以下になった場合に削除するそして新たな入力ベクトルを観測し次第評価プ - - (a) 学習データ 1 点ロセスに戻り学習を継続する入力ベクトルが観測されなくなった時点で学習を終了とする - (b) 学習データ点 (d) 学習データ 1 点 (c) 学習データ点図 1: SGSOM の結果 5 人工データを用いた動作検証実験 SGSOM を用いた深度データへの応用 SGSOM の学習アルゴリズムが正しく動作するかど SGSOM に深度カメラ Xtion ASUS 製から得らうかを人工データを用いて確かめた用いた人工デーれる深度データを与えリアルタイムに処理が可能かタは２クラスのスパイラルデータである図 1 本どうか類似した深度の物体に対してグラフを生成すデータは [] のものを用いており本実験では 1 るかどうか教師なしクラスタリングが可能かどうか個の学習サンプル内 5% のノイズ一様乱数が付を検証したすなわち SGSOM をの教師なしクラスタ 5

TC1-31st Fuzzy System Symposium (Chofu, September -, 15) x y d v = (x, y, d) SGSOM 1 SGSOM 1 5fps 7 B 573153 [1] T. Kohonen: Self-Organizing Maps, Springer, 1 [] B.

: Self-Organizing Incremental Associative Memory- based Robot Navigation,IEICE Trans. on Information and Systems, Vol.E95-D, No.1, pp.15 5, 1 [] B.

6 TC1-31st Fuzzy System Symposium (Chofu, September -, 15) x y d v = (x, y, d) SGSOM 1 SGSOM 1 5fps 7 B [1] T. Kohonen: Self-Organizing Maps, Springer, 1 [] B. Fritze: A growing neural gas networ learns topologies, in Advances in Neural Information Processing Systems, vol. 7, pp.5 3, 1995 [3] S.Tangruamsub, et al.: Self-Organizing Incremental Associative Memory- based Robot Navigation,IEICE Trans. on Information and Systems, Vol.E95-D, No.1, pp.15 5, 1 [] B. Fritze: Growing cell structures A selforganizing networ for unsupervised and supervised learning, Neural Networs, vol.7, issue 9, pp.11 1, 199 [5] S. Furao, O. Hasegawa: An incremental networ for on-line unsupervised classification and topology learning, Neural Networs. vol. 19, No.1, pp.9 1, [] S. Furao, T. Ogura, O. Hasegawa: An enhanced self-organizing incremental neural networ for online unsupervised learning, Neural Networs, vol., No., pp.93 93, 7 [7] D. Deng, N.K. Kasabov: On-line pattern analysis by evolving self-organizing maps, Neurocomputing, vol. 51, pp.7 13, 3 : SGSOM [] K. Tounaga: Growing topology representing networ, Applied soft computing, vol., pp.311 3, 1 tounaga@fish-u.ac.jp 57

Ł\”ƒ-2005

$Ł\”ƒ-2005$