TC1-31st Fuzzy System Symposium (Chofu, September -, 15) Proposing a Growing Self-Organizing Map Based on a Learning Theory of a Gaussian Mixture Model Kazuhiro Tounaga National Fisheries University Abstract: This study aims to develop a learning algorithm for increasing a learning speed and stability in a growing self-organizing map. In this presentation, I propose the growing self-organizing map based on a learning theory of a gaussian mixture model. In the proposed method, a stability of a leaning result is increased compared with conventional methods, because the new node is inserted based on the theory. Moreover, the growing speed of the networ is fast. 1 Self-Organizing Map: SOM [1] Fritz Growing Neural Gas (GNG) [] [3] SOM, Fritz Growing Cell Structure (GCS) [], Growing Neural Gas (GNG) [] Shen GNG Self-Organizing In- 5
TC1-31st Fuzzy System Symposium (Chofu, September -, 15) cremental Neural Networ (SOINN) [5] Enhanced SOINN (ESOINN) [] ESOINN GNG Deng Evolving Self- Organizing Map (ESOM) [7] ESOM [] [] Statistics based Growing Self-Organizing Map: SGSOM SGSOM.1 x Θ p(x Θ) p(x Θ) Θ p(x Θ) Θ = {π, M, S, π = {π, M = {µ, S = {Σ K K p(x π, M, S) = π N (x µ, Σ ), π = 1 (1) =1 =1 SGSOM. SGSOM SGSOM SGSOM 53
TC1-31st Fuzzy System Symposium (Chofu, September -, 15) SGSOM K L v = N (x t ; µ, Σ ) = (1,..., K). x t t Σ σ SGSOM σ N (x t ; µ, σ ) x t H p(x t ) = H π N (x t ; µ, σ ) () = H π ( 1 (πσ ) d exp ( x t µ ) ) σ Σ H π = 1.3 [] L(π, µ, Σ ) = { ( ) log N (x t ; µ, Σ ) λ π 1 (3). H H µ new σ new π new = µ old + ϵ µ γ (x t ) σ = σ old + ϵ σ γ (x t ) σ { = π old γ (x t ) + ϵ π π old 1 { xt µ old { xt µ new σ () (5) () γ (x t ) γ (x t ) = πold π old H N (x t; µ old N (x t; µ old, σold ), σold ) (7) γ π ϵ µ ϵ σ ϵ π < ϵ µ, ϵ σ, ϵ π < 1. ϵ µ =.1, ϵ π =.1, ϵ σ =.1 ϵ π ϵ σ µ π π ϵ π. BIC BIC BIC(K) = ln L(K) + C(K) ln(n). () K, L(K) K C(K) n BIC BIC 5
TC1-31st Fuzzy System Symposium (Chofu, September -, 15) T x T BIC(K + 1) > BIC(K) ln L(K + 1) ln L(K) > {C(K + 1) C(K) ln T L(K) L(K + 1) L(K) = L(K + 1) = T p K (x t ) (1) T p K+1 (x t ) (11) x T p K+1 (x t ) p K+1 (x T ) = ˆπ N (x T ; µ, σ ) + H π K+1 N (x T ; µ K+1, σ K+1 ) (1) ˆπ = τ 1 τ π π K+1, µ K+1, σ K+1 π K+1 = 1 τ, µ K+1 = x t, σ K+1 = α (13) τ T T τ = 1 τ 1 11 T τ α ESOM σ 11 { τ L(K + 1) = ˆπ N (x t ; µ, σ ) + H (9) π K+1 N (x t ; µ K+1, σ K+1 ) (1) T L(K + 1) { τ 1 ( ) ˆπ N (x t ; µ, σ ) p K+1 (x τ ) (15) = { τ 1 H τ 1 p K (x t ) τ p K+1 (x τ ) (1) ( ) τ 1 L(K + 1) τ 1 p K+1 (x τ ) L(K) τ p K (x τ ) (17) 9 ln p K+1 (x τ ) ln p K (x τ ) > {C(K + 1) C(K) ln τ + 1 (1) τ (τ 1) ln τ 1 τ 1 (19) BIC.5 s new 1, = (1 β)s old 1, + βp 1 p () s 1, 1 -th -th p 1, p p = N (x t ) β β =.1 3 SGSOM SGSOM 55
TC1-31st Fuzzy System Symposium (Chofu, September -, 15) 3.1 初期プロセス 加されている を利用する SGSOM のパラメータは 初期においてカーネルの数は からスタートする ϵµ =.1, ϵσ =.1, ϵπ =.1, τ = 3, α = そして 最初の入力ベクトル x1 に対して式 13 に従っ.5, β =.1 とした またノードとエッジの削除に て最初のカーネルを生成する 関する閾値は それぞれ π <=. になった場合 3. に学習途中で削除を行う さらに学習が終了したあと 評価プロセス 入力ベクトル xt が与えられる度に 各カーネルの中 心 µ と入力ベクトル間のマハラノビス距離を計算し どのノードにも接続されていない孤立したノードはノ イズと見なして削除する 図 1 に実験結果を示す 図 1 では学習サンプルを 勝者カーネルおよび第二勝者カーネルを決定する ま た pk (x) および pk+1 (xt ) をそれぞれ式 1 式 13 で計 1,,, 1 点与えた際の結果を示してい 算する そして条件式 1 を評価し 条件式が満たさ る それぞれの結果は孤立したノードをノイズと見な れれば 挿入プロセスへ 満たされなければ更新プロ し非表示にしてある グレーの丸が入力ベクトル 黒 セスへプロセスを進める い点と線が SGSOM のノードとエッジを表す 3.3 結果から 本研究で導出されたアルゴリズムは 逐 挿入プロセス 次的に入力されるデータに対してグラフネットワーク 入力ベクトル xt に対して式 13 に従って新規カーネ ルを挿入する また新規カーネル 勝者カーネル 第 二勝者カーネルのそれぞれの間を エッジで結合する すなわちノードとパスで三角形ができるようにエッジ を結合する その際 エッジの強度は式 1 における sold = として計算する さらに 新規ノードと勝者 カーネルに接続されているカーネルの混合比 π を総和 が 1 になるように既存カーネルの π を τ 1 τ π で正規 化する この後 削除プロセスにプロセスを進める 3. を成長させることができた また SGSOM は少ない サンプルでもデータの分布を表現するグラフが生成で きている SGSOM の学習アルゴリズムは混合ガウス モデルがもととなっているため データの密度が高い ところにカーネルの中心が配置されるよう学習が行わ れる また少数の学習サンプリングでも十分に教師な しクラスタリングが可能となるグラフが生成できるこ とが示唆される さらに複数のテストを行ったが 結 果には一貫性があった 更新プロセス 既存する各カーネルのパラメータを式 5,,7 に従って 更新する また勝者カーネルに接続されているエッジ の強度を式 1 に従って更新する その際に 勝者カー ネルと第二勝者カーネルが接続されてない場合は 新 規にエッジで接続する この後 削除プロセスにプロ セスを進める 3.5 - - - - - - 削除プロセス 削除プロセスでは ノードとエッジを削除する ノー ドは混合比があらかじめ設定した閾値以下になった場 合に削除する またエッジも同様に あらかじめ設定 した閾値以下になった場合に削除する そして 新たな入力ベクトルを観測し次第 評価プ - - (a) 学習データ 1 点 - -1 - - - - - -1 ロセスに戻り 学習を継続する 入力ベクトルが観測 されなくなった時点で学習を終了とする - (b) 学習データ 点 - - - (d) 学習データ 1 点 - - - (c) 学習データ 点 - -1 - - 図 1: SGSOM の結果 5 人工データを用いた動作検証実験 SGSOM を用いた深度データへの応用 SGSOM の学習アルゴリズムが正しく動作するかど SGSOM に深度カメラ Xtion ASUS 製 から得ら うかを人工データを用いて確かめた 用いた人工デー れる深度データを与え リアルタイムに処理が可能か タは２クラスのスパイラルデータである 図 1 本 どうか 類似した深度の物体に対してグラフを生成す データは [] のものを用いており 本実験では 1 るかどうか 教師なしクラスタリングが可能かどうか 個の学習サンプル 内 5% のノイズ 一様乱数 が付 を検証した すなわち SGSOM をの教師なしクラスタ 5
TC1-31st Fuzzy System Symposium (Chofu, September -, 15) x y d v = (x, y, d) SGSOM 1 SGSOM 1 5fps 7 B 573153 [1] T. Kohonen: Self-Organizing Maps, Springer, 1 [] B. Fritze: A growing neural gas networ learns topologies, in Advances in Neural Information Processing Systems, vol. 7, pp.5 3, 1995 [3] S.Tangruamsub, et al.: Self-Organizing Incremental Associative Memory- based Robot Navigation,IEICE Trans. on Information and Systems, Vol.E95-D, No.1, pp.15 5, 1 [] B. Fritze: Growing cell structures A selforganizing networ for unsupervised and supervised learning, Neural Networs, vol.7, issue 9, pp.11 1, 199 [5] S. Furao, O. Hasegawa: An incremental networ for on-line unsupervised classification and topology learning, Neural Networs. vol. 19, No.1, pp.9 1, [] S. Furao, T. Ogura, O. Hasegawa: An enhanced self-organizing incremental neural networ for online unsupervised learning, Neural Networs, vol., No., pp.93 93, 7 [7] D. Deng, N.K. Kasabov: On-line pattern analysis by evolving self-organizing maps, Neurocomputing, vol. 51, pp.7 13, 3 : SGSOM [] K. Tounaga: Growing topology representing networ, Applied soft computing, vol., pp.311 3, 1 E-mail: tounaga@fish-u.ac.jp 57