PowerPoint プレゼンテーション

Transcription

1 6/6/5 平成 8 年度前期電子情報工学科 5 年生 人工知能 ニューラルネットワーク 特徴. パーセプトロン 個のニューロンからなるニューラルネットワーク 線形分離可能な問題 (*) に適用 (*) 個の超平面で分離される問題 次元データ 直線 次元データ 平面 4 次元以上のデータ 超平面 中山謙二 入出力関係 入力ポテンシャル u = w x + w x + w x x = 出力信号 y = f(u) w x = 非線形関数 :f( ), u > y = f u = () ステップ関数 or u < () () シグモイド関数 y = f u = + e u () () tanh( ) y = f u = e u + e u () w y x w x 直線 ( 境界 ) の決め方 本の直線で と を分離する. 直線は境界データ (*) からの距離が最大となるように決める.(*) 直線 ( 境界 ) の近くに位置するデータ. 上記の決め方は学習デ x ータの回りに分布する未学習データを分類するのに最も有効である. ( 汎化能力 ) x 4 直線の式について. 階層形ニューラルネットワーク 入力ポテンシャル u = w x + w x + w x, x = 直線 ( 境界線 ) の式 (u = ) w x + w x + w x = x = w x w w w 直線の式を x = ax + b としたときの w i の計算式 w = 正の任意の値, w = w a, w = w b < w とすることにより, 直線 ( 境界線 ) より上側にあるデータ < u 直線 ( 境界線 ) より下側にあるデータ > u 5 パーセプトロンで分離できない問題 ( 本の直線で分離できない問題 ) 線形分離不可能な問題 階層形ニューラルネットワーク (,) (, ) x (,) (, ) x 6

2 6/6/5 層形ニューラルネットワーク 演習問題 入出力関係 隠れ層 ( ニューロン ) u = w x + w x + w x () u = w x + w x + w x () x = y = f u y = f u y y z y. 式 () と () の直線 (u = u = ) と境界データの距離が最大となるように w ji を決め, 直線を図示せよ.. で求めたw ji を用いたときのy, y を求めて, プロットせよ ( 横軸 :y, 縦軸 :y ). と で表示する. 但し, 非線形関数は次のステップ関数とする., u > f u =, u < 出力層 ( ニューロン ) v = w y + w y + w y () y = x x x 7. 式 () の直線 (v = ) と境界データの距離が最大となるように w j を決めよ. また, この直線を図示せよ. 4. と で求めた w ji, w j を用いたときの z の値を求めよ. 8 階層形ニューラルネットワークの学習 層形ニューラルネットワークの学習アルゴリズム 線形モデルで考える y(n) = w (n)x (n) + w (n)x (n) e(n) = d(n) y(n) d: 目標値 J w = e (n) = d(n) y(n) 誤差関数 J(w) は w (n), w (n) の 次形式 ( 放物曲面 ) 最急降下法 w i n + = w i n μ w i (n) ( 板書で説明 ) 隠れ層 w j 出力層 w j n + = w j n μ w j (n) J w = e e = d z d: 目標値 v = w y + w y + w y, y = = dj(w) de de dz dz dv v w j w j = e f v y j w j n + = w j n + μ e(n) f v(n) y j (n) 9 入力層 w ji 隠れ層 w ji n + = w ji n μ w ji (n) J w = e e = d z v = w y + w y + w y, y = y j = f u j u j = w j x + w j x + w j x w ji = dj(w) de de dz dz dv v y j u j y j u j w ji = e f v w j f u j x i w ji n + = w ji n + μ e n f v n w j n f u j n x i (n) 非線形関数の微分 シグモイド関数 f e v v = + e v = + e v = + e v + e v = z( z) tanh( ) f v = e v + e v = e v + e v + e v e v + e v e v = + e v = + e v + e v e v + e v = ( + z)( z) 特徴 : ニューロンの出力 (FF 計算 : 後述 ) で計算できる.

3 6/6/5 ステップ２ 出力層 隠れ層 入力層 フィードバック ＦＢ の順に結合 重み 係数 の学習 階層形ニューラルネットワークの学習の流れ ステップ１ 入力層 隠れ層 出力層 フィードフォワード ＦＦ におけ るニューロンの入力ポテンシャルと出力信号の計算 𝑢 (𝑛) = 𝑤 (𝑛)𝑥 + 𝑤 (𝑛)𝑥 (𝑛) + 𝑤 (𝑛)𝑥 (𝑛) 𝑢 (𝑛) = 𝑤 (𝑛)𝑥 + 𝑤 (𝑛)𝑥 (𝑛) + 𝑤 (𝑛)𝑥 (𝑛) 𝑥 = 𝑦 (𝑛) = 𝑓 𝑢 (𝑛) 𝑦 (𝑛) = 𝑓 𝑢 (𝑛) 𝑣(𝑛) = 𝑤 (𝑛)𝑦 + 𝑤 (𝑛)𝑦 (𝑛) + 𝑤 (𝑛)𝑦 (𝑛) 𝑦 = 𝑧 𝑛 =𝑓 𝑣 𝑛 𝑒 𝑛 =𝑑 𝑛 𝑧 𝑛 𝑑 𝑛 = 目標値 ① 𝑤𝑗 (𝑛) 隠れ層 出力層 の学習 𝑤𝑗 𝑛 + = 𝑤𝑗 𝑛 + 𝜇 𝑒(𝑛) 𝑓 𝑣(𝑛) 𝑦𝑗 (𝑛) 上式において 𝑒 𝑛, 𝑦𝑗 (𝑛)はＦＦ計算で求まっている 𝑓 (𝑣 𝑛 )もＦＦ計算で求まった𝑧(𝑛)により計算できる ニューロンの状態遷移 ３ リカレント形ニューラルネットワーク １個のニューロン(𝑗番目)がランダムに選択され 次式によ りその状態(𝑠𝑗 )を更新する ホップフィールドネットワーク 特徴 結合重みが対象である 𝑤𝑗𝑖 = 𝑤𝑖𝑗 自己ループがない 𝑤𝑖𝑖 = 状態遷移 １個のニューロンがランダムに選択されて状 態を更新する あるエネルギー関数が存在し ニューロン１個の状態変 化において このエネルギー関数は変わらないか減少 する 増加しない 5 ニューロン数= 𝑁 ネットワークに記憶するパターンを 𝒑 𝒑𝑀 記憶パターン数= 𝑀 とする 𝒑𝑘 の要素は±で ある 𝑁 𝑀 𝒑𝑘 𝒑𝑇𝑘 𝑘= 𝑢𝑗 𝑛 = 𝑤𝑗 𝑠 𝑛 + 𝑤𝑗 𝑠 𝑛 + 𝑤𝑗 𝑠 𝑛, 𝑤𝑗𝑗 =, 𝑢𝑗 𝑛 > 𝑠𝑗 𝑛 + = 𝑠𝑗 𝑛, 𝑢𝑗 (𝑛) = 𝑠, 𝑢𝑗 𝑛 < 𝑤 𝑤 𝑤 𝑤 初期状態𝑠𝑗 ()は問題に応じて決める 𝑤 例 𝑠 𝑠 ランダムなパターン 𝑤 記憶パターン 雑音 6 例題 𝑁 =, 𝑀 = 重み係数の設計法 𝑾= ② 𝑤𝑗𝑖 (𝑛) 入力層 隠れ層 の学習 𝑤𝑗𝑖 𝑛 + = 𝑤𝑗𝑖 𝑛 + 𝜇 𝑒 𝑛 𝑓 𝑣 𝑛 𝑤𝑗 𝑛 𝑓 𝑢𝑗 𝑛 𝑥𝑖 (𝑛) 上式においても 必要な値は与えられているか またはＦＦ 計算で求まっている 𝑒 𝑛 𝑓 𝑣 𝑛 𝑤𝑗 𝑛 は等価的な 誤差 誤差逆伝搬法 Error Back Propagation: BP法 4 𝑀 𝑰 𝑁 𝑾は𝑁 𝑁行列で 𝑗行𝑖列の要素は𝑤𝑗𝑖 である 𝑾は対称行列 𝑤𝑗𝑖 = 𝑤𝑖𝑗 であり かつ 対角要素は零と なる 𝑤𝑗𝑗 = 7 𝒑 =, 𝒑 = 𝑾 =,, +,,,,,,,, =,,,, =,,,,,,,, 以上より 𝑤 = 𝑤 =, 𝑤 = 𝑤 = 𝑤 = 𝑤 =, 𝑤𝑗𝑗 = 8

4 6/6/5 状態遷移の例 エネルギー関数 n u u u s s s 初期状態 + + 安定状態 ( 記憶パターンを連想 ) n u u u s s s 初期状態 + 安定状態 ( 記憶パターンを連想 ) [,, ] [,, ] [,, ],, [,, ] [,, ] [,, ] [,, ] 9 E n = N N i= j= w ji s i n s j n, w ii = 個のニューロンの状態変化に対して,E(n) は 変化しない か 減少する のいずれかであり, 増加することはない. その為, ニューロンの状態遷移を繰り返すことにより E(n) は極小値に落ち着く. E(n) の極小値に記憶パターンを対応させる (*) ことにより連想記憶システムを構築できる. (*) 前述の重み係数の設計法が一つの方法 エネルギー関数の例題 ( ニューロンの場合 ) w = w, w = w, w = w であるから E n = [w s n s n + w s n s n + w s n s (n)] s (n) が変化したとする. s n + = s n + s (n + ) E n + = [w s n s n + w s n s n +w s n s (n)] s n + w s n + w s n = E n + E N + エネルギー関数 E(n) の変化 u n > s n + E n + u n = s n + = E n + = u n < s n + E n + このように, 個のニューロンの状態変化により生じるエネルギー関数の変化 E(n + ) は零または負であり, 増加することはない. u n = w s n + w s n であるから E n + = s n + u n 演習問題 ニューロンから成るホップフィールドネットワークにおいて, 次の つのパターンを記憶する場合を考える. N =, M = p =, p =. 結合重みw ji を求めよ.. 全てのパターンを初期状態として, 状態遷移の過程 とその結果 ( 安定状態 ) を求めよ.. 状態遷移の様子を直方体上に示せ. 4.,, と [,, ] におけるエネルギー E を求めて, 比較せよ. 同様に,, と [,, ] についてもエネルギーを求めて比較せよ. 5. と において, 全てのニューロンの状態を同時に変化させたときの結果を示せ. ( 参考 ) ホップフィールドネットワークとは違う方法であり, ある状態に落ち着くことは保証されていない. 4 4

5 6/6/5 演習問題 演習問題 4 入力データ x (n), x (n) に対する出力を y(n) とし, 目標値を d(n) とする. 勾配法 ( 最急降下法 ) により w n, w (n) を更新する式を求めよ. 式は w i n, x i n, y n, d n を用いて表せ. y n = w n x n + w n x n e n = d n y n 誤差 J w = e n 誤差関数 w i n + = w i n μ J w w i n () w j (n) = dj(w) de(n) de(n) dy(n) dy(n) dw i (n) 5 パーセプトロンにおいて, 入力データx (n), x (n) に対する出力をy(n) とし, 目標値をd(n) とする. u n = w n x n + w n x n y n = f u n =, u(n), u n < e n = d n y n w n, w (n) を次式で更新することにより, 誤差 e(n) が 減少することを示せ. w i n + = w i n + μe n x i n, < μ ( ) ( 場合分け ) e n >, x i n > e n <, x i n > e n >, x i n < 4 e(n) <, x i n < 6 演習問題 5 ホップフィールドネットワークによる連想記憶に関して以下の問に答えよ. 但し, ニューロン数を4 個とする.Excelプログラムを用いて計算すること.. 4 個の記憶パターンp p 4 を決定せよ ( 次頁に例題 ).. 記憶パターンが安定度を求めよ. 安定度 = 安定である記憶パターン数 /4. 6 通りの初期パターンに対する収束パターンを求めよ. 4. 収束パターンが記憶パターンである場合は 連想成功, そうでない場合は 不成功 とし, 次の成功率を求めよ. 成功率 =( 成功した初期パターン数 )/6 5. 記憶パターンを変えて~4を繰り返せ ( 通り ). 6. 上記の結果から, 記憶パターンの組合せと安定度, 成功率の関係について考察せよ ( ハミング距離が関係 ). 9 5