情報幾何入門

Size: px

Start display at page:

Download "情報幾何入門"

れいなてらわ
7 years ago
Views:

1 情報幾何入門赤穂昭太郎産業技術総合研究所脳神経情報研究部門

2 情報幾何情報処理を幾何的に図で理解する世の中データ情報処理結果モデル

3 情報幾何から導かれる結論多くのモデルは平らである多くのアルゴリズムは平らなモデルにまっすぐ射影を下ろしたものになっているただし, 平らまっすぐは普通と違って種類あるeとm: 双対構造

4 共通言語としての情報幾何確率モデルやその周辺分野統計学システム制御符号理論最適化理論統計物理それぞれ独自の理論アルゴリズムがあるが関係がよくわからない情報幾何で統一的に理解しよう

5 世の中確率モデル情報幾何の出発点 : 確率モデル f x; ξ ξ n ξ, ξ, L, ξ 座標系 3 ξ f x; ξ ξ ξ

6 例 : 離散分布 Pr[xx] q x0 x x 0.,0.5,0.3 q q

7 例 : 正規分布 σ μ σ μ

8 空間の構造ユークリッド空間ではダメ? A μ μ σ σ B σ σ σ A C B D C D μ μ μ μ μ ユークリッドではA-B と C-D の隔たりが同じになる

9 空間の構造空間の構造は何で決まるか? 点の近く: 線形空間計量空間全体 : 線形空間のつながり方を決める ξ 接続設計方針統計的に自然なものパラメータの取り方によらない ξ

10 点の近くの構造 : 線形空間線形空間接空間 ξ e p e ξ 接空間の構造は基底の間の内積で決まるリーマン計量 g e, j e j ξ

11 情報幾何での計量統計的不変性フィッシャー情報行列 g j ξ E [ log p x, ξ log p x, ξ ] ξ ξ j E ξ [ f x] f x p x; ξ dx

12 なぜフィッシャー情報量か? クラメールラオの不等式 N 個のサンプルからの ξ の推定量 ξˆ の分散の下限 Var[ ξ ˆ] ξ G が ξ のまわりでの散らばり具合を表す N G G が大きいところはきめが粗い

13 例 : 正規分布だけ微小に動かしたときの変化は分散の小さいところは少し動かしただけで大きくずれる log exp, ; πσ σ μ σ μ x x p 0 0 σ G μ dσ d, σ μ dσ d +

14 計量と座標変換計量は一般に非線形な座標変換に対して線形に変換されるテンソル a ξ θ θ ξ a g j a J a, b J a a θ ξ J b j g ab θ p ξ θ ξ

15 ユークリッド空間をつなぐ各点ごとにバラバラの接空間 ξ ~ p ξ p + dε 接空間をつなぐ接続接ベクトル k Γ j Π dε e j の平行移動 ~ k j j d ε, k [ e ] e Γ j e~ をアファイン接続係数と呼ぶ k p e j dε ~ p j ξ e~j Γ Πd ε e j j ξ k jd ε e ~ k

16 測地線 :まっすぐな線 dξ ある接ベクトルの方向の自分自身への平行移動 Π [ ] dξ dξ をつなげたものを測地線という直線の概念の一般化 dξ Π ξdξ d dξ dξ Π ξ dξ d

17 接続をどう決めるか? 二つの接ベクトルを平行移動したとき, 普通物理等はその間の内積を保存したい Π [ dξ ] [ ], Π dε dξ dξ, dξ d ε これを満たす接続は計量から一意的に決まってしまうレビチビタ接続ところが情報幾何ではそれ以外の接続も考える

18 α 接続統計的な不変性パラメータαをもつ接続係数に限られる特にα0のときがレビチビタ接続情報幾何ではα±のときが最重要! + Γ l l l l k j j k j E, α ξ ξ α ; log ξ ξ x p l Γ Γ h hk h j k j g,

19 平坦な空間接続はテンソルではない座標系に依存逆に言えば,うまく座標系を取れば,Γ0にできるまっすぐな空間このような座標系がもし存在するとき αアファイン座標系といい,その座標系についてα 平坦であるという. 平坦な座標系の測地線 α 測地線はαアファイン座標系での直線になっている. ξ t ξ + tξ 0

20 重要な分布族 α± は特別な意味がある: 確率分布の分布族で,α 平坦になるのは指数分布族 exponental famly と混合分布族 mxture famly の二つだけで,それぞれα±に対応する

21 指数分布族情報幾何で最も基本的な分布族 n p x; ξ exp θ F x ψ θ + C x 指数分布族は θ をアファイン座標系として - 平坦指数分布族は特別なので- 平坦や- 接続のことをe- 平坦とかe- 接続という eexponental

22 混合分布族確率分布の線形和 n p x; ξ θ F x + θ 0 F 0 x 0 θ パラメータθをアファイン座標系として - 平坦混合分布族は特別なのでー平坦,- 接続のことをm 平坦,m 接続というm:mxture n θ

23 離散分布は混合かつ指数混合分布族としては指数分布族としては ; 0 x q x q x p n δ δ ξ + exp ; r x r x p n ψ δ ξ 0 log log q q r 0 log q r ψ

24 正規分布は指数分布族 x x F log exp, ; πσ σ μ σ μ x x p + exp ; x C x F x p n θ ψ θ ξ σ μ θ x x F σ θ log πσ σ μ θ ψ + 0 x C

25 双対平坦と双対座標実はα 平坦なら, 別の座標系が存在してーα 平坦になる α 平坦な座標系 :θ,-α 平坦な座標系 :η ルジャンドル変換 :ポテンシャル関数 ψ, ϕ ψ θ + ϕ η θ η ϕ η η θ 0 ψ θ θ η

26 双対性 θに対する計量 : ηに対する計量 : η j θ g j g j 計量が座標変換のヤコビ行列になっている θ 座標での基底 : η 座標での基底 : e θ η j g j g e j j 双対直交 : e, e j δ j

27 θ 座標系は平坦指数分布族の場合 n p x; ξ exp θ F 双対座標は η E x ψ θ [ x ] ポテンシャルはψそのもの θ + C x 混合分布族も双対平坦だが双対座標が単純な形で書けないので, 結局指数分布族が唯一重要な分布族 F

28 離散分布の場合 e 座標系 θ r n p x; ξ exp rδ x log q log q 0 ψ r 確率値の対数の線形空間 m 座標系 η E [δ θ x ] q 確率値の線形空間

29 例 : 正規分布 A σ σ σ C μ μ μ A C μ σ σ D B D B θ θ θ A μ C σ B σ θ D [ ] μ η Eθ x [ ] μ η Eθ x + σ η B A D C η μ μ μ

30 部分空間と射影情報幾何的世界観世の中指数分布族 S データ十分統計量 η 情報処理射影結果モデル部分空間 M

31 平坦な部分空間 α 平坦な線形部分空間 : 双対平坦な空間 S のα 座標系での線形部分空間双対平坦空間 S α 座標系 α 平坦な部分空間 M 注意 :α 平坦な部分空間はーα 平坦な部分空間とは限らない c.f. S 自身はどちらも平坦

32 ダイバージェンス射影を導入する前に... αダイバージェンス D α c.f. ルジャンドル変換対称律以外は距離の性質を満たす p q なら距離に一致する双対性 p D q ψ θ p + ϕ η q θ θ ψ θ + ϕ η η p q D α α q p p η q 0

33 指数分布族の場合 αe 接続でのダイバージェンスはカルバックダイバージェンスに一致する KL f g f x f xlog dx g x α-m 接続でのダイバージェンスは KL g f

34 距離の分解ユークリッド空間で部分空間への射影を取るのがなぜ簡単か? ある点から部分空間への距離が直交成分と水平成分に簡単に分解できるからピタゴラスの定理 x y x y + y y

35 拡張ピタゴラスの定理双対平坦空間 S q r q D q p D r p D α α α + p r α 測地線ーα 測地線

36 射影定理 α 測地線で引いた直交射影は αダイバージェンス D α p q の停留点双対平坦空間 S p α 測地線 q α 射影部分空間 M 特にMがーα 平坦なら mn q D α p q

37 混合座標系 : 全部まっすぐに見える α 射影とーα 部分空間の組み合わせが一番単純 j j 双対性から e, e δ Mの中と外とでα 座標系とーα 座標系を分けて使えばまっすぐな図が描け, 射影も陽に表現できる η II p I θ ; ηii I ηˆ q θ ; ˆ η II II M I θ

38 統計的推定データは空間のどの点に配置するか? なので,N 個のデータの十分統 η 計量 E r θ [ x ] F N N j F x j 指数分布族 S をη 座標とすればよい η r m 射影 θˆ モデルM

39 最尤推定統計的推定つづき max p x 最尤推定はm 射影と等価 KL q x θ p x; θ L, x N θ M ; θ max j q x q xlog dx mn p x; θ θ M モデルが平らなときは推定が易しい. 推定の質についてはモデルの曲がり具合曲率に関係統計的漸近理論 N log p x j ; θ

40 線形システム x t 0 h ε t 伝達関数 H z 0 線形システム ε t N0, H z ε t h z H z パワースペクトラム S ω H e システムの例 :ARモデル,MAモデル, ARMAモデルなど最小位相推移 HとSが対に対応 ω xt

41 線形システムつづき確率モデル: 信号 xtの周波数成分 ω ω p ; S exp ψ S S ω 実はすべてのαについてα 平坦になる線形ステム全体 Sα 平坦 MAモデルm 平坦 ARMAモデル ARモデルe 平坦

42 潜在変数モデル p x, z; ξ x だけが観測される例 : 隠れマルコフモデルHMM x t x t p x t zt x t+ z t z t p + z t zt z t+

43 em アルゴリズム em exponental and mxture S 観測データの空間 m 平坦が多い m 射影 e 射影モデルM e 平坦が多い実はこれがEMアルゴリズムExpectaton- Maxmzaton/Baum-Welch とほぼ等価

44 集団学習三人寄れば文殊の知恵? バギングブースティング h h h x 3 x θ x y 多数決 θ θ 3 x

45 集団学習つづき拡張空間 S ~ 拡張空間 S ~ 経験分布 p m 射影モデルM 拡張指数分布族 :e 平坦双対問題初期解 e 射影モデルQモーメント制約 :m 平坦 q M 0

46 グラフィカルモデルとベイズ推定変数間の依存関係をグラフであらわす HMM, カルマンフィルタもその一種 3 4 5, p p p p p p

47 ベイズ推定一部が観測されたときに残りの変数を推定事後分布 p p,, ノード数が増えると総和計算 or 積分が大変! 特に木でないとき 3 4, 5 p 4, 5 p p,, 3 近似計算平均場近似変分ベイズマルコフ連鎖モンテカルロパーティクルフィルタ 3 4 5

48 平均場近似変分ベイズ法 p,, 3 4, 5 q q q3 3 [ q q p,,, ] mn KL q モデルMe 平坦 e 射影 S 初期解モデルMe 平坦真の分布 p e 射影

49 マルコフ連鎖モンテカルロ乱数発生により事後分布からのサンプルを生成する t+ t t p, 3 ; 4, 5 ギブスサンプラー t + t t+ p 3, ; 4, 5 t + t+ t+ p 3, ; 4, どのような初期値から始めても, p,,, に分布収束する

50 ギブスサンプラーの幾何ステップに一つの変数を更新するマルコフ連鎖モンテカルロを考える. 目的の定常分布現在の状態分布ギブスサンプラー e 射影ステップに一つの変数を更新して動ける範囲 m 平坦

51 さらなる発展有限次元のパラメータ空間から無限次元の空間の幾何へセミパラメトリック幾何特異点の問題ニューラルネットなどの階層的なモデル: 代数幾何の高みへ新たな情報処理へ...

52 参考文献赤穂 : 情報幾何と機械学習計測と制御 005 年 5 月号甘利 : 情報幾何とその応用システム制御情報連載 004 年 6 月 ~ 公文 : 推定と検定への幾何学的アプローチ, 統計科学のフロンティア統計学の基礎 II, 岩波書店

情報幾何入門

情報幾何入門情報幾何で見る機械学習赤穂昭太郎産業技術総合研究所人間情報研究部門情報数理研究グループ ( 兼 : 人工知能研究センター機械学習研究チーム目次情報幾何とは確率分布の距離と曲がった空間双対平坦性指数分布族 e と m 部分空間と射