情報幾何入門

情 報 幾 何 入 門 赤 穂 昭 太 郎 産 業 技 術 総 合 研 究 所 脳 神 経 情 報 研 究 部 門

情 報 幾 何 情 報 処 理 を 幾 何 的 に 図 で 理 解 する 世 の 中 データ 情 報 処 理 結 果 モデル

情 報 幾 何 から 導 かれる 結 論 多 くのモデルは 平 ら である 多 くのアルゴリズムは 平 らなモデルに まっすぐ 射 影 を 下 ろしたものになっている ただし, 平 ら まっすぐ は 普 通 と 違 って 種 類 あるeとm: 双 対 構 造

共 通 言 語 としての 情 報 幾 何 確 率 モデルやその 周 辺 分 野 統 計 学 システム 制 御 符 号 理 論 最 適 化 理 論 統 計 物 理 それぞれ 独 自 の 理 論 アルゴリズムがあるが 関 係 がよくわからない 情 報 幾 何 で 統 一 的 に 理 解 しよう

世 の 中 確 率 モデル 情 報 幾 何 の 出 発 点 : 確 率 モデル f x; ξ ξ n ξ, ξ, L, ξ 座 標 系 3 ξ f x; ξ ξ ξ

例 : 離 散 分 布 Pr[xx] 0.6 0.5 0.4 q 0 0.3 0. 0. 0 x0 x x 0.,0.5,0.3 q q

例 : 正 規 分 布 σ μ σ μ

空 間 の 構 造 ユークリッド 空 間 ではダメ? A μ μ σ σ B σ σ σ A C B D C D μ μ μ μ μ ユークリッドではA-B と C-D の 隔 たりが 同 じになる

空 間 の 構 造 空 間 の 構 造 は 何 で 決 まるか? 点 の 近 く: 線 形 空 間 計 量 空 間 全 体 : 線 形 空 間 のつながり 方 を 決 める ξ 接 続 設 計 方 針 統 計 的 に 自 然 なもの パラメータの 取 り 方 によらない ξ

点 の 近 くの 構 造 : 線 形 空 間 線 形 空 間 接 空 間 ξ e p e ξ 接 空 間 の 構 造 は 基 底 の 間 の 内 積 で 決 まるリーマン 計 量 g e, j e j ξ

情 報 幾 何 での 計 量 統 計 的 不 変 性 フィッシャー 情 報 行 列 g j ξ E [ log p x, ξ log p x, ξ ] ξ ξ j E ξ [ f x] f x p x; ξ dx

なぜフィッシャー 情 報 量 か? クラメール ラオの 不 等 式 N 個 のサンプルからの ξ の 推 定 量 ξˆ の 分 散 の 下 限 Var[ ξ ˆ] ξ G が ξ のまわりでの 散 らばり 具 合 を 表 す N G G が 大 きいところはきめが 粗 い

例 : 正 規 分 布 だけ 微 小 に 動 かしたときの 変 化 は 分 散 の 小 さいところは 少 し 動 かしただけで 大 きくずれる log exp, ; πσ σ μ σ μ x x p 0 0 σ G μ dσ d, σ μ dσ d +

計 量 と 座 標 変 換 計 量 は 一 般 に 非 線 形 な 座 標 変 換 に 対 して 線 形 に 変 換 されるテンソル a ξ θ θ ξ a g j a J a, b J a a θ ξ J b j g ab θ p ξ θ ξ

ユークリッド 空 間 をつなぐ 各 点 ごとにバラバラの 接 空 間 ξ ~ p ξ p + dε 接 空 間 をつなぐ 接 続 接 ベクトル k Γ j Π dε e j の 平 行 移 動 ~ k j j d ε, k [ e ] e Γ j e~ をアファイン 接 続 係 数 と 呼 ぶ k p e j dε ~ p j ξ e~j Γ Πd ε e j j ξ k jd ε e ~ k

測 地 線 :まっすぐな 線 dξ ある 接 ベクトルの 方 向 の 自 分 自 身 への 平 行 移 動 Π [ ] dξ dξ をつなげたものを 測 地 線 という 直 線 の 概 念 の 一 般 化 dξ Π ξdξ d dξ dξ Π ξ dξ d

接 続 をどう 決 めるか? 二 つの 接 ベクトルを 平 行 移 動 したとき, 普 通 物 理 等 はその 間 の 内 積 を 保 存 したい Π [ dξ ] [ ], Π dε dξ dξ, dξ d ε これを 満 たす 接 続 は 計 量 から 一 意 的 に 決 まってしまう レビ チビタ 接 続 ところが 情 報 幾 何 ではそれ 以 外 の 接 続 も 考 え る

α 接 続 統 計 的 な 不 変 性 パラメータαをもつ 接 続 係 数 に 限 られる 特 にα0のときがレビ チビタ 接 続 情 報 幾 何 ではα±のときが 最 重 要! + Γ l l l l k j j k j E, α ξ ξ α ; log ξ ξ x p l Γ Γ h hk h j k j g,

平 坦 な 空 間 接 続 はテンソルではない 座 標 系 に 依 存 逆 に 言 えば,うまく 座 標 系 を 取 れば,Γ0に できるまっすぐな 空 間 このような 座 標 系 がもし 存 在 するとき αアファイン 座 標 系 といい,その 座 標 系 に ついてα 平 坦 であるという. 平 坦 な 座 標 系 の 測 地 線 α 測 地 線 はαアファイン 座 標 系 での 直 線 になっている. ξ t ξ + tξ 0

重 要 な 分 布 族 α± は 特 別 な 意 味 がある: 確 率 分 布 の 分 布 族 で,α 平 坦 になるのは 指 数 分 布 族 exponental famly と 混 合 分 布 族 mxture famly の 二 つだけで,それぞれα±に 対 応 する

指 数 分 布 族 情 報 幾 何 で 最 も 基 本 的 な 分 布 族 n p x; ξ exp θ F x ψ θ + C x 指 数 分 布 族 は θ をアファイン 座 標 系 として - 平 坦 指 数 分 布 族 は 特 別 なので- 平 坦 や- 接 続 の ことをe- 平 坦 とかe- 接 続 という eexponental

混 合 分 布 族 確 率 分 布 の 線 形 和 n p x; ξ θ F x + θ 0 F 0 x 0 θ パラメータθをアファイン 座 標 系 として - 平 坦 混 合 分 布 族 は 特 別 なのでー 平 坦,- 接 続 のことをm 平 坦,m 接 続 というm:mxture n θ

離 散 分 布 は 混 合 かつ 指 数 混 合 分 布 族 としては 指 数 分 布 族 としては ; 0 x q x q x p n δ δ ξ + exp ; r x r x p n ψ δ ξ 0 log log q q r 0 log q r ψ

正 規 分 布 は 指 数 分 布 族 x x F log exp, ; πσ σ μ σ μ x x p + exp ; x C x F x p n θ ψ θ ξ σ μ θ x x F σ θ log πσ σ μ θ ψ + 0 x C

双 対 平 坦 と 双 対 座 標 実 はα 平 坦 なら, 別 の 座 標 系 が 存 在 して ーα 平 坦 になる α 平 坦 な 座 標 系 :θ,-α 平 坦 な 座 標 系 :η ルジャンドル 変 換 :ポテンシャル 関 数 ψ, ϕ ψ θ + ϕ η θ η ϕ η η θ 0 ψ θ θ η

双 対 性 θに 対 する 計 量 : ηに 対 する 計 量 : η j θ g j g j 計 量 が 座 標 変 換 のヤコビ 行 列 になっている θ 座 標 での 基 底 : η 座 標 での 基 底 : e θ η j g j g e j j 双 対 直 交 : e, e j δ j

θ 座 標 系 は 平 坦 指 数 分 布 族 の 場 合 n p x; ξ exp θ F 双 対 座 標 は η E x ψ θ [ x ] ポテンシャルはψそのもの θ + C x 混 合 分 布 族 も 双 対 平 坦 だが 双 対 座 標 が 単 純 な 形 で 書 けないので, 結 局 指 数 分 布 族 が 唯 一 重 要 な 分 布 族 F

離 散 分 布 の 場 合 e 座 標 系 θ r n p x; ξ exp rδ x log q log q 0 ψ r 確 率 値 の 対 数 の 線 形 空 間 m 座 標 系 η E [δ θ x ] q 確 率 値 の 線 形 空 間

例 : 正 規 分 布 A σ σ σ C μ μ μ A C μ σ σ D B D B θ θ θ A μ C σ B σ θ D [ ] μ η Eθ x [ ] μ η Eθ x + σ η B A D C η μ μ μ

部 分 空 間 と 射 影 情 報 幾 何 的 世 界 観 世 の 中 指 数 分 布 族 S データ 十 分 統 計 量 η 情 報 処 理 射 影 結 果 モデル 部 分 空 間 M

平 坦 な 部 分 空 間 α 平 坦 な 線 形 部 分 空 間 : 双 対 平 坦 な 空 間 S のα 座 標 系 での 線 形 部 分 空 間 双 対 平 坦 空 間 S α 座 標 系 α 平 坦 な 部 分 空 間 M 注 意 :α 平 坦 な 部 分 空 間 はーα 平 坦 な 部 分 空 間 とは 限 らない c.f. S 自 身 はどちらも 平 坦

ダイバージェンス 射 影 を 導 入 する 前 に... αダイバージェンス D α c.f. ルジャンドル 変 換 対 称 律 以 外 は 距 離 の 性 質 を 満 たす p q なら 距 離 に 一 致 する 双 対 性 p D q ψ θ p + ϕ η q θ θ ψ θ + ϕ η η p q D α α q p p η q 0

指 数 分 布 族 の 場 合 αe 接 続 でのダイバージェンスは カルバックダイバージェンスに 一 致 する KL f g f x f xlog dx g x α-m 接 続 でのダイバージェンスは KL g f

距 離 の 分 解 ユークリッド 空 間 で 部 分 空 間 への 射 影 を 取 る のがなぜ 簡 単 か? ある 点 から 部 分 空 間 への 距 離 が 直 交 成 分 と 水 平 成 分 に 簡 単 に 分 解 できるから ピタゴラスの 定 理 x y x y + y y

拡 張 ピタゴラスの 定 理 双 対 平 坦 空 間 S q r q D q p D r p D α α α + p r α 測 地 線 ーα 測 地 線

射 影 定 理 α 測 地 線 で 引 いた 直 交 射 影 は αダイバージェンス D α p q の 停 留 点 双 対 平 坦 空 間 S p α 測 地 線 q α 射 影 部 分 空 間 M 特 にMがーα 平 坦 なら mn q D α p q

混 合 座 標 系 : 全 部 まっすぐに 見 える α 射 影 とーα 部 分 空 間 の 組 み 合 わせが 一 番 単 純 j j 双 対 性 から e, e δ Mの 中 と 外 とでα 座 標 系 とーα 座 標 系 を 分 けて 使 え ばまっすぐな 図 が 描 け, 射 影 も 陽 に 表 現 できる η II p I θ ; ηii I ηˆ q θ ; ˆ η II II M I θ

統 計 的 推 定 データは 空 間 のどの 点 に 配 置 するか? なので,N 個 のデータの 十 分 統 η 計 量 E r θ [ x ] F N N j F x j 指 数 分 布 族 S をη 座 標 とすればよい η r m 射 影 θˆ モデルM

最 尤 推 定 統 計 的 推 定 つづき max p x 最 尤 推 定 はm 射 影 と 等 価 KL q x θ p x; θ L, x N θ M ; θ max j q x q xlog dx mn p x; θ θ M モデルが 平 らなときは 推 定 が 易 しい. 推 定 の 質 についてはモデルの 曲 がり 具 合 曲 率 に 関 係 統 計 的 漸 近 理 論 N log p x j ; θ

線 形 システム x t 0 h ε t 伝 達 関 数 H z 0 線 形 システム ε t N0, H z ε t h z H z パワースペクトラム S ω H e システムの 例 :ARモデル,MAモデル, ARMAモデルなど 最 小 位 相 推 移 HとSが 対 に 対 応 ω xt

線 形 システムつづき 確 率 モデル: 信 号 xtの 周 波 数 成 分 ω ω p ; S exp ψ S S ω 実 はすべてのαについてα 平 坦 になる 線 形 ステム 全 体 Sα 平 坦 MAモデルm 平 坦 ARMAモデル ARモデルe 平 坦

潜 在 変 数 モデル p x, z; ξ x だけが 観 測 される 例 : 隠 れマルコフモデルHMM x t x t p x t zt x t+ z t z t p + z t zt z t+

em アルゴリズム em exponental and mxture S 観 測 データの 空 間 m 平 坦 が 多 い m 射 影 e 射 影 モデルM e 平 坦 が 多 い 実 はこれがEMアルゴリズムExpectaton- Maxmzaton/Baum-Welch とほぼ 等 価

集 団 学 習 三 人 寄 れば 文 殊 の 知 恵? バギング ブースティング h h h x 3 x θ x y 多 数 決 θ θ 3 x

集 団 学 習 つづき 拡 張 空 間 S ~ 拡 張 空 間 S ~ 経 験 分 布 p m 射 影 モデルM 拡 張 指 数 分 布 族 :e 平 坦 双 対 問 題 初 期 解 e 射 影 モデルQモーメン ト 制 約 :m 平 坦 q M 0

グラフィカルモデルとベイズ 推 定 変 数 間 の 依 存 関 係 をグラフであらわす HMM, カルマンフィルタもその 一 種 3 4 5, 3 5 3 4 3 p p p p p p

ベイズ 推 定 一 部 が 観 測 されたときに 残 りの 変 数 を 推 定 事 後 分 布 p p,, ノード 数 が 増 えると 総 和 計 算 or 積 分 が 大 変! 特 に 木 でないとき 3 4, 5 p 4, 5 p p,, 3 近 似 計 算 平 均 場 近 似 変 分 ベイズ マルコフ 連 鎖 モンテカルロ パーティクルフィルタ 3 4 5

平 均 場 近 似 変 分 ベイズ 法 p,, 3 4, 5 q q q3 3 [ q q p,,, ] mn KL q 3 3 3 4 5 モデルMe 平 坦 e 射 影 3 4 5 S 初 期 解 モデルMe 平 坦 真 の 分 布 p e 射 影

マルコフ 連 鎖 モンテカルロ 乱 数 発 生 により 事 後 分 布 からのサンプルを 生 成 す る t+ t t p, 3 ; 4, 5 ギブスサンプラー 3 3 4 5 t + t t+ p 3, ; 4, 5 t + t+ t+ p 3, ; 4, 5 4 5 どのような 初 期 値 から 始 めても, p,,, に 分 布 収 束 する

ギブスサンプラーの 幾 何 ステップに 一 つの 変 数 を 更 新 するマルコフ 連 鎖 モンテカルロを 考 える. 目 的 の 定 常 分 布 現 在 の 状 態 分 布 ギブスサンプラー e 射 影 ステップに 一 つの 変 数 を 更 新 して 動 ける 範 囲 m 平 坦

さらなる 発 展 有 限 次 元 のパラメータ 空 間 から 無 限 次 元 の 空 間 の 幾 何 へセミパラメトリック 幾 何 特 異 点 の 問 題 ニューラルネットなどの 階 層 的 なモデル: 代 数 幾 何 の 高 みへ 新 たな 情 報 処 理 へ...

参 考 文 献 赤 穂 : 情 報 幾 何 と 機 械 学 習 計 測 と 制 御 005 年 5 月 号 甘 利 : 情 報 幾 何 とその 応 用 システム 制 御 情 報 連 載 004 年 6 月 ~ 公 文 : 推 定 と 検 定 への 幾 何 学 的 アプローチ, 統 計 科 学 のフロンティア 統 計 学 の 基 礎 II, 岩 波 書 店