情 報 幾 何 で 見 る 機 械 学 習 赤 穂 昭 太 郎 産 業 技 術 総 合 研 究 所 人 間 情 報 研 究 部 門 情 報 数 理 研 究 グループ ( 兼 : 人 工 知 能 研 究 センター 機 械 学 習 研 究 チーム
目 次 情 報 幾 何 とは 確 率 分 布 の 距 離 と 曲 がった 空 間 双 対 平 坦 性 指 数 分 布 族 e と m 部 分 空 間 と 射 影 ピタゴラスの 定 理 とダイバージェンス 機 械 学 習 アルゴリズムの 情 報 幾 何 的 解 釈 解 釈 を 越 えて(IBIS05の 発 表 を 中 心 に
目 次 情 報 幾 何 とは 確 率 分 布 の 距 離 と 曲 がった 空 間 双 対 平 坦 性 指 数 分 布 族 e と m 部 分 空 間 と 射 影 ピタゴラスの 定 理 とダイバージェンス 機 械 学 習 アルゴリズムの 情 報 幾 何 的 解 釈 解 釈 を 越 えて(IBIS05の 発 表 を 中 心 に
情 報 幾 何 情 報 処 理 を 幾 何 的 に( 図 で 理 解 する 世 の 中 データ 情 報 処 理 結 果 モデル
情 報 幾 何 : 曲 がったものをまっすぐに 情 報 処 理 の 空 間 は 曲 がった 空 間 だが 曲 がった 空 間 のままだと 扱 いが 面 倒 情 報 幾 何 を 使 うと 平 らな 空 間 として 扱 える 多 くのモデルは 平 ら である 多 くのアルゴリズムは 平 らなモデルに まっすぐ 射 影 を 下 ろしたものになっている ただし, 平 ら まっすぐ は 普 通 と 違 って 種 類 ある(e と m: 双 対 構 造
目 次 情 報 幾 何 とは 確 率 分 布 の 距 離 と 曲 がった 空 間 双 対 平 坦 性 指 数 分 布 族 e と m 部 分 空 間 と 射 影 ピタゴラスの 定 理 とダイバージェンス 機 械 学 習 アルゴリズムの 情 報 幾 何 的 解 釈 解 釈 を 越 えて(IBIS05の 発 表 を 中 心 に
情 報 幾 何 : 異 分 野 をつなぐ 共 通 言 語 確 率 モデルやその 周 辺 分 野 (そのほとんどに 機 械 学 習 が 関 連 統 計 学 システム 制 御 符 号 理 論 最 適 化 理 論 統 計 物 理 それぞれ 独 自 の 理 論 アルゴリズムがあるが 関 係 がよくわからない 情 報 幾 何 による 統 一 的 理 解 アドホックでないアルゴリズム 構 築
情 報 幾 何 の 出 発 点 : 確 率 モデル 世 の 中 = 確 率 モデル f ( x; ξ ξ n = ( ξ, ξ,, ξ 座 標 系 3 ξ f ( x; ξ ξ ξ
例 : 離 散 分 布 Pr[x=x] 0.6 0.5 0.4 q 0 0.3 0. 0. 0 x0 x x (0.,0.5,0.3 q q
例 : 正 規 分 布 σ µ σ µ
空 間 の 構 造 ユークリッド 空 間 ではダメ? A µ µ σ σ B σ σ σ A C B D C D µ µ µ µ µ ユークリッドではA-B と C-D の 隔 たりが 同 じになる
単 純 な 実 験
離 散 分 布 3 値 の 離 散 分 布 (つの 独 立 な パラメータ パラメータの 場 所 に よって 分 布 が 異 なる
正 規 分 布 平 均 - 標 準 偏 差 標 準 偏 差 が 大 きいと ころではパラメータ 推 定 の 分 布 がばら つく
空 間 の 構 造 を 決 める 空 間 の 構 造 は 何 で 決 まるか? 点 の 近 く: 線 形 空 間 ( 計 量 空 間 全 体 : 線 形 空 間 のつながり 方 を 決 める ξ ( 接 続 設 計 方 針 統 計 的 に 自 然 なもの パラメータの 取 り 方 によらない ( 結 果 的 に 平 さ まっすぐさ ξ
点 の 近 くの 構 造 : 線 形 空 間 線 形 空 間 ( 接 空 間 ξ e p e ξ 接 空 間 の 構 造 は 基 底 の 間 の 内 積 で 決 まる(リーマン 計 量 g = e, j e j ξ
情 報 幾 何 での 計 量 統 計 的 不 変 性 フィッシャー 情 報 行 列 g j ( ξ = E [ log p( x, ξ log p( x, ξ ] ξ = ξ j E ξ [ ξ f ( x] = f ( x p( x; dx
なぜフィッシャー 情 報 量 か? クラメール ラオの 不 等 式 N 個 のサンプルからの ξ の 推 定 量 の 分 散 の 下 限 Var[ ξ ˆ] ( ξ G が ξ のまわりでの 散 らばり 具 合 を 表 す N G ξˆ G が 大 きいところはきめが 粗 い
例 : 離 散 分 布 が 0 に 近 いところでは 大 きな 値 値 の 変 化 に 敏 感 ( ( (, ; ( 0 + + = x q x q x q q q x p δ δ δ + + = 0 0 0 q q q q q G 0,, q q q 0 q q q =
離 散 分 布 G = q q + q 0 0 + q q 0
例 : 正 規 分 布 ( x µ p( x; µ, σ = exp log πσ σ d, G = σ µ dσ だけ 微 小 に 動 かしたときの 変 化 は ( d µ + dσ σ 分 散 の 小 さいところは 少 し 動 かしただけで 大 きくずれる 0 0
正 規 分 布 G = σ 0 0
計 量 と 座 標 変 換 計 量 は( 一 般 に 非 線 形 な 座 標 変 換 に 対 して 線 形 に 変 換 される(テンソル ( ( a ξ θ θ ξ = = g j a J = a, b = J a θ a ξ J b j g ab θ p ξ θ ξ
目 次 情 報 幾 何 とは 確 率 分 布 の 距 離 と 曲 がった 空 間 双 対 平 坦 性 指 数 分 布 族 e と m 部 分 空 間 と 射 影 ピタゴラスの 定 理 とダイバージェンス 機 械 学 習 アルゴリズムの 情 報 幾 何 的 解 釈 解 釈 を 越 えて(IBIS05の 発 表 を 中 心 に
ユークリッド 空 間 をつなぐ 各 点 ごとにバラバラの 接 空 間 ξ ( ~ p = ξ ( p + dε 接 空 間 をつなぐ( 接 続 e j 接 ベクトル の 平 行 移 動 k Γ j Π dε ~ k j j dε, k [ e ] = e Γ j e~ を(アファイン 接 続 係 数 と 呼 ぶ k p e j dε ~ p j ξ e~j Γ Πd ε e j j ξ k jd ε e ~ k
測 地 線 :まっすぐな 線 ある 接 ベクトルの 方 向 の 自 分 自 身 への 平 行 移 動 Π [ ] dξ dξ をつなげたものを 測 地 線 という ( 直 線 の 概 念 の 一 般 化 dξ dξ = Π ξdξ d dξ dξ =Π ξ dξ d
接 続 をどう 決 めるか? 二 つの 接 ベクトルを 平 行 移 動 したとき, 普 通 ( 物 理 等 はその 間 の 内 積 を 保 存 したい Π [ dξ ] [ ], Π dε dξ dξ, dξ d ε = これを 満 たす 接 続 は 計 量 から 一 意 的 に 決 まって しまう レビ チビタ 接 続 (ふつうの 数 学 物 理 ではこれで 十 分 ところが 情 報 幾 何 ではそれ 以 外 の 接 続 も 考 える ( 平 さ まっすぐさと 関 係
α 接 続 統 計 的 な 不 変 性 パラメータαをもつ 接 続 係 数 に 限 られる 特 にα=0のときがレビ チビタ 接 続 情 報 幾 何 ではα=±のときが 最 重 要! + = Γ l l l l k j j k j E ( (, α ξ ξ α ; ( log ξ ξ x p l = Γ = Γ h hk h j k j g,
平 坦 な 空 間 接 続 はテンソルではない( 座 標 系 に 依 存 逆 に 言 えば,うまく 座 標 系 を 取 れば,Γ=0に できることがある ( 平 坦 な 空 間 このような 座 標 系 がもし 存 在 するとき αアファイン 座 標 系 といい,その 座 標 系 に ついてα 平 坦 であるという. 平 坦 な 座 標 系 の 測 地 線 (α 測 地 線 はαアファイン 座 標 系 での 直 線 になっている. ξ = ( t ξ + tξ 0
目 次 情 報 幾 何 とは 確 率 分 布 の 距 離 と 曲 がった 空 間 双 対 平 坦 性 指 数 分 布 族 e と m 部 分 空 間 と 射 影 ピタゴラスの 定 理 とダイバージェンス 機 械 学 習 アルゴリズムの 情 報 幾 何 的 解 釈 解 釈 を 越 えて(IBIS05の 発 表 を 中 心 に
重 要 な 分 布 族 α=± は 特 別 な 意 味 がある: 確 率 分 布 の 分 布 族 で,α 平 坦 になるのは 指 数 分 布 族 (exponental famly と 混 合 分 布 族 (mxture famly の 二 つだけ! それぞれα=±に 対 応 する
指 数 分 布 族 情 報 幾 何 で 最 も 基 本 的 な 分 布 族 n = p( x; θ exp θ F ( x ψ ( θ + C( x = 指 数 分 布 族 は θ をアファイン 座 標 系 として - 平 坦 指 数 分 布 族 は 特 別 なので- 平 坦 や- 接 続 の ことをe- 平 坦 とかe- 接 続 という (e=exponental
混 合 分 布 族 確 率 分 布 の 線 形 和 n p( x; θ = θ F ( x + θ 0 F 0 = ( x 0 θ パラメータθをアファイン 座 標 系 として - 平 坦 混 合 分 布 族 は 特 別 なのでー 平 坦,- 接 続 のことをm 平 坦,m 接 続 という(m:mxture n = θ =
具 体 例 : 離 散 分 布 は 混 合 かつ 指 数 混 合 分 布 族 としては 指 数 分 布 族 としては ( ( ; ( 0 x q x q x p n δ δ ξ + = = = = ( ( exp ; ( r x r x p n ψ δ ξ 0 log log q q r = 0 log ( q r = ψ
離 散 分 布 ( 続 き 混 合 分 布 族 α=-で0 指 数 分 布 族 という 形 になる α=で0 + = Γ jk k j q q δ α 0 ;, ( ;, r f k j α = Γ
具 体 例 : 正 規 分 布 は 指 数 分 布 族 x x F = ( = log ( exp, ; ( πσ σ µ σ µ x x p + = = ( ( ( exp ; ( x C x F x p n θ ψ θ ξ σ µ θ = ( x x F = ( σ θ = log ( πσ σ µ θ ψ + = 0 ( = x C
双 対 平 坦 と 双 対 座 標 実 はα 平 坦 なら, 別 の 座 標 系 が 存 在 して ーα 平 坦 になる α 平 坦 な 座 標 系 :θ,-α 平 坦 な 座 標 系 :η ルジャンドル 変 換 :ポテンシャル 関 数 ψ, ϕ = ψ ( θ + ϕ( η θ η ϕ( η η = θ 0 ψ ( θ θ = η
双 対 性 θに 対 する 計 量 : ηに 対 する 計 量 : η j θ = g gj j 計 量 が 座 標 変 換 のヤコビ 行 列 になっている j θ 座 標 での 基 底 : η 座 標 での 基 底 : e θ η j = g j g e j 双 対 直 交 : e, e j = δ j
指 数 分 布 族 の 場 合 θ 座 標 系 は 平 坦 n = p( x; ξ exp θ F = ( x ψ ( θ [ ] + C( x 双 対 座 標 は η = E θ ( x ポテンシャルはψそのもの 混 合 分 布 族 も 双 対 平 坦 だが 双 対 座 標 が 単 純 な 形 で 書 けないので, 結 局 指 数 分 布 族 が 唯 一 重 要 な 分 布 族 F
例 : 離 散 分 布 (この 形 はすでに 見 た: 離 散 分 布 は 指 数 かつ 混 合 e 座 標 系 θ = r m 座 標 系 n p( x; ξ = exp rδ ( x ψ ( r = = log q log q η = E θ [δ ( x ] = 確 率 値 の 対 数 の 線 形 空 間 q 確 率 値 の 線 形 空 間 0
例 : 正 規 分 布 A σ σ σ C µ µ µ A C µ σ σ D B D B θ = θ θ A = µ C σ B σ ( θ D [ ] µ η = Eθ x = [ ] = µ η = Eθ x + σ η B A D C η µ µ µ
目 次 情 報 幾 何 とは 確 率 分 布 の 距 離 と 曲 がった 空 間 双 対 平 坦 性 指 数 分 布 族 e と m 部 分 空 間 と 射 影 ピタゴラスの 定 理 とダイバージェンス 機 械 学 習 アルゴリズムの 情 報 幾 何 的 解 釈 最 近 の 発 展 (IBIS05の 発 表 を 中 心 に
部 分 空 間 と 射 影 情 報 幾 何 的 世 界 観 世 の 中 指 数 分 布 族 S データ 十 分 統 計 量 η 情 報 処 理 射 影 結 果 モデル 部 分 空 間 M
平 坦 な 部 分 空 間 α 平 坦 な 線 形 部 分 空 間 : 双 対 平 坦 な 空 間 Sの α 座 標 系 での 線 形 部 分 空 間 双 対 平 坦 空 間 S α 座 標 系 α 平 坦 な 部 分 空 間 M 注 意 :α 平 坦 な 部 分 空 間 はーα 平 坦 な 部 分 空 間 とは 限 らない c.f. S 自 身 はどちらも 平 坦
ダイバージェンス 射 影 を 導 入 する 前 に... αダイバージェンス D ( α c.f. ルジャンドル 変 換 対 称 律 以 外 は 距 離 の 性 質 を 満 たす p q なら 距 離 に 一 致 する 双 対 性 ( p q D ( = ψ ( θ ( p + ϕ( η( q θ θ = ψ ( θ + ϕ( η η p q = D ( α ( α ( q p ( p η ( q 0
指 数 分 布 族 の 場 合 α=(e 接 続 でのダイバージェンスは カルバックダイバージェンスに 一 致 する KL( f g f ( x = f ( xlog dx g( x α=-(m 接 続 でのダイバージェンスは KL( g f
距 離 の 分 解 ユークリッド 空 間 で 部 分 空 間 への 射 影 を 取 る のがなぜ 簡 単 か? ある 点 から 部 分 空 間 への 距 離 が 直 交 成 分 と 水 平 成 分 に 簡 単 に 分 解 できるから (ピタゴラスの 定 理 ( x y = ( x y + ( y y
拡 張 ピタゴラスの 定 理 双 対 平 坦 空 間 S q ( ( ( ( ( ( r q D q p D r p D α α α + = p r α 測 地 線 ーα 測 地 線
射 影 定 理 α 測 地 線 で 引 いた 直 交 射 影 は ( αダイバージェンス D α ( p q の 停 留 点 p 双 対 平 坦 空 間 S α 測 地 線 q α 射 影 部 分 空 間 M 特 にMがーα 平 坦 なら mn q D ( α ( p q
部 分 空 間 と 射 影 の 組 み 合 わせ e 平 坦 な 部 分 空 間 には m 射 影 m 平 坦 な 部 分 空 間 には e 射 影 この 組 み 合 わせなら 射 影 は 一 意 的 (それぞれのダイバージェンスの 最 小 点
目 次 情 報 幾 何 とは 確 率 分 布 の 距 離 と 曲 がった 空 間 双 対 平 坦 性 指 数 分 布 族 e と m 部 分 空 間 と 射 影 ピタゴラスの 定 理 とダイバージェンス 機 械 学 習 アルゴリズムの 情 報 幾 何 的 解 釈 解 釈 を 越 えて(IBIS05の 発 表 を 中 心 に
機 械 学 習 アルゴリズムの 情 報 幾 何 的 解 釈 統 計 的 推 定 最 尤 推 定 潜 在 変 数 モデルと em アルゴリズム 集 団 学 習 カーネル 法 グラフィカルモデル 平 均 場 近 似 MCMC 分 布 パラメータの 次 元 圧 縮
統 計 的 推 定 データは 空 間 のどの 点 に 配 置 するか? η = なので,N 個 のデータの 十 分 統 計 量 E r θ [ ( x ] = F N N j= F ( x ( j 指 数 分 布 族 S をη 座 標 とすればよい η = r m 射 影 θˆ モデルM
統 計 的 推 定 (つづき ( ( N 最 尤 推 定 max p( x, x ; θ θ max θ M j 最 尤 推 定 はm 射 影 と 等 価 KL( q( x p( x; θ q( x = q( xlog dx mn p( x; θ θ M モデルが 平 らなときは 推 定 が 易 しい. 推 定 の 質 についてはモデルの 曲 がり 具 合 ( 曲 率 に 関 係 統 計 的 漸 近 理 論 N = log p( x ( j ; θ
潜 在 変 数 モデル p( x, z; ξ x だけが 観 測 される 例 : 隠 れマルコフモデル(HMM x t x t p( x t zt x t+ z t z t p + ( z t zt z t+
em アルゴリズム em (exponental and mxture S 観 測 データの 空 間 ( 点 で 表 せない (m 平 坦 が 多 い m 射 影 モデルM (e 平 坦 が 多 い e 射 影 実 はこれがEMアルゴリズム(Expectaton- Maxmzaton/Baum-Welch とほぼ 等 価 (Amar 995
集 団 学 習 三 人 寄 れば 文 殊 の 知 恵? バギング ブースティング h ( h ( h ( x 3 x θ x y 多 数 決 θ θ 3 x
集 団 学 習 (つづき 拡 張 空 間 S ~ ( 正 値 測 度 全 体 拡 張 空 間 S ~ 経 験 分 布 p m 射 影 モデルM( 拡 張 指 数 分 布 族 :e 平 坦 双 対 問 題 初 期 解 e 射 影 モデルQ(モーメン ト 制 約 :m 平 坦 q M 0 ブースティングアルゴリズムの 幾 何 的 描 像 (Murata et al004
カーネルの 情 報 幾 何 カーネル 法 :サポートベクトルマシンに 代 表 さ れるパターン 認 識 やデータ 解 析 の 重 要 なツー ル( 赤 穂 :カーネル 多 変 量 解 析, 岩 波 008 参 照 カーネル 行 列 ( 正 定 値 行 列 が 重 要 な 役 割 を 果 たす 正 規 分 布 の 分 散 をカーネル 行 列 とみなす p( x; ξ = c exp x T V x log detv
カーネルの 情 報 幾 何 (つづき 指 数 分 布 族 双 対 座 標 : p( x; ξ θ = V = c exp η = V x T V x log detv 応 用 : KL( V, V = tr( V V + log detv log detv 制 御 系 の 安 定 性 解 析 カーネル 行 列 の 補 完 複 数 のカーネル 行 列 の 統 合 n
カーネル 行 列 の 補 間 バクテリア 遺 伝 子 の 分 類 (Tsuda,Akaho et al003
グラフィカルモデルとベイズ 推 定 変 数 間 の 依 存 関 係 をグラフであらわす HMM, カルマンフィルタもその 一 種 X X 3 X 4 X 5 X (, ( ( ( ( ( 3 5 3 4 3 X X p X X X p X X p X X p X p X p =
ベイズ 推 定 一 部 が 観 測 されたときに 残 りの 変 数 を 推 定 事 後 分 布 p( X p( X, X, ノード 数 が 増 えると 総 和 計 算 (or 積 分 が 大 変!( 特 に 木 でないとき X 3 X 4, X 5 = p( X 4, X 5 = X X p( X p( X, X, X 3 近 似 計 算 ( 平 均 場 近 似 変 分 ベイズ (マルコフ 連 鎖 モンテカルロ パーティクルフィルタ X X 3 X X 4 5
平 均 場 近 似 変 分 ベイズ 法 (Tanaka999 p( X, X, X 3 X 4, X 5 q( X q( X q3( X 3 [ q ( X q ( X q ( X p( X, X, X X, ] mn KL 3 3 3 4 X 5 X X X 3 X X 4 5 S 初 期 解 モデルM(e 平 坦 モデルM(e 平 坦 e 射 影 幾 何 的 には 相 性 の 良 くない 組 み 合 わせ! 真 の 分 布 p e 射 影
マルコフ 連 鎖 モンテカルロ 乱 数 発 生 により 事 後 分 布 からのサンプルを 生 成 す る ( t+ ( t ( t p( X X, X 3 ; X 4, X 5 ギブスサンプラー X X X 3 ( t + ( t ( t+ p( X X 3, X ; X 4, X 5 ( t + ( t+ ( t+ p( X 3 X, X ; X 4, X X X 5 4 5 どのような 初 期 値 から 始 めても, p( X, X, X 3 X 4, X 5 に 分 布 収 束 する パーティクルフィルタなどもこの 一 種
ギブスサンプラーの 幾 何 (Takabatake,Akaho008 ステップに 一 つの 変 数 を 更 新 するマルコフ 連 鎖 モンテカルロを 考 える. 目 的 の 定 常 分 布 現 在 の 状 態 分 布 ギブスサンプラー (e 射 影 ステップに 一 つの 変 数 を 更 新 して 動 ける 範 囲 (m 平 坦
コントラスティブダイバージェンス の 情 報 幾 何 (ディープラーニング η Iw* η Iw0
分 布 パラメータの 次 元 圧 縮 µ /σ (Akaho004 O 田 例 : 正 規 分 布!! K 島 T 中 0 U 田 PCAによるあてはめ F 水 W 辺 / σ I 田 M 田?
分 布 パラメータの 次 元 圧 縮 (つづき 双 対 座 標 系 に 応 じて 種 類 の 次 元 圧 縮 法 がある: e- PCA, m-pca 射 影 は 必 ず 中 に 入 る 距 離 は 自 然 なダイバージェ ンス 次 元 圧 縮 だけでなくクラスタリングなどいろいろなデ ータ 解 析 法 に 適 用 可 能 手 書 き 文 字 認 識 の e-pca による 次 元 圧 縮 とクラスタリング 結 果 (Watanabe, Akaho, Omach, Okada 008
目 次 情 報 幾 何 とは 確 率 分 布 の 距 離 と 曲 がった 空 間 双 対 平 坦 性 指 数 分 布 族 e と m 部 分 空 間 と 射 影 ピタゴラスの 定 理 とダイバージェンス 機 械 学 習 アルゴリズムの 情 報 幾 何 的 解 釈 解 釈 を 越 えて(IBIS05の 発 表 を 中 心 に
非 負 値 行 列 分 解 の 情 報 幾 何 ( 補 足 トピックモデル plsa, LDA と 関 係 実 はトピックモデルは m 平 坦 と m 射 影 の 組 み 合 わせ 情 報 幾 何 的 NMFは m 平 坦 と e 射 影 の 組 み 合 わせで 幾 何 的 により 自 然!
T-08:ノンパラメトリックモデルのe 混 合 推 定 とその 応 用 高 野 健 ( 発 表 者 早 大 日 野 英 逸 ( 筑 波 大 赤 穂 昭 太 郎 ( 産 総 研 村 田 昇 ( 早 大 情 報 幾 何 ではe 混 合 とm 混 合 というつの 混 合 モデルを 考 えることができる.. 幾 何 学 的 な 観 点 からアルゴリ ズムを 構 成. 転 移 学 習 のようなアプローチ で 応 用 ノンパラメトリックモデルのe 混 合
参 考 文 献 赤 穂 : 情 報 幾 何 と 機 械 学 習 ( 計 測 と 制 御 005 年 5 月 号 甘 利 長 岡 : 情 報 幾 何 の 方 法, 岩 波 講 座 応 用 数 学, 993 公 文 : 推 定 と 検 定 への 幾 何 学 的 アプローチ, ( 統 計 科 学 のフロンティア 統 計 学 の 基 礎 II, 岩 波 書 店,003 村 田 : 新 版 情 報 理 論 の 基 礎 (SGC Books, サイエ ンス 社, 008 甘 利 : 情 報 幾 何 の 新 展 開,サイエンス 社, 04 藤 原 : 情 報 幾 何 学 の 基 礎, 牧 野 書 店,05
Thank you for your attenton!