画像解析論（７）　講義内容

画 像 解 析 論 7 1 画 像 解 析 論 7 東 京 工 業 大 学 長 橋 宏 主 な 講 義 内 容 画 像 の 不 変 特 徴 量 と 各 種 特 徴 記 述 子 SIFTSURFFernsの 特 徴 とその 比 較

画 像 解 析 論 7 2 特 徴 検 出 器 と 特 徴 記 述 子 の 評 価 各 種 特 徴 検 出 器 検 出 器 と 特 徴 記 述 子 の 組 合 せおよび それぞれの 性 能 を 評 価 した 研 究 が 複 数 報 告 されている. 検 出 器 に 関 する 評 価 項 目 視 点 変 化 スケール 変 化 画 像 回 転 画 像 のボケ 照 明 変 化 等 の 検 出 への 影 響 評 価. 特 徴 記 述 子 に 関 する 評 価 項 目 応 用 目 的 分 野 毎 に 評 価 検 出 率 認 識 率 検 索 率 分 類 性 能 等 IEEE Workshop on Feature Detectors and Descriptors: The State Of The Art and Beond b Krstian Mikolajczk Cordelia Schmid Jiri Matas and Tinne Tutelaars In conjunction with CVPR 2009

各 種 の 不 変 特 徴 記 述 子 画 像 解 析 論 7 3 平 行 移 動 に 不 変 な 特 徴 記 述 子 重 心 モーメントHLAC Zernike moment 回 転 に 不 変 な 特 徴 記 述 子 Zernike moment Log -Polar SIFTSURF Ferns 拡 大 縮 小 に 対 して 不 変 な 特 徴 記 述 子 SIFTSURF Ferns 濃 度 変 化 に 対 して 不 変 な 特 徴 記 述 子 Local Binar PatternLBP Center Smmetric LBP その 他 の 特 徴 記 述 子 Haar型 特 徴 HoG特 徴 HoF特 徴

Log-Polar 写 像 特 徴 画 像 解 析 論 7 4 対 数 極 座 標 画 像 への 変 換 テンプレートの 回 転 とスケーリングに 不 変 な 検 出 が 可 能 顔 画 像 の 認 識 等 に 用 いられる 2 次 元 変 換 例 画 像 空 間 極 座 標 空 間 対 数 極 座 標 空 間 r r tan 2 1 2 log r log r ma 2 ma ma L.Massone G.Sandini and V.Tagliasco From-invariant: Topological mapping strateg for 2D shape recognition Computer Vision Graphics and Image Processing vol.30 pp.169-188 1985 M. J. Swain and M. A. Stricker Promising directions in active vision International Journal of Computer Vision vol.11 no.2 pp.109-126 1993

Log-Polar 写 像 特 徴 画 像 解 析 論 7 5 元 画 像 拡 大 回 転 Cartesian 256 256 256 256 0 r Log - Polar 0 512 0 360 0 原 点 を 中 心 とした 拡 大 ρ 方 向 への 平 行 移 動 原 点 を 中 心 とした 回 転 θ 方 向 への 平 行 移 動 平 行 移 動 不 変 な 処 理 へ

画 像 解 析 論 7 6 高 次 局 所 自 己 相 関 関 数 1/2 Higher-order Local Autocorrelation;HLAC 相 関 関 数 r a1 a2... an f f a1... f an d D : 注 目 画 素 点 N: 自 己 相 関 の 次 元 D: 画 像 領 域 相 関 関 数 マスク N 2 の 場 合 1 2 6 10 14 18 22 3 7 11 15 19 23 4 8 12 16 20 24 5 9 13 17 21 25

高 次 局 所 自 己 相 関 関 数 2/2 画 像 を 複 数 のブロックに 分 割 ブロック 内 の 画 素 に 対 して 全 ての 相 関 係 数 を 計 算. 各 係 数 毎 に 積 算 し25 次 元 前 述 の 例 度 数 分 布 生 成. ブロックの 数 だけ 度 数 分 布 を 連 結 して 特 徴 表 現 平 行 移 動 に 対 して 不 変 画 像 の 微 視 的 統 計 量 を 表 現 度 数 画 像 解 析 論 7 7 1 2 3 4 5 6 7 23 24 25 1ブロック 分 の 度 数 表 現 例 大 津 展 之 パターン 認 識 に 関 する 数 理 的 研 究 電 子 技 術 総 合 研 究 所 研 究 報 告 Vol.818 1991

LBP-Local Binar Pattern1/2 手 法 の 特 徴 濃 度 変 化 に 対 して 不 変 な 特 徴 量 計 算 コストが 少 ない LBPの 計 算 法 画 像 解 析 論 7 8 注 目 点 の 画 素 値 I r とその8 近 傍 にある 画 素 値 I n を 比 較 注 目 点 と8 近 傍 の 画 素 値 27 16 10 22 20 34 15 30 12 1 if 0 if 2 値 化 重 み 付 け 1 0 0 1 2 4 1 1 128 8 0 1 0 64 32 16 I n I n I r I r LBP Pattern 10101001 LBP value 12832 81169

LBP-Local Binar Pattern2/2 画 像 解 析 論 7 9 画 像 を 複 数 のブロックに 分 割 ブロック 内 の 画 素 に 対 してLBPを 計 算. ブロック 毎 にLBPのヒストグラム 生 成.ビン 数 :256 ブロック 数 分 のヒストグラムを 連 結 して 特 徴 表 現 LBPヒストグラム ブロックに 分 割 LBP特 徴 量 T.OjalaM.Pietikäinen and D.Harwood A comparative stud of teture measures with classification based on feature distribution Pattern Recognition Vol.29 No.1 pp.51-59 1996

手 法 の 特 徴 Center-Smmetric LBP LBPに 比 べて 短 い 符 号 長. 勾 配 情 報 の 表 現. 小 領 域 のテクスチャ 表 現 が 可 能. CS-LBPの 計 算 法 注 目 点 と8 近 傍 の 画 素 値 n5 27 16 10 n7 22 15 20 34 30 12 M.Heikkilä et al. Description of Interest Regions with Center-smmetric Local Binar Patterns ICVGIP LNCS 4338 pp.58-69 2006 注 目 点 を 挟 む 対 称 な2 点 の 画 素 値 を 比 較 n 4 n 3 n 6 n 2 n 0 n 1 2 値 化 1 if ni ni4 0 s ni 0 else 重 み 付 け CS - LBP s n LBP value 128 32 8 1 169 i 0123 2 3 0 s n1 2 s n2 2 s n3 2 上 記 の 注 目 点 のCS-LBP 値 は CS-LBP= 1 + 0 2 + 1 2 2 + 1 2 3 = 13 画 像 解 析 論 7 10

CS-LBP 特 徴 記 述 子 注 目 領 域 Interest Pointの 表 現 Hessian-Affineや Harris-Affineによるコーナー 検 出 器 を 利 用. 楕 円 領 域 の 検 出 一 定 の 大 きさの 円 領 域 へ 写 像 Hessian-Laplace Harris-Laplaceも 利 用 可 ;アフィン 変 換 非 対 応 4 分 割 4 分 割 画 像 解 析 論 7 11 注 目 領 域 を44のセルに 分 割. 各 セル 毎 にCS-LBPのヒスト グラム 作 成 16bins/histogram. 各 ヒストグラムの 連 結. 4 4 16 = 256 次 元 特 徴 特 徴 ベクトルの 正 規 化 選 択 されたスケール 注 目 点 注 目 領 域 CS-LBP 特 徴 記 述 子

画 像 解 析 論 7 12 Haar 型 特 徴 表 現 1/2 ある 大 きさの 矩 形 領 域 毎 に 画 像 特 徴 を 表 現 する 直 交 基 底 関 数 の 例 Haar 変 換 の 基 底 関 数 に 類 似 した 領 域 を 利 用. Walsh 2 値 関 数 多 値 関 数 -Hadamard 基 底 関 数 88の 例 Haar基 底 関 数 88の 例

Haar 型 特 徴 表 現 2/2 画 像 解 析 論 7 13 Haar 型 表 現 ではある 検 出 窓 に 対 して 以 下 のような 矩 形 領 域 を 考 える. 検 出 窓 矩 形 領 域 黒 - 黄 ただし 矩 形 領 域 の 型 位 置 大 きさは 目 的 に 応 じて 選 択 これらの 矩 形 領 域 で 計 算 される 特 徴 量 f haarm は 矩 形 特 徴 量 YR m BRm : hhaar m f haar m : w P i j wb P i j i j YR i j w w b は 重 み 係 数. 通 常 は1 1 m BR m 画 像 Pij の 黄 色 および 黒 色 矩 形 領 域 の 画 素 集 合 検 出 窓 移 動

積 和 画 像 とその 性 質 画 像 解 析 論 7 14 積 和 画 像 Integral Image IP i j mi n j P m n IP : 積 和 画 像 P : 原 画 像 実 際 上 は 以 下 の 反 復 計 算 を 実 行. S i j S i j 1 P i j IP i j IP i 1 j S i j ただし S 1 IP 1 0 i j i 0 j0 D 画 像 P i 1 j1 積 和 IP A B i 0 j0 C D i 1 j0 i 0 j1 i 1 j1 IP i IP i 1 IP i 0 0 IP i 1 j j0 : A Cの 積 和 j : A Bの 積 和 j 1 1 0 : Aの 積 和 : A B C Dの 積 和 領 域 Dの 積 和 IP i1 j1 IP i0 j1 IP i1 j0 IP i0 j0 矩 形 領 域 の 大 きさ 位 置 に 関 わらず 一 定 数 時 間 で 積 和 計 算 可 能

HoGHistogram of Oriented Gradient セル 分 割 例 画 像 I を 画 素 の 重 ならないセルに 分 割 M Nセル m n 番 目 の 各 セル 内 の 全 画 素 の 勾 配 を 計 算 pqセルを 単 位 としてブロックを 構 成 し 1セル 毎 にブロックをシフト 各 画 素 の 濃 度 勾 配 : I I 画 像 解 析 論 7 15 例 えば1セル:88 画 素 など tan 勾 配 方 向 を9 方 向 量 子 化 しセル 内 度 数 分 布 作 成 :h m;n 濃 度 変 化 に 対 して 不 変 1 I I 例 2 2セル Navneet Dalal and Bill Triggs Histograms of Oriented Gradients for Human Detection Proc. of Int. Conf. on Computer Vision and Pattern Recognition 2005

画 像 解 析 論 7 16 合 計 : M p 1 N q 1 個 のブロック k番 目 のブロックが u行 v列 目 のセルを 先 頭 とするとき V となる 特 徴 ベクトルを 作 成. h さらに 特 徴 ベクトルを 正 規 化 ~ h ij k 例 [ h u; v u; v は u v 番 目 のセルの 度 数 分 布 V h 画 像 サイズ: セルサイズ: k h u; v1 ブロックサイズ: ij 2 h h 1.0 u; vq1 ij V h k 88 画 素 2 2セル u1; v 72 48画 素 h ~ V k u p1; v h u p1; vq1 ブロックk: 22セル V k : ブロック 数 : 40 特 徴 ベクトル 次 元 数 : 49 40 1440 ] h u ; v h u; v1 h u ; h v u ; v1 h u 1; v h u1; v1 h u 1; v h u1; v1

HoFHistogram of Oriented Optical Flow 時 空 間 注 目 点 特 徴 記 述 子 として 利 用. 画 像 解 析 論 7 17 時 空 間 注 目 点 検 出 器 : 2 次 元 画 像 f のスケール 空 間 表 現 L ; σ l 2 = g ; σ l 2 f 時 間 t ビデオ g ; σ l 2 τ l 2 = 2 次 元 画 像 f の 時 空 間 スケール 表 現 L ; σ l 2 τ l 2 = g ; σ l 2 τ l 2 f g ; σ l 2 τ l 2 : 時 空 間 分 離 ガウス 核 で 1 2π 3 σ l 4 τ l 2 ep 2 + 2 2σ l 2 ep t2 2τ l 2 時 空 間 2 次 モーメント 行 列 からHarris 関 数 による 注 目 点 検 出 2 L L L L L t μ = g ; σ 2 l τ 2 l L L 2 L L L t H = det μ k trace 3 μ L L t L L t 2 L t Ivan Laptev On Space-Time Interest Points Int. J. of Computer Vision 642/3107-123 2005

HoFの 概 要 画 像 解 析 論 7 18 時 空 間 注 目 点 の 周 囲 に ±Δ ±Δ ±Δt の 領 域 設 定 領 域 内 の 各 画 素 のオプティカルフローOFを 計 算. オプティカルフローを18 方 向 に 量 子 化 領 域 全 体 を8 個 のサブ 領 域 に 分 割 各 サブ 領 域 毎 にオプティカルフローのヒストグラム 計 算 このときフローの 大 きさと 注 目 点 からの 距 離 に 応 じた 重 み 付 け. 各 サブ 領 域 毎 のヒストグラムを 連 結 18 方 向 ヒストグラム 8サブ 領 域 分 正 規 化 144 次 元 特 徴 量 各 注 目 点 毎 に Ping Wang Gregor D. Abowd and James M. Rehg Quasi-Periodic Event Analsis for Social Game Retreival IEEE 12 th Int. Conf. on Computer VisionICCV112-119 2009

SIFT-Scale Invariant Feature Transform 手 法 の 特 徴 b Lowe 2004 スケール 空 間 での 各 点 ごとのスケール 特 徴 の 定 義 と 処 理 の 高 速 化 スケールに 基 づく 特 徴 領 域 の 決 定 とオリエンテー ションの 導 入 特 徴 領 域 のHOGHistogram of Gradientに 基 づく 特 徴 量 記 述 画 像 解 析 論 7 19 D.G.Lowe Distinctive image features from scale-invariant ke points Proc. of Int. Journal of Computer Vision IJCV 602 pp.91-110 2004

SIFT- 処 理 の 概 要 画 像 解 析 論 7 20 1キーポイント 候 補 点 の 検 出 L DoG 尺 度 空 間 上 での 局 所 探 索 によるキーポイント 候 補 点 と そのスケール 抽 出 2キーポイント 候 補 点 の 絞 込 み DoG 値 の 低 い 候 補 点 およびエッジ 上 の 候 補 点 の 除 去 キーポイントのサブピクセル 推 定 位 置 スケール 3キーポイント 周 りの 特 徴 領 域 の 決 定 オリエンテーションの 計 算 勾 配 方 向 ヒストグラム 作 成 4キーポイント 周 りの 特 徴 量 表 現

SIFT-キーポイント 検 出 1 画 像 解 析 論 7 21 スケール 特 徴 に 基 づく 特 徴 候 補 点 選 択 スケール 空 間 でのDoGの 局 所 探 索 局 所 領 域 Rをσ 軸 方 向 に 移 動 させながら R 内 でDoG 値 の 極 大 値 を 探 索. 極 大 点 が 見 つかった 時 点 でその 座 標 を 特 徴 候 補 点 キーポイント σをその 画 素 のスケールσ 0 とする. スケール 空 間 新 たな 特 徴 候 補 点 の 探 索. 局 所 領 域 Rをσ 軸 方 向 へ 走 査

DoG極 大 値 を 持 つキーポイ ント 候 補 点 の 検 出 候 補 点 の 絞 込 み DoG値 の 低 い 候 補 点 エッジ 上 の 候 補 点 などを 消 去 残 った 候 補 点 SIFT-キーポイント 検 出 2 に 対 しスケールに 応 じた 領 域 を 設 定 スケール 不 変 性. 特 徴 点 検 出 例 画 像 解 析 論 7 22 特 徴 表 現 後 述 円 の 中 心 :キーポイントの 位 置 円 の 半 径 :スケールの 大 きさ 円 中 心 からの 直 線 : 円 内 の 勾 配 特 徴 の 平 均 方 向 後 述 画 像 間 の 対 応 点 決 定 問 題 や 物 体 追 跡 への 応 用

SIFT-オリエンテーション 算 出 オリエンテーション:キーポイントにおける 方 向. この 方 向 により 向 きを 正 規 化 : 回 転 不 変 性 0 v キーポイントp: u 1; 1; ; 1 ; 1 tan 0 0 0 0 1 2 2 L L L L M G G G G ただし 勾 配 の 強 さ 勾 配 の 向 き 画 像 解 析 論 7 23 平 滑 化 画 像 :L G ; σ 0 を 参 照 pでの 近 傍 :Nu v σ 0 を 定 義 Nu v σ 0 に 対 し

画 像 解 析 論 7 24 重 み 付 き 方 向 ヒストグラムの 作 成 を36 方 向 に 量 子 化 ˆ さらに ˆ 方 向 のビンに 以 下 の 重 みを 付 けて 投 票. 度 数 1.0 0.8 w G u v; 0 M 0 ; :ガウス 関 数 キーポイントから 離 れるに 従 って 重 みが 小 さくなる. G p のオリエンテーションとする 0 0 10 20 30 35 勾 配 方 向 36 方 向

SIFT- 特 徴 量 記 述 画 像 解 析 論 7 25 勾 配 情 報 によるキーポイントの 特 徴 記 述 度 数 オリエンテーション ブロック1 4 分 割 各 ブロック 毎 に 8 方 向 オリエンテーション を 起 点 とする8 方 向 度 数 ヒストグラムを 計 算. 4 分 割 ブロック16 8 方 向 ガウス 窓 輝 度 勾 配 M 0 3 キーポイント 特 徴 量 : 勾 配 情 報 128 次 元 448 + オリエンテーションスケール

SURF:Speeded Up Robust Features 手 法 の 特 徴 画 像 解 析 論 7 26 B Herbert Ba Tinne Tutelaars and Luc Van Gool 2006 SIFTと 同 様 にキーポイントを 不 変 特 徴 量 で 記 述 計 算 の 高 速 化 のためガウス 関 数 による 畳 込 みを 近 似 処 理 で 代 用 直 接 マスク 処 理 による 各 点 でのスケール 計 算 ピラミッド 画 像 反 復 的 フィルタ 処 理 を 使 用 せず H.BaT.Tutelaars and L.V.Gool SURF:Speed Up Robust Features Proc. of Int. Conf. of ECCV 2006 H.BaA.Ess T.TutelaarsL.V. Gool SURF:Speeded Up Robust Features Computer Vision and Image UnderstandingCVIU vol.110no.3pp.346 359 2008

SURF 処 理 の 概 要 画 像 解 析 論 7 27 1ヘッセ 行 列 に 基 づくキーポイントの 検 出 ガウス 導 関 数 の 近 似 による 処 理 の 高 速 化 2LoG 簡 易 フィルタによるスケール 特 徴 計 算 画 像 のダウンサンプリングを 用 いないスケール 抽 出 用 フィルタ 群 によるスケールの 直 接 計 算. 3オリエンテーションの 決 定 扇 型 検 出 器 による 勾 配 分 布 の 最 大 方 向 選 択 4スケールに 基 づく 特 徴 領 域 の 決 定 と 特 徴 量 記 述

ヘッセ 行 列 SURF - キーポイント 検 出 Η L L L L L L L : Hessian 注 目 点 検 出 法 を 参 照 は 画 像 中 の 点 ガウス 導 関 数 との 畳 込 み 処 理 に 要 する 時 間 を 軽 減 ガウス 導 関 数 の 近 似 と 畳 込 みの 高 速 化 画 像 解 析 論 7 28 ガウス2 次 導 関 数 による 画 像 の 畳 み 込 み

画 像 解 析 論 7 29 SURF-ガウス 導 関 数 とその 近 似 G D G D

SURF - 近 似 処 理 ガウス 関 数 の 畳 み 込 みを 矩 形 フィルタで 近 似 G G D D 2 appro 9 0. det L L L Η 積 和 画 像 による 高 速 計 算 ヘッセ 行 列 の 固 有 値 よりキーポイント 検 出 画 像 解 析 論 7 30 2 2 b D w D b D w D b D w D I I L I I L I I L

SURF フィルタ 構 造 スケール 特 徴 抽 出 フィルタ 群 2121 画 像 解 析 論 7 31 1515 1 D 99 1 0-2 0 1 0 1-2 1 0 0-2 0 1 D 1 0-1 -1 1 最 小 レベル 1.2 0 1-1 -1 1 0 1-1 -1 1 appro 1.2 フィルタサイズ 9

画 像 解 析 論 7 32 SURF - オリエンテーション1 得 られたキーポイントのスケールより3の 半 径 を 持 つ 円 領 域 を 設 定. 円 領 域 内 の 各 点 について 以 下 のブロック 型 フィルタを 用 いてddを 計 算. d d d d 平 面 上 に 各 点 をプロット.

画 像 解 析 論 7 33 SURF - オリエンテーション2 60 度 の 扇 型 灰 色 部 分 内 にプロットされている 点 の 数 を 計 算 扇 型 をずらし 数 の 最 も 多 い 扇 型 を 検 出. 検 出 された 扇 型 の 向 きをキーポイ ントのオリエンテーションとする.

SURF - 特 徴 記 述 1 画 像 解 析 論 7 34 オリエンテーションの 方 向 に 回 転. スケール 値 によって 決 まる 円 領 域 を44 16 のブロックに 分 割. 各 ブロック 内 で25 個 のサンプル 点 について dd を 計 算. オリエンテーション キーポイント

SURF - 特 徴 記 述 2 画 像 解 析 論 7 35 ブロック 内 の 各 サンプル 点 における d d d d の 加 算 d d d d を 計 算.4 次 元 特 徴 444 64 次 元 の 特 徴 ベクトルでキーポイント 特 徴 量 と 定 義.

Ferns 画 像 解 析 論 7 36 b Mustafa Özusal Pascal Fua and Vincent Lepetit 2007 手 法 の 特 徴 パッチの 可 能 な 見 え 方 を 統 計 的 にモデル 化 準 単 純 ベイズ 法 による 構 成 非 階 層 的 で 過 学 習 なし. アドフォックなパッチ 画 像 の 正 規 化 が 不 要. インプリメントが 容 易 M.Özusal M.Calonder V.Lepetit P.Fua Fast Kepoint Recognition using Random Ferns accepted to IEEE PAMI 2009 M.Özusal P.Fua V.Lepetit Fast Kepoint Recognition in Ten Lines of Code Proc. of Int. Conf. on Computer Vision and Pattern Recognition 2007

Ferns 処 理 の 概 要 画 像 解 析 論 7 37 1モデル 画 像 からキーポイントを 抽 出 1つのキーポイントが1つのクラスに 対 応 2キーポイント 周 辺 のパッチ 画 像 の 切 出 し 3 切 り 出 したパッチ 画 像 にアフィン 変 換 雑 音 付 与 を 施 した 多 数 のパッチ 画 像 生 成 クラス 内 サンプル 4 得 られたパッチ 画 像 から 不 変 特 徴 記 述 子 を 作 成 5 各 クラス 毎 に 特 徴 の 尤 度 分 布 を 構 成

Ferns - 特 徴 記 述 画 像 解 析 論 7 38 k番 目 のキーポイント 周 りの 全 ての 見 え 方 を 表 すクラス:c k キーポイント 周 りのL 枚 のパッチ 画 像 各 パッチ 画 像 中 でランダムにN対 の 位 置 選 択 : : d j1 d j 1 d j 2 j 1 N : d j2 f 1 キーポイントはヘッセ 行 列 により 抽 出 各 位 置 対 毎 に 以 下 の 特 徴 計 算 f2 f3 f N :キーポイント d Id 1 if I j1 j 2 f j 0 otherwise 但 し I はパッチ 画 像 の 値 Nビットの 2進 数 系 列 : f1 f2 f3 f N f i {01}

Ferns - 分 類 器 1 画 像 解 析 論 7 39 基 本 的 処 理 :MAP 推 定 入 力 画 像 中 の 注 目 点 のN 個 の 特 徴 より 事 後 確 率 が 最 大 になる 特 徴 点 クラスを 選 ぶ. cˆ i arg ma P C ci f f2 c i f 1 N C :クラスを 表 す 確 率 変 数 f i :i 番 目 の 特 徴 値 予 め 作 成 済 の 特 徴 点 クラス c c1 2 c T 注 目 点 入 力 画 像 特 徴 抽 出 どのクラスに 最 も 近 い? 3 f1 f2 f f N f i {01} Ferns 特 徴 表 現

Ferns - 分 類 器 2 画 像 解 析 論 7 40 統 計 モデル 作 成 とマッチング 処 理 を 容 易 にするために 最 尤 推 定 法 の 枠 組 みを 導 入 ベイズの 定 理 P C c i f 1... f N P f1... f N C ci PC ci P f... f 1 N 各 クラスの 事 前 確 率 P C c を 一 定 と 仮 定 すると 上 記 の 事 後 確 率 最 大 化 問 題 は 以 下 のように 尤 度 最 大 化 問 題 となる. cˆ i arg ma P f f2 c i i f C c 1 N i

画 像 解 析 論 7 41 Ferns - 準 単 純 ベイズ 分 類 器 の 構 成 全 ての 特 徴 が 独 立 な 事 象 と 仮 定 すると f 結 合 確 率 は 以 下 のように 表 される. P 1 f 1 f2... f N C ci P fk C ci N k1 f N の この 式 に 基 づいて 尤 度 最 大 化 を 行 う 識 別 器 は 単 純 ベイズ 分 類 器 Naïve Baes Classifierに 相 当. 単 純 ベイズ 法 では 特 徴 間 の 関 係 を 完 全 に 無 視 N 個 の 特 徴 をM 個 のグループに 分 割 グループ 内 の 特 徴 依 存 関 係 を 考 慮 準 単 純 ベイズ 分 類 器 サイズ:S=N/M の 特 徴 群 に 分 割 Fern

画 像 解 析 論 7 42 P f 1 f2... f N C ci P Fk C ci ここで F k M k1 Ferns Fern N : 特 徴 数 S : Fernサイズ M : { f k1 f k2 f k S } k 1 M Fern数 2 進 Nビット 長 の2 N 特 徴 空 間 をM 2 S 特 徴 空 間 に 圧 縮 さらに 対 数 尤 度 を 考 え 以 下 のような 分 類 器 を 構 成 cˆ i arg ma M ci k1 log P F k C c i

Ferns - 実 装 法 画 像 解 析 論 7 43 実 装 上 対 数 尤 度 を 以 下 のような 度 数 分 布 で 表 現 S=3の 場 合 Fern1 f1 f2 f3 0 0 1 0 1 1 Fern 2 8 通 りの 系 列 が 可 能 1 0 1 Fern M L パッチL 1 クラスc i のパッチ 画 像 集 合 パッチ1 Fern 2 Fern 2 Fern 2 Fern 1 Fern 1 Fern 1 Fern M Fern M Fern M 各 Fern 値 の 積 算 012 3 4 5 6 7 クラスc i の 特 徴 尤 度 分 布

画 像 解 析 論 7 44 各 クラスの 特 徴 尤 度 分 布 の 学 習 1. 各 キーポイント 毎 の 周 辺 パッチ 画 像 の 切 り 出 し 2. 各 パッチ 画 像 に 対 する 様 々なアフィン 変 換 画 像 の 生 成 3. 各 キーポイント 周 辺 の 可 能 な 見 え 方 を1つのクラスと して 定 義 4. 各 クラス 毎 の 対 数 尤 度 分 布 をモデル 化 例 4つの 特 徴 点 クラスに 対 して 以 下 のような 尤 度 分 布 が 作 成 された 場 合 を 考 える. c1 c2 c3 c4 012 3 4 5 6 7 012 3 4 5 6 7 012 3 4 5 6 7 012 3 4 5 6 7

クラスの 照 合 未 知 パッチ 画 像 画 像 解 析 論 7 45 Fern 1 Fern 2 Fern M 0 0 1 1 2 0 4 1 3 0 1 0 尤 度 積 算 値 c 1 012 3 4 5 6 7 c 1 012 3 4 5 6 7 c 1 012 3 4 5 6 7 c 2 c 2 c 2 012 3 4 5 6 7 012 3 4 5 6 7 012 3 4 5 6 7 c1 c2 c3 c4 c 3 c 3 c 3 012 3 4 5 6 7 012 3 4 5 6 7 012 3 4 5 6 7 c 4 012 3 4 5 6 7 c 4 012 3 4 5 6 7 c 4 012 3 4 5 6 7 最 大 尤 度 を 持 つ クラスの 選 択

の 番 目 の 要 素 は 特 徴 ベクトル ただし : 特 徴 の 次 元 数 に 対 して 特 徴 点 間 距 離 を 定 義. と とする. での 特 徴 点 集 合 を ; 対 応 点 探 索 を 行 う 画 像 k v v N v v d V V N i V N i V I I I I T j R i T k j R k i N k T k j R k i T j R i T T j R R i T T i T R R i R T R T R 1 2 1 1 v v v v v v v v と 対 応 関 係 集 合 を 形 成. は を 満 たす 特 徴 点 集 合 と 唯 一 の 対 応 関 係 を 形 成. は を 満 たす 特 徴 点 に 対 して ある 閾 値 } { 1 min R i T j T T j R i T j R i T j T j R i j N j T d T d T v v v v v v v v v 特 徴 ベクトルによる 対 応 点 探 索 判 定 結 果 : 閾 値 Tに 依 存 画 像 解 析 論 7 46

使 用 画 像 対 応 点 探 索 実 験 その1 対 応 点 決 定 における 閾 値 の 影 響 実 験 画 像 解 析 論 7 47 探 索 の 閾 値 Tを 変 化 画 像 A 画 像 B SIFTによる 対 応 点 探 索 画 像 サイズ: 640 480 画 素

SIFT 対 応 点 探 索 処 理 例 1 画 像 解 析 論 7 48 T 0.49

SIFT 対 応 点 探 索 処 理 例 2 画 像 解 析 論 7 49 T 0.60

SIFT 対 応 点 探 索 処 理 例 3 画 像 解 析 論 7 50 T 0.70

対 応 点 探 索 実 験 その2 各 手 法 の 結 果 とその 所 用 時 間 比 較 実 験 モデル 画 像 画 像 解 析 論 7 51 画 像 サイズ: 328244 画 素 探 索 画 像 異 なる 角 度 距 離 から 撮 影 した7 枚 の 画 像 画 像 サイズは 全 て640480 画 素

対 応 点 探 索 実 験 実 験 画 像 画 像 解 析 論 7 52 実 験 画 像 1 実 験 画 像 2 実 験 画 像 3 実 験 画 像 4 実 験 画 像 5 実 験 画 像 6

実 験 SIFT1-2 画 像 解 析 論 7 53 モデル 画 像 特 徴 表 現 時 間 :691ms 使 用 プログラム Rob Hess http://web.engr.oregonstate.edu/~hess/ 所 要 時 間 1342ms 所 要 時 間 1284ms マッチング 数 124 組 マッチング 数 128 組

実 験 SIFT3-4 画 像 解 析 論 7 54 所 要 時 間 1440ms 所 要 時 間 1761ms マッチング 数 135 組 マッチング 数 50 組

実 験 SIFT5-6 画 像 解 析 論 7 55 所 要 時 間 1800ms 所 要 時 間 1533ms マッチング 数 26 組 マッチング 数 41 組

実 験 SURF1-2 画 像 解 析 論 7 56 モデル 画 像 特 徴 表 現 時 間 :31ms 使 用 プログラム OpenCV http://sourceforge.net/projects/opencvlibrar/ 所 要 時 間 135ms 所 要 時 間 102ms マッチング 数 65 組 マッチング 数 57 組

実 験 SURF 3-4 画 像 解 析 論 7 57 所 要 時 間 156ms 所 要 時 間 123ms マッチング 数 84 組 マッチング 数 16 組

実 験 SURF5-6 画 像 解 析 論 7 58 所 要 時 間 174ms 所 要 時 間 103ms マッチング 数 3 組 マッチング 数 6 組

実 験 Ferns1-2 画 像 解 析 論 7 59 モデル 画 像 学 習 時 間 : 684797ms 使 用 プログラム http://cvlab.epfl.ch/software/ferns/inde.php 所 要 時 間 79ms 所 要 時 間 79ms マッチング 数 154 組 マッチング 数 224 組

実 験 Ferns3-4 画 像 解 析 論 7 60 所 要 時 間 90ms 所 要 時 間 75ms マッチング 数 191 組 マッチング 数 118 組

実 験 Ferns5-6 画 像 解 析 論 7 61 所 要 時 間 83ms 所 要 時 間 101ms マッチング 数 0 組 マッチング 数 167 組