ビジュアル情報処理

Size: px

Start display at page:

Download "ビジュアル情報処理"

みひなわかはら
5 years ago
Views:

コンピュータビジョン特論 Advanced Computer Vision 第 5 回最適なエッジ検出器良いエッジ検出器とは Good Detection:

Detection Tutorial http://www.pages.dreel.edu/~weg/can_tut.html の処理手順 1.

Non-maimum uppression 処理を行う 5. Hsteresis Threshold 処理を行う 1.

1 コンピュータビジョン特論 Advanced Computer Vision 第 5 回最適なエッジ検出器良いエッジ検出器とは Good Detection: ノイズに強い Good Localization: 真のエッジの所を検出 ingle Response: 各点に一本のエッジを検出 Cann Edge Detection Tutorial の処理手順 1. Gaussianフィルタで画像を平滑化. 平滑化された画像の微分を計算 3. 勾配の大きさと方向を求める 4. Non-maimum uppression 処理を行う 5. Hsteresis Threshold 処理を行う 1.Gaussian フィルタで画像を平滑化 I g ) g( ) I ( g( 1. 平滑化された画像の微分を計算 g I g I g g I I g g I ) e g g g g g Derivative of Gaussian ステップ 1 と処理後の結果例 g ( ) g 1 ( ) e g ( ) 入力画像 I 1

ステップ 3 処理後の結果例 3. 勾配の大きさと方向を求める (, ) 勾配ベクトル大きさ方向 tan 1 4.

Non-maimum uppression 処理を行う 0 : 勾配方向の量子化内挿画素の問題を解決するため tanθ 角度を量子化 (Quantizations): -0. 414 tan θ 0.

414 tan θ 0. 414 次のエッジ点を予測 Assume the marked point is an edge point.

2 ステップ 3 処理後の結果例 3. 勾配の大きさと方向を求める (, ) 勾配ベクトル大きさ方向 tan 1 4. Non-maimum uppression 処理を行う入力画像勾配の大きさ勾配 ( エッジ ) 方向に沿って画素はローカル最大か否かをチェック ( 非最大エッジ抑制 ) if M & 0 otherwise 4. Non-maimum uppression 処理を行う 0 : 勾配方向の量子化内挿画素の問題を解決するため tanθ 角度を量子化 (Quantizations): tan θ 勾配 ( エッジ ) 方向に沿って画素 q はローカル最大か否かをチェック ( 非最大エッジ抑制 ) するとき内挿画素 p と r をチェックすることになる 1: : 3: tan θ. 414 tan θ tan θ 次のエッジ点を予測 Assume the marked point is an edge point. Then we construct the tangent to the edge curve (which is normal to the gradient at that point) and use this to predict the net points (here either r or s). Non-Maimum uppression の処理結果 ( 細線化 ) M 値化処理 tep 3 tep 4 For visualization M Threshold 5 (Forsth & Ponce)

5. Hsteresis Threshold 処理を行う can the image from left to right, top-bottom.

Hsteresis Threshold 処理を行う If the gradient at a piel is between low and high Consider its neighbors iterativel then declare

magnitude edge piel High low non-edge-piel magnitude edge piel High low non-edge-piel ヒステリシス閾処理ヒステリシス閾処理 Hsteresis

connected Hsteresis High 35 Low 15 tep 5 Effect of (Gaussian kernel size) 全体像 g () magnitude original The choice of Cann

3 5. Hsteresis Threshold 処理を行う can the image from left to right, top-bottom. If the gradient at a piel is above High, declare it an edge piel below Low, declare it a non-edge-piel 5. Hsteresis Threshold 処理を行う If the gradient at a piel is between low and high Consider its neighbors iterativel then declare it an edge piel if it is connected to an edge piel directl or via piels between low and high. magnitude edge piel High low non-edge-piel magnitude edge piel High low non-edge-piel ヒステリシス閾処理ヒステリシス閾処理 Hsteresis Threshold 処理を行う Connectedness Hsteresis Threshold 処理結果例 M( 細線化 ) regular M 5 4 connected 8 connected 6 connected 6 connected Hsteresis High 35 Low 15 tep 5 Effect of (Gaussian kernel size) 全体像 g () magnitude original The choice of Cann with Cann with depends on desired behavior large detects large scale edges ( 割と低周波数 ) small detects fine features ( 高周波数まで ) 注 :OpenCVのライブラリ内のは3, 5, 7ができる Input Image g () direction Non-maimum suppression Hsteresis thresholding 3

4 出席チェック 4-1 の処理流れは式を入れながら述べてくださいレポート 3 OpenCVではのサンプルプログラムがあります関連パラメータを調整しながら好きな一枚の画像のエッジを検出してくださいレポートには元画像使ったパラメータ選定理由と処理後の画像をそれぞれ記述してください提出期限 : 3 週間以内 ( 講義の時 OR 私の部屋 (A61)) Tpes of invariance Illumination Tpes of invariance Tpes of invariance Illumination cale Illumination cale Rotation Tpes of invariance Tpes of invariance Illumination cale Rotation Affine Illumination cale Rotation Affine Full Perspective 4

IFT(cale-Invariant Feature Transform) http://www.vision.cs.chubu.ac.

スケールとキーポイント検出キーポイントのローカライズオリエンテーションの割り当て特徴量記述 Local Features: Detectors & Descriptors Detected Interest

異なるの平滑化画像の差分によりDoG 画像を生成 L(,) G(,)I() L(,) : 平滑化画像 I() : 入力画像 G(,) 1 ep G(,) : ガウス関数 D(,) :DoG 画像 D(,) L(,k) L(,)

) a( ) スケールとキーポイント検出 1 Difference-of-Gaussian(DoG) 画像から極値を検出しキーポイントとそのスケール情報を決定 D k D k D k 4 3 Dk D DOG 画像の実例

5 IFT(cale-Invariant Feature Transform) 特徴点の検出特徴量の記述を行うアルゴリズム検出した特徴点に対し頑健な特徴量の記述が可能処理は段階に分ける : detection description スケールの変化画像の回転照明条件の変化スケールとキーポイント検出キーポイントのローカライズオリエンテーションの割り当て特徴量記述 Local Features: Detectors & Descriptors Detected Interest Points/Regions Descriptors < > < > < > 18 次元のベクトル Difference-of-Gaussian(DoG) 異なるの平滑化画像の差分によりDoG 画像を生成 L(,) G(,)I() L(,) : 平滑化画像 I() : 入力画像 G(,) 1 ep G(,) : ガウス関数 D(,) :DoG 画像 D(,) L(,k) L(,) k : 増加率 0 ー k 0 入力画像 DoG 画像平滑化画像熱伝導の微分方程式との関連 : F(, z, t) F(, z, t) F(, z, t) F(, z, t) a( ) t z G(, ) G(, ) G(, ) a( ) スケールとキーポイント検出 1 Difference-of-Gaussian(DoG) 画像から極値を検出しキーポイントとそのスケール情報を決定 D k D k D k 4 3 Dk D DOG 画像の実例 Differences スケールとキーポイント検出 Difference-of-Gaussian(DoG) 画像から極値を検出しキーポイントとそのスケールを決定 Choose all etrema within 333 neighborhood. Dk k D k D 6 近傍の最大最小値からキーポイントを検出その時のはスケールとする 5

オリエンテーションの割り当てキーポイントの周辺領域から勾配強度 *Gaussian 重みの勾配方向ヒストグラムを求めピークをオリエンテーションとして割り当てる ( ピークは複数個の可能性がある )

8 0 Peak * Histogram Gaussian 35 Features IFTにより FeaturePoint,Orientation,caleは決定済み (1)

方向の勾配方向ヒストグラムを求める (4X4X8=18) 回転及びスケールに不変な 18 次元の特徴量を得る 4 IFT 特徴量記述 (18 次元 ) IFT 特徴量記述 (18 次元 ) 4 18

IFT の対応点探索による画像のマッチング異なる画像間で抽出されたキーポイントの特徴量を比較することで画像間の対応点探索が可能 18 次元の IFT 特徴量間のユークリッド距離 d を算出 d(v k I

6 オリエンテーションの割り当てキーポイントの周辺領域から勾配強度 *Gaussian 重みの勾配方向ヒストグラムを求めピークをオリエンテーションとして割り当てる ( ピークは複数個の可能性がある ) Feature Point IFT 特徴量記述 (18 次元 ) Orientation Feature Point Orientation Gaussian 8 4 Feature Point Peak * Histogram Gaussian 35 Features IFTにより FeaturePoint,Orientation,caleは決定済み (1) キーポイントのスケールによって定まる周辺領域をオリエンテーションに従い回転させる () 周辺領域をキーポイントからの距離によるガウス窓で重み付け (3) 周辺領域を4 4の16 個の小領域に分け各小領域で8 方向の勾配方向ヒストグラムを求める (4X4X8=18) 回転及びスケールに不変な 18 次元の特徴量を得る 4 IFT 特徴量記述 (18 次元 ) IFT 特徴量記述 (18 次元 ) 4 18 次元の各特徴ベクトルの長さはベクトルの総和で正規化キーポイントは照明変化に対する影響の少ない特徴量となる回転スケール変化回転及びスケールに不変な 18 次元の特徴量を得る輝度変化回転スケール変化 IFT の対応点探索による画像のマッチング異なる画像間で抽出されたキーポイントの特徴量を比較することで画像間の対応点探索が可能 18 次元の IFT 特徴量間のユークリッド距離 d を算出 d(v k I 1,vk I ) 18 i1 (v k I 1 k i v I i ) d が最小となる点対応点 d1/d の比が十分小さい d:1 d:54 k: キーポイント v k : キーポイントの特徴量 d:47 輝度変化アフィン変化不変とは言えない画像 I1 d:68 画像 I 6

7 Correspondence Recognition under occlusion 対応点が 3 点以上取れば識別が可能 Images from: M. Brown and D. G. Lowe. Recognising Panoramas. In Proceedings of the the International Conference on Computer Vision (ICCV003 ) 見え隠れのある物体で識別が可能になる Image Registration Results 一般物体認識 Bag of Features (BOF) パノラマ画像の統合が可能になる [Brown & Lowe 003] 局所特徴量 ( 特徴ベクトル ) Fei-Fei Li ( を改変 40 一般物体認識 :Bag of Features 一般物体認識 :Bag of Features クラスタリング visual word 41 visual word を次元とする特徴ベクトル頻度に基づく重みを記録共通の語彙で様々な画像を表現 4 7

処理の流れ 1. キーポイント検出子キーポイント ( 特徴点 ) の検出スケール探索.

近似ヘッセ行列の算出 Bo filter による近似 Integral Image による高速化.

極値探索によるキーポイント検出近似ヘッセ行列の算出 bo filter integral

はガウシアンの各方向の次微分を画像 I() に畳み込んだ応答値スケールスペースの構築

方向の両方の輝度差が大きい (b) 方向の両方の輝度差が大きいが極性が違う (c)

8 出席チェック 4- 考えられる IFT を利用した新しいアプリケーションは? IFT アプローチの高速化 URF(peeded Up Robust Features) 処理の流れ 1. キーポイント検出子キーポイント ( 特徴点 ) の検出スケール探索. 記述子オリエンテーション特徴量の記述 URF のキーポイント検出子処理の流れ入力画像 1. 近似ヘッセ行列の算出 Bo filter による近似 Integral Image による高速化. スケールスペースの構築 3. 極値探索によるキーポイント検出近似ヘッセ行列の算出 bo filter integral image scale: σ 極値探索キーポイント次微分の集合ヘッセ行列 Lab はガウシアンの各方向の次微分を画像 I() に畳み込んだ応答値スケールスペースの構築 scale σ の変更 L L L エッジの種類と判別式エッジの種類 (a) 方向の両方の輝度差が大きい (b) 方向の両方の輝度差が大きいが極性が違う (c) 方向の片方が輝度差が大きい判別式 Bo filter による判別式を近似 L L L 近似 (a) (b) (c) ガウシアンの次微分は計算コストが高いため判別に時間が掛かる近似判別式 D D D 0.9 倍 : 近似誤差修正 8

cale cale cale Integral Image 矩形領域の輝度値の和を高速に算出可能利点領域の数が多い場合領域が重なり合う場合 O スケールスペース

6 フィルタサイズ : 9 9, 15 15, 1 1, 7 7 = A -B-C +D D B C A 極値探索 6 近傍で極値ならキーポイント URF (peeded Up

URF の記述子キーポイント検出例オリエンテーションの算出 6s の領域からオリエンテーションを算出 Haar-Wavelet を用いて勾配方向と強度を算出

9 cale cale cale Integral Image 矩形領域の輝度値の和を高速に算出可能利点領域の数が多い場合領域が重なり合う場合 O スケールスペース σを増加し, 複数の近似ヘッセ行列を作成スケールσ : 1.,.0,.8, 3.6 フィルタサイズ : 9 9, 15 15, 1 1, 7 7 = A -B-C +D D B C A 極値探索 6 近傍で極値ならキーポイント URF (peeded Up Robust Features) 1. URF のキーポイント検出子. URF の記述子キーポイント検出例オリエンテーションの算出 6s の領域からオリエンテーションを算出 Haar-Wavelet を用いて勾配方向と強度を算出オリエンテーション算出領域内をラスタ操作方向と方向の応答 (d d) から勾配方向と強度を算出方向の正規化 1. 記述範囲として 0s の領域を選択. 領域を 4 4(=16) ブロックに分割 3. 記述範囲をオリエンテーション方向に回転 4s 4s 9 6s 0s 6s 0s 勾配方向の分解能は 60 度 6 方向のヒストグラムを作成勾配強度の和が最も大きい角度オリエンテーション 9

特徴ベクトル算出 1 つのブロックを 4 分割分割した同じサイズの Haar-Wavelet を作成応答値より ΣdΣd,Σ d,σ d を算出 16 分割 4 次元 =64 次元速度とマッチングの比較 Detector の処理時間 [ms] Detector しきい値特徴点数処理時間

U-URF URF URF-18 IFT 55 354 391 1036 対応点マッチングの正解率 [%] まとめ :URF IFT より精度がちょっと低い以下の特徴があるので高速マッチングが可能 Integral Image の利用 Hessian 行列算出に bo filters の利用

ca/~lowe/kepoints/ IFT(C++):Vedaldi http://vision.ucla.edu/~vedaldi/code/siftpp/siftpp.html IFT(MATLAB):Vedaldi http://vision.ucla.edu/~vedaldi/code/sift/sift.

10 特徴ベクトル算出 1 つのブロックを 4 分割分割した同じサイズの Haar-Wavelet を作成応答値より ΣdΣd,Σ d,σ d を算出 16 分割 4 次元 =64 次元速度とマッチングの比較 Detector の処理時間 [ms] Detector しきい値特徴点数処理時間 Fast-Hessian(URF) Hessian-Laplace Harris-Laplace DoG(IFT) default 速度とマッチングの比較 Descriptorの処理時間 [ms] U-URF URF URF-18 IFT 対応点マッチングの正解率 [%] まとめ :URF IFT より精度がちょっと低い以下の特徴があるので高速マッチングが可能 Integral Image の利用 Hessian 行列算出に bo filters の利用 U-URF URF URF- 18 IFT GLOH PCA- IFT 正解率 Tracking/FM 公開されているソースコード IFT( 実行形式ファイル ):Lowe IFT(C++):Vedaldi IFT(MATLAB):Vedaldi PCA-IFT:Ke URF : Herbert GPGPU を用いた IFT : Wu 10

Microsoft PowerPoint - pr_12_template-bs.pptx

Microsoft PowerPoint - pr_12_template-bs.pptx 12 回パターン検出と画像特徴テンプレートマッチング領域分割画像特徴テンプレートマッチング 1 テンプレートマッチング ( 図形画像などの ) 型照合 Template Matching テンプレートと呼ばれる小さな一部の画像領域と同じパターンが画像全体の中に存在するかどうかを調べる方法画像内にある対象物体の位置検出物体数のカウント物体移動の検出などに使われるテンプレートマッチングの計算