1 3 BFD Fig. 1 1 Retrieval Efficiency with Background Difference 3 Fig. 3 Flowchart of BFD [8] [9] 2. (Based on Fourier transform Deletion:BFD) (Based

Size: px

Start display at page:

Download "1 3 BFD Fig. 1 1 Retrieval Efficiency with Background Difference 3 Fig. 3 Flowchart of BFD [8] [9] 2. (Based on Fourier transform Deletion:BFD) (Based"

まいかたけはな
7 years ago
Views:

1 DEIM Forum 2012 XX-Y w848006x@mails.cc.ehime-u.ac.jp, ci15c0vercia0n@gmail.com, yuji@cite.ehime-u.ac.jp Improvement of Retrieval Efficiency on the Similarity Image Retrieval with Deletion of Background Region Kosuke TOCHIHARA, Yuma YOSHIMOTO, and Yuji NAKAGAWA Graduate School of Science and Engineering Mathematical Sciences Ehime University Bunkyo-cho 2 5 Matsuyama city Ehime, Japan Department of Mathematics Faculty of Science Ehime University Bunkyo-cho 2 5 Matsuyama city Ehime, Japan Center for Information Technology Ehime University Bunkyo-cho 3 Matsuyama city Ehime, Japan w848006x@mails.cc.ehime-u.ac.jp, ci15c0vercia0n@gmail.com, yuji@cite.ehime-u.ac.jp Abstract Currently we use digital images easily by currency of digital camera and the amount of the digital images have increased by improvement of storage medium. Therefore demand of image retrieval systems has increased. We developed an effective algorithm for image retrieval system. The algorithm divide a digital image into foreground region and background region automatically. And it makes retrieval efficiency of the system improved. We compared our algorithm with other manual algorithm and we appreciated retrieval efficiency of image retrieval system with our algorithm. Key words Similarity Image Retrieval Image Database Deletion of Background Region 1. [1] [2] [3] [4] [5] [6] [7]

jp Improvement of Retrieval Efficiency on the Similarity Image Retrieval with Deletion of Background Region Kosuke TOCHIHARA, Yuma YOSHIMOTO, and Yuji NAKAGAWA Graduate School of Science and

1 3 BFD Fig. 1 1 Retrieval Efficiency with Background Difference 3 Fig. 3 Flowchart of BFD [8] [9] 2. (Based on Fourier transform Deletion:BFD) (Based on Edge strength Deletion:BED) 2 ( 2) 2. 1. 1 Gray Scale Gray Scale Gray Scale NTSC R G B R G B Gray Scale Y 1 Y = 0.

2 1 3 BFD Fig. 1 1 Retrieval Efficiency with Background Difference 3 Fig. 3 Flowchart of BFD [8] [9] 2. (Based on Fourier transform Deletion:BFD) (Based on Edge strength Deletion:BED) 2 ( 2) Gray Scale Gray Scale Gray Scale NTSC R G B R G B Gray Scale Y 1 Y = R G B (1) BFD 2 4 Fig. 2 2 Digital image into foreground and background 2. 1 (BFD) 1 (Based on Fourier transform Deletion:BFD) 4 Fig. 4 Resolution Transform

1 Gray Scale Gray Scale Gray Scale NTSC R G B R G B Gray Scale Y 1 Y = 0.298912 R + 0.586611 G + 0.114478 B (1) 2.

2 32 32pixels 256 256pixels 5 7 Fig. 7 Path of Integration Fig. 5 5 Segmentation into small regions 2. 1. 3 2 2 2 6 Spectrum Image S(u, v) S(u, v) S(u, v) S(u, v) 2 8 Fig. 8 Deletion with FFT 6 Fig.

3 pixels pixels 5 7 Fig. 7 Path of Integration Fig. 5 5 Segmentation into small regions Spectrum Image S(u, v) S(u, v) S(u, v) S(u, v) 2 8 Fig. 8 Deletion with FFT 6 Fig. 6 Digital Fourier Transform S(u, v) w P SD(w) 2 S(u, v) 2 w P ath(w) P ath(w) 2. 2 (BED) 2 (Based on Edge strength Deletion:BED) 8 Image after BFD 9 P SD(w) = P ath(w) 1 S(u, v) 2 dudv (2) P ath(w) (u,v) pixels 9 Fig. 9 Flowchart of BED

6 Digital Fourier Transform S(u, v) w P SD(w) 2 S(u, v) 2 w P ath(w) P ath(w) 2.

2. 2. 1 Median Filter BED Median Filter Median Filter ( 10) 11 Laplacian Filter Fig. 11 Edge Strength with Laplacian Filter 12 Fig. 12 Deletion with Edge Strength 13 10 Fig.

4 Median Filter BED Median Filter Median Filter ( 10) 11 Laplacian Filter Fig. 11 Edge Strength with Laplacian Filter 12 Fig. 12 Deletion with Edge Strength Fig. 10 Median Filter Noise Erasion with Median Filter Laplacian Filter 1 Laplacian Filter Laplacian Filter Laplacian Filter BFD Fig. 13 Deletion background region with edge strength Fig. 14 Deletion with Edge Strength

10 Median Filter Noise Erasion with Median Filter 2.

2. 2. 4 15 15 Fig. 15 Damaged Foreground Region 1 16 16 Fig. 16 Interpolation of Foreground Region 2. 2. 5 ( 17) 3. 1 RGB HSV 2 3. 1. 1 RGB RGB RGB RGB (Red) (Green) (Blue) RGB 0 255 RGB 3 27 3. 1. 2 HSV HSV HSV HSV (Hue) (Saturation) (Value) 12 3 15 3.

5 Fig. 15 Damaged Foreground Region Fig. 16 Interpolation of Foreground Region ( 17) 3. 1 RGB HSV RGB RGB RGB RGB (Red) (Green) (Blue) RGB RGB HSV HSV HSV HSV (Hue) (Saturation) (Value) (HLAC) Sobel Filter Sobel Filter 1 x y HLAC HLAC Fig. 17 Deletion Small Region with Labeling 3. n 4. 1 n A 3 B 4

2 12 (HLAC) 3. 2. 1 12 12 12 12 Sobel Filter Sobel Filter 1 x y 3. 2. 2 HLAC HLAC 2 3 3 25 25 2 25 25 4.

6 する像をキュー画像とするキュー画像として図 19 に示すとおり 6 種類の花をそれぞれ条件を変えて 7 枚ずつ撮影した合計 42 CA = [a1,..., an ] (3) CB = [a1,..., an ] (4) 枚のデジタル画像を用いたまた図 20 に示すとおりキュー画像 42 枚それぞれに対し手動による背景領域の削除を行い対象物体の領域を残した画像を作成しこれを対象画像としたさらにユークリッド距離 dv (CA, CB ) を式 5 で定義する du (CA, CB ) = n (ai bi )2 (5) i= 方向余弦距離による類似度類似した画像から算出された特徴ベクトルにおいてそのベクトル間の角度は小さくなると考えられるそこで方向余弦距離による類似度を用いた方向余弦距離による類似度ではベクトル間の角度を類似度として用いる方向余弦距離 dv (CA, CB ) を式 6 で定義する dv (CA, CB ) = arccos CA CB k CA k k CB k (6) 図 19 キュー画像 Fig. 19 Queue Images 4. 3 画像類似度本研究ではデジタル画像から抽出される特徴量は色特徴量と形状特徴量の 2 つである従って 2 枚のデジタル画像から類似度を算出する際色に関する類似度と形状に関する類似度の 2 種類が算出される本研究ではこれら 2 つの類似度を組み合わせた類似度を画像類似度 dimage として用いた画像類似度 dimage を式 7 で定義するただし色特徴量による類似度を色類似度 dcolor 形状特徴量による類似度を形状類似度 dedge とし α を重み係数とするなお色類似度および形状類似度は前述の式 5 もしくは式 6 によって算出される dimage = α dcolor + (1 α) dedge 5. 実 (7) 験図 20 対象画像 Fig. 20 Foreground Images 本論文では背景領域削除についての評価と類似画像検索の検索精度の評価の 2 点について実験を行った実験には情景 5. 1 背景領域削除の評価画像約 2700 枚を登録した画像データベースを用意したこの本手法の類似画像検索への有効性を評価するにあたりまず画像データベースには予め全ての画像に対し本手法による本論文で述べた BFD と BED によるピンぼけ領域削除の有効領域削除を行った後抽出した特徴量と領域削除を行わず抽出性を検証する事が必要であるそこで Lazy Snapping などのした特徴量のそれぞれをメタデータとして格納した (図 18) 手動による背景領域削除との比較を行ったただし手動による背景領域削除を用いた場合デジタル画像の物体領域と背景領域の切り分けにおいて常にユーザの意図する処理結果となったという前提のもと実験を行った実験にあたってキュー画像 42 枚と対象画像 42 枚を使用しキュー画像に対し本手法による背景領域削除を行いこれを結果画像としたこの対象画像と結果画像とを比較評価したここで評価のための指標として画像間の差異 D 背景領域削除率 DelBack 物体領域保存率 ConF ore を定義する対象画像を Ians 結果画像を Ires とし対象画像において図 18 メタデータと画像データベース Fig. 18 Image Database with Meta Data 物体領域の面積を AreaF ore 背景領域の面積を AreaBack とし物体領域の座標の集合を CF ore 背景領域の座標の集合を CBack とするまた画素間の差 dist をなお実験に用いる画像のうち検索キューとして用いる画

2 方向余弦距離による類似度類似した画像から算出された特徴ベクトルにおいてそのベクトル間の角度は小さくなると考えられるそこで方向余弦距離による類似度を用いた方向余弦距離による類似度ではベクトル間の角度を類似度として用いる方向余弦距離 dv (CA, CB ) を式 6 で定義する dv (CA, CB ) = arccos CA CB k CA k k CB k (6) 図

7 dist(x, y) = { 1 (I ans(x, y) = I res(x, y)) 0 (other) dist(x, y) D = (9) Area F ore + Area Back (8) dist(x, y) (x,y) C Back Del Back = (10) Area Back dist(x, y) (x,y) C F ore Con F ore = 1 (11) Area F ore D = 0.0 Del Back = 1.0 Con F ore = HSV HSV 22 Fig. 22 Feature value Fig. 21 Appreciation of our algorithm 21 D D Del Back Con F ore Del Back Con F ore 2 21 Del Back Con F ore Fig. 23 Feature value with our algorithm HSV BFD BED

0 42 6 1 42 21 HSV HSV 22 Fig. 22 Feature value 23 22 21 Fig.

8 n Cor n n P n 12 P n = Corn n (12) ( ) ( ) ( ) Fig. 25 Recall ( ) ( ) 8 50 ( ) % Fig. 24 Precision ( ) ( ) ( ) ( ) ( ) n Cor n Cor N n R n 13 R n = Cor n Cor N (13) ( ) ( ) ( ) 25 BFD BED [1] IEICE Technical Report DE (2006-7) pp [2] 18 p [3] HSV 19 p [4] 19 p [5] 20 p [6] 22 p [7] [8] Yin Li Jian Sun Chi-Keung Tang and Heung-Yeung Shum: Lazy Snapping SIGGRAPH (ACM Transaction on Graphics Vol 23 No.3 April 2004.) [9] Vol.2010-CVIM-172 No.18 pp

13-18 2006. [2] 18 p.160 2006 [3] HSV 19 p.205 2007 [4] 19 p.204 2007 [5] 20 p.204 2008 [6] 22 p.148 2010 [7] 3 2010.

(VKIR) VKIR VKIR DCT (R) (G) (B) Ward DCT i

24 Region-Based Image Retrieval using Color Histogram Feature 1130340 2013 3 1 (VKIR) VKIR VKIR DCT (R) (G) (B) 64 64 Ward 20 1 20 1 20. 5 10 2 DCT i Abstract Region-Based Image Retrieval using Color Histogram