DEIM Forum 2012 XX-Y 790 8577 2 5 790 8577 2 5 790 8577 3 E-mail: w848006x@mails.cc.ehime-u.ac.jp, ci15c0vercia0n@gmail.com, yuji@cite.ehime-u.ac.jp Improvement of Retrieval Efficiency on the Similarity Image Retrieval with Deletion of Background Region Kosuke TOCHIHARA, Yuma YOSHIMOTO, and Yuji NAKAGAWA Graduate School of Science and Engineering Mathematical Sciences Ehime University Bunkyo-cho 2 5 Matsuyama city Ehime, 790 8577 Japan Department of Mathematics Faculty of Science Ehime University Bunkyo-cho 2 5 Matsuyama city Ehime, 790 8577 Japan Center for Information Technology Ehime University Bunkyo-cho 3 Matsuyama city Ehime, 790 8577 Japan E-mail: w848006x@mails.cc.ehime-u.ac.jp, ci15c0vercia0n@gmail.com, yuji@cite.ehime-u.ac.jp Abstract Currently we use digital images easily by currency of digital camera and the amount of the digital images have increased by improvement of storage medium. Therefore demand of image retrieval systems has increased. We developed an effective algorithm for image retrieval system. The algorithm divide a digital image into foreground region and background region automatically. And it makes retrieval efficiency of the system improved. We compared our algorithm with other manual algorithm and we appreciated retrieval efficiency of image retrieval system with our algorithm. Key words Similarity Image Retrieval Image Database Deletion of Background Region 1. [1] [2] [3] [4] [5] [6] [7]
1 3 BFD Fig. 1 1 Retrieval Efficiency with Background Difference 3 Fig. 3 Flowchart of BFD [8] [9] 2. (Based on Fourier transform Deletion:BFD) (Based on Edge strength Deletion:BED) 2 ( 2) 2. 1. 1 Gray Scale Gray Scale Gray Scale NTSC R G B R G B Gray Scale Y 1 Y = 0.298912 R + 0.586611 G + 0.114478 B (1) 2. 1. 2 BFD 2 4 Fig. 2 2 Digital image into foreground and background 2. 1 (BFD) 1 (Based on Fourier transform Deletion:BFD) 4 Fig. 4 Resolution Transform
2 32 32pixels 256 256pixels 5 7 Fig. 7 Path of Integration Fig. 5 5 Segmentation into small regions 2. 1. 3 2 2 2 6 Spectrum Image S(u, v) S(u, v) S(u, v) S(u, v) 2 8 Fig. 8 Deletion with FFT 6 Fig. 6 Digital Fourier Transform S(u, v) w P SD(w) 2 S(u, v) 2 w P ath(w) P ath(w) 2. 2 (BED) 2 (Based on Edge strength Deletion:BED) 8 Image after BFD 9 P SD(w) = P ath(w) 1 S(u, v) 2 dudv (2) P ath(w) (u,v) 7 8 32 32pixels 9 Fig. 9 Flowchart of BED
2. 2. 1 Median Filter BED Median Filter Median Filter ( 10) 11 Laplacian Filter Fig. 11 Edge Strength with Laplacian Filter 12 Fig. 12 Deletion with Edge Strength 13 10 Fig. 10 Median Filter Noise Erasion with Median Filter 2. 2. 2 Laplacian Filter 1 Laplacian Filter Laplacian Filter 2 3 3 8 4 11 Laplacian Filter 2. 2. 3 BFD 1 12 1 13 Fig. 13 Deletion background region with edge strength 14 14 Fig. 14 Deletion with Edge Strength
2. 2. 4 15 15 Fig. 15 Damaged Foreground Region 1 16 16 Fig. 16 Interpolation of Foreground Region 2. 2. 5 ( 17) 3. 1 RGB HSV 2 3. 1. 1 RGB RGB RGB RGB (Red) (Green) (Blue) RGB 0 255 RGB 3 27 3. 1. 2 HSV HSV HSV HSV (Hue) (Saturation) (Value) 12 3 15 3. 2 12 (HLAC) 3. 2. 1 12 12 12 12 Sobel Filter Sobel Filter 1 x y 3. 2. 2 HLAC HLAC 2 3 3 25 25 2 25 25 4. 17 Fig. 17 Deletion Small Region with Labeling 3. n 4. 1 n A 3 B 4
する 像をキュー画像とする キュー画像として 図 19 に示すとおり 6 種類の花をそれぞれ条件を変えて 7 枚ずつ撮影した合計 42 CA = [a1,..., an ] (3) CB = [a1,..., an ] (4) 枚のデジタル画像を用いた また 図 20 に示すとおり キュー 画像 42 枚それぞれに対し 手動による背景領域の削除を行い 対象物体の領域を残した画像を作成し これを対象画像とした さらに ユークリッド 距離 dv (CA, CB ) を式 5 で定義する du (CA, CB ) = n (ai bi )2 (5) i=1 4. 2 方向余弦距離による類似度 類似した画像から算出された特徴ベクトルにおいて そのベ クトル間の角度は小さくなると考えられる そこで 方向余 弦距離による類似度を用いた 方向余弦距離による類似度で は ベクトル間の角度を類似度として用いる 方向余弦距離 dv (CA, CB ) を式 6 で定義する dv (CA, CB ) = arccos CA CB k CA k k CB k (6) 図 19 キュー画像 Fig. 19 Queue Images 4. 3 画像類似度 本研究では デジタル画像から抽出される特徴量は色特徴量 と形状特徴量の 2 つである 従って 2 枚のデジタル画像から 類似度を算出する際 色に関する類似度と形状に関する類似度 の 2 種類が算出される 本研究では これら 2 つの類似度を組 み合わせた類似度を画像類似度 dimage として用いた 画像類似度 dimage を式 7 で定義する ただし 色特徴量に よる類似度を色類似度 dcolor 形状特徴量による類似度を形状 類似度 dedge とし α を重み係数とする なお 色類似度およ び形状類似度は 前述の式 5 もしくは式 6 によって算出される dimage = α dcolor + (1 α) dedge 5. 実 (7) 験 図 20 対 象 画 像 Fig. 20 Foreground Images 本論文では 背景領域削除についての評価と 類似画像検索 の検索精度の評価の 2 点について実験を行った 実験には情景 5. 1 背景領域削除の評価 画像約 2700 枚を登録した画像データベースを用意した この 本手法の類似画像検索への有効性を評価するにあたり まず 画像データベースには 予め全ての画像に対し 本手法による 本論文で述べた BFD と BED によるピンぼけ領域削除の有効 領域削除を行った後抽出した特徴量と 領域削除を行わず抽出 性を検証する事が必要である そこで Lazy Snapping などの した特徴量のそれぞれをメタデータとして格納した (図 18) 手動による背景領域削除との比較を行った ただし 手動によ る背景領域削除を用いた場合 デジタル画像の物体領域と背景 領域の切り分けにおいて 常にユーザの意図する処理結果と なったという前提のもと実験を行った 実験にあたって キュー画像 42 枚と対象画像 42 枚を使用し キュー画像に対し本手法による背景領域削除を行い これを結 果画像とした この対象画像と結果画像とを比較 評価した ここで 評価のための指標として 画像間の差異 D 背景領 域削除率 DelBack 物体領域保存率 ConF ore を定義する 対象画像を Ians 結果画像を Ires とし 対象画像において 図 18 メタデータと画像データベース Fig. 18 Image Database with Meta Data 物体領域の面積を AreaF ore 背景領域の面積を AreaBack と し 物体領域の座標の集合を CF ore 背景領域の座標の集合を CBack とする また 画素間の差 dist を なお 実験に用いる画像のうち 検索キューとして用いる画
dist(x, y) = { 1 (I ans(x, y) = I res(x, y)) 0 (other) dist(x, y) D = (9) Area F ore + Area Back (8) dist(x, y) (x,y) C Back Del Back = (10) Area Back dist(x, y) (x,y) C F ore Con F ore = 1 (11) Area F ore D = 0.0 Del Back = 1.0 Con F ore = 1.0 42 6 1 42 21 HSV HSV 22 Fig. 22 Feature value 23 22 21 Fig. 21 Appreciation of our algorithm 21 D D Del Back Con F ore Del Back Con F ore 2 21 Del Back Con F ore 3 22 12 23 Fig. 23 Feature value with our algorithm 22 23 HSV 15 1 12 BFD BED 5. 2 1 50
19 42 1 28 5. 2. 1 n Cor n n P n 12 P n = Corn n (12) ( ) ( ) ( ) 24 25 Fig. 25 Recall ( ) 28 28 1.0 28 ( ) 8 50 ( ) 0.75 50 75% 6. 24 Fig. 24 Precision ( ) 28 1.0 ( ) ( ) ( ) ( ) 5. 2. 2 n Cor n Cor N n R n 13 R n = Cor n Cor N (13) ( ) ( ) ( ) 25 BFD BED [1] IEICE Technical Report DE2006-52(2006-7) pp.13-18 2006. [2] 18 p.160 2006 [3] HSV 19 p.205 2007 [4] 19 p.204 2007 [5] 20 p.204 2008 [6] 22 p.148 2010 [7] 3 2010. [8] Yin Li Jian Sun Chi-Keung Tang and Heung-Yeung Shum: Lazy Snapping SIGGRAPH 2004. (ACM Transaction on Graphics Vol 23 No.3 April 2004.) [9] Vol.2010-CVIM-172 No.18 pp.1-6 2010