Exemplar-Based Super-Resolution of Human Body Image in Surveillance Video 1 1,2 1 1 1 Kento Nishibori 1, Tomokazu TAKAHASHI 1,2, Daisuke DEGUCHI 1, Ichiro IDE 1 and Hiroshi MURASE 1 1 2 nishiborik@murase.m.is.nagoya-u.ac.jp : 1 [1, 2, 3] [4, 5, 6] 1 1 1: [7] 2 1 2 [8]
図 2: 高周波成分を用いた超解像 解像度度画像とそれらを低解像度化して得られる 低解像度画像との差により低解像度の高周波成分 を得る 高解像度と低解像度の高周波成分から位 置関係を保ったままパッチ領域をそれぞれ切り出 し 高解像度パッチ画像と低解像度パッチ画像の ペアとしてデータベースに登録する 低解像度の 入力画像においてもさらに低解像度化した画像と の差により低解像度の高周波成分を算出し それ から切り出したパッチ画像とデータベース内で最 も類似する低解像度パッチ画像を探索する 探索 に最も類似した低解像度パッチ画像とペアとなる 高解像度パッチ画像と置き換え この処理を入力 画像のすべてのパッチ領域に行い超解像画像を生 成する 学習画像と入力画像の撮影条件が異なる場合に それぞれから切り出されたパッチ画像の高周波成 分のばらつきがパッチ画像間の照合や低解像度パッ チ画像を高解像度パッチ画像に置き換える際に影 響を与える可能性が考えられる そこで 学習画 像と入力画像の高周波成分のパッチ画像に対して 学習画像の低解像度パッチ画像を基準とした正規 化と学習画像の高解像度パッチ画像を基準とした 正規化の 2 通りの手法を適用する [9] 図 3: 学習画像と入力画像 3 実験 提案手法の有効性を確認するため 学習画像と はカメラや照明等が異なる条件で撮影された監視 カメラ映像中の人物の超解像を行う 図 3 に示す ように 図 3 に示すように 学習用画像には入力 画像と異なるカメラや照明条件において 延べ 47 名の人物がカメラに対して 45 度ずつ向きを変えた 8 方向 および人物を見下ろす視点と水平方向の
2 752 (I) (II) 2 kd-tree OpenCV FLANN(Fast Library for Approximate Nearest Neighbors) 3 7 7 (I) 8 (i) (ii)bicubic (iii) (iv) (v) (vi) (vii) (viii) PSNR(Peak signal-to-noise ratio) SSIM(Structual Similarity) [10] 1 PSNR PSNR 2 SSIM PSNR PSNR SSIM 4 4(a) 5 4(b) 4(d)SSIM 4(c) SSIM (II) 5 5 4 1) Adrian Stoica MIRU 2010 IS2-13 2010 2) Vol. 21, No. 11, pp. 17 22, 2007 3) Lutz Goldmann, Mustafa Karaman, J. T. Saez Minquez, and Thomas Sikora: Appearance-Based Person Recognition for Surveillance Applications, 7th Int l Workshop on Image Analysis for Multimadia Interactive Services (WIAMIS 2006), 2006. 4) Junjun Jiang, Ruimin Hu, Zhen Han, Tao Lu, and Kebin Huang: Position-Patch Based Face Hallucination via Locality-Constrained Representation, Int l Conf. Multimedia and Expo (ICME 2012), pp. 212 217, 2012. 5), Vol.77, No.12, pp. 1099 1103, 2011.
1: PSNR ( db) Bicubic 1 28.75 29.35 28.66 28.94 28.70 28.96 29.18 28.54 2 29.97 30.42 29.97 30.56 30.14 30.59 30.68 30.21 3 30.07 30.89 30.23 30.52 30.07 30.72 30.62 30.25 4 23.44 23.62 23.47 23.67 23.20 23.00 23.87 23.45 5 26.90 27.56 26.93 27.49 26.89 26.82 27.61 27.21 27.83 28.37 27.85 28.24 27.80 28.02 28.39 27.93 2: SSIM Bicubic 1 0.758 0.763 0.729 0.769 0.743 0.741 0.749 0.757 2 0.787 0.788 0.759 0.802 0.772 0.771 0.787 0.799 3 0.787 0.793 0.760 0.794 0.770 0.770 0.768 0.781 4 0.624 0.618 0.593 0.643 0.599 0.594 0.626 0.633 5 0.703 0.708 0.660 0.727 0.670 0.665 0.709 0.720 0.732 0.734 0.700 0.747 0.711 0.708 0.728 0.738 6) Optics Electronics Vol. 32, No. 3, pp. 270 274, 2010 7) Daniel Glasner, Shai Bagon, and Michal Irani: Super-resolution from a single image, In Proc. 12th Int l Conf. Computer Vision, pp. 349 356, 2009. 8),,,, PRMU pp. 213 218 2013 9),,,, SSI 2013 2013 10) Zhou Wang, Bovik, Alan Conrad Bovik, Hamid Rahim Sheikh, and Eero P. Simoncelli: Image quality assessment: From error visibility to structural similarity, IEEE Trans. Image Processing, vol. 13, no. 4, pp. 600 612, 2004. 2009 2013 9 12 15 2 COE 17 3 20 2001 2006 2004 2006 2008 ITS 1994 2000 2004 2007 1978 1980 NTT) 2003
i 人物 1 47 114 画素 ii 人物 2 55 111 画素 iii 人物 3 44 116 画素 (a) 低解像度入力画像 iv 人物 4 42 107 画素 v 人物 5 54 121 画素 (b) 超解像度画像 (c) 元の高解像度画像 (d) SSIM マップ 図 4: 入力画像に監視カメラ映像を低解像度化して用いた場合の超解像画像の画質評価
i 人物 1 112 185 画素 ii 人物 2 101 168 画素 iii 人物 3 84 184 画素 (a) 低解像度入力画像 iv 人物 4 93 182 画素 (b) 入力画像の拡大画像 (c) 超解像画像 (d) 超解像度画像の拡大画像 図 5: 入力画像に監視カメラ映像を用いた場合の超解像画像の画質評価 v 人物 5 108 184 画素