IPSJ SIG Technical Report Vol.2010-CVIM-171 No /3/18 Scene Point M Aperture 1 u v m m b Depth from defocus (PSF) Coded Imaging Hajime Nagahara

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2010-CVIM-171 No /3/18 Scene Point M Aperture 1 u v m m b Depth from defocus (PSF) Coded Imaging Hajime Nagahara"

きょういちしろみず
4 years ago
Views:

1 Scene Point M Aperture 1 u v m m b Depth from defocus (PSF) Coded Imaging Hajime Nagahara 1 Recently, a coded imaging is getting popular as one of computational photography research area. The coded imaging is a new combined approach with hardware and software for capturing an image. It realizes to make blur restoration or depth from focus problems much stable by controlling a point spread function (PSF). The coded imaging is realized by some modification of camera optics such as a coded aperture or sensor motion etc. I will explain about characteristics of various coded imaging methods and implementations of hardware and software of them ( ) 1 Osaka University 1 1 f u 1 v 1 f = 1 u + 1 v p v b p (1) b = a (v p) (2) v a b (Depth of Field) v ( ) SN 1 c 2010 Information Processing Society of Japan

2 * * Imaging process -1 Restoration process 2 = = (PSF) j 3 ( ) i j = k i + n (3) k PSF n 2 j i 3 J = K I + N (4) PSF K 1 Î Î = J K = I + N (5) K Î î 5 PSF K, Î 5 î 6 PSF OTF(Optical transfer function) PSF PSF 2. MURA 1) MURA PSF MURA X γ Veeraraghavan 2) Zhou 3) PSF PSF PSF PSF Depth from defocus (DFD) 4),5) DFD 6) DFD DFD 1 DFD Levin 7) MURA Veeraraghavan PSF 2 c 2010 Information Processing Society of Japan

PSF 18) DFD DFD PSF Zhou 8) 2 SNR 9) 10) 12) 13)

4 3) (F ) (Coded Aperture) 4 PSF Levin Defocus

Coded pair Lattice focus Motion blur Coded shutter

coding Parabolic motion Invariant PSF High SNR (a)

3 PSF 18) DFD DFD PSF Zhou 8) 2 SNR 9) 10) 12) 13) PSF 10) 12) 13) PSF 14) 15) ) (F ) (Coded Aperture) 4 PSF Levin Defocus blur MURA Veeraraghavan Zhou Depth from defocus Coded pair Lattice focus Motion blur Coded shutter Broadband PSF Variant PSF 3 Focus sweep Wavefront coding Parabolic motion Invariant PSF High SNR (a) MURA (b) Veeraraghavan (c) Zhou (d) Levin (e) Coded pair 5 3),8) 3.1 Modified Uniformity Redundant Arrays (MURA) X γ MURA 1) 6 3 c 2010 Information Processing Society of Japan

A = {A i,j} p 1 i,j=0, p2 =4m +1, m =1, 2, 3,.

if i is a quadratic residue modulo p, Q i = 1 otherwise. 17 17 MURA 5-a PSF 3.

+ σ 2 /S(ν, ω) ν,ω S 7 Zhou (GA) 5-c σ =0.

4 A = {A i,j} p 1 i,j=0, p2 =4m +1, m =1, 2, 3,..., 0 if i =0, 1 if j =0,i 0, A i,j = (6) 1 if Q iq j =+1, 0 otherwise, where, { +1 if i is a quadratic residue modulo p, Q i = 1 otherwise MURA 5-a PSF b,c 4 Veeraraphavan 2) MURA 5-b PSF 5-c Zhou 3) 1/f 7 σ 2 K σ 2 R(K) = K(ν, ω) 2 + σ 2 /S(ν, ω) ν,ω S 7 Zhou (GA) 5-c σ =0.001 σ FFT 6 (a) Coded aperture (b) Conventional aperture DFD 7) 1,2 Depth from defocus(dfd) 5-d DFD DFD PSF 6-b 6-a (7) 4 c 2010 Information Processing Society of Japan

Levin KL 8 ( ( σ D KL(K d,k d d )) (ν, ω) σ d (ν, ω)

(α D x(ν, ω) 2 + α D y(ν, ω) 2 ) 1 + N 2 (8) 7 PSF D

3 DFD 8) DFD Zhou 8) 7 9 5-e ( R(K 1,K 2 d,σ) = min

d D/d Σ ν,ω i Ki d(ν, ω) 2 + C +σ 2 Σ i K d ) i (ν,

5 Levin KL 8 ( ( σ D KL(K d,k d d )) (ν, ω) σ d (ν, ω) )= σ d (ν, ω) log σ d (ν, ω) ν,ω σ(ν, ω) = K(ν, ω) 2 (α D x(ν, ω) 2 + α D y(ν, ω) 2 ) 1 + N 2 (8) 7 PSF D x D y d x =[1, 1] d y[1, 1] Levin KL 5-d 3.3 DFD 8) DFD Zhou 8) e ( R(K 1,K 2 d,σ) = min A Kd 1 (ν, ω) K d 2 (ν, ω) K2 d (ν, ω) K1 d (ν, ω) 2 d D/d Σ ν,ω i Ki d(ν, ω) 2 + C +σ 2 Σ i K d ) i (ν, ω) 2 Σ i Ki d (ν, ω) 2 Σ i Ki d(ν, (9) ω) 2 + C ) SN 8-a PSF Levin PSF 8 PSF 4.3 PSF ( (a) (b)psf (c) (d) 8 5 c 2010 Information Processing Society of Japan

6 8-d) PSF ( 8-c) PSF 8-b a ( ) PSF DFD Doski 10) (Optical phase plate) 9-b PSF PSF PSF. PSF 10 φ(x, y) =α(x 3 + y 3 ) (10) PSF 11) 11 ( k n ) φ(x, y) = C nmx m y n m (11) n=0 m=0 Doski PSF George 12) PSF (a) 9 (b) Wavefront coding Wavefront coding PSF ) PSF 10-a 2 p b(t) 10 PSF 10-b PSF 10-c PSF PSF PSF 13) PSF 6 c 2010 Information Processing Society of Japan

情報処理学会研究報告 Lens Translation 1.000 9.996 Micro-actuator 0.012 0.008 0.004 Image Detector (a) プロトタイプ 0-10 0 750mm 550mm 1100mm 0.08 2000mm 450mm 0.

モーションブラー復元のための符号化モーションブラーは撮像中に対象が動くことで生じるぼけのことであるこのぼけの PSF はカメラ本体の光学系による PSF と物体の動きによる時間矩形フィルタのコンボリューションとして表される時間矩形フィルタは図 12 に示されるように周波数特性に多くの谷をもつその結果

1 符号化露光14) モーションブラーの PSF の周波数特性を広帯域化するためにカメラのシャッタを符号化する符号化露光カメラが提案されているこの符号化露光カメラでは図 11 で示されるようにカメラのレンズの前面に液晶シャッタを取り付けた構成をとるこのカメラは一枚の画像の露光時間中にシャッタを開閉することで図 13-b, c

コードに対してさらに最適なコードを探索により求めたその結果図 13-c に示すように通常の矩形シャッタと比較して安定にモーションブラーの復元を行っている 5.

7 情報処理学会研究報告 Lens Translation Micro-actuator Image Detector (a) プロトタイプ mm 550mm 1100mm mm 450mm (b) 通常カメラの PSF 2000mm 450mm 550mm 1100mm 750mm (c) フォーカススイープの PSF 図 10 フォーカススイープカメラ図 11 符号化露光カメラ図 12 時間フィルタの DFT 5. モーションブラー復元のための符号化モーションブラーは撮像中に対象が動くことで生じるぼけのことであるこのぼけの PSF はカメラ本体の光学系による PSF と物体の動きによる時間矩形フィルタのコンボリューションとして表される時間矩形フィルタは図 12 に示されるように周波数特性に多くの谷をもつその結果デコンボリューションによるモーションブラー復元は図 13-a に示すように多くのアーティファクトを生むそのため奥行きぼけ復元同様モーションブラーの復元においても符号化撮像法が提案されている 5.1 符号化露光14) モーションブラーの PSF の周波数特性を広帯域化するためにカメラのシャッタを符号化する符号化露光カメラが提案されているこの符号化露光カメラでは図 11 で示されるようにカメラのレンズの前面に液晶シャッタを取り付けた構成をとるこのカメラは一枚の画像の露光時間中にシャッタを開閉することで図 13-b, c に示すように時間露光関数を符号化することができるこのように符号化された時間露光関数は図 12 に示すよう (a) 通常のシャッタに通常の矩形露光に対して広帯域でフラットな周波数特性を実現できるまた彼らは (b) MURA コード (c) 最適化コード図 13 モーションブラー画像のデコンボリューション MURA コードに対してさらに最適なコードを探索により求めたその結果図 13-c に示すように通常の矩形シャッタと比較して安定にモーションブラーの復元を行っている 5.2 放物運動カメラ15) ると図 14-c で示されるように当然ながら形状や長さの異なるモーションブラーとして観 Levin らはカメラを撮像時間中に平行移動させながら画像を撮像することでモーショ測されるすなわちこれらのブラーを除去するためには物体の移動速度も推定する必要ンブラーを復元する符号化撮像手法を提案したカメラ運動に放物軌道を用いると撮像があるこれに対して放物運動カメラでは図 14-d に示すようにシーン中に異なる動された PSF はすべての運動速度から生じるモーションブラーのたたみ込みとして表されるきの物体が存在してもその PSF は同じ形状として撮像されるつまりこの PSF の不変図 14-b に示すような異なる方向や速度で移動する物体の軌跡は通常のカメラで撮像す性から単一カーネルを用いてコンボリューションすることでシーンの動き情報なしにモー 7 c 2010 Information Processing Society of Japan

Rechardson-Lucy 16),17) 5 12 J K Î = = J K (12)

1/f C = σ 2 /S σ 2 S S Levin 18) 14 i = argmin

8 PSF ( 14-a) 6. (a) 14 (c) (b) (d) j î 3 i k j k î 5 Rechardson-Lucy 16),17) 5 12 J K Î = = J K (12) K 2 + N K 2 + C I C SNR C Matlab deconvwnr Rechardson-Lucy 13 f t+1 = f t g k (13) f t k Rechardson-Lucy Matlab deconvlucy Zhou 3),8) 1/f C = σ 2 /S σ 2 S S Levin 18) 14 i = argmin j k i 2 + λ i 0.8 (14) Dabov 20) BM3D PSF PSF PSF 8 c 2010 Information Processing Society of Japan

9 Matlab Image tool box web 19),21) 7. 1) S. R. Gottesman and E. E. Fenimore: New family of binary arrays for coded aperture imaging, Applied optics, Vol. 28, No. 30, pp , Oct, ) A. Veeraraphavan, R. Raskar, A. Agrawal, A. Mohan and J. Tumblin: Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing, ACM Trans. Graphics, ) C. Zhou and S. K. Nayar: What are Good Apertures for Defocus Deblurring?, IEEE International Conference on Computational Photography, Apr, ) A. P. Pentland: A new sense for depth from defocus, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 9, No. 4, pp , ) M. Subbarao and S. Surya: Depth from defocus: A spatial domain approach, International Journal of Computer Vision, Vol. 13, No. 3, pp , ) :,, Vol. J82-D-II, No. 11, pp , ) A.Levin, R.Fergus, F.Durand, and W.Freeman: Image and depth from a conventional camera with a coded aperture, ACM Transactions on Graphics, no. 3, ) C. Zhou, S. Lin, and S. Nayar: Coded Aperture Pairs for Depth from Defocus, IEEE International Conference on Computer Vision, ) A. Levin, S. Hasinoff, P. Green, F. Durand, and W. T. Freeman: 4D Frequency Analysis of Computational Cameras for Depth of Field Extension, SIGGRAPH, ACM Transactions on Graphics, ) E. Dowski and W. Cathey: Extended depth of field through wave-front coding, Journal of the Optical Society of America A, no. 11, pp , ) Y. Takahashi and S. Komatsu: Optimized Free-form Phase Mask for Extension of Depth of Field in Wavefront-coded Imaging, Optical letters, Vol.33, No. 13, pp , ) N. George and W. Chi: Extended depth of field using a logarithmic asphere, J. Optics A: Pur and Applied Oprics, ) H. Nagahara, S. Kuthirummal, C. Zhou and S. Nayar: Flexible Depth of Field Photography, European Conference on Computer Vision, ) R. Raskar, A. Agrawal, and J. Tumblin: Coded Exposure Photography: Motion Deblurring using Fluttered Shutter, SIGGRAPH, ACM Transactions on Graphics, ) A. Levin, P. Sand, T. S. Cho, F. Durand, and W. T. Freeman: Motion-Invariant Photography, SIGGRAPH, ACM Transactions on Graphics, ) W. Richardson: Bayesian-based iterative method of image restoration, J. Optical Society of America, Vol. 62, No. 1, pp.55-59, ) L. Lucy: An iterative technique for the rectification of observed distributions, J. Astronomy, pp , ) 19) 20) K. Dabov, A. Foi, and K. Egiazarian: Image restoration by sparse 3D transformdomain collaborative filtering, Proc. SPIE Electronic Imaging, no , ) 9 c 2010 Information Processing Society of Japan

PSF SN 2 DFD PSF SN PSF PSF PSF 2 2 PSF 2 PSF PSF 2 3 PSF 4 DFD PSF PSF 3) DFD Levin 4) PSF DFD KL KL PSF DFD 2 Zhou 5) 2 DFD DFD DFD DFD Zhou 2

PSF SN 2 DFD PSF SN PSF PSF PSF 2 2 PSF 2 PSF PSF 2 3 PSF 4 DFD PSF PSF 3) DFD Levin 4) PSF DFD KL KL PSF DFD 2 Zhou 5) 2 DFD DFD DFD DFD Zhou 2 DFD that uses focus changes during an image integration time for engineering the PSF. We can capture higher SNR input images, since we can control the PSF with wide aperture setting unlike coded aperture.