IPSJ SIG Technical Report Vol.2018-CG-172 No.18 Vol.2018-DCC-20 No.18 Vol.2018-CVIM-214 No /11/8 Time-of-Flight 1,a) Time-of-Flight Time-

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2018-CG-172 No.18 Vol.2018-DCC-20 No.18 Vol.2018-CVIM-214 No /11/8 Time-of-Flight 1,a) Time-of-Flight Time-"

いちえいひろき
5 years ago
Views:

1 Time-of-Flight 1,a) Time-of-Flight Time-of-Flight Time-of-Flight 1. Time-of-Flight ToF ToF ToF ToF [21] ToF a) muraji.takeshi.mr7@is.naist.jp 2. He Dark Channel Prior [8], [17] RGB Berman [1] haze-line [2]. [20] ToF. ToF ToF 2 [4], [5], [6], [11], [15], [21] c 2018 Information Processing Society of Japan 1

情報処理学会研究報告位相差参照波振幅 (a) RGB 霧なし (b) 振幅霧なし 18振幅反射波 (c) 位相差霧なし位相差 27 図 2 (d) RGB 霧あり図 1 (e) 振幅霧あり (f) 位相差霧あり霧の有無による ToF カメラの計測結果の違い上段が霧がな

[12] 発光タイミングを遅延させる回路を利用するもの [14] などこれまでも活発に研究されている本研究もマルチパス問題を解決する研究でありこれらと同じカテゴリであるまた Single Photon Avalanche Diode (SPAD) を用いて高時間分解能な観測を行い

座標上の長さと角度として表すことで ToF カメラの計測値をフェーザ表示することができる [7] ここで距離 d にあるターゲットの計測値 I C は I(fb ) = reiϕ ϕ 報も併用するというユニークなアプローチでありまたハードウェアの改造を必要とせず市販の ToF

つの道路標識を模している霧がないシーンでは図 1(c) のように各ターゲットが均一な値となり同一距離にあると正しく計測できている一方霧があるシーンでは図 1(f) のように同一距離にあるターゲット内でも反射率によって異なる値となり図 1(c) と全く異なる

にあるターゲットを計測するとターゲットから直接返ってきた反射成分 V C とすべての奥行に存在する霧による散乱成分 F C とが足し合わされた計測となるため計測値 I は I(fb ) = V + F = reiϕ + sb eiφb s eiφb = d s(x)eiφ(x) dx

2 情報処理学会研究報告位相差参照波振幅 (a) RGB 霧なし (b) 振幅霧なし 18振幅反射波 (c) 位相差霧なし位相差 27 図 2 (d) RGB 霧あり図 1 (e) 振幅霧あり (f) 位相差霧あり霧の有無による ToF カメラの計測結果の違い上段が霧がな AMCW 方式の ToF カメラは参照波と反射波の振幅の減衰率と位相差からターゲットの反射率と距離を求める計測された振幅を長さに位相差を角度として表すことで極座標上に 2 つの異なる次元のものを同時に表す事ができるいシーン下段が霧があるシーン左が RGB 画像中央が振幅画像右が位相差画像霧によって計測結果が大きく異なる 3.1 霧中での距離計測ことが分かる極座標表現本研究では AMCW(振幅変調連続波) 方式の ToF カメラを用いるこれは振幅変調された正弦波を入射波としてターゲットに照射し反射してカメラに届いた反射波をやパラメトリックモデルによるもの [9], [13] 干渉を用いるもの [12] 発光タイミングを遅延させる回路を利用するもの [14] などこれまでも活発に研究されている本研究もマルチパス問題を解決する研究でありこれらと同じカテゴリであるまた Single Photon Avalanche Diode (SPAD) を用いて高時間分解能な観測を行い霧の影響を近似モデルにあてはめて除去する手法 [18] も提案されている我々の手法は時間的な情報だけでなく空間的な情入射波と同一波形の参照波と比較することで図 2 に示すようにターゲットの反射率とターゲットまでの距離を求めるものであるまた計測した振幅と位相差をそれぞれ極座標上の長さと角度として表すことで ToF カメラの計測値をフェーザ表示することができる [7] ここで距離 d にあるターゲットの計測値 I C は I(fb ) = reiϕ ϕ 報も併用するというユニークなアプローチでありまたハードウェアの改造を必要とせず市販の ToF カメラをそ = (1) 4πfb d c で表されるここで r と ϕ は計測値である振幅と位相のまま用いることができるため従来研究と比較してより差であり fb は ToF カメラの変調周波数, e は自然対数の実用的である底 i は虚数単位 c は光速である霧による影響と計測歪み 3. 霧中での ToF 計測霧中において ToF 計測を行うと光の散乱によって大きく誤った計測値が得られるその様子を図 1 に示す霧の有無によって大きく異なった結果が得られることが確認できるシーン中には 5 つのターゲットを設置しそれぞれは同一距離にある 2 つの道路標識を模している霧がないシーンでは図 1(c) のように各ターゲットが均一な値となり同一距離にあると正しく計測できている一方霧があるシーンでは図 1(f) のように同一距離にあるターゲット内でも反射率によって異なる値となり図 1(c) と全く異なる誤った計測結果が得られてしまうことが分かる本稿霧中など光の散乱が発生するシーンにおいて ToF 計測を行うとターゲットに直接当たって返ってきた反射光と散乱物体による散乱光を足し合わせた波の振幅と位相差が ToF カメラの計測値となることが知られている [19] そのため距離 d にあるターゲットを計測するとターゲットから直接返ってきた反射成分 V C とすべての奥行に存在する霧による散乱成分 F C とが足し合わされた計測となるため計測値 I は I(fb ) = V + F = reiϕ + sb eiφb s eiφb = d s(x)eiφ(x) dx b 0 4πfb x c (2) ではこのような霧による光の散乱によって計測値を誤ると表されるここで s(x) と φ(x) = 現象を霧による距離計測歪みと呼ぶ本研究ではにおいてとある距離 x で反射して ToF カメラが受光したは霧の内部同一距離にあるターゲットでも霧による計測歪みが反射率成分の振幅と位相差であり sb, φb は変調周波数 fb にによって異なることに着目し距離の推定を行うまたおけるすべての霧の反射成分が合成された一つの波におけ振幅と位相差が受ける霧による散乱の影響を同時に扱うたる振幅と位相差であるこのように霧による光の散乱にめに極座標表現を用いるまず霧中で ToF 計測した場合よって本来の計測値から振幅も位相差も歪んでしまうこにどのように結果が歪むかを説明するれは図 3 に示すような極座標上での霧がないシーンでの c 2018 Information Processing Society of Japan 2

3 ターゲット ToF カメラ 27 3 F V V + F 27 (a) 27 (b) V F V + F AMCW ToF 0 2π 2π V (f) f f b ˆf = f/f b V (f) = re i ˆfϕ (3) 4(a) 2 I(f) I(f) = V (f) + F (f) F (f) = s f e iφ f = (4) d 0 s(x)ei ˆfφ(x) dx s f s b φ f ˆfφ b 4(b) 2 4(c) 2 ToF 3.2 ToF ToF (a) A, B I A (f) I B (f) (c) (+) 4 (a) 2 V (b) 2 F (c) 2 I δ(f) = I A (f) I B (f) 2 (5) (5) δ(f) = V A (f) V B (f) 2 = r A r B (6) V A (f) V B (f) f A B ToF 5(b) δ(f) A B (6) δ(f) = (V A (f) + F (f)) (V B (f) + F (f)) 2 = V A (f) V B (f) 2 = r A r B (7) F (f) f ToF 5(c) c 2018 Information Processing Society of Japan 3

4 δ(f) 2 2. A C ToF カメラ点ターゲット 40 点 δ(f) = V A (f) V C (f) 2 = r A e i ˆfϕ A r C e i ˆfϕ C 2 (8) = ra 2 + r2 C 2r Ar C cos ˆf(ϕ A ϕ C ) f r X, ϕ X X F A (f) F C (f) d A < d C 2 δ(f) = (V A (f) + F A (f)) (V C (f) + F C (f)) 2 dc = V A(f) V C (f) s(x)e i ˆfφ(x) dx (9) 2 δ(f) 2 δ σ A,B = 1 n d A n (δ(f k ) δ) 2 (10) k=1 t ToF 6 2 A, B σ A,B 2 0 B σ A,B F (f) V = 0 (6) δ(f) = I A (f) I (f) 2 = V A (f) + F (f) F (f) 2 (11) = r A + ϵ(f) (a) 2 δ(f) (b) δ(f) (c) δ(f) 5 2 δ(f) distance [m] distance [m] (a) A:10m B 1 20m (b) A:6.5m B:1 20m 6 A B σ(a, B) A B σ(a, B) 0 2 B σ(a, B) 0 ϵ(f) d ToF c 2018 Information Processing Society of Japan 4

7 18 27 ToF f 2 I A (f), I B (f) 7 F (f) θ(0 θ < π) θ = arctan I((I A(f) I B (f)) R((I A (f) I B (f)) = arctan I(r Ae i

ˆfϕ = ˆfϕ (12) ˆfϕ R(x) I(x) x 0 π π 3.1. ˆd m m ( ˆd = argmin θ 4π

4.1 8(a) ToF x 8 (a) (b) (c) 50m (a) (b) (c) (c) l(x) l(x) = e 2σtx x 2 σ s p(g, π) (14) σ t σ s p(g, π) g (visibility)

5 ToF f 2 I A (f), I B (f) 7 F (f) θ(0 θ < π) θ = arctan I((I A(f) I B (f)) R((I A (f) I B (f)) = arctan I(r Ae i ˆfϕ r B e i ˆfϕ ) R(r A e i ˆfϕ r B e i ˆfϕ ) = arctan r A sin ˆfϕ r B sin ˆfϕ r A cos ˆfϕ r B cos ˆfϕ }{{} sin ˆfϕ = cos ˆfϕ = ˆfϕ (12) ˆfϕ R(x) I(x) x 0 π π 3.1. ˆd m m ( ˆd = argmin θ 4πfk d k mod π) (13) d c k=1 θ k k f k (a) ToF x 8 (a) (b) (c) 50m (a) (b) (c) (c) l(x) l(x) = e 2σtx x 2 σ s p(g, π) (14) σ t σ s p(g, π) g (visibility) [3] σ t = 3.92 visibility (15) g [16] σ t = 0.98σ s, g = 0.9 p Henyey- Greenstein [10] I(f) = e 2σtd d 2 re iϕ(d) + d 0 l(x)e iϕ(x) dx (16) r, d m 9 10MHz, 13MHz, 20MHz 80MHz 10MHz 9 t 2% MHz 20MHz c 2018 Information Processing Society of Japan 5

6 (a) (b) (c) (a) (b) A (c) B (d) C 12m 10 (a) (b) (c) (d) 6m 2 0m (d) (a) (e) (b) 9 (a) (b) (c) (d) (e) 9(a) 9(b) (JARI: Japan Automobile Research Institute) 80m 5.1 Microsoft ToF (Kinect v2) 50cm , 80, 120MHz (a) A (b) B (c) C Kinect v ( ) ( ) A m m m m B m m m m C m m m m 6. ToF c 2018 Information Processing Society of Japan 6

7 . JST CREST JPMJCR1764 JP18H03265 [1] Berman, D., Treibitz, T. and Avidan, S.: Non-Local Image Dehazing, Proc. CVPR (2016). [2] Cai, B., Xu, X., Jia, K., Qing, C. and Tao, D.: DehazeNet: An End-to-End System for Single Image Haze Removal, IEEE Transactions on Image Processing, Vol. 25, No. 11, pp (2016). [3] Chen, C.: Attenuation of Electromagnetic Radiation by Haze, Fog, Clouds, and Rain, US Air Force Project Rand (1975). [4] Dorrington, A. A., Godbaz, J. P., Cree, M. J., Payne, A. D. and Streeter, L. V.: Separating True Range Measurements from Multi-Path and Scattering Interference in Commercial Range Cameras, SPIE 7864, Three- Dimensional Imaging, Interaction, and Measurement (2011). [5] Fuchs, S.: Multipath Interference Compensation in Time-of-Flight Camera Images, International Conference on Pattern Recognition, IEEE, pp (2010). [6] Godbaz, J. P., Cree, M. J. and Dorrington, A. A.: Closed-Form Inverses for the Mixed Pixel/Multipath Interference Problem in AMCW Lider, SPIE 8296, Computational Imaging X (2012). [7] Gupta, M., Nayar, S. K., Hullin, M. B. and Martin, J.: Phasor Imaging: a Generalization of Correlation- Based Time-of-Flight Imaging, ACM ToG, Vol. 34, No. 5 (2015). [8] He, K., Sun, J. and Tang, X.: Single Image Haze Removal using Dark Channel Prior, IEEE TPAMI, Vol. 33, No. 12, pp (2011). [9] Heide, F., Xiao, L., Kolb, A., Hullin, M. B. and Heidrich, W.: Imaging in Scattering Media using Correlation Image Sensors and Sparse Convolutional Coding., Optics express, Vol. 22, No. 21, pp (2014). [10] Henyey, L. and Greenstein, J.: Diffuse radiation in the Galaxy, Astrophysical Journal, Vol. 93, pp (online), DOI: / (1941). [11] Jimenez, D., Pizarro, D., Mazo, M. and Palazuelos, S.: Modelling and Correction of Multipath Interference in Time of Flight Cameras, Proc. CVPR, IEEE, pp (2012). [12] Kadambi, A., Schiel, J. and Raskar, R.: Macroscopic Interferometry: Rethinking Depth Estimation with Frequency-Domain Time-Of-Flight, Proc. CVPR, pp (2016). [13] Kirmani, A., Benedetti, A. and Chou, P. A.: Spumic: Simultaneous Phase Unwrapping and Multipath Interference Cancellation in Time-of-Flight Cameras using Spectral Methods, IEEE International Conference on Multimedia and Expo (ICME), IEEE, pp. 1 6 (2013). [14] Kitano, K., Okamoto, T., Tanaka, K., Aoto, T., Kubo, H., Funatomi, T. and Mukaigawa, Y.: Recovering Temporal PSF using ToF Camera with Delayed Light Emission, IPSJ Transaction on Computer Vision and Applications, Vol. 9, No. 15 (2017). [15] Naik, N., Kadambi, A., Rhemann, C., Izadi, S., Raskar, R. and Bing Kang, S.: A Light Transport Model for Mitigating Multipath Interference in Time-of-Flight Sensors, Proc. CVPR, pp (2015). [16] Narasimhan, S. and Nayar, S.: Shedding Light on the Weather, Proc. CVPR (2003). [17] Nishino, K., Kratz, L. and Lombardi, S.: Baysian Defogging, IJCV, Vol. 98, No. 3, pp (2012). [18] Satat, G., Tancik, M. and Raskar, R.: Towards photography through realistic fog, Computational Photography (ICCP), 2018 IEEE International Conference on, IEEE, pp (2018). [19] Tanaka, K., Mukaigawa, Y., Funatomi, T., Kubo, H., Matsushita, Y. and Yagi, Y.: Material Classification from Time-of-Flight Distortions, IEEE TPAMI (2018). [20] Wang, J., Bartels, J., Whittaker, W., Sankaranarayanan, A. C. and Narasimhan, S. G.: Programmable Triangulation Light Curtains, The European Conference on Computer Vision (ECCV), pp (2018). [21] ToF CVIM 210 (2018). c 2018 Information Processing Society of Japan 7

[3] [3] BRDF of of of of [7], [12], [16], [21], [27], [28], [4] BRDF [26] [16], [17], [19], [41] [7], [1], [27], [42] [11], [35] [43] [37] of [34], [3

[3] [3] BRDF of of of of [7], [12], [16], [21], [27], [28], [4] BRDF [26] [16], [17], [19], [41] [7], [1], [27], [42] [11], [35] [43] [37] of [34], [3 of 1,a) 2,1 1 1 1 1 of of 1. ime-of- Flight (of) of 1 3cm of of 1 1 2 a) iwaguchi.yuya.it2@is.naist.jp 1 of of of 2. [2], [22], [32], [33], [39] BRDF [23], [24], [31], [44] c 216 Information Processing