IPSJ SIG Technical Report Vol.2012-CVIM-183 No /9/2 1,a) 2,b) Stephen Lin 2,c) 1,d) 1,e) 1. Woodham [25] Silver [20] I l n I(x) = ρ(x)n T l (1)

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2012-CVIM-183 No /9/2 1,a) 2,b) Stephen Lin 2,c) 1,d) 1,e) 1. Woodham [25] Silver [20] I l n I(x) = ρ(x)n T l (1)"

あいねなみこし
5 years ago
Views:

1 1,a) 2,b) Stephen Lin 2,c) 1,d) 1,e) 1. Woodham [25] Silver [20] I l n I(x) = ρ(x)n T l (1) ρ(x) x 1 2 Microsoft Research Asia a) takatani@am.sanken.osaka-u.ac.jp b) yasumat@microsoft.com c) stevelin@microsoft.com d) mukaigaw@am.sanken.osaka-u.ac.jp e) yagi@am.sanken.osaka-u.ac.jp Microsoft Research Asia 様々な波長での観測 wlen0 wlen1 wlen2 wlenm-1 分光反射率を用いた領域分割 1 segment0 segment1 segment2... segmentk-1... 各領域の評価各波長での観測を用いた照度差ステレオ法 wlen0 wlen1 wlen2 wlenm-1 評価値に基づく各領域における最適波長での推定法線マップの組み合わせ [11] c 2012 Information Processing Society of Japan 1

2 2. [4], [7], [21] [16], [18], [19] - [9] [10] [22] [13] [1], [2], [14], [23] [3], [12] [6] [15], [16], [19] [15] (1) I(λ, x) = σ(λ)ρ(λ, x)e(λ)n(x) T l (2) λ σ ρ e (2) [5] 2 MERL BRDF [17] red-plastic BRDF c 2012 Information Processing Society of Japan 2

(a) (b) 平均 1.42 平均 5.37 平均 13.43 平均 2.56 分散 1.02 分散 11.42 分散 44.

63 (c) (d) (e) (f) σ k 0 N 3 (4) k = 3 N k E 2 (a) 40 1 (b) (c) (d)

3 (a) (b) 平均 1.42 平均 5.37 平均平均 2.56 分散 1.02 分散分散分散 2.63 (c) (d) (e) (f) σ k 0 N 3 (4) k = 3 N k E 2 (a) 40 1 (b) (c) (d) (e) (f) BRDF k-means N M (2) I = g(λ)nl (3) g(λ) = σ(λ)ρ(λ)e(λ) I R N M N R N 3 L R 3 M (3) (rank(l) = 3) I N rank(i) rank(n) [26] rank(n) E = σ k+1 σ k (4) k = rank(n) σ i I i I k (σ k 0 ) (σ k+1 ) E I rank(n) I λi R N M λ I = I λi = gnl (5) i [I λ1 I λ2 I λk ] R N MK K MERL BRDF [17] (a) 3(b) MERL BRDF (c-f) 3 S/N 3 3(g) 3 (4) c 2012 Information Processing Society of Japan 3

879 0.705 purple-paint 0.459 0.563 0.614 red-phenolic 0.561 0.

2 (Point Grey Research Grasshopper) (OSRAM) 450, 488, 580,

4 (a) (b) (e) 平均 10.61, 分散 1.23 領域インデックス (a) ぬいぐるみ (b) バスケットボール (c) ろうそく (c) 平均 9.74, 分散 1.51 (f) 平均 9.27, 分散 k-means (a) 9 (b) 6 (c) 9 (d) 平均 9.57, 分散 1.44 (g) 平均 9.07, 分散 (a) 40 1 (b) (c) (d) (e) (f) (g) 1 blue-acrylic green-plastic light-brown-fabric orange-paint purple-paint red-phenolic yellow-matte-plastic S/N 4.2 (Point Grey Research Grasshopper) (OSRAM) 450, 488, 580, 650, 694, 730, 780, 880, 940 [nm] 9 (Edmond Optics) (Sigma) 12 [24] 1) 2) 3) 4) [8] HDR 5) 2) 4) 9 6) 1) 5) 12 4, 5, , 5, 6 ( 650 [nm] (4) 8 c 2012 Information Processing Society of Japan 4

情報処理学会研究報告 450[nm] 488[nm] 580[nm] 650[nm] 694[nm] 730[nm] 780[nm] 880[nm] 940[nm] 濃淡画像提案手法ぬいぐるみ図 4 ぬいぐるみ写真と異なる波長画像濃淡画像提案手法で推定された法線マップ 450 488 580 650

(a)ぬいぐるみ図 9 (b)バスケットボール (c)ろうそくラベルマップ (a) ぬいぐるみ (b) バスケットボール (c) ろうそくの各領域における最適波長筒状の形状となっている 4.

一般的に表面領域の色に対応するように思われるなぜならその波長による観測はその領域において最も明るくなると考えられ高い S/N 比を持つと予想されるからであるしかし実験結果よりこの考えとは異なる場合を発見した例えばぬいぐるみの表面のうち緑色の領域はわずかであるにも関わらず

(Point Grey Chameleon) を用いて典型的な照度差ステレオ法の条件で画像を取得した誤差は推定法線マップと真値との間における角度差として報告するハイライト領域は本来調査したい誤差統計に極めて大きな影響を与えるため除去する今回のシーンでは閾

5 情報処理学会研究報告 450[nm] 488[nm] 580[nm] 650[nm] 694[nm] 730[nm] 780[nm] 880[nm] 940[nm] 濃淡画像提案手法ぬいぐるみ図 4 ぬいぐるみ写真と異なる波長画像濃淡画像提案手法で推定された法線マップ濃淡画像による法線マップよりも提案手法による法線マップの方が定性的に正しいと思われる提案手法による結果を見るとぬいぐるみの場合はテクスチャの影響をほとんど受けておらずバスケットボールの場合はよりはっきりとした表面の細部を示しているろうそくの場合はより円 (a)ぬいぐるみ図 9 (b)バスケットボール (c)ろうそくラベルマップ (a) ぬいぐるみ (b) バスケットボール (c) ろうそくの各領域における最適波長筒状の形状となっている 4.3 定量的誤差比較様々な球物体のある実シーンにおいて定量的誤差比較評価関数を用いた法線マップの組み合わせ図 8 の最小評価値に基づき各領域における最適波長が見つかるこれらの波長を図 9 のラベルマップに示す今回の対象物体については可視光の長波長がよく選択されている最適波長は一般的に表面領域の色に対応するように思われるなぜならその波長による観測はその領域において最も明るくなると考えられ高い S/N 比を持つと予想されるからであるしかし実験結果よりこの考えとは異なる場合を発見した例えばぬいぐるみの表面のうち緑色の領域はわずかであるにも関わらずほとんどの領域は緑色の波長領域が最適であると決定された同様のことがバスケットボールとろうそくでも見受けられる様々な波長での法線マップとラベルマップを用いて本手を行った結果を図 10 に示す球は既知の形状であるから表面法線の真値を得ることができる 10 ヶ所の光源方向において RGB カメラ (Point Grey Chameleon) を用いて典型的な照度差ステレオ法の条件で画像を取得した誤差は推定法線マップと真値との間における角度差として報告するハイライト領域は本来調査したい誤差統計に極めて大きな影響を与えるため除去する今回のシーンでは閾値処理のみではハイライトを完全に除去できないため手動でハイライト領域をマスク除去した結果も加えて報告する図 10 に示す通り本手法による結果は個々のカラーチャネル画像による結果や濃淡画像による結果よりも小さい誤差となった 5. 結論法で計算した最終の法線マップを図 4, 図 5, 図 6 に示すこれらの物体に対する真値形状は得ることができないが c 2012 Information Processing Society of Japan 本論文においてランバート照度差ステレオを改善する 5

情報処理学会研究報告バスケットボール 450[nm] 488[nm] 580[nm] 650[nm] 694[nm] 730[nm] 780[nm] 880[nm] 940[nm] 濃淡画像提案手法図5 ろうそく 450[nm] バスケットボール写真と異なる波長画像濃淡画像

多波長画像に基づく新しい手法を提案した本手必要とするしかし多少の効果の減少が考えられるが法は次の四つのステップで構成される 1) 各波長による実験により RGB 画像を用いた場合であっても提案手法に照度差ステレオ法 2) 領域分割 3) 各領域に対する波長は利便性があることを示した

どのような波長に対してもランバートモデルとは大きく状復元において様々な材質の重要な波長依存性を確認し異なるような反射率特性を持つ材質も存在する本手法のたまた本手法により通常の濃淡画像を用いた照度差適用性を高めるために今後の予定として照度差ステレ

6 情報処理学会研究報告バスケットボール 450[nm] 488[nm] 580[nm] 650[nm] 694[nm] 730[nm] 780[nm] 880[nm] 940[nm] 濃淡画像提案手法図5 ろうそく 450[nm] バスケットボール写真と異なる波長画像濃淡画像提案手法で推定された法線マップ 488[nm] 図 6 580[nm] 650[nm] 694[nm] 730[nm] 780[nm] 880[nm] 940[nm] 濃淡画像提案手法ろうそく写真と異なる波長画像濃淡画像提案手法で推定された法線マップために多波長画像に基づく新しい手法を提案した本手必要とするしかし多少の効果の減少が考えられるが法は次の四つのステップで構成される 1) 各波長による実験により RGB 画像を用いた場合であっても提案手法に照度差ステレオ法 2) 領域分割 3) 各領域に対する波長は利便性があることを示したただし波長に応じた反射の評価 4) 最適波長に応じた領域の組み合わせ最適波長率の変化が小さい材質では本手法の本質的な利点が制限さは真値形状を必要とせずに行列の階数解析に基づく推定にれ得るより決定される実験により照度差ステレオ法による形どのような波長に対してもランバートモデルとは大きく状復元において様々な材質の重要な波長依存性を確認し異なるような反射率特性を持つ材質も存在する本手法のたまた本手法により通常の濃淡画像を用いた照度差適用性を高めるために今後の予定として照度差ステレステレオ法に勝る結果を取得できることを示したオ法で用いられる他のパラメトリックな反射モデルへの拡このアプローチは多波長画像を対象としており RGB カ張を計画しているさらに材質認識のために様々な物メラに比べ一般性と利便性の低いイメージングデバイスを体の波長依存性を持つ反射率について調査を行う予定で c 2012 Information Processing Society of Japan 6

7 評価値評価値評価値波長 [nm] (a) ぬいぐるみ波長 [nm] (b) バスケットボール波長 [nm] (c) ろうそく (a) (b) (c) 9 6 [1] N. Alldrin and D. Kriegman. Toward reconstructing surfaces with arbitrary isotropic reflectance : A stratified photometric stereo approach. In Proc. of International Conference on Computer Vision (ICCV). IEEE, [2] N. Alldrin and D. Kriegman. Photometric stereo with non-parametric and spatially-varying reflectance. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, [3] Robert Anderson, Bjorn Stenger, and Roberto Cipolla. Color photometric stereo for multicolored surfaces. In Proc. of International Conference on Computer Vision (ICCV). IEEE, [4] S. Barsky and M. Petrou. The 4-source photometric stereo technique for three-dimensional surfaces in the presence of highlights and shadows. IEEE Trans. Pattern Anal. Mach. Intell., 25(10): , [5] Michael Bass, editor. Handbook of Optics: Optical properties of materials, nonlinear optics, quantum optics. Optical Society of America, [6] Per H. Christensen and Linda G. Shapiro. Threedimensional shape from color photometric stereo. International Journal of Computer Vision, 13(2): , [7] E. Coleman and R. Jain. Obtaining 3-dimensional shape of textured and specular surfaces using four-source photometry. Computer Graphics and Image Processing Journal, 18(4): , [8] Paul E. Debevec and Jitendra Malik. Recovering high dynamic range radiance maps from photographs. In SIG- GRAPH 2008 courses, pages ACM, [9] A. Georghiades. Incorporating the torrance and sparrow model of reflectance in uncalibrated photometric stereo. In Proc. of International Conference on Computer Vision (ICCV), pages IEEE, [10] Dan B. Goldman, Brian Curless, and Aaron Hertzmann Steven M. Seitz. Shape and spatially-varying brdfs from photometric stereo. In Proc. of International Conference on Computer Vision (ICCV), volume 1, pages IEEE, c 2012 Information Processing Society of Japan 7

情報処理学会研究報告 (b)真値法線マップ (c)マスク画像 (d)ラベルマップ赤チャネル緑チャネル青チャネル濃淡画像提案手法平均 4.82 分散 0.22 平均 4.70 分散 0.14 平均 5.07 分散 0.76 平均 4.96 分散 0.54 平均 4.65 分散 0.14 平均 3.89 分散 0.13 平均 3.67 分散 0.11 平均 4.19 分散 0.

06 ハイライト除去角度誤差マップ角度誤差マップ法線マップ (a)対象シーン図 10 定量的誤差比較 RGB カメラで撮影された複数の球がある実シーンにおいてハイライトを除去した場合および除去しなかった場合の角度誤差比較 [11] [12] [13] [14] [15] [16] [17] [18] Pat Hanrahan and Wolfgang Krueger.

Brostow, Bjorn Stenger, and Roberto Cipolla. Non-rigid photometric stereo with colored lights. In Proc. of International Conference on Computer Vision (ICCV), pages 1 8. IEEE, 2007. A.

8 情報処理学会研究報告 (b)真値法線マップ (c)マスク画像 (d)ラベルマップ赤チャネル緑チャネル青チャネル濃淡画像提案手法平均 4.82 分散 0.22 平均 4.70 分散 0.14 平均 5.07 分散 0.76 平均 4.96 分散 0.54 平均 4.65 分散 0.14 平均 3.89 分散 0.13 平均 3.67 分散 0.11 平均 4.19 分散 0.56 平均 3.90 分散 0.20 平均 2.73 分散 0.06 ハイライト除去角度誤差マップ角度誤差マップ法線マップ (a)対象シーン図 10 定量的誤差比較 RGB カメラで撮影された複数の球がある実シーンにおいてハイライトを除去した場合および除去しなかった場合の角度誤差比較 [11] [12] [13] [14] [15] [16] [17] [18] Pat Hanrahan and Wolfgang Krueger. Reflection from layered surfaces due to subsurface scattering. In Proc. of ACM SIGGRAPH, pages ACM, Carlos Herna ndez, George Vogiatzis, Gabriel J. Brostow, Bjorn Stenger, and Roberto Cipolla. Non-rigid photometric stereo with colored lights. In Proc. of International Conference on Computer Vision (ICCV), pages 1 8. IEEE, A. Hertzmann and S. M. Seitz. Example-based photometric stereo: Shape reconstruction with general, varying brdfs. IEEE Trans. Pattern Anal. Mach. Intell., 27(8): , Tomoaki Higo, Yasuyuki Matsushita, and Katsushi Ikeuchi. Consensus photometric stereo. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages IEEE, Miao Liao, Xinyu Huang, and Ruigang Yang. Interreflection removal for photometric stereo by using spectrumdependent albedo. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages IEEE, Satya P. Mallick, Todd E. Zickler, David J. Kriegman, and Peter N. Belhumeur. Beyond lambert: Reconstructing specular surfaces using color. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), volume 2, pages IEEE, Wojciech Matusik, Hanspeter Pfister, Matt Brand, and Leonard McMillan. A data-driven reflectance model. ACM Trans. on Graph., 22(3): , Y. Mukaigawa, Y. Ishii, and T. Shakunaga. Analysis of photometric factors based on photometric linearization. Journal of the Optical Society of America, 24(10): , c 2012 Information Processing Society of Japan [19] [20] [21] [22] [23] [24] [25] [26] Y. Sato and K. Ikeuchi. Temporal-color space analysis of reflection. Journal of the Optical Society of America, 11(11): , W. Silver. Determining shape and reflectance using multiple images. Technical report, Master thesis, MIT, F. Solomon and K. Ikeuchi. Extracting the shape and roughness of specular lobe objects using four light photometric stereo. IEEE Trans. Pattern Anal. Mach. Intell., 18(4): , H. Tagare and R. de Figueiredo. A theory of photometric stereo for a class of diﬀuse non-lambertian surfaces. IEEE Trans. Pattern Anal. Mach. Intell., 13(2): , Ping Tan, Satya P. Mallick, Long Quan, David Kriegman, and Todd Zickler. Isotropy, reciprocity and the generalized bas-relief ambiguity. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, Ariel Tankus and Nahum Kiryati. Photometric stereo under perspective projection. In Proc. of International Conference on Computer Vision (ICCV), volume 1, pages IEEE, Robert J. Woodham. Photometric method for determining surface orientation from multiple images. Optical Engineering, 19(1): , Lun Wu, Arvind Ganesh, Boxin Shi, Yasuyuki Matsushita, Yongtian Wang, and Yi Ma. Robust photometric stereo via low-rank matrix completion and recovery. In Proc. of Asian Conference on Computer Vision (ACCV),

Vol. 44 No. SIG 9(CVIM 7) ) 2) 1) 1 2) 3 7) 1) 2) 3 3) 4) 5) (a) (d) (g) (b) (e) (h) No Convergence? End (f) (c) Yes * ** * ** 1

Vol. 44 No. SIG 9(CVIM 7) ) 2) 1) 1 2) 3 7) 1) 2) 3 3) 4) 5) (a) (d) (g) (b) (e) (h) No Convergence? End (f) (c) Yes * ** * ** 1 Vol. 44 No. SIG 9(CVIM 7) July 2003, Robby T. Tan, 1 Estimating Illumination Position, Color and Surface Reflectance Properties from a Single Image Kenji Hara,, Robby T. Tan, Ko Nishino, Atsushi Nakazawa,