IPSJ SIG Technical Report Vol.2015-CVIM-195 No /1/23 RGB-D RGB 3 1,a) RGB-D RGB-D 3. RGB CG RGB DTAM[1] MonoFusi

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2015-CVIM-195 No /1/23 RGB-D RGB 3 1,a) RGB-D RGB-D 3. RGB CG RGB DTAM[1] MonoFusi"

ときなかんけ
4 years ago
Views:

1 RGB-D RGB 3 1,a) RGB-D RGB-D 3. RGB CG RGB DTAM[1] MonoFusion[2] KinectFusion[3] NAIST, Ikoma, Nara , Japan a) takehara.hikari.tz9@is.naist.jp [4], [5] ICP [6], [7] 3 ICP [6], [7] ICP ICP ICP [8] c 2015 Inormation Processin Society o Japan 1

RGB-D カメラフレームフレームフレーム+1 RGB 画像列 ( 赤点 : 点軌跡上の点, 青点 :SIFT 対応点 ) フレームフレーム+1 フレームデプス画像列フレーム 15

y j テンプレート座標系 1 A i +1 x i +1 + b i +1 x i : 点軌跡上の3 次元点 A i, b i : アフィン変換 A i x i + b i : 変換後の x

2 2. RGB 3 2.1 1 RGB-D RGB-D RGB-D RGB RGB 3 3 ICP RGB [9] ( 2 ) RGB RGB 3 X i = {x i = 1,.

2 RGB-D カメラフレームフレームフレーム+1 RGB 画像列 ( 赤点 : 点軌跡上の点, 青点 :SIFT 対応点 ) フレームフレーム+1 フレームデプス画像列フレーム 15 フレーム 30 フレームの 3 次元座標系フレーム +1 の 3 次元座標系フレームの 3 次元座標系 y j x i x i +1 y j y j A i x i + b i p i y j テンプレート座標系 1 A i +1 x i +1 + b i +1 x i : 点軌跡上の3 次元点 A i, b i : アフィン変換 A i x i + b i : 変換後の x i y j :SIFT 対応の3 次元点 y j : 変換後の y j p i : テンプレート点 2 フレーム 45 フレーム 60 ( ) 3 RGB-D RGB-D 3 3 ( ) RGB 2 2. RGB RGB-D RGB-D RGB-D RGB RGB 3 3 ICP RGB [9] ( 2 ) RGB RGB 3 X i = {x i = 1,..., F } x i i 3 F 3 SIFT[10] ( 3 ) 3 y i y j j SIFT 3 3 SIFT 3 c 2015 Inormation Processin Society o Japan 2

対応点数 3 3 3 X i 3 p i 3 p i RGB-D 3 3 x i p i (p i = A i x i + b i ) I P = {p i i = 1,..., I} p i x i ( A = {A i i = 1,..., I, = 1,..., F } B = {b i i = 1,..., I, = 1,..., F }) 3 2.

(a) (b) (b) フレーム 1 とフレーム 656 の SIFT 対応点 1 T C T W 3 (a) 394 (b) 656 1 SIFT SIFT G G SIFT (, ) RGB 3 (y j y j ) 2.

3 対応点数 X i 3 p i 3 p i RGB-D 3 3 x i p i (p i = A i x i + b i ) I P = {p i i = 1,..., I} p i x i ( A = {A i i = 1,..., I, = 1,..., F } B = {b i i = 1,..., I, = 1,..., F }) RGB [9] 1 3 [9] RGB RGB RGB RGB 3 X i SIFT[10] 3 RGB T C SIFT (, ) 代表フレーム閾値 T C フレーム番号 3 (a) フレーム 1 とフレーム 394 の SIFT 対応点 (a) (b) (b) フレーム 1 とフレーム 656 の SIFT 対応点 1 T C T W 3 (a) 394 (b) SIFT SIFT G G SIFT (, ) RGB 3 (y j y j ) E F E R E S SIFT 3 E C P ( A B) E (P, A, B) = α F E F + α R E R + α S E S + α C E C (1) α F, α R, α S, α C E F x i p i (p i = A i x i + b i ) 3 E F (P, A, B) = p i (A i x i + b i ) 2 2 (2) i V() E F c 2015 Inormation Processin Society o Japan 3

E S (A, B) = x 3 4 y j x 2 x 1 p 13 y j p 2 p 3 p 1 p 11 y j p

i (A j x i + b j ) 2 2 (4) E R A i E S A i x i + b i A j x i +

2 SIFT (, ) j SIFT y j y j y j y j ( 4) SIFT y j y j m x i (i =

SIFT y j x i Li [4] w ji w ji = (1 y j x i 2 2/γ 2 ) 3 k M(,j)

y j 2 2 = (,) j (,) G j k M(,j) w jk p k l M(,j) w jl p l 2 2

4 フレーム座標系フレーム座標系 E R E S Li [4] A i x i E R (A) = (A i )T A i I 2 F (3) i V() E S (A, B) = x 3 4 y j x 2 x 1 p 13 y j p 2 p 3 p 1 p 11 y j p 12 テンプレート座標系 x 13 x 12 x 11 SIFT y j i V() j N (,i) A i x i + b i (A j x i + b j ) 2 2 (4) E R A i E S A i x i + b i A j x i + b j V() N (, i) i x i n F SIFT 3 E C 2.2 SIFT (, ) j SIFT y j y j y j y j ( 4) SIFT y j y j m x i (i = 1... n) p i y j = w ji p i (5) i M(,j) M(, j) SIFT y j m w ji SIFT y j x i Li [4] w ji w ji = (1 y j x i 2 2/γ 2 ) 3 k M(,j) (1 y j x k 2 2 /γ2 ) 3 (6) γ SIFT y j m + 1 SIFT E C (P) = y j y j 2 2 = (,) j (,) G j k M(,j) w jk p k l M(,j) w jl p l 2 2 (7) E C G 2.2 SIFT j (, ) SIFT 2.4 (1) E R A i 4 (1) 3 ( i ) ( ii ) (1) ( iii ) c 2015 Inormation Processin Society o Japan 4

情報処理学会研究報告よる変形を考慮した式 (1) の最適化ステップ (i) では対象物の剛体運動を仮定し初期フレームの点群を基準として連続するフレーム間の点軌跡から逐次的に剛体位置合わせを行い剛体変換パラメータ回転行列および並進ベクトルを特異値分解に基づく手法 [11] により求めるこれらの剛体変換パラメータから初期フレームを基準とした剛体運動パラメータを漸化

と仮定して式 (1) に対して下記の制約を課す i, Ai = A, bi = b (8) この制約の下で ES は常に 0 となることに注意して式 (1) は次式に変形できる E (P, A, B) = αf EF + αr ER + αc EC データセット (A) (9) ただし EF = ER = pi (A xi + b ) 22 (10) i V( ) (A )T A I 2F

と同様に最急降下法を用いて式 (1) を最小化する 3. 実験本稿では RGB-D カメラで移動変形中の非剛体物体を全周撮影した RGB-D 画像列から提案手法によってテンプレートが生成可能であるかを確認する実験を行ったデータセット (B) 3.

5 情報処理学会研究報告よる変形を考慮した式 (1) の最適化ステップ (i) では対象物の剛体運動を仮定し初期フレームの点群を基準として連続するフレーム間の点軌跡から逐次的に剛体位置合わせを行い剛体変換パラメータ回転行列および並進ベクトルを特異値分解に基づく手法 [11] により求めるこれらの剛体変換パラメータから初期フレームを基準とした剛体運動パラメータを漸化的に求めるここではフレームにおける回転行列を R 並進ベクトルを t とする (ただし初期フレームでは R1 = I t1 = 0) ステップ (ii) ではステップ (i) で得られた剛体運動パラメータ (R, t ) を初期値として式 (1) の最小化によりテンプレート点 pi の初期値を得るここで同一フレーム内の点が単一のアフィン変換にしたがって運動するものと仮定して式 (1) に対して下記の制約を課す i, Ai = A, bi = b (8) この制約の下で ES は常に 0 となることに注意して式 (1) は次式に変形できる E (P, A, B) = αf EF + αr ER + αc EC データセット (A) (9) ただし EF = ER = pi (A xi + b ) 22 (10) i V( ) (A )T A I 2F (11) ここで αf, αr, αc は重みパラメータを表す提案手法では最急降下法を用いて式 (9) を最小化するステップ (iii) の最適化では (ii) で得られたテンプレート点および各フレームの単一のアフィン変換を初期値として式 (1) を最小化するテンプレート点 pi および局所アフィン変換 (Ai bi ) を推定するここではステップ (ii) と同様に最急降下法を用いて式 (1) を最小化する 3. 実験本稿では RGB-D カメラで移動変形中の非剛体物体を全周撮影した RGB-D 画像列から提案手法によってテンプレートが生成可能であるかを確認する実験を行ったデータセット (B) 3.1 実験環境とデータセット図 5 RGB 画像およびデプス画像の例実験では RGB-D カメラ (Microsot Kinect v2) を用いて (A) 上体と頭を動かしている人物および (B) 腕を動像の領域に基づいて RGB 画像についても人物領域のみかしている人物を 2 周撮影して得られた RGB-D 画像列を抽出したデータセット (A) および (B) の RGB 画像おからなるデータセットに対して 3 次元テンプレートを生よびデプス画像の一部を図 5 に示す成する実験を行ったデプス画像は背景領域を含むことから人物の含まれ得るデプスの範囲を設定し人物に対応する 3 次元点群のみを抽出したまた抽出したデプス画 c 2015 Inormation Processin Society o Japan 3.2 実験結果実験ではオプティカルフローに基づく点追跡 [9] およ 5

6 (A) (A) (B) 7 (ii) (B) 6 ( ) ( ) 3 SIFT[10] RGB RGB SIFT SIFT RGB (ii) α F = 1.0 α R = α C = 1.0 (iii) α F = 0.1 α R = 1.0 α S = 1.0 α C = 1.0 (ii) 7 (ii) (A) (B) 8 (ii) (i) (A = I b = 0) ( (9)) (ii) (1) 9. (A) (ii) c 2015 Inormation Processin Society o Japan 6

7 目的関数 E' 目的関数 E' 恒等変換剛体変換パラメータの更新回数 (A) 恒等変換剛体変換 (A) パラメータの更新回数 (B) 8 ( (9)) (a) SIFT (iii) E C (b) (ii) (B) (ii) ( 7 (B)) 2 (iii) RGB-D RGB-D 3 (B) 9 (iii) RGB-D RGB SIFT RGB-D 3 3 ( A No ) c 2015 Inormation Processin Society o Japan 7

8 [1] Newcombe, R. A., Loverove, S. J. and Davison, A. J.: DTAM: Dense trackin and mappin in real-time, Proc. IEEE Int l Con. Computer Vision (ICCV), pp (2011). [2] Pradeep, V., Rhemann, C., Izadi, S., Zach, C., Bleyer, M. and Bathiche, S.: MonoFusion: Real-time 3D reconstruction o small scenes with a sinle web camera, Proc. IEEE Int l Symp. Mixed and Aumented Reality (IS- MAR), pp (2013). [3] Newcombe, R. A., Davison, A. J., Izadi, S., Kohli, P., Hillies, O., Shotton, J., Molyneaux, D., Hodes, S., Kim, D. and Fitzibbon, A.: KinectFusion: Real-time dense surace mappin and trackin, Proc. IEEE Int l Symp. Mixed and Aumented Reality (ISMAR), pp (2011). [4] Li, H., Adams, B., Guibas, L. J. and Pauly, M.: Robust sinle-view eometry and motion reconstruction, ACM Trans. Graphics (TOG), Vol. 28, No. 5, p. 175 (2009). [5] Zollhöer, M., Nießner, M., Izadi, S., Rehmann, C., Zach, C., Fisher, M., Wu, C., Fitzibbon, A., Loop, C., Theobalt, C. and Stamminer, M.: Real-time non-riid reconstruction usin an RGB-D camera, ACM Trans. Graphics (TOG), Vol. 33, No. 4 (2014). [6] Li, H., Sumner, R. W. and Pauly, M.: Global correspondence optimization or non-riid reistration o depth scans, Proc. Symp. Geometry Processin (SGP), pp (2008). [7] Amber, B., Romdhani, S. and Vetter, T.: Optimal step nonriid ICP alorithms or surace reistration, Proc. IEEE Con. Computer Vision and Pattern Reconition (CVPR), 8 paes (2007). [8] Besl, P. J. and McKay, N. D.: Method or reistration o 3-D shapes, Robotics-DL tentative, pp (1992). [9] Sundaram, N., Brox, T. and Keutzer, K.: Dense point trajectories by GPU-accelerated lare displacement optical low, Proc. European Conerence on Computer Vision (ECCV), pp (2010). [10] Lowe, D. G.: Distinctive imae eatures rom scaleinvariant keypoints, Int l Journal o Computer Vision, Vol. 60, No. 2, pp (2004). [11] Arun, K. S., Huan, T. S. and Blostein, S. D.: Leastsquares ittin o two 3-D point sets, IEEE Trans. Pattern Analysis and Machine Intellience (TPAMI), No. 5, pp (1987). c 2015 Inormation Processin Society o Japan 8

IPSJ SIG Technical Report Vol.2012-CG-149 No.13 Vol.2012-CVIM-184 No /12/4 3 1,a) ( ) DB 3D DB 2D,,,, PnP(Perspective n-point), Ransa

IPSJ SIG Technical Report Vol.2012-CG-149 No.13 Vol.2012-CVIM-184 No /12/4 3 1,a) ( ) DB 3D DB 2D,,,, PnP(Perspective n-point), Ransa 3,a) 3 3 ( ) DB 3D DB 2D,,,, PnP(Perspective n-point), Ransac. DB [] [2] 3 DB Web Web DB Web NTT NTT Media Intelligence Laboratories, - Hikarinooka Yokosuka-Shi, Kanagawa 239-0847 Japan a) yabushita.hiroko@lab.ntt.co.jp