RGB-D RGB 3 1,a) 1 1 1 1 RGB-D 3. 3. RGB-D 3. RGB 3 3 1. 3 CG 3 3 3 3 RGB DTAM[1] MonoFusion[2] KinectFusion[3] 3 3 3 1 NAIST, Ikoma, Nara 630 0192, Japan a) takehara.hikari.tz9@is.naist.jp 3 3 3 3 [4], [5] 3 3 3 3 ICP [6], [7] 3 ICP [6], [7] ICP 2 3 3 3 3 ICP ICP [8] c 2015 Inormation Processin Society o Japan 1
RGB-D カメラ フレーム フレーム フレーム+1 RGB 画像列 ( 赤点 : 点軌跡上の点, 青点 :SIFT 対応点 ) フレーム フレーム+1 フレーム デプス画像列 フレーム 15 フレーム 30 フレーム の 3 次元座標系 フレーム +1 の 3 次元座標系 フレーム の 3 次元座標系 y j x i x i +1 y j y j A i x i + b i p i y j テンプレート座標系 1 A i +1 x i +1 + b i +1 x i : 点軌跡上の3 次元点 A i, b i : アフィン変換 A i x i + b i : 変換後の x i y j :SIFT 対応の3 次元点 y j : 変換後の y j p i : テンプレート点 2 フレーム 45 フレーム 60 ( ) 3 RGB-D RGB-D 3 3 ( ) RGB 2 2. RGB 3 2.1 1 RGB-D RGB-D RGB-D RGB RGB 3 3 ICP RGB [9] ( 2 ) RGB RGB 3 X i = {x i = 1,..., F } x i i 3 F 3 SIFT[10] ( 3 ) 3 y i y j j SIFT 3 3 SIFT 3 c 2015 Inormation Processin Society o Japan 2
対応点数 3 3 3 X i 3 p i 3 p i RGB-D 3 3 x i p i (p i = A i x i + b i ) I P = {p i i = 1,..., I} p i x i ( A = {A i i = 1,..., I, = 1,..., F } B = {b i i = 1,..., I, = 1,..., F }) 3 2.2 RGB [9] 1 3 [9] RGB RGB RGB RGB 3 X i SIFT[10] 3 RGB T C SIFT (, ) 3 400 1500 1200 900 600 300 代表フレーム 閾値 T C 0 0 100 200 300 400 500 600 700 フレーム番号 3 (a) フレーム 1 とフレーム 394 の SIFT 対応点 (a) (b) (b) フレーム 1 とフレーム 656 の SIFT 対応点 1 T C T W 3 (a) 394 (b) 656 1 SIFT SIFT G G SIFT (, ) RGB 3 (y j y j ) 2.3 3 3 E F E R E S SIFT 3 E C P ( A B) E (P, A, B) = α F E F + α R E R + α S E S + α C E C (1) α F, α R, α S, α C 2.3.1 3 E F x i p i (p i = A i x i + b i ) 3 E F (P, A, B) = p i (A i x i + b i ) 2 2 (2) i V() E F c 2015 Inormation Processin Society o Japan 3
フレーム 座標系 フレーム 座標系 2.3.2 E R E S Li [4] A i x i E R (A) = (A i )T A i I 2 F (3) i V() E S (A, B) = x 3 4 y j x 2 x 1 p 13 y j p 2 p 3 p 1 p 11 y j p 12 テンプレート座標系 x 13 x 12 x 11 SIFT y j i V() j N (,i) A i x i + b i (A j x i + b j ) 2 2 (4) E R A i E S A i x i + b i A j x i + b j V() N (, i) i x i n F 2.3.3 SIFT 3 E C 2.2 SIFT (, ) j SIFT y j y j y j y j ( 4) SIFT y j y j m x i (i = 1... n) p i y j = w ji p i (5) i M(,j) M(, j) SIFT y j m w ji SIFT y j x i Li [4] w ji w ji = (1 y j x i 2 2/γ 2 ) 3 k M(,j) (1 y j x k 2 2 /γ2 ) 3 (6) γ SIFT y j m + 1 SIFT E C (P) = y j y j 2 2 = (,) j (,) G j k M(,j) w jk p k l M(,j) w jl p l 2 2 (7) E C G 2.2 SIFT j (, ) SIFT 2.4 (1) E R A i 4 (1) 3 ( i ) ( ii ) (1) ( iii ) c 2015 Inormation Processin Society o Japan 4
情報処理学会研究報告 よる変形を考慮した式 (1) の最適化 ステップ (i) では 対象物の剛体運動を仮定し 初期フ レームの点群を基準として連続するフレーム間の点軌跡 から逐次的に剛体位置合わせを行い 剛体変換パラメー タ 回転行列および並進ベクトル を特異値分解に基づく 手法 [11] により求める これらの剛体変換パラメータか ら 初期フレームを基準とした剛体運動パラメータを漸化 的に求める ここでは フレーム における回転行列を R 並進ベクトルを t とする (ただし 初期フレームで は R1 = I t1 = 0) ステップ (ii) では ステップ (i) で得られた剛体運動パ ラメータ (R, t ) を初期値として 式 (1) の最小化により テンプレート点 pi の初期値を得る ここで 同一フレー ム内の点が単一のアフィン変換にしたがって運動するもの と仮定して 式 (1) に対して下記の制約を課す i, Ai = A, bi = b (8) この制約の下で ES は常に 0 となることに注意して 式 (1) は次式に変形できる E (P, A, B) = αf EF + αr ER + αc EC データセット (A) (9) ただし EF = ER = pi (A xi + b ) 22 (10) i V( ) (A )T A I 2F (11) ここで αf, αr, αc は重みパラメータを表す 提案手法 では 最急降下法を用いて式 (9) を最小化する ステップ (iii) の最適化では (ii) で得られたテンプレー ト点および各フレームの単一のアフィン変換を初期値とし て 式 (1) を最小化するテンプレート点 pi および局所ア フィン変換 (Ai bi ) を推定する ここでは ステップ (ii) と同様に最急降下法を用いて式 (1) を最小化する 3. 実験 本稿では RGB-D カメラで移動 変形中の非剛体物体 を全周撮影した RGB-D 画像列から 提案手法によってテ ンプレートが生成可能であるかを確認する実験を行った データセット (B) 3.1 実験環境とデータセット 図 5 RGB 画像 およびデプス画像の例 実験では RGB-D カメラ (Microsot Kinect v2) を用い て (A) 上体と頭を動かしている人物 および (B) 腕を動 像の領域に基づいて RGB 画像についても人物領域のみ かしている人物を 2 周撮影して得られた RGB-D 画像列 を抽出した データセット (A) および (B) の RGB 画像お からなるデータセットに対して 3 次元テンプレートを生 よびデプス画像の一部を図 5 に示す 成する実験を行った デプス画像は背景領域を含むことか ら 人物の含まれ得るデプスの範囲を設定し 人物に対応 する 3 次元点群のみを抽出した また 抽出したデプス画 c 2015 Inormation Processin Society o Japan 3.2 実験結果 実験では オプティカルフローに基づく点追跡 [9] およ 5
(A) (A) (B) 7 (ii) (B) 6 ( ) ( ) 3 SIFT[10] RGB RGB SIFT SIFT RGB 3 6 3 (ii) α F = 1.0 α R = 100.0 α C = 1.0 (iii) α F = 0.1 α R = 1.0 α S = 1.0 α C = 1.0 (ii) 7 (ii) (A) (B) 8 (ii) (i) (A = I b = 0) ( (9)) (ii) (1) 9. (A) (ii) c 2015 Inormation Processin Society o Japan 6
目的関数 E' 目的関数 E' 1000000 100000 恒等変換 剛体変換 10000 1000 100 10 1 0 1000 2000 3000 パラメータの更新回数 (A) 1000000 100000 10000 恒等変換 剛体変換 (A) 1000 100 10 1 0 1000 2000 3000 パラメータの更新回数 (B) 8 ( (9)) (a) SIFT (iii) E C (b) (ii) (B) (ii) ( 7 (B)) 2 (iii) 3 4. 3 RGB-D RGB-D 3 (B) 9 (iii) RGB-D RGB SIFT RGB-D 3 3 ( A No.23240024) c 2015 Inormation Processin Society o Japan 7
[1] Newcombe, R. A., Loverove, S. J. and Davison, A. J.: DTAM: Dense trackin and mappin in real-time, Proc. IEEE Int l Con. Computer Vision (ICCV), pp. 2320 2327 (2011). [2] Pradeep, V., Rhemann, C., Izadi, S., Zach, C., Bleyer, M. and Bathiche, S.: MonoFusion: Real-time 3D reconstruction o small scenes with a sinle web camera, Proc. IEEE Int l Symp. Mixed and Aumented Reality (IS- MAR), pp. 83 88 (2013). [3] Newcombe, R. A., Davison, A. J., Izadi, S., Kohli, P., Hillies, O., Shotton, J., Molyneaux, D., Hodes, S., Kim, D. and Fitzibbon, A.: KinectFusion: Real-time dense surace mappin and trackin, Proc. IEEE Int l Symp. Mixed and Aumented Reality (ISMAR), pp. 127 136 (2011). [4] Li, H., Adams, B., Guibas, L. J. and Pauly, M.: Robust sinle-view eometry and motion reconstruction, ACM Trans. Graphics (TOG), Vol. 28, No. 5, p. 175 (2009). [5] Zollhöer, M., Nießner, M., Izadi, S., Rehmann, C., Zach, C., Fisher, M., Wu, C., Fitzibbon, A., Loop, C., Theobalt, C. and Stamminer, M.: Real-time non-riid reconstruction usin an RGB-D camera, ACM Trans. Graphics (TOG), Vol. 33, No. 4 (2014). [6] Li, H., Sumner, R. W. and Pauly, M.: Global correspondence optimization or non-riid reistration o depth scans, Proc. Symp. Geometry Processin (SGP), pp. 1421 1430 (2008). [7] Amber, B., Romdhani, S. and Vetter, T.: Optimal step nonriid ICP alorithms or surace reistration, Proc. IEEE Con. Computer Vision and Pattern Reconition (CVPR), 8 paes (2007). [8] Besl, P. J. and McKay, N. D.: Method or reistration o 3-D shapes, Robotics-DL tentative, pp. 586 606 (1992). [9] Sundaram, N., Brox, T. and Keutzer, K.: Dense point trajectories by GPU-accelerated lare displacement optical low, Proc. European Conerence on Computer Vision (ECCV), pp. 438 451 (2010). [10] Lowe, D. G.: Distinctive imae eatures rom scaleinvariant keypoints, Int l Journal o Computer Vision, Vol. 60, No. 2, pp. 91 110 (2004). [11] Arun, K. S., Huan, T. S. and Blostein, S. D.: Leastsquares ittin o two 3-D point sets, IEEE Trans. Pattern Analysis and Machine Intellience (TPAMI), No. 5, pp. 698 700 (1987). c 2015 Inormation Processin Society o Japan 8