IPSJ SIG Technical Report Vol.2018-CVIM-212 No /5/10 SfM 1,a) 2,b) 1,c) 2,d) SfM SfM SfM IMU GPS RGB FIR 2 ( ) RGB SfM FIR FIR FIR RGB FIR 3 Sf

Size: px
Start display at page:

Download "IPSJ SIG Technical Report Vol.2018-CVIM-212 No /5/10 SfM 1,a) 2,b) 1,c) 2,d) SfM SfM SfM IMU GPS RGB FIR 2 ( ) RGB SfM FIR FIR FIR RGB FIR 3 Sf"

Transcription

1 SM,a),b),c),d) SM SM SM IMU GPS RGB FIR ( ) RGB SM FIR FIR FIR RGB FIR SM. SM SM, SM Goba Positioning System GPS naigation sateite system: NSS inertia measurement unit: IMU 4, 5 RGB (ar- Graduate Schoo o Engineering, Nagoya Uniersity Nationa Institute o Adanced Industria Science and Technoogy a) sumiura@uc.nuee.nagoya-u.ac.jp b).saurada@aist.go.jp c) awaguti@nagoya-u.jp d) r.naamura@aist.go.jp inrared: FIR) SIFT 6 SURF 7 ORB 8 SM FIR FIR FIR unmanned aeria ehice: UAV RGB FIR RGB FIR RGB FIR Structure rom Motion SM 9, Muti-iew Stereo MVS,, RGB SM MVS FIR c 8 Inormation Processing Society o Japan

2 可視光 (RGB) RGB 画像 SM 外部パラメータ MVS 次元モデル 不可視光など ( 例 :FIR) FIR 画像 特徴点対応推定 対応点情報 次元温度マップ マルチモーダルステレオカメラ ステレオキャリブレーション 内部 外部パラメータ スケール推定 スケールパラメータ FIR RGB 物体 ( 絶対スケール既知 ) FIR 物体 RGB ( 絶対スケール未知 不定 ) RGB FIR RGB FIR RGB FIR RGB SM MVS FIR RGB FIR FIR FIR Deep neura networs DNN 4, 5, 6 RGB SM FIR RGB FIR FIR SM SM SM IMU IMU extended Kaman iter: EKF GPS SM Scaramuzza 4 Kitt 5 SM simutaneous ocaization and mapping SLAM 7, 8, 9 SM UAV IMU GPS. FIR RGB FIR FIR c 8 Inormation Processing Society o Japan

3 C * (%) T # (%&) T " T " ( 絶対スケール不定 ) (&) (%) C # ( 絶対スケール既知 ) C # (&) RGB-FIR O ) T # T # (%) T * (%&) (C # ( ) : RGB カメラ, C* ( ) : FIR カメラ ) C * (&) カメラシステム i, j T ( ) T ( ) RGB C ( ) FIR C ( ) T s C ( ) C ( ) T (ij) (C (i) ( ) ( ), C(j) ( ) ) Oreiej ight detection and ranging LiDAR Kinect Fusion, RGB SM MVS Ham RGB FIR 4 Truong RGB FIR SM MVS 5 FIR SM MVS LiDAR RGB FIR.. RGB FIR RGB FIR RGB FIR RGB { I (), I (),, I (n) } FIR { I (), I (),, I (n) } I () I () RGB FIR RGB FIR RGB FIR R s t s T s = T () R s t s RGB FIR RGB I () FIR I () th RGB C () FIR C () C () C () RGB FIR RGB C () T () { I () FIR C () T () =,,, n } RGB { T () =,,, n } SM T (i) T (j) C (i) C (j) RGB SM T (j) T (i) s C (i) C (j) T (ij) T (ij) = R (ij) s t (ij) T R (ij) T (j) T (i) t (ij) T (j) T (i) s t (ij) RGB (C (i) () ) s. s T (ij) T s i, j FIR (C (i) T (ij) T (ij) = T s T (ij) R s R (ij) = T s () R s s R s t (ij) T A (ij) s b (ij) + c (ij) = T A (ij) = a (ij) a (ij) a (ij) b (ij) = R s t (ij) (C (i) + (I R s R (ij) R s ) )t s (4) (5) = Rs R (ij) R s )t s FIR c (ij) = (I R s R (ij) R s ) essentia matrix E (ij) FIR T (ij) E (ij) = sb (ij) + c (ij) A(ij) (6) = s b (ij) a (ij) b (ij) a (ij) b (ij) a (ij) + c (ij) a (ij) c (ij) a (ij) c (ij) a (ij) (7) p (i) FIR (I (i) = x (i), I (j), y(i), T (j) p = x (j), y(j), T ) c 8 Inormation Processing Society o Japan

4 (I (i), I (j) ) p (j) T E (ij) p (i) = (8) p (i), p(j) 6 p (i) p (i) = K u (i), (i), T with K = x c x y c y (9) K FIR p (i) = X (i) X (i) / Z (i) () = X (i), Y (i), Z (i) T i FIR C (i) X (i) p (i) FIR I (i) (8) u (ij) ( s (ij) + g (ij)) = () u (ij) (ij), g (ij) 9 u (ij) (ij) = g (ij) = = x (i) x(j), x(i) y(j), x(i), y (i) x(j), y(i) y(j), y(i) b (ij) a (ij), b (ij) a (ij) c (ij) a (ij), c (ij) a (ij), x(j), b (ij) a (ij), y(j), (),, b (ij) a (ij), c (ij) a (ij),, c (ij) a (ij) T () T (4) () s () e (ij) = u (ij) ( s (ij) + g (ij)) (5) e (ij) e (ij) e (ij) = U (ij)( s (ij) + g (ij)) with U (ij) = u (ij) T u (ij) T u (ij) T T m (6) m FIR (I (i), I (j) ) s s = arg min s R e (ij) i,j (7) J(s) = U (ij)( s (ij) + g (ij)) (8) i,j s dj(s)/ds = s ) ( (ij)t U (ij)t U (ij) g (ij) s = i,j i,j ( (ij)t U (ij)t U (ij) (ij) ) (9). s () s RGB (C (i) ) t (ij) s RGB FIR t s t s s t (ij) /s T (ij) R (ij) t (ij) R s s t s =, T T s = T () () (5) A (ij) b (ij) c (ij) A (ij) = a (ij) a (ij) a (ij) = Rs R (ij) R s b (ij) = (I R s R (ij) R s )t s c (ij) = R s t (ij) () () () () ().4 () () (9) 7 RGB RGB s FIR I (i) δ (i), X = X, Y, Z T x (i) δ (i), = x(i) π (i) (s, X ) () FIR I (i) X π (i) ( ) i FIR π (i) (s, X ) = X (i) x Z (i) Y (i) T + c x, y + c Z (i) y () X (i) = X (i), Y (i), Z (i) T () c 8 Inormation Processing Society o Japan 4

5 X (i) = R s R (i) X + s R s t (i) + t s () () X (i) = R s R (i) X + R s t (i) + s t s (4) L ( ) ( L s, { } X, K ; { T (i) } ), Ts = ( ) δ (i) ρ /σr i,,, (5) ρ( ) Huber σ r. s ( s = arg min L s, { } X, K ; { T (i) } ), Ts s R,{X },K (6) (6) Leenberg Marquardt () () (9) 4. s RGB FIR RGB FIR () () () () 4. ( ) X i R (i =,,, n p ) D ( ) n c RGB FIR RGB FIR T s RGB T () ( =,,, n c ) FIR T () ( =,,, n c ) T () = T s T () ( ) FIR ( =,,, n c ) X, X,, X np T () ( 4 ) σ n ( 5 ) () () s (5) RGB. n p = D = σ n =. RGB FIR T s R s t T s T s = T with R s = I and t s = d (7) d > RGB FIR 4. s () /s () s 4 d 4b. < d.. s d <.. 4a d <. 4b 4a 4b () () () RGB FIR RGB RGB FIR 5 mm RGB FIR d (ij) RGB (C (i) L (ij) SM (C (i) ) ) RGB SM d (ij) L (ij) RGB ˆd (ij) ˆd (ij) = s L (ij) ( ) () (8) ˆd (ij) = L (ij)/ ( ) s () (9) c 8 Inormation Processing Society o Japan 5

6 4. 平均 標準偏差 推定スケール 𝑠 (回平均) 4 推定スケールの逆数の 標準偏差 (回試行) 推定スケールの逆数 /𝑠 (回平均) RGB FIRカメラ間のベースライン長: 𝑑. RGB FIRカメラ間のベースライン長: 𝑑 (a) アルゴリズム () 図4. 平均 標準偏差 推定スケールの標準偏差 (回試行) 情報処理学会研究報告 (b) アルゴリズム () 特徴点にノイズを与えた仮想環境下での アルゴリズム () および () による推定スケー ルの平均 左縦軸 および標準偏差 右縦軸 平均および標準偏差は 回の試行によ り求めた 図 4a および図 4b において 横軸は RGB FIR カメラシステムのベースライ ン長 d を表しており, の範囲で変化させている なお推定スケールの真値は. である 推定スケールの精度および安定性が 特に d <. の範囲で大きく異なる FIRカメラ (6 pix) FLIR Duo R 垂直 スライド (.6m) RGBカメラ (9 8 pix) RGBカメラ ( pix) LUMIX DMC-G8 水平スライド (.7m) RGB 画像 図 6 FIR 画像 キャリブレーションボードの RGB FIR 画像 図 5 RGB FIR カメラシステムおよび実験で用いた架台 架台は グリッド状に並んだ視点で RGB FIR 画像を撮影するのに用 いた 架台のステージにカメラシステムを固定し ステージを 垂直 水平に動かしながら撮影を行った で得られる s はアルゴリズム () または () で推定した スケールパラメータである さらに 推定値 dˆ(ij) の相対 誤差 ϵ(ij) は以下で得られる ϵ(ij) = dˆ(ij) d(ij) % d(ij) () 本実験で用いた RGB FIR カメラシステムを図 5 に示 す カメラシステムの RGB カメラは LUMIX DMC G8 Panasonic Corp. または FLIR Duo R FLIR Systems, Inc. に搭載された RGB カメラを用いる FIR カメラは FLIR Duo R に搭載された FIR カメラを用いる 実験の手順は以下の通りである ( ) グリッド視点の RGB FIR 画像のペアを図 5 に示し たカメラシステムを用いて撮影する また 単眼 SM とスケール推定を安定させるために 自由視点で撮影 した RGB FIR 画像ペアを追加する ( ) 撮影した RGB 画像を用いて単眼 SM の処理を行う ( ) FIR 画像間の対応点をの SIFT 6 特徴量を用いて求め る なお 5 点アルゴリズム 8, 9 による RANdom SAmpe Consensus RANSAC を用いて誤対応を除 いた ( 4 ) アルゴリズム () および () を用いてスケールパラメー タ s を推定する ( 5 ) 以下で定義される平均相対誤差 ϵ を計算する N はグ リッド視点で撮影された RGB 画像の枚数である ϵ= ϵ(ij) () N (N ) i<j FIR 画像の特徴点の検出および特徴量の計算を行う際 c 8 Inormation Processing Society o Japan 図 7 評価用環境および SM で推定した RGB カメラ姿勢. には FIR 画像をグレースケール画像に変換する必要が ある FLIR Duo R は各ピクセルが物体の放射温度情報を 持った FIR 画像を出力する それらをグレースケール画像 に変換するために FIR 画像ごとに全ピクセル値の平均 µ および標準偏差 σp を求め 元の FIR 画像のピクセル値の µ σp, µ + σp の範囲を, 8 にマッピングする RGB FIR カメラ間のベースライン長がスケール推定 に与える影響を考察するため 評価用に用意した環境の RGB FIR 画像ペアを 4 種類のベースライン 7, 9,, 6 mm のカメラシステムで撮影した ベースライン 長が 7, 9, mm のカメラシステムでは RGB カメ ラとして LUMIX DMC G8 を用いた ベースライン長が 6 mm のカメラシステムでは RGB カメラとして FLIR Duo R に搭載された RGB カメラを用いた RANSAC に よるランダム性を考慮し 4 種類のベースライン長それぞ れについてスケールの推定および ϵ の計算を 回行い それらの平均および標準偏差を求めた 5. RGB FIR カメラシステムのキャリブレーション 提案手法を実環境のデータに適用する場合 RGB FIR カメラシステムの事前キャリブレーションが必要となる 我々は チェスボードパターンなどの平面パターンを用い るキャリブレーション手法 を用いて RGB FIR カメ ラシステムのキャリブレーションを行った キャリブレー ションボードの平面パターンは RGB カメラはもちろん 6

7 情報処理学会研究報告 8 バンドル調整前 バンドル調整後 𝜖 の平均 絶対値 % 回試行 𝜖 の平均 絶対値 % 回試行 ベースライン長 mm ベースライン長 mm (a) アルゴリズム () 図 8 バンドル調整前 バンドル調整後 8 (b) アルゴリズム () 4 種類のベースライン 6,, 9, 7 mm それぞれにおける ϵ の 回平均 エ ラーバーは 回試行による ϵ の ±σ の範囲を表している バンドル調整前では アル ゴリズム () および () どちらにおいてもベースライン長が長くなるほど誤差の絶対値 が小さくなっていることが分かる 加えて アルゴリズム () による推定値の誤差がア ルゴリズム () による推定値の誤差より大きいことが読み取れる 一方 バンドル調整 後ではアルゴリズム () および () どちらにおいても ϵ の平均値はほぼ になっている 図 9 ベースライン長が 7 mm の RGB FIR カメラシステムに よる評価用環境 図 7 の 次元温度マップ FIR カメラからも認識できる必要がある そこで グリッ ド上に並べたられた黒色円形パターンの各中心に小型の発 熱体を挿入したキャリブレーションボードを製作した 図 6 キャリブレーション対象の RGB FIR カメラシステム を用いて複数視点で RGB FIR 画像を撮影し円形パター ンの検出を行った後に カメラシステムの内部 外部パラ メータを Zhang の手法 を用いて推定した 5. 評価結果 評価用のデータを撮影した環境を図 7 に示す グリッド 状に並んだ視点の数は 8 縦 横 の計 8 視点で ある また 単眼 SM およびスケール推定を安定させるた めに 5 ペアの RGB FIR 画像を追加した RANSAC の ランダム性を考慮し 提案手法によるスケール推定を 回行った上での ϵ の 回平均および標準偏差を図 8 に示 す 図 8a および図 8b は それぞれアルゴリズム () と () を用いた際の相対誤差 ϵ の絶対値を表している 図 8a および図 8b どちらにおいても カメラシステムの ベースライン長が長くなるほどバンドル調整前の ϵ の絶対 値が小さくなっている 加えて 4 種のベースライン長い ずれにおいても図 8a の誤差の絶対値は図 8b の誤差の絶 対値より大きいことが読み取れる これらの結果は第 4 章 のシミュレーションの結果と同じ傾向を示している つま り バンドル調整を行わない場合は RGB FIR カメラシス テムのベースライン長が長いほど高精度なスケール推定が 行えることが分かる また 種類のアルゴリズムによる 推定値の精度および安定性の違いが仮想環境下と実環境下 の両方の実験で示された 一方 バンドル調整後では図 8a と図 8b どちらにおいて c 8 Inormation Processing Society o Japan も ϵ の絶対値がほぼ になっている 特に ベースライン長 が 6 mm のときのアルゴリズム () による推定値の相対 誤差 ϵ は バンドル調整前では 78. % であるのに対し バンドル調整後では.54 % であった また ベースラ イン長が 7 mm のときは アルゴリズム () および () による推定値の相対誤差 ϵ がそれぞれ.46,.48 % いずれもバンドル調整後 であり 絶対スケールを高精 度に推定できている 標準偏差についても バンドル調整 前に比べてバンドル調整後はバラつきが小さくなってい る 以上をまとめると アルゴリズム () および () によ る推定値はどちらもバンドル調整の初期値として十分な精 度であるとともに バンドル調整によって絶対スケールパ ラメータの推定精度を高められていることが分かる 最後に ベースライン長が 7 mm の RGB FIR カメ ラシステムで取得したデータと推定したスケールパラメー タを用いて構築した 次元温度マップを図 9 に示す 温度 が高い部分 電気ポット等 低い部分 ペットボトル へ の温度の投影が正しく行われていることが確認できる 6. 結論 本研究では RGB FIR カメラペアのような異なる波 長域 モダリティのカメラで構成したステレオカメラシ ステムにおける単眼 SM のスケール推定手法を提案した RGB FIR 画像のような異なるモダリティの画像間では 直接の対応点推定が困難であるため 我々はカメラシステ ムの外部パラメータおよび FIR 画像間の少数の対応点を 用いてスケールを推定する手法を提案した 提案手法は FIR 画像間のエピポーラ拘束条件に基づいており 本研究 報告ではスケールパラメータの導入箇所が異なる 種類の スケール推定アルゴリズムを定式化した また 仮想環境 および実環境下での実験を通して 種類のアルゴリズムに よる推定値の精度および安定性を検証した その結果 ス ケールパラメータの導入箇所によって精度 安定性に違い が生じることが分かった さらに 提案手法で推定したス ケールパラメータを初期値としてスケールを考慮したバン ドル調整を行うと スケールパラメータの推定精度がさら 7

8 RGB FIR NEDO 6 Daison, A. J., Reid, I. D., Moton, N. D. and Stasse, O.: MonoSLAM: Rea-Time Singe Camera SLAM, Transactions on Pattern Anaysis and Machine Inteigence (TPAMI), Vo. 9, No. 6, pp (7). Kein, G. and Murray, D.: Parae tracing and mapping or sma AR worspaces, Internationa Symposium on Mixed and Augmented Reaity (ISMAR), pp. 5 4 (7). Nützi, G., Weiss, S., Scaramuzza, D. and Siegwart, R.: Fusion o IMU and Vision or Absoute Scae Estimation in Monocuar SLAM, Journa o Inteigent & Robotic Systems, Vo. 6, No., pp (). 4 Scaramuzza, D., Fraundorer, F., Poeeys, M. and Siegwart, R.: Absoute scae in structure rom motion rom a singe ehice mounted camera by expoiting nonhoonomic constraints, Internationa Conerence on Computer Vision (ICCV), pp (9). 5 Kitt, B. M., Rehder, J., Chambers, A. D., Schonbein, M., Lategahn, H. and Singh, S.: Monocuar Visua Odometry using a Panar Road Mode to Soe Scae Ambiguity, European Conerence on Mobie Robots (). 6 Lowe, D. G.: Distinctie Image Features rom Scae- Inariant Keypoints, Internationa Journa o Computer Vision (IJCV), Vo. 6, No., pp. 9 (4). 7 Bay, H., Tuyteaars, T. and Van Goo, L.: SURF: Speeded Up Robust Features, European Conerence on Computer Vision (ECCV), pp (6). 8 Rubee, E., Rabaud, V., Konoige, K. and Bradsi, G.: ORB: an eicient aternatie to SIFT or SURF, Internationa Conerence on Computer Vision (ICCV), pp (). 9 Agarwa, S., Snaey, N., Simon, I., Seitz, S. M. and Szeisi, R.: Buiding Rome in a day, Internationa Conerence on Computer Vision (ICCV), pp (9). Schönberger, J. L. and Frahm, J.-M.: Structure-rom- Motion Reisited, Conerence on Computer Vision and Pattern Recognition (CVPR), pp (6). Furuawa, Y. and Ponce, J.: Accurate, Dense, and Robust Muti-View Stereopsis, Transactions on Pattern Anaysis and Machine Inteigence (TPAMI), Vo., No. 8, pp (). Jancose, M. and Pajda, T.: Muti-iew Reconstruction Presering Weay-supported Suraces, Conerence on Computer Vision and Pattern Recognition (CVPR), pp. 8 (). Schönberger, J. L., Zheng, E., Poeeys, M. and Frahm, J.-M.: Pixewise View Seection or Unstructured Muti- View Stereo, European Conerence on Computer Vision (ECCV), pp (6). 4 DeTone, D., Maisiewicz, T. and Rabinoich, A.: Toward Geometric Deep SLAM, arxi preprint arxi:77.74 (7). 5 Han, X., Leung, T., Jia, Y., Suthanar, R. and Berg, A. C.: MatchNet: Uniying Feature and Metric Learning or Patch-Based Matching, Conerence on Computer Vision and Pattern Recognition (CVPR), pp (5). 6 Zagoruyo, S. and Komodais, N.: Learning to Compare Image Patches ia Conoutiona Neura Networs, Conerence on Computer Vision and Pattern Recognition (CVPR), pp (5). 7 Grisetti, G., Kummere, R., Stachniss, C. and Burgard, W.: A Tutoria on Graph-Based SLAM, Inteigent Transportation Systems Magazine, Vo., No. 4, pp. 4 (). 8 Kümmere, R., Grisetti, G., Strasdat, H., Konoige, K. and Burgard, W.: go: A Genera Framewor or Graph Optimization, Internationa Conerence on Robotics and Automation (ICRA), pp (). 9 Strasdat, H., Montie, J. and Daison, A. J.: Scae dritaware arge scae monocuar SLAM, Robotics: Science and Systems (RSS) (). Oreiej, O., Cramer, J. and Zahor, A.: Automatic generation o d therma maps o buiding interiors, ASHRAE transactions, Vo., p. C (4). Newcombe, R. A., Izadi, S., Hiiges, O., Moyneaux, D., Kim, D., Daison, A. J., Kohi, P., Shotton, J., Hodges, S. and Fitzgibbon, A.: KinectFusion: Rea-time dense surace mapping and tracing, Internationa symposium on Mixed and augmented reaity (ISMAR), pp. 7 6 (). Mer, A. O. and Kro, A.: Generating High Fideity - D Thermograms With a Handhed Rea-Time Therma Imaging System, IEEE Sensors Journa, Vo. 7, No., pp (7). Vidas, S., Moghadam, P. and Bosse, M.: D therma mapping o buiding interiors using an RGB-D and therma camera, Internationa Conerence on Robotics and Automation (ICRA), pp. 8 (). 4 Ham, Y. and Goparar-Fard, M.: An automated isionbased method or rapid D energy perormance modeing o existing buidings using therma and digita imagery, Adanced Engineering Inormatics, Vo. 7, No., pp (). 5 Phuc Truong, T., Yamaguchi, M., Mori, S., Nozic, V. and Saito, H.: Registration o RGB and Therma Point Couds Generated by Structure From Motion, Internationa Conerence on Computer Vision Worshop (IC- CVW) (7). 6 Hartey, R. I. and Zisserman, A.: Mutipe View Geometry in Computer Vision, Cambridge Uniersity Press, ISBN: 55458, second edition (4). 7 Triggs, B., McLauchan, P. F., Hartey, R. I. and Fitzgibbon, A. W.: Bunde Adjustment A Modern Synthesis, Vision Agorithms: Theory and Practice, pp (999). 8 Nistér, D.: An eicient soution to the ie-point reatie pose probem, IEEE transactions on pattern anaysis and machine inteigence, Vo. 6, No. 6, pp (4). 9 Stewénius, H., Enges, C. and Nistér, D.: Recent deeopments on direct reatie orientation, ISPRS Journa o Photogrammetry and Remote Sensing, Vo. 6, pp (6). Zhang, Z.: A Fexibe New Technique or Camera Caibration, IEEE Transactions on Pattern Anaysis and Machine Inteigence (TPAMI), Vo., pp. 4 (). c 8 Inormation Processing Society o Japan 8