(MIRU2007) GPS, GPS GPS structure-from-

Transcription

1 (MIRU2007) GPS, {sei-i,tomoka-s,yokoya}@is.naist.jp, yamaguchi@mosk.tytlabs.co.jp GPS GPS structure-from-motion GPS GPS Construction of Feature Landmark Database from Omnidirectional Video Abstract with GPS Positions Sei IKEDA, Tomokazu SATO, Koichiro YAMAGUCHI,, and Naokazu YOKOYA Guraduate School of Information Science, Nara Institute of Science and Technology Takayama , Ikoma, Nara, Japan Toyota Central R&D Labs., Inc. 41 1, Aza Yokomichi, Oaza Nagakute, Nagakute-cho, Aichi-gun, Aichi-ken, , Japan {sei-i,tomoka-s,yokoya}@is.naist.jp, yamaguchi@mosk.tytlabs.co.jp This paper describes a method for constructing feature landmark database using omnidirectional videos and GPS positions acquired in outdoor environments. The feature landmark database is used to estimate camera positions and postures for various applications such as augmented reality systems and self-localization of robots and automobiles. We have already proposed a registration method using landmark database that stores 3D positions of sparse feature points with their view-dependent image templates. However, for large environments, much human cost was needed to construct landmark database because conventional 3-D reconstruction methods requires measuring some absolute positions of feature points manually to suppress accumulative estimation errors in structure-from-motion process. To achieve automatic construction of landmark database for large outdoor environments, we propose a novel method that constructs database without manual specification of features using omnidirectional videos and GPS positions. Key words Feature Landmark Database Estimation of Camera Positions and Postures, GPS Positioning, Omnidirectional Camera

2 1. [1], [2] [3] [6], [7] [9]. structure-from-motion GPS structure-from-motion GPS GPS (1) (2) (A) (B) (C) (D) (1) (2) (A) : (B) : 2 4 (C) : (D) : 2. 2 PnP ( 1) ( 2) ( 3) ( 4)

3 Harris [10] N 3N E RANSAC [11] 3. GPS OMS; Omnidirectional Multi-camera System GPS GPS GPS GPS OMS GPS OMS GPS structure-from-motion 3. 1 [12] [14] [?] c j i Φ ijc ˆq ijc q ijc Φ ijc = q ijc ˆq ijc (j S ic ) (1) S ic i c GPS GPS GPS 0 2 GPS i OMS (t i, R i,) GPS g i OMS GPS d R ig i + t i = d (i F) (2) F GPS GPS g i (2) OMS (t i, R i ) GPS GPS GPS OMS Ψ i Ψ i = R i g i + t i d (3) 3. 2 GPS GPS OMS GPS 1 (A) (B) k (C)GPS (C) (D) (C) GPS (C) (D) GPS (A) (D) GPS (1) Φ ijc (3) GPS Ψ i OMS E E = ω Ψ 2 1 i + F i F i,c S ic µ i i,c j S ic w j Φ 2 ijc (4)

4 (A) 特徴点の追跡 (1) 特徴点の候補位置の検出 i-(k+2l)+1 i-l 更新される範囲 i カメラ位置 (2) 特徴点の仮対応づけ (3) 暫定外部パラメータの推定 (4) 特徴点の再対応づけ (B) 外部パラメータの初期値推定 N i mod k = 0 Y (C) GPS 測位値を用いた狭区間最適化 (D) GPS 測位値を用いた広区間最適化 1 w j (A) j µ i ω Ψ i Φ ijc (4) E OMS (t i, R i) p j E GPS E 1 (A) (D) (A) (B) (C) (D) 1 (A) 1 Harris [10] 2 3 LMeds (B) (A) ( i ) lフレーム kフレーム lフレーム GPS 受信位置 iフレームの逐次処理に対応する最適化の範囲 2 OMS (t i, R i ) E init = w j Φ 2 ijc. (5) j S ic (C) GPS (C) (A) (B) E Levenberg- Marquardt GPS (A) 2 (A) (B) i i (k + 2l) + 1 i GPS E i (k + l) + 1 i l k GPS (D) GPS (D) (A) (C) OMS (C) GPS (C) 2 OMS (C) k + 2l k + 2l (C) k l l 4. 3 OMS(Point Grey Research Ladybug 768x fps) GPS (Nikon LogPakII, ±3.0 cm, ±4.0 cm) 6 1 2,000 12,000.

5 Data acquisition vehicle. GPS receiver (left) and OMS (right). 図 3 全方位型マルチカメラシステムと GPS のアンテナ Latitude [deg] Longitude [deg] 図4 推定されたランドマークの三次元位置の地図への投影結果 レームの経路に沿った距離は 約 1.5km であった 上記の動画 姿勢推定に使用できることを確認する 一般的な単眼の手持ち 像から OMS のカメラパスと自然特徴点の三次元位置を推定 カメラ (SONY DSR-PD-150) を用いて 300 フレームの動画像 したけっか 獲得したランドマーク数は 約 20,000 個, ( 画素 プログレッシブスキャン 15fps) を取得し 画素の異なる三段階のスケールの画像テンプレートが各ランド 上記の実験で構築したランドマークデータベースを用いてカメ マークにつき平均 15 組得られた ただし 第 933 フレーム目 ラの位置 姿勢を推定した また 初期フレームにおけるカメ で 1 度 特徴点追跡が失敗し 第 950 フレーム目から処理が再 ラの位置 姿勢を与えるために 初期フレームの画像中の 6 点 開した 全てのランドマークに対し 画素のテンプレー のランドマークの位置を人手により与えた 入力画像に対応付 トを 3 つ 多重スケール画像テンプレートとして図 4 に示され けるランドマークの最大個数は 1 フレームあたり 100 個 ラ る黒い点は 推定されたランドマークの三次元位置が地図上に ンドマークに対応する入力画像中の自然特徴点を探索する範囲 投影された位置を示す 図 4 により 推定されたランドマーク のウィンドウサイズは 画素 そして RANSAC の繰り の三次元位置に大きな誤差が含まれないことが確認できる た 返し回数は 500 回とした. 本実験では 各フレームの計算時間 だし 図 4 の右中央部分では ランドマークの三次元位置が復 (Intel Pentium4 3GHz CPU 2, 1.5GB RAM) は 1.4 秒で 元されておらず 黒い点が疎になっていることが分かる この あった 図 5 は 推定したカメラの位置 姿勢を持ちたマッチ 部分は 上記の第 933 フレームに対応し GPS の位置情報に ムーブの結果を示している 図から 仮想物体が道路上に固定 10m を超えるの誤差が含まれていた このように RTK-GPS されており カメラの位置 姿勢の推定結果に大きな誤差がな が十分な精度で位置情報を取得できない場所に対しては GPS いことが分かる この結果から 計算量の問題を除けば 構築 の信頼度情報を利用して 最適化の重み係数 ω を動的に変動す したランドマークデータベースを用いることにより 一般的な ることにより対処できると考えられる カメラの動画像を用いて格調現実感の技術が適用できることが 次に 構築したランドマークデータベースがカメラの位置 分かる

6 第 1 フレーム 第 13 フレーム 第 25 フレーム 第 37 フレーム 第 49 フレーム 第 61 フレーム 第 73 フレーム 第 85 フレーム 第 97 フレーム 第 109 フレーム 第 121 フレーム 第 133 フレーム 図 5 重畳表示された仮想物体 5. ま と め 本稿では 屋外広域環境下でのカメラの位置 姿勢推定のた [6] めの特徴点ランドマークデータベースの構築手法について提 案した 提案手法では 人手による基準点などの三次元位置計 測が必要なく 自動的に広域環境のランドマークデータベース [7] の構築が可能である 提案手法により構築されたランドマーク データベースを用いることにより 絶対的なカメラの位置 姿 勢の推定が可能である 今後は GPS の信頼度情報を考慮し [8] 復元されるランドマークの三次元位置精度の向上を図る予定で ある 謝 [9] 辞 本研究の一部は 科学技術振興機構 (JST) の戦略的創造研究 推進事業 (CREST) デジタルメディア作品の制作を支援する 基盤技術 プログラムの支援による 文 献 [1] S. Feiner, B. MacIntyre, T. Ho ller and A.Webster: A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment, Proc. 1st Int. Symp. on Wearable Computers, pp (1997). [2] P. Daehne and J. Karigiannis: ARCHEOGUIDE: System architecture of a mobile outdoor augmented reality system, Proc. 1st Int. Symp. on Mixed and Augmented Reality, pp (2002). [3] A. I. Comport, E. Marchand and F. Chaumette: A realtime tracker for markerless augmented reality, Proc. 2nd IEEE and ACM Int. Symp. on Mixed and Augmented Reality, pp (2003). [4] E. Rosten and T. Drummond: Fusing points and lines for high performance tracking, Proc. 10th IEEE Int. Conf. on Computer Vision, Vol. 2, pp (2005). [5] H. Wuest, F. Vial and D. Stricker: Adaptive line track- [10] [11] [12] [13] [14] ing with multiple hypotheses for augmented reality, Proc. 4th IEEE and ACM Int. Symp. on Mixed and Augmented Reality, pp (2005). L. Vacchetti, V. Lepetit and P. Fua: Combining edge and texture information for real-time accurate 3D camera tracking, Proc. 3rd IEEE and ACM Int. Symp. on Mixed and Augmented Reality, pp (2004). D. Burschka and G. D. Hager: V-GPS (SLAM): Visionbased inertial system for mobile robots, Proc IEEE Int. Conf. on Robotics and Automation, pp (2004). I. Gordon and D. G. Lowe: Scene modelling, recognition and tracking with invariant image features, Proc. 3rd IEEE and ACM Int. Symp. on Mixed and Augmented Reality, pp (2004). M. Oe, T. Sato and N. Yokoya: Estimating camera position and posture by using feature landmark database, Proc. 14th Scandinavian Conf. on Image Analysis, pp (2005). C. Harris and M. Stephens: A combined corner and edge detector, Proc. 4th Alvey Vision Conf., pp (1988). M. A. Fischler and R. C. Bolles: Random sample consensus: A pradigm for model fitting with applications to image analysis and automated cartography, Communications of the ACM, 24, 6, pp (1981). A. W. Fitzgibbon and A. Zisserman: Automatic camera recovery for closed or open image sequences, Proc. 5th European Conf. on Computer Vision, Vol. I, pp (1998). M. Pollefeys, R. Koch, M. Vergauwen, B. Deknuydt and L. V. Gool: Three-dimentional scene reconstruction from images, Proc. SPIE, Vol. 3958, pp (2000). T. Sato, M. Kanbara, N. Yokoya and H. Takemura: Dense 3-D reconstruction of an outdoor scene by hundreds-baseline stereo using a hand-held video csamera, Int. Jour. of Computer Vision, 47, 1-3, pp (2002).