uscope YRP E-mail: tesshi@sakamura-lab.org AR(Augmented Reality:) uscope POI(Point Of Interest) 1. AR(Augmented Reality)/MR(Mixed Reality) [1] Layer [2] GPS POI Point Of Interest POI 2(a) POI POI POI 2(b) POI GPS 5 10m (a) (b) 1 uscope
Khufu's Pyramid Khafre's Pyramid Menkaure's Pyramid?? (a) : (b) :POI 2 AR uscope 1(a),1(b) POI POI GPS Castle [4] PTAMM PTAM [3] POI OmniDB OmniDB 2. 3. 4. 5. 2. AR Klein [3] PTAM(Parallel Tracking And Mapping) iphone 15fps [13] Castle [4] PTAMM(Parallel Tracking and Multiple Mapping)
3 Yazawa [5] SURF Valgren [6] 7 SURF [7] SIFT [8] 15% AR 3. 3. 1 POI 3 SURF [7] SURF POI 1.
SURF SURF + = 12:15 SURFPoints = X 14:30 SURFPoints = Y OmniDB SURFPoints = X+Y 4 OmniDB : 12:15 X 14:30 Y OmniDB X+Y POI 3. 2 OminDB DB 4 12:15 14:30 OmniDB 4 12:15 X SURF 14:30 Y SURF X+Y SURF OmniDB OmniDB OmniDB OmniDB 3 4. OmniDB OmniDB 4. 1 1 5 1 4. 2 5
(a) 博物館 (b) 美術館 (c) レストラン 図 5 観測場所写真 4. 3 定点観測画像全数マッチング 検出ずれ 各地点の定点観測データより 各地点ごとに観測画像 間のマッチング結果のずれを算出した これは5分間隔 取得した観測画像対観測画像で全数マッチングを行い マッチングした結果が何 px 分ずれていたかを求めたも のである 前程として定点観測画像間のマッチングであ る為 ずれが 0px であることが理想である これを行う ことで 何時に撮影した画像をリファレンスとして用い ると日中の全時間帯でマッチングが可能になるかを求め (a) 博物館:検出ずれ ることができる 図 6(a),6(b),6(c) に観測時間を軸とした観測地点毎の 結果を示す 色が暗いほどずれが小さく 明るいほどず れが大きいことを示している この結果から言えることは まず美術館においては全 般的に色が暗く マッチングを行なった際のずれがどの 時間においても非常に小さいと言える これは筐体設置 場所前のガラスに円形のマークが貼られており これが 目印となって外の日照条件が変わったとしてもその円形 マークを観測することで正確なマッチングが行えたと考 えられる また博物館においてはずれが各所で発生して (b) 美術館:検出ずれ いる これは市街地にむけた観測であったため 人工物 が多数存在することで日照条件が変わると特徴点の出 現が大きく変わったことが要因であると考えられる し かし細かく見ていくと 16:15 周辺の写真を用いた際にず れの少ないマッチングが一日を通して行えている この 時間帯は夕方であったため 強い日差しが他と比べて弱 く 特徴点が安定して出現したことが要因であると考え られる 一方でレストランにおいてマッチングが 100%成功す る時間帯は無かった これは先に上げたような目印が近 くに無かったことが大きな原因であると考えられる こ の条件の違いによって日照変化が影響して安定したマッ (c) レストラン:検出ずれ 図6 分析 定点観測データ 色が暗いほどマッチングした結果 のずれが小さく 明るいほどずれが大きい チングが行えなかったものと考えられる 4. 4 OmniDB を用いたマッチング ここで 4. 3 章にて算出した検出ずれが 5px 以内であっ た場合にマッチングが成功したとみなし 一日を通して 何%マッチングに成功したかを求めた これをマッチン グ成功率とする このマッチング成功率を求めることで 一日を通して最もマッチングしやすい写真と最もマッ チングしにくい写真を求め そこから提案手法である OmniDB を作成した ここではレストランを例に挙げ る レストランにてマッチング成功率が低かった時間帯 12:15 と 14:30 の観測結果から SURF 特徴量を求め そ れをマージして OmniDB を作成した 表 2 にてマッチ ング成功率の最低 最高 そして OmniDB を適用した
30 25 20 15 10 5 0 10:25 10:45 11:05 11:25 11:45 12:05 12:25 12:45 13:05 13:25 13:45 14:05 14:25 14:45 15:05 15:25 15:45 16:05 16:25 16:45 7 12:10 14:40 OmniDB 2 OmniDB : 14:40 12:15 OmniDB 43.20% 95.06% 100.00% OmniDB 100% 7 5px 12:10 14 14:40 OmniDB 5. uscope DB OmniDB OmniDB [1] TonchidotCorporation: sekaicamera.com, SekaiCamera. [2] Layer: www.layar.com, Layar. [3] G. Klein and D. Murray: Parallel tracking and mapping for small ar workspaces, Proceedings of the 2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality, pp. 1 10 (2007). [4] R. Castle and D. Murray: Object recognition and localization while tracking and mapping, Proceedings of the 2009 8th IEEE... (2009). [5] N. Yazawa, H. Uchiyama, H. Saito, M. Servieres, G. Moreau and E. IRSTV: Image based view localization system retrieving from a panorama database by surf, IAPR Conference on Machine Vision Application, Yokohama, Japan (2009). [6] C. Valgren and A. Lilienthal: Sift, surf & seasons: Appearance-based long-term localization in outdoor environments, Robotics and Autonomous Systems, 58, 2, pp. 149 156 (2010). [7] H. Bay, T. Tuytelaars and L. V. Gool: Surf: Speeded up robust features, Lecture Notes in Computer Science (2006). [8] D. Lowe: Object recognition from local scaleinvariant features, iccv (1999). [9] M. Muja and D. Lowe: Fast approximate nearest neighbors with automatic algorithm con guration, International Conference on Computer Vision Theory... (2009). [10] D. Gossow, P. Decker and D. Paulus: An evaluation of open source surf implementations, pp. 1 9. [11] D. Ta, W. Chen, N. Gelfand and K. Pulli: Surftrac: E cient tracking and continuous object recognition using local feature descriptors, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2009). [12] E. Chu, E. Hsu and S. Yu: Image-guided tours: Fast-approximated sift with u-surf features. [13] G. Klein and D. Murray: Parallel tracking and mapping on a camera phone, Proceedings of the International Symposium on Mixed and Augmented Reality (ISMAR) (2009). [14] A. Ascani, E. Frontoni and A. Mancini: Robot localization using omnidirectional vision in large and dynamic outdoor environments,... on Mechtronic and... (2008).
[15] N. Snavely, S. Seitz and R. Szeliski: Photo tourism: exploring photo collections in 3d, ACM SIG- GRAPH 2006 Papers (2006). [16] C. Evans: Notes on the opensurf library, Technical Report CSTR-09-001 (2009). [17] A. Murillo and J. Guerrero: Surf features for efficient robot localization with omnidirectional images,... Conference on Robotics... (2007). [18] K. NOGUCHI, T. NAKAI and K. KISE: Experimental investigation of relation between near neighbor search methods for feature vectors and efficiency of object recognition, IPSJ SIG Technical... (2006). [19] N. Zhang: Computing parallel speeded-up robust features (p-surf) via posix threads, Proceedings of the 5th international conference on Emerging intelligent computing technology and applications, pp. 287 296 (2009). [20] S. Sinha, J. Frahm, M. Pollefeys and Y. Genc: Gpubased video feature tracking and matching, EDGE (2006). [21] NokiaCorporation: qt.nokia.com, Qt-A crossplatform application and UI framework. [22] V. Paelke and C. Brenner: Development of a mixed reality device for interactive on-site geovisualization, Proceedings of 18th Simulation and Visualization Conference (2007). [23] M. Özuysal, M. Calonder, V. Lepetit and P. Fua: Fast keypoint recognition using random ferns, IEEE transactions on pattern analysis and machine intelligence (2009). [24] W. Zhang and J. Kosecka: Localization based on building recognition,... Vision and Pattern Recognition-... (2005). [25] G. Bradski and A. Kaehler: Learning OpenCV: Computer Vision with the OpenCV Library (2008). [26] W. Thompson, T. Henderson, T. Colvin, L. Dick and C. Valiquette: Vision-based localization, DARPA Image Understanding Workshop, pp. 491 498 (1993). [27] M. Shapshak: New approaches for mixed reality in urban environments: The cinespace project, 5th International Conference Virtual City and Territory. Spain (2009). 1. uscope uscope 1. 1 SURF SURF POI POI DB POI 1. 2 SURF [7] SURF Harr Wavelet SURF SIFT [8] SIFT SURF SIFT SURF GPGPU [20] 1. 3 FLANN(Fast Library for Approximate Nearest Neighbors) [9] 1. 4 4
RANSAC RANdom SAmple Consensus 90 5% 1. 5 ID ID POI 1. 6 Qt WebKit HTML CSS JavaScript OSX Qt Windows Linux A 1 PC MacPro MB535J/A Video Camera SONY HDR-CX550V HDMI Capture BlackMagicDesign Intensity Pro LCD 22inc FullHD Display MacPro Xeon 2.26GHz QuadCore X 2 8 4 720p HDMI 1080p HDMI 180 1(a) 1. 7 Qt OpenCV SURF OpenSURF