A Survey on Image Recognition Using Geo-tag Information

Size: px

Start display at page:

Download "A Survey on Image Recognition Using Geo-tag Information"

いっけいおおかわち
7 years ago
Views:

Geo A Survey on Image Recognition Using Geo-tag Information 1 48106417 Abstract Geo-tag is a type of metadata of various media such as photographs, videos, websites and more other media.

1 Geo A Survey on Image Recognition Using Geo-tag Information Abstract Geo-tag is a type of metadata of various media such as photographs, videos, websites and more other media. In the case of photographs, Geo-tag is GPS coordinates where it was taken. In recent years, we have so many Geo-tagged images on the 2006 Web Flickr GPS Geo Geo Flickr photo sharing web site, such as Flickr. This paper shows some works, which apply geo-tag information to image recognition problem. GPS coordinates has only 2 values, latitude and longitude, a point on the earth. However, GPS coordinates has richer information than 2 dimension vector. We can consider GPS coordinates as a hint of more informative resources or some works apply GPS coordinates to latent semantic analysis. Geo-tag is also used to build the database concerning the sightseeing spot and the landmark. Moreover, there are some Geolocalization works; they estimate the place where an untagged image was taken. 1 Geo GPS 2 Exif Exchangeable image file Figure 1 Geo-tag of image format 1 Geo GPS GPS GPS Geo 2010 GoogleMaps Geo 2 Geo 1

2 Figure 2 Geo-tagged Image localize in Google Maps Geo semantic gap World Wide Web Flickr Geo GPS GPS Geo GPS Geo 4 Geo GPS GPS Geo Geo Geolocalization 2 Geo 2 Geo GPS Web GPS Luo GPS 2 GoogleEarth [10] 3 Geo 2

, GPS 3 25m, 50m, 150m bag-of-visualwords[3] SIFT [9] HSV, SVM Supprt Vector Machine multiboost tree classifier[6] SVM RBF SVM Luo Geo [12] Flickr Geo GPS plsa LDA GPS Geo Joshi Geonames GIS

3 , GPS 3 25m, 50m, 150m bag-of-visualwords[3] SIFT [9] HSV, SVM Supprt Vector Machine multiboost tree classifier[6] SVM RBF SVM Luo Geo [12] Flickr Geo GPS plsa LDA GPS Geo Joshi Geonames GIS geographic information system GPS bag-of-geotag Geo [8] GIS GPS,, GIS GPS GPS bag-of-geotag (1) Geo GPS 20 Geonames (2) GPS k = 2 k-means (3) GPS (4) bag-of-geotag Figure 3 Event recognition of using third view I bag-of-geotag : G(I) = {w 1,w 2,...,w mi } 3

4 bag-of-geotag P(I,w) = P(I) P(w z)p(z I) (1) z,em z plsa Cristani Region (2) P(l,w) = P(l) z P(w z) P(z r)p(r l) (2) r l GPS r Region P(l,w) = P(l) z P(w z) P(z r)p(l r)p(r) (3) r p(l r) r GPS 5) Region Visual Figure 4 Event recognition framework of using geographic information system visualwords Geo EM 3 GPS GPS GPS GPS Cristani bag-ofvisualwords plsa Visual Region [2] plsa bagof-visualwords (1) plsa I P(I) Visual z P(z I) visual word w P(w z) (I,w) visual word Geo Geolocalization 4 Geo Flickr Geo Geo GPS 4

Figure 6 A geospatial grid is overlaid over the earth Gammeter らは Quack らの研究の根本的な発想を受け継ぎ観光地やランドマークを重視したデータベース構築手法を提案した [5] この研究は最初に Wikipedia の記事 Figure 5 distribution of region topics につけられている

Flickr を検索し考えられるシード座標を含む格子内にある画像を集めてくる Quack らは GPS 座標を用いた物体とイベント認識のた (3) 格子内で bag-of-visualwords を利用して k-means クラめのデータベースの効率的な構築手法を提案した [11] こスタリングを行ないオブジェクトクラスタを作るの手法では地球を分割する 100m ごとの格子を与え

5 Figure 6 A geospatial grid is overlaid over the earth Gammeter らは Quack らの研究の根本的な発想を受け継ぎ観光地やランドマークを重視したデータベース構築手法を提案した [5] この研究は最初に Wikipedia の記事 Figure 5 distribution of region topics につけられている Geo タグ情報を利用し全手順をすべて自動化してデータベースを構築しているが近い手頃な数の画像間のみで済ませるようにすれば明 (1) wikipedia の記事で GPS 座標の情報が付いている記事らかに類似度の低い大量の画像間での計算を行う回数が減を見つけその座標をシード座標とする少し効率的なデータベースの構築を行うことができると (2) 地球を格子状に分けシード座標で Flickr を検索し考えられるシード座標を含む格子内にある画像を集めてくる Quack らは GPS 座標を用いた物体とイベント認識のた (3) 格子内で bag-of-visualwords を利用して k-means クラめのデータベースの効率的な構築手法を提案した [11] こスタリングを行ないオブジェクトクラスタを作るの手法では地球を分割する 100m ごとの格子を与えそ (4) オブジェクトクラスタの写真についているタグを利用の内部でのみ高次元の画像特徴量を用いた計算を行っていしてオブジェクトクラスタへのラベル付けを行うる図 6 以下のような手順によって地球規模の大規模なデータベースを構築しているこの研究ではこのようにして構築されたデータベース (1) 地球を格子状に分け各格子の中心の緯度経度を求め内の最近傍探索を行うことでクエリ画像に写っている物る求めた緯度経度で Flickr を検索し格子内にある体の認識が行えるようにしているこの研究は各ランド画像を集めてくるマークを表す特徴点をクエリ画像から検出しそれらの点を囲うバウンディングボックスも表示するという物体検 (2) 格子内では SURF[1] による bag-of-visualwords を画像出の領域にまで踏み込んだ研究となっている図 7 特徴量として用いてクラスタリングを行ないそれら Zheng らは画像の GPS 座標を用いて効率的に観光地ののクラスタがオブジェクト建物や像などかイベンデータベースを構築する手法を提案した [14] 先の 2 つのトコンサートやお祭りなどかを人手で判別する研究と発想は似ているがこの研究では格子ではなく GPS (3) クラスタの写真についているタグを利用してクラス座標のみによるクラスタリングを行うことで近い位置にタへのラベル付を行う存在している画像のクラスタを作っているこの手法は (4) ラベルで Wikipedia の記事を検索しその記事を各ク GPS 座標が近い画像であれば特に観光地に関しては似ラスタに関連させる 5

Figure 7 landmark recognition and detection Hay 650 Geo Geolocalization 8 GPS 1 GPS wikitravel 5 Geolocalization Geo Geolocalization Hays 1 Geo GPS [7]

6 Figure 7 landmark recognition and detection Hay 650 Geo Geolocalization 8 GPS 1 GPS wikitravel 5 Geolocalization Geo Geolocalization Hays 1 Geo GPS [7] Flickr Geo, cameraphone GPS Gallagher IM2GPS [4] Flickr IM2GPS Geolocalization semantic gap Geolocalization Zamir Google Geolocalization [13] Google 12 Google 12 6

Figure 8 Results of IM2GPS 分布しているまた民生用の GPS 機器より正確な位計算してしまうも避けたいそこで地理的な距離が一定以置を得ることができる上離れている画像間で似た特徴が得られる場合その特徴多少の歪みはあるものの視点を限定すれば一般的は地理的な特徴ではないと考え除去するという方法を採っなレンズで撮影した写真と同様の画像を簡単に得るこ

座標自体が潜在的的な位置が分かればその地点でのストリートビューに持っている情報や GPS 座標から得られる 2 次的な情報をの視点を動かして得られる画像とクエリ画像の間で利用する研究や地理的な区画を利用して効率的にデータ簡単なマッチングを行えばカメラの東西南北や上下ベースを構築する研究そして Geo タグのついていない画の姿勢までもが分かることになる今現在のデジタル

7 Figure 8 Results of IM2GPS 分布しているまた民生用の GPS 機器より正確な位計算してしまうも避けたいそこで地理的な距離が一定以置を得ることができる上離れている画像間で似た特徴が得られる場合その特徴多少の歪みはあるものの視点を限定すれば一般的は地理的な特徴ではないと考え除去するという方法を採っなレンズで撮影した写真と同様の画像を簡単に得るこているつまり GPS 座標を手がかりに必要十分な画像特とができる徴を得ることに成功しているのである GoogleMaps の多機能されたデータセットは様々なア 6 まとめプリケーションへの拡張を容易にしてくれると予想さ本稿では Geo タグ情報が画像認識に及ぼした影響とそれる例えば Geolocalization によってカメラの地理れを利用した研究について述べた GPS 座標自体が潜在的的な位置が分かればその地点でのストリートビューに持っている情報や GPS 座標から得られる 2 次的な情報をの視点を動かして得られる画像とクエリ画像の間で利用する研究や地理的な区画を利用して効率的にデータ簡単なマッチングを行えばカメラの東西南北や上下ベースを構築する研究そして Geo タグのついていない画の姿勢までもが分かることになる今現在のデジタル像の地理的な位置を推定する Geolocalization に関する研究カメラではカメラ自身の姿勢を記録することはできなについて述べたいがこの研究を用いれば十分可能になると考えら現在のところ画像における Geo タグは GPS 座標と同義れるであるが画像フォーマットのどのように変化するのか撮一方でデータセットが巨大で通行人や車が写っている事影デバイスにどのようなセンサを搭載されるのかあるいが多いなどといった欠点も抱えているはどのような画像共有サービスが生まれるのかという筆者らはデータセットとして 200km の道路の 12 メーこといった事情によって今後 GPS 座標以外の情報も含むトルごと各地点についての前後/側面/天頂という 5 枚の画ようになるはずである例えば近年の標準的な携帯電話像とその地点の GPS 座標のセットを作成している図 9 やスマートフォンには電子コンパスが搭載されておりカデータベースが巨大になるため比較に使用する SIFT 特メラの地理的な向きに関する情報を得ることは現在でも技徴を減らす必要がある上 Google ストリートビューでは通術的には問題なく出来ると思われるより豊かな Geo タグ行人や車なども写っているためそれらの特徴で類似度をが利用出来るようになればより高度な画像認識を行うこ 7

Figure 9 Dataset of Google Street View [1] H. Bay, T. Tuytelaars, and L. Van Gool. Surf: Speeded up robust features. Computer Vision ECCV 2006, pp. 404 417, 2006. [2] M. Cristani, A. Perina, U.

8 Figure 9 Dataset of Google Street View [1] H. Bay, T. Tuytelaars, and L. Van Gool. Surf: Speeded up robust features. Computer Vision ECCV 2006, pp , [2] M. Cristani, A. Perina, U. Castellani, and V. Murino. Geo-located image analysis using latent representations. In Computer Vision and Pattern Recognition, CVPR IEEE Conference on, pp IEEE, [3] G. Csurka, C. Dance, L. Fan, J. Willamowski, and C. Bray. Visual categorization with bags of keypoints. In Workshop on statistical learning in computer vision, ECCV, Vol. 1, p. 22. Citeseer, [4] A. Gallagher, D. Joshi, J. Yu, and J. Luo. Geo-location inference from image content and user tags [5] S. Gammeter, L. Bossard, T. Quack, and L.V. Gool. I know what you did last summer: object-level autoannotation of holiday snaps. In Computer Vision, 2009 IEEE 12th International Conference on, pp IEEE, [6] W. Hao and J. Luo. Generalized multiclass adaboost and its applications to multimedia classification [7] J. Hays and A.A. Efros. IM2GPS: estimating geographic information from a single image. In Computer Vision and Pattern Recognition, CVPR IEEE Conference on, pp IEEE, [8] D. Joshi and J. Luo. Inferring generic activities and events from image content and bags of geo-tags. In Proceedings of the 2008 international conference on Content-based image and video retrieval, pp ACM, [9] D.G. Lowe. Distinctive image features from scaleinvariant keypoints. International journal of computer vision, Vol. 60, No. 2, pp , [10] J. Luo, J. Yu, D. Joshi, and W. Hao. Event recognition: viewing the world with a third eye. In Proceeding of the 16th ACM international conference on Multimedia, pp ACM, [11] T. Quack, B. Leibe, and L. Van Gool. World-scale mining of objects and events from community photo collections. In Proceedings of the 2008 international conference on Content-based image and video retrieval, pp ACM, [12] K. Yaegashi and K. Yanai. Can Geotags Help Image Recognition? Advances in Image and Video Technology, pp , [13] A. Zamir and M. Shah. Accurate Image Localization Based on Google Maps Street View. Computer Vision ECCV 2010, pp ,

9 [14] Y.T. Zheng, M. Zhao, Y. Song, H. Adam, U. Buddemeier, A. Bissacco, F. Brucher, T.S. Chua, and H. Neven. Tour the world: building a web-scale landmark recognition engine. In Computer Vision and Pattern Recognition, CVPR IEEE Conference on, pp IEEE,

LBP 2 LBP 2. 2 Local Binary Pattern Local Binary pattern(lbp) [6] R

LBP 2 LBP 2. 2 Local Binary Pattern Local Binary pattern(lbp) [6] R DEIM Forum 24 F5-4 Local Binary Pattern 6 84 E-mail: {tera,kida}@ist.hokudai.ac.jp Local Binary Pattern (LBP) LBP 3 3 LBP 5 5 5 LBP improved LBP uniform LBP.. Local Binary Pattern, Gradient Local Auto-Correlations,,,,