THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE.,, SNS A Study for Appl

Size: px

Start display at page:

Download "THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE.,, SNS A Study for Appl"

ありみちかむら
4 years ago
Views:

1 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE.,, SNS A Study for Applications of the Detection Method of Similar Geo-Regions based on Photographic Contents Hiroki TAKIMOTO, Yasutomo KAWANISHI, Ichiro IDE, Takatsugu HIRAYAMA, Keisuke Abstract DOMAN,, Daisuke DEGUCHI,, and Hiroshi MURASE Graduate School of Information Science, Nagoya University Furo-cho, Chikusa-ku, Nagoya-shi, Aichi, Japan School of Engineering, Chukyo University 101 Tokodachi, Kaizu-cho, Toyota-shi, Aichi, , Japan Information Strategy Office, Nagoya University Furo-cho, Chikusa-ku, Nagoya-shi, Aichi, Japan When we visit a place we have never visited, we want to know the atmosphere intuitively. But sometimes it is difficult for us to know the atmosphere of the unfamiliar place. In such a case, we can imagine the atmosphere if we know that the place is similar to another place we already know. Thus we have been studying a method for detecting similar geo-regions based on the contents of social photos. As the applications of the proposed method, we report the result of calculating similarity between geo-regions and groups of photos taken by a person during a trip and also similarity among these groups. Key words Travel, photo, support, recommendation 1. JNTO [1] ,

2 [2] GPS GPS Web 1.com 2 Web Web 3 4 Web Web Web SNS [3]2. [3] [3] SNS SNS 1http:// 2http:// 3http:// 4http://rurubu.travel/2016/9/10 1 SNS SNS SNS [3]2. 1 [3] SNS SNS SNS 1 [3] Mean Shift 2

2 DBSCAN 1 74,966 11,676 86,090 77,109 3,646 4,774 4,852 6,079 269,192 DBSCAN [4] Mean Shift DBSCAN 2 2. 2 SNS SNS 2. 2. 1 SNS SNS SNS Flickr 5 Flickr API 6 1 2 2010 9 1 1 SNS 2. 2. 2 1 2.

3 2 DBSCAN 1 74,966 11,676 86,090 77,109 3,646 4,774 4,852 6, ,192 DBSCAN [4] Mean Shift DBSCAN SNS SNS SNS SNS SNS Flickr 5 Flickr API SNS DBSCAN Eps MinPts T Eps = 0.001MinPts = 5T = 0.7 Visual Concept Places205-GoogLeNet [5] 205 Visual Concept 5https:// 6https:// 2,540 3,224,530 35, Google Maps 7 3 Visual Concept 8 Visual Concept 3. [3] Visual Concept https:// 8 3

ᆅᅗ 㐺ᙜ ᡤ ࢡ ࢡࡍ 㸪ࢡ ࢡࡋࡓ ᡤ ᆅᇦ 㟷 ࡋ㸪㢮ఝᆅᇦ ࡍ 㸬 ࢡ ࢡࡍ 㸪㢮ఝᆅᇦ㸦㟷㸧 ࡘ ሗ ࡍ 㸬 ኸ 㒊㸪㒊 ୧ᆅᇦෆ ᙳࡉ ࡓ 㸬 ࡀ 㢮ఝᗘ ࡋࡓ 9LVXDO &RQFHSW 㸦ᕥ 㸧 ᑐᛂ㸬 ᆅᇦ㛫㢮ఝᗘ 㢮ఝᗘ ࡋࡓ 9LVXDO &RQFHSW ᗘ ኸ 㸦㸧㒊 ᆅᅗ㸸ᕥ ᆅᅗ 㟷㸦㸧㢮ఝᗘ ᆅᇦ ᑐᛂࡋ㸪ᆅᇦ ᅖ ᙧ ࡍ 㸬図 3 可視化ツール

1 節で実験に使用した個人の旅行記録写真のデータセットについて述べる次に 3. 2 節で個人の旅行記録写真と地域との類似度算出について検討する最後に 3. 3 節で個人の旅行記録写真間の類似度算出について検討する 3.

これら合計 9 セットの個人の旅行記録写真をデータセットとして用いる 3. 2 個人の旅行記録写真と地域間の類似度算出実際に個人の旅行記録写真を用いてこれらと類似する地域を検出した結果を報告する実験では SNS 投稿写真として 2. 2. 1 で用いたデータセットを用い 2. 2. 2 で述べた条件の下で 3.

4 ᆅᅗ 㐺ᙜ ᡤ ࢡ ࢡࡍ 㸪ࢡ ࢡࡋࡓ ᡤ ᆅᇦ 㟷 ࡋ㸪㢮ఝᆅᇦ ࡍ 㸬 ࢡ ࢡࡍ 㸪㢮ఝᆅᇦ㸦㟷㸧 ࡘ ሗ ࡍ 㸬 ኸ 㒊㸪㒊 ୧ᆅᇦෆ ᙳࡉ ࡓ 㸬 ࡀ 㢮ఝᗘ ࡋࡓ 9LVXDO &RQFHSW 㸦ᕥ 㸧 ᑐᛂ㸬 ᆅᇦ㛫㢮ఝᗘ 㢮ఝᗘ ࡋࡓ 9LVXDO &RQFHSW ᗘ ኸ 㸦㸧㒊 ᆅᅗ㸸ᕥ ᆅᅗ 㟷㸦㸧㢮ఝᗘ ᆅᇦ ᑐᛂࡋ㸪ᆅᇦ ᅖ ᙧ ࡍ 㸬図 3 可視化ツール名古屋港水族館を含む地域と横浜の八景島シーパラダイスを含む地域の結果例表2 ユーザ枚数 A ユーザ A I がそれぞれ撮影した写真の枚数 B C D E F G H I 合計 ,253 推薦することもできる以降ではこれらについて試験的に検討した結果について述べるまず 3. 1 節で実験に使用した個人の旅行記録写真のデータセットについて述べる次に 3. 2 節で個人の旅行記録写真と地域との類似度算出について検討する最後に 3. 3 節で個人の旅行記録写真間の類似度算出について検討する 3. 1 個人の旅行記録写真データセット実験に用いる個人の旅行記録写真のデータセットについて説明する 20 代から 40 代までの男女計 9 名以後ユーザ A 図 4 ユーザ A が撮影した写真の一部 I と呼称が 2015 年 8 月 30 日から 9 月 1 日までの 2 泊 3 日で京都府滋賀県岐阜県に旅行した時に撮影した写真を用いるそれぞれが撮影した写真の枚数を表 2 に示すこれら合計 9 セットの個人の旅行記録写真をデータセットとして用いる 3. 2 個人の旅行記録写真と地域間の類似度算出実際に個人の旅行記録写真を用いてこれらと類似する地域を検出した結果を報告する実験では SNS 投稿写真としてで用いたデータセットを用いで述べた条件の下で 3. 1 節で説明したデータセットと類似する地域を検出したなお個人の旅行記録写真の特徴記述は地域の特徴記述と同様で各写真の Visual Concept を検出し全ての写真の Visual Concept スコアのヒストグラムの和を計算したものを特徴量とする個人の旅行記録写真と地域の組み合わせ総数は 22,779 組でそのうち類似地域は 31 組となった図 5 大宰府を含む地域で撮影された SNS 投稿写真の一部その中でも有名な観光地を含む類似地域について取り上げ考察するユーザ A の旅行記録写真からは 13 組の類似地域が建造物の写真や自然の写真を多く撮影していることが分かる得られその中の 1 つに有名な観光地である大宰府を含む地域大宰府を含む地域においては大宰府天満宮や周辺の自然が多が存在した類似度はであったユーザ A が実際に撮影く撮影されていることが分かる図 5 実際に両者の間の類した写真の一部を図 4 に示すユーザ A は特に神社寺など似度へ貢献した Visual Concept とその貢献度表 3 を確認す 4

3 A Visual Concept Visual Concept 1 temple/east asia 0.343 2 botanical garden 0.102 3 pavilion 0.074 4 pagoda 0.058 5 temple/south asia 0.035 4 B C D E F G H I A 0.152 0.335 0.330 0.

213 G 0.483 0.568 H 0.293 6 F Visual Concept 3. 3 3.

5 3 A Visual Concept Visual Concept 1 temple/east asia botanical garden pavilion pagoda temple/south asia B C D E F G H I A B C D E F G H F Visual Concept F H A B 2 F H 67 Visual Concept 5restaurantcoffee shop Visual Concept Visual Concept rainforestcreek playground Visual Concept Visual Concept 7 H 5 F H Visual Concept Visual Concept 1 restaurant coffee shop playground rainforest creek A B 48 A B A B 4. SNS Mean Shift DBSCAN 5

N n=1 S i,j = (V i(n) V i )(V j (n) V j ) N (V n=1 i(n) V i ) 2 (A 1) N (V n=1 j(n) V j ) 2 V l = 1 N V l (n) N n=1 (A 2) 8 B [1] JNTO http://www.jnto. go.jp/jpn/news/press_releases/pdf/20160119_1.

6 N n=1 S i,j = (V i(n) V i )(V j (n) V j ) N (V n=1 i(n) V i ) 2 (A 1) N (V n=1 j(n) V j ) 2 V l = 1 N V l (n) N n=1 (A 2) 8 B [1] JNTO go.jp/jpn/news/press_releases/pdf/ _1.pdf 2016/5/5. [2] kankocho/page05_ html 2016/5/5. [3] SNS MVE2016-4June [4] M. Ester, H.P. Kriegel, J. Sander, and X. Xu, A densitybased algorithm for discovering clusters in large spatial databases with noise, Proc. 2nd Int. Conf. on Knowledge Discovery and Data Mining, pp , Aug [5] Web NLC Dec [6] B. Zhou, A. Lapedriza, J. Xiao, A. Torralba, and A. Oliva, Learning deep features for scene recognition using places database, Advances in Neural Information Processing Systems 27, pp , Dec Visual Concept Visual Concept (A 1) (A 3) f 35 (A 3) C i,j (f)= N (V i (f) V i )(V j (f) V j ) (V n=1 i(n) V i ) 2 (A 3) N (V n=1 j(n) V j ) 2 [3] Visual Concept 1. 2 V i V j Visual Concept N Visual Concept Visual Concept 6

THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE. SNS,, SNS SNS SNS A St

THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE SNS,, 464 8601 470 0393 101 464 8601 SNS SNS SNS A Study on the Calculation of Geo-Regional Similarity based