4 ソーシャルネットワークが変える画像の認識理解 JPEG EXIF GPS EXIF Flickr EXIF 2 Wi Fi PlaceEngine GPS Foursquare SNS Twitter Facebook SNS Web SNS Panoramio 画像付加情報ユーザ相互の関

Size: px

Start display at page:

Download "4 ソーシャルネットワークが変える画像の認識理解 JPEG EXIF GPS EXIF Flickr EXIF 2 Wi Fi PlaceEngine GPS Foursquare SNS Twitter Facebook SNS Web SNS Panoramio 画像付加情報ユーザ相互の関"

ゆりかかみいしづ
5 years ago
Views:

小特集画像認識革命 4 ソーシャルネットワークが変える画像の認識理解基応専般木村昭悟 ( 日本電信電話 ( 株 )) ソーシャルネットワークと画像 SNS SNS 1 SNS Twitter Facebook LINE SNS SNS Flickr YouTube SNS SNS SNS 1 広義には, 個人による情報発信やコミュニケーション,

1 小特集画像認識革命 4 ソーシャルネットワークが変える画像の認識理解基応専般木村昭悟 ( 日本電信電話 ( 株 )) ソーシャルネットワークと画像 SNS SNS 1 SNS Twitter Facebook LINE SNS SNS Flickr YouTube SNS SNS SNS 1 広義には, 個人による情報発信やコミュニケーション, 人の結びつきを利用した情報流通など, 社会的な要素を含んだメディアを指すが, 本稿ではより狭義の意味を採用する. Twitter Facebook SNS Flickr YouTube Instagram SNS Pinterest Pixiv Snapchat SNS SNS SNS SNS 上の画像は何が違うか SNS SNS SNS さまざまな付加情報とともにアップされる画像 646

2 4 ソーシャルネットワークが変える画像の認識理解 JPEG EXIF GPS EXIF Flickr EXIF 2 Wi Fi PlaceEngine GPS Foursquare SNS Twitter Facebook SNS Web SNS Panoramio 画像付加情報ユーザ相互の関係性 SNS SNS SNS 2 SNS 上の画像は EXIF 情報が含まれていないように見えるが, これはサイト側がプライバシに配慮して削除しているためであり, アップロードの際には EXIF 情報が含まれている場合の方が一般的である. SNS SNS 画像はユーザがアップロード 1 SNS SNS SNS SNS 上の画像を認識理解する SNS SNS 647

3 小特集画像認識革命図 -1 位置情報が類似する画像群に付与されたテキストタグを集約すると, 地域やランドマークの名称が主要タグとして浮かび上がる (Ahern, et al., 2007) 3 さまざまな付加情報を用いた画像認識 Ahern World Explorer 3 図 -1 4 MediaEval Placing 1 Kalogerakis Twitter Hauff 7 Twitter Ahern, et al. : World Explorer : Visualizing Aggregate Data from Unstructured Text in Geo-referenced Collections, JCDL2007. Kennedy, et al. : Generating Diverse and Representative Image Search Results for Landmarks, WWW Kalogerakis, et al. : Image Sequence Geolocation with Human Travel Priors, ICCV2009. Hauff and Houben : Geo-location Estimation of Flickr Images : Social Web based Enrichment, ECIR

4 ソーシャルネットワークが変える画像の認識理解 w ij w j annotated with the same tag posted by the same user taken from the same location submitted to the same group w i 図 -3 Flickr メタデータの共通度を画像間の関係を記述する特徴量として採用することで,

:Building Rome in a Day, Communication of the ACM (2011)) EXIF Flickr 3 "Building Rome in a day" 図 -2 8 3 Structure from Motion SfM Flickr 3 Flickr EXIF McAuley 9 Flickr Flickr Flickr EXIF Flickr 図

4 4 ソーシャルネットワークが変える画像の認識理解 w ij w j annotated with the same tag posted by the same user taken from the same location submitted to the same group w i 図 -3 Flickr メタデータの共通度を画像間の関係を記述する特徴量として採用することで, 画像分類の性能が向上する (McAuley, et al. 2012) 9 図 -2 EXIF 情報から撮影条件に関する情報を活用することで, 写真を撮影したカメラの位置の推定精度を向上できる. これは, Flickr 上の大量の画像からの街並みの 3 次元再構成を可能にする重要な要素技術である (Agarwal, et al. :Building Rome in a Day, Communication of the ACM (2011)) EXIF Flickr 3 "Building Rome in a day" 図 Structure from Motion SfM Flickr 3 Flickr EXIF McAuley 9 Flickr Flickr Flickr EXIF Flickr 図 -3 2 関係性を用いた画像認識 SNS 8 9 Agarwal, et al. : Building Rome in a Day, ICCV2009, cs.washington.edu/rome/ McAuley, et al. : Image Labeling on a Network : Using Socialnetwork Metadata for Image Classication, ECCV

小特集画像認識革命 444: Breakfast 498: Foods 616: Passages 499: Foods 608: Cakes 609: Cupcakes 474:Artworks 361: Xmas 522: Holiday DIY 364: Xmas 505: Animals 727: Designed Jewelry 503: Baby & pets 369:

テーマを持つことが期待されることを考慮すると SNS 上での画像コンテンツの拡散の様子も画像の認識理解に有用な情報と 11 なり得る Kimura, et al.

5 小特集画像認識革命 444: Breakfast 498: Foods 616: Passages 499: Foods 608: Cakes 609: Cupcakes 474:Artworks 361: Xmas 522: Holiday DIY 364: Xmas 505: Animals 727: Designed Jewelry 503: Baby & pets 369: Elegant fashion 517: Tablescapes 523: Autumn desserts 678: Planted ﬂowers 572: Beautiful beaches 569: Favorite places 675: Country-side gardens 365: Exterior 図 -5 数多くの画像を共有する画像コレクションの対は類似したテーマを持つことが期待されることを考慮すると SNS 上での画像コンテンツの拡散の様子も画像の認識理解に有用な情報と 11 なり得る Kimura, et al を行うことができるさらには SNS 上での画像コンテンツの拡散の様 11 子も画像の認識理解に有用な情報となり得るこの研究では画像に特化した SNS の 1 つである Pinterest を対象としている Pinterest のユーザ図 -4 1 つの写真に同時に写る 2 人は何らかの交友関係にあると考えるのが自然 SNS 上の交友関係を利用すれば顔認識の性能 10 を大きく向上させることができる Stone, et al は board と呼ばれる画像コレクションをいくつか所有し Web にある好みの画像を自分が所有するいずれかの board に画像を pin 画像へのリンクをークにおいても有意に良い性能を得た作成するまた他のユーザが持つ board を閲 SNS 上の画像に含まれる顔の認識に SNS の交覧して好みの画像を repin 画像へのリンクをコ友関係を利用する Stone らによる 2008 年の論文ピーすることもできる多くのユーザは自分自も関係性を効果的に利用した代表的な例の 1 つで身や他のユーザが好みの画像を見つけやすいようにあろう 10 比較的少数の顔が含まれる画像を見た各 board に特定のテーマを紐付けて分類する各ときその人々が何らかの交友関係にあると考える board が特定のテーマを持ちかつ画像が repin をのが自然だろうこの研究では SNS 上の交友関介して複数の board を伝播することを考慮すると係を利用することで 1 つの写真に同時に写る可能伝播を通じて数多くの画像を共有した board の対性の高い人々を絞り込みそれにより顔認識の精は類似したテーマを持つことが期待されるこの知度を向上できることを示した図 -4 具体的には見を利用すると board をノード共有する画像の画像の中から顔を検出し検出されたすべての顔に数をエッジとして持つグラフ図 -5 参照を構築同時にラベルを付与する同時ラベリングとして顔しそのグラフで相互連結の強い board の集合を見認識の問題を定式化するこのときそれぞれの顔つけることで類似したテーマを持つ画像コレクシが誰であるのがもっともらしいかを示す尤度に加え 2 つの顔が誰と誰であるのがもっともらしいかを SNS 上の友人関係の有無で決定することにより個別に顔の認識を行うよりも有意に良い精度で認識 Stone, et al. Autotagging Facebook : Social Network Context Improves Photo Annotation, IVW2008. Kimura, et al. : Image Context Discovery from Socially Curated Contents, ACMMM2013.

6 4 ソーシャルネットワークが変える画像の認識理解 12 特有の性質 + 洞察 = 価値ある情報 SNS SNS SNS Kalogerakis Kimura SNS 12 Alvarez, M. et al. : Exploiting Socially-generated Side Information in Dimensionality Reduction, IWSAM2013. SNS SNS SNS SNS 木村昭悟 akisato@ieee.org NTT

IPSJ SIG Technical Report Vol.2013-HCI-152 No /3/13 1,a) 1,b) 2,c) / GPS Bluetooth(BT) WiFi BT WiFi 1. Bluetooth WiFi 1 / 1 2 a)

IPSJ SIG Technical Report Vol.2013-HCI-152 No /3/13 1,a) 1,b) 2,c) / GPS Bluetooth(BT) WiFi BT WiFi 1. Bluetooth WiFi 1 / 1 2 a) 1,a) 1,b) 2,c) / GPS Bluetooth(BT) WiFi BT WiFi 1. Bluetooth WiFi 1 / 1 2 a) rtokuami@kwansei.ac.jp b) kono@kwansei.ac.jp c) nakamura@dl.kuis.kyoto-u.ac.jp / 2. Apple iphoto Google Picasa GPS GPS GPS [1][2]

4 ソーシャルネットワークが変える画像の認識 理解 JPEG EXIF GPS EXIF Flickr EXIF 2 Wi Fi PlaceEngine GPS Foursquare SNS Twitter Facebook SNS Web SNS Panoramio 画像 付加情報 ユーザ相互の関

4 ソーシャルネットワークが変える画像の認識理解 JPEG EXIF GPS EXIF Flickr EXIF 2 Wi Fi PlaceEngine GPS Foursquare SNS Twitter Facebook SNS Web SNS Panoramio 画像付加情報ユーザ相互の関