DEIM Forum 2017 F2-4 SNS 上のタグ付き写真データセットからの語間関係抽出前西鷹田島敬史, 京都大学大学院情報学研究科京都府京都市左京区吉田本町

Size: px

Start display at page:

Download "DEIM Forum 2017 F2-4 SNS 上のタグ付き写真データセットからの語間関係抽出前西鷹田島敬史, 京都大学大学院情報学研究科京都府京都市左京区吉田本町"

ひできやがい
5 years ago
Views:

DEIM Forum 27 F2-4 SNS 上のタグ付き写真データセットからの語間関係抽出前西鷹田島敬史, 京都大学大学院情報学研究科 66-85 京都府京都市左京区吉田本町 E-mail: maenishi@dl.kuis.kyoto-u.ac.

jp あらまし検索において検索ワードは結果の絞り込みに利用されていると考えられるがその能力は語ごとに異なっている例えば画像検索エンジンを用いて写真を検索する際写真の内容をより詳しく限定するために二つの語を用いて AND 検索を行うことがあるこのとき二つの検索ワードが名詞形容詞や上位語下位語などの組み合わせの場合一方の語が写真の内容を大きく決定づけ

データセットには代表的な写真共有 SNS である Instagram のデータを用いる最後に実データに対して提案手法を適用した場合の性能評価と応用例について述べる実験の結果写真内容に情報量を与える語の推定が妥当な精度で行えていることが確認できたキーワード画像検索, SNS, Instagram, 写真, タグ, アノテーション, 語間関係, 関係抽出.

語の両方が内容に反映されている写真を求めていることには間あるといえる違いないがこれらは二つのパターンに分類できることが多いこの性質はそれぞれの語一つだけを検索ワードに用いて画一つ目は検索ワードの両方が写っている写真を求めていると像検索を行うと明らかである sky や woman などは内容いう場合でありもう一つは一方の語をもう一方の語で修飾

1 DEIM Forum 27 F2-4 SNS 上のタグ付き写真データセットからの語間関係抽出前西鷹田島敬史, 京都大学大学院情報学研究科京都府京都市左京区吉田本町あらまし検索において検索ワードは結果の絞り込みに利用されていると考えられるがその能力は語ごとに異なっている例えば画像検索エンジンを用いて写真を検索する際写真の内容をより詳しく限定するために二つの語を用いて AND 検索を行うことがあるこのとき二つの検索ワードが名詞形容詞や上位語下位語などの組み合わせの場合一方の語が写真の内容を大きく決定づけもう一方の語はそれをさらに絞り込む働きをしているこのように語には検索結果の内容を絞り込む能力すなわち内容に与える情報量の大きさが語そのものの性質として備わっているものと考えられる本研究では写真の検索において語が持つこのような性質に着目し AND 検索の結果が各々の語によってどの程度限定されたかを求めることで語同士の上位下位関係などの概念を抽出する手法を提案するデータセットには代表的な写真共有 SNS である Instagram のデータを用いる最後に実データに対して提案手法を適用した場合の性能評価と応用例について述べる実験の結果写真内容に情報量を与える語の推定が妥当な精度で行えていることが確認できたキーワード画像検索, SNS, Instagram, 写真, タグ, アノテーション, 語間関係, 関係抽出. はじめには woman を修飾する語でありそれ自身が写真に写るものを決定することはないつまり sea sky のような語は二つの語を検索ワードとして写真を検索を行うとき検索者 cute のような語に比べて写真の内容を決定する絞り込はどのような結果を期待しているだろうかもちろん二つのむ能力すなわち写真の内容に与える情報量が大きい語で語の両方が内容に反映されている写真を求めていることには間あるといえる違いないがこれらは二つのパターンに分類できることが多いこの性質はそれぞれの語一つだけを検索ワードに用いて画一つ目は検索ワードの両方が写っている写真を求めていると像検索を行うと明らかである sky や woman などは内容いう場合でありもう一つは一方の語をもう一方の語で修飾に与える情報量が大きい語であるためそれ自身を検索ワードしより限定的な写真を求めているという場合であるに用いて画像検索を行った結果は絞り込まれている一方で前者の場合は sea sky やなどが後者の場合は woman cute などは内容に与える情報量が小さい語であるためそ cute などが検索ワードの例として考えられる多くの場合れ自身を検索ワードに用いて画像検索を行った結果はあまり絞前者を検索ワードに用いた画像検索の結果は海と空がそれぞり込まれておらず様々な内容の写真が得られる図 2 れ両方写った写真の集合となり後者を検索ワードに用いた画像検索の結果は可愛らしい女性が写った写真の集合となるだろう Google Images 注を用いて検索を行った結果の一部を図に示す図 2: woman の画像検索の結果と cute の画像検索の結果このように語が写真の内容に与える情報量は語によって異なりそしてそれは語そのものが性質として有している概念で図 : sea sky の画像検索の結果と woman cute の画像検索の結果あると考えられる最も単純には名詞の語はそれ自体が物を表すため写真の内容を決定づける性質を持っていることが多いと考えられるが形容詞は他の名詞を修飾する語にすぎずこの違いは語そのものの性質に起因していると考えられるそれ自体が写真の内容を決定づける性質は大きくないことは予前者の sea sky はそれ自身が写真に写るものを表すすな想できるだろうしかしながら名詞には物を表す語だけではわち写真に写るものを決定する語であるが後者の cute なく時間などの抽象的な概念を表す語なども多く同じ名詞でもその性質の大きさは様々であるため品詞のみからこれを注求めることは難しいそれゆえ次のようなアプローチをとる

図 4: Instagram の投稿図 3: flower に nature と rose を加えて AND 検索を行うことによる結果の変化 2.

うでない場合は写真に写っているものはあまり変化しないことがわかる例えば flower に nature を加えて AND 検索を行っても結果はやはりいろいろな種類の花の写真であることには変わりないが rose を加えて AND 検索を行うと結果は花の中でも特にバラの写真となり写真に写っているものが変化するこれは語が内容に与える情報量の大きさが nature

検索ワード以外の語が付与されているものも検索結果には含まれているこのようにしてメタデータを付与することをしばしばタグ付けするとも呼ぶ最近では文献 [] など画像データに対して自動でアノテーションを行う研究も盛んに行われている < flower < rose であることによる図 3 このとき内容に与える情報量の大きさの大小関係がそれ 2.

2 図 4: Instagram の投稿図 3: flower に nature と rose を加えて AND 検索を行うことによる結果の変化 2. アノテーションアノテーションとはデータに対して注釈となる情報をメタデータとして付与することでありまた付与されたデータそここで一つの語だけを検索ワードに用いた場合とそこに別の語を加えて AND 検索を行った場合の結果を比較すると後から加えた語がもとの語よりも多くの情報量を内容に与える語であった場合写真に写ってるものは大きく変化するがそうでない場合は写真に写っているものはあまり変化しないことがわかる例えば flower に nature を加えて AND 検索を行っても結果はやはりいろいろな種類の花の写真であることには変わりないが rose を加えて AND 検索を行うと結果は花の中でも特にバラの写真となり写真に写っているものが変化するこれは語が内容に与える情報量の大きさが nature のものを指す場合もある本研究ではある語で検索した結果をその語が付与されたデータの集合であるとみなす例えば flower で検索した結果得られる写真の集合は flower がメタデータとして付与された写真の集合であり flower nature で検索した結果得られる写真の集合は flower と nature の両方が付与された写真の集合であるただし検索ワード以外の語が付与されているものも検索結果には含まれているこのようにしてメタデータを付与することをしばしばタグ付けするとも呼ぶ最近では文献 [] など画像データに対して自動でアノテーションを行う研究も盛んに行われている < flower < rose であることによる図 3 このとき内容に与える情報量の大きさの大小関係がそれ 2. 2 Instagram ぞれの語の概念上の上位下位関係を表していることに注目し本研究ではデータセットに Instagram 注 2 の投稿データをたい二つの語で AND 検索を行った結果と二つの語をそれ用いる Instagram は 2 年にサービスを開始した画像共有ぞれ一つだけで検索した場合の結果を比較することで二つの SNS であり 26 年 2 月にはユーザー数が全世界で 6 億人を語のどちらがより上位の概念を表す語であるかを求めることが突破注 3 するなど世界中で最も利用されているサービスの一できるこの性質は品詞に依存するものではないためそれぞつであるれが全て名詞である nature, flower, rose の三語に対しても正しく上位下位概念が現れている本研究ではここまでで述べた性質に着目し語が写真の内容に与える情報量の大小関係という観点から語の概念上の関係を推定することを考えるこれにより品詞という枠組みでスマートフォンで撮影した写真を綺麗に加工して共有できる点などから若い世代を中心に非常に人気が高くトレンドが非常に現れやすいという性質があるそれゆえに最近ではマーケティングの分野でも盛んに利用されている Instagram の投稿の特徴の一つに前節で述べたタグ付けがは捉えることのできない語間関係を抽出することが可能となるあるユーザーは写真を投稿する際投稿内容を説明するため本論文で提案する手法を大量のデータセットに適用することのタグを付与する Instagram はタグ付けが非常に盛んな SNS で同義関係や上位下位関係などの概念を蓄積した辞書作成へであり一つの投稿に数十個のタグが付与されることも珍しくも応用が可能と考えられるさらにデータセットに SNS 上ない図 4 に Instagram の投稿の一例を示すのデータを選ぶことで常に更新され続ける概念辞書の構築がしたがって Instagram のデータはアノテーションが行われ可能となるこのような応用が期待できる点を本研究の主なた写真データであるため Instagram 上でタグを用いて投稿を貢献としたい検索して得られたデータは画像検索で得られたものと同等に扱うことができる検索エンジンではなく Instagram からデー 2. 関連研究本章では既存の関連研究を紹介するとともに本研究のアプローチにおいて重要となる概念や考え方について述べるタを得ることでトレンドを反映しやすい性質などから最新注 2 注 3

3 Instagram [2] Instagram Instagram [3] Instagram SNS Flickr 4 Instagram [5] [4] [6] Instagram Python 3. 2 A A I(A) A,B A, B A B sim( A; B) A,B I(A) I(B) A,B A, B 2 A&B 3 sim( A; A&B) sim( B; A&B) I(A) I(B) I(A) > I(B) B A A&B B A B A A&B sim( A; A&B) > sim( B; A&B) AND A,B I(A), I(B) 3. 3 flower () (3)

() (2) (3) 語値 / flowers 248 nature 242 love 39 beautiful 3 flowerstagram 6 garden 95 () flower, nature, beautiful summer 89 (2) rose, flower rose 86 (3) sunflower, beautiful, flower, sky photography

最も情報量を表す語が二つ以上ある場合も正例に含むものとする f lower nature beautiful rose sunflower sky 2 表 3: flower ベクトルの構成結果表 3 では説明のためデータ数は 3 としたがデータ数をさらに増やすことで語ベクトルはその語と同時にタグ付けされる割合共起度が大きい語の統計的な集計となるこれにより

それら全ての和をとったベクトルをこの集合全体を表現する語ベクトルと定義するただし全ての写真に flower がタグ付けされていることは自明であるため集合全体を表す語ベクトルにはそれ自身は含まないものとするこれらを踏まえると flower ベクトルは結局表 3 のように表現されるもちろん flower というタグがついているからといって必

に対する語 B の共起度を k/n で定義するデータ数をとした場合の flower ベクトルを成分の大きい語について抜粋して表 4 に示すこのベクトルが表している事柄としては flower がタグ付けされた写真件のうち flowers も同時にタグ付けされていたものは 248 件 nature も同時にタグ付けされていたものは 242 件ということであるこのように

4 () (2) (3) 語値 / flowers 248 nature 242 love 39 beautiful 3 flowerstagram 6 garden 95 () flower, nature, beautiful summer 89 (2) rose, flower rose 86 (3) sunflower, beautiful, flower, sky photography 7 spring 64 表 : それぞれの写真にタグ付けされていた語表 4: flower ベクトル上位件を抜粋 flower nature beautiful rose sunflower sky () (2) (3) 表 2: それぞれの写真をベクトル空間モデルで表現した結果写真 p が語 A での検索結果における正例である p の内容に最も情報量を与える語が A であるなお最も情報量を表す語が二つ以上ある場合も正例に含むものとする f lower nature beautiful rose sunflower sky 2 表 3: flower ベクトルの構成結果表 3 では説明のためデータ数は 3 としたがデータ数をさらに増やすことで語ベクトルはその語と同時にタグ付けされる割合共起度が大きい語の統計的な集計となるこれによりの写真が得られたとするまたそれぞれの写真には表で語ベクトルはその語と共起度の高い語周辺語とよぶによっ示されるようなタグが付けられていたとするて特徴付けられるなお共起度は厳密には以下のように定義ベクトル空間モデルを用いるとまずそれぞれの写真は表 2 のように表現されるそして集合内に含まれる全ての写真をそれにタグ付けされた語を用いたベクトル空間モデルで表現しそれら全ての和をとったベクトルをこの集合全体を表現する語ベクトルと定義するただし全ての写真に flower がタグ付けされていることは自明であるため集合全体を表す語ベクトルにはそれ自身は含まないものとするこれらを踏まえると flower ベクトルは結局表 3 のように表現されるもちろん flower というタグがついているからといって必ずしもこのような写真ばかりであるとは限らない例えば以下に示す (4) のような投稿は花柄のドレスの写真であり写真の内容に最も情報量を与えている語は flower ではなく dress であり flower はここでは dress の内容を限定する働きをしているする共起度語 A がタグ付けされた投稿 n 件中に語 B が同時にタグ付けされた投稿が k 件あるとき語 A に対する語 B の共起度を k/n で定義するデータ数をとした場合の flower ベクトルを成分の大きい語について抜粋して表 4 に示すこのベクトルが表している事柄としては flower がタグ付けされた写真件のうち flowers も同時にタグ付けされていたものは 248 件 nature も同時にタグ付けされていたものは 242 件ということであるこのように語ベクトルの主成分はその語と共起度の大きい周辺語で構成されこれによってもとの語が特徴付けられていることがわかるなお表 4 中にみられる flowerstagram という語は flower+instagram から生まれた造語であるタグ付けの自由度が高いがゆえにこのような造語が非常に多いことも Instagram の特徴の一つであるタグ dress, flower, fashion, beautiful (4) ここまでは flower など写真の内容に与える情報量が大きい語について考えていたが形容詞や抽象名詞などそもそも内容に与える情報量が小さい語でベクトルを構成する際は解釈が少し異なる例としてデータ数をとした場合の nature このような写真は flower という語だけで検索した場合の正解ではないこのことは次のように定義できるベクトルを先ほどと同様に成分の大きい語について抜粋して表 5 に示すベクトルの構成方法から nature と共起度の高い周辺語で構成されているという点は同じであるが nature という語が表す

5 / photography 4 beautiful 39 travel 36 sky 23 love 3 instagood 3 landscape 4 photooftheday 99 summer 98 sunset 96 5: nature flowerstagram.67 flowers.62 bloom.47 floral.29 blossom.28 flor.25 rose.24 petals.23 nature.22 flowersofinstagram.8 6: flower flower nature nature 3. 4 A B A B A B 2 B 4 flower flowersnature flower flower () beautifullove flower (2) A B A B B A love (2) flower love loveflower flower 6 beautifulloveflower 3. 5 AND AND AND 7 flower nature flower&nature flower&nature flower nature flower θ

6 flower nature flowerstagram.26 naturelovers.29 flowers.24 sky.27 bloom.8 landscape.25 floral.2 naturephotography.23 blossom. clouds.8 flor. green.7 rose.9 outdoors.7 petals.9 beautiful.6 nature.9 forest.5 flowersofinstagram.8 travel.4 flower&nature flowerstagram. bloom.9 blossom.7 petals.6 petal.4 flowers.4 plants.4 floral.4 flowersofinstagram.4 botanical.3 7: flower nature flower&nature A, B θ cos( A, B) cos( A, B) = A B A B = cosθ < = cos( A, B) < = - < = cos( A, B) < = 7 sim( A; B) = cos( A, B) sim( flower; flower&nature) flower&nature) 8 sim( flower; flower&nature) > flower&nature) I(flower) > I(nature) sim( flower; flower&nature).87 flower&nature).27 8: K-L K-L p, q p q K-L KL(p q) = K k= p k log p k q k KL(p q) > = p q K-L Jensen-Shannon JS JS p, q p q JS JS(p q) = 2 KL(p r) + 2 KL(q r) r = (p + q) 2 KL(p q) p q K-L JS p, q p, q K K p k, q k > = p k = q k = k= k= p k p k < = p k + q k < p k + q = k

7 KL(p r) = = = K k= p k log p k r k K p k log k= k= p k 2 (p k + q k ) K 2p k K K p k log < p k + q = p k log 2 = p k = k k= KL(q r) < = < = JS(p q) < = sim( A; B) k= sim( A; B) = JS( A B) () 7 JS 9 flower nature flowerstagram.68 naturelovers.28 flowers.62 sky.26 bloom.47 landscape.24 floral.3 naturephotography.22 blossom.29 clouds.7 flor.25 green.6 rose.24 outdoors.6 petals.23 beautiful.6 nature.22 forest.4 flowersofinstagram.2 travel.4 flower&nature flowerstagram.83 bloom.75 blossom.6 petals.56 petal.4 flowers.39 plants.37 floral.36 flowersofinstagram.34 botanical.32 9: flower nature flower&nature sim( A; B) () sim( flower; flower&nature) flower&nature) sim( flower; flower&nature) > flower&nature) I(flower) > I(nature) sim( flower; flower&nature).876 flower&nature).55 : JS Instagram natureflower 3. sim( flower; flower&nature) flower&nature) A B W (A B) W (A B) = sim( A; A&B), W (B A) = sim( B; A&B) A&B JS 5 5: flowernature k p i Score(p i, k) Score(p i, k) = Score(p i, k )+ p j M(p i ) W (p j p i )Score(p j, k ) M(p i) p i Score(p i, ) =. k =

8 Instagram TOP 5 5 flowers dog cat hair girl x x =, < x < =, < x < = 2, 2 < x < 3, x = W (A B) A B PageRank Instagram SNS JST, CREST 6: [] Aaron Duane, Jiang Zhou, Suzanne Little, Cathal Gurrin, and Alan F Smeaton. An annotation system for egocentric image media. In International Conference on Multimedia Modeling, pp Springer, 27. [2] Stamatios Giannoulakis and Nicolas Tsapatsoulis. Instagram hashtags as image annotation metadata. pp , 25. [3] Dong Liu, Xian-Sheng Hua, Linjun Yang, Meng Wang, and Hong-Jiang Zhang. Tag ranking. pp , 29. [4],.., Vol. 42, No. 9, pp , 2. [5],,,. : ( )., Vol. 6, No. 3, pp. 97 6, aug 2. [6],.., D4-7, pp ,

2. Apple iphoto 1 Google Picasa 2 Calendar for Everything [1] PLUM [2] LifelogViewer 3 1 Apple iphoto, 2 Goo

DEIM Forum 2012 D9-4 606 8501 E-mail: {sasage,tsukuda,nakamura,tanaka}@dl.kuis.kyoto-u.ac.jp,,,, 1. 2000 1 20 10 GPS A A A A A A A 2. Apple iphoto 1 Google Picasa 2 Calendar for Everything [1] Email PLUM

DEIM Forum 2017 F2-4 SNS 上のタグ付き写真データセットからの語間関係抽出 前西 鷹 田島 敬史, 京都大学大学院情報学研究科 京都府京都市左京区吉田本町

DEIM Forum 2017 F2-4 SNS 上のタグ付き写真データセットからの語間関係抽出前西鷹田島敬史, 京都大学大学院情報学研究科京都府京都市左京区吉田本町