IPSJ SIG Technical Report Vol.2014-DBS-160 No.18 Vol.2014-OS-131 No.1 Vol.2014-EMB-35 No /11/18 1,a) 1,b) 1,c) YouTube A method of generating i

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2014-DBS-160 No.18 Vol.2014-OS-131 No.1 Vol.2014-EMB-35 No /11/18 1,a) 1,b) 1,c) YouTube A method of generating i"

かずただひのと
5 years ago
Views:

1 1,a) 1,b) 1,c) YouTube A method of generating indicative summary thumbnails of Nicovideo using image features and comments 1. *1 YouTube * *3 YouTube *4 YouTube YouTube YouTube 1 Graduate School of Natural Science and Technology Okayama University a) matsubara@de.cs.okayama-u.ac.jp b) niitsuma@suri.cs.okayama-u.ac.jp c) ohta@de.cs.okayama-u.ac.jp *1 *2 *3 * [1] 1 GIF c 2014 Information Processing Society of Japan 1

2 [2] [3] [4] k laughcry [5] [6] [7] 15 [8] c 2014 Information Processing Society of Japan 2

3 3.1 t1 t2(t1 < t2) t [9][10] 1 RGB 3 RGB RGB scream [11] [12] 1 laugh cry greeting question scream w p gj otu otsu nosi? net *5.net 20 Top net 5 laugh scream question crygreeting 5 1 c Score c Score c = e vpos=s Comment c (vpos) N c k s e vpos Comment c (vpos) vpos c N c c 1 60 *5 c 2014 Information Processing Society of Japan 3

Comment(vpos) vpos 1 3.4 3.3 3.3 tfidf t i tfidf i 6 10 13 16 20 24 29 38 40 44 54 12 6 19 3 laugh 0 5 6 19 20 23 24 37 38 43 44 53 54 60 7 12 3.

4 Comment(vpos) vpos tfidf t i tfidf i laugh [5] [6] vpos F rame vpos = Comment c(vpos) Comment(vpos) Comment c (vpos) c vpos c tfidf i = tf i log D df i 1 1 D tf i t i df i t i 75 tfidf vpos Comment j Score j Score j = tfidf i tfidf i Comment j tfidf i L j Comment j Score j i L j c 2014 Information Processing Society of Japan 4

情報処理学会研究報告くなるかについても実験したさらに要約サムネイルを被験者が評価した実験について説明するこれらの実験にはニコニコ動画の動画を収集して利用したまた動画のコメントには国立情報学研究所のダウンロードサービス表 2 重要フレーム抽出実験に使用する動画のメタデータタイトルジャンル再生時間 (s) コメント数魔女の宅急便に登場のかぼちゃとニシ料理 413

5 情報処理学会研究報告くなるかについても実験したさらに要約サムネイルを被験者が評価した実験について説明するこれらの実験にはニコニコ動画の動画を収集して利用したまた動画のコメントには国立情報学研究所のダウンロードサービス表 2 重要フレーム抽出実験に使用する動画のメタデータタイトルジャンル再生時間 (s) コメント数魔女の宅急便に登場のかぼちゃとニシ料理 413 4,0877 ンのパイを作ってみたにより株式会社ドワンゴが提供するニコニコ動画コメント等データを利用した [13] 4.1 重要フレーム抽出に関する実験 3 節の方法で重要フレームを抽出して得られる要約サムネイルと各シーンでコメント数が最も多い場面を重要フレームとする場合の要約サムネイルを比較した表 2 に実験で使用する動画 *6 のメタデータを示すまたそれぞれの方法で抽出した重要フレームの再生時刻を図 2 に示す図 2 の横軸は動画の再生時刻であり縦軸は各再生時刻におけるコメント数である各再生時刻中の黒の縦縞は画素値の変化により検出したシーンの切り替わりでありそのシーンの間の各色がシーンの分類クラスである灰色の丸印がコメント数最多の方法で得られるフレームの再生時刻図 2 重要フレームの再生時刻であり青色の三角印が 3 節の方法で得られる重要フレームの再生時刻である図 2 よりこの動画は笑いで始ヤクルトという飲料が映っておりそれに対してユーザまり次にユーザが疑問に思う場面があり泣けるが疑問を感じているコメントが多く投稿されていた図 4 場面がありまた疑問に思うような場面があり泣の 2 フレーム目の右端にヤクルトが映っておりこのける場面があり叫ぶような場面があり最後に挨シーンのユーザの反応の理由がわかる拶で終わることがわかるコメント数が最多の場面を重図 3 の 10 フレーム目も 2 フレーム目と同様にシーン要フレームとする場合の要約サムネイルを図 3 に示すまの切り替わり上のフレームであるため画像がわかりにくた 3 節で説明した提案手法によって生成される要約サムネいこのシーンは動画の締めくくりの場面でありシーンイルを図 4 に示す図 3 4 ともに要約サムネイル中のフの分類は greeting である多くのユーザがネット用語レームを再生時刻順に並べている左上が最も再生開始時でさよならやまたねという意味で使われるノシ刻に近く右下が終了時刻に近いフレームなっている各というコメントを投稿しており図 4 の 10 フレーム目でフレームの左上の番号は説明のためで実際に生成する要はシーンとコメントの同期が取れているこのことから約サムネイルにはない提案手法はそのシーンの特徴をとらえることができていこれら二つのサムネイルで大きく異なるフレームは 1 るといえるしかし図 4 の 5 7 フレーム目はシーンの 2 10 フレーム目である図 3 の 1 フレーム目は料理の材切り替わり上ではないが少しわかりにくい画像を選択し料を示しており図 4 の 1 フレーム目は料理名とその料理ているのイメージ図を示している材料は字が細かく一見しただ図 3 の 10 フレーム目は完成した料理のシーンから動画けでは理解が難しいそのため最初のフレームとしてはの締めくくりに移り変わる場面であるがこれに関連付け図 4 の方が良いといえる 2 フレーム目はかぼちゃを調られているコメントは完成した料理に対するコメントであ理している場面から調理の説明に切り替わる場面とかぼるこのコメントは一つ前の 9 フレーム目に関連付けられちゃを調理する場面である図 2 を見ると図 3 の 2 フている方が望ましいユーザは動画を見てからコメントをレーム目は画素値により検出したシーンの切り替わりに書き込むため映像に対して少し遅れてコメントが投稿さあたるそのためこれを見ただけではどのような映像でれることがこの原因であるそのため得られたフレームのあるか判断が難しいこのようにシーンの切り替わり上に少し後のコメントを関連付けるなどの工夫が必要であるあるフレームは画像が見づらい可能性があるため抽出また図 3 の 3 7 フレーム目に関連付けられたコメントにしないなどの処理が必要であるまたこのフレームを含むはニコニコ動画のコメントにおいて特徴的なやシーンは question に分類されている実際にこのシーなどの矢印が含まれているこの矢印を含むコメンの映像とコメントを見ると映像に調理とは関係のないントは他のユーザが投稿したコメントに対するコメントであり動画に対するコメントでないことが多い実際に図 *6 c 2014 Information Processing Society of Japan 3 の 3 7 フレーム目に関連付けられたコメントはこれら 5

情報処理学会研究報告図 4 図 3 提案手法で生成される要約 (有) サムネイルの例コメント数最多のフレームを選択した要約サムネイルの例義するのフレーム画像とは直接は関係のないコメントであるフレームと関連付けるコメントもシーンの分類結果を用い削減率 = てそのフレームと関連のあるものとすべきと考える要約有サムネイルのフレーム数 100(%) 要約無サムネイルのフレーム数

2 要約サムネイルに関する実験生成した指示的要約サムネイルが動画をどの程度要約で要約されたフレームを具体的に考察する要約有サムネイルはすでに図 4 に示した同じ動画の要約無サムネイルきているかを調べたこれを確認するために下記の二つを図 6 に示すまず図 4 と図 6 の大きな違いは図 4 の 2 の方法で要約サムネイルを生成した一つ目は 3.

6 情報処理学会研究報告図 4 図 3 提案手法で生成される要約 (有) サムネイルの例コメント数最多のフレームを選択した要約サムネイルの例義するのフレーム画像とは直接は関係のないコメントであるフレームと関連付けるコメントもシーンの分類結果を用い削減率 = てそのフレームと関連のあるものとすべきと考える要約有サムネイルのフレーム数 100(%) 要約無サムネイルのフレーム数そうすると表 2 の動画の削減率は約 59% である 4.2 要約サムネイルに関する実験生成した指示的要約サムネイルが動画をどの程度要約で要約されたフレームを具体的に考察する要約有サムネイルはすでに図 4 に示した同じ動画の要約無サムネイルきているかを調べたこれを確認するために下記の二つを図 6 に示すまず図 4 と図 6 の大きな違いは図 4 の 2 の方法で要約サムネイルを生成した一つ目は 3.2 節でフレーム目と図 6 のフレーム目に見られるこれ説明した提案手法で生成したサムネイルであるこれを要らのフレームを含むシーンではかぼちゃを調理している約有サムネイルと呼ぶ二つ目は 3.2 節で説明した方法図 6 ではかぼちゃを調理するフレームが 3 フレームあるでシーンを分類するが隣り合う同じクラスのシーンを 1 が図 4 ではこれを 1 フレームに要約している次に図シーンにまとめずに画素値により検出した各シーンから 4 の 3 フレーム目と図 6 の 7 8 フレーム目を比較してみ重要フレームを抽出する方法で生成したサムネイルであるこれらのフレームはたまねぎを調理しているシーンでるこれを要約無サムネイルと呼ぶ図 5 に要約有と無ある先程と同様に図 6 ではたまねぎの調理場面が 2 フのサムネイルの各フレームの再生時刻と各シーンの分類レームであるが図 4 では 1 フレームに要約しているし結果を示す図 5 で灰色の丸印が要約無サムネイルのフかし料理の手順は図 6 の 3 フレーム目や 6 フレーム目を見レームの再生時刻であり青色の三角印が要約有サムネイると良く分かる本研究では汎用的な動画要約を目指しルのフレームの再生時刻となっている得られるフレームたが例えばこのような料理動画ではその要約映像を見数は要約有サムネイルが 10 要約無サムネイルが 17 であるだけで料理手順を確認できれば有用と考えられるこのるためこれらには 7 フレームの差があるここで要約ような動画のジャンルに対応した動画要約は今後の課題と有サムネイルが要約無サムネイルに対してどれだけフレーしたいム数を削減したか確認するため削減率を以下のように定 c 2014 Information Processing Society of Japan その他の動画に対しても実験を行い削減率を確認した 6

情報処理学会研究報告図 5 要約有と無のサムネイルで抽出するフレームの再生時刻実験に使用した動画 *7 *8 *9 とその削減率を表 3 にまとめる表 3 でジャンルが料理の動画は表 2 の動画のことであるまた無は要約無サムネイルのフレーム数有は要約有サムネイルのフレーム数であるいずれの動画も要約有サムネイルの方が要約無サムネイルよりフレーム数は少ないが

シーン数の削減が可能であるまたジャンルスポーツの動画は再生時間はジャンル料理の動画より短いがフレーム数は数倍多いさらに平均画素値の標準偏差は料理の動画より小さく映像の変化が少ないことがわかる実際にスポーツの動画を視聴するとこの動画はサッカーの試合に関するもので主に選手やサッカーグラウンドが画面に現れた登場物の変化が少ないために標準偏差が小さく

7 情報処理学会研究報告図 5 要約有と無のサムネイルで抽出するフレームの再生時刻実験に使用した動画 *7 *8 *9 とその削減率を表 3 にまとめる表 3 でジャンルが料理の動画は表 2 の動画のことであるまた無は要約無サムネイルのフレーム数有は要約有サムネイルのフレーム数であるいずれの動画も要約有サムネイルの方が要約無サムネイルよりフレーム数は少ないがその削減率には幅があるまた各動画の全フレームの平均画素値の標準偏差を計算すると表 4 のようになったそれぞれの動画を視聴するとジャンル動物の動画は映像にほとんど動きや変化がなかったつまりこの動画は平均画素値の時系列の標準偏差が相対的に小さく実際に映像の変化も少ないしかし本研究ではコメントを利用することで映像にほとんど変化がなくてもシーンの切り替わりを検出できシーン数の削減が可能であるまたジャンルスポーツの動画は再生時間はジャンル料理の動画より短いがフレーム数は数倍多いさらに平均画素値の標準偏差は料理の動画より小さく映像の変化が少ないことがわかる実際にスポーツの動画を視聴するとこの動画はサッカーの試合に関するもので主に選手やサッカーグラウンドが画面に現れた登場物の変化が少ないために標準偏差が小さくなっているしかしゴールシーンなどでのエフェクトや選手やグラウンドだけでなく観客などに切り替わる場面があるためこれらのシーンで切り替わりが検出されやすく図 6 要約無サムネイルの例なりフレーム数が多くなっている 4.3 被験者実験動画表 3 削減率を求めた動画のメタデータ再生時間フレーム数ジャンル s 無有削減率本研究で生成した要約サムネイルはユーザが動画を選ニシンのパイ料理 % 別する際に利用することを想定しているそのためユー W 杯日本代表スポーツ % % % ザが要約サムネイルを見て予想されるその動画に対する期 *7 *8 *9 実況デンマーク戦全ゴール FIFA ワールドカップ日本代表ハイライト勝手に入るゴミ箱作った sm 怒っていた猫が急に話しかけて来たけどネコ語だからわからない c 2014 Information Processing Society of Japan 動くゴミ箱怒る猫ニコニコ技術部動物待値と実際の動画の評価値は一致することが望ましい被験者に要約サムネイルと動画を評価させ要約サムネイル 7

8 GIF GIF 5 5 T V 0 2 User g User User g User g User g 2 User g 2 User T V 2 Root Mean Squered Error RMSE = 1 N (T i V i ) N 2 i=1 6 User User g T V 7 5 User a b c d e T V T V T V T V T V User f g h i T V T V T V T V User g 2 1 User User g 4.4 c 2014 Information Processing Society of Japan 8

9 6 T V 2 T V RMSE User User g [6] [7] [6] 5. 22% 50% 5.net 20 [1] Vol.45 No.6 pp [2] 6 DEIM Forum 2014 F [3] Vol.47 No.02 pp [4] Vol.52 No.12 pp [5] CGM D [6] 2008-HCI- 128/2008-MUS-75 Vol.2008 No.50 pp [7] Vol.6 No.3 pp [8] ( 5 ) SIG-AM [9] PRMU pp [10] Vol.2004 No.3 pp [11] 11: 5 DEIM Forum 2013 A [12] 6 DEIM Forum 2014 F [13] (NII) c 2014 Information Processing Society of Japan 9

人工知能学会インタラクティブ情報アクセスと可視化マイニング研究会 ( 第 5 回 ) SIG-AM 映像コンテンツとコメントを利用した指示的動画要約生成提示手法の提案 Proposal of Indicative Video Summary Generation and Presen

人工知能学会インタラクティブ情報アクセスと可視化マイニング研究会 ( 第 5 回 ) SIG-AM 映像コンテンツとコメントを利用した指示的動画要約生成提示手法の提案 Proposal of Indicative Video Summary Generation and Presen 映像コンテンツとコメントを利用した指示的動画要約生成提示手法の提案 Proposal of Indicative Video Summary Generation and Presentation Method using Video Contents and Comments 于多 1 高間康史 1* Duo Yu 1 and Yasufumi Takama 1 1 首都大学東京大学院システムデザイン研究科