情報処理学会研究報告的な要素を加えることでユーザを惹き付ける効果を持たせるためにある程度の完成度が求められる点と色の加工によってユーザが持つタイル画に対する印象に差異が生じないようにするため各画像が持つ色の特徴ベクトルをもとに検索しタイル画の配置を行っている 3. インタラクティブフォト

Size: px

Start display at page:

Download "情報処理学会研究報告的な要素を加えることでユーザを惹き付ける効果を持たせるためにある程度の完成度が求められる点と色の加工によってユーザが持つタイル画に対する印象に差異が生じないようにするため各画像が持つ色の特徴ベクトルをもとに検索しタイル画の配置を行っている 3. インタラクティブフォト"

ゆあおなか
5 years ago
Views:

1 A Method to Display Connelation Between Images by Using a Recursive Photomosaic System Kazuo Satoh, 1 Makoto Fujisawa, 1 Toshiyuki Amano, 1 Jun Miyazaki 1 and Hirokazu Kato 1 Photomosaic consists of a mosaic in which a big picture is constructed using many small pictures. In this paper, we propose a method to effectively display correlated images by using a recursive photomosaic system and by adding metadata to the images. 1. Flickr 13) 14) 1 Nara Institute of Science and Technology ( ) ) 2. Johnson Treemap 6) conetrees 11) Treemap 1 c 2010 Information Processing Society of Japan

情報処理学会研究報告的な要素を加えることでユーザを惹き付ける効果を持たせるためにある程度の完成度が求められる点と色の加工によってユーザが持つタイル画に対する印象に差異が生じないようにするため各画像が持つ色の特徴ベクトルをもとに検索しタイル画の配置を行っている 3.

2 情報処理学会研究報告的な要素を加えることでユーザを惹き付ける効果を持たせるためにある程度の完成度が求められる点と色の加工によってユーザが持つタイル画に対する印象に差異が生じないようにするため各画像が持つ色の特徴ベクトルをもとに検索しタイル画の配置を行っている 3. インタラクティブフォトモザイクを用いた関連性提示方法ここではどのように関連性を持たせたフォトモザイクを構成したかについて各画像が保有しているタグ情報の取得方法とその情報を用いたフォトモザイクの生成方法を述べそして最後にどのようにインタラクティブな操作性を実現させたかについて述べる 3.1 タグの取得方法図 2 フォトモザイクの例図1 flickr13) などの画像投稿サイトにおいて収集された各画像には不特定多数の人が入力さ画像間の関連性によるネットワーク構造リンクの横にあるワードは各画像が保有する共通のタグ情報であるれたタグがメタデータとして EXIF 形式 Exchangeable Image File Format に格納されているそこで OpenExif Toolkit1) を用いそれらのタグ情報を抽出した PhotoMesa 4) 3.2 タグ情報を用いたフォトモザイク生成などが挙げられるしかし, 大量の画像を効率的にかつコンパクトに提示するのは難しいそこで本研究では提示方法にフォトモザイクを用いる本研究で扱うフォトモザイクはモザイク画となる元の画像を格子状に分割してタイル写真をタイルとして用いたフォトモザイクは Silvers ら10) によって開発されたそして領域を作成するそしてそれらの各領域の色特徴ベクトルから類似したタイル画像を検より高速なフォトモザイク生成のために Di Blasi ら5) はタイル画像を９分割 (3 3) し索しマッピング合成を行うその際色特徴ベクトルにはタイルを n2 分割 n n した各分割領域の平均色を計算することで得られるそれぞれの画像が表す２７次元のベクトルときの各分割領域の平均色 (rij, g ij, bij ), [i, j = 0, 1] からなる 3n2 次元ベクトルを用いるを用いて画像のマッピングを行ったまた新しい表示手法として区画の大きさを可変的本研究では図 4 で示したように一つの領域を 4 分割 2 2 した各分割領域におけるにしてマッピングを行う手法 5) や長方形状ではなく物体やキャラクターの形状を活用し RGB の平均色を計算する必要があるため 12 次元ベクトルとなるてジグソーパズルのようにマッピングさせる手法7) などが挙げられるさらにフォトモザ 8) イクを他のアプリケーションに応用する事例として動画ナビゲーションタグ情報を用いたフォトモザイク生成における全体の手順を図 3 で示す最初に前処やタイル画像理として元画像が保有しているタグ情報を用い画像群の中からそれらのタグ情報を持つ画が動画であるビデオモザイク9) などが挙げられる像だけでデータベースを構築するそこで登録された画像の色特徴ベクトルを計算しそれを検索の高速化を行うために ANN Approximate Nearest Neighbor KD ツリー2) に我々が提案する技法と一番類似しているものとして Vuillemot と Rumpler が提案する 12) 格納する全ての画像を用いてツリーを構築しそこから関連性を含んだ画像を探索するが挙げられるこの MosaiZ は親ノードの元画像とその画像と関連性のある子手法もあるがタグを用いて探索する際にヒットする画像の数に不安定さが生じ探索範囲ノードのタイル画像群の関係性をモザイク画で表しているタイル画像を選択しその画像を広げる必要性が出てくるためそこにコストが生じる本研究における方法でもユーザを拡大表示する ZUI Zoomable User Interface 用いておりそしてその選択された画像がタイル画像を選択するごとに必要となるタグ情報も変化するため関連性を持つ画像ののモザイク画が生成され再帰的に繰り返し操作できる本研究の手法と MosaiZ の手法とみでツリーを毎回構築するコストが生じるが安定的に関連性のある画像が得られやすいの一番の相違点は画像のマッチング方法である MozaiZ では元画像となるモザイク画とここでは画像間の関連性を重要視しているためその手法を取り入れた仮に元画像がタイル画群との関連性を重視しているため色の近似検索はされておらず配置されたタイル保有するタグの数が少ない場合はその次の孫ノードまで探索する必要はあるここで言う孫画の上に元画像の色で加工された表示になっている一方本研究が提案する手法は芸術ノードは元画像からのノード間距離が 2 の場合であるこのときノードをたどり過ぎると MozaiZ 2 c 2010 Information Processing Society of Japan

情報処理学会研究報告ほぼ全部の画像を用いることとなってしまい関連性の表示としては適切ではないこれを抑えるために探索範囲に制限を付けるユーザが指定する係数値 R (0, 1] と最大最短経路 P athmax をかけた値 Search = P athmax R をノード間距離の最大とすることで探索範囲を制限する高速化のためにタイルの大きさがあらかじめ決定している場合は

各タイルにおける色特徴ベクトルの計算を行うそして前処理で構築されたツリーを用いて最近傍探索により類似画像を取得し最後にフォトモザイクの合成を行う図 5 に GPU のピクセルシェーダを用いたフォトモザイク画像の合成方法を示すシェーダは複数存在しており各ピクセルごとに並列処理することができるそれを利用してモザイクを行う元の画像と同じ大きさのビューポートを設定し

3 情報処理学会研究報告ほぼ全部の画像を用いることとなってしまい関連性の表示としては適切ではないこれを抑えるために探索範囲に制限を付けるユーザが指定する係数値 R (0, 1] と最大最短経路 P athmax をかけた値 Search = P athmax R をノード間距離の最大とすることで探索範囲を制限する高速化のためにタイルの大きさがあらかじめ決定している場合は各画像をタイルの大きさにリサイズしておくそして図 5 中にタイル画像格納テクスチャとして示したようにリサイズされた画像を一次元配列に再配置しデータベース内の全てのリサイズ画像を一枚の画像として格納するそのことによって画像合成時においてタイル画像のアクセスが容易になったフォトモザイクを生成するときは元の画像を読み込んだ後その画像のタイル分割と各タイルにおける色特徴ベクトルの計算を行うそして前処理で構築されたツリーを用いて最近傍探索により類似画像を取得し最後にフォトモザイクの合成を行う図 5 に GPU のピクセルシェーダを用いたフォトモザイク画像の合成方法を示すシェーダは複数存在しており各ピクセルごとに並列処理することができるそれを利用してモザイクを行う元の画像と同じ大きさのビューポートを設定し短形ポリゴンを描画することで対応するテクスチャ座標から元画像上のピクセル位置を得るそこからタイル座標に変換しマッチング結果を格納したテクスチャの座標値を参照することで対応する画像の番号を取得図3 フォトモザイクの生成手順するそうすることで最終的なピクセルの値を得ることができる 3.3 インタラクティブな操作性本研究では新しい画像の発見を促すために再帰的なフォトモザイクアプリケーションを提案するこのアプリケーションではディスプレイに表示されたフォトモザイクからユーザが任意の画像を選択するそして選択された画像を元に新たにフォトモザイクをリアルタイムに生成し画像を最大化するこのときズームするようなエフェクトをかけた ZUI Zoomable User Interface 4) の機能を追加することでユーザはあたかも全ての画像図4 がフォトモザイクで構成される感覚を持つさらにフォトモザイクで生成された元となる色特徴ベクトルの計算 4 分割 n = 2 の場合図 5 フォトモザイク合成画像をユーザが確かめられるようにキーボードの上下キーかまたは左下にあるスクロールバーで α 値を好みに応じて操作できるようにした 4. 結この再帰的なフォトモザイクを用いることでユーザが興味のあるタイルの選択を繰り返果 flickr 等の画像投稿サイトから todaiji や yakushiji などの奈良の観光名所に関連ししながら最終的に必要な情報が得られるエンターテイメント性を内包したナビゲーションた言葉を主にクエリとし画像の収集を行った実験時に用いた全ての画像の枚数は 2880 システムのような応用例が考えられる枚でありタグの種類は全 2519 種であったこのとき大文字と小文字の区別はしておら 3 c 2010 Information Processing Society of Japan

todai-ji todaiji nara 2433 japan 2202 japon 1 Intel Core2 Duo 3.16GHz NVIDIA GeForce GTX 285 1GB PC 6 todaiji todaiji Pajek 3) 772 183261 P ath ave = 1.

4 todai-ji todaiji nara 2433 japan 2202 japon 1 Intel Core2 Duo 3.16GHz NVIDIA GeForce GTX 285 1GB PC 6 todaiji todaiji Pajek 3) P ath ave = P ath max = ANN-Kd 500 µ = σ = nara japan todaiji 1 todaiji 1040 shrine 418 temple 1021 buddha ikoma horyuji temple (hub) 5. 4 c 2010 Information Processing Society of Japan

5 5) 11) Robertson, G.G., Card, S.K. and Mackinlay, J.D.: Information visualization using 3D interactive animation, Commun. ACM, Vol.36, No.4, pp (1993). 12) Vuillemot, R. and Rumpler, B.: MosaiZ: Interactive Image Mosaics, Technical Report RR-LIRIS , LIRIS UMR 5205 CNRS/INSA (2009). 13) Yahoo: Flickr. 14). 15) GPU Vol.64, No.9 (2010). ( ). 1) : OpenExif. 2) Arya, S., Mount, D.M., Netanyahu, N.S., Silverman, R. and Wu, A.Y.: An optimal algorithm for approximate nearest neighbor searching fixed dimensions, J. ACM, Vol.45, No.6, pp (1998). 3) Batagelj, V. and Mrvar, A.: Pajek. 4) Bederson, B.B.: PhotoMesa: a zoomable image browser using quantum treemaps and bubblemaps, UIST 01: Proceedings of the 14th annual ACM symposium on User interface software and technology, New York, NY, USA, ACM, pp (2001). 5) di Blasi, G., Gallo, G. and Petralia, M.P.: Smart Ideas for Photomosaic Rendering, Eurographics Italian Chapter Conference, pp (2006). 6) Johnson, B. and Shneiderman, B.: Tree-Maps: a space-filling approach to the visualization of hierarchical information structures, VIS 91: Proceedings of the 2nd conference on Visualization 91, Los Alamitos, CA, USA, IEEE Computer Society Press, pp (1991). 7) Kim, J. and Pellacini, F.: Jigsaw image mosaics, SIGGRAPH 02: Proceedings of the 29th annual conference on Computer graphics and interactive techniques, New York, NY, USA, ACM, pp (2002). 8) Kim, K., Essa, I. and Abowd, G.D.: Interactive mosaic generation for video navigation, MULTIMEDIA 06: Proceedings of the 14th annual ACM international conference on Multimedia, New York, NY, USA, ACM, pp (2006). 9) Klein, A.W., Grant, T., Finkelstein, A. and Cohen, M.F.: Video mosaics, NPAR 02: Proceedings of the 2nd international symposium on Non-photorealistic animation and rendering, New York, NY, USA, ACM, pp (2002). 10) Silvers, R. and Hawley, M.: Photomosaics, H. Holt and Co (1997). 5 c 2010 Information Processing Society of Japan

IPSJ SIG Technical Report Vol.2013-HCI-152 No /3/13 1,a) 1,b) 2,c) / GPS Bluetooth(BT) WiFi BT WiFi 1. Bluetooth WiFi 1 / 1 2 a)

IPSJ SIG Technical Report Vol.2013-HCI-152 No /3/13 1,a) 1,b) 2,c) / GPS Bluetooth(BT) WiFi BT WiFi 1. Bluetooth WiFi 1 / 1 2 a) 1,a) 1,b) 2,c) / GPS Bluetooth(BT) WiFi BT WiFi 1. Bluetooth WiFi 1 / 1 2 a) rtokuami@kwansei.ac.jp b) kono@kwansei.ac.jp c) nakamura@dl.kuis.kyoto-u.ac.jp / 2. Apple iphoto Google Picasa GPS GPS GPS [1][2]