IPSJ SIG Technical Report Vol.2015-CG-158 No /2/27 1,a) 2 2 3,b) 1. 2D 3DCG 2 [1] 1 Waseda University, Shinjuku, Tokyo , Japan 2 /JST W

Size: px

Start display at page:

Download "IPSJ SIG Technical Report Vol.2015-CG-158 No /2/27 1,a) 2 2 3,b) 1. 2D 3DCG 2 [1] 1 Waseda University, Shinjuku, Tokyo , Japan 2 /JST W"

さなえあざみ
4 years ago
Views:

1 1,a) 2 2 3,b) 1. 2D 3DCG 2 [1] 1 Waseda University, Shinjuku, Tokyo , Japan 2 /JST Waseda University/JST 3 /JST Waseda Research Institute for Science and Engineering/JST a) wasedayshugo@suou.waseda.jp b) shigeo@waseda.jp 3 1 ( 1 ) ( ) ( 2 ) ( 3 ) c 2015 Information Processing Society of Japan 1

2 1 (3) Texture-by-Numbers[2] Texture-by-Numbers (1), (2) 2. Haeberli [3] Zeng [4] Tu [5][6] Haeberli Haeberli Haeberli Winnemoller [7] DoG Haeberli Haeberli Hertzmann [2] () B c 2015 Information Processing Society of Japan 2

3 Haeberli Winnemoller Efros [8] 2 2 Zeng Hertzmann Texture-By-Numbers ( ) Busto [9] Texture-By-Numbers Lukáč [10] Texture-By-Numbers K-means Graph-Cut[11][12] Felzenszwalb [13] Graph Felzenszwalb 3.2 L*a*b* 2 Reinhard [14][15] 2 L*a*b* L src, a src, b src, σl src, σsrc a,, L*a*b* L ref, a ref, b ref, σ src b σ ref L, σref a, σ ref b, L*a*b* L dst, a dst, b dst c 2015 Information Processing Society of Japan 3

情報処理学会研究報告 (a) 入力画像 (b) 領域分割結果図 2 (a) 入力実写画像領域分割結果 (b) 入力アニメ背景画像図 3 a bdst σ ref = bsrc (bsrc bsrc ) + bref σb 色変換 (1) (2) (3) しかし Reinhard らの手法は入力画像内に複数の異なる色合いの領域が存在する場合に自然な転写をすること

[] ref σl src Lsrc ) + Lref src (L σl σ ref = asrc (asrc asrc ) + aref σa Ldst = (c) 提案手法による色変換結果図 4 領域の対応関係お互いに影響を及ぼし合うために理想的な色味転写をすることができていないそこで我々は 2 枚の画像の全領域を色相彩度明度に基づいて 9 色 (黒白灰赤橙こなう

4 情報処理学会研究報告 (a) 入力画像 (b) 領域分割結果図 2 (a) 入力実写画像領域分割結果 (b) 入力アニメ背景画像図 3 a bdst σ ref = bsrc (bsrc bsrc ) + bref σb 色変換 (1) (2) (3) しかし Reinhard らの手法は入力画像内に複数の異なる色合いの領域が存在する場合に自然な転写をすることができないという問題がある (図 3(d)) 図 3 の場合空の青系統の色調と田んぼや草むらなどの緑系統の色調が実写アニメ背景領域 1 領域 1 領域 2 領域 2 領域 3 領域 3 領域 4 領域 4 dst (d) Reinhard et al. [] ref σl src Lsrc ) + Lref src (L σl σ ref = asrc (asrc asrc ) + aref σa Ldst = (c) 提案手法による色変換結果図 4 領域の対応関係お互いに影響を及ぼし合うために理想的な色味転写をすることができていないそこで我々は 2 枚の画像の全領域を色相彩度明度に基づいて 9 色 (黒白灰赤橙こなうラベル画像の生成にあたっては以下の項目を満黄緑青紫) のグループに分け同色のグループに属たしていることが要求されるする領域の画素群に対して Reinhard らの手法を適用する (図 3(c)) これにより同系統の色調の領域において実写の色味がアニメ背景のものにフィッティングされる色味のフィッティングをおこなった後実写画像の各領域において L*a*b*色空間におけるユークリッド距離が最小であるアニメ領域を対応づける図 4 に示すように実写画像対応する領域が等しい範囲の色で塗りつぶされていること対応しない領域が異なる色で塗りつぶされており色の範囲が重複しないこと実写領域はすべて塗りつぶされていること (アニメ領域は塗り残しがあってもよい) の全ての領域は対応するアニメ背景画像の領域を持つが対応する領域が固有の色で塗りつぶされ対応しない領域アニメ背景画像の領域は対応する実写画像の領域を持たな同士が出来るだけ色差の大きな色であれば異なる領域のいものも存在し得るまた実写領域の対応先が同一のテクスチャが混在することなく転写をすることができるアニメ背景領域となることもあり得るすなわち実写領さらに当然ではあるが実写領域のラベル画像は隙間な域とアニメ背景領域の対応関係は基本的に全射ではなくく塗りつぶされていなければならないアニメ領域は実写かつ単射ではないただし実写領域とアニメ背景領域の領域と対応の付いていないものも存在しているので隙間個数が等しいときに限り全単射になる可能性があるが生じていても問題ないまた図 4 の実写領域 2,3 のように同一のアニメ背景領域と対応づけられている実写領 3.3 テクスチャ転写域は同じ領域であると見なし等しいもの色を用いる Texture-by-Numbers によるテクスチャ転写では対応生成したラベル画像をもとに Texture-by-Numbers のする領域を指定するラベル画像が必要となるどこでテ手法を用いてテクスチャ転写をおこなうテクスチャの低クスチャ転写に先立って最適なラベル画像の自動生成をお周波成分の構造を合成するため入力画像をダウンサンプ c 2015 Information Processing Society of Japan 4

(a) 5 L*a*b [16] (b) 6 Zeng [4] Bousseau [18] Fang [19] Barns [17] PatchMatch 4. 7(d)(g), Hertzmann 7(e)(h) Efros 7(f)(i) Hertzmann Hertzmann Efros 7(g) 5. ( ) [1]. Vol. 53, No. 3, pp. 253 265 (2003).

327 340 (2001). [3] Haeberli, P.: Paint by numbers: Abstract image representations, ACM SIGGRAPH Computer Graphics, Vol. 24, No. 4, ACM, pp. 207 214 (1990). [4] Zeng, K., Zhao, M., Xiong, C.

63, No. 2, pp. 113 140 (2005). [6] Tu, Z. and Zhu, S.-C.: Parsing images into regions, curves, and curve groups, International Journal of Computer Vision, Vol. 69, No. 2, pp. 223 249 (2006).

5 (a) 5 L*a*b [16] (b) 6 Zeng [4] Bousseau [18] Fang [19] Barns [17] PatchMatch 4. 7(d)(g), Hertzmann 7(e)(h) Efros 7(f)(i) Hertzmann Hertzmann Efros 7(g) 5. ( ) [1]. Vol. 53, No. 3, pp (2003). [2] Hertzmann, A., Jacobs, C. E., Oliver, N., Curless, B. and Salesin, D. H.: Image analogies, Proceedings of the 28th annual conference on Computer graphics and interactive techniques, ACM, pp (2001). [3] Haeberli, P.: Paint by numbers: Abstract image representations, ACM SIGGRAPH Computer Graphics, Vol. 24, No. 4, ACM, pp (1990). [4] Zeng, K., Zhao, M., Xiong, C. and Zhu, S.-C.: From image parsing to painterly rendering, ACM Trans. Graph, Vol. 29, No. 1, p. 2 (2009). [5] Tu, Z., Chen, X., Yuille, A. L. and Zhu, S.-C.: Image parsing: Unifying segmentation, detection, and recognition, International Journal of Computer Vision, Vol. 63, No. 2, pp (2005). [6] Tu, Z. and Zhu, S.-C.: Parsing images into regions, curves, and curve groups, International Journal of Computer Vision, Vol. 69, No. 2, pp (2006). [7] Winnemöller, H., Olsen, S. C. and Gooch, B.: Realtime video abstraction, ACM Transactions On Graphics (TOG), Vol. 25, No. 3, pp (2006). [8] Efros, A. A. and Freeman, W. T.: Image quilting for texture synthesis and transfer, Proceedings of the 28th annual conference on Computer graphics and interactive techniques, ACM, pp (2001). [9] Busto, P. P., Eisenacher, C., Lefebvre, S., Stamminger, M. et al.: Instant Texture Synthesis by Numbers., VMV, pp (2010). [10] Lukáč, M., Fišer, J., Bazin, J.-C., Jamriška, O., Sorkine- Hornung, A. and Sỳkora, D.: Painting by feature: texture boundaries for example-based image creation, ACM Transactions on Graphics (TOG), Vol. 32, No. 4, p. 116 (2013). [11] Boykov, Y., Veksler, O. and Zabih, R.: Fast approximate energy minimization via graph cuts, Pattern Analysis and Machine Intelligence, IEEE Transactions on, Vol. 23, No. 11, pp (2001). c 2015 Information Processing Society of Japan 5

情報処理学会研究報告 (a) 入力実写画像 (b) 入力アニメ背景画像 (d) 提案手法 (e) Hertzmann et al. [2] (f) Efros et al. [8] (g) 提案手法 (h) Hertzmann et al.

277 286 (2003). Felzenszwalb, P. F. and Huttenlocher, D. P.: Eﬃcient graph-based image segmentation, International Journal of Computer Vision, Vol.

: Color transfer between images, IEEE Computer graphics and applications, Vol. 21, No. 5, pp. 34 41 (2001). Reinhard, E.

日本色研事業株式会社日本色研ホームページ日本色研事業株式会社オンライン入手先 http://www.sikiken.co.jp/colors/colors11.

: PatchMatch: A randomized correspondence algorithm for structural image editing, ACM Transactions on Graphics-TOG, Vol. 28, No.

6 情報処理学会研究報告 (a) 入力実写画像 (b) 入力アニメ背景画像 (d) 提案手法 (e) Hertzmann et al. [2] (f) Efros et al. [8] (g) 提案手法 (h) Hertzmann et al. [2] (i) Efros et al. [8] 図 7 [12] [13] [14] [15] [16] [17] [18] [19] (c) 入力アニメ背景画像提案手法の生成結果と既存手法との比較 Kwatra, V., Scho dl, A., Essa, I., Turk, G. and Bobick, A.: Graphcut textures: image and video synthesis using graph cuts, ACM Transactions on Graphics (ToG), Vol. 22, No. 3, ACM, pp (2003). Felzenszwalb, P. F. and Huttenlocher, D. P.: Eﬃcient graph-based image segmentation, International Journal of Computer Vision, Vol. 59, No. 2, pp (2004). Reinhard, E., Ashikhmin, M., Gooch, B. and Shirley, P.: Color transfer between images, IEEE Computer graphics and applications, Vol. 21, No. 5, pp (2001). Reinhard, E. and Pouli, T.: Colour spaces for colour transfer, Computational Color Imaging, Springer, pp (2011). 日本色研事業株式会社日本色研ホームページ日本色研事業株式会社オンライン入手先参照 Barnes, C., Shechtman, E., Finkelstein, A. and Goldman, D.: PatchMatch: A randomized correspondence algorithm for structural image editing, ACM Transactions on Graphics-TOG, Vol. 28, No. 3, p. 24 (2009). Bousseau, A., Paris, S. and Durand, F.: User-assisted intrinsic images, ACM Transactions on Graphics (TOG), Vol. 28, No. 5, ACM, p. 130 (2009). Fang, H. and Hart, J. C.: Textureshop: texture synthesis as a photograph editing tool, ACM Transactions on Graphics (TOG), Vol. 23, No. 3, ACM, pp (2004). c 2015 Information Processing Society of Japan 6

IPSJ SIG Technical Report 1,a) 1,b) 1,c) 1,d) 2,e) 2,f) 2,g) 1. [1] [2] 2 [3] Osaka Prefecture University 1 1, Gakuencho, Naka, Sakai,

IPSJ SIG Technical Report 1,a) 1,b) 1,c) 1,d) 2,e) 2,f) 2,g) 1. [1] [2] 2 [3] Osaka Prefecture University 1 1, Gakuencho, Naka, Sakai, 1,a) 1,b) 1,c) 1,d) 2,e) 2,f) 2,g) 1. [1] [2] 2 [3] 1 599 8531 1 1 Osaka Prefecture University 1 1, Gakuencho, Naka, Sakai, Osaka 599 8531, Japan 2 565 0871 Osaka University 1 1, Yamadaoka, Suita, Osaka