DVIOUT

画像の認識 理解シンポジウム (MIRU2007) 2007 年 7 月 固定視点下における能衣装の異方性反射モデリング 武田祐樹 田中弘美 立命館大学情報理工学部知能情報学科 525 8577 滋賀県草津市野路東 1 1 1 E-mail: {takeday,hiromi}@cv.ci.ritsumei.ac.jp あらまし能は約 600 年の歴史があり, その伝統ある能面 能衣装は貴重な文化遺産である. 現在, 文化遺産をデジタルアーカイブ化し, 後世に伝える研究が行われている. 本研究では, 能衣装のデジタルコンテンツ化のために, 高精細な画像計測と画像解析に基づく効率的な布物体モデリングを提案する. まず, 色差に基づき能衣装の特徴である刺繍領域と金糸領域の2つに分割する. 金糸領域において, 各テクセルに対し法線方向に基づいた異方性反射モデリングを行い, 観測画像から提案モデルの最適化を行う. 各テクセルに対し得られた最適なモデルから双方向テクスチャ関数を生成しレンダリングを行った. キーワード双方向テクスチャ関数, イメージベースドモデリング, イメージベースドレンダリング, ハイダイナミックレンジ画像, デジタルアーカイブ化, 異方性反射特性 Image-based Modeling of Anisotropic Reflectance of Noh Costumes under Constant View Point Yuki TAKEDA and Hiromi T. TANAKA Department of Human and Computer Intelligence College of Information Science and Engineering Ritsumeikan University Noji Higashi 1 1 1, Kusatsu, Shiga, 525 8577 Japan E-mail: {takeday,hiromi}@cv.ci.ritsumei.ac.jp Abstract Noh is a historical play for 600 years and Noh costumes are precious cultural heritage. Currently, some researchers group grapple with digital archiving of cultural heritages to save them. We propose the efficient image-based method of cloth object modeling to create digital contents of the Noh costumes. At first, we divide embroidery regions and golden yarn region based on its color difference. In each region, we propose image-based anisotropic reflectance modeling with the normal distribution at each pixel. We generate Bi-directional Reflectance Function(BTF) from proposed model and render the Noh costume. Key words Bi-directional Texture Function, Image-based Modeling, Image-based Rendering, High Dynamic Range Image, Digital Archiving, Anisotropic Reflectance 1. はじめに最近ではコンピュータグラフィクス (CG) コンピュータビジョン (CV) 研究による3 次元視覚情報処理技術の進展により, 貴重な文化財や文化遺産のデジタル記録 保存, デジタルアーカイブ化 コンテンツ化の研究が精力的に進められている. 博物館等の所蔵する資料や文化財には, 能衣装や衣装等の様々な布物体が存在する. 素材に固有の布物体の変形, 光沢や質感は独特であり, これを忠実に再現することが CG や CV における重要な課題である. 能衣装は絹織物で金糸 銀糸が織り込まれ, さらに植物 動物等の刺繍が施されており, 独特の光沢と様々な柄をもつ布素 材である. 能衣装の反射 透過特性は入射 視方向により大きく変化するため, その光沢を表現するために従来のテクスチャマッピングだけでは不十分である. 従来からテクスチャを持つ物体表面の反射特性は, 双方向テクスチャ関数 (BTF:Bidirectional Texture Function) [2] により記述される.BTF はテクスチャ上の任意点における, 任意光源方向からの放射照度に対する任意視点方向の放射輝度の比として定義された. 従来の BTF 表現における課題として, 計測装置の開発, 計測画像数と計測時間の膨大性が問題であった. Dana らは平行光源下で放物面鏡を用いた BTF 計測装置を開発した [3].Muller らは BTF 計測装置を開発し, 計測からレンダリングまでの一連の方法を提案した [7]. しかしいずれの装

置も観測可能な入射 視方向は限られている 一方 ら は多数の光源 カメラを設置した装置を開発し 次元形状及び を獲得した しかし を記述するためには膨大な 観測画像を必要とする らは獲得した データの各テ クセルを モデル でフィッティングし 圧縮 データからレンダリングした! " は データに 対し #$ を用い分析 圧縮してリアルタイムにレンダリング した % 関根らが提案した手法はセーターや花柄のタオル生地 といった光沢の少ない布素材を対象とし マクロ柄に対しテク スチャ生成を行った &' いずれの手法も対象物体が規則的な 幾何 図 柄を持つため 対象物体の一部のテスクチャに注目し反射光を 計測すればよい 我々は複雑な柄を持ち 微細な細工が施された能衣装を対象 とし 高精細な を生成することを目的とする 能衣装は 絹糸の基礎地に反射が強い金糸と刺繍糸が織り込まれており 全体として色彩が鮮やかな配色が多い この配色を利用し ま ず色差に基づき色ごとに領域分割を行う 視点を固定し各領域 の位置情報を獲得後 任意光源方向の観測画像を獲得する 獲 得した画像から各色領域において反射特性をモデル化し を生成する 双方向テクスチャ関数 の獲得 物体表面の任意の点における反射特性は双方向テクスチャ 関数 ( 図 で表現できる 全方位型光学異方性反射測定装置 図 & に の幾何関係を示す は球座標系で定義され において 入射 からの放射照度 ¾ に対する視方向 への放射輝度 ¾ の比として定義される 物体表面上の任意の点であるテクセル 方向 ) ) ) & ただし を法線ベクトル 布平面上の基準ベクトルを とし 入射角 は と 面上で から 図 のなす角 入射方位角 は *+ 平 の角度 視角 能 衣 装 は と のなす角 視方 位角 は *+ 平面上で から の角度とする なお 物体 合計 表面上の一点における反射特性は双方向反射分布関数, ( ことにより 対象物に対しあらゆる入射方向7 視方向からの反 射光計測が可能である, -. / できる, は の表現の内 点 && で表現 に注目した関数 であると考えることができる 軸の回転自由度を持つ これらの自由度を組み合わせる 能衣装の観測画像 を計測データから得るためには 任意の入射方向 視 図 に示す能衣装の断片は 朱色糸の基本地に金糸が織り込 方向に加えテクスチャ上の任意位置に対する反射光データを獲 まれ さらに青 緑 白色等の糸で花 葉 枝の刺繍が施され 得する必要がある 能衣装のように微細かつ精巧に作られたも ている 能衣装布は本来のテクスチャサイズは数十 8 数十 のは高精細な解像度も必要である よって能衣装の を獲 8 から数十 8 数 8 ある しかし これまでの に関 得するためには膨大な観測画像を必要とする する研究 7 7 7 % 7 &' では数 8 数 8 のテクス 図 に 本研究の 獲得のために使用した全方位型光学異 チャサイズを扱い 能衣装布のテクスチャサイズは大きく対象 方性反射測定装置 0 ( 0 1. 2 " 外である テクスチャサイズの大きさのため 計測時間の長さ を示す 画像計測には解像度 333 % ピクセル 有効画素 と計測データの膨大さが問題点となる 数約 3'' 万画素のデジタルカメラ 40! 5.. 2 * 図 に図 に示した布の刺繍による凹凸部を示す 朱色の基 を使用した 光源には朝日分光 株 のキセノン光源 6&' 本地に各色糸による刺繍が施され 花 枝葉が表現されている を使用した 0 は 光源 軸7 カメラ & 軸7 ステージ & 軸7 近接において凹凸部による影や刺繍内の糸の向きが確認できる

4 Fig. 4 The close-up image of a Noh costume. 5 L*a*b* Fig. 5 The color distribution in L*a*b* color space. 3. 1 (HDR) (HDR). Debevec HDR [8] RGB CCD RGB 8bit(256 ) 8bit Debevec Debevec HDR 3. 2 BTF [7] OGM OGM mm BTF 1mm BTF 4. 3 BTF 4. 1 3 5 3 AAA L*a*b* 5 k-mean 1 RGB L*a*b* 2 0 S t = 0 +1 3 S i 4 i t t = t +1 5 n 6 n i i 100 3 n 7

f r( r;ffi r; i;ffi i;u;v)=f u;v( r;ffi r; i;ffi i); (2) h n f u;v( r;ffi r; i;ffi i)=c se ( dt 2 ffi ) ( h ffin dp ) 2 +C d cos i;(3) (a) BTF (b) BTF 6 Fig. 6 The BTF comparison of golden yarn. 4. 2 BTF BTF 4 [11], [12] ( i;ffi i) T l (u; v) T l (u; v) i, ffi i 6 T l (u; v) 7 L =( i;ffi i) 7(a) L = (60 ; 145 ) (b) ffi i =145 (c) i =60 ffi 2 f u;v( r;ffi r; i;ffi i) (u; v) BRDF C s dt dp ffi C d (u; v) n =( n;ffi n) L V H =( h ;ffi h ) T l (u; v) 1 T l (u; v) H = n n 2 ffi = ffi n + ß C d 3 T l (u; v) 4 n C s dt dp 5. ( i;ffi i) i 0 80 5 ffi i 0 355 5 1224 1/25,1/100,1/250,1/1000,1/4000(sec) 5 6120 128x128 (HDR) HDR T l (u; v) BTF 8 3 VIVID910 3 BTF 6. BTF

(a) T l (u; v) (b) ffi i =145 Greenberg, "Non-linear approximation of reflectance functions," Proc. Siggraph, pp.117 126, Los Angeles, U.S.A., Aug. 1997. [6] G. Muller, G. H. Bendels, R. Klein, "Rapid Synchronous Acquisition of Geometry and Appearance of Cultural Heritage Artifacts", Proc. 6th International Symposium on Virtual Reality, Archaeology and Cultural Heritage(VAST), pp.13 20, Pisa, Itary, Nov. 2005. [7] G. Muller, J. Meseth, M. Sattler, R. Sarlette and R. Klein, "Acquisition, Synthesis and Rendering of Bidirectional Texture Functions", Proc. Eurographics, pp.69 94, 2004. [8] Paul E. Debevec and Jitendra Malik, "Recovering High Dynamic Range Radiance Maps from Photographs", Proc. SIGGRAPH 97, pp.369 378, August 1997. [9] M. Schneider, "Real-Time BTF Rendering", Proc. 8th Central European Seminar on Computer Graphics, pp. 79 86, April 2004. [10] " CAD pp.13-18 2004. [11] " (MIRU) pp.1084 1089 July 2006. [12] " (MIRU) pp.1582 1589 July 2005. [13] L. Y. Wei and M. Levoy, "Fast texture synthesis using treestructured vector quantization", Proc. Siggraph, pp.479-488, 2000. (c) i =60 7 Fig. 7 Reflectance at a texel. [1] M. Ashikhmin, "Synthesizing Natural Textures," Proc. 2001 ACM Symposium on Interactive 3D Graphics, pp. 217 226, North Carolina, U.S.A., March 2001. [2] Dana K. J., Van Ginneken B., Nayar S. K., Koenderink J. J., "Reflectance and texture of real-world surfaces", ACM Transactions on Graphics, No. 8, Vol. 1, pp.1 34, Jan. 1999. [3] Dana K. J., Van Ginneken B., Nayar S. K., Koenderink J. J., " BRDF/BTF measurement device", Proc. 8th IEEE International Conference on Computer Vision(ICCV), Vol. 2, pp. 460 466, July 2001. [4] J. Filip, M. Haindl, "Non-linear Reflectance Model for Bidirectional Texture Function Synthesis", Proc. 17th International Conference on Pattern Recognition(ICPR), Vol.1, pp.80 83, Aug. 2004. [5] E. P. F. Lafortune, S. C. Foo, K. E. Torrance and D. P.

光源方向が右側 $ 光源方向が左側 光源方向が下側 図? 異なる光源方向における能衣装のレンダリング? % % % H