Microsoft PowerPoint - SSII05チュートリアル

Size: px

Start display at page:

Download "Microsoft PowerPoint - SSII05チュートリアル"

さあしゃかんけ
5 years ago
Views:

1 インバースレンダリング - 画像からの光学情報の復元 - 東京大学生産技術研究所佐藤洋一 CG によるレンダリング合成画像 Forward Renderng Algorthm 反射特性幾何形状光源分布 1

2 インバースレンダリングとは? Inverse Renderng Algorthm 反射特性入力画像幾何形状光源分布インバースレンダリングの分類光源反射特性幾何形状光源推定 (nverse lghtng) 反射特性推定 (nverse reflectometry) 形状推定 * (nverse geometry) 未知既知既知既知未知既知既知既知未知 *)photometrc stereo, shape from shadng など 2

3 光源と反射特性の同時推定の難しさ Ill-posed (ambguous) 表面の粗さ光源の大きさ発表のアウトラインインバースレンダリングとは? 反射特性の推定光源の推定インバースレンダリングの周波数解析まとめ 3

4 反射特性の推定反射特性の推定インバースリフレクトメトリ反射率や表面の粗さを推定既知 : 光源環境, 幾何形状未知 : 反射特性形状, 光源が同じでも 4

5 推定された反射特性照明の影響を受けない物体固有物体固有の情報様々な照明条件下での画像生成照明に影響を受けない物体認識材質の推定微小な表面粗さの推定観察される明るさ画像を構成する 4 つの成分鏡面反射拡散反射アッタチドシャドウキャストシャドウ鏡面反射拡散反射拡散反射物体色等方反射鏡面反射光源色と同一正反射方向に集中 5

6 BRDF による反射特性の表現双方向性反射率分布関数 (Bdrectonal Reflecton Dstrbuted Functon, BRDF) 入射光照度と反射光輝度の割合光源方向と視点方向視点方向に依存 (4( 自由度 ) dl( θr, φr ) ρ ( θ, φ, θr, φr ) = de( θ, φ ) BRDF の実測例 6

7 BRDF の表現法光源方向視点方向ごとに反射率を記録反射特性の推定反射率のサンプリングいかに効率よくサンプリングするかパラメトリック反射関数で近似反射特性の推定パラメータの推定いかに安定にパラメータを推定するか反射特性の推定パラメトリック反射関数の利用 7

8 パラメトリック反射関数少数のパラメータで表現された反射モデルランバートモデル ( 拡散反射成分 ) Phong モデル Cook-Torrance モデル Torrance-Sparrow モデル法線方向簡略化された TS モデルの例 1 I = Kd cosθ + Ks e cosθ r α 2 2 σ 2 θ bsector α θ r パラメータ推定法の分類仮定するパラメトリック反射関数反射特性は均一か不均一か単一光源か複数光源か拡散反射と鏡面反射の分離を利用するか光源色と物体色の違い視点への依存性偏光の違い 8

鏡面反射パラメタの推定 [ Ikeuch91 ] 不均一な反射特性の推定 CT 反射モデル, 不均一な反射特性 [ 大槻 93]

9 均一な反射特性の推定一組の濃淡画像と距離画像からの反射モデルの推定 T-S 反射モデルインバースレンダリングの初期の例段階的な最小自乗当てはめ最小自乗当てはめによる反射モデルの推定 1. 光線方向と拡散反射係数の推定 2. 鏡面反射影相互反射等の検出 3. 鏡面反射パラメタの推定 [ Ikeuch91 ] 不均一な反射特性の推定 CT 反射モデル, 不均一な反射特性 [ 大槻 93] 回転体の形状とカラー画像を計測不均一な反射特性を密に推定した初期の例 TS 反射モデル, 不均一な反射特性 [Kay94] 4 or 8 枚の濃淡画像と 1 枚の距離画像不均一な反射特性を密に安定に推定するのは容易でない 9

10 光源色と物体色の違いを利用 2 色性反射モデル ( 光源色と物体色 ) [ Sato94 ] 光源色と物体色の違いを利用観測されにくい鏡面反射成分への対処物体色に基づく領域分割, 各領域内での均一な鏡面反射特性を仮定 [ Sato96 ] 10

11 光源色と物体色の違いを利用観測されにくい鏡面反射成分への対処安定に鏡面反射パラメータを推定できる点を選択し, 鏡面反射パラメータを補間 [ Sato97 ] 光源色と物体色の違いを利用合成画像の様子 [ Sato97 ] 11

12 顔の反射特性と面法線 Lght Stage による密な光源移動 Reflectance Feld の計測 (64 32) 色解析による反射成分の分離 Reflecton Feld 皮膚反射モデルとパラメータ推定 Reflectance Feld の再合成による任意照明任意方向の顔画像生成 [ Debevec00 ] 顔の反射特性と面法線 12

13 視点依存性を利用拡散反射 : 視点に依存せず一定鏡面反射 : 視点に依存して変化視点依存 / 非依存成分の分離均一な鏡面反射特性を仮定鏡面反射成分から光源分布 ( 複数光源 ) を推定入力画像 ( 異なる視点 ) 拡散反射鏡面反射光源分布 [ Nshno01 ] 偏光の違いを利用偏光を利用して鏡面反射成分を分離鏡面反射パラメタと近接光源の位置近接光源の位置の同時の同時推定単色で均一な反射特性を仮定 [ 原 02 ] 13

14 微妙な反射特性の変化不均一な反射特性比較的少数の入力画像 (15~ 25 枚 ) 反射関数のクラスタリングによる領域分割基底反射関数の線形結合による微妙な反射特性変化の表現 [ Lensch03 ] より大きなスケールの面の粗さレンジファインダでは測定できないが, 画像レベルでは観測できる細かい凹凸バンプモデルパラメータ法線振れ幅の平均と分散 [ 馬場 04 ] 14

15 反射特性と面法線の同時推定段階的処理により各パラメタを上手く推定色にもとづき鏡面反射を含む観測値を除外局所的な当てはめ処理の繰り返しにより拡散反射係数と面法線を同時推定 [ 小俣 00 ] 反射特性の推定相互反射の考慮 15

16 1 次反射と 2 次反射 1 次反射光源からの直接光の反射 2 次反射物体表面からの反射光の反射相互反射相互反射の種類 2 次反射だけでも 4 通り拡散反射拡散反射鏡面反射鏡面反射反射成分の分離は難しい光源色 +2 種類の物体色拡散反射により非偏光視点方向への依存性が複雑 16

17 ラジオシティ法拡散反射成分の相互反射を計算 CG における代表的なレンダリング法 B = E + ρ B Fj Bjj フォームファクター ( 面積, 距離, 遮蔽 ) j F j B j ρ ρ 反射係数 B E E 放射光強度 ( 直接光源 ) [Sllon94] 拡散反射による相互反射ラジオシティ法に基づく反射率推定 F j ) B = E + ρ ρ = ( B E / j j B j F j B j 3 次元形状仮想物体の重ね合せ [ Fourner93 ] [ Drettaks97 ] [ Loscos99 ] [ Loscos00 ] 17

18 鏡面反射の考慮鏡面反射強度は反射方向に依存各パッチの輝度を直接観測できないアプローチ 1 次反射による鏡面反射強度計算と反射係数推定の繰り返し処理 [ Yu99 ] 鏡面反射の考慮実画像入力画像再合成室内形状と撮影位置 (40 箇所 ) 18

19 Synthetc renderng of recovered propertes under orgnal llumnaton. Synthetc renderng of room wth seven vrtual objects added. Synthetc renderng under novel llumnaton 推定された反射特性にもとづく映像 QT ムービー 19

20 複雑なシーンでの相互反射拡散反射による相互反射ラジオシティ法鏡面反射の存在を許容鏡面反射は 1 次反射のみ均一な鏡面反射, 光源拡散鏡面カメラ鏡面反射による相互反射入力画像に近づくようにモデルを反復修正フォトンマッピング法 [ Machda03 ] [ Yu99 ] [ Bovn01 ] [ 町田 04 ] 反射特性の推定 BRDF の直接計測 20

非常に長い計測時間, 膨大なデータ量光源 (360x90( 360x90) カメラ (360x90( 360x90)

21 BRDF の直接計測入射光強度に対する反射光輝度の割合パラメトリック反射関数で近似しないノンパラメトリック表現 ( 値をすべて保持 ) モデル化の難しい特殊な反射を表現ベルベットサテン BRDF の計測法ゴニオフォトメータの利用非常に長い計測時間, 膨大なデータ量光源 (360x90( 360x90) カメラ (360x90( 360x90) 3byte=3GB/ 3byte=3GB/ 画素 3GB 横 640 画素縦 480 画素 =900TB =! outgong N ncomng θ r θ φ r φ 21

22 BRDF データ量削減の工夫等方性の仮定法線に関して回転対称 3 パラメータで表現 outgong N ncomng θ r θ φ BRDF 計測のための方法 3 自由度のサンプリング均一な BRDF の場合 22

23 均一な BRDF の計測表面全体で均一な BRDF を仮定 1 枚の画像中で観測される, 様々な法線視線光源方向の組合せ人間の顔の BRDF 計測の例 [ Marschner 99 ] 不均一な BRDF の計測 2 パラメータによる BRDF の近似獲得された BRDF を分類の近似 [Ramamoorth02] 出現確率 ( テクスチャ ) をマルコフモデルで学習少ないデータ量による記述形状の異なる物体上での反射特性の再現結果 mrror drecton outgong N ncomng θ' r θ 4 クラスタテクスチャの再合成 [ 西山 02 ] 23

24 反射特性の推定センサプランニングの問題センサプランニング反射特性が安定に推定できる条件光源撮影方向の最適配置経験的に決められることが多い入力画像枚数は少ないほうがいい鏡面反射成分は観測されにくい拡散反射 :1 回以上観測鏡面反射 :2 回以上観測 (TS( 反射モデルの場合 ) 24

25 物体上で生じる反射を予測物体形状光源位置視点位置から反射を予測影になるか拡散反射のみが観測されるか強い鏡面反射が観測されるか [ 町田 01 ] カメラと光源の両方の最適配置推定した反射モデルパラメータの不確かさを最小化熟練ユーザによる経験的な撮影条件よりも正確な反射パラメータ最適な光源カメラ位置の組合せ [ Lensch03 ] 25

26 反射特性推定のまとめ BRDF と反射成分パラメトリック反射モデルのパラメタ推定相互反射を考慮した推定画像による BRDF 計測反射特性推定におけるセンサプランニング発表のアウトラインインバースレンダリングとは? 反射特性の推定光源の推定インバースレンダリングの周波数解析まとめ 26

27 光源推定光源推定インバースライティングどの方向からどれだけの強さの光が照射されているか? 既知 : 形状と反射特性未知 : 光源形状, 反射特性が同じでも... 27

28 光源と物体の明るさの線形性複数の光源下で観察される物体の明るさは各光源下の物体の明るさの線形和で表現される α 1 α 2 α 3 +? 明るさの線形性にもとづく光源推定未知光源分布 Iの下でのシーン内の点 x j の明るさ x j () = α R ( I ) j 複数の点での明るさ各基底光源下での明るさ各基底光源の強さ X M = x j = L M R ( I j M M ( ) ) M L α RA M A = R 1 X [Marschner97] 28

光源の遮蔽による影内の明るさ分布を利用 x = α S ρ cosθ j = α S ρ j cosθ

29 明るさの線形性にもとづく光源推定各基底光源下での明るさ各基底光源下での画像を撮影物体モデルから基底画像を合成係数 αの推定が不安定拡散反射成分のみの利用 A = R 1 X [Marschner97] 影にもとづく光源推定光源の遮蔽による影内の明るさ分布を利用 x = α S ρ cosθ j = α S ρ j cosθ ランバート反射モデル各基底光源の強さ遮蔽係数 {0{ 0 or 1} 1 複雑光源分布を安定に推定することが可能 [Sato99, Sato03] 29

30 推定された光源分布にもとづく加工 Input mage Syntheszed mages テクスチャへの対応物体を取り除き, 影のない画像を撮影入力画像再合成光源推定影のない入力画像別物体を置いた場合 [Sato99, Sato03] 30

31 適応的再分割手法光源推定の効率安定性の向上 [Sato99, Sato03] ウェーブレット基底による影からの光源推定ウェーブレット基底による表現された基底光源を用いた光源 Φ Ψ011 Ψ012 Ψ013 Ψ111 Ψ112 Ψ113 { c Φ ( θ, φ) + djklψ L ( θ, φ) = ( θ, φ)} jkl jkl Ψ121 Ψ122 Ψ123 [Okabe04] 31

32 ウェーブレット基底による影からの光源推定 2 つの手法の比較 (ktchen 光源 ) HDR 全方位光源マップ [Debevec SIGGRAPH 98] Ktchen Ground Sphercal Haar truth harmoncs wavelets [Okabe04] スケルトンキューブ光源推定用の物体内壁上のセルフシャドウを利用 Torrance-Sparrow 反射モデルを考慮既知の位置に配置した光源輝度を推定 [ 高井 04] 32

33 光源設計のための光源推定光源設計 (lghtng( desgn) ) を目的とした光源推定 Pantng wth lght 制約条件付き最小二乗問題として定式化形状反射特性光源位置は全て既知ユーザにより指定された目標の明るさ分布推定された光源輝度色による再現 [Schoeneman93] キャリブレーション球鏡面球上の反射光輝度を用いて光源輝度分布を計測近接光源の場合には周辺環境の形状を入力 [Debevec98] 33

34 鏡面球による光源位置の計測一組の鏡面球上のハイライトから光源位置を計算対応するハイライトの位置をもとに光源の 3 次元位置を計算幾何キャリブレーション用のデザイン [Powell01] 拡散球による光源方向の推定拡散球面上で光源方向と垂直な大円を検出大円上の crtcal ponts を如何に安定に検出するかが課題少数の方向光源の推定に限定 [Zhang01], [Wang02] 34

35 拡散球ペアによる光源位置の推定一組の拡散球により近接光源位置と強度を推定 2つの拡散球の明るさの差分上の等輝度線環境光遠方光源の影響の除去差分 [Taka03] 鏡面球拡散球の組合せ十分に広いダイナミックレンジが必要通常はシャッター速度を変えながら撮影反射特性の異なる lght probe の組合せ反射率の高い鏡面球反射率の低い黒色鏡面球拡散球 [ Tchou04 ] 35

36 光源推定のまとめ明るさの線形性にもとづく推定影を利用した推定鏡面キャリブレーション球による推定拡散キャリブレーション球による推定インバースレンダリングの周波数解析 36

37 インバースレンダリングの周波数解析インバースレンダリングにおいて拡散物体の明るさよりも鏡面物体の明るさを用いた方が上手く光源を推定できるのはなぜか? 拡散光源下の画像よりも点光源下の画像の方が反射特性を推測しやすいのはなぜか? 信号処理的な枠組みにより理論的に説明 [Ramamoorth01] 光源分布反射関数反射光強度の関係光源 L の下での反射強度 B L α, β θ, φ θ o, φ o B B ( α, β, θo, ϕo) L( Rα, β = [ θ, ϕ ]) ρ( θ, ϕ, θ, ϕ ) cosθ dθ dϕ o o 球面調和関数による周波数展開 B =Λ L ρ lm, pq l lm lq, pq 37

38 インバースライティング Gven: B,ρ fnd L : B = Λ L ρ lm, pq l lm lq, pq L lm = Λ 1 lm, pq l B ρ lq, pq ρ が十分大きな値を持てば well-condtoned [Ramamoorth01] 反射関数 ρ の周波数特性 Mrror Roughness Ampltude Frequency 38

ランバート物体 π 2 π /3 Incdent radance (mrror sphere) N ρ l 0 0 1 2 π /4

インバースレンダリングインバースライティング ( 光源環境環境推定 ) インバースリフレクトメトリ ( 反射特性推定 )

39 ランバート物体 π 2 π /3 Incdent radance (mrror sphere) N ρ l π /4 l 99% 以上のエネルギーが 2 次以下の項に集中 Irradance (Lambertan) まとめ CG の逆問題 : インバースレンダリングインバースライティング ( 光源環境環境推定 ) インバースリフレクトメトリ ( 反射特性推定 ) インバースジオメトリ ( 幾何形状推定 ) 今後の課題より複雑な反射現象の考慮 ( 透過光など ) センサプランニングの問題形状モデリングとの統合 39

0 21 カラー反射率 slope aspect 図 2.9: 復元結果例 2.4 画像生成技術としての計算フォトグラフィ 3 次元情報を復元することにより, 画像生成 ( レンダリング ) に応用することが可能である. 近年, コンピュータにより, カメラで直接得られない画像を生成する技術分野が生

0 21 カラー反射率 slope aspect 図 2.9: 復元結果例 2.4 画像生成技術としての計算フォトグラフィ 3 次元情報を復元することにより, 画像生成 ( レンダリング ) に応用することが可能である. 近年, コンピュータにより, カメラで直接得られない画像を生成する技術分野が生まれ, コンピューテーショナルフォトグラフィ ( 計算フォトグラフィ ) と呼ばれている.3 次元画像認識技術の計算フォトグラフィへの応用として,