コンピュータグラフィクス論

Size: px

Start display at page:

Download "コンピュータグラフィクス論"

なごみとりこし
4 years ago
Views:

1 コンピュータグラフィクス論画像処理 (1) 2016 年 6 月 9 日高山健志

2 本日のトピック Edge-aware な画像処理 Gradient-domain の画像処理 2

3 Gaussian Filter による画像平滑化滑らかさパラメタ σ 元画像 σ = 2 σ = 5 σ = 10 3

4 Gaussian Filter の数式画像 I のピクセル位置 p = p x, p y Ω における画素値を I p で表す解像度の場合 Ω 1,, 640 1,, 480 パラメタ σ による Gaussian Filter 適用後の画像を GF σ [I] で表す GF σ I p q Ω G σ p q I q p q q Ω G σ W p G σ x G σ x exp x2 2σ 2 半径 σ の Gaussian Kernel 3σ 2σ σ 0 σ 2σ 3σ x 4

5 Gaussian Filter の数式画像 I のピクセル位置 p = p x, p y Ω における画素値を I p で表す解像度の場合 Ω 1,, 640 1,, 480 パラメタ σ による Gaussian Filter 適用後の画像を GF σ [I] で表す GF σ I p 1 W p q Ω G σ p q I q G σ x G σ x exp x2 2σ 2 半径 σ の Gaussian Kernel 3σ 2σ σ 0 σ 2σ 3σ x 5

6 2r + 1 Gaussian Filter の実装 G σ x G σ 3σ 0 遠くのピクセルは無視できる 3σ 2σ σ 0 σ 2σ 3σ x 2r + 1 r ceil 3σ として (2r + 1) (2r + 1) のステンシル上で重みを前計算ステンシル 6

7 Kernel 半径 σ が非常に大きい場合そのまま計算すると時間がかかる代替法 :downsample 小さい σ で平滑化 upsample σ = 20 downsample σ = 5 upsample 7

8 Detail Extraction & Enhancement smoothed detail halos! 3 detail enhanced 8

9 Edge-aware な画像平滑化を使うと smoothed detail 3 detail enhanced 9

10 Bilateral Filter による edge-aware な平滑化二つのパラメタ σ s : ピクセルの位置に関する平滑化の範囲 σ r : ピクセルの色に関する平滑化の範囲すべて σ s = 10 BF σs, σ r I p 1 W p q Ω G σs p q G σr I p I q I q 元画像 σ r = 32 σ r = 128 σ r =

11 Bilateral Filter の応用 :Stylization Real-time video abstraction [Winnemöller SIGGRAPH06] 11

12 Bilateral Filter の応用 :Tone Mapping 24bit カラー画像の各成分の範囲 :1~255 現実世界の光の強さの範囲 :1~10 5 High Dynamic Range 画像露光時間を変えて撮影することで計測可能短い露光時間 Fast bilateral filtering for the display of high-dynamic-range images [Durand SIGGRAPH02] 長い露光時間 12

org/wiki/tone_mapping Fast bilateral filtering for the

13 Bilateral Filter の応用 :Tone Mapping HDR 画像 γ 補正 (X X γ ) Bilateral Filter detail が失われる Fast bilateral filtering for the display of high-dynamic-range images [Durand SIGGRAPH02] detail を保つ 13

14 Bilateral Filter のナイーブな実装 q Ω G σs p q G σr I p I q I q ピクセル位置 p Ω ごとにステンシルの再計算が必要遅い ( 基本課題 ) 14

15 Bilateral Filter に対するもう一つの見方ピクセル位置 p と画素値 I p から特徴ベクトル f p p σ s, I p σ r を定義 Bilateral Filter の重みは特徴ベクトル同士の Euclid 距離を Gaussian Kernel に代入したものに等しい G σs p q G σr I p I q p q 2 = exp 2 exp I p I q 2 2σ s 2σ r = exp f 2 p f q 2 = G 1 f p f q 2 Bilateral Filter は特徴空間におけるサンプル集合 {f p } に対して半径 1 の Gaussian Filter をかけるのと同義計算が単純化 15

16 Bilateral Grid [Paris06; Chen07] 3D 特徴ベクトルを (X 座標, Y 座標, 輝度 ) として定義しサンプル集合 {f p } を 3D 配列上にマッピング σ s と σ r が大きいほど配列の解像度を低くできる計算コスト低減 A Fast Approximation of the Bilateral Filter using a Signal Processing Approach [Paris ECCV06] Real-time edge-aware image processing with the bilateral grid [Chen SIGGRAPH07] 16

17 特徴空間を介した重みマップの生成白い scribble 重み =1 の制約黒い scribble 重み =0 の制約様々な呼ばれ方 :Edit Propagation, Matting, Segmentation Bilateral Grid 上で Laplace 方程式を解く重みマップ利用例 : 色味の変更 Real-time edge-aware image processing with the bilateral grid [Chen SIGGRAPH07] 17

特徴空間を介した重みマップの生成 RBF で補間 [Li10] ( 目的 : 画像と動画の編集 ) Hermite RBF で補間 [Ijiri13] ( 目的 :CT volume の領域分割 ) https://www.youtube.com/watch?

18 特徴空間を介した重みマップの生成 RBF で補間 [Li10] ( 目的 : 画像と動画の編集 ) Hermite RBF で補間 [Ijiri13] ( 目的 :CT volume の領域分割 ) Instant Propagation of Sparse Edits on Images and Videos [Li PG10] Bilateral Hermite Radial Basis Functions for Contour-based Volume Segmentation [Ijiri EG13] 18

p F q A q Digital Photography with Flash and No-Flash Image Pairs [Petschnigg

19 Bilateral Filter の拡張 :Joint (Cross) Bilateral Filter フラッシュ無し写真 A 色味は良いノイズが大きいボケ気味フラッシュ有り写真 F 色味は悪いノイズが小さいクッキリ JBF 適用結果 JBF σs, σ r A, F p 1 W p q Ω G σs p q G σr F p F q A q Digital Photography with Flash and No-Flash Image Pairs [Petschnigg SIGGRAPH04] Flash Photography Enhancement via Intrinsic Relighting [Eisemann SIGGRAPH04] 19

20 Bilateral Filter の拡張 :Non-Local Means Filter ピクセル p を中心とする 7 7 領域の画素値から成る近傍ベクトル n p によって特徴空間を定義 NLMF σ I p 1 W p q Ω G σ n p n q I q Noisy input Bilateral NL Means A non local algorithm for image denoising [Buades CVPR05] 20

21 本日のトピック Edge-aware な画像処理 Gradient-domain の画像処理 21

22 シナリオ :Source 画像を Dest. 画像へ挿入 Source Dest. 単純な上書き境界をぼかしてみる Gradient-domain 処理 Poisson image editing [Perez SIGGRAPH03] Gradient Domain Manipulation Techniques in Vision and Graphics [Agrawal ICCV07 Course] 22

23 シナリオ : 複数写真からパノラマ合成単に並べただけ Gradient-domain 処理 Efficient gradient-domain compositing using quadtrees [Agarwala SIGGRAPH07] 23

24 1D grayscale 画像の場合の考察 Dest. Source Offset 24

coordinates [Floater CAGD03] Coordinates for instant image

25 2D の場合 :Offset by Laplace Membrane ディリクレ境界条件の下で Laplace 方程式を解く Mean Value Coordinates を用いた高速な近似 Mean value coordinates [Floater CAGD03] Coordinates for instant image cloning [Farbman SIGGRAPH09] 25

26 単純な cloning 以外の gradient-domain 処理 26

27 単純な cloning 以外の gradient-domain 処理 Gradient を好き勝手に操作する!

28 単純な cloning 以外の gradient-domain 処理 f Find f i that minimize 2 f i f i 1 g i i subject to: f Ω = f Ω g i ユーザが与えた目標勾配 g i になるべく合うような関数 f を求める f Ω 28

29 Find f i that minimize 2 f i f i 1 g i i 1D の場合 subject to: f Ω = f Ω Find f x, y that minimizes x,y Ω 2D の場合 f x, y g(x, y) 2 subject to: f Ω = f Ω Gradient-domain 画像処理の基本 : ユーザが好き勝手に与えた目標勾配ベクトル場 g になるべく合うような画像 f を Poisson 方程式を解いて求める Solve Poisson equation: Δf = g subject to: f Ω = f Ω 29

30 Target gradient の与え方 :Mixing Gradients Source 勾配と Dest. 勾配のうち大きい方を使う平坦な部分は clone されない Poisson image editing [Perez SIGGRAPH03] 30

gradient-domain painting [McCann SIGGRAPH08] Code: http://graphics.cs.cmu.

31 Target gradient の与え方 :Edge Brush 物体輪郭に沿った勾配をコピーしストロークに沿って貼り付け GPU 実装の Poisson solver によってリアルタイム動作 Before After Before After Real-time gradient-domain painting [McCann SIGGRAPH08] Code:

32 Target gradient の与え方 : 元の gradient を操作選択範囲内でのみ増幅減衰 Local Tone Mapping Poisson image editing [Perez SIGGRAPH03] エッジ検出された場所以外ではゼロにする Stylization 32

33 おまけ :Gradient-domain の形状処理 33

Gradient-domain 形状処理 Find v i that minimize Poisson 方程式 i,j E

目標勾配いくつかの頂点の位置制約境界条件 Mesh editing with poisson-based

editing [Sorkine SGP04] Interfaces and algorithms for the

34 Gradient-domain 形状処理 Find v i that minimize Poisson 方程式 i,j E w ij v i v j e ij 2 subject to: v c = v c, c I C 元形状の辺ベクトル目標勾配いくつかの頂点の位置制約境界条件 Mesh editing with poisson-based gradient field manipulation [Yu SIGGRAPH04] Laplacian surface editing [Sorkine SGP04] Interfaces and algorithms for the creation, modification, and optimization of surface meshes [Nealen PhD07] 34

変形に伴う局所領域の回転回転なし回転あり目標勾配も合わせて回転させないといけない非線形で難しい!

SVD で局所領域の回転を計算 Global step: 局所領域の回転を固定し Poisson

methods [Botsch TVCG08] As-rigid-as-possible surface

35 変形に伴う局所領域の回転回転なし回転あり目標勾配も合わせて回転させないといけない非線形で難しい! Local-global 最適化アルゴリズム [Sorkine07] Local step: 頂点座標を固定し SVD で局所領域の回転を計算 Global step: 局所領域の回転を固定し Poisson 方程式を解いて頂点座標を更新 On linear variational surface deformation methods [Botsch TVCG08] As-rigid-as-possible surface modeling [Sorkine SGP07] 35

36 GeoBrush: サーフェスメッシュのためのクローンブラシ変形計算を 2 ステップに分解 : 1. 局所領域の回転 cage-based な方法で高速に計算 2. 正確なオフセット画像合成用の GPU Poisson ソルバを流用 GeoBrush: Interactive Mesh Geometry Cloning [Takayama EG11] 36

2_05.dvi

2_05.dvi Vol. 52 No. 2 901 909 (Feb. 2011) Gradient-Domain Image Editing is a useful technique to do various-type image editing, for example, Poisson Image Editing which can do seamless image composition. This