情 報 デザイン 専 攻 画 像 情 報 処 理 論 及 び 演 習 II 計 算 Photography Artistic Stylization HDR 画 像 NPR 今 日 の 授 業 内 容 www.riken.jp/brict/yoshizawa/lectures/index.html www.riken.jp/brict/yoshizawa/lectures/lec21.pdf 1. High Dynamic Range (HDR) 画 像 合 成 表 示 エッジ 保 存 フィルタの 計 算 Photographyでの 応 用. 第 9 回 講 義 水 曜 日 1 限 教 室 6218 吉 澤 信 shin@riken.jp, 非 常 勤 講 師 大 妻 女 子 大 学 社 会 情 報 学 部 2. Artistic Stylization & NonPhotorealistic Rendering (NPR) 復 習 : 特 徴 (エッジ パターン) 保 存 フィルタ 復 習 :HighDynamic Range(HDR) 画 像 輝 度 値 が( 複 数 の 範 囲 &) 高 階 調 画 像 : 複 数 露 光. 単 純 な 平 滑 化 特 徴 保 存 平 滑 化 輝 度 値 露 光 復 習 : 光 線 追 跡 (Ray Tracing) CGでのRenderingは 幾 何 光 学 モデルの 光 線 追 跡 シミュレー ション: 結 果 は 浮 動 小 数 点 で 高 階 調. CGARTS 協 会 復 習 : 画 像 は 入 力 にも 出 力 にも 階 調 の 制 限 がある 通 常 3 次 元 形 状 CGARTS 協 会 Raster 画 像 Rendering 階 調 を 識 別 することができる 最 小 輝 度 と 最 大 輝 度 の 比 率 H. Suzuki (Univ. Tokyo) 1
HDRI合成 表示 復習 トーンマッピング 画像への変換 HDR画像の合成 低階調 複数露光設定による高階調HDR (High Dynamic Range)画像データ 低階調 S. Yoshizawa, CGF 2010. G. Qiu et al ICPR 06. 低階調 出力 合成画像 S. Yoshizawa et al., CGF 2010. 復習 応用例 デジタルアート HDR画像を用いたデジタルアート 復習 限定色表示 限定色表示 出力できる色数 画像の色数. カラーマップとルックアップテーブル の色とそ れを出力する色との対応表. CGARTS協会 均等量子化法. 頻度法. ハーフトーニング ディザ法. 中東正之 http://www.flickr.com/groups/hdr/ CGARTS協会 復習 ディザ処理 大域的処理による合成 全体の量子化誤差を最小化するよう確率を調整し て量子化をランダムに行う事. Reinhart et al. wikipedia Alexei Efros. Ldisplay Lworld 1 Lworld www21.atwiki.jp フルカラー画像 限定色(16色) 限定色(16色)ディザ処理 大域的処理による合成 暗部分0.1%の線形補間 2
Low/HighPathフィルタによる 合 成 ガンマ 補 正 や 線 形 補 間 に よるトーンマッピング( 圧 縮 )は 細 部 が 潰 れる. Boxやガウス 関 数 による Low/HighPathフィルタを 用 いた 方 法 ではギプス 現 象 によるアーティファクト. Lowpass: 低 周 波 成 分 圧 縮 Highpass: 高 周 波 成 分 Halos!! Alexei Efros. BilateralフィルタによるHDRI 合 成 Filter Linear Interpolation = Input HDR Signal: eg. 16bit, double, etc. Input [DD02]: F. Durand and J. Dorsey, SIGGRAPH 02. Detailed HighFrequency Signal. Bilateral Filtered Signal: Piecewise Linear LowFrequency. Bilateral Filter Output Compressed HDR Signal. Compressed LowFrequency Signal: eg., byte, B/W, etc. BilateralフィルタによるHDRI 合 成 2 応 用 のごく 一 例 : 特 徴 保 存 細 部 の 分 離 new 特 徴 保 存 フィルタが 細 部 をよく 分 離 : D( x) I( x) I ( x) 理 想 信 号 入 力 信 号 I(x) フィルタ 後 の 信 号 new I (x) 差 分 信 号 : D(x) 細 部 ノイズ テクスチャー レンジ 毎 の 画 像 Output Compressed HDR Signal. フィルタの 例 ( 理 想 信 号 ) フィルタの 例 1 2 応 用 1:ノイズ 除 去 ( ) minより 白 色 性 加 算 ガウスノイズの 最 小 化 : 2 I x dx 応 用 2:テクスチャー 強 調 1 高 域 強 調 フィルタは 1 k High _ path( I ) I( x) k D( x) フィルタ 結 果 入 力 特 徴 保 存 フィルタ 結 果 入 力 特 徴 保 存 3
応用2 テクスチャー強調２ 応用３ High Dynamic Range画像合成 1 差分信号 D (x ) 応用３ High Dynamic Range画像合成 2 応用４ 顕著なエッジ領域抽出１ CV, IP, PRでのエッジモデルは勾配強度が大きな 座標値の空間的に連続した集合として定義される Laplacianがゼロの点集合 曲率の極値集合. DoG: Difference of LoG: Laplacian of Scale Space, Convolution Surfaces. 二つの DoG LoG DoGとの畳み込み結果 応用４ 顕著なエッジ領域抽出２ 応用５ Artistic Stylization フィルタを繰り返し適用後にDoGを適用: H. Winnemöller et al. SIGGRAPH 06. エッジ抽出 上 画像にDoG: 下 フィルタ３回適用後にDoG: DoG,K ( x, y ) g ( x, y ) g K ( x, y ) フィルタの 繰り返し DoG 平滑化画像 エッジ画像 色相Hの多値化& 明度Vの強調 ポスター化 RGB の多値化 0.5, K 2 K 3 K 4 K 5 HSV量子化画像 RGB量子化画像 出力Stylized画像 4
応用５ Artistic Stylization ２ Flash/NoFlash画像 E. Eisemann and F. Durand, SIGGRAPH 04. Bilateralフィルタによって 細部 Illuminationを分離. Bilateralフィルタによる周波数分解 復習 平滑化と差分による周波数分解 フィルタと差分を繰り返し適用する事で周 波数分解を近似出来る. 平滑化 = ベースの 低周波 R. Fattal et al., SIGGRAPH 2007. :複数の異なるライト設定による画像 N f 信号 1 G スケール F 1[] 逆変換 * 掛け算 N f F 1[ F [ f ] * ( B2 B )] F 1[ F [ f ] * (1 B2 N )] F 1[ F [ f ] * B1 ]. の正規化ガウス関数. 出力 細部強調画像 Bilateralフィルタの繰り返 し適用による周波数成分 の分解: トーンマッピング の例と同様にHaloアーティ ファクトが少ない. f F 1[ F [ f ] * (G2 G )] F 1[ F [ f ] * (1 G2 N )] F 1[ F [ f ] * G1 ]. F [] 変換 1 Bilateralフィルタによる周波数分解2 非写実的(NonPhotorealistic) Rendering (NPR) 複数の一つ 細部強調画像 アーティストによる絵 W. Li et al., SIGGRAPH 07. F. Cole et al., SIGGRAPH 08. CAD 建築 生物 医用 アート等 H. Gray, 1918. R. Fattal et al., SIGGRAPH 2007. 5
Artistic Stylization Artistic Stylization2 アーティストの様式を疑似的に再現して実画像を 生成 編集する事: NPR/計算Photographyの分野. 画材 ストローク等の模倣 シミュレーション. Artistic Stylization３ Artistic Stylization４ 領域抽出の応用エッジ抽出 強調/Texture合成. 異方性 エッジ保存フィルタ. Artistic Stylization５ Artistic Stylization６ エッジ接線方向フィルタ. H. Kang et al. IEEE TVCG 2009. エッジ 流れ場の勾配に 沿って平滑化. H. Kang et al. IEEE TVCG 2009. 6
復 習 :ディザ 処 理 Original Threshold Random Halftone Bayer Stippling wikipedia FloydSteinberg Jarvis, Judice & Ninke Stucki Burkes 誤 差 拡 散 法 S. Schlechtweg et al. CGF 2005. Sierra J 2row Sierra Sierra Lite Atkinson ハーフトーニング (halftoning):パターンで 表 す. S. Hiller et al. EG 03. 成 績 について 評 価 方 法 : 出 席 40%: 遅 刻 は 少 し 減 点 (0.8 倍 ). レポート60%: なので 計 算 方 法 は X=(40/15) 遅 刻 なし 出 席 日 数. Y=0.8 (40/15) 遅 刻 した 出 席 日 数. Z=(60/300=1/5) レポート(4,5,6)の 合 計 点 数. 成 績 =XYZ. 出 席 日 数 = 遅 刻 なし 出 席 日 数 遅 刻 した 出 席 日 数 前 期 と 同 じ! 7