第 11 回講義水曜日 1 限教室 618 情報デザイン専攻 画像情報処理論及び演習 II - 動画像処理 - Video Styliztion 吉澤信 shin@riken.jp, 非常勤講師 大妻女子大学社会情報学部 今日の授業内容 www.riken.jp/brict/yoshizw/lectures/index.html www.riken.jp/brict/yoshizw/lectures/lec4.pdf 1. Artistic Styliztion Video Styliztion. 演習 : 1. 画像. ビデオ 3. Artistic Styliztion 今日もプログラミングの話メイン. 復習 : 動画像の配列表現 0,0,0) j 0, sy 1,0) k sx 1, sy 1,0) sx 1,0,0) int I[ st][ sy][ sx]; double I[ st][ sy][ sx]; 3D 画像の配列表現 復習 :Artistic Styliztion アーティストの様式を疑似的に再現して実画像を生成 編集する事 : NPR/ 計算 Photogrphy の分野. i 0; i st; i ){ j 0; j sy; j ){ k 0; k sx; k ){ i 0,0, sx 1,0, I[ i][ j][ k]... 0, sy 1, sx 1, sy 1, J.Collomosse1 nd J. Kyprinidis, EG 11. Artistic Video Styliztion D の基本フレームワークを 3D 化してみよう! エッジ保存平滑化 エッジ抽出 多値化 量子化 ) 合成. D の基本フレームワーク エッジ抽出 入力 Bilterl フィルタの繰り返し スタイル化 平滑化画像 色相 H の多値化 & 明度 V の強調 エッジ画像 動画像へ拡張 HSV 量子化画像 RGB の多値化 RGB 量子化画像 出力 Stylized 画像 1
復習 : : Difference of Gussin. g exp, K g gk ) と入力画像の畳み込みが負の領域 = エッジ : 0.5, K K 3 K 4 K 5 wikipedi 1.0, K K 3 K 4 K 5 Gussin Filter Z g x y ) I new x) 復習 :Bilterl フィルタとは? g r) e r Sptil-Tonl Normlized Convolution: Z I dy / Input Bilterl Filter Z g I x) I ) g x y ). Z d h Intensity Tonl) Kernel Sptil Kernel エッジ特徴を保存する! Bilterlフィルタの繰り返し適用 エッジ保存平滑フィルタを繰り返し適用するとエッジに沿った領域が断片化される 領域抽出効果 ): I new x) Z I dy / Z d Z g I x) I ) g x y ) h g r) e. 入力 1 回 回 3 回 5.0, h 0.1 輝度値の標準偏差 r +Bilterl フィルタ Bilterl フィルタを繰り返し適用後に を適用 : 上 : 入力画像に : +Bilterl フィルタ Bilterl フィルタ後の画像と合成すると 上 : 入力画像に : 下 :Bilterl フィルタ 3 回適用後に : 下 :Bilterl フィルタ 3 回適用後に : 0.5, K K 3 K 4 K 5 0.5, K K 3 K 4 K 5
多値化で量子化する事で : - RGB 毎に多値化すると色が混ざる. - HSV 空間の色相 H) で多値化し明度 V) を強調. HSV 空間の色相 H) で多値化し明度 V) を強調. Bilterl フィルタ 3 回適用後 BGB 毎に 4 段階の値へ量子化 色相を 16 段階の値へ量子化 + 明度を強調. 3 HSV 空間の色相 H) で多値化し明度 V) を強調. 今週は Video への 拡張 エッジ抽出 RGB 毎の混色で鏡面的効果を演出. 色相を 16 段階の値へ量子化 + 明度を強調 +RGB 毎に 4 段階に多値化. 入力 HSV 量子化画像 Bilterl フィルタの繰り返し 来週 平滑化画像 色相 H の多値化 & 明度 V の強調 RGB の多値化 RGB 量子化画像 次回 エッジ画像 最終的に Ex15.zip の Style.cxx のビデオへの拡張を作成. 出力 Stylized 画像 の 3D 拡張 の 3D 拡張 そのままの拡張は時空間エッジになるので Artistic Styliztionでは工夫が必要 : - 注意点 : 時間方向のパラメータhは空間と分けなければダメ 時間方向の畳み込み半径も同様. 1 g, h exp h g g t ) h ), K, h, h K, Kh t 3
の 3D 拡張 3 の3D 拡張 4 D 空間 を時間方向に平滑化し 残像効果 : - 注意点 : レポートでは講義で紹介した時間方向の拡張の仕方以外でもデザインしてOK. ストーリー展開の描写は OK だが単純に重ねるとあまり良くない. g exp ) 1 t exp h h, K, h gh g gk ) g h の 3D 拡張 5 の 3D 拡張 6 の 3D 拡張 7 レポートでは時間方向拡張の仕方をデザインして OK. ただし狙ったデザインの目的と使った数式を明記する事. パラメータの調節が必要. 演習 : 画像 ビデオ www.riken.jp/brict/yoshizw/lectures/index.html www.riken.jp/brict/yoshizw/lectures/lec4.pdf www.riken.jp/brict/yoshizw/lectures/ex15.zip 1. Ex15 内のプログラムを動かしてみる.. ビデオプログラムの作成. 4
演習 :Ex4-1 Ex15.zip 内で mke でコンパイルし testvideoio.cxx Edge.cxx Edge.cxx Style.cxx を動かしてみる. 連番画像の入出力 : VideoIO.h void OpenVideochr * 入力フォルダー名, Imge3D *R, Imge3D *G, Imge3D *B, int *s int *s int *s; void SveVideochr * 出力フォルダー名, chr * 出力ファイル名, Imge3D *R, Imge3D *G, Imge3D *B); Edge.cxx: によるエッジ画像の作成 : 引数 3../Edge 畳み込み半径 in 標準偏差 double) バンド幅 double)./edge len.bmp ex_1_1.bmp 10 0.5./Edge len.bmp ex_1_.bmp 10 0.5 3./Edge len.bmp ex_1_3.bmp 10 0.5 4./Edge len.bmp ex_1_4.bmp 10 0.5 5 を実行して! 演習 :Ex4-1 Edge.cxx: エッジと元画像の合成 引数 3, Edgeと同じ ): Edgeと同じパラメータで出力ファイル名を変えて実行してみましょう! Style.cxx: Artistic Styliztion 画像の作成 引数 11)../Style 畳み込み半径 in 標準偏差 double) バンド幅 double) Bilterlフィルタ空間標準偏差 double) Bilterlフィルタ輝度標準偏差 double) Bilterlフィルタ繰り返し回数 in HSV 量子化数 in HSV 量子化 V 強調パラメータ double) RGB 量子化数 in./style len.bmp ex_st_1.bmp 0 0.5 3.0 5.0 0.1 3 16 0.7 4 と./Style len.bmp ex_st_1.bmp 10 0.5 5.0 5.0 0.1 3 16 0.7 4 で実行してみましょう! 自分の画像でEdge.cxxとStyle.cxxをパラメータを調節してスタイリッシュな画像にしてみてください. 演習 :Ex4- VideoEdge.cxxとVideoEdge.cxxを編集し 連番画像のエッジ動画を作成するプログラムを完成せよ. ヒント : ファイル内のコメントとEdge.cxxをよく見てみてください. g exp ) 1 t exp h h, K, h gh g gk y g h )) 次回 1 月 9 日 ) の予定 と同じでも OK 自分独自の拡張でも OK ただし単純拡張はダメ. は の様に残像だけなので 評価時刻での エッジも出るようにデザインすると高得点! 5