とができ現在までにいくつかの手法が提案されている去性能を向上させる以下の最適化問題を解き多重露提案手法では多項式により逆カメラレスポンスカーブ光画像統合における重み wk を求めるを近似する Mitsunaga 等の手法 9] を用いる逆カメラ min kp w hk + α kd

Size: px

Start display at page:

Download "とができ現在までにいくつかの手法が提案されている去性能を向上させる以下の最適化問題を解き多重露提案手法では多項式により逆カメラレスポンスカーブ光画像統合における重み wk を求めるを近似する Mitsunaga 等の手法 9] を用いる逆カメラ min kp w hk + α kd"

ゆりなつちかね
5 years ago
Views:

1 第8回信号処理シンポジウム 3年月9日日下関多重露光画像を用いたノイズ除去のための重み最適化 Weight Optimization for Multi-exposure Noise Reduction 山内智弘松岡諒馬場達也北九州市立大学大学院国際環境工学研究科奥田正浩 omohiro Yamauchi Ryo Matsuoka atsuya Baba Masahiro Okuda Faculty of Environmental Engineering, he University of itakyushu アブストラクト高ダイナミックレンジ画像 HDRIHigh 文献 ] では画像統合のための重み最適化手法が提案 Dynamic Range Image は通常のビットマップや JPEG 等に代表される低ダイナミックレンジ画像 LDRILow Dynamic Range Image とは異なり暗部から明部までの広されたがこの手法はノイズの生じていない画像を入力いダイナミックレンジを高いビット数で表現する画像でた重み最適化手法 3] を提案している画像と仮定しているためノイズ除去について考慮していないそこで著者等はこれまでノイズ除去に考慮しある本論文では多重露光画像統合を用いたノイズ除去本稿では先行研究を発展させノイズ除去性能を向アルゴリズムを提案する HDR 画像統合において低露光上させたアルゴリズムを提案する提案手法は凸最適撮影の際高 ISO 感度で撮影するとセンサノイズによっ化問題を解くことで多重露光画像統合のための最適な重て暗部の画質は低下し同時に実質的なダイナミックレみとノイズ劣化のない LDR 画像を求める LDR 画像最ンジも低下するさらに HDR 画像は多くの場合トーン適化と重み最適化を行うことで最終的にノイズ劣化のマッピングにより暗部が強調されて出力されるため暗ない HDR 画像を得る従来のノイズ除去手法との複数の部のノイズ除去は重要である提案アルゴリズムは凸比較実験を行い提案手法がノイズ除去に有効であるこ最適化アルゴリズムを用いて HDR 画像統合のための最適とを示すな LDR 画像と重みを求める実際に HDR 画像を用いて実験を行い提案手法の有効性を示す以下では章において多重露光画像統合について説明し 3 章で otal Variation ノイズ除去手法 LDR 画像最適化手法と重み最適化手法について述べるそして 4 章はじめにでは従来のノイズ除去手法と提案手法の比較実験を行う暗いシーンの撮影において露光時間を長く設定する最後に 5 章で本稿をまとめると被写体の動きやカメラのぶれが原因となり得られる画像はボケを生じるまた ISO 感度を高く設定するとセンサノイズによって暗部の画質は劣化するこれまで多重露光画像統合まず初めに lk RN,,, は N 画素の入力画画像のボケやノイズを除去する手法が数多く提案されて像のベクトル表記とする多重露光画像統合は複数画像いる ]-5] その中でも複数画像の統合は最も簡易なノの重み付き一次結合としてモデル化できるイズ除去手法の一つである一般的に複数の画像の平均画像を求めることでランダムなノイズを除去できる 3] h= Lk wk 近年 HDR 画像の需要は増加傾向にある一般的に広いダイナミックレンジを得るため低露光から高露光ここで Lk RN N は対角行列 Lk = diag {lk であり wk RN は k 枚目の画像にかかる重みである画像の平 6]-] また暗いシーンの多重露光画像の取得の際は均的な明るさを保つために重みは wk = を満た被写体ぶれや手ぶれによるボケを防ぐために ISO 感度すここで RN は全要素がの値をもつベクトルでまでの多重露光画像を統合し HDR 画像は生成されるは高く設定されるしかし ISO 感度を高く設定するとある視認できる程にセンサノイズが増幅され画質が劣化す多重露光画像統合では正確に画像を線形化するためる通常ダイナミックレンジは輝度の最大値とノイズに l k = g lk の関係を満たすカメラレスポンスカーブに支配されていない最小の輝度値との比で定義されるためセンサノイズによって画像のダイナミックレンジは g の逆関数 g を求める 6] ここで l k lk RN はそれぞれ k 枚目の非線形画像と線形画像である逆カメラ低下するレスポンスカーブはキャリブレーションにより求めるこ - 8 -

2 とができ現在までにいくつかの手法が提案されている去性能を向上させる以下の最適化問題を解き多重露提案手法では多項式により逆カメラレスポンスカーブ光画像統合における重み wk を求めるを近似する Mitsunaga 等の手法 9] を用いる逆カメラ min kp w hk + α kdp w k レスポンスカーブを求めると画像は lk = g l k /tk w によって線形化される tk は k 枚目の画像の露光時間であるそして線形化された画像は式によって統合さ s.t. れる wk =, and wk S k =,,, 式 4 において p w = 提案手法では最終的にノイズ劣化のない HDR 画像を得るためにノイズ劣化のない LDR 画像 l k と l k に p w はう最後に式 4 により l k にかかる重み wk を求めノイズ劣化のない HDR 画像を得る p w = により求めた h を入力として最適な重みを求める V ノイズ除去手法はノイズの統計的情報を用いて修復画像の総変動 total variation を最小化する手法である重み wk が与えられるとコスト関数は以下に定義できる min k h Lk wk hk + γk 5 hk L k wk = +ιs CW + ιs wk 7 表記である LDR 画像最適化提案手法では重み最適化だけでなく多重露光画像統合に用いる LDR 画像の最適化を行ってノイズ劣化のない LDR 画像を求め最終的に HDR 画像のノイズ除去性能を向上させる具体的には以下のコスト関数を最小化すここで ιs は以下の指示関数である {, if v S ιs v = +, if v /S 8 そして C RN N は - 個の単位行列から成る N N サイズの行列である ] C = IN IN IN {z る l k を求める l k 6 は以下に書き換えられる min PW + l h + α D PW + l Lk wk は入力画像のベクトル表記であり γ はバランス係数であるまた 5h は修復画像の勾配のベクトル min klk L k L wk + l l k k ] P RN N = L L L L L L ] とおくと式 4 W RN = w w w W 3. 5 wk = より以下のように表せる提案手法では従来手法である V ノイズ除去手法 ] L k wk であり D RN N { ] S = x RN xi, i =,,, N によりノイズレスな HDR 画像 h を求める次に h を otal Variation ノイズ除去手法あるまた S は以下に示す凸集合である関数である Hat 関数 7] を用いて HDR 画像を生成し式入力として式 3 を用いて LDR 画像 l k の最適化を行は垂直方向と水平方向に前方差分を行うフィルタ行列でかかる重み wk を求める従ってまず初めに従来の重み 3. 4 提案手法 3 + γk 5 h 5l k k k =,,, 3 lk は入力画像のベクトル表記であり 5h は式から求式 7 の第 3 項は wk = を保障し第 4 項は wk の範囲を,] に制限するための項であるめた HDR 画像の勾配である式 3 は第項を加える式 7 を凸最適化アルゴリズム primal-dual splitting5] ことで V ノイズ除去手法に比べ画像のエッジを保存を用いて解く primal-dual splitting は以下の最小化問したノイズ除去を行うことが可能である題を解くアルゴリズムである 3.3 重み最適化 min F x + G x + H Lx x 9 提案手法では LDR 画像の最適化だけでなく多重露光画像統合に用いる重みの最適化を行いノイズ除去につここで F G H は凸関数であり F は微分可能であいて考慮した重みを求め最終的に HDR 画像のノイズ除るまた L は線形演算子である式 7 は以下のように - 9 -

3 primal-dual splitting に適用される α F x = Px + l h G x = DP C IN L= IN IN {z Algorithm Proposed Algorithm : : 3: 4: RN + N + ιs xb + ιs xck そして次のつの proximal operator を繰り返し解くことで最適解を求める. xn+ := proxγ G xn γ 5 F xn γ L yn. yn+ := proxγ H yn + γ L xn+ xn, 8: then go to 4:. Set w = xn+ and make a HDR image. 実験結果 xn n N は式 9 の解に収束する式の proximal operator を以下に示す proxγ G x = x proxγ H u = u γ proxh/γ u γ EOS D を使用し露光時間以外の設定を全て固定して撮影したまた以降で示す画像は HDR 画像に reinhard のトーンマッピング 6] を施し LDR 画像に変換した画像である本論文ではつの実験を行ったつ目の実験として ISO で撮影した画像にランダムノイズを付加し劣化させた画像を入力画像として実験を行った提案手法と比較する手法として従来のノイズ除去手法である 3. 節 5F は F の勾配であり L は L の随伴行列であるまたの V ノイズ除去手法 ] を用いた V ノイズ除去手法では多重露光画像統合において従来の重み関数である Hat 関数を用いたまた数値比較では著者等の先行研究 3] との比較を行った先行研究は HDR 画像と重みの最適化を行うが提案手法は LDR 画像と重みの最適化を行うことで最終的な HDR 画像の画質向上を実現する, 図 a-c に結果画像を示す図 a-c より提案手法は V ノイズ除去手法に比べより多くのノイズを除去ここで proxh/γ u ] = Pa xa Pb xb bp b xc,, Pb x であるまた Pa :RN RN は以下のソフト閾値処理できていることが確認できる赤丸部分次に結果画像の数値比較を行う表に数値比較を示す評価指標として Nonlinear を使用したまた Nonlinear を算出する際の正解画像にランダムノイズを付加する前の画像を用いた Nonlinear は以? if xi α/γ > ld,i if xi + α/γ < otherwise? ld,i 下に示す式 4 のトーンマッピングを各手法で得られたここで l d,i は l d の i 番目の要素であり Pb :RN RN は次式で与えられる, Pb xi = xi,, 7: Solve 3 using h. Set n =,xn = wn, yn = Lx. xn+ = proxγ G xn γ 5 F xn γ L yn yn+ = proxγ H yn γ L xn+ xn If the criterion is not satisfied, increment n by and HDR 生成に必要な多重露光画像の取得には CANON ここで l d = Dl k であり ] u = xa xb xc xc,, xc, x RN である関数である xi α/γ, Pa xi = xi + α/γ, l d,i 6: 4 H u = α xa + l d 5: Set l=,andlk,w are given. Solve for w = w. HDR 画像に施して LDR 画像に変換しその後を求める評価指標である x y= 4 x +.6 x.63 ここで x は入力画素値であり y は出力画素値である if xi < if xi 一般的に人間は低輝度部分の知覚に対して敏感である 3 ifxi. が高輝度部分の知覚は低輝度部分に比べて鈍感であるは低輝度部分に比べ人間が知覚し難い高輝度部分従って最終的な提案手法のアルゴリズムは Algorithm を過大評価する一方 Nonlinear はトーンマッピに示されるングにより高輝度部分に比べて低輝度部分の評価が大き γ と F y の proximal operator は以下に定義される proxγf x = arg miny kx yk / + γf y く人間の知覚特性に近い評価が可能である表より全ての画像において提案手法は Nonlinear と - -

4 もに従来のノイズ除去手法を上回っているこの結果よ 6] Reinhard, Erik, et al. High dynamic range imag- り LDR 画像と重みの最適化によって最終的な HDR 画 ing: acquisition, display, and image-based lighting. Morgan aufmann,. 像の画質向上を確認できたつ目の実験として ISO6 で撮影したセンサノイ 7] Debevec, Paul E., and Jitendra Malik. Recover- ズによる劣化画像を入力画像として実験を行った提案手法と比較する手法として従来のノイズ除去手法であ ing high dynamic range radiance maps from photographs. ACM SIGGRAPH 8 classes. ACM, る 3. 節の V ノイズ除去手法 ] を用いた図 d-e 8. に実験結果を示す図 d-e より提案手法は従来手法に比べノイズを低減できている従ってセンサノイズにより劣化した画像においても提案手法は従来のノイズ除去手法に比べ優れている 8] Mann, S., and R. W. Picard. Beingundigital with digital cameras. MI Media Lab Perceptual, ] Mitsunaga, omoo, and Shree. Nayar. Radiometric self calibration. Computer Vision and Pat- 表 : 数値比較 db] Hat 5 Conventional] Conventional3] tern Recognition, 999. IEEE Computer Society Conference on.. Vol.. IEEE, 999. Proposed Image a b c ] Jinno, akao, and Masahiro Okuda. Multiple exposure fusion for high dynamic range image acquisition. Image Processing, IEEE ransactions on. : まとめ本論文では先行研究を発展させノイズ除去性能を ] Wang, Wei, and Michael. Ng. A Variational Method for Multiple-Image Blending. Image Processing, IEEE ransactions on.4 : 898. 向上させたアルゴリズムを提案した提案手法を用いることにより従来法に比べ画像のエッジを保存したノイズ除去ができ高品質な HDR 画像が得られる最後に複数の劣化画像を用いて実験を行い提案手法の有効性について検証した ] Wang, Yilun, et al. A new alternating minimization algorithm for total variation image reconstruction. SIAM Journal on Imaging Sciences.3 8: 参考文献 ] Petschnigg, Georg, et al. Digital photography with flash and no-flash image pairs. ACM transactions on graphics OG. Vol. 3. No. 3. ACM, 4. 3] Ryo Matsuoka, omohiro Yamauchi, atsuya Baba, and Masahiro Okuda, Weight Optimization for Multiple Image Integration, Image Pro- ] Shirai, eiichiro, Masayuki Okamoto, and Masaaki Ikehara. Noiseless no-flash photo creation by color cessingicip,3 IEEE International Conference on. : transform of flash image. Image Processing ICIP, 8th IEEE International Conference on. IEEE,. 4] Afonso, Manya V., Jose M. Bioucas-Dias, and Mario A Figueiredo. An augmented Lagrangian approach to the constrained optimization formula- 3] Buades, oni, et al. A note on multi-image denoising. Local and Non-Local Approximation in Image tion of imaging inverse problems. Image Processing, IEEE ransactions on.3 : Processing, 9. LNLA 9. International Workshop on. IEEE, 9. 5] Condat, Laurent. A primal-dual splitting method for convex optimization involving Lipschitzian, proximable and linear composite terms. Journal of Optimization heory and Applications : -. 4] Whyte, Oliver, et al. Non-uniform deblurring for shaken images. International journal of computer vision 98. : ] Matsuoka, Ryo, akao Jinno, and Masahiro Okuda. Multiple exposure integration with image denoising. Signal & Information Processing Association 6] Reinhard, Erik, et al. Photographic tone reproduction for digital images. ACM ransactions on Annual Summit and Conference APSIPA ASC, Asia-Pacific. IEEE,. - - Graphics OG. Vol.. No. 3. ACM,.

5 aground truth bground truth cground truth anoise image a3hat + V] bnoise image b3hat + V] cnoise image c3hat + V] 図 : 劣化画像にランダムノイズを用いた実験結果 a4proposed b4proposed c4proposed dnoise image dhat + V] d3proposed enoise image ehat + V] e3proposed 図 : 劣化画像にセンサノイズ用いた実験結果 - -

す局所領域 ωk において線形変換に用いる係数 (ak 画素の係数 (ak bk ) を算出し入力画像の信号成分を bk ) は次式のコスト関数 E を最小化するように最適化有さない画素に対して式 (2) より画素値を算出するされるこれにより低解像度な画像から補間によるアップサ E(

す局所領域 ωk において線形変換に用いる係数 (ak 画素の係数 (ak bk ) を算出し入力画像の信号成分を bk ) は次式のコスト関数 E を最小化するように最適化有さない画素に対して式 (2) より画素値を算出するされるこれにより低解像度な画像から補間によるアップサ E( IR E-mail: hf@cs.chubu.ac.jp Abstract IR RGB ( ) IR IR IR RGB RGB PSNR 1 Time-Of- Flight(TOF)[1] Kinect [2] TOF LED TOF [3] [6] [4][5] 2 [6] RGB ( ) Infrared(IR) IR 2 2.1 1 す局所領域 ωk において線形変換に用いる係数 (ak