画像処理システム論 Image Media Systems 加藤俊一 Toshi KATO
感性の強化 人間の感性的な行動 知覚を支援 演奏支援 虫眼鏡 電子的メガネ ( 画像強調 雑音除去 ) 仮想現実感への応用 ( 建築設計支援 )
感性の強化 電子的メガネ ( 画像強調 雑音除去 )
生体から学ぶべきメカニズム (1) 明暗順応 : 明るさの変化に対する調節機構 側抑制 : 視野の中の明暗の微小変化を局所的に検出 強調するメカニズム 色順応 : 色彩の対比に対する調節機構
生体から学ぶべきメカニズム (2) 初期視覚における特徴抽出 : 空間領域 局所的な明るさ 色調の対比 エッジ検出 構図 全体的な明るさ 色調 周波数領域 画像 映像の複雑さ 画像 映像内の規則性
[ 参考 ] 画像の強調手法 閾値処理 ( 二値化 ) 一様な階調変換 ( 線形変換 ) 区分的な階調変換 ( 複数の線形変換 ) 非線形変換 ( 例 :PhotoShop) ヒストグラム変換 高周波成分の重畳 側抑制に基づくモデル
[ 補足 ] 実験に適したソフトの紹介 Adobe Photoshop 7.0( 有料 ) 今日説明する機能の全てをカバー 窓の杜 からは http://www.forest.impress.co.jp/lib/pic/piccam/picedit/ Jtrim Paint.NET GIMP http://www.geocities.jp/gimproject/gimp2.0.html GIMP2 (ver.2.4.1)
原画像 ( カラー ) モノクロ化
原画像 ( カラー ) のヒストグラム
カラー画像 モノクロ画像
[ 実験 1] ] カラー画像 モノクロ画像
原画像 ( カラー ) モノクロ化 機械的には V = (R+G+B)/3 人間の視覚特性を考慮すると V = 0.299 R + 0.587 G + 0.114 B 錐体細胞数では L(R)>M(G)>>S(B) だが M の波長帯は L の波長帯の大部分を含む
二値化 ( 極端なコントラスト ) Vth = 128
Vth = 64 Vth = 128 Vth = 192 二値化 ( 極端なコントラスト )
[ 実験 2] 二値化 閾値をいろいろと変えて 二値化を試みてみよう ( 例 )Vth = 64, 128, 192 など
階調の反転 ( ポジ ネガ )
[ 実験 3] ポジ ネガ モノクロ画像のネガ カラー画像のネガを作成してみよう
階調の線形補正 ( 暗部の変化を強調 )
[ 実験 4] 暗部の変化を強調 暗部の変化を強調して 暗いところ ( 色の濃いところ ) の変化を見やすくした画像を作る
階調の線形補正 ( 明部の変化を強調 )
[ 実験 5] 明部の変化を強調明 明部の変化を強調して 明るいところの変化を見やすくした画像を作る
階調の非線形補正 (γ 補正 γ<1.0; 暗部強調 )
階調の非線形補正 (γ 補正 γ>1.0; 明部強調 )
階調の非線形補正 ( 中間の変化を強 調 )
階調の非線形補正 ( 明暗部の変化を強調 )
[ 実験 5] 階調の ( 非線形 ) 補正 自分のパソコンのモニタ上で画像内の暗部 明部それぞれの明るさ ( 色 ) の変化がみやすくなるように階調補正を試みてみよう 画像の見え方は どう変わったか? ヒストグラムは どう変わったか?
階調の統計的補正 ( ヒストグラムの平坦化 )
[ 実験 6] 階調の平坦化 平坦化 ( ヒストグラムの一様化 ) によって 画像の見え方は どう変わったか? ヒストグラムは どう変わったか?
[ 参考 ] 画像の鮮鋭化 周波数演算 : High-pass Filter
高周波の強調 (High( High-pass filter)
[ 参考 ] 画像の平滑化 平滑化 (= ノイズの低減 ) 局所演算 : Gaussian Filter Median Filter 周波数演算 : Low-pass Filter
低周波の強調 (Low( Low-pass filter)
[ 実験 7] 画像の先鋭化 平滑化 画像の先鋭化 平坦化によって 画像の見え方は どう変わったか? ヒストグラムは どう変わったか?
側抑制機構の工学的な解釈 視野の中の明部や暗部での微小変化に対する感度が低下 ( 明るさに対する S 字型の応答特性 ) 応答を何らかの逆 S 字型変換で補正し スケール不変に近付ける神経回路が必要 ( 側抑制機構の必要性 ) 広いダイナミックレンジの光刺激に対して 良好な応答特性を得る V V' V' V = I src I src +σ V = log V V 0 V 1 V i = log I src 刺激強度に対する電位応答 V 逆 S 字型変換による電位応答の補正 i = log I src 刺激強度 ( 対数 ) に対し線形に近い電位応答
非線形変換 K(I) の性質 非線形変換 K(I) は 逆 S 字型曲線を描く 明部 暗部のコントラストを強調する輝度の補正式として利用できる K(I) = c 1 log I I 0 I 1 I + c 2 非線形変換 K(I) の微分は 輝度に対するスケール不変なエッジ強度を表す 1 dk(i) = c 1 + 1 I I 0 I 1 di I
非線形変換 K(I) の数値シミュレーション
非線形変換 K(I) の局所並列性 非線形変換 K(I) とコントラスト : 視野の中の明部 暗部での微小変化に対する感度を補正 注目点の近傍の背景の明るさに適応して 補正式を制御 様々な明るさの背景の下で 注目点の近傍のコントラストを局所並列的に強調 K(I) = c 1 log I I L +α posi (I min I L ) + β posi I U I +α nega (I U I max ) + β nega + c 2 IU, IL: 数値的に想定される最大輝度 最小輝度 ( 定数 ) Imax, Imin: 局所近傍における最大値 最小値 αposi, αnega, βposi, βnega: 生理学的な定数
画像強調への応用 [demo] (a) 実験画像 ( 眼底写真 ) (b) ヒストグラム平坦化による処理結果 (c) 指数変換 (γ=2) (d) 側抑制機構による処理結果
[ 考察 ] 画像強調への応用 (a) 実験画像 全体的に暗く コントラストが弱い 暗部 明部に観察したい構造がある (b) ヒストグラム平坦化 輝度の区間分割による輝度の線形変換の極限の形 全体としてのコントラストは強調されるが 不自然な画像 (c) 指数変換 (γ 補正 ) 相対的に輝度の小さい ( 暗い ) 区間のダイナミックレンジを拡大 画像の輝度分布に依存して 指数を試行錯誤的に調節 明るい部分のコントラストは失われる (d) 輝度に対するスケール不変な非線形変換 K(I) 各局所近傍の輝度分布に適応して 変換式を自動調節 暗部 明部ともにコントラストを改善 + シャープさの改善
側抑制と明暗順応の統合 前提 画像はその輝度分布が画像全体の平均輝度付近に集中する 人間の眼は 周囲の全体的な明るさに順応させて 明暗のコントラストを決めている 方針 画像の全体的な明るさを画像の平均輝度で代表させ 平均輝度が表示系のダイナミックレンジの中央に位置するように決める 効果 輝度分布の中心が感度の良い中間部になると共に ヒストグラムが平坦化され 大域的に強調される 中間部で線形変換を行うため 局所的なコントラストも向上する
側抑制と明暗順応の統合 V(v) = V mid K max K global _ mean (k(v) K global _ mean ) + V mid = V mid K global _ mean K min (k(v) K min ) + V min V mid = ( V max V min )2
(a) 実験画像 (b) 指数変換 (γ2.2)(c) ヒストグラム平坦化 (d) 逆 S 字型変換 (e) 輝度比係数逆 S 字型変換 (f) 輝度比係数 + 平均輝度中逆 S 字型変換
[ 考察 ] 側抑制と明暗順応の統合 側抑制効果 (d): 明部 暗部 ( 例 : 髪 顔面 花 背景 衣服 ) 共に視認性が向上したが 大域的なコントラスト感を弱めている また 近景 遠景共にシャープに変換するため 奥行き感を弱める結果となっている 側抑制 + 輝度比 (e): 輝度比係数を利用すると 明部 暗部 ( 例 : 髪 顔面 花 背景 衣服 ) 共に視認性が向上し シャープな画像が得られた 側抑制 + 明暗順応 (f): 平均輝度を表示系の輝度中心に対応付けると 局所的コントラストの良さを保ちながら 全体的なコントラスト感が増大し 自然な大域的コントラスト強調が実現
エッジ強度の計算 エッジの強度 (= 明るさの変化 ) 隣り合う画素との輝度の差分 変化の大きさ 変化の方向 側抑制モデル ポジ画像上での差分 ネガ画像上での差分の線形和
エッジ強度の計算 エッジの強度 ポジ画像上での差分 ネガ画像上での差分の線形和 d dv k(v) = dv v v L +δ ON + dv v U v +δ OFF
(a) 実験画像 (e) Robinson 出力 (b) ON 型微分出力 (c) OFF 型微分出力 (d) ON 型微分 OFF 型微分合成出力
[ 課題例 ] デジカメや携帯電話で撮影した適切な大きさの様々なカラー画像 ( 複数 ) に対して Photoshop や他のレタッチソフトを利用して 以下の考察 処理を行おう! 1. ヒストグラムにより 原画像が どのような明るさ 色彩の傾向の画像かを考察する 2. カラー画像をモノクロ化する どのような手法によりモノクロ化したか? その手法の特徴 利点 問題点は?
[ 課題例 ] 3. トーンカーブ 明部の強調 暗部の強調 中間部の強調 明部 & 暗部の強調 ヒストグラムがどのように変化したか? 4. ガンマ補正 明部の強調 暗部の強調 ヒストグラムがどのように変化したか?
[ 課題例 ] 5. ヒストグラム平坦化による画像強調 明部 暗部 中間部はどのようになったか? ヒストグラムがどのように変化したか? 6. 側抑制の仕組みを利用した画像強調 http://www2.hm.indsys.chuou.ac.jp/toppanvision/html/hmdemo_coljp.html を試みて 画質を評価してみよう
( 注 ) 画像 ヒストグラム等のスナップショットを MSWord の書類に貼り付けて 説明 考察を付け加えて PDF 化して提出
[ 課題 ]( 考察に書いて欲しいこと ) 理屈を踏まえて 何をどうするための処理か? その理屈は? 自分が選んだ画像の性質 どんな特徴の画像か? レタッチ の効果を評価をする上で どう都合がいいのか?( 悪いのか?) 自分の画像での結果 そんな性質 の画像だから 全体としてどんな画像になった どこの部分は どうなった など ( 注意 ) 考察とはいえない 例 結果の貼り付けだけ ヒストグラムの形を言葉で表すだけ など
講義の資料 on Web 講義資料 http://www.indsys.chuo-u.ac.jp/~kato/ips/ 参考資料 http://www.indsys.chuo-u.ac.jp/~kato/hm/ http://www.hm.indsys.chuo-u.ac.jp/ http://www.jske.org/
教科書 参考書 岸野文郎 他 : 画像と空間の情報処理 ( 岩波 3800 円 ) 淀川英司 他 : 視聴覚の認知科学 ( 電子情報通信学会 2800 円 ) 池田光男 : 目は何を見ているか ( 平凡社 2400 円 )