「情報｣って何だ!?

Size: px

Start display at page:

Download "「情報｣って何だ!?"

るるみがうん
5 years ago
Views:

1 画像処理システム論 Image Media Systems 加藤俊一 Toshi KATO

2 感性の強化人間の感性的な行動知覚を支援演奏支援虫眼鏡電子的メガネ ( 画像強調雑音除去 ) 仮想現実感への応用 ( 建築設計支援 )

3 感性の強化電子的メガネ ( 画像強調雑音除去 )

4 生体から学ぶべきメカニズム (1) 明暗順応 : 明るさの変化に対する調節機構側抑制 : 視野の中の明暗の微小変化を局所的に検出強調するメカニズム色順応 : 色彩の対比に対する調節機構

5 生体から学ぶべきメカニズム (2) 初期視覚における特徴抽出 : 空間領域局所的な明るさ色調の対比エッジ検出構図全体的な明るさ色調周波数領域画像映像の複雑さ画像映像内の規則性

6 [ 参考 ] 画像の強調手法閾値処理 ( 二値化 ) 一様な階調変換 ( 線形変換 ) 区分的な階調変換 ( 複数の線形変換 ) 非線形変換 ( 例 :PhotoShop) ヒストグラム変換高周波成分の重畳側抑制に基づくモデル

7 [ 補足 ] 実験に適したソフトの紹介 Adobe Photoshop 7.0( 有料 ) 今日説明する機能の全てをカバー窓の杜からは Jtrim Paint.NET GIMP GIMP2 (ver.2.4.1)

8 原画像 ( カラー ) モノクロ化

9 原画像 ( カラー ) のヒストグラム

10 カラー画像モノクロ画像

11 [ 実験 1] ] カラー画像モノクロ画像

12 原画像 ( カラー ) モノクロ化機械的には V = (R+G+B)/3 人間の視覚特性を考慮すると V = R G B 錐体細胞数では L(R)>M(G)>>S(B) だが M の波長帯は L の波長帯の大部分を含む

13 二値化 ( 極端なコントラスト ) Vth = 128

14 Vth = 64 Vth = 128 Vth = 192 二値化 ( 極端なコントラスト )

15 [ 実験 2] 二値化閾値をいろいろと変えて二値化を試みてみよう ( 例 )Vth = 64, 128, 192 など

16 階調の反転 ( ポジネガ )

17 [ 実験 3] ポジネガモノクロ画像のネガカラー画像のネガを作成してみよう

18 階調の線形補正 ( 暗部の変化を強調 )

20 [ 実験 4] 暗部の変化を強調暗部の変化を強調して暗いところ ( 色の濃いところ ) の変化を見やすくした画像を作る

21 階調の線形補正 ( 明部の変化を強調 )

23 [ 実験 5] 明部の変化を強調明明部の変化を強調して明るいところの変化を見やすくした画像を作る

24 階調の非線形補正 (γ 補正 γ<1.0; 暗部強調 )

26 階調の非線形補正 (γ 補正 γ>1.0; 明部強調 )

28 階調の非線形補正 ( 中間の変化を強調 )

30 階調の非線形補正 ( 明暗部の変化を強調 )

32 [ 実験 5] 階調の ( 非線形 ) 補正自分のパソコンのモニタ上で画像内の暗部明部それぞれの明るさ ( 色 ) の変化がみやすくなるように階調補正を試みてみよう画像の見え方はどう変わったか? ヒストグラムはどう変わったか?

33 階調の統計的補正 ( ヒストグラムの平坦化 )

35 [ 実験 6] 階調の平坦化平坦化 ( ヒストグラムの一様化 ) によって画像の見え方はどう変わったか? ヒストグラムはどう変わったか?

36 [ 参考 ] 画像の鮮鋭化周波数演算 : High-pass Filter

37 高周波の強調 (High( High-pass filter)

38 [ 参考 ] 画像の平滑化平滑化 (= ノイズの低減 ) 局所演算 : Gaussian Filter Median Filter 周波数演算 : Low-pass Filter

39 低周波の強調 (Low( Low-pass filter)

40 [ 実験 7] 画像の先鋭化平滑化画像の先鋭化平坦化によって画像の見え方はどう変わったか? ヒストグラムはどう変わったか?

41 側抑制機構の工学的な解釈視野の中の明部や暗部での微小変化に対する感度が低下 ( 明るさに対する S 字型の応答特性 ) 応答を何らかの逆 S 字型変換で補正しスケール不変に近付ける神経回路が必要 ( 側抑制機構の必要性 ) 広いダイナミックレンジの光刺激に対して良好な応答特性を得る V V' V' V = I src I src +σ V = log V V 0 V 1 V i = log I src 刺激強度に対する電位応答 V 逆 S 字型変換による電位応答の補正 i = log I src 刺激強度 ( 対数 ) に対し線形に近い電位応答

42 非線形変換 K(I) の性質非線形変換 K(I) は逆 S 字型曲線を描く明部暗部のコントラストを強調する輝度の補正式として利用できる K(I) = c 1 log I I 0 I 1 I + c 2 非線形変換 K(I) の微分は輝度に対するスケール不変なエッジ強度を表す 1 dk(i) = c I I 0 I 1 di I

43 非線形変換 K(I) の数値シミュレーション

44 非線形変換 K(I) の局所並列性非線形変換 K(I) とコントラスト : 視野の中の明部暗部での微小変化に対する感度を補正注目点の近傍の背景の明るさに適応して補正式を制御様々な明るさの背景の下で注目点の近傍のコントラストを局所並列的に強調 K(I) = c 1 log I I L +α posi (I min I L ) + β posi I U I +α nega (I U I max ) + β nega + c 2 IU, IL: 数値的に想定される最大輝度最小輝度 ( 定数 ) Imax, Imin: 局所近傍における最大値最小値 αposi, αnega, βposi, βnega: 生理学的な定数

45 画像強調への応用 [demo] (a) 実験画像 ( 眼底写真 ) (b) ヒストグラム平坦化による処理結果 (c) 指数変換 (γ=2) (d) 側抑制機構による処理結果

46 [ 考察 ] 画像強調への応用 (a) 実験画像全体的に暗くコントラストが弱い暗部明部に観察したい構造がある (b) ヒストグラム平坦化輝度の区間分割による輝度の線形変換の極限の形全体としてのコントラストは強調されるが不自然な画像 (c) 指数変換 (γ 補正 ) 相対的に輝度の小さい ( 暗い ) 区間のダイナミックレンジを拡大画像の輝度分布に依存して指数を試行錯誤的に調節明るい部分のコントラストは失われる (d) 輝度に対するスケール不変な非線形変換 K(I) 各局所近傍の輝度分布に適応して変換式を自動調節暗部明部ともにコントラストを改善 + シャープさの改善

47 側抑制と明暗順応の統合前提画像はその輝度分布が画像全体の平均輝度付近に集中する人間の眼は周囲の全体的な明るさに順応させて明暗のコントラストを決めている方針画像の全体的な明るさを画像の平均輝度で代表させ平均輝度が表示系のダイナミックレンジの中央に位置するように決める効果輝度分布の中心が感度の良い中間部になると共にヒストグラムが平坦化され大域的に強調される中間部で線形変換を行うため局所的なコントラストも向上する

48 側抑制と明暗順応の統合 V(v) = V mid K max K global _ mean (k(v) K global _ mean ) + V mid = V mid K global _ mean K min (k(v) K min ) + V min V mid = ( V max V min )2

49 (a) 実験画像 (b) 指数変換 (γ2.2)(c) ヒストグラム平坦化 (d) 逆 S 字型変換 (e) 輝度比係数逆 S 字型変換 (f) 輝度比係数 + 平均輝度中逆 S 字型変換

50 [ 考察 ] 側抑制と明暗順応の統合側抑制効果 (d): 明部暗部 ( 例 : 髪顔面花背景衣服 ) 共に視認性が向上したが大域的なコントラスト感を弱めているまた近景遠景共にシャープに変換するため奥行き感を弱める結果となっている側抑制 + 輝度比 (e): 輝度比係数を利用すると明部暗部 ( 例 : 髪顔面花背景衣服 ) 共に視認性が向上しシャープな画像が得られた側抑制 + 明暗順応 (f): 平均輝度を表示系の輝度中心に対応付けると局所的コントラストの良さを保ちながら全体的なコントラスト感が増大し自然な大域的コントラスト強調が実現

51 エッジ強度の計算エッジの強度 (= 明るさの変化 ) 隣り合う画素との輝度の差分変化の大きさ変化の方向側抑制モデルポジ画像上での差分ネガ画像上での差分の線形和

52 エッジ強度の計算エッジの強度ポジ画像上での差分ネガ画像上での差分の線形和 d dv k(v) = dv v v L +δ ON + dv v U v +δ OFF

53 (a) 実験画像 (e) Robinson 出力 (b) ON 型微分出力 (c) OFF 型微分出力 (d) ON 型微分 OFF 型微分合成出力

54 [ 課題例 ] デジカメや携帯電話で撮影した適切な大きさの様々なカラー画像 ( 複数 ) に対して Photoshop や他のレタッチソフトを利用して以下の考察処理を行おう! 1. ヒストグラムにより原画像がどのような明るさ色彩の傾向の画像かを考察する 2. カラー画像をモノクロ化するどのような手法によりモノクロ化したか? その手法の特徴利点問題点は?

55 [ 課題例 ] 3. トーンカーブ明部の強調暗部の強調中間部の強調明部 & 暗部の強調ヒストグラムがどのように変化したか? 4. ガンマ補正明部の強調暗部の強調ヒストグラムがどのように変化したか?

56 [ 課題例 ] 5. ヒストグラム平坦化による画像強調明部暗部中間部はどのようになったか? ヒストグラムがどのように変化したか? 6. 側抑制の仕組みを利用した画像強調を試みて画質を評価してみよう

57 ( 注 ) 画像ヒストグラム等のスナップショットを MSWord の書類に貼り付けて説明考察を付け加えて PDF 化して提出

58 [ 課題 ]( 考察に書いて欲しいこと ) 理屈を踏まえて何をどうするための処理か? その理屈は? 自分が選んだ画像の性質どんな特徴の画像か? レタッチの効果を評価をする上でどう都合がいいのか?( 悪いのか?) 自分の画像での結果そんな性質の画像だから全体としてどんな画像になったどこの部分はどうなったなど ( 注意 ) 考察とはいえない例結果の貼り付けだけヒストグラムの形を言葉で表すだけなど

59 講義の資料 on Web 講義資料参考資料

60 教科書参考書岸野文郎他 : 画像と空間の情報処理 ( 岩波 3800 円 ) 淀川英司他 : 視聴覚の認知科学 ( 電子情報通信学会 2800 円 ) 池田光男 : 目は何を見ているか ( 平凡社 2400 円 )

「情報｣って何だ!?

「情報｣って何だ!? 画像処理システム論 ( 視覚情報処理論 ) Image Media Systems 視覚感性と画像処理 (3) 加藤俊一 Toshi KATO 緊急報告! 週末に行ってきました! つくば MOVIX 見てきました! 3D 映画 Disney s Christmas Carol ( 日本語吹き替え版 3D) http://www.disney.co.jp/movies/christmas-carol