「情報｣って何だ!?

Size: px

Start display at page:

Download "「情報｣って何だ!?"

つねたけおおばま
5 years ago
Views:

1 画像処理システム論 ( 視覚情報処理論 ) Image Media Systems 視覚感性と画像処理 (3) 加藤俊一 Toshi KATO

2 緊急報告! 週末に行ってきました! つくば MOVIX 見てきました! 3D 映画 Disney s Christmas Carol ( 日本語吹き替え版 3D) 体験してきました! XpanD 方式

4 3D 映画 :XpanD 方式方式 : アクティブ偏光偏光 : 円偏光眼鏡 : 液晶シャッター + 赤外線制御スクリーン : 通常の大型スクリーン

5 XpanD 方式の利点 (& クイズ ) 観客の姿勢の自由度が大きい円偏光は頭部姿勢の変化に対して映像が安定 ( 注 : 直線偏光では見えなくなる )( なぜ?) 色再現性が良い 2D 3D 2D の切り替えが短時間 (1 秒 ) 左右の映像のゴーストがない液晶シャッター + 赤外線制御でゴーストなし導入コストが小さい通常の大型スクリーン & 投影機材の移動が簡単なので上映スクリーンの変更が容易 ( なぜ?)

6 XpanD 方式の欠点 (& クイズ ) 眼鏡が高価回収が必要眼鏡が重い輝度 ( 明るさ ) が低減する ( なぜ?)

7 感想 & 気がついたこと (1) 立体感近景 ( 目の前数メートル ) は両眼視差中景は運動視差による立体感遠景は感覚的立体感 ( 遠近法ぼけ明るさ ) 首を傾けても映像は崩れず 2D と 3D がミックスされてたみたい目の前迫ってくるシーンは強烈に 3D それ以外のシーンは 2D も多かったみたい 3D 酔い高速で飛ぶモノにぶつかる通り抜ける上 ( 天 ) から見下ろす

8 感想 & 気がついたこと (2) シーンチェンジカットによってシーンがいきなり変わっても違和感を感じなかった ( シーンの大きな変わり目では 2Dだった?) (3Dの状態でシーンアングル視線が大きく変わったのはドキドキのシーンだった?)

9 感想 & 気がついたこと (3) キングコング感最初のゴーグルの説明時は劇場内客電がついていたので前席お客さんの姿と重なってキングコング感あり本編が始まると劇場内が暗くなって ( 客電オフ ) 目に入るのはコンテンツ (& 手元のコーラ ) のみ目の前数メートルでお話を見ている感覚他に大小比較するものが見えないのでキングコング感はなくなった ( 映画館でなら大画面 3D もありうる!)

10 感想 & 気がついたこと (4) なぜ映画産業は 3D に走る? 新しい刺激 (= 臨場感 ) の得られるコンテンツ 3D 機器の進歩コンテンツ作成の洗練で長時間の鑑賞に耐えられるようになった自宅の AV 環境がハイスペック化 ( 高精細大画面音環境高臨場感 ) しているが 3D 映画の機器を自宅には置けない ( 映画館に足を運ぶ ) 劇場の画面を盗撮しても 3D コンテンツとして一般家庭で鑑賞できない ( 海賊版対策 )

11 ( 補足 ) 偏光 polarization 光電界の振幅は進行方向に直交する 2 方向の振動成分に分解できる普通の光はあらゆる方向に振動している光が混合このような光は一部の結晶や光学フィルターを通すことによって偏光を得ることができる偏光 : 電場および磁場が特定の方向にしか振動していない光のこと自然光 ( 非偏光 ): 光波の偏光が規則性がなく直交している電界成分の位相関係がまったくでたらめな光のこと

12 ( 補足 ) 偏光 polarization 直線偏光 ( 垂直水平偏光 ) 円偏光 ( 右円偏光左円偏光 ) 楕円偏光 ( 右楕円偏光左楕円偏光 )

13 ( 補足 ) 偏光を得るには吸収型偏光子ある方位の電場を吸収しそれに垂直な方位の電場を透過することにより直線偏光を作り出す鉱物では電気石 ( トルマリン ) など人工の物としてはポラロイド社などのポリマーで作られたフィルム偏光子があるこれは廉価であるセロハンテープなどのように 1 方向に引き伸ばされて作られる高分子結晶方解石などの複屈折性の結晶を利用したものこれは高価である反射式偏光子反射面に対し角度を持って反射した光が部分的に偏光することを利用し多段階の反射を用いて直線偏光を作り出す

14 ( 参考 )3D 映画 :RealD 方式方式 : パッシブ偏光偏光 : 円偏光眼鏡 : 偏光グラススクリーン : シルバースクリーン

15 ( 参考 )RealD 方式

16 RealD 方式の利点 (& クイズ ) 観客の姿勢の自由度が大きい円偏光は頭部姿勢の変化に対して映像が安定 ( 注 : 直線偏光では見えなくなる )( なぜ?) 色再現性が良い眼鏡が安価回収が不要眼鏡が軽い左右の映像のゴーストが少ないプロジェクター前の液晶シャッターで左右の映像 ( 円偏光 ) を切り替え

17 RealD 方式の欠点 (& クイズ ) 輝度 ( 明るさ ) が低減する ( なぜ?) 導入コストが大きい制約がある専用の高反射型大型シルバースクリーンが必要 ( なぜ?)

18 ( 参考 )3D 映画 :Dolby 3D 方式方式 : RGB の波長の異なる映像を交互に投影眼鏡 : 分光カラーフィルターグラススクリーン : 通常のスクリーン

19 ( 参考 )Dolby 3D 方式

20 ( 参考 )Dolby 3D 方式

21 ( 参考 )Dolby 3D 方式

22 Dolby 3D 方式の利点 (& クイズ ) 観客の姿勢の自由度が大きい ( なぜ?) 左右の映像のゴーストが少ないプロジェクター前のフィルターで左右の映像を切り替え

23 Dolby 3D 方式の欠点 (& クイズ ) 色再現性がまぁまぁ眼鏡が高価回収が必要回収を確実にするために盗難防止用 IC タグを付けているらしい眼鏡が重い輝度 ( 明るさ ) が低減する ( なぜ?) 導入コストが大きい制約がある通常のスクリーンだが投影機材の移動が簡単に出来ない ( なぜ?)

24 ( 参考 )3D 映画 :IMAX 3D 方式方式 : 円偏光フィルター眼鏡 : 円偏光フィルターグラス ( 液晶シャッター方式もあるらしい ) スクリーン : 専用シルバースクリーン (+ プロジェクター 2 台 )

25 IMAX Digital 3D 方式の利点 (& クイズ ) 画面が明るい ( なぜ?) 観客の姿勢の自由度が大きい ( なぜ?) 左右の映像のゴーストが少ない円偏光 + アクティブシャッター

26 IMAX Digital 3D 方式の欠点 (& クイズ ) 色再現性がまぁまぁ眼鏡が高価回収が必要回収を確実にするために盗難防止用 IC タグを付けているらしい眼鏡が重い導入コストが大きい制約がある特殊なスクリーン 2 台のプロジェクターの位置合わせなど投影機材の移動が簡単に出来ない ( なぜ?)

27 人間の目 vs 機械の目 (1) 機械で人間の目をまねる人間の感覚感性の代行 ( 人工感性 ) 忠実にまねる ( 例 ) 撮像違う実現方法でまねる ( 例 ) 認識学習理解

28 人間の目 vs 機械の目 (2) 機械で人間の目を強化する人間の感覚感性の強化 ( 強化感性 ) 失われた機能を代行する人間のしくみに合わせて強化する ( 例 ) 画像強調ノイズ除去違う実現方法で強化する ( 例 ) 演奏支援 VR( 可視化 ) 文字音声

29 強化感性電子的メガネ ( 画像強調雑音除去 )

30 強化感性仮想現実感への応用 ( 建築設計支援 )

31 生体から学ぶべきメカニズム (1) 明暗順応 : 明るさの変化に対する調節機構側抑制 : 視野の中の明暗の微小変化を局所的に検出強調するメカニズム色順応 : 色彩の対比に対する調節機構

32 生体から学ぶべきメカニズム (2) 初期視覚における特徴抽出 : 空間領域局所的な明るさ色調の対比エッジ検出構図全体的な明るさ色調周波数領域画像映像の複雑さ画像映像内の規則性

33 [ 参考 ] 画像の強調手法閾値処理 ( 二値化 ) 一様な階調変換 ( 線形変換 ) 区分的な階調変換 ( 複数の線形変換 ) 非線形変換 ( 例 : トーンカーブ ) ヒストグラム変換高周波成分の重畳側抑制に基づくモデル

34 さらに本格的なレタッチ見えにくい部分を見えやすくする暗すぎる部分明るすぎる部分明るさの変化にメリハリを付けるトーンカーブ : 線形補正非線形補正ヒストグラム : 統計的な非線形補正

35 階調の線形補正 ( 暗部の変化を強調 )

36 [ 練習 1] 暗部の変化を強調 Gimp 2.6.xの場合色トーンカーブツール色ツールトーンカーブ明度 Lightness R G B 明部のトーンカーブ ( 直線 ) の傾きを小さくする暗部のトーンカーブ ( 直線 ) の傾きを大きくする

37 [ 観察 1] 暗部の変化を強調操作するトーンカーブの違いにより全体の明るさ色調がどう変わるか変わらないかを観察するカラー画像の違いによりカラフル赤緑青黄白黒っぽい写真などどのトーンカーブを操作するとどの領域の視認性が増すかを観察するレタッチの前後でヒストグラムを比較してみよう

39 [ 宿題 1] 暗部の変化を強調自分で撮ったカラー写真の暗部の変化を強調して暗いところ ( 色の濃いところ ) の変化を見やすくした画像を作ってみよう (*) カラフル赤緑青黄白黒っぽい写真などこれら様々な写真をどのトーンカーブを操作することによりモノの認識しやすさ色調がどう変わるか変わらないかを比較観察してみようレタッチの前後でヒストグラムを比較してみよう

40 階調の線形補正 ( 明部の変化を強調 )

41 [ 練習 2] 明部の変化を強調 Gimp 2.6.xの場合色トーンカーブツール色ツールトーンカーブ明度 Lightness R G B 明部のトーンカーブ ( 直線 ) の傾きを大きくする暗部のトーンカーブ ( 直線 ) の傾きを小さくする

42 [ 観察 2] 明部の変化を強調操作するトーンカーブの違いにより全体の明るさ色調がどう変わるか変わらないかを観察するカラー画像の違いによりカラフル赤緑青黄白黒っぽい写真などどのトーンカーブを操作するとどの領域の視認性が増すかを観察するレタッチの前後でヒストグラムを比較してみよう

44 [ 宿題 2] 明部の変化を強調自分で撮ったカラー写真の明部の変化を強調して明るいところ ( 色のうすいところ ) の変化を見やすくした画像を作ってみよう (*) カラフル赤緑青黄白黒っぽい写真などこれら様々な写真をどのトーンカーブを操作することによりモノの認識しやすさ色調がどう変わるか変わらないかを比較観察してみようレタッチの前後でヒストグラムを比較してみよう

45 階調の非線形補正 (γ 補正 γ<1.0; 暗部強調 )

46 [ 練習 3] 暗部の変化を強調 Gimp 2.6.xの場合色トーンカーブツール色ツールトーンカーブ明度 Lightness R G B 明部のトーンカーブ ( 曲線 ) の傾きを小さくする暗部のトーンカーブ ( 曲線 ) の傾きを大きくする

48 [ 宿題 3] 暗部の変化を強調自分で撮ったカラー写真の暗部の変化を強調して暗いところ ( 色の濃いところ ) の変化を見やすくした画像を作ってみよう (*) カラフル赤緑青黄白黒っぽい写真などこれら様々な写真をどのトーンカーブを操作することによりモノの認識しやすさ色調がどう変わるか変わらないかを比較観察してみようレタッチの前後でヒストグラムを比較してみよう

49 ( 補足 ) ガンマ補正画像などの色のデータ ( 表示したい色 ) とそれが実際に ( モニタテレビなどで ) 出力される際の信号の相対関係を調節してより自然に近い表示を得るための補正操作 γ( ガンマ ) 値とは画像の明るさの変化に対する電圧換算値の変化の比 1に近づくのが理想実際には素子の特性により機器によってそれぞれ異なった値となるこのため元データに忠実な表示を再現したければこれらの誤差を修正する必要がある ( パソコン ) ディスプレイ : パソコンから出力されるカラー情報と実際のディスプレイの輝度が比例関係になるようにガンマ補正を行なっている OSの側で接続しているディスプレイを選択する場合ディスプレイごとにガンマ特性を記録したファイルを読み込み最適な輝度で表示されるように調整を行なっている ( 注 : 有名なモニターだったら OSにもともと登録されてる新製品ならフロッピーなどがついてたでしょ?) ( アナログ ) テレビジョン放送 : 受像器のCRTのガンマ特性 ( ガンマ=2.2) をふまえて送出側で予めカメラの出力信号に逆特性( ガンマ=0.45=1/2.2) の補正をかけること

50 階調の非線形補正 (γ 補正 γ>1.0; 明部強調 )

51 [ 練習 4] 明部の変化を強調 Gimp 2.6.xの場合色トーンカーブツール色ツールトーンカーブ明度 Lightness R G B 明部のトーンカーブ ( 曲線 ) の傾きを大きくする暗部のトーンカーブ ( 曲線 ) の傾きを小さくする

53 [ 観察 4] 明部の変化を強調操作するトーンカーブの違いにより全体の明るさ色調がどう変わるか変わらないかを観察するカラー画像の違いによりカラフル赤緑青黄白黒っぽい写真などどのトーンカーブを操作するとどの領域の視認性が増すかを観察するレタッチの前後でヒストグラムを比較してみよう

54 [ 宿題 4] 明部の変化を強調自分で撮ったカラー写真の明部の変化を強調して明るいところ ( 色のうすいところ ) の変化を見やすくした画像を作ってみよう (*) カラフル赤緑青黄白黒っぽい写真などこれら様々な写真をどのトーンカーブを操作することによりモノの認識しやすさ色調がどう変わるか変わらないかを比較観察してみようレタッチの前後でヒストグラムを比較してみよう

55 階調の非線形補正 ( 中間の変化を強調 )

56 [ 練習 5] 中間部の変化を強調 Gimp 2.6.xの場合色トーンカーブツール色ツールトーンカーブ明度 Lightness R G B 中間部のトーンカーブ ( 曲線 ) の傾きを大きく明部暗部のトーンカーブ ( 曲線 ) の傾きは小

58 [ 観察 5] 中間部の変化を強調操作するトーンカーブの違いにより全体の明るさ色調がどう変わるか変わらないかを観察するカラー画像の違いによりカラフル赤緑青黄白黒っぽい写真などどのトーンカーブを操作するとどの領域の視認性が増すかを観察するレタッチの前後でヒストグラムを比較してみよう

59 [ 宿題 5] 中間部の変化を強調自分で撮ったカラー写真の中間部の変化を強調した画像を作ってみよう (*) カラフル赤緑青黄白黒っぽい写真などこれら様々な写真をどのトーンカーブを操作することによりモノの認識しやすさ色調がどう変わるか変わらないかを比較観察してみようレタッチの前後でヒストグラムを比較してみよう

60 階調の非線形補正 ( 明暗部の変化を強調 )

61 [ 練習 6] 明部暗部の変化を強調 Gimp 2.6.xの場合色トーンカーブツール色ツールトーンカーブ明度 Lightness R G B 明部暗部のトーンカーブ ( 曲線 ) の傾きを大きく中間部のトーンカーブ ( 曲線 ) の傾きは小さく

63 [ 観察 6] 明部暗部の変化を強調操作するトーンカーブの違いにより全体の明るさ色調がどう変わるか変わらないかを観察するカラー画像の違いによりカラフル赤緑青黄白黒っぽい写真などどのトーンカーブを操作するとどの領域の視認性が増すかを観察するレタッチの前後でヒストグラムを比較してみよう

64 [ 宿題 6] 明部暗部の変化を強調自分で撮ったカラー写真の明部 & 暗部の変化を強調した画像を作ってみよう (*) カラフル赤緑青黄白黒っぽい写真などこれら様々な写真をどのトーンカーブを操作することによりモノの認識しやすさ色調がどう変わるか変わらないかを比較観察してみようレタッチの前後でヒストグラムを比較してみよう

65 階調の統計的補正 ( ヒストグラムの平坦化 )

66 ヒストグラム平坦化の考え方ある明るさの面積が極端に大きい明るさの変化に乏しい (= 見づらい ) 情報量が少ない出現確率を均等化 (=ヒストグラム平坦化) あらゆる明るさの面積が均等に現れる明るさの変化に富む (= 見やすい ) 情報量が多い

67 [ 練習 7] ヒストグラムの平坦化 Gimp 2.6.x の場合色自動調整平滑化 ( 注 )Gimp 2.6.x では RGB 表色系の画像に対してヒストグラムの平坦化を行う ( 注 )Photoshop CSx では Lab 表色系の画像に対しては L 成分のみヒストグラムの平坦化を行える

69 [ 観察 6] ヒストグラムの平坦化平坦化 ( ヒストグラムの一様化 ) によって画像の見え方はどう変わったか? ヒストグラムはどう変わったか? 明るさの分布 R G Bの分布

70 [ 宿題 6] ヒストグラムの平坦化自分で撮った様々な写真をつかってもともと全体に明るい ( 暗い ) 写真明暗が混在する写真など様々な写真のヒストグラム平坦化で見え方がどう変わるかを観察してみよう画像の見え方はどう変わったか? 補正前後のヒストグラムも記載

71 [ 補足 ] ヒストグラムの平坦化の問題点モノクロ画像の場合写真の印象が大きく変化する場合があった!

72 [ 補足 ] ヒストグラムの平坦化の問題点カラー画像の場合色調が大きく変化する場合があった! カラー画像の表色系 RGB 表色系 ( 例 :Rを変えると明るさも色調も変わる) Lab 表色系 ( 例 :Lを変えても色調は変わらない)

73 [ 詳細 ] レタッチで重要な色空間 RGBに対応する仮想的な3 原色 XYZを定めた X: 三刺激値 X(tristimulus X) ほぼ明るさ Y: 三刺激値 Y(tristimulus Y) ほぼ緑味 Z: 三刺激値 Z(tristimulus Z) ほぼ青味

74 [ 詳細 ] レタッチで重要な色空間均等知覚色空間として定められた L: 明度指数ほぼ明るさ a: 知覚色度ほぼ赤緑の対比 b: 知覚色度ほぼ青黄の対比

75 参考 :

76 [ 参考 ] 階調の平坦化カラー画像の平坦化 ( ヒストグラムの一様化 ) によって画像の見え方はどう変わったか? ヒストグラムはどう変わったか?

77 RGB 画像

78 R, G, B それぞれを平坦化色相が変わる

79 Lab 画像

80 Lab の L だけを平坦化 a, b はそのまま

81 [ 補足 ]( 考察に書いて欲しいこと ) 理屈を踏まえて何をどうするための処理か? その理屈は? 自分が選んだ画像の性質どんな特徴の画像か? レタッチの効果を評価をする上でどう都合がいいのか?( 悪いのか?) 自分の画像での結果そんな性質の画像だから全体としてどんな画像になったどこの部分はどうなったなど ( 注意 ) 考察とはいえない例結果の貼り付けだけヒストグラムの形を言葉で表すだけなど

82 おまけ今回の提出物本日の講義後の早いうちに宛先 : hm-q@indsys.chuo-u.ac.jp 件名 : [IPS] 感想進行報告氏名学年番号出席確認を兼ねた感想 & 進行状況報告来週の火曜 18:00 までに宛先 : hm-q@indsys.chuo-u.ac.jp 件名 : [IPS] レポート氏名学年番号 ( 添付書類 ) 実験結果 + 演習課題のレポートを提出 PDF の添付書類 ( 書類名に注意!)

83 [ 補足 ] 実験に適したソフト (1) プロ用 Adobe Photoshop CS3, CS4( 有料 ) かなり高機能商業写真のレタッチにも利用 Win / Mac

84 [ 補足 ] 実験に適したソフト (2) 勉強用研究用 Paint.net (ver.3.36) Win GIMP2 (ver.2.6.6) かなり高機能 Win / Mac / Linux ( 注 )IT センターは ver.2.2 です

85 [ 補足 ] 実験に適したソフト (3) 勉強用研究用 ImageJ (ver.1.4.1o) アメリカ国立衛生研究所で開発されたフリーソフトかなり高機能 Win / Mac / Linux

86 [ 補足 ] 実験に適したソフト (4) 趣味用 Adobe Photoshop Elements 7.0 Win にはプレインストールされてる? iphoto Mac にはプレインストール

87 [ 練習用画像 1] Jpeg, 640x480pixel (*) 写真をクリックするとダウンロードできます

88 [ 練習用画像 2] Jpeg, 640x480pixel (*) 写真をクリックするとダウンロードできます

89 [ 練習用画像 3] Jpeg, 640x480pixel (*) 写真をクリックするとダウンロードできます

90 [ 練習用画像 4] Jpeg, 640x480pixel (*) 写真をクリックするとダウンロードできます (480x640pixel) (480x640pixel)

91 [ 練習用画像 5] Jpeg, 640x480pixel (*) 写真をクリックするとダウンロードできます

Microsoft PowerPoint - IPS handout.ppt [互換モード]

Microsoft PowerPoint - IPS handout.ppt [互換モード] 画像処理システム論 ( 視覚情報処理論 ) Image Media Systems 視覚感性と画像処理 (3) 加藤俊一 Toshi KATO 緊急報告! 週末に行ってきました! つくば MOVIX 見てきました! 3D 映画 Disney s Christmas Carol ( 日本語吹き替え版 3D) http://www.disney.co.jp/movies/christmas-carol