スケジュール 09/26 イントロダクション1 : デジタル画像とは, 量 化と標本化,Dynamic Range 10/03 イントロダクション2 : デジタルカメラ, 間の視覚, 表 系 10/10 フィルタ処理 1 : トーンカーブ, 線形フィルタ デジタルメディア処理 1 担当 : 井尻敬 10/17 フィルタ処理 2 : 線形フィルタ, ハーフトーニング 10/24 フィルタ処理 3 : 離散フーリエ変換と周波数フィルタリング 11/07 前半のまとめと中間試験 11/14 画像処理演習 : python ( 演習室 ) 11/21 画像処理演習 : フィルタ処理 ( 演習室 ) 11/28 画像処理演習 : フィルタ処理 ( 演習室 ) 12/05 画像処理演習 : フィルタ処理 ( 演習室 ) 12/12 画像の幾何変換 1 : アファイン変換 12/19 画像の幾何変換 2 : 画像の補間 01/16 画像復元 : ConvolutionとDe-convolution( 変更する可能性有り ) 01/23 後半のまとめと期末試験 イントロダクション 2 達成 標 デジタル画像の取得 法に関する基礎的な 語を正しく利 できる デジタルカメラの まかな構造と機能を説明できる 間の視覚系の まかな構造と機能を説明できる RGB 表 系の成り ちを説明できる ( 時間がなければ次回に ) カメラ Contents デジタルカメラ 間の視覚 表 系
カメラとは を計測 記録する装置 般に, 外部からのを集めるレンズ と の強度を記録する装置 ( フィルム / 撮影素 ) から構成される フィルムカメラ集めたをフィルム上に記録現像 : フィルムに化学処理を施しネガにプリント : 銀塩プリントと印刷 CC0 https://pixabay.com FUJIFILM, 2017 http://fujifilm.jp/ デジタルカメラ 集めたを撮影素 (CCD CMOS) により電気的に記憶センサ上にフォトダイオードが配列されておりこの数が解像度を決める Nikon D7000 と望遠レンズ CMOS Image Sensor By Filya1 [CC BY SA 3.0] from wikipedia デジタルカメラの構造 はレンズを通り撮像素 上に像を結ぶ の量を調整するための 絞りとシャッターが存在 撮像素 (CCD/CMOS) にて得られた信号は,A/D 変換後, 画像処理される 画像処理部では, ノイズ除去や階調 調補正処理が われ, 画像が 成される レンズ 絞り シャッタ 撮像素 アナログ信号処理回路 A D 変換 デジタル信号処理回路 USB メモリカード 液晶モニタ COOLPIX W300 1/2.3 型 6.2 4.7 コンデジレンズ交換不可撮像素 は さい デジタルカメラの種類 Nikon1AW1 1 型 13.2 8.8 ミラーレス 眼レンズ交換可撮像素 は中 ~ ミラーを持たない D5300 APS-C 23.5x15.6 D500 APS-C 23.5x15.7 D5 フルサイズ 35.9x23.9 眼レフデジタルカメラレンズ交換可内部にミラーを持ち, 撮影される写真をファインダーから確認できる 画像は http://www.nikon-image.com/products/ より引 2017 Nikon Corporation / Nikon Imaging Japan Inc. 眼レフカメラの構造 1.Photographic frontal glass lens 2.Internal glass lenses 3.Diaphragm 4.Focal plane shutter 5.Photographic film 6.Securing strap 7.Shutter release 8.Shutter speed selector 9.Expose counter 10.Viewfinder 11.Flash socket 12.Focus ring 13.Pentaprism/pentamirror 14.Reflex Mirror By Anuskafm [CC BY SA 3.0] 眼レフカメラ (Single-lens reflex camera) は, 反射鏡によりレンズを通過したをファインダースクリーンに結像させる. これにより たままの写真を撮影できる. 参考 http://www.nikon-image.com/enjoy/phototech/manual/01/01.html
眼レフカメラの構造 画像 成の幾何学モデル カメラによる撮影では,3 次元物体を2 次元画像として記録する 3 次元空間から発せられるを集め, 撮像素 (2 次元平 ) 上に像を結ばせる 3D 2D 変換に関する3 種の幾何学モデルを紹介する ピンホールカメラモデル 薄 レンズモデル 厚 レンズモデル 露時間 1/10 のシャッターを 960fps で撮影 ピンホールカメラ 被写体から反射したがピンホールを通り, 暗箱の に像を作る. この現象を利 したカメラ. レンズではなく針 を利 した撮影法 CC0, Wikipedia より 物体 z y x y x 物体 軸 学中 ( ピンホール位置 ) 焦点距離 軸とは学中 を通りに垂直な直線 ピンホールモデルでは学中 との距離が焦点距離に 学中 を原点にとる3 次元空間において は の平 となる (は焦点距離) 点 :,, の上の座標は Note: 像は上下左右が反転する 奥 によるぼけは じないのでピント調節不要
透視投影モデル ピンホールカメラモデル : 投影像の上下左右が反転 アルゴリズム設計 実装時にややこしい 透視投影モデルが利 される 物体 z 焦点距離 f y x 透視投影モデル 左図の通り仮想的なを配置 点 :,, の上の座標は 薄 レンズモデル 薄 レンズとは, 厚みの無視できるレンズのこと 焦点距離 f と開 径 D により特性を表現できる 特徴 1: 軸に平 な線は レンズ通過後, 焦点で軸と交わる 特徴 2: 焦点で軸と交わる線は, レンズを通過後, 軸と平 に 特徴 3: 主点を通る線は直進する 点源 主点 語 : 主 とは, 射 出射する線が延 した直線が交わる点群が作る 語 : 主点とは, 主 と軸の交点のこと 対象物との距離を固定し, を動かした例 ピントが有った ( 点源が点になる ) 位置 B では, 鮮明な画像が得られる 位置 A や B では点源が点でなく 上に投影されるためボケる 焦点距離が同じレンズにおいてを動かした例 が遠いほど近くのものにピントが合う がレンズに近いほど遠くにピントが合う 被写体 A B C A B C
焦点位置に撮像素 を配置した場合 無限遠にある点源は平 線となる この平 線はちょうど焦点位置にて像を結ぶ 点源 a 薄 レンズモデル : ガウスのレンズ公式 d 点源 b c o 主点 e h A f f B g 練習 : ガウスのレンズ公式を証明せよ 厚 レンズモデル 焦点距離に対しレンズ厚みを無視できないレンズ 後側主点 Pʼと後側焦点 Fʼ : レンズ左側 ( 物体側 ) から来る平 が集まる位置を後側 ( こうそく ) 焦点と呼ぶ レンズ左側 ( 物体側 ) から来る平 の 射 出射の交点が成す を後側主平 と呼ぶ 後側主平 と軸の交点を後側主点と呼ぶ : Pʼ 前側主点 P と前側焦点 F : レンズ右側 ( 撮像素 側 ) から 射した平 が集まる位置を前側焦点と呼ぶ 薄 レンズでは P と Pʼ が 致する By en:user:drbob [CC BY SA, 3.0] 撮影パラメータ カメラ撮影の際, 所望の絵を得るため各種パラメータを調整する 撮影画 絞り シャッタースピード ( 露時間 ) ISO 感度 レンズ 絞り シャッタ 撮像素 アナログ信号処理回路 A D 変換 デジタル信号処理回路 USB メモリカード 液晶モニタ
画 写真は D7000 にて撮影素 サイズ APS-C 絞り (F 値 ) By Allophos [CC BY SA, 3.0] From Wikipedia f 画 広 : f=24mm 画 とは撮影範囲のこと. 焦点距離と撮影素 サイズにより定まる カメラ本体により撮影素 サイズが定まる フルサイズ APS-C 1 型 などなど ( 般的に きいと い ) レンズにより焦点距離 f が定まる 単焦点レンズ : 焦点距離を変更できないレンズ ズームレンズ : 焦点距離を変更できるレンズ (* 訂正 [ 望遠 ズーム ]20171020,) f 画 広 : f=105mm 絞りとは, 量調整のためレンズ直径を調整できる機構のこと 絞り (F 値 - ): 量が減り, 被写界深度が深くなる ( ボケにくくなる ) 絞り (F 値 - ): 量が増え, 被写界深度が浅くなる ( よくボケる ) F 値 (F-number) とは, レンズの集性能を表す量で F 値 = 焦点距離 / レンズ直径と定義される F 値が さい 多くのを取り込める F 値が きい 取り込むは少ない 絞り により直径 D を さくすることで F 値を調整できる シャッタースピード ( 露時間 ) シャッタースピード ( 露時間 ) とは, 撮像素 にを当てる時間のこと 露時間を2 倍にすると, 量が2 倍になり, 画像は2 倍明るくなる メカニカルシャッター : 物理的な機構で露時間を調整 電 シャッター : 電 的な制御で露時間を調整 露時間が い 画像は明るく 動いているものはボケる 露時間が短い 画像は暗く 動いているものもボケにくい ISO 感度 ISO 感度とは, 撮像素 の感度のこと もともとはフィルムの感度のこと. 夜は い感度のフィルムを使う などとして使い分けていた 富士フイルム株式会社 2017 fujifilm.jp より画像を引用 カメラの機種によっては,ISO 感度を設定できるものも多い ISO100 に対して ISO400 は 4 倍の感度になる 般的に感度を上げるとノイズが増える Sony α7 の感度は ISO400000 以上! https://www.youtube.com/watch?v=7ryis-mrp1c
A ピント B A B ピント調節の例 ピンホールカメラと違いレンズは広い 積でを集めるのでブラインドの奥の像も復元できる レンズと撮像素 の距離を変化させることでピンと調節 オートフォーカス : 画像処理によりカメラが 動でピントを合わせる マニュアルフォーカス : フォーカスレンズをまわすことでピントを調整できる 実際のカメラレンズのピント調節はもう少し複雑な機構になっている ピント調節の例 ピンホールカメラと違いレンズは広い 積でを集めるのでブラインドの奥の像も復元できる 問 : b に焦点が合うようを配置したとき, b の奥 (a) と 前 (c) ではどちらがよりぼけるか? その理由を簡潔に説明せよ. ABC
短波マイクロ波超短波中波まとめ : デジタルカメラ 最も 般的な画像取得装置であるデジカメの基本について紹介 デジタルカメラの種類 コンデジ, ミラーレス 眼, 眼レフ 画像 成の幾何モデル ピンホールカメラ 薄 レンズ 厚 レンズ 撮影パラメータ 画 絞り シャッタースピード ( 露時間 ) ピント 参考 : 撮影パラメータ 間の視覚 10-3 10-2 10-1 10 0 10 1 10 2 10 3 10 4 10 5 10 6 10 7 10 8 10 9 10 10 10 11 ガ可視 可視とは電磁波のうち の で えるもの 波 : 約 400nm ~ 約 800nm 近 外エックス線紫外線可視線ンマ線線1μm 1mm 1cm m 遠 外線電波 波 [nm] 間の視覚 間の眼球は直径約 24mmの球状 主要な組織と機能は以下の通り 膜 : 集 晶体 : 焦点調整 虹彩 : 量調整 ( 絞り ) 網膜 : を電気的な信号に変換 中 窩 : 中 視野 ( 注視物はここに結像 ) 網膜には 2 種類の視細胞が分布する 錐体 : に関する情報を得る L 錐体 ( 錐体 ), M 錐体 ( 緑錐体 ), S 錐体 ( 錐体 ) 杆体 : 弱いの明るさ情報を得る By Rhcastilhos (translated by Hatsukari715) [CC0]
錐体細胞 (Cone cell) 680 万個程度 中 窩周囲 2 度付近に分布 較的明るいに反応 (>0.01cd/m 2 ) L 錐体 ( 錐体 ), M 錐体 ( 緑錐体 ), S 錐体 ( 錐体 ) の三種が存在し, 情報を判別 まれつき3 種の錐体を持たない も多い ( 本 男性 5%, 性 0.2%) 杆体細胞 (Rod cell) 1 億 2500 万個程度 中 窩にはなく視覚 10 付近に分布 較的くらいに反応 (<3.0cd/m 2 ) 暗所視 : 暗所では杆体のみが働くためものの形は分かるが は認識できない そらし : 常に暗いもの ( 星など ) を る場合, 周辺視野を利 すると良く える 測量 の はの波 によって感じる明るさが異なる 紫外線 / 外線 : どんなに強くても えない 緑付近 : 明るく える 付近 : 強いでも暗く える 標準分視感率 暗所視 明所視 感じる明るさは, 明所視 暗所視でも変化 明所視の感度のピーク : 555nm 付近 暗所視の感度のピーク : 507nm 付近 杆体 放射量 : の電磁気的エネルギー [W] 測量 : 放射量に対して の視覚の感度で重み付けを なったもの [lm] By Jochen Burghardt [CC BY SA 3.0] By Maxim Razin based on work by w:user:drbob and w:user:zeimusu [CC BY SA 3.0] まとめ : 間の視覚 電磁波のうち波 400~800nm の可視を認識できる の構造 膜 晶体 虹彩 網膜 視細胞 錐体 : 明るいに反応し, の識別を担う 杆体 : 暗いに反応し, 明るさを識別する 明所視 暗所視 そらし の認識法 測量 By Rhcastilhos (translated by Hatsukari715) [CC0] 表 系 おそらく皆さんは,RGB YUV HSV など, を数値的に表す 法を扱ったことがあると思います. これらの体系がどのように構築されたかを紹介します. 参考 献 登著, 彩 学 わかりやすかったのでお勧めです
表 系 を定量的に表すことを表 (Color specification) といい, 表 のための 連の規定と定義を表 系 (Color System) という. 表 系には, 顕 系と混 系とがある 顕 系 の え に基づいて構築された体系 例 ) マンセル表 系 混 系 ある と等 にするための の混合割合に基づいて構築された体系 例 ) CIE-RGB マンセル表 系 国の画家 Munsellが1905 年に考案し, 国学会 (OSA) が1930 年代に尺度を修正した表 系 理学的な観点から,3 属性で定義 相 : の違いを表す属性. 緑 緑を円上に配置し, 円全体を100 等分 ( 相環 ). 各 相には 10R などの名前がつく. 明度 : の明るさを表す属性で, ~ を11 段階に分割. 彩度 : の鮮やかさを表す属性で, 無彩 から最も鮮やかな まで等分割に区切る. ある資料のマンセル記号 ( 相 明度 彩度 ) を求めるには, 資料と 票を べ最も 致する 票を探す ある が ( 相 1.6YR, 明度 6.3, 彩度 3.9) ならば, 1.6YR6.3/3.9 とマンセル記号で表記できる 票とぴったり 致しない場合は視感評価で少数第 位を決定 票とは, 実際の 本のこと (amazonで買える) 明度 By 著者不明 From Wikipedia [CC BY SA 3.0] By SharkD [CC BY SA 3.0] 加法混 と減法混 等 ( 合わせ : color matching) 混 複数の のを混ぜて別の のを作ること 緑 をうまく混ぜると任意の を作れる 加法混 複数の のが同時に に 射して じる混 のこと い背景に を持ったを加えていく 通常, 緑 の3 のを利 する 減法混 By Quark67 [CC BY SA 3.0] マゼンダ (G を吸収 ) 試料 [F] と た の が 致するよう, [R], 緑 [G], [B] の混合割合を調整する 法 [R][G][B] それぞれを r,g,b だけ混合して, 試料 [F] と同じ た が得られたとき と表記する [F] r[r] + g[g] + b[b] [G] [B] [R] い紙に複数の塗料を混ぜて を作る, または, 複数重ねた つきフィルタ越しに を るような混 フィルタや塗料は から特定スペクトルを除去する 通常, シアン マゼンダ イエローの3 を利 する 等 は が等しく える ように混合した割合である 等号の左辺の と右辺の に含まれるスペクトル分布が同じという意味ではない 各源の強度を調整する 3 の混合で任意の ができるのって実は結構不思議では? は混ぜられる? イエロー (B を吸収 ) By Quark67 [CC BY SA 3.0] シアン (R 吸収 )
CIE RGB 系 原刺激として以下の単 を 意 [R] : 700nm, [G] : 546.1nm, [B] : 435.8nm [R]:[G]:[B] = 1.0 : 4.5907 : 0.0607 で混 すると に ( 測量単位 ) 等 実験 : 様々な波 の単 に対し等 となる原刺激の量を測定する 等 関数,, が得られる [R] [G] [B] 等 関数 CIE RGB 系 等 関数,, があると 任意の 単 を再現する原刺激の混合割合が分かる 単 でない任意の も再現できる,,, [R] [G] [B] 等 関数 CIE : 国際照明委員会は 1931 年に Guild のデータ ( 観測者 7 ) と Wright のデータ ( 観測者 10 ) の平均を取って等 関数を採 は再現したいの分分布,, はを再現する原刺激の混合量これで を (r,g,b) の3 値で表現できるようになった. CIE RGB 系 まとめ : 表 系 等 関数,, に負値がある 緑 の原刺激で任意の を表現できる は正しくなく, どう混ぜても 合せできない単 があった 試料側に を して 合せした [B] [G] [R] [B] [G] [R] 等 関数 を定量的に表すことを表 といい, 表 のための 連の規定と定義を表 系という. 顕 系 : の え に基づいて構築された体系 ( マンセル表 系 ) 混 系 : の混合割合に基づいて構築された体系 (CIE-RGB) 加法混 と減法混 等 ( 合わせ : color matching) CIE-RGB 表 系 等 関数が負値を含まないよう, 基底変換を施した CIE-XYZ 系も考案された