第 1 章画像とは何か 第 1 章画像とは何か 画像 は英語では image であり 実際に存在する もの を 絵に描いたり カメラで撮影したりしたものである キャンバス フィルム 印画紙などに記録されて 現物が破壊されるなどで存在しなくなっても 遠方にあって直接見ることが不可能であっても 保存 伝送されていつでも どこでも自由に見ることが可能となる 本書で述べる 画像処理 はこの画像を入力とした処理である 従って まず画像とはどのようなものであるかを述べる 図 1-1 画像の獲得 古くは画像と言えば 印刷物 写真 映画であった インク フィルム 現像液 印画紙など化学分野の研究成果が応用された 近年の画像は図 1-1 に示す スキャナー TV カメラのような光電変換の技術を利用した画像獲得装置によって 電気信号に変換されアナログ信号として処理される アナログ信号をディジタル化してコンピュータで処理するようになったのは 1940 年位からである 近年ではディジタルカメラ DVD などディジタル信号を出力する装置も一般的になっている 得られたディジタル画像は原画像と呼ばれ コンピュータのメモリー上またはハードディスクに格納される 9
第 1 章画像とは何か 1.1 画像の生成機構 画像は 3 次元実物体である対象物体を写した像であり 視線方向を定めることによって 画像面 y 平面 ) という 2 次元平面に得られる 従って 画像は f のように記述される f は明度であり 撮像と呼ぶ 音声 音響が声帯 リード 弦 膜のような音源 g(t) を持ち 声道 共鳴板の特性で音色が定まるので f (t) のように時間 t の 1 次元信号として記述されるのと大きく異なっている また このとき人間の目またはカメラで画像化されるので 照明を当てることが不可欠である カメラの感度と照明には周波数特性があり それによって見え方が変化することも重要である 文書 図面のように元々紙のような平面に書かれた情報 f を そのまま 2 次元のディジタル画像にすることをスキャンと呼ぶ 処理せず そのまま出力すればコピーマシンと同等である 図 1-1 に示すようにカメラで撮った写真をスキャンすることも行われる 座標系 X 軸と Z 軸で水平面ができていて Y 軸が鉛直方向であるような直角座標系は 世界座標系と言われている ロボットとか物理の分野では X, Y が水平面で Z 軸が鉛直方向であるような世界座標系が用いられている 市販の画像処理ソフトウェアを利用するときには この座標軸がどう定義されているのかによって 結果が異なるので座標系は重要である 図 1-2 座標系 図 1-2 には 画像処理に関係する座標系が示されている 焦点距離 F のカメラがレンズ中心が世界座標系 ( X, Y, Z) における位置 ( dx, dy, dz) に 光軸 (W 軸 ) が ( φ, θ, ϕ) 方向に置かれたとき得られる直角座標 ( U, V, W ) は カメラ座標系で 10
第 1 章画像とは何か ある 光軸の方向が ( 0,0,0) であれば 世界座標系と一致している 光軸に垂直な撮像面は画像座標系と呼ばれ と記述される 図 1-2 に示すように W が一定であれば カメラ座標系 ( U, V ) と画像座標系 は比例関係にある 世界座標系 ( X, Y, Z) と画像座標系 の関係は複雑であるが 一意に定まる 図 1-3 結像 図 1-3 は 凸レンズによってできる像とカメラ座標系のU 軸から見た断面との関係を示している W = a に置かれた物体の表面点から出る光束のうち 凸レンズを通らないものは直進して発散し 通るものは屈折してW = b の位置で結像すること示している 従って b の位置に撮像素子を置いて光電変換により画像が得られる また b は 1 b 1 1 = (1-1) f a で算出できる 画像処理を行うときには 多くの場合 b に比べて a は十分大きくてほとんど と見做せるので b = f 即ち焦点距離の面で結像すると考えて十分である 従って y = 同様に f V W (1-2) U = f (1-3) W の関係が得られる 但し 撮像素子を置く位置を b からずらすと 物体表面の一点から発した光束が拡がって面積を持つこととなる これが焦点がボケた状態である 実際には CCD はレンズの後ろ側にあるが, 比例関係では前にあっても同等 11
第 5 章注目画素の特徴を表す画像の生成 第 5 章注目画素の特徴を表す画像の生成 本章は 従来の書では微分画像とか 2 値画像という項目に相当している 単純にカメラで撮影すれば 自然の画像 f が得られる 第 3 章 第 4 章の画 像処理は出力も自然な画像であり 図 5-1 では g ) と表されている 自然の情景 - カメラ - 画像 f 1 y 演算 g ) 1 y 演算 g ) 2 y - ディスプレイ 物理現象 方程式の解 - 可視化 g ) 3 y 図 5-1 様々な画像 本章では 人間が目にする視覚的な画像 f ではないが 形式的には画像 g であるものを 注目画素の特徴を表している画像 という従来の書では用いられていない言葉を使うこととした 処理の中には画素値を変換したり 位置を変換したりするだけで 視覚的に見える画像 g ) を得るものもある 1 y また 流体の流れのように物理的には存在するが 人間の目には見えない現象 或いは微分方程式の解を画像化する技術もあり 可視化と呼ばれ g ) と表 3 y している ここでは図 5-1 で g ) と表している画像 即ち可視画像 f に 2 y 何らかの処理をして 人間の目には見えない画像を取り扱う このような画像処理は修正 符号化 認識の前処理として行われることが多い 5.1 微分操作 5.1.1 エッジ抽出画像処理でしばしば用いられているのが エッジ画像であろう エッジ画像を得るプロセスは微分である 図 5-2 に示す 5 5 画素程度の小さな画像の注目画素 ( で囲まれている画素) 69
第 5 章注目画素の特徴を表す画像の生成 の近傍領域で 対象領域と背景領域の 2 つに分かれていることがある 画像処理では 全て白もしくは全て黒という明度が一様な領域にはあまり興味がなく 白から黒もしくは黒から白に変化する領域に興味がある 微分には常微分と偏微分がある 方向の偏微分は次式に示すように y 座標には関係なく 注目画素と 1 つ左の座標との画素値の差分で定義する 縦方向も同様に定義でき 座標に関係なく 注目画素と 1 つ上の画素値の差である 但し 画像として表示する場合には 値が小さいと見えないのでスケーリングする必要が出てくるい 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 図 5-2 水平微分 垂直微分 画像上には斜めのエッジが多数存在する そのときは座標軸を θ だけ回転した座標系で考えればよい 即ち (, 座標を回転し ( ', y' ) 座標での偏微分を考える 0 0 0 1 1 0 0 0 1 1 0 1 1 1 1 y' y θ ' 図 5-3 水平微分 垂直微分 式 (5-1) のように, ' 方向の偏微分は 方向の偏微分と ' の積と y 方向の偏微分と ' の積の和で表現することができる また 式 (5-2) のように y ' 方向の偏微分についても同様に考えることができる = + ' ' ' (5-1) = cos θ + sin θ 70
第 5 章注目画素の特徴を表す画像の生成 ' = = + ' ' sin θ + cos θ (5-2) 即ち ' や ' は回転角度 θ が求まれば それぞれ 画素値の偏微分と cosθ と sin θ を使って計算することができる あるエッジが θ だけ傾いているとするとき いろいろな方向に偏微分をしてみると エッジに垂直な方向への偏微分が一番大きい そこで エッジの角度 θ を求めるということは ' を最大にすることに帰着する 即ち 最適な θ では最大になり 不適切な θ ではだんだんと小さくなるという傾向になる 極大値を求めるためには θ で偏微分した値がゼロになる点を求めればよい θ ' = 0 これを計算すると θ = arctan grad = f 2 ( ) ( ) 2, y + f, y (5-3) (5-4) (a) 原画像 ( イラスト ) (b) f (c) f 図 5-4 微分画像の例 ( イラスト ) 式 (5-4) により 傾きの方向 θ と 傾きの大きさ grad が求まる 微分の結果は図 5-4 5-5 5-6 示されている 原画像の縦線 ( 縦エッジ ) が存在する部分で はが明るくなっている では横エッジが存在するところが明るくなっている grad では傾きが大きいとその部分が明るくなっている この 71
第 7 章領域抽出 第 7 章領域抽出 対象物体を認識しようとすれば まず画像中から対象物体領域を抽出する必要がある 人間の目で判断する場合に 元々文字 記号が書いている画像だと正解は明らかであるし 風景のような他に画像であっても理解できることが多い これを画像処理で行うときには多くの困難がある 文字 記号であっても 現実には原画像に途切れたり 滲んでいたりするし 多値画像に至ってはどこが境界かを識別することが困難となる 対象物体が自動車のようにそれ自身は変形しない剛体であっても 立体で多様な色合いの場合 また人のように動作により形状が変化する柔物体である場合などは 更なる工夫が必要である 7.1 2 値化に基づく領域抽出 7.1.1 2 値化と 2 値画像処理第 5 章 2 値化の項で述べたように 2 値画像には b positive 255 if f >= T ( i, yi ) = b 0 else 0 if f >= T ( i, yi ) = 255 else negative (7-1) などがあるが 本章では 1 if 対象物体 b ( i, y i ) = (7-2) 0 else とする 7.1.2 2 値画像の整形 図 7-1 2 値化の結果画像 ( 孔と小さい誤領域が存在している ) 2 値化処理は 注目画素の画素値の閾値処理で行われる 位置関係を考慮していないために 対象図 7-1(b) に示すように 物体であるのに画素値が 0 に 101
第 7 章領域抽出 なったり 背景であるのに画素値が 1 になったりすることがある 2 値化処理 は必ずしも完全ではない しかし その多くは 2 値化処理後の整形を目的とす る近傍処理で 修正が可能である 整形処理は ある注目画素に対して回りの画素 (3 3 近傍 または 5 5 近 傍 ) を参照して 注目画素の値を書き直す近傍処理で行われる 黒の孤立点除去 注目画素が黒 :1( 対象物体 ) であって 8 近傍画素が全て背景 :0 であると きに 0 に書き直す 0 0 0 0 0 0 y 0 1 0 y 0 0 0 0 0 0 0 0 0 (a) アルゴリズム (b) 処理の実例図 7-2 黒の孤立点除去 白の孤立点除去 注目画素が 0 であっても 8 近傍が全て 1 であれば白に書き直す 1 1 1 1 1 1 y 1 0 1 y 1 1 1 1 1 1 1 1 1 (a) アルゴリズム 102
第 7 章領域抽出 (b) 処理の実例図 7-4 白の孤立点除去 メジアンフィルタ図 7-5 の f 5 を注目画素を注目画素とする まず 近傍 8 画素を画素値が f ' 1 f ' 2 f ' 3 f ' 4 f ' 5 f ' 6 f ' 7 f ' 8 f ' 9 (7-3) となるように並べ替える 注目画素を f ' 5 に置き換えれば いわゆるメジアンフィルタであり 2 値画像の場合には 3 3 近傍で 1 が多ければ 1 1 の数が少なければ 0 に書き直すことになるので多数決となる また f 5 = 1のとき注目画素値を f ' 2 に置き換えれば 黒の孤立点除去 f5 = 0 のときは注目画素値を f ' 8 に置き換えれば 白の孤立点除去と等価であり それぞれ f ' 3 f ' 7 に置き換えれば 近傍 8 画素のうち 7 画素が注目画素と異なるとき 修正することとなる 回りで何画素違ったら書き直すというのは どこを選ぶかにより決められる f1 f2 f3 f1 f2 f3 y f4 f5 f6 y f4 f'm f6 f7 f8 f9 f7 f8 f9 図 7-5 メジアンフィルタのアルゴリズム 膨張 収縮孤立点除去では 1 値画素だけに注目したが 更に広い領域を対象として背景だと思われているところ 孤立点除去では取れないところ でも全体を眺めると ここはどうも白のほうが良さそうだという領域が存在するということで膨張と収縮が使われる アルゴリズムは 以下の通りである 膨張: 注目画素が 1 であったら 8 近傍を1に変えること 103