Microsoft Word - 犬飼.doc

Size: px

Start display at page:

Download "Microsoft Word - 犬飼.doc"

ひできかりこめ
5 years ago
Views:

1 2004 年度卒業研究肌色抽出について岡山理科大学総合情報学部情報科学科澤見研究室 I01I013 犬飼芳久

2 目次 1 はじめに 2 2 色空間に注目した肌色抽出手法 2.1 肌色抽出の手法について 2.2 色空間について RGB XYZ L*a*b* YCbCr YIQ HSV 修正 HSV 2.3 画素分布における検討 2.4 YCbCr を用いた肌色抽出 2.5 修正 HSV を用いた肌色抽出 2.6 YCbCr と修正 HSV を併用した肌色抽出抽出処理の流れ YCbCr と修正 HSV を併用した肌色抽出結果輪郭を利用した肌色抽出手法 3.1 輪郭抽出処理 Sobel フィルタ肌色領域のノイズ軽減輪郭補償処理 3.2 肌色領域着色, 着色領域抽出 3.3 輪郭を利用した肌色抽出結果まとめ 25 5 謝辞 26 6 参考文献 27 1

3 1 はじめに今日, バイオメトリクス (biometrics: 計量生物学, 生物測定学 ) 認証は, 入退室管理, カードの偽造防止など様々な目的に応じて開発され普及しつつある. バイオメトリクスは, 特定の機関だけでなく, 一般家庭においても不可欠なものとなりうる技術である. バイオメトリクス認証には, 指紋模様, 顔の輪郭や色, 目や鼻の位置や形, 手の形や大きさ, 掌紋, 虹彩, 網膜にある毛細血管の模様, 静脈パターン, 手の甲の血管, 筆跡, 声紋,DNA などを利用した多くの手法が存在する. そして, 各手法にはそれぞれの特徴があり, 応用分野も異なっていて, 認証精度にも差がある. ところで, 認証の前段階である前処理の精度向上が, 認証全体の精度向上に大きな意味を持っている. 本研究では, このような多くの手法の中から, 静止画像を用いた認証を行う際に行う前処理部分に注目し, その中でも肌色領域抽出についての研究を行ったので報告する. 2 色空間に注目した肌色抽出手法 2.1 肌色抽出の手法について肌色抽出にはいくつもの異なった手法が存在している. 例えば, 背景の処理をできるだけ単純なものとするために, ブルーバックなどを利用し, 肌色領域を特定し易くしてから抽出するものがある. 一方, 肌色領域の抽出が容易になるよう, 肌色領域が存在しない背景だけの画像をあらかじめ作成しておき, 元の画像と背景のみの画像との差分を求め, その差分を利用して抽出する手法などが存在する. また, 動画像においては, ある程度まで肌色に近い色の領域を求め, 一定時間動かない部分を背景と考え, 肌色領域を抽出するものなど様々である. しかし, こういった手法は, 背景がブルーバックなどの単純な色であることや, あらかじめ作成した背景画像が必要であるとか, 動画像であるといった制約を伴う. 本研究では, 抽出対象を静止画像に絞り, このような制約の少ない抽出手法の実現を目指す. まず始めに, 参考文献 [14] と同様, 色空間に着目し元画像と肌色画像と背景画像との色分布の差を比較することにより, より肌色抽出に適した色空間を選び出すことにした. その際に用いた画像を以下に示す ( 図 1, 図 2, 図 3). 図 1: 元画像図 2: 肌色画像図 3: 背景画像 2

4 2.2 色空間について色空間とは, それぞれの色を空間の中の一点として表現することにより色を組織化し画像を表す際に用いる空間システムでカラースペースともいう. カラースペースの形状は, 円柱状, 六角錐, 円錐, 球など様々なものがある RGB BMP やコンピュータのモニタなどで用いられている色空間である.RGB は, それぞれ赤 (red) 緑 (green) 青 (blue) の頭文字を表している. 全ての色が加法混色で表現され, 光の三原色を元としているので,RGB 値が同じ場合には, 数値が増加するごとに白に近づき, 反対に, 数値が減少するほど黒に近づく XYZ 三原色仮説にもとづき CIE( 国際照明委員会 ) が 1931 年に定めた表色系を用いた場合, RGB においては, 特定の波長域でマイナスの係数が存在するなどの計算に不便な箇所が生じる. これを単純な一次変換によって解決したものが XYZ である. 数値と色彩との関連がわかりにくい色空間になっている.Y が明度,Z はおおむね青みの度合い,X はそれら以外の要素を含むものと考えられる.RGB から XYZ への変換式は以下の通りである. X = 0.412R G B Y = 0.213R G B ( 式 1) Z = 0.019R G B 3

5 2.2.3 L*a*b* XYZ から, 知覚装置の違いによる色差を測定するために派生した均等色空間の一つである.1976 年に勧告され, 日本では JIS-Z-8729 に規定されている.XYZ から L*a*b* への変換式は以下のようになる. L * 116 f 16 = y a* = 500 b* = 200 ( f x f ) y ( f ) y f z f f x y 3 xr xr > ε = kxr + 16 xr ε yr yr > ε = kyr + 16 yr ε zr zr > ε f z = kzr + 16 zr ε 116 ( 式 2) X x r = ( X r は,D65 光源下における完全拡散反射面の三刺激 ) X y = r Y Y r r r ( Y r は,D65 光源下における完全拡散反射面の三刺激 ) Z z r = ( Z r は,D65 光源下における完全拡散反射面の三刺激 ) Z ε = = k 27 Actual CIE Standard Intent of the CIE Standard Actual CIE Standard Intent of the CIE Standard 4

6 2.2.4 YCbCr PAL 方式テレビや JPEG 画像,MPEG などで用いられている色空間である.Y は輝度, Cb は青の差分,Cr は赤の差分を表す.RGB から YCbCr への変換式は以下のようになる. Y = 0.299R G B Cb = 0.172R 0.339G B ( 式 3) Cr = 0.511R 0.428G B YIQ NTSC テレビ放送などで使用されている色空間である.1950 年代当時のカラー表示ブラウン管の性能に基づき定められているため, 当時青の発色が悪かったという影響を受けており, 青の表現力に欠ける面がある.RGB から YIQ への変換式は以下のようになる. Y = 0.289R G B I = R G B ( 式 4) Q = R G B HSV 色を色相と彩度という観点から考えると, 加法混色や減法混色よりも色空間の表現としては, 自然であると言える. この理由から, コンピュータで絵を描く場合や色見本として使われている色空間である.H は色相,S は彩度,V は輝度を表す.RGB から HSV への変換式は以下のようになる. ( R, G, B), min min( R, G, B) max = max = とすると H = H = 2 H = 4 H = 0 ( max = minの場合 ) ( G B) 60 ( R = maxの場合 ) ( max min) ( B R) + 60 ( G = maxの場合 ) ( max min) ( R G) + 60 ( B = maxの場合 ) ( max min) ( 式 5) S = V = max S = 0 ( ) ( max = minの場合 ) max min ( max minの場合 ) max 5

7 修正 HSV 松橋らによって, 参考文献 [12] で提案されている色空間である. 肌色領域の分離に有効とされている.I は強度,H は色相,Qc は修正彩度を表す.RGB から修正 HSV への変換式は以下のようになる. ( ) ( ) ( ) + + = cos B G B G R B R G R H ( ) = B G B G R Q c ( 式 6) 3 B G R I + + =

8 2.3 画素分布における検討これまでに述べた各種色空間について, 元画像 ( 図 1) と肌色画像 ( 図 2) と背景画像 ( 図 3) を用いて画素分布の違い以下に示す. これら画素分布は, 色空間を三次元座標空間に対応させ, 画像を構成している各画素を, その色空間内の座標値に対応させて表した分布を二次元座標で表現したものである. 座標軸は, 水平方向 - 垂直方向という記述方式であり, 例えば RGB による元画像の画素分布 ( 図 4) の左端の図では G-R となっているが, これは画素の G 値が水平方向の座標軸を, 画素の R 値が垂直方向の座標軸を表していることになる. G-R G-B R-B 図 4: RGB による元画像の画素分布 G-R G-B R-B 図 5: RGB による肌色画像の画素分布 G-R G-B R-B 図 6: RGB による背景画像の画素分布 7

9 Y-X Y-Z X-Z 図 7:XYZ による元画像の画素分布 Y-X Y-Z X-Z 図 8:XYZ による肌色画像の画素分布 Y-X Y-Z X-Z 図 9:XYZ による背景画像の画素分布 8

10 a*-l* a*-b* L*-b* 図 10:L*a*b* による元画像の画素分布 a*-l* a*-b* L*-b* 図 11:L*a*b* による肌色画像の画素分布 a*-l* a*-b* L*-b* 図 12:L*a*b* による背景画像の画素分布 9

11 Cb-Y Cb-Cr Y-Cr 図 13:YCbCr による元画像の画素分布 Cb-Y Cb-Cr Y-Cr 図 14:YCbCr による肌色画像の画素分布 Cb-Y Cb-Cr Y-Cr 図 15:YCbCr による背景画像の画素分布 10

12 I-Y I-Q Y-Q 図 16:YIQ による元画像の画素分布 I-Y I-Q Y-Q 図 17:YIQ による肌色画像の画素分布 I-Y I-Q Y-Q 図 18:YIQ による背景画像の画素分布 11

13 S-H S-V H-V 図 19:HSV による元画像の画素分布 S-H S-V H-V 図 20: HSV による肌色画像の画素分布 S-H S-V H-V 図 21: HSV による背景画像の画素分布 12

14 Qc-H Qc-I H-I 図 22: 修正 HSV による元画像の画素分布 Qc-H Qc-I H-I 図 23: 修正 HSV による肌色画像の画素分布 Qc-H Qc-I H-I 図 24: 修正 HSV による背景画像の画素分布以上の画素分布図を基に比較検討した結果, 肌色画像と背景画像に対応したクラスタ分布が分離してくるような, 肌色抽出に大きな効力を期待できる色空間は見出せなかった. そこで, 肌色抽出に関して比較的多くの使用例がある YCbCr と, 実験の結果より, 画素分布 ( 図 23) が比較的コンパクトと考えられた修正 HSV を組み合わせることにより肌色抽出を行うことにした. 13

15 2.4 YCbCr を用いた肌色抽出 RGB から YCbCr への変換式 ( 式 3) を用いて色空間の変換を行い, この色空間における画素分布から閾値を決定し抽出処理を行う. 画像を用いて実験した結果 ( 図 26),YCbCr を用いて肌色抽出を行うと, 画素分布 ( 図 13, 図 14, 図 15) から予測することができるように, 完全に肌色領域と背景領域を分離することができず, 肌色に近い色が残ってしまっていることがわかる. 図 25: 元画像 1 図 26:YCbCr を用いた肌色抽出画像 14

16 2.5 修正 HSV を用いた肌色抽出 YCbCr での肌色抽出と同様の処理を行う.RGB から修正 HSV への変換式 ( 式 6) を用いて色空間の変換を行った後, この色空間における画素分布から閾値を決定し抽出処理を行う. 修正 HSV を用いた肌色抽出画像 ( 図 28) から分かるように, 肌色領域と背景領域の完全な分離という結果が得られるまでにはいかなかった. 図 27: 元画像 1 図 28: 修正 HSV を用いた肌色抽出画像 15

17 2.6 YCbCr と修正 HSV を併用した肌色抽出 YCbCr と修正 HSV での肌色抽出の精度は, あまり良いものではなかった. そこで精度の向上を図るため,YCbCr と修正 HSV による肌色抽出画像における背景領域の違いに注目し, 調べてみた. その結果,YCbCr を用いた肌色抽出では除去されにくかった背景領域と, 修正 HSV での肌色抽出で除去されにくかった背景領域が, ほぼ逆の関係になっていることがわかった. このことから,YCbCr と修正 HSV とを併用すれば精度が向上するのではないかということが考えられる. そこで,YCbCr と修正 HSV を併用した肌色抽出を試みることにした抽出処理の流れ図 29 は,YCbCr と修正 HSV での抽出を併用した抽出処理の流れである. 始めに, 元画像に対し YCbCr により抽出処理を行う. そして, 生成された画像中にある除去されなかった画素に対して, 修正 HSV による抽出処理を適用することにより,YCbCr と修正 HSV を併用した抽出画像を得る. 元画像 YCbCr で抽出処理 YCbCr での抽出画像修正 HSV で抽出処理 YCbCr と修正 HSV での抽出画像図 29:YCbCr と修正 HSV を併用した抽出処理 16

18 2.6.2 YCbCr と修正 HSV を併用した肌色抽出結果 YCbCr と修正 HSV を併用して得た肌色画像 ( 図 31) から, 単独の色空間による抽出よりは, 二つの色空間を併用した場合の方が, 精度の向上することが分かる. しかし, 肌色領域の誤った除去が目立つ結果となった. 図 30: 元画像 1 図 31:YCbCr と修正 HSV を併用した肌色抽出画像 17

19 3 輪郭を利用した肌色抽出手法色空間のみに注目した抽出手法では, 肌色領域の抽出精度が良いとは言えなかった. そこで, 色空間だけでなく肌色領域の輪郭にも注目することで, 抽出精度の向上を目指すことにする. 3.1 輪郭抽出処理全ての画像において, 画像の対象物に応じ, それぞれ独自の二次元的特徴が存在する. 二次元的特徴とは, 濃度値や色, 模様 ( テクスチャ ) などのことである. 輪郭抽出処理では, この二次元的特徴を用いている. 濃度値や色, 模様 ( テクスチャ ) などの特徴が似ている部分は一つの領域として扱い, これらの特徴が急激に変化するところを, ある領域とある領域の境界とすることで, 輪郭抽出が実現する. 本研究を用いた輪郭抽出処理は以下のようになる ( 図 32). 元画像エッジ画像生成 (Sobel フィルタ ) ( 肌色領域ノイズ軽減 ) ( 輪郭補償処理 ) ( 水平方向画素連結 ) YCbCr と修正 HSV 併用抽出画像肌色領域着色画像輪郭利用肌色抽出画像図 32: 輪郭を利用した肌色抽出処理 18

3.1.1 Sobel フィルタ Prewitt フィルタにおいて, 中央の重みを大きくしたものが Sobel フィルタである.Sobel フィルタのオペレータ ( 図 33) を用いて演算を行うことにより方向ごとの勾配が得られる. また, 方向性に依存するということを防ぐために, 勾配の大きさ ( 式 6) を利用する.

20 3.1.1 Sobel フィルタ Prewitt フィルタにおいて, 中央の重みを大きくしたものが Sobel フィルタである.Sobel フィルタのオペレータ ( 図 33) を用いて演算を行うことにより方向ごとの勾配が得られる. また, 方向性に依存するということを防ぐために, 勾配の大きさ ( 式 6) を利用する.Sobel フィルタを適用した画像は, 以下のようになる ( 図 34) g [ i, j] = ( f ) 2 + ( f ) 2 x ( 式 6) y 水平方向垂直方向図 33:Sobel フィルタのオペレータ図 34:Sobel フィルタを適用した画像 19

21 3.1.2 肌色領域のノイズ軽減 Sobel フィルタを適用すると, 肌色領域にノイズが発生する. このノイズを軽減するために, 先に述べた YCbCr と修正 HSV を併用した抽出画像を利用する.Sobel フィルタを適用し, 生成された画像に関する輪郭画素と YCbCr と修正 HSV を併用した場合に肌色として抽出された画素が重なっていれば, 重なっている輪郭画素を除去する.Sobel フィルタを適用し, 生成された画像に YCbCr と修正 HSV を併用した肌色画像を重ねた画像を以下に示す ( 図 35). この画像において, 除去する輪郭画素は, 濃い黒の部分の画素である. 濃い黒の部分の画素は,YCbCr と修正 HSV を併用した肌色画像と Sobel フィルタを適用し, 生成された画像の輪郭がそとの重なりを表している. 図 35: 輪郭画素と肌色領域の比較 20

3.1.3 輪郭補償処理 Sobel フィルタを用いて輪郭抽出処理を行い,YCbCr と修正 HSV を併用した肌色領域抽出画像を用いて肌色領域内のノイズを軽減することができた. しかし, 肌色領域の輪郭近傍において画素の連続性が低下している. よって, 輪郭補償処理を行い, この画素の連続性の低下を軽減することにする. 画素の拡大図 ( 図 36) を以下に示す.

22 3.1.3 輪郭補償処理 Sobel フィルタを用いて輪郭抽出処理を行い,YCbCr と修正 HSV を併用した肌色領域抽出画像を用いて肌色領域内のノイズを軽減することができた. しかし, 肌色領域の輪郭近傍において画素の連続性が低下している. よって, 輪郭補償処理を行い, この画素の連続性の低下を軽減することにする. 画素の拡大図 ( 図 36) を以下に示す. 黒いマスが, 輪郭として扱われている画素であり, 白いマスが, 輪郭として扱われていない画素である. 輪郭補償補処理として, 始めに補償対象となる輪郭として扱われていない画素 ( 図 36 の赤い円 ) の 8 近傍 ( 図 36 の青い円 ) について, 輪郭として扱われている画素数を調べる. そして, その画素数が定めた値以上であれば, 補償対象画素を輪郭とする. また, 水平方向について不連続な輪郭として扱われている 2 画素間 ( 図 36 の青い四角 ) の距離が, 定めた距離以内であれば, それら 2 画素間の領域 ( 図 36 の赤い四角 ) を輪郭として扱う. 図 36: 画素の拡大図 21

23 3.2 肌色領域着色, 着色領域抽出肌色領域であることを最終的に判定する際のフラグとして, ここまでの処理によって生成された輪郭画像に関連して肌色領域と考えられる部分を一定色で着色したものを以下に示す ( 図 37). そして, 元画像と肌色領域着色画像を比較し, 着色されている画素と同位置の元画像の画素を抽出することにより, 輪郭を利用した肌色抽出画像を得ることにする. 図 37: 肌色領域着色画像 22

24 3.3 輪郭を利用した肌色抽出結果元画像 1( 図 38) に対して, 輪郭を利用した肌色抽出処理を行う. 次に, 生成した肌色抽出画像と元画像 2( 図 40) に対して, 輪郭を利用した肌色抽出処理を行う. その結果, 生成した肌色抽出画像は, 以下のようになる ( 図 39, 図 41). 図 38: 元画像 1 図 39: 輪郭を利用した肌色抽出画像 1 23

25 図 40: 元画像 2 図 41: 輪郭を利用した肌色抽出画像 2 24

26 4 まとめ一般的な画像に対して肌色抽出を行う場合, 色空間を利用するだけでは, 肌色領域の分離は困難である. 複数の色空間を併用したとしても, 著しい抽出精度の向上は期待できない. 一方, 輪郭情報は, 肌色抽出において大変有益なものであることがわかった. この輪郭情報を利用して肌色抽出を行う場合, 輪郭情報の精度が肌色抽出の精度に直結するため, いかに輪郭情報を正確に取り出すかが重要である. 今回, 輪郭補償処理として 8 近傍と水平方向の輪郭補償を行っているが, 近傍領域の拡張, 斜め方向の輪郭補償など, 輪郭補償処理を変更, 改善することでさらなる抽出精度の向上が望めると思われる. 25

27 5 謝辞 1 年間を通して, ご指導賜りました澤見英男先生に心より感謝いたします. ならびに, 多くの助言を頂いた情報科学科の諸先生方に感謝いたします. 本当に, ありがとうございました. 26

28 6 参考文献 [1]JOOchan.com: [2]Q-Link Online index: [3] 大日精化工業株式会社 : [4]Wikipedia: [5] 色色雑学コニカミノルタ : [6] 色のお話 : [7] 色表示値の相互変換 : [8]Useful Color Equations: [9] 表色系変換 : [10] 伊賀, 和泉, 林, 深野, 大谷, 横河電機株式会社 : 人物顔画像による性別年齢推定システム [11] 富永, 内村, 脇阪, 熊本大学工学部, 株式会社ゼンリン : 動画像解析による道路案内標識の自動位置推定 [12] 松橋, 藤本他 : 顔領域抽出に有効な修正 HSV 表色系の提案, テレビジョン学会誌,Vol. 49 Num.6 (1995/06) [13] 平野晃昭, 中村納 : 顔の回転にロバストは個人識別方式, 電気学会論文誌 C,Vol.120-C No.6 (2000/06) [14] 足達義則, 今井昭宏, 尾崎正弘, 石井直弘 : 肌色領域抽出手法の検討, 電気学会論文誌 C, Vol120-C No.12 (2000/12) [15] 酒井幸市著,CQ 出版発行 : ディジタル画像処理の基礎と応用 - 基本概念から顔画像認証まで-(2003/9) 27

Microsoft Word - 卒論レジュメ_最終_.doc

Microsoft Word - 卒論レジュメ_最終_.doc 指紋認証のマニューシャ抽出について澤見研究室 I02I036 兼信雄一 I02I093 柳楽和信 I02I142 吉田寛孝 1. はじめに近年, キャッシュカードや暗証番号が盗用され, 現金が引き出されるような事件が相次いでいる. これらの対向策として人間の体の一部を認証の鍵として利用する生体認証に注目が集まっている. そこで我々は, 生体認証で最も歴史がある指紋認証技術に着目した. 指紋認証方式は,2