Microsoft PowerPoint - handout10.ppt

Transcription

1 応用プログラミング第 10 回 ~ プログラミングの応用画像処理その 3~ 電気通信大学電子工学専攻 Intellgent Electronc Systems Group 本日の内容 1. typedefと #defne 2. カラーからグレースケールへ 3. 輝度の変換 4. 画像の2 値化 5. 画像を認識する 画像認識 文字認識 パターン ( テンプレート ) マッチング 6. 数字認識の例 7. 課題 長井隆行 2 補足 BYTE について p9-2.c でいきなり出現 unsgned char 型の別名を定義しただけ ( 定義は mybmp.h に書いてあります ) typedef typedef を使うと既存の型を自分の好きな呼び名で呼ぶことができる unsgned charというのは長くてうつのが面倒なので BYTEという別名を定義した 構造体などにも使える #nclude <stdo.h> #nclude <stdlb.h> /*malloc を使うために必要 */ #nclude <memory.h> /*memset を使うために必要 */ #pragma pack(2) /* 構造体のメンバーの境界整列を制御 ( おまじないだと思ってよい )*/ #defne BMP_HEADER_SIZE 54 /* ビットマップのヘッダは全部で 54 バイトあります */ typedef unsgned char BYTE; /* ビットマップファイルヘッダのための構造体定義 */ mybmpx.h の最初の方 3 typedef struct tagbitmapfileheader unsgned short bftype; unsgned long bfsze; unsgned short bfreserved1; unsgned short bfreserved2; unsgned long bfoffbts; BITMAPFILEHEADER; struct tagbitmapfileheader bmfh; BITMAPFILEHEADER bmfh; いちいちstructと書く必要がない! 4

2 #defne 似た機能で #defne というのもある これは単なる文字列の置き換え (typedefは既存の型の別名を定義するものなので違いに注意 ) セミコロンはいらない! 例 ) #defne PI PIという文字列がプログラム中に出てきたら という文字列で置き換えなさい プログラムの文字列レベルで置換が起きる プログラムをうつのが楽になる 具体的な数字がプログラム中にあるよりも意味のある文字で置き換えた方が分かりやすい 後から値を変更しやすい #defne BYTE unsgned char とできるが 型の場合はtypedefを使った方がよい 5 #defne を使った例 #nclude <stdo.h> #defne NUM 5 /* 人数 */ typedef unsgned char BYTE; /* 構造体のプロトタイプ宣言 */ typedef struct sesek nt code; /* 学籍番号 */ BYTE eng; /* 英語の点数 */ BYTE math; /* 数学の点数 */ char name[50]; /* 名前 */ SEISEKI; /* メイン関数 */ nt man(vod) nt ; SEISEKI classa[num]; /* 計算には特に意味はない */ for(=0; <NUM; ++) classa[].code=+1; classa[].eng = *10; /* 表示 ( 構造体配列のポインタに注意!)*/ for(=0; <NUM; ++) prntf("code %d score(eng) %d n", (classa+)->code, (classa+)->eng); return 0; 6 p10-1.c 回転の問題 ( 補足 ) カラーからグレースケール heght y 規模の小さな具体的な問題で具体的に考えると分かりやすい heght2=wdth x wdth y*wdth+x=2 (x=2, y=0) wdth2=heght x y y*wdth+x xとyの入れ替え x*wdth2+y 上下の入れ替え (heght2-x-1)*wdth2+y (heght2-x-1)*wdth2+y=2 (x=2, y=0) buf2[(heght2-x-1)*wdth2+y] = buf[y*wdth+x]; 7 前回は画素を移動しただけ ( 回転など ) 画像処理の本質は 画素値を演算によって得ること フィルタリング ( ぼかし 鮮鋭化など : ディジタル信号処理 ) 色の変換 カラー画像を白黒濃淡画像に変換するにはどうすれば? 8

3 カラーからグレースケール続き ITU standard: Y = (222*Red+707*Green+71*Blue)/1000 NTSC standard: Y = *R *G *B R と G と B の値を平均するのが一番簡単 Y=(R+G+B)/3 グレースケールのビットマップは R=G=B=Y とすることで作る ( 他のやり方もあるがこれが一番簡単 ) 9 グレースケールへの変換プログラム #nclude <stdo.h> #nclude <stdlb.h> #nclude "pgm.h" nt man(vod) /* 出力用 */ Rbuffer2 = (BYTE*)malloc( wdth*heght ); /* メモリ確保 */ Gbuffer2 = (BYTE*)malloc( wdth*heght ); Bbuffer2 = (BYTE*)malloc( wdth*heght ); for(y=0; y<heght; y++) for(x=0; x<wdth; x++) Rbuffer2[y*wdth+x] = (BYTE) ((Rbuffer[y*wdth+x]+Gbuffer[y*wdth+x]+Bbuffer[y*wdth+x])/3.0); Gbuffer2[y*wdth+x] = Rbuffer2[y*wdth+x]; Bbuffer2[y*wdth+x] = Rbuffer2[y*wdth+x]; /******************* ここまで ******************************/ /* 書き込み処理 */ Plane2RGB(buffer, Rbuffer2, Gbuffer2, Bbuffer2, wdth, heght); /*buffer は入力のものを転用する */ SaveBtmap("result.bmp", buffer, wdth, heght); p10-2.c 10 輝度の変換 全体的に暗い画像を明るくしたい! 各画素を定数倍する ( 定数の大きさによって明るさが変化 ) カラーでも グレースケールでも基本は同じ 但し 単純に定数倍すると失敗する可能性が高い プログラム上の問題 解決するにはどうすればいいでしょうか? 定数 定数 定数 double tmp_px; double const_val=2; /* 輝度を 2 倍にする */ for(y=0; y<heght; y++) for(x=0; x<wdth; x++) tmp_px = const_val*rbuffer[y*wdth+x]; Rbuffer2[y*wdth+x] = (BYTE) tmp_px; tmp_px = const_val*gbuffer[y*wdth+x]; Gbuffer2[y*wdth+x] = (BYTE) tmp_px; tmp_px = const_val*bbuffer[y*wdth+x]; Bbuffer2[y*wdth+x] = (BYTE) tmp_px; 画像の位置によって定数の大きさを変化させれば 特定のものだけを明るくすることもできる 11 12

4 ミニテスト ( 問 1) 輝度を定数倍するプログラムの問題を解決しましょう まず 何が問題かを突き止めましょう プログラムを修正しましょう ヒント : 画素を表現するのに使っている型がポイント (BYTE は unsgned char を定義しなおしたものです ) バナナを取り出せ! 画像中のバナナだけを取り出すにはどうすればよいか? double tmp_px; double const_val=2; /* 輝度を 2 倍にする */ for(y=0; y<heght; y++) for(x=0; x<wdth; x++) tmp_px = const_val*rbuffer[y*wdth+x]; Rbuffer2[y*wdth+x] = (BYTE) tmp_px; tmp_px = const_val*gbuffer[y*wdth+x]; Gbuffer2[y*wdth+x] = (BYTE) tmp_px; tmp_px = const_val*bbuffer[y*wdth+x]; Bbuffer2[y*wdth+x] = (BYTE) tmp_px; 13 f( 画素値 == バナナの色 ) 画素値 *1 else 画素値 *0 注 1) 閾値はそれぞれの画像で異なっている注 2) 別にバナナが死ぬほど好きなわけではない p10-4.c ( ネットで集めた果物の画像付 ) 14 画像から意味のある情報を取り出す 2 値化 濃淡画像を白黒に変換する 意味のある情報を取り出す ( 情報を圧縮する ) デザイン効果 画像の 2 値化 Color2Gray Rbuffer[1] Rbuffer[2] Rbuffer[0] wdth グレースケール画像 Rbuffer[wdth-1] Rbuffer2 heght 出力 ハードリミット関数 255 新しい画像用のバッファ ( 入れ物 ) mage1[0][x] 0 閾値 Threshold 画素値 heght 15 wdth 指定したファイル名で保存 16

5 ミニテスト ( 問 2) 2 値化するプログラムをつくりましょう ヒント グレースケールの画素値が閾値 (Threshold) より大きければ255, 小さければ0をRbuffer2[] に入れればよい Gbuffer2[], Bbuffer2[] も同じものを入れる もし~なら そうでなければ はどのようにしますか? 思い出しましょう 2 値化プログラムの例 1 nt man(vod) double tmp_px; double threshold=100; /* 閾値 */ /* 出力用 */ Rbuffer2 = (BYTE*)malloc( wdth*heght ); /* メモリ確保 */ Gbuffer2 = (BYTE*)malloc( wdth*heght ); Bbuffer2 = (BYTE*)malloc( wdth*heght ); for(y=0; y<heght; y++) for(x=0; x<wdth; x++) tmp_px = ((Rbuffer[y*wdth+x]+Gbuffer[y*wdth+x]+Bbuffer[y*wdth+x])/3.0); f(tmp_px > threshold) Rbuffer2[y*wdth+x] = 255; Gbuffer2[y*wdth+x] = 255; Bbuffer2[y*wdth+x] = 255; else Rbuffer2[y*wdth+x] = 0; Gbuffer2[y*wdth+x] = 0; Bbuffer2[y*wdth+x] = 0; /******************* ここまで ******************************/ /* 書き込み処理 */ Plane2RGB(buffer, Rbuffer2, Gbuffer2, Bbuffer2, wdth, heght); /*buffer は入力のものを転用する */ SaveBtmap("result.bmp", buffer, wdth, heght); p10-5.c 2 値化プログラムの例 2 条件演算子 nt man(vod) double tmp_px; double threshold=100; /* 閾値 */ /* 出力用 */ Rbuffer2 = (BYTE*)malloc( wdth*heght ); /* メモリ確保 */ Gbuffer2 = (BYTE*)malloc( wdth*heght ); Bbuffer2 = (BYTE*)malloc( wdth*heght ); for(y=0; y<heght; y++) for(x=0; x<wdth; x++) tmp_px = ((Rbuffer[y*wdth+x]+Gbuffer[y*wdth+x]+Bbuffer[y*wdth+x])/3.0); Rbuffer2[y*wdth+x] =(tmp_px > threshold)? 255:0; Gbuffer2[y*wdth+x] =(tmp_px > threshold)? 255:0; Bbuffer2[y*wdth+x] =(tmp_px > threshold)? 255:0; /******************* ここまで ******************************/ /* 書き込み処理 */ Plane2RGB(buffer, Rbuffer2, Gbuffer2, Bbuffer2, wdth, heght); /*bufferは入力のものを転用する*/ SaveBtmap("result.bmp", buffer, wdth, heght); 19 p10-6.c 条件式? 式 1: 式 2 条件式が真 式 1 条件式が偽 式 2 Rbuffer2[] = (Rbuffer[] > threshold)? 255 : 0 ; 条件式 (Rbuffer[] > threshold) (Rbuffer[] > threshold) f を使って書き直すことができる が真の時は 255 を出力 が偽の時は 0 を出力 20

6 画像認識 例えば文字認識 画像認識とは 画像のパターンを判別すること 予め用意したパターンの辞書と比較 入力と最も近いパターンを判別結果とする 近さの基準をどうするか? が大変重要 画像入力 ( スキャナ or カメラ ) 2 値化 レイアウト解析 一つの文字を取り出す 入力 システム 出力 どの文字パターンに最も近いかを判定 文字パターンの辞書認識したい文字全ての形に関する情報 電気通 信 物体画像 物体辞書 認識物体 21 no 全ての文字を判別したか? yes 大学 22 パターンを認識する テンプレートマッチング レイアウト解析後に切り出した文字パターンが何か? を判別するには どうすればよいか 全ての文字に対して基準となるパターンを用意 基準パターンと入力パターンの近さを計る 基準パターンとはどのようなものか? 基準パターンと入力パターンの近さはどのように定義するか? 差の絶対値の和 (SAD) 正規化相互相関 (NCC) 平均 テンプレート ( パターン ) マッチング 基準パターンは画像そのもの ( テンプレート ) 基準パターン ( テンプレート ) に最も近い物を探す 一般にテンプレート画像と入力画像は同じ大きさではない マッチする場所を探す必要がある 大きさの違いや傾きなども考慮する必要がある SAD( a, b) = a b n NCC( a, b) = n n ( a a)( b 2 ( a a) b ) n ( b b )

7 数字を認識してみよう 数字を認識してみよう ( 続き ) 入力 2 値化した入力画像とテンプレートの画素の一致度 ( いくつ一致するか ) を数える それぞれと比較する テンプレート ( 辞書 ) 2 値化 ピクセルの画像に数字を書いて入力する どれと最も近いのかをどのように計算するかが問題 25 テンプレートと比較 黒画素の数が一致した数黒が多い方が近い? 26 本当にこれでできるのか? 処理の流れ 0 で一致した画素数 2976 画素 1 で一致した画素数 2932 画素 2 で一致した画素数 2873 画素 3 で一致した画素数 2925 画素 4 で一致した画素数 3014 画素 5 で一致した画素数 2800 画素 6 で一致した画素数 2979 画素 7 で一致した画素数 2921 画素 8 で一致した画素数 2911 画素 9 で一致した画素数 2961 画素 27 入力画像の読み込み 入力画像の 2 値化 Rbuffer2 へ プログラムの流れをつかもう 興味のある人は是非作ってみましょう 番目の数字テンプレート読み込み 番目の数字テンプレートと Rbuffer2 の比較 ++ 一致度を score[] へ保存 No <10? Yes score[] の最大値とそのときの を求める (max_ndex に保存 ) 結果の表示 28

8 数字を認識してみよう ( 続き ) もっとうまい方法はないか? まずは単純なマッチングの欠点を考えてみる 形のちょっとした変化に弱い 位置ずれに弱い もっと大雑把な数字の特徴をつかんだ方が良い うまく判別できる特徴を考えてみよう 文字認識ではエッジの方向性がよく使われる 最終課題 透明人間になってみたい! せめて画像処理で楽しみましょう 2 枚の画像を使う自分で用意しても良い ( 三脚などでカメラを固定する ) 自分で作ったプログラムで処理すると透明人間 ( もどき ) に! 特徴量 特徴量 動画にすればこんな感じ 静止画をつなげたものが動画 ( ぱらぱら漫画と同じ仕組み ) ポイント 画像は back.bmp と front.bmp の 2 枚をこちらで用意 ( 自分で用意してもいいです ) 画素値は unsgned char 型 (BYTE で定義しなおしている ) なのでオーバーフローを気にする必要がある 演算は double 型で行って ( 必要があれば ) 結果をキャストする p10-7.c にヒントプログラムがある ( やり方はひとつではないので 独自に作ってももちろんかまいません ) 好きな透明度の画像を最低 1 枚作ればよい ( 興味があれば ビットマップをつなげて AVI ファイルにするフリーソフトがあるので試してみてください ) (AVI Maker) ソースコードと画像 ( できれば JPEG に圧縮 ) をメールで送る 課題の締め切り 8/8( 日 ) 24:00 まで 31 32