１段階処理の予測法(One Step Model) を用いた雑音抑圧技術

Size: px

Start display at page:

Download "１段階処理の予測法(One Step Model) を用いた雑音抑圧技術"

あきひさことじ
4 years ago
Views:

1 動画像や音における不必要情報の抑圧と目的情報の移動追跡諏訪東京理科大学工学部コンピュータメディア工学科田邉造 (TANABE Nari)

2 研究背景様々な場面においてディジタル画像映像が用いられる防災防犯生活日常防災災害映像監視カメラ映像車載カメラモバイル機器生命医療産業社会超音波検査装置 CT スキャン画像エリアセンサカメラ赤外線カメラ市場規模の拡大 1

3 スキャナ商品の一例スキャナの低コスト化やポータブル化オフィスだけでなく家庭や出先でもスキャンが容易 MDS-600 SmartLF Scan! 24 DR-P215 i スキャミル DSS10 誰でも手軽にディジタル画像の取得が可能 2

4 スキャナ専用機以外の例スマートフォンのカメラ機能をスキャナとして代用 INTSIG Information Corporation CamScanner スマートフォンがあればだれでも紙の文書をディジタル化 3

5 ディジタル化の問題点 1: 裏写り表面裏面ディジタル化文字データ画像データ抽出裏写り画像裏写り除去による画像の鮮明化 4

6 ディジタル化の問題点 2: 地色地色印刷紙の下地の色又は画像の背景に存在する塗りつぶされた領域印刷する際には不要となる場合が多いインクの過剰消費地色と重複した文字や絵などの識別難 OCRの認識率低下地色除去による画像の鮮明化 5

7 ディジタル化の問題点 3: しわ読み取り対象の印刷紙の状態に強く依存画像に不一様なテクスチャ ( しわ ) が付随している場合はディジタルスキャン後の画像にも影響が生じる望まない情報の混在により画像品質の劣化 6

8 裏写り地色の除去手法 ( スキャナの場合とスマホの場合 ) Step.1 裏写り ( 地色 ) 画像から裏写り ( 地色 ) の輝度値を推定 Step.2 有色駆動源カルマンフィルタを用いて裏写りの除去 7

9 発明技術の概要片面の画像情報のみを用いて, 推定した裏写り情報に非線形項を考慮した裏写り付随モデルより裏写りの除去 Step.1 Step.2 観測画像全体のヒストグラムを用いて裏写り地色不均一なテクスチャの輝度値を推定非線形項を観測方程式に含む有色駆動源カルマンフィルタを用いた裏写り地色不均一なテクスチャ除去状態方程式 : 表面画像内を対象とする局所領域変化を表現観測方程式 : 非線形項を考慮した裏写り付随モデルを構成 8

10 ピクセル数発明技術 Step1 Step.1 観測画像から着目点 : 裏写り地色不均一なテクスチャの輝度値を推定裏写り, 地色, 不均一なテクスチャ成分は表面に印字されている成分よりも薄い方針 : 観測画像全体に対して各色成分ごとに分析し所望の情報と裏写りなどを認識観測画像輝度値 9

11 発明技術 Step1 Step.1 観測画像全体の情報を用いて裏写り地色不均一なテクスチャの輝度値を推定画像全体に散らばる裏写り, 地色, 不均一テクスチャを検出可能より精度の高い裏写り地色不均一テクスチャ検出が可能 10

12 発明技術 Step2 Step 2 状態方程式観測方程式 Step.2 非線形項を観測方程式に含む有色駆動源カルマンフィルタを用いた裏写り地色不均一なテクスチャ除去着目点 : 表画像に乗る裏写り地色は表画像の輝度値に依存裏面の文字表面の輝度値 : 低い ( 黒に近づく ) 裏写りしにくい表面の輝度値 : 高い ( 白に近づく ) 裏写りし易い表面の輝度値に応じて, 地色裏写り度合いを変化させるようなモデル式を考案 11

13 発明技術 Step2( スキャナの場合 ) Step 2 非線形の裏写り付随式の構成 Step 2 状態方程式観測方程式裏画像透過率とぼけ表画像の輝度値表画像裏写り画像 ( 明るさ ) に応じて変化より現実に近い地色裏写り問題を表現 12

14 発明技術 Step2( スマートフォンの場合 ) Step 2 状態方程式 Step 2 非線形の裏写り付随式の構成観測方程式裏画像透過率とぼけ表画像裏写り画像スキャナと比較して光源が弱く, 透過しにくいスマートフォンの場合も, スキャナと同様の式が使える 13

15 発明技術 Step2 非線形項の導出 (1) 裏写り付随モデルの非線形項についての考察 [1] Step 2 状態方程式観測方程式シミュレーション手順 1. 輝度値 0~255 を各行に持つ画像を準備 ( 右図の表面画像 ) 2. 輝度値 0~255 を各列に持つ画像を準備 ( 右図の裏面画像 ) と 2. がそれぞれ表面と裏面に印刷された両面印刷紙を作成表面画像裏面画像 [1] F. Merrikh-Bayat, M. Babaie-Zadeh, C. Jutten, ``A Nonlinear Blind Source Separation Solution for Removing the Show-through Effect in the Scanned Documents, European Signal Processing Conference-EUSIPCO, Aug

発明技術 Step2 非線形項の導出 (2) 4. 3. の表面をスキャナで読み取りディジタル化 5. 非線形項を導出 Step 2 状態方程式観測方程式 6.

16 発明技術 Step2 非線形項の導出 (2) の表面をスキャナで読み取りディジタル化 5. 非線形項を導出 Step 2 状態方程式観測方程式 6. 横軸を表面の原画像, 縦軸を非線形項として 5. をプロット右図の分布結果から非線形項を推定しモデル化 Step 1 で推定した裏写りを含む画素より, 非線形裏写り付随モデルを導出 15

17 発明技術 Step2 状態方程式 (1) Step 2 状態空間モデルの構成 Step 2 状態方程式観測方程式状態方程式 : 表面画像内を対象とする局所領域変化をモデル化裏写りのない表画像のみ考慮状態 (n 1) から状態 nの変化は画像内の右方向へ1ピクセルシフト p q サイズは任意画像状態状態変化状態 16

18 発明技術 Step2 状態方程式 (2) [ 状態方程式 ] 原画像の局所領域変化をモデル化状態 n-1の状態ベクトル Step 2 状態方程式観測方程式状態 n 状態ベクトル状態状態 17

19 発明技術 Step2 状態方程式 (3) [ 状態方程式 ] 原画像の局所領域変化をモデル化 Step 2 状態方程式観測方程式状態状態変化状態有色性駆動源を構成 18

20 発明技術 Step2 観測方程式 (1) Step 2 状態方程式観測方程式観測方程式 : 非線形項を考慮した裏写り付随モデルを構成状態 n の状態ベクトル ( 表画像 ) 状態 19

21 発明技術 Step2 観測方程式 (2) Step 2 状態方程式観測方程式透過率とぼけ表面スキャン推定裏面 [ 観測方程式 ] 表面に裏面の情報が加算される劣化過程を表現観測 20

22 処理結果 : チラシ 1( 表画像 + 裏写り ) 観測画像表画像裏画像スマホアプリ処理発明技術による結果精度よく裏写りの除去が可能 21

23 処理結果 : チラシ 2( グラデーションのある地色 ) 観測画像スマホアプリ処理発明技術による結果グラデーションのある地色も除去可能 22

24 処理結果 : レシート観測画像スマホアプリ処理発明技術による結果しわと地色の除去能力が高い 23

25 裏写り地色しわ除去技術を応用した例 OCR などの文字認識ソフトの前処理に表面裏面スキャンスキャン OCR など文字認識本日は晴天なり本日は晴天なり本日は晴天なり本日は晴天なり裏写り除去認識精度向上コピー機のインク削減にスマートフォンでのスキャンに地色除去 :ON 写りこみコピー対象コピーインク消費 : 少影の映り込みを除去 24

26 動画像解析への展開腸の蠕動運動の解析 MRI 画像による腸の診断 - 内視鏡を使わないことによる患者への負担軽減 - 複雑な腸の動きを定量化することで医師の負担軽減オプティカルフロー解析フレーム間の物体の動いた方向と量をベクトルで視覚化リンゴが動いた方向と大きさを視覚化腸の MRI 画像 n フレーム目 (n+1) フレーム目腸画像とフローベクトルコンピュータによる動画像解析による負担軽減 25

27 音声信号への展開動いている人の声をピックアップ - コンサートやライブなど, 聞きたい歌手の歌声のみを抽出 - スポーツなどの選手の息遣いを抽出. より臨場感のある放送などに応用左 BGM 信号左マイク + 左楽曲信号 BGM 信号ボーカル信号右 BGM 信号 + 右マイク右楽曲信号左右のマイクに収録された信号から,BGM 信号を抑圧ボーカルの位置を推定し, ボーカル信号を抽出新たなメディアの楽しみ方を提供 26

28 結論発明手法片面の画像情報のみを用い推定した裏写り情報に非線形項を考慮した裏写り付随モデル < 不必要な情報を抑圧して目的情報を抽出 > < 動画像や音の移動追跡にも応用 > 裏写り, 地色, しわを精度よく抑圧することが可能動画像や音の移動追跡にも適応可能実用的な音や画像の信号処理技術を確立 27

29 本技術に関する知的財産権発明の名称 : 画像復元装置方法及びプログラム出願番号 : 特願出願人 : 学校法人東京理科大学発明者 : 田邉造他 2 名 28

30 お問合せ先東京理科大学研究戦略産学連携センター担当 URA 鵜澤真治 TEL FAX

人間の視野と同等の広視野画像を取得・提示する簡易な装置

人間の視野と同等の広視野画像を取得・提示する簡易な装置人間の視野と同等の広視野画像を取得提示する簡易な装置公立はこだて未来大学システム情報科学部複雑系知能学科准教授鈴木昭二研究背景 2 画像情報は有用である多様な情報 ( 明るさ, 色, 形, 動きなど ) 見ればわかるしかし, カメラの画角は狭い見える範囲が限定される全体像を把握しくい移動する物体を見失いやすい広視野画像の取得 ( 従来方法 ) 3 多数のカメラを搭載多数の画像を合成し高解像度の画像取得