ウェーブレット 空 間 でのMFP 機 用 フィルタ 処 理 Filtering Method for MFP in the Wavelet Domain 森 本 悦 朗 芝 木 弘 幸 水 納 亨 大 久 保 宏 美 カトリン ハ ークナー Etsuo MORIMOTO Hiroyuki SHIBAKI Toru SUINO Hiromi OKUBO Kathrin BERKNER 要 旨 MFP 機 のスキャナ 部 より 入 力 された 画 像 信 号 に 対 し, 鮮 鋭 性 補 正 を 行 うフィルタ 処 理 をウェー ブレット 空 間 にて 行 う 方 法 を 開 発 した.すなわち,まず 入 力 画 像 をウェーブレット 変 換 により 複 数 の 周 波 数 帯 域 から 構 成 されるウェーブレット 係 数 に 分 解 し,ウェーブレット 係 数 を 使 った 文 字 エッジ 判 定 を 行 う.その 判 定 結 果 に 基 づき, 各 々のウェーブレット 係 数 に 対 し 演 算 を 行 って, 必 要 な 周 波 数 帯 域 に 対 する 鮮 鋭 性 補 正 を 行 う. 本 方 法 により, 画 像 のシャープネスと 粒 状 性 の 両 立 が 可 能 となり,また 網 点 上 文 字 の 鮮 鋭 性 についても 良 好 な 結 果 が 得 られる. ABSTRACT We introduce a new filtering method in the wavelet domain for the enhancement of input image derived from the scanner of MFP. Firstly, the input image is decomposed into wavelet coefficients which consist of various resolutions components, and text edge classification is preformed using wavelet coefficients. Then according to the classification results, the enhancement of the image for resolutions necessary is performed in the wavelet domain. The new method enables us to get better sharpeness and granularity at the same time, and also to get better sharpeness in Text on Halftone for the output image. 画 像 技 術 開 発 本 部 DI 開 発 室 DI Development Department, Imaging Technology Division Color Image Processing Group, Ricoh Innovations,Inc. (USA) Ricoh Technical Report No.28 130 DECEMBER, 2002
1. 背 景 と 目 的 MFP 機 の 高 解 像 度 化 に 伴 い, 画 像 処 理 部 における 高 画 質 化 の 要 求 が 高 まってきている. 一 般 的 に 画 像 処 理 部 において はスキャナγ 補 正 処 理, 変 倍 処 理,フィルタ 処 理,プリンタ γ 補 正 処 理, 中 間 調 処 理 等 の 処 理 が 行 われるが, 中 でもフィ ルタ 処 理 はスキャナ 部 より 入 力 された 画 像 信 号 に 対 し 鮮 鋭 度 補 正 を 行 う 処 理 であり, 出 力 画 像 における 文 字 線 画 部 の シャープネスや 網 点 画 像 の 粒 状 性 を 決 定 づける 上 で 重 要 な 処 理 である.ところが,フィルタ 処 理 にて 強 調 を 強 くすると, 文 字 線 画 部 のシャープネスが 向 上 する 反 面, 網 点 画 像 の 粒 状 性 が 劣 化 する.また,フィルタ 処 理 にて 平 滑 化 処 理 を 重 視 すると, 網 点 画 像 の 粒 状 性 は 向 上 する 反 面, 文 字 線 画 部 の シャープネスが 不 足 すると 言 う 問 題 点 がある.これらを 解 決 すべく,エッジ 量 に 応 じて 強 調 度 合 いを 調 節 する 適 応 フィル タが 採 用 されているが,これまたシャープネスと 粒 状 性 を 両 立 させるのは 容 易 でない. そこで 本 稿 では,フィルタ 処 理 をウェーブレット 空 間 に て 行 う 新 規 方 法 を 紹 介 する. 本 方 法 では, 入 力 画 像 信 号 を ウェーブレット 変 換 により 複 数 の 周 波 数 帯 域 から 構 成 される ウェーブレット 係 数 に 分 解 し, 文 字 エッジ 判 定 の 結 果 に 基 づ き, 必 要 な 周 波 数 帯 域 には 強 調 処 理 を 行 い,その 他 の 帯 域 に は 平 滑 化 処 理 を 行 うことにより,シャープネスと 粒 状 性 の 両 立 を 容 易 にしている. 2. 技 術 号 をウェーブレット 変 換 によりウェーブレット 係 数 に 分 解 し, 係 数 を 用 いて 文 字 エッジ 判 定 を 行 う. 次 に 判 定 結 果 に 基 づき パラメータを 設 定 し,このパラメータを 用 いてウェーブレッ ト 空 間 での 鮮 鋭 性 制 御 を 行 う.そして 制 御 後 の 係 数 をウェー ブレット 逆 変 換 により 実 空 間 信 号 に 戻 して 出 力 信 号 を 得 る. 以 下,それぞれの 処 理 について 説 明 する. 入 力 画 像 1 階 層 変 換 1HL 1LH 1HH 文 字 エッジ 判 定 2 階 層 変 換 判 定 結 果 Fig.2 A block diagram of proposed filtering method in the Wavelet Domain. 2-2-1 Redundantウェーブレット 変 換 2LL 2HL 2LH 2HH 本 方 法 で 行 うウェーブレット 変 換 は, 通 常 のウェーブ レット 変 換 とは 若 干 異 なり,Fig.3に 示 すような 変 換 の 際 に ダウンサンプリングを 行 わないRedundant 1 ウェーブレット 変 換 である. 変 換 後 の 係 数 信 号 をダウンサンプリングせずに 全 て 保 持 しておくことにより, 逆 変 換 により 実 空 間 出 力 信 号 を 再 構 成 する 際 にeven 位 置 の 係 数 群 だけから 算 出 された 結 果 と,odd 位 置 の 係 数 群 だけで 算 出 された 結 果 の2 系 統 の 逆 変 換 結 果 を 得 る. 本 方 法 では,これらの 平 均 値 を 最 終 的 な 出 力 信 号 とする.なおFig.3において,フィルタバンクHはハ イパスフィルタであり, 画 像 の 高 周 波 成 分 信 号 Hを 出 力 する. また,フィルタバンクGはローパスフィルタであり, 画 像 の 平 均 成 分 信 号 Lを 出 力 する. パラメータ 設 定 Thn α 鮮 鋭 性 制 御 ノイズ 除 去 & 強 調 処 理 2HL' 2LH' 2HH' 2 階 層 逆 変 換 ' 1HL' 1LH' 1HH' 1 階 層 逆 変 換 出 力 画 像 2-1 画 像 処 理 全 体 フロー Fig.1に 一 般 的 な 画 像 処 理 全 体 のフローを 示 す. 本 稿 はFig.1 中 のフィルタ 処 理 部 での 新 規 処 理 方 法 につい ての 紹 介 である. ウェーブレット 変 換 H H 入 力 L G even odd even odd ウェーブレット 逆 変 換 2 H 2 2 H 2 2 G 2 2 G 2 + + + 出 力 スキャナ スキャナγ 補 正 変 倍 フィルタ プリンタγ 補 正 中 間 調 処 理 プリンタ Fig.3 Redundant Wavelet Transform. Fig.1 Image processing flow for B/W MFP. 2-2 フィルタ 処 理 Fig.2に 本 方 法 のフィルタ 処 理 フローを 示 す.まず 入 力 信 実 際 にはこれら1 次 元 変 換 を 主 走 査 方 向 と 副 走 査 方 向 に 適 用 した2 次 元 ウェーブレット 変 換 を 行 う.この 変 換 の 結 果 得 られる 係 数 が1 階 層 ウェーブレット 係 数 信 号 である.さらに 1 Redundantとは 冗 長 な の 意 味 また Fig.3では1 次 元 変 換 を 図 示 しているが 実 際 には 後 述 の 通 り2 次 元 変 換 を 行 う Ricoh Technical Report No.28 131 DECEMBER, 2002
本 方 法 では, 主 副 方 向 共 に 低 周 波 成 分 の 係 数 信 号 () 横 方 向 を 入 力 として2 階 層 ウェーブレット 変 換 まで 実 施 する. (Fig.4) この 変 換 結 果 の 係 数 が2 階 層 ウェーブレット 係 数 信 号 である. 本 方 法 ではこれらウェーブレット 係 数 信 号 を 用 い て, 文 字 エッジ 判 定 と 鮮 鋭 性 制 御 を 行 う. なお, 本 方 法 ではウェーブレット 基 底 関 数 に 整 数 型 で 可 縦 方 向 右 斜 め 方 向 左 斜 め 方 向 MAX 閾 値 判 定 Thb 文 字 エッジ 判 定 結 果 逆 変 換 可 能 な,Haarを 用 いる. Fig.5 Text edge classification 入 力 H(x) 1HH Fig.4 2-Dimensional 2-Level Redundant Wavelet Transform 2-2-2 ウェーブレット 係 数 による 文 字 エッジ 判 定 本 方 式 では 前 節 で 算 出 したウェーブレット 係 数 信 号 を 参 照 してウェーブレット 空 間 上 で 画 像 の 文 字 エッジ 判 定 を 行 う. そして 文 字 エッジ 判 定 結 果 に 基 づいて, 鮮 鋭 性 制 御 を 行 うた めのノイズ 除 去 閾 値 Thnと 強 調 係 数 αのパラメータ 設 定 を 行 い,これらのパラメータを 用 いて 高 周 波 ウェーブレット 係 数 信 号 に 対 する 簡 単 な 演 算 により 鮮 鋭 性 制 御 を 行 う. 具 体 的 な 方 法 を 以 下 に 説 明 する. (1) 文 字 エッジ 判 定 G(x) H(x) G(x) ウェーブレット 係 数 による 文 字 エッジ 判 定 は,Fig.5に 示 すように, 横 縦 右 斜 め 左 斜 めの4 方 向 について 文 字 エッジ 量 の 算 出 を 行 い,これらの 最 大 値 を 取 った 結 果 を 閾 値 Thbと 比 較 し,Thb 以 上 である 場 合 は 文 字 領 域,Thb 未 満 であ れば 絵 柄 領 域 との 判 定 を 行 う. 各 方 向 の に は, 入 力 画 像 の 文 字 部 や 線 画 部 ではウェーブレット 係 数 信 号 値 が 大 きく, 連 続 性 も 高 い 網 点 部 ではウェーブレット 係 数 信 号 値 に 大 きいものはあっても 連 続 性 が 低 い という 特 性 を 使 って 文 字 部 と 網 点 部 の 切 り 分 けを 実 施 している. 1HL 1LH 2HH 2HL 2LH 2LL 以 下 に 具 体 的 なエッジ 量 算 出 方 法 を 説 明 する. (1-1) 横 縦 方 向 横 縦 方 向 の には,2 階 層 のウェーブレット 係 数 を 使 用 する. まず, 横 方 向 の には 注 目 位 置 に 対 応 する2LH 係 数 と,その 左 右 2 係 数 ずつの 合 計 5 係 数 を 用 いて, 以 下 の 条 件 式 に 従 って 算 出 する. if ( 連 続 する5つの2LH 係 数 がすべて 同 符 号 ) else then 横 方 向 文 字 エッジ 量 5 係 数 中 の 最 小 絶 対 値 横 方 向 文 字 エッジ 量 0 (1) Fig.6に 横 方 向 の 様 子 を 図 示 する. 横 方 向 2LH 2LH 2LH 2LH 2LH -1-1 -1-1 -1-1 -1-1 注 目 位 置 に 対 応 する2LH 係 数 -1-1 -1-1 -1-1 -1-1 -1-1 -1-1 -1-1 -1-1 連 続 する5つの2LH 係 数 が 全 て 同 符 号 の 時 絶 対 値 が 最 小 のものを 注 目 の 横 方 向 文 字 エッジ 量 とする Fig.6 Horizontal text edge amount 縦 方 向 の 方 法 は, 横 方 向 の 算 出 方 法 と 同 様 であるので 詳 細 は 省 略 する.2LH 係 数 に 代 わり2HL 係 数 を 用 いて, 縦 方 向 の5 係 数 から 算 出 すれば 良 い. (1-2) 斜 め 方 向 斜 め 方 向 の には,2つの1 階 層 LL 係 数 を 減 算 して 求 まる 補 正 LLを 使 用 する. 補 正 LLは 右 斜 め 方 向 の Ricoh Technical Report No.28 132 DECEMBER, 2002
エッジ 量 を 表 現 する と, 左 斜 め 方 向 のエッジ 量 を 表 現 する の2 種 類 があり, 両 者 とも 文 字 特 徴 検 出 方 向 への 連 続 性 が 基 準 値 以 上 ある 場 合 に, 注 目 位 置 に 対 応 する 補 正 LL 値 を 文 字 エッジ 量 とする.ここで 連 続 性 は6つの 隣 接 補 正 LLの 差 分 値 (の 絶 対 値 )の 合 計 の 大 小 を みることで 代 用 している. 右 斜 め 方 向 (A) 右 斜 めエッジ 量 の 連 続 性 (B) 左 斜 めエッジ 量 の 連 続 性 Fig.7 NE-SW diagonal text edge amount 右 斜 め 方 向 の の 場 合, と それぞれについて, 右 斜 め 方 向 への 隣 接 補 正 LLの 差 分 値 の 合 計 を 算 出 し, 両 者 ともあらかじめ 定 めた 基 準 値 より 小 さい 場 合 に, 注 目 位 置 に 対 応 する 補 正 LL 右 値 を 文 字 エッジ 量 とする. 式 で 表 現 すると 以 下 の 通 りで ある. 注 目 位 置 に 対 応 する 注 目 位 置 に 対 応 する 0 1 0-1 0-1 -1 0-1 0 1-1 -1 0-1 -2 0-3 0-1 -4 0-1 -1-5 0-1 -1-6 0-1 -1 0-1 -1 1 0-1 -1 0-1 -1 同 じ 位 置 LL -1-1 - -1-1 LL -6-1 -2 0-3 -1 0 1-4 -1-1 0-5 同 じ 位 置 -1-1 LL -1-1 - LL (A)で 隣 接 の 差 分 値 合 計 が 閾 値 <thr1> 以 下 かつ (B)で 隣 接 の 差 分 値 合 計 が 閾 値 <thr2> 以 下 の 時 注 目 位 置 に 対 応 する ( -3)を 右 斜 め 方 向 の 文 字 エッジ 量 とする - - if (( 隣 接 の 差 分 値 合 計 thr1) && ( 隣 接 の 差 分 値 合 計 thr2)) then 右 斜 め 方 向 文 字 エッジ 量 注 目 位 置 に 対 応 する 値 else 右 斜 め 方 向 文 字 エッジ 量 0 (2) Fig.7に 右 斜 め 方 向 の 様 子 を 図 示 する. 左 斜 め 方 向 の 方 法 は, 右 斜 め 方 向 の 算 出 方 法 と 同 様 であるので 詳 細 は 省 略 する. 左 斜 め 方 向 への 差 分 値 合 計 を 算 出 し, 連 続 性 が 大 きい 場 合 に 値 を 文 字 エッジ 量 とする. 上 記 方 法 により 算 出 した, 横 縦 右 斜 め 左 斜 め4 方 向 の 文 字 エッジ 量 の 最 大 値 を 取 った 結 果 を 閾 値 Thbと 比 較 し, Thb 以 上 である 場 合 は 文 字 領 域,Thb 未 満 であれば 絵 柄 領 域 との 判 定 を 行 い, 結 果 を 文 字 エッジ 判 定 結 果 として 出 力 する. (Fig.5) 本 方 法 により, 網 点 分 離 の 様 な 多 大 なハードを 追 加 することなく, 文 字 線 画 部 と 網 点 部 の 判 定 を 可 能 とし, フィルタ 処 理 により 強 調 が 望 まれる 文 字 エッジ 部 の 検 出 を 実 現 している. (2) パラメータ 設 定 部 パラメータ 制 御 部 では(1)で 得 た 文 字 エッジ 判 定 結 果 に 基 づき, 次 の 鮮 鋭 性 制 御 部 にて 必 要 なノイズ 除 去 閾 値 Thnと 強 調 係 数 αの 設 定 を 行 う.ここでThn,αのパラメータは 周 波 数 帯 域 毎 に 設 定 する. 2-2-3 ウェーブレット 空 間 での 鮮 鋭 性 制 御 鮮 鋭 性 制 御 部 では, 各 帯 域 毎 に 設 定 されたThnとαを 用 い て 高 周 波 成 分 係 数 に 対 して 演 算 を 行 い 鮮 鋭 性 補 正 を 行 う. 具 体 的 には,Fig.8に 示 すように 対 象 とする 高 周 波 成 分 係 数 の 絶 対 値 がノイズ 除 去 閾 値 パラメータThnよりも 小 さい 場 合 に は, 補 正 後 の 係 数 信 号 の 値 を0に,Thn 以 上 の 場 合 には, 入 力 された 係 数 信 号 の 値 に 強 調 係 数 αを 乗 算 した 結 果 を 補 正 後 の 高 周 波 成 分 信 号 として 出 力 する. Ricoh Technical Report No.28 133 DECEMBER, 2002
Fig.8 Thresholding & Enhancement of Coef. このような 制 御 を 行 うことによって,ノイズ 除 去 閾 値 Thn より 小 さな 高 周 波 成 分 はノイズとして 除 去 されるため 平 滑 化 を 施 した 画 像 となり,ノイズ 除 去 閾 値 Thn 以 上 の 高 周 波 成 分 は 文 字 エッジ 信 号 としてα 倍 (α>1)されるため 差 分 成 分 が 増 大 し 強 調 処 理 を 施 した 画 像 が 得 られる. また, 本 方 法 では 前 節 の 文 字 エッジ 判 定 結 果 に 基 づいて Thnとαのパラメータを 設 定 しているため, 入 力 画 像 信 号 に 対 し 毎 に 適 切 な 平 滑 化 および 強 調 処 理 を 施 すことができ る. 2-3 実 験 結 果 Wout( 補 正 後 データ) -Thn Thn WoutαWin Win ( 入 力 高 周 波 成 分 ) thn:ノイズ 除 去 閾 値 α : 強 調 係 数 モノクロMFP 機 のスキャナ 部 から 読 取 った 網 点 上 文 字 画 像 を 入 力 画 像 として, 本 方 法 のフィルタ 処 理 を 行 った 結 果 を Fig.9に 示 す. 本 方 法 では, 例 えばFig.9(A)の 文 字 エッジ 部 で は,まず 文 字 エッジ 判 定 部 で 文 字 領 域 と 判 定 され,パラメー タ 設 定 部 にて 文 字 領 域 用 パラメータThn,αが 設 定 されること により,Fig.9(a)の 周 波 数 特 性 に 示 すように, 必 要 なシャー プネスを 確 保 することが 可 能 となる. Fig.9(A)の 背 景 網 点 部 においては, 文 字 エッジ 判 定 部 で 絵 柄 領 域 と 判 定 され,パラメータ 設 定 部 にて 絵 柄 領 域 用 パラ メータThn,αが 設 定 される.そして 鮮 鋭 性 制 御 部 において, 全 ての 帯 域 に 対 して 平 滑 化 処 理 が 施 される.よって 結 果 的 に Fig.9(b)の 周 波 数 特 性 に 示 すように, 完 全 な 平 滑 化 処 理 が 施 され, 網 点 モアレの 抑 制 および 粒 状 性 向 上 に 寄 与 している. Fig.9(B)はエッジ 量 に 応 じた 適 応 フィルタ 処 理 を 行 う 従 来 法 の 結 果 である. 従 来 法 では, 全 帯 域 を 同 時 に 強 調 するよう なラプラシアンフィルタが 適 用 されるため, 文 字 に 必 要 な シャープネスを 確 保 すべく 強 調 すると, 背 景 網 点 部 のエッジ 量 が 比 較 的 大 きな 部 分 でも 強 調 が 施 され, 粒 状 性 が 悪 化 して いた. 本 方 法 では, 文 字 エッジ 判 定 により 文 字 部 と 絵 柄 ( 網 点 ) 部 との 切 り 分 けを 行 うことにより, 網 点 部 で 平 滑 化 処 理 が 施 され, 従 来 法 と 比 較 して 網 点 粒 状 性 が 向 上 している. Fig.9 The result of proposed and conventional method Ricoh Technical Report No.28 134 DECEMBER, 2002
3. 成 果 入 力 画 像 信 号 を 複 数 の 周 波 数 帯 域 から 構 成 されるウェー ブレット 係 数 に 分 解 し, 文 字 エッジ 部 の 判 定 結 果 に 基 づき, 各 係 数 に 対 する 簡 単 な 演 算 により 鮮 鋭 性 制 御 を 行 う 新 規 フィ ルタ 処 理 アルゴリズムを 開 発 した. 本 方 法 によるフィルタ 処 理 は, 画 像 の 各 所 において 周 波 数 帯 域 毎 に 異 なる 特 性 のフィルタを 構 成 して 鮮 鋭 性 制 御 を 行 っているため, 入 力 画 像 に 応 じて 必 要 な 周 波 数 帯 域 には 強 調 を 行 い,その 他 の 周 波 数 帯 域 には 平 滑 化 を 行 うことで, シャープネスと 粒 状 性 の 両 立 が 実 現 可 能 である. Ricoh Technical Report No.28 135 DECEMBER, 2002
Ricoh Technical Report No.28 136 DECEMBER, 2002