卒 業 研 究 報 告

Transcription

1 特 別 研 究 報 告 書 題 目 画 像 内 特 徴 抽 出 に 基 づく 非 写 実 的 描 画 方 法 の 検 討 ~ 芸 術 的 効 果 生 成 のための 画 像 処 理 ソフトウェアの 開 発 ~ A study of Non-Photorealistic Rendering based on feature extraction of two-dimensional digital images ~Development of an image processing software for artistic effects generation~ 指 導 教 員 山 本 真 行 助 教 授 報 告 者 学 籍 番 号 : 氏 名 : 渡 辺 量 也 平 成 19 年 2 月 19 日 高 知 工 科 大 学 大 学 院 工 学 研 究 科 基 盤 工 学 専 攻 電 子 光 システム 工 学 コース

2 論 文 概 要 1 目 的 各 種 ディジタル 機 器 の 普 及 によりディジタル 画 像 処 理 が 一 般 化 され,その 需 要 と 重 要 性 が 増 して いる. 取 得 した 画 像 ( 写 真 )から 多 様 な 効 果 を 持 った 画 像 を 誰 でも 簡 単 に 生 成 できることは, 単 に 撮 影 した 画 像 という 用 途 を 超 えて, 新 たな 素 材 と して 活 用 できるといえる. 本 研 究 は,コンピュータ 画 像 処 理 によって2 次 元 ディジタル 画 像 に 非 写 実 的 効 果 を 与 えることに より, 多 様 な 表 現 の 画 像 を 自 動 生 成 させるシステ ムの 構 築, 及 びそれに 特 化 した 画 像 処 理 ソフトウ ェアの 開 発 を 目 的 とする. 2 ソフトウェア 開 発 非 写 実 的 効 果 とは, 油 彩 画 調, 水 彩 画 調, 鉛 筆 画 調 など 様 々な 表 現 効 果 のことを 示 す.これらの 関 連 研 究 や 関 連 ソフトウェアの 現 状 を 踏 まえ, 本 研 究 では 特 に 鉛 筆 画 の 生 成 に 着 目 し, 既 存 処 理 の 考 察 検 討 を 行 い 鉛 筆 画 効 果 の 生 成 方 法 を 開 発 し た.さらに,その 応 用 として 認 識 技 術 を 取 り 入 れ た 際 の 局 所 処 理 による 顔 画 像 の 非 写 実 化 処 理 につ いて 検 討 した. 処 理 フロー 対 象 画 像 入 力 階 調 数 低 減 エッ ジ 検 出 付 加 ランダムテクスチャマッピング ハイライトぼかし ストローク 付 加 輪 郭 検 出 付 加 テクスチャマッピング 結 果 画 像 出 力 図 2 処 理 フロー ジ 検 出,テクスチャマッピング,ストローク 生 成 などが 挙 げられる. 鉛 筆 画 に 特 化 した 処 理 手 法 で は,これらを 図 2に 示 す 流 れで 組 み 合 わせること を 様 々な 試 行 の 結 果 から 見 出 し, 最 終 的 に 一 括 処 理 可 能 な 機 能 を 有 するソフトウェアが 仕 上 がった. 4 処 理 結 果 本 研 究 で 開 発 した 画 像 処 理 ソフトウェアにより 生 成 された 鉛 筆 画 風 画 像 の 生 成 例 を 図 3に 示 す. 3 処 理 フロー さまざまな 画 像 処 理 フィルタや 濃 度 変 換 処 理 を 組 み 合 わせることにより, 非 写 実 的 効 果 を 生 成 さ せる. 図 1 のような 処 理 機 能 を 実 装 したソフトウ ェアを 開 発 し 非 写 実 的 効 果 の 生 成 を 行 った. 主 な 処 理 項 目 としては, 階 調 数 低 減, 輝 度 補 正,エッ 図 1 非 写 実 的 画 像 生 成 ソフトウェア 図 3 鉛 筆 画 処 理 実 行 結 果 ( 高 知 工 科 大 学 A 棟 ) 5 考 察 とまとめ 画 像 に 非 写 実 的 効 果 を 与 え, 様 々な 美 術 的 表 現 を 持 つ 画 像 を 自 動 生 成 させるシステムを 構 築 した. 同 システムを 用 いた 検 討 の 結 果, 画 像 の 濃 度 分 布 を 考 慮 した 多 様 な 角 度 のストロークの 重 ね 書 きによっ て, 良 好 な 鉛 筆 画 風 画 像 を 短 時 間 かつ 簡 潔 なプロセ スで 生 成 することに 成 功 した( 図 3). 人 物 画 の 顔 画 像 においては 局 所 的 に 処 理 を 施 すことによる 結 果 画 像 に 対 する 影 響 を 調 べ, 局 所 処 理 の 適 用 による 画 質 改 善 について 良 好 な 結 果 が 得 えられた.

3 目 次 第 1 章 序 論 背 景 と 目 的 論 文 構 成... 3 第 2 章 非 写 実 的 表 現 非 写 実 的 効 果 非 写 実 的 画 像 とは 芸 術 的 効 果 ( 表 現 の 多 様 性 ) 非 写 実 的 画 像 の 生 成 に 関 する 研 究 取 り 組 み NON-PHOTO REALISTIC RENDERING(NPR) SYNERGISTIC IMAGE CREATOR (SIC) 関 連 分 野 活 用 分 野 既 存 の 画 像 処 理 ソフトウェア 非 写 実 的 画 像 作 成 に 特 化 した 画 像 処 理 ソフトウェアの 開 発 開 発 環 境 動 作 環 境 GUI 設 計... 7 第 3 章 コンピュータにおける 画 像 処 理 ディジタル アナログからディジタルへの 変 換 ディジタル 画 像 の 表 現 コンピュータ 画 像 処 理 画 像 処 理 技 術 具 体 的 画 像 処 理 例 ( 特 徴 量 の 抽 出 比 較 認 識 ) 第 4 章 鉛 筆 画 風 画 像 の 生 成 鉛 筆 画 の 特 徴 鉛 筆 画 風 画 像 生 成 方 法 の 検 討 ストロークによる 鉛 筆 画 風 画 像 生 成 処 理 の 流 れ i

4 4.3.2 階 調 数 の 操 作 輪 郭 抽 出 ストローク ぼかし テクスチャ ストロークのクロスハッチング 技 法 ストロークの 重 ね 描 画 完 成 画 像 からの 新 たなアプローチ 輝 度 の 調 整 顔 画 像 認 識 技 術 を 利 用 した 非 写 実 効 果 生 成 手 法 の 提 案 顔 画 像 における 自 動 処 理 の 問 題 点 局 所 処 理 の 方 法 章 結 果 鉛 筆 画 風 画 像 生 成 顔 画 像 における 局 所 処 理 の 適 用 ソフトウェア 開 発 第 6 章 考 察 問 題 点 と 課 題 考 察 問 題 点 と 課 題 ソフトウェア 初 期 画 像 及 び 処 理 パラメータの 結 果 画 像 への 影 響 処 理 方 法 感 性 表 現 と 評 価 方 法 展 望 将 来 性 第 7 章 結 論 謝 辞 参 考 文 献 付 録 ii

5 第 1 章 序 論 本 章 では 研 究 の 背 景 と 主 なる 目 的 および 本 論 文 の 構 成 を 示 す 1.1 背 景 と 目 的 近 年 パーソナルコンピュータ(パソコン=PC)はその 性 能 を 上 げ 益 々 発 展 し 各 家 庭 に 1 台 から 各 自 1 台 へと 更 なる 普 及 を 見 せている 企 業 ではなく 一 般 家 庭 でもコ ンピュータの 知 識 さえあれば ある 程 度 高 度 な 処 理 が 行 えるようになった また コンピ ュータだけでなく ディジタルカメラやプリンタ スキャナなどの 高 性 能 化 と 低 価 格 化 に より 個 人 でもある 程 度 高 度 な 作 業 が 可 能 となった 例 えば ディジタルカメラで 撮 影 し た 写 真 を 自 宅 でレタッチ 加 工 してプリントアウトしたり ディジタルビデオカメラで 撮 影 した 動 画 を 編 集 しメディアに 記 録 させたり 画 像 処 理 ( 加 工 や 補 正 )を 行 いブログやホー ムページなどのWEB 素 材 を 制 作 したりできるほか ポスター 年 賀 状 などに 使 用 する 画 像 のデザインなども 個 人 で 簡 単 に 行 える さらに その 他 の 用 途 としては アニメ 映 画 ゲーム をはじめとしたエンターテイメント 分 野 医 療 分 野 工 業 分 野 など 様 々である 私 たちの 生 活 の 様 々な 場 面 でディジタル 画 像 が 扱 われており 画 像 処 理 知 識 の 少 ない 人 で も 扱 うことが 容 易 に 可 能 になってきた しかし 身 近 になってきた 反 面 画 像 処 理 知 識 の ない 人 や デザイン 加 工 の 不 得 意 な 人 などにとってはコンピュータ(ここでは 主 に 画 像 処 理 ソフトウェア)というもの 扱 いが 難 しく 感 じるのが 現 状 である そこで これらディジタル 画 像 処 理 の 需 要 と 重 要 性 を 踏 まえ 解 析 処 理 加 工 再 生 成 などの 工 程 を 自 動 化 しディジタル 画 像 ( 写 真 )から 多 様 な 効 果 を 持 った 画 像 を 誰 でも 簡 単 に 生 成 させることが 出 来 れば それは 同 時 に 表 現 の 幅 を 広 げ ディジタル 画 像 が 単 に 撮 影 した 画 像 という 用 途 を 超 えて 新 しいコミュニケーションの 道 具 のひとつとして 活 用 でき るのではないかと 考 えた 本 研 究 では この 多 様 な 表 現 の 作 成 というものをテーマに 具 体 的 には 非 写 実 的 な 画 像 を 自 動 で 簡 単 に 生 成 できることを 目 指 した 主 な 研 究 目 的 は コンピュータ 画 像 処 理 によ ってディジタル 画 像 に 非 写 実 的 画 像 効 果 ( 芸 術 的 効 果 )を 与 え 様 々な 表 現 の 画 像 を 自 動 生 成 させるシステムの 構 築 及 びそれに 特 化 した 画 像 処 理 ソフトウェアを 開 発 することであ る( 図 1.1 研 究 概 念 図 参 照 ) 本 論 文 では 特 に 鉛 筆 画 風 画 像 の 生 成 に 着 目 し 現 在 の 主 な 手 法 とその 問 題 点 などの 考 察 を 交 え 新 しい 手 法 を 検 討 し その 生 成 方 法 を 確 立 しを 示 した さらに 顔 画 像 において 画 像 全 体 を 処 理 対 象 とする 一 括 処 理 の 際 に 顕 著 となる 暗 部 や 細 部 の 潰 れ 崩 れなどの 問 題 解 決 方 法 として 顔 面 画 像 認 識 を 視 野 に 入 れた 局 所 処 理 を 検 討 した 1

6 写 真 画 像 写 真 撮 影 ディジタルカメラ ディジタルビデオカメラ 携 帯 電 話 Web カメラ 写 実 的 画 像 用 途 ブログ ホームページ ポスター 名 刺 年 賀 状 ロゴ ステッカー T シャツ コンピュータ 画 像 処 理 ( 加 工 変 換 補 正 再 構 成 ) による 表 現 の 付 加 主 な 研 究 課 題 その 処 理 手 法 は? 人 間 的 な 芸 術 効 果 を 与 えるには? ユーザーの 意 図 を 反 映 させるには? 使 いやすいソフトウェアとは? 画 像 処 理 ソフトウェア 非 写 実 的 効 果 様 々な 表 現 効 果 油 彩 画 調 水 彩 画 調 鉛 筆 画 調 色 鉛 筆 画 調 クレヨン クレパス 調 木 炭 調 水 墨 画 調 貼 り 絵 調 モザイク 調 点 画 調 線 画 調 漫 画 調 イラスト 調 ステンドグラス 調 ポリゴン 調 コイン 調 図 1.1 研 究 概 念 図 2

7 1.2 論 文 構 成 本 論 文 は 全 7 章 から 構 成 されており 本 章 ( 第 1 章 )の 研 究 背 景 と 目 的 に 続 き 次 章 の 第 2 章 では 非 写 実 的 表 現 についてその 基 本 的 な 説 明 及 び 関 連 研 究 の 現 状 関 連 分 野 や 活 用 分 野 芸 術 的 表 現 を 生 み 出 す 画 像 処 理 ソフトウェアと 実 験 用 に 開 発 を 進 めてきたソフト ウェアの 開 発 環 境 や 現 有 機 能 を 説 明 する 第 3 章 では ディジタル 画 像 と 画 像 処 理 技 術 に ついて 特 に 本 研 究 で 扱 った 処 理 などの 理 論 と 方 法 を 画 像 例 を 交 えながら 説 明 し 第 4 章 で は 今 回 の 実 験 内 容 として 特 に 注 目 して 取 り 組 んだ 鉛 筆 画 風 画 像 の 生 成 とその 応 用 的 処 理 として 顔 画 像 認 識 を 取 り 入 れた 顔 画 像 の 非 写 実 化 についての 検 討 を 記 す その 後 第 5 章 で 実 験 内 容 の 総 合 的 な 結 果 を 述 べ 第 6 章 で 考 察 問 題 点 を 挙 げると 共 に 今 後 の 展 望 将 来 性 を 述 べた 最 後 に 第 7 章 で 結 論 を 示 した 3

8 第 2 章 非 写 実 的 表 現 本 章 では 本 研 究 の 主 なテーマである 非 写 実 的 表 現 非 写 実 的 効 果 非 写 実 的 画 像 とは どのような 概 念 なのかを 説 明 し 関 連 研 究 や 画 像 処 理 ソフトウェアの 現 状 について 述 べる 2.1 非 写 実 的 効 果 非 写 実 的 画 像 とは ディジタルカメラなどで 得 られた 画 像 を 写 実 画 像 と 呼 ぶのに 対 し 画 家 やクリエイター など 人 間 が 描 いたような 絵 画 や 抽 象 的 で 複 雑 な 形 態 の 画 像 など 様 々な 風 合 いを 持 たせた 画 像 を 非 写 実 的 画 像 と 呼 ぶ その 例 を4 種 類 の 画 像 ( 図 2.1(a)~(d))とともに 示 す このような 画 像 表 現 の 例 としては 油 彩 画 調 水 彩 画 調 水 墨 画 調 鉛 筆 画 調 色 鉛 筆 画 調 クレヨン クレパス 調 木 炭 調 貼 り 絵 調 モザイク 調 点 画 調 線 画 調 漫 画 調 イラスト 調 ステンドグラス 調 ポリゴン 調 コイン 調 などがある (a) 元 画 像 (b)イラスト 調 (c) 銅 版 画 調 (d) 貼 り 絵 調 図 2.1 非 写 実 画 像 例 ( 本 研 究 開 発 ソフトウェアA-IPro 使 用 ) 4

9 2.2 芸 術 的 効 果 ( 表 現 の 多 様 性 ) 非 写 実 的 画 像 の 中 でも 油 絵 調 や 水 彩 画 調 鉛 筆 画 調 画 像 といった 主 に 人 間 が 描 くような 画 像 の 生 成 は 人 間 の 感 性 を 表 現 しアーティストが 描 いたような 風 合 いを 持 たせること すなわち 画 像 処 理 という 分 野 の 感 性 情 報 処 理 あるいは 芸 術 工 学 的 領 域 に 位 置 づけられる 非 写 実 的 効 果 を 生 成 するということは 芸 術 的 効 果 を 持 たせることとも 換 言 できる 芸 術 と 科 学 は 相 反 するというイメージもあるが 科 学 の 力 (コンピュータ 画 像 処 理 )を 使 い 芸 術 的 効 果 を 生 み 出 そうという 試 みである たとえば 筆 によるストロークの 角 度 や 形 状 筆 圧 による 微 妙 な 濃 度 や 太 さの 変 化 何 通 りもの 色 の 種 類 とその 分 布 など 様 々な 要 因 によって 浮 かび 上 がる 個 々のアーティスト による 表 現 の 違 い 独 自 の 描 画 法 不 規 則 性 曖 昧 さなどをコンピュータで 構 築 再 現 す ることが 出 来 れば 自 分 の 感 じたことや 想 いを 画 像 に 付 加 し 視 覚 的 に 伝 えることによって 誰 でも 簡 単 に 表 現 の 多 様 性 を 生 み 出 すことが 可 能 になる このような 自 己 表 現 の 豊 かさを もった 非 写 実 的 表 現 は 相 手 に 対 しいろいろな 印 象 を 与 えることができると 同 時 に 抽 象 化 の 効 果 により 近 年 盛 んなインターネットでのコミュニケーションにおける 個 人 情 報 の 保 護 にも 役 立 つと 考 えられる 2.3 非 写 実 的 画 像 の 生 成 に 関 する 研 究 取 り 組 み コンピュータ 性 能 の 向 上 やインターネットの 普 及 により これらの 研 究 が 盛 んとなって いる コンピュータを 用 いて 非 写 実 的 画 像 を 生 成 する 手 法 は 一 般 的 に Non-Photorealistic Rendering (NPR) と 呼 ばれている(2.3.1 項 で 説 明 ) 処 理 画 像 の 入 力 は 2 次 元 画 像 と3 次 元 画 像 があり 本 研 究 は2 次 元 画 像 を 入 力 とする 生 成 に 当 てはまる 本 研 究 と 同 じ2 次 元 画 像 を 入 力 とする NPR 法 には ボロノイ 図 によるアート 風 画 像 生 成 法 [1]や 多 重 スケール 解 析 を 用 いた 非 写 実 的 顔 画 像 生 成 法 [2]など 様 々な 生 成 法 が 提 案 されている また Synergistic Image Creator (SIC) と 呼 ばれる 写 真 画 像 を 細 かく 特 徴 ごとに 分 解 し 絵 画 表 現 を 付 加 する ことで 多 彩 な 視 覚 表 現 を 作 り 出 せるアルゴリズムの 研 究 開 発 も 進 められている[3] Non-Photo Realistic Rendering(NPR) 現 在 一 般 的 に CG(Computer Graphic) 分 野 の 研 究 において 写 真 のような 写 実 的 な 画 像 を 生 成 する 技 術 を Photo Realistic Rendering と 呼 ぶのに 対 し 本 研 究 のように 非 写 実 的 画 像 を 生 成 する 技 術 は Non-Photorealistic Rendering(NPR)と 呼 ばれている NPR 技 術 は 歴 史 的 には SIGGRAPH 1の 論 文 セッション 名 として 初 めて 登 場 したとされる 比 較 的 新 しい 研 究 開 発 分 野 であり 最 先 端 CG 技 術 として 様 々な 研 究 が 行 われている 5

10 1 SIGGRAPH とは ACM(Association of Computing Machinery)が 主 催 するコ ンピュータグラフィックの 学 会 および 展 示 会 CGに 関 する 学 術 論 文 発 表 先 端 技 術 を 使 ったアート 展 CG 作 品 のコンテスト 企 業 による 製 品 展 示 など 研 究 者 だけでなく 業 界 に 携 わる 人 々の 大 きな 注 目 を 集 めるイベントである Synergistic Image Creator (SIC) 非 写 実 的 画 像 生 成 において 人 間 の 感 性 を 考 慮 した 画 像 生 成 として SIC というものが 存 在 する SIC とは 写 真 から 特 徴 を 抽 出 し それをもとに 絵 画 的 な 作 品 を 生 み 出 すプロ グラムのことである 画 像 の 特 徴 を 人 間 の 感 覚 に 合 わせて 段 階 的 に 処 理 するという 独 自 の 特 徴 がある 複 数 のプラグインに 分 かれており それらを 変 更 することで 個 性 的 な 画 像 の 表 現 を 実 現 させている 現 在 世 界 中 の webcam に 写 っている 画 像 をもとに SIC で CG を 作 成 し それを 作 品 のもとになった webcam の 管 理 者 に 見 てもらい その CG に 関 するコ メントと CG をまとめて 一 つの 作 品 として 展 示 するというプロジェクトや 多 くのプログ ラマーが 協 力 して SIC の 表 現 力 を 増 やしていこうというプロジェクトがあり これらイン タラクティブなプロジェクトにより 更 なる 発 展 が 期 待 されている 2.4 関 連 分 野 活 用 分 野 NPR の 手 法 やその 応 用 分 野 は 多 種 多 様 である 映 画 アニメ ポスター インターネッ ト ブログ 年 賀 状 名 刺 などに 使 用 するグラフィックのデザインにおけるディジタル 画 像 の 表 現 においてはその 活 用 度 は 非 常 に 大 きいといえる 絵 画 のような 表 現 を 作 り 出 す フィルタなどは 一 般 的 なフォトレタッチソフトやグラフィック 系 ソフトの 機 能 のひとつと して 付 いている 場 合 が 多 い アニメーションの 分 野 では 3D により 構 成 された 各 オブジ ェクトをシェーディングによりアニメ 調 に 変 換 する 技 術 や 漫 画 の 陰 影 テクニックやデフ ォルメを 取 り 入 れた 描 画 技 術 など 様 々な 分 野 で NPR 技 術 が 研 究 され 活 用 されている 2.5 既 存 の 画 像 処 理 ソフトウェア 芸 術 的 効 果 を 有 するフィルタなどを 用 いることで 絵 画 風 画 像 への 変 換 が 可 能 なソフトウ ェアや その 変 換 処 理 過 程 がプログラムとしてシステム 化 されており パラメータ 等 を 任 意 に 変 更 することで 指 定 の 非 写 実 的 画 像 の 生 成 が 可 能 なソフトウェア( 画 像 処 理 ソフトや フォトレタッチソフト)が 存 在 する 代 表 例 としては Photoshop[4]や Gimp[5]などが 挙 げられる これらのソフトで 得 られる 画 像 は 必 ずしもユーザの 望 むものになるとは 言 い 難 く 多 様 な 結 果 を 得 られるものの 生 成 過 程 での 試 行 錯 誤 性 は 非 常 に 高 い また 機 能 が 多 く 用 途 が 充 実 している 反 面 複 雑 になりすぎている 面 があり 画 像 処 理 に 関 する 専 門 知 識 6

11 の 必 要 性 が 感 じられる 場 面 も 少 なくない 2.6 非 写 実 的 画 像 作 成 に 特 化 した 画 像 処 理 ソフトウェアの 開 発 上 述 のように 様 々な 非 写 実 的 効 果 を 生 み 出 す 画 像 処 理 ソフトウェアが 既 に 存 在 してい る そこで 開 発 するソフトウェアのテーマは 非 写 実 的 描 画 に 特 化 することと よりグ ラフィカルで 視 覚 的 な GUI を 取 り 入 れ ユーザの 意 図 を 反 映 させ 易 いような 仕 様 とするこ とである 本 研 究 では 多 様 な 効 果 をもった 画 像 の 作 成 を 行 う 際 にいくつもの 処 理 を 組 み 合 わせていくため 画 像 の 色 調 変 更 輝 度 補 正 サイズ 変 更 フォーマット 変 換 をはじめ 様 々な 機 能 が 必 要 となる それらの 必 要 な 機 能 を 随 時 追 加 しながら 実 験 用 の 画 像 処 理 ソ フトウェアとして 開 発 を 進 めた 最 終 的 には 非 写 実 的 画 像 処 理 に 特 化 した 一 般 公 開 可 能 な 画 像 処 理 ソフトウェアの 開 発 を 目 指 したが 本 研 究 の 範 囲 では まだ 一 般 的 な 製 品 に 比 べると 開 発 段 階 の 領 域 を 超 えない 以 下 に その 開 発 環 境 や 動 作 環 境 を 示 す 開 発 環 境 動 作 環 境 本 研 究 における 画 像 処 理 ソフトウェアの 開 発 は Visual Studio.net Version2003 の 環 境 の もと 全 て Visual C# 言 語 によって 行 った また 処 理 を 実 行 する PC は 表 2.1 に 示 す 通 り である 表 2.1 動 作 環 境 (PCスペック) OS Microsoft Windows XP Professional Version2002 プロセッサ Intel(R) Pentium(R)4 CPU 2.40GHz(2.41GHz) メインメモリ 496MB RAM HDD ファイルシステム:NTFS 容 量 :74.5G ビデオエンジン Intel(R) 82865G Graphics Controller VRAM 容 量 64.0MB モニタ I-O DATA LCD-A173Vx ディスプレイモード (32bit)(60Hz) GUI 設 計 GUI(Graphical User Interface)とは ユーザに 対 する 情 報 の 表 示 にグラフィックを 使 用 し 基 礎 的 な 操 作 をマウスなどのポインティングデバイスによって 行 なうことができる ユーザインターフェースのことである この GUI の 構 成 やデザインは 使 いやすさを 追 求 す る 上 で 非 常 に 重 要 なものとなる ボタン 配 置 画 像 情 報 処 理 情 報 選 択 項 目 方 法 値 設 定 など ソフトウェアの 操 作 性 に 関 わる 重 要 な 役 割 を 果 たすため より 簡 単 明 瞭 かつ 機 7

12 能 性 充 実 の 両 立 が 必 要 とされる 図 2.2 に Visual C#による GUI の 作 成 画 面 の 例 を 示 す 図 2.2 Visual C#によるGUIの 作 成 の 例 8

13 第 3 章 コンピュータにおける 画 像 処 理 コンピュータにおいては 画 像 情 報 をはじめとするデータはすべてディジタルとして 処 理 されている 本 研 究 におけるパソコンでの 画 像 処 理 においても 画 像 は 全 てディジタル データとして 扱 われることとなる 離 散 化 した 数 値 では 本 来 定 義 できない 連 続 情 報 である アナログデータのままでは コンピュータで 扱 うことが 出 来 ないからである 本 章 では 画 像 処 理 におけるディジタルデータの 扱 いや 基 本 的 な 画 像 処 理 手 法 の 理 論 を 実 際 の 画 像 処 理 例 を 踏 まえながら 説 明 していく 3.1 ディジタル パソコンやネットワークの 普 及 に 伴 い 文 字 音 声 画 像 映 像 などの 情 報 はアナログ からディジタルへと 急 速 に 移 行 している 昨 今 の 地 上 テレビ 放 送 のディジタル 化 もその 一 例 であり 今 後 ますます ディジタル 化 は 進 んで 行 くと 考 えられる ディジタル 化 には 多 くの 利 点 があり 表 3.1 に 示 すような 一 般 的 ディジタル 情 報 の 利 点 と 主 に 絵 画 を 扱 う 際 の 利 点 がある 表 3.1 ディジタル 情 報 の 利 点 ディジタル 情 報 の 利 点 コンピュータ 処 理 が 可 能 劣 化 が 少 ない 複 製 加 工 編 集 再 利 用 が 容 易 計 算 処 理 検 索 伝 達 が 容 易 ノイズに 強 くデータを 完 全 に 保 持 できる データの 圧 縮 暗 号 化 が 可 能 ディジタル 画 像 ( 主 に 絵 画 を 扱 う 際 )の 利 点 部 分 的 にコピー カット ペーストが 可 能 重 複 パターンやグラデーションの 描 画 が 容 易 色 塗 り 作 業 の 柔 軟 性 保 存 管 理 も 手 間 がかからなく 利 便 性 が 高 い 再 加 工 再 利 用 も 容 易 プリンター スキャナ タブレットなどの 進 歩 で よりディジタルでのデザイン 編 集 制 作 が 盛 んに 9

14 3.1.1 アナログからディジタルへの 変 換 画 像 をコンピュータで 処 理 するためには 画 像 がコンピュータに 理 解 さなければならず そのため 画 像 を 数 値 (データ)として 扱 うことが 必 要 となる 写 真 や 絵 画 などのアナログ 画 像 はその 濃 淡 が 連 続 的 に 変 化 しているため 離 散 的 に 区 別 したディジタル 値 に 変 換 (AD 変 換 )しなければならない 手 順 として 標 本 化 量 子 化 符 号 化 の 過 程 を 取 る 一 般 的 に 静 止 画 像 は 平 面 座 標 (x,y)に 対 する 連 続 関 数 f(x,y)として 表 現 す ることができる それぞれの 座 標 点 は 輝 度 情 報 を 持 っており 2 次 元 信 号 として 考 えるこ とができる 図 3.1 に アナログ 信 号 が 標 本 化 (サンプリング=Sampling)され さらに 量 子 化 符 号 化 を 経 て ディジタル 信 号 に 変 換 される 過 程 を 示 す 標 本 化 によって 連 続 的 な 値 をとびとびの 値 にし さらにその 値 を 量 子 化 によって 一 定 の 段 階 ( 量 子 化 レベル)に 整 数 値 として 区 分 し その 整 数 値 を 読 み 取 り2 進 数 に 再 変 換 し( 符 号 化 ) ディジタル 信 号 となる 図 3.2 にアナログ 画 像 とディジタル 画 像 の 例 を 示 す アナログ 画 像 は 連 続 的 に 表 さ れているのに 対 し ディジタル 画 像 は 離 散 的 に 表 現 されている アナログ 標 本 化 量 子 化 符 号 化 ディジタル 図 3.1 アナログからディジタルへの 変 換 過 程 図 3.2 アナログ 画 像 とディジタル 画 像 10

15 3.1.2 ディジタル 画 像 の 表 現 ここでは AD 変 換 によりディジタルデータとして 表 された 画 像 をコンピュータ 上 でどの ように 扱 っているかを 説 明 する 1) 画 像 の 種 類 (ベクタ 形 式 とラスタ 形 式 ) コンピュータ 上 で 画 像 を 表 現 する 方 法 として, 主 にラスタ 表 現 とベクタ 表 現 の2 種 類 が ある 画 像 を 点 の 座 標 とそれを 結 ぶ 線 や 面 の 数 学 的 方 程 式 のパラメータ および 塗 りつ ぶしや 線 図 形 ( 方 形 弧 楕 円 曲 線 など) 特 殊 効 果 などの 描 画 情 報 の 集 合 をデータと して 表 現 した 形 式 をベクタ 形 式 (ベクトル 形 式 )と 呼 ぶ それに 対 し 画 像 を 色 のついた 点 (ピクセル)の 羅 列 として 表 現 する 形 式 をラスタ 形 式 (ビットマップ 形 式 )という 本 研 究 で 扱 う 形 式 ( 画 像 )は ラスタ 形 式 ビットマップ 画 像 として 処 理 する ベクタ 形 式 の 画 像 は 表 示 する 都 度 計 算 を 行 なって 画 像 を 再 現 するため 画 像 を 拡 大 縮 小 したり 変 形 したりしても 輪 郭 の 処 理 などがその 都 度 行 なわれ 解 像 度 に 見 合 った 画 質 が 維 持 される また 基 本 的 にサイズの 縮 小 や 変 形 などによってデータが 失 われること はなく ディティールや 鮮 明 さが 損 なわれない 線 や 面 の 輪 郭 がはっきりした 人 工 的 な 画 像 (イラストやロゴマーク 図 面 など)を 作 成 する 場 合 に 適 している しかし 本 研 究 の 原 画 像 として 適 切 な 写 真 や 自 然 画 などを 表 現 するには 向 かないため こうした 画 像 はラスタ 形 式 として 扱 われるのが 一 般 的 である ラスタ 形 式 の 画 像 は 拡 大 や 変 形 するとドットが 正 方 形 や 長 方 形 になるため 画 像 が 粗 くなりディティールが 損 なわれることがある 表 3.2 にベクタ 形 式 とラスタ 形 式 の 特 徴 をまとめた 表 3.2 ラスタ 形 式 とベクタ 形 式 の 特 徴 ラスタ 形 式 (ビットマップ 画 像 ) ベクタ 形 式 (ベクトル 画 像 ) 編 集 単 位 点 (ピクセル=Pixel) 図 形 ( 線 円 多 角 形 ) 変 形 ( 拡 大 縮 小 ) ディティールが 損 なわれる ディティールが 損 なわれない 使 用 例 写 真 自 然 画 絵 画 線 画 図 形 イラスト ロゴマーク 対 応 ソフト ペイント 系 ドロー 系 2) 画 像 生 成 モデル( 位 置 情 報 と 輝 度 情 報 ) AD 変 換 して 得 られた 画 像 は 画 素 (ピクセル=pixel)とよばれる 小 さな 点 の 集 まりとし て 表 現 される 正 方 形 格 子 で 横 方 向 ( 水 平 方 向 )にM 個 縦 方 向 ( 垂 直 方 向 )にN 個 の マス 目 に 分 けるとき 画 像 はM N 個 の 画 素 から 構 成 されることになり その 画 像 をM 画 素 N 画 素 の 画 像 と 考 えることができる 各 画 素 はそれぞれ 輝 度 値 ( 濃 度 値 や 画 素 値 ともいう)とよばれる 明 るさの 値 を 持 ってお 11

16 り 量 子 化 数 に 基 づく 階 調 で 表 現 される たとえば2 階 調 の 画 像 というのは0( 黒 )と1( 白 ) の2 値 で 表 現 された 白 黒 2 色 のものをいう ディジタル 画 像 は 図 3.3 のように 座 標 点 (i,j)において 輝 度 値 f(i,j)を 持 つと 考 えると 2 次 元 ピクセルを 横 方 向 1からMまでの 要 素 iならびに 縦 方 向 1からNまで の 要 素 jの2 次 元 集 合 として 表 すことができる 従 って 画 像 情 報 は 要 素 iとjを 用 いて 配 列 として 表 すことが 可 能 であり この2 次 元 配 列 での 画 像 の 表 現 がプログラムを 作 成 しコンピュータで 処 理 する 場 合 において 重 要 とな っている 図 3.3 ディジタル 画 像 の 表 現 3) 画 像 生 成 モデル( 色 の 表 現 ) 通 常 ディジタル 画 像 の 色 は R G B それぞれの 画 素 値 で 表 現 し 加 法 混 色 の 原 理 に 従 って 合 成 されてディスプレイに 表 示 される RGB とは それぞれ Red( 赤 ) Green( 緑 ) Blue( 青 )の 省 略 形 で 光 の 三 原 色 であり 光 を 合 成 して 画 面 に 色 を 出 すような 場 合 に 使 用 され る 例 えば R G B がともにゼロというのは どの 色 も 発 色 させないことなので 黒 となり 三 原 色 とも 最 も 強 く 発 光 させた 時 の 色 が 白 となる つまり 三 原 色 を 同 量 混 ぜていくと 真 っ 黒 から 真 っ 白 に 変 わっていくグレイスケールとなる 8ビットであれば256 通 りの 階 調 が 利 用 でき 3 色 それぞれに0~255の 値 で 表 される R G B それぞれ8ビットを 持 つ 場 合 256³(=16,777,216) 通 りの 色 を 表 現 できる( 現 在 これをフルカラー 表 示 と 呼 んでいる) 本 研 究 での 画 像 処 理 の 際 に 扱 うディジタル 画 像 は 基 本 的 には R G B 各 8bit の 計 2 4bit のビットマップとして 処 理 を 行 っている 輝 度 をf(z,i,j)とし z=0 のとき R z=1 のとき G z=2 のとき B として RGB 値 と 座 標 によって 画 像 を3 次 元 配 列 で 表 現 し ている 図 3.4 にサンプル 画 像 とそのRGB 成 分 ごとの 画 像 及 びヒストグラムを 図 3.5の(a) (b) (c)に 示 す なお ヒストグラムについては 次 の 項 目 で 詳 しく 説 明 する 12

17 図 3.4 サンプル 画 像 A (a) R 画 像 と R ヒストグラム (b) G 画 像 と G ヒストグラム (c) B 画 像 と B ヒストグラム 図 3.5 R G B 成 分 画 像 とそれぞれのヒストグラム 13

18 4)ヒストグラム(histogram) ディジタル 画 像 は 画 素 の 集 合 と 考 えることが 出 来 る そこで 画 像 内 の 画 素 の 持 つ 濃 度 値 の 分 布 がどのようになっているかを 調 べることで 画 像 の 性 質 を 把 握 することが 出 来 る その 方 法 として ヒストグラム( 濃 度 ヒストグラム)がある 濃 度 ヒストグラムとは 各 濃 度 値 に 対 し 画 像 全 体 で 同 じ 濃 度 値 を 持 つ 濃 度 値 の 画 素 数 ( 頻 度 )を 求 め 横 軸 に 濃 度 値 縦 軸 をその 濃 度 値 の 頻 度 ( 画 素 の 個 数 )としてグラフ 化 したものである 例 えば 濃 度 値 0の 画 素 数 濃 度 値 1 の 画 素 数 濃 度 値 2の 画 素 数 と 数 えていき 各 濃 度 値 における 画 素 数 データをグラフとして 可 視 化 したものである このグラフの 傾 きや 分 布 を 調 整 するこ とで 画 像 の 濃 度 やコントラストの 変 更 をグラフで 確 認 することが 可 能 になり 濃 度 変 換 をどのようにすべきかの 判 断 にも 利 用 される 画 像 をデータ 化 した 場 合 の 代 表 的 な 表 現 例 であり 他 にも 2 値 化 閾 値 の 決 定 や 対 象 物 体 の 面 積 の 計 算 などにも 応 用 される 図 3.6 にサ ンプル 画 像 と その R( 赤 ) G( 緑 ) B( 青 ) L( 明 度 )のそれぞれのヒストグラムを 示 す 原 画 像 図 3.6 画 像 とRGBLヒストグラム 画 像 の 特 徴 を 抽 出 するために このヒストグラムの 最 大 値 最 小 値 中 央 値 分 散 平 均 値 などを 調 べれば 画 像 の 性 質 を 定 量 的 に 表 すことが 出 来 る 画 像 データの 圧 縮 や 画 像 の 14

19 対 象 を 認 識 する 際 に 画 像 データの 統 計 的 な 性 質 が 重 要 となるが 分 散 や 平 均 は 統 計 量 の 基 本 的 なものである これらの 値 の 意 味 及 び 求 め 方 を 以 下 に 記 す 5) 画 像 の 特 徴 量 ( 最 小 値 最 大 値 最 頻 値 中 央 値 平 均 値 分 散 標 準 偏 差 ) ある 画 像 の 画 素 値 の 中 で 最 小 のものを 最 小 値 (minimum) 最 大 のものを 最 大 値 (maximum)という この 最 小 値 と 最 大 値 により 画 像 のコントラストを 調 べることができ る コントラストが 低 い 画 像 では 最 小 値 と 最 大 値 の 差 が 小 さく コントラストが 高 い 画 像 では 差 が 大 きい 最 も 頻 度 が 高 い 画 素 値 を 最 頻 値 (mode) ヒストグラム 中 の 面 積 比 として 画 素 値 の 小 さい(または 大 きい) 方 から 数 えてちょうど 真 ん 中 に 位 置 する 画 素 値 を 中 央 値 (median)という 中 央 値 は メディアンフィルタなどの 画 像 処 理 で 利 用 される さらに 画 像 サイズ M N 画 素 の 画 像 中 の 位 置 (i,j)の 画 素 値 をf(i,j)とするとき 画 2 像 の 平 均 値 (mean)μ 分 散 (variance) σ は 次 式 のように 求 めることが 出 来 る N 1 M 1 1 平 均 値 : μ = f ( i, j) M N (3.1) j= 0 i= 0 N 1 M 分 散 : σ = ( f ( i, j) μ) (3.2) M N j= 0 i= 0 分 散 の 平 方 根 σ(σ 0)は 標 準 偏 差 (standard deviation)と 呼 ばれ 分 布 の 広 がり 具 合 のパ ラメータとして 利 用 される 図 3.7 に 画 像 のヒストグラムと ヒストグラム 上 での 最 小 値 最 大 値 最 頻 値 中 央 値 の 位 置 を 示 す 図 3.7 ヒストグラムと 各 値 15

20 6)コントラスト(contrast) コントラストは 画 像 の 明 るい 部 分 と 暗 い 部 分 の 明 るさの 比 を 表 し 画 像 の 濃 淡 情 報 の 分 布 の 広 さに 関 する 性 質 である 画 素 値 の 最 大 値 を L 最 小 値 を L とするとき 次 式 (3.3) で 表 すことが 出 来 る max min C L max min = (3.3) L max L + L min この 式 を 用 いてコントラストを 求 めた 結 果 を 画 像 と 共 に 図 3.8 に 示 す (a)がコントラス トの 高 い 画 像 (b)がコントラストの 低 い 画 像 である コントラスト 値 の 高 い 方 の 画 像 が 明 暗 のはっきりとした 色 調 になっていることがわかる しかし コントラストの 値 が 同 じで も 人 間 が 画 像 を 見 たときに 感 じる 主 観 的 なコントラストは 異 なることや 画 像 に 含 まれる ノイズの 影 響 で 誤 差 が 生 じ 見 た 目 のコントラストと 完 全 には 対 応 しない 場 合 もある また ヒストグラムを 見 るとコントラストの 悪 い 方 は 最 大 値 と 最 小 値 の 差 (ダイナミ ックレンジ)が 小 さい すなわち このダイナミックレンジを 広 げることでコントラスト を 改 善 することが 可 能 である 本 研 究 の 鉛 筆 画 生 成 においても 輝 度 の 改 善 は 非 常 に 重 要 な 処 理 のひとつである 原 画 像 16

21 (a) 最 大 値 255 最 小 値 0 平 均 値 コントラスト (b) 最 大 値 227 最 小 値 34 平 均 値 コントラスト 図 3.8 画 像 とコントラストの 関 係 7)カラー 画 像 処 理 ( 色 の 扱 いについて) 7-1)グレイスケール 化 RGB の 各 成 分 に 同 じ 値 を 設 定 し 各 画 素 を256 階 調 8bit で 表 した 画 像 をグレイスケー ル(gray scale)またはグレイスケール 画 像 という フルカラー 画 像 からグレイスケール 画 像 へ 変 換 する 処 理 をグレイスケール 化 といい 最 も 単 純 なグレイスケール 化 処 理 は 次 式 (3.4)に 示 すような RGB 値 の 平 均 を 取 る 方 法 である GrayValue = ( R + G + B) / 3 (3.4) ただし この 式 を 用 いて 処 理 を 行 うと 青 色 部 分 が 明 るい 感 じ または 緑 色 部 分 が 暗 い 感 じ を 受 ける 画 像 が 生 成 されることがある これは 人 間 の 視 覚 における 色 に 対 する 感 度 特 性 が 一 般 的 に 緑 色 の 輝 度 には 敏 感 に 反 応 し 青 色 の 輝 度 は 反 応 が 薄 いという 傾 向 があるためで ある これを 考 慮 し 本 研 究 においてグレイスケール 化 は NTSC 系 加 重 平 均 法 と 呼 ばれる ガンマ 値 2.2 のテレビ 放 送 規 格 NTSC における YCC カラーパターンの 計 算 式 ( 式 3.5)で Gray 値 を 算 出 している 図 3.9(a)に RGB の 平 均 を 用 いたグレイスケール 化 図 3.9(b)に YCC カラーパターンを 用 いたグレイスケール 化 を 実 行 して 生 成 した 画 像 をヒストグラムと ともに 示 す GlayValue = 0.299R G B (3.5) 17

22 サンプル 画 像 B (a)rgb 平 均 を 用 いたグレイスケール 画 像 (b)ycc カラーパターンを 用 いたグレイスケール 画 像 図 3.9 グレイスケール 化 処 理 18

23 7-2) 色 空 間 (HSL HSV) RGB 表 色 系 はコンピュータ 処 理 には 適 しているが 人 間 の 感 覚 に 合 った 色 彩 に 関 する 処 理 を 行 うことは 難 しい そこで 直 感 的 にわかりやすいHSL 色 空 間 やHSV(またはHS I) 色 空 間 のモデルに 変 換 することで 色 に 関 する 処 理 をより 直 感 的 に 行 うことが 可 能 と なる HSL とは 色 相 (Hue) 彩 度 (Saturation) 明 度 (Lightness/Luminance)の 3 つの 成 分 のことをいい このような 成 分 で 構 成 された 空 間 を HSL 色 空 間 という( 図 3.10(a)) 色 相 は 色 味 ( 色 の 種 類 )を 0 度 ~359 度 の 範 囲 の 角 度 で 表 す 輝 度 は 輝 度 0%を 黒 100% を 白 とし その 中 間 (50%)を 純 色 とする 非 写 実 的 処 理 においては RGB と HSL など 色 空 間 における 相 互 変 換 を 利 用 することで 水 彩 画 やパステル 画 などの 風 合 いを 出 すことが 可 能 である (a) HLS 空 間 図 3.10 色 空 間 モデル 7-3)アルファ 値 各 点 (ピクセル)に 設 定 された 透 過 度 情 報 のことをアルファ 値 という 色 の 透 明 度 を 決 定 するもので 色 を 背 景 色 とブレンドする 度 合 いともいえる 完 全 な 透 明 ( 無 色 )から 完 全 な 不 透 明 ( 背 景 の 色 をまったく 通 さない)まで 設 定 することができる アルファ 値 (alpha)を 用 いて 対 象 の 色 データ(sourceColor)と 背 景 色 データ(backgroundColor)をピクセルごとにブ レンドする 場 合 対 象 の 色 データの 3 つの 各 要 素 (R G B)は 次 の 数 式 (3.6)に 基 づい て 背 景 色 の 対 応 する 要 素 とブレンドされる displaycol or = sourcecolor alpha / backgroundcolor (255 - alpha) / 255 (3.6) とりわけ アルファ 値 はデータ 形 式 やソフトウェアによって 扱 える 場 合 と 扱 えない 場 合 が 19

24 あるが 扱 える 場 合 は 各 点 の 色 を 表 すデータに 追 加 する 形 で 表 現 される すなわち 透 明 度 を 扱 う 場 合 色 情 報 として R G B の 三 原 色 の 情 報 24bit に8bit を 加 え 1 ピクセル 当 たり 32bit の 情 報 量 を 持 つことになる この 追 加 されたデータ 領 域 をアルファチャンネルと いう 本 プログラムにおいてアルファ 値 は 0~255(8bit)の 範 囲 で 指 定 し 255 が 完 全 不 透 明 を 表 す 本 研 究 におけるアルファ 値 を 用 いた 主 な 処 理 については 鉛 筆 画 のストローク( 線 )の 重 なり 具 合 を 表 現 する 際 などに 用 いている 3.2 コンピュータ 画 像 処 理 ここではパソコンでの 画 像 処 理 について 述 べる 画 像 処 理 は 医 療 工 業 そしてマス メディアなど 様 々な 分 野 で 活 用 されている 例 えば 医 療 におけるレントゲン 写 真 の 解 析 工 業 における 部 品 の 自 動 認 識 そしてセキュリティ 分 野 における 自 動 認 証 など 多 種 多 様 な 分 野 で 利 用 されている 表 3.3 に 分 野 別 画 像 処 理 用 途 をまとめた 表 3.3 分 野 別 画 像 処 理 用 途 分 野 用 途 医 療 レントゲン 写 真 のディジタル 化 アニメ 映 画 漫 画 ディジタルアニメ ディジタル 漫 画 CG による 映 画 製 作 マスコミ 出 版 社 広 告 編 集 作 業 DTP 工 業 CAD 工 場 における 自 動 検 査 セキュリティ 指 紋 認 証 顔 画 像 認 証 網 膜 認 証 防 犯 カメラ 警 察 指 紋 照 合 防 犯 映 像 解 析 車 ナンバーの 自 動 識 別 個 人 デザイン 一 般 (ホームページ,ブログ,ポスター, 年 賀 状 ) 画 像 処 理 技 術 印 画 紙 にフィルム 通 しした 光 を 焼 きつけて フィルムの 像 を 写 真 に 出 力 するようなアナ ログ 処 理 においては 処 理 の 内 容 が 原 理 的 に 限 られる しかし PC を 用 いたディジタル 処 理 で は 画 像 をデータ( 数 値 )として 扱 い 必 要 に 応 じていつでも 取 り 出 すことが 可 能 である さらに 信 号 として 送 ったり プログラムを 自 由 に 変 更 することによって 様 々な 処 理 がで きる 柔 軟 性 を 持 っている さらに 半 導 体 製 造 技 術 やハードウェアの 飛 躍 的 な 進 歩 によっ て パソコンやディジタル 入 出 力 機 器 でも 高 解 像 度 で 大 容 量 の 画 像 が 扱 えるようになり 画 像 処 理 の 分 野 も 急 速 に 進 歩 している この 急 速 な 進 歩 に 伴 い ディジタル 化 される 画 像 の 情 報 量 は 増 加 し 画 像 処 理 の 必 要 性 が 大 きくなってきている 画 像 処 理 の 種 類 は 画 像 を 見 やすいものに 変 換 したり 画 像 か 20

25 らの 物 体 構 成 や 前 後 関 係 を 理 解 したりという 処 理 など 様 々である これら 画 像 処 理 は 処 理 手 法 により 画 像 改 善 画 像 解 析 画 像 圧 縮 画 像 再 構 成 などに 分 類 できる 本 研 究 においてもデータ 特 徴 の 抽 出 や 解 析 などに 様 々な 画 像 処 理 技 術 を 使 い それら をうまく 組 み 合 わせることにより 目 的 の 画 像 を 作 成 している 具 体 的 画 像 処 理 例 ( 特 徴 量 の 抽 出 比 較 認 識 ) 画 像 処 理 の 基 本 的 なものとして 本 研 究 でも 多 く 用 いる 処 理 である 1) 濃 度 変 換 による 明 る さ コントラストの 改 善 2) 空 間 フィルタリング 処 理 について 簡 単 に 説 明 する 1) 明 るさ コントラストの 変 換 処 理 画 像 の 見 え 方 として 最 も 一 般 的 かつ 有 用 なものは 画 像 の 明 るさやコントラストの 変 化 である 明 るすぎる 画 像 や 暗 すぎる 画 像 は 背 景 と 対 象 物 の 区 別 がはっきりしない こ のようなコントラストの 悪 い 画 像 は 非 写 実 的 画 像 処 理 においても 悪 影 響 を 及 ぼすことがあ る ここでは 濃 度 の 線 形 変 換 非 線 形 変 換 やヒストグラム 操 作 における 画 質 改 善 方 法 に ついて 述 べる 1-1)トーンカーブ ディジタル 画 像 は 濃 度 値 または 輝 度 値 と 呼 ばれる 濃 淡 を 表 す 値 を 持 つ 点 ( 画 素 )によ り 構 成 されている そこで 画 像 の 濃 淡 を 変 化 させるには 入 力 画 像 のそれぞれの 画 素 に 対 し 出 力 画 像 の 輝 度 値 をどのように 対 応 付 けるかを 指 定 すればよい そのような 対 応 関 係 を 与 える 関 数 のことを 階 調 変 換 関 数 またそれをグラフで 表 したものをトーンカーブと いう 図 3.11 に3 種 類 のトーンカーブの 例 を 示 す グラフの 横 軸 は 入 力 画 像 の 画 素 値 を 縦 軸 はその 変 換 後 の 画 像 ( 出 力 画 像 )の 画 素 値 を 表 している 図 3.11(a)の 場 合 左 図 の 場 合 は 入 力 画 像 に 対 して 明 るい 画 像 が 出 力 される 一 方 右 図 の 場 合 は 暗 い 画 像 が 出 力 され る このように 曲 線 ( 非 線 形 )によって 階 調 変 化 を 表 している 他 にもS 字 曲 線 などの 2 次 曲 線 3 次 曲 線 による 非 線 形 変 換 ( 図 3.11(b))や 図 3.11(c)のような 折 れ 線 ( 線 形 変 換 ) もある (b)のように 単 調 増 加 しない 曲 線 を 用 いることは 一 般 的 には 望 ましくない 21

26 (a) トーンカーブ( 非 線 形 ) (b) トーンカーブ( 非 線 形 多 次 元 ) (c) トーンカーブ( 折 れ 線 型 ) 図 3.11 トーンカーブによる 画 像 の 濃 度 変 換 22

27 1-2)ガンマ 変 換 先 に 述 べた 画 像 濃 淡 の 非 線 形 変 換 の 一 種 で トーンカーブの 濃 度 変 換 の 代 表 的 なものと してガンマ 変 換 がある もともと CRT ディスプレイの 補 正 のために 用 いられていたが 現 在 は 一 般 にガンマ 補 正 などとよばれ ディジタル 画 像 の 輝 度 調 整 によく 使 われる 処 理 であ る 座 標 (i,j)の 入 力 画 素 値 をf(i,j) 出 力 画 素 値 をg(i,j)とするとき このトーンカーブは 次 式 で(3.7) 表 される 1 γ f ( i, j) g ( i, j) = 255 ( ) (3.7) 255 ここで γの 値 によりトーンカーブの 形 状 が 変 化 し 明 るくするときはγ>1( 上 に 凸 のトーンカーブ) 暗 くするときはγ<1( 下 に 凸 のトーンカーブ)に 設 定 すればよい 図 3.12 に 計 算 式 (3.8)により 実 際 に 処 理 した 画 像 とそのトーンカーブを 示 す 図 3.12(b)は 原 画 像 である 同 図 (a)をガンマ 値 2.0 で 処 理 したもの 図 3.12(c)はガンマ 値 0.4 で 処 理 した ものである γ=2.0 で 処 理 した 画 像 は 影 の 部 分 などが 明 るくなっているのがよくわかる 図 3.12 各 γ 値 のトーンカーブ 23

28 (a) 原 画 像 (b) ガンマ 値 γ=2.00 (c) ガンマ 値 γ=0.40 図 3.13 ガンマ 値 による 濃 度 変 換 結 果 画 像 1-3)ヒストグラムの 平 滑 化 ( 平 坦 化 ) コントラストを 調 節 する 方 法 として ヒストグラムの 平 滑 化 (histogram equalization)が 挙 げられる ヒストグラムの 分 布 は 画 像 によりまちまちで 一 般 に 隔 たりがある ヒス トグラムの 平 坦 化 は 結 果 として 出 力 画 像 のヒストグラムが 図 3.14 のように 画 素 値 の 全 領 域 にわたってなるべく 均 等 に 分 布 するように 変 換 するものである 図 3.14 ヒストグラムの 平 滑 化 24

29 2) 空 間 フィルタリング ここでは 本 研 究 においては 輪 郭 抽 出 などの 際 に 用 いている 技 術 である 空 間 フィルタリ ングについて 述 べる 出 力 画 像 ( 処 理 画 像 )のある 注 目 点 (i,j)の 濃 度 値 を 決 定 する 際 に 入 力 画 像 ( 原 画 像 )の(i,j) 点 を 含 めたその 近 傍 画 素 を 利 用 し 処 理 する 方 法 を 近 傍 処 理 または 局 所 処 理 という 空 間 フィルタリングは その 代 表 的 な 処 理 である まず 図 3.15 に 近 傍 画 素 を 利 用 せず 入 力 側 も(i,j)の 一 点 だけの 濃 度 値 を 使 用 する 点 処 理 (Pixel to Pixel 処 理 )について 説 明 する トーンカーブによる 輝 度 調 整 や 2 値 化 階 調 数 の 操 作 濃 淡 反 転 などもこの 処 理 にあたる 例 えば 濃 淡 反 転 (ネガポジ 反 転 ) 処 理 の 場 合 画 像 の 横 の 長 さを N 縦 の 長 さを M それぞれの 画 素 の 最 大 輝 度 を とするとき 入 力 画 像 f(i,j)と 出 力 画 像 g(i,j)を 用 いて 式 (3.8)のように 表 すことが 出 来 る この 式 を 反 転 させたい 画 像 に 対 して 適 用 すれば 図 3.16 のような 反 転 画 像 が 得 られる L max N N M ( i, j ) M ( i, j ) 入 力 画 像 f ( i, j ) 出 力 画 像 g ( i, j ) 図 3.15 画 素 単 位 の 濃 淡 変 換 (Pixel to Pixel) g( i, j) Lmax f ( i, j) = (0 i < N, 0 j < M ) (3.8) 図 3.16 反 転 処 理 25

30 以 上 のような 点 処 理 に 対 し 入 力 画 像 の 対 応 する 画 素 値 だけでなく その 周 囲 の 画 素 も 含 めた 領 域 内 の 画 素 値 を 用 いて 計 算 する 処 理 のことを 空 間 フィルタリングとよぶ 画 像 の ノイズ 除 去 輪 郭 線 の 抽 出 鮮 鋭 化 など 画 像 処 理 において 重 要 な 処 理 である この 処 理 を 数 式 で 示 すと 式 (3.9)のような 積 和 演 算 によって 表 現 できる フィルタの 大 きさは(2w + 1) (2w + 1)で 表 される(w=1の 場 合 は3 3のフィルタサイズ) 空 間 フィルタ(マス ク)サイズが3 3の 場 合 着 目 画 素 の 濃 度 値 x0 を 周 囲 の 画 素 の 濃 度 値 x1~x8 を 参 考 にして 変 換 する 方 法 である( 図 3.17 参 照 ) k k ( i, j) = f ( i + n, j + m ) h( n, m (3.9) n = k m = k g ) f( i, j ): 入 力 画 像 g( i, j ): 出 力 画 像 ( 0 i < N, 0 j < M ) h( m, n ):フィルタの 係 数 ( 重 み 係 数 )を 表 す 配 列 X1 X2 X3 注 目 画 素 X4 X0 X5 X6 X7 X8 フィルタ 領 域 N N M M ( i, j ) フィルタ 領 域 ( i, j ) 入 力 画 像 f ( i, j ) 出 力 画 像 g ( i, j ) 図 3.17 領 域 に 基 づく 濃 淡 変 換 (Filtering) 26

31 以 下 に 3 3のマスクサイズの 空 間 フィルタリング 処 理 の 一 例 として 平 均 化 フィルタ を 挙 げる 平 均 化 フィルタは 画 像 に 含 まれるノイズ( 雑 音 )を 軽 減 する 際 などに 利 用 され る 平 滑 化 (smoothing) 処 理 であり 注 目 画 素 の 周 囲 8 画 素 の 濃 度 値 の 平 均 を 出 力 濃 度 値 とす る 平 均 を 取 りながら 移 動 して 処 理 を 進 めるので 移 動 平 均 処 理 (moving average 又 は running average)とも 呼 ばれる 通 常 左 から 右 へ 走 査 する(ラスタスキャン) 3 3のマ スクサイズであるので フィルタ 係 数 は 1/9 となり 1/9 9 = 1 を 満 たしている 画 像 の 明 るさを 変 化 させないためには フィルタ 係 数 行 列 の 和 は1になる 必 要 がある 図 3.18 に 適 用 マスク 図 とフィルタ 係 数 行 列 を 図 3.19 に 処 理 結 果 画 像 を 示 す h( n, m) = h(n,m):フィルタ 係 数 平 均 化 フィルタ(マスク) フィルタ 係 数 行 列 図 3.18 平 均 化 フィルタ 図 3.19 平 均 化 フィルタの 適 用 例 27

32 第 4 章 鉛 筆 画 風 画 像 の 生 成 本 章 では 非 写 実 的 画 像 のうち 特 に 注 目 して 取 り 組 んだ 鉛 筆 画 風 画 像 の 生 成 について 述 べる はじめに 鉛 筆 画 の 特 徴 を 整 理 し 現 在 までの 学 会 論 文 で 発 表 された 主 な 鉛 筆 画 生 成 手 法 について 概 説 する さらに 本 研 究 における 鉛 筆 画 風 画 像 生 成 の 処 理 アルゴリズム について 処 理 項 目 ごとに 詳 述 する 最 後 に 応 用 として 顔 画 像 認 識 技 術 を 用 いた 局 所 処 理 についても 触 れる 4.1 鉛 筆 画 の 特 徴 ここで 鉛 筆 画 の 一 般 的 な 特 徴 について 述 べる 鉛 筆 画 は 文 字 通 り 鉛 筆 によって 描 かれた 絵 のことを 指 す 描 く 下 地 ( 基 底 材 )としてはスケッチブックや 画 用 紙 などの 紙 素 材 が 主 である H 系 B 系 の 様 々な 硬 さ 削 り 具 合 の 鉛 筆 で 筆 圧 や 筆 の 角 度 を 調 整 したりするこ とで 濃 淡 のみによって 表 現 する 対 象 に 見 える 明 暗 と 陰 影 色 彩 の 差 異 を 手 がかりに 対 象 の 形 状 質 感 色 味 透 明 感 などを 鉛 筆 によって 表 現 し 基 底 材 に 構 成 する 主 な 描 き 方 の 種 類 表 現 技 法 は 以 下 の 通 りである (1) 鉛 筆 スケッチ 鉛 筆 で 対 象 物 (モチーフ)の 概 略 や 全 体 的 な 印 象 を 描 くラフなタッチの 様 式 下 書 きな どに 用 いられ 簡 略 化 され 大 体 の 形 を 描 くため 輪 郭 の 重 なりや 歪 みがあるものもあり ス トロークがはっきりと 分 かり 幅 が 一 定 のものが 多 い 絵 コンテなどにも 用 いられる (2) 鉛 筆 デッサン 鉛 筆 で 対 象 物 の 形 や 明 暗 をスケッチよりもリアルに 表 現 する 様 々なタッチのストロー クの 積 み 重 ねによって 構 成 され 細 部 まで 描 きこむことで 対 象 物 の 立 体 感 質 感 明 暗 陰 影 などを 描 画 する (3) 擦 筆 やガーゼによるぼかし 擦 筆 やガーゼなどを 用 いて 対 象 物 に 馴 染 ませたり 鉛 筆 のタッチを 効 果 的 に 消 し 去 った りする 技 法 一 見 してモノクロ 写 真 かと 思 えるようなリアルな 表 現 が 可 能 となる (4) 消 し 具 による 消 し 練 り 消 しゴムやプラスチック 消 しゴムなどの 消 し 具 を 用 いて ハイライトの 効 果 や 柔 ら かい 白 色 などにより 光 の 表 現 金 属 性 の 質 感 を 生 み 出 すことが 可 能 となる 28

33 その 他 鉛 筆 の 太 さ 濃 さ( 硬 さ) 角 度 ( 筆 の 寝 かせ 方 )などを 変 えることによって 図 4.1 のような 多 様 な 表 現 が 可 能 である このような 表 現 を 実 際 に 使 って 筆 者 の 手 描 きで 描 いた 鉛 筆 画 例 を 示 す( 図 4.2) (a) (b) (c) (d) (e) (f) 図 4.1 鉛 筆 画 表 現 の 例 (a) 濃 淡 表 現 (b)ストローク 濃 淡 表 現 (c) 鉛 筆 を 寝 かせたタッチ (d) 回 転 のタッチ (e) 様 々 なストロークのタッチ (f) 消 し 具 を 使 った 淡 いぼかし 表 現 図 4.2 鉛 筆 画 29

34 4.2 鉛 筆 画 風 画 像 生 成 方 法 の 検 討 本 研 究 と 同 じく2 次 元 画 像 を 入 力 とする 鉛 筆 画 風 画 像 生 成 法 において 現 在 までに 紹 介 さ れている 手 法 を 大 きく2つに 分 類 すると 1つはストロークを 使 って 描 画 する 方 法 もう 1つはストロークを 描 画 せず 濃 淡 情 報 を 利 用 した 方 法 である さらにそれらに 紙 質 のテク スチャを 付 加 する 表 現 方 法 がある ストロークをつかった 鉛 筆 画 の 生 成 では Line Integral Convolution(LIC) 法 を 施 す 手 法 がよく 用 いられる[3] 本 研 究 の 鉛 筆 画 生 成 手 法 もこれと 類 似 している 鉛 筆 のストロー ク 自 体 はうまく 表 現 できるが ストロークの 向 き 角 度 形 状 ( 太 さ 長 さ 形 )などの 対 象 物 の 形 状 を 考 慮 した 設 定 は 困 難 である また 画 用 紙 のテクスチャを 反 映 することで 鉛 筆 画 風 画 像 の 生 成 を 行 った 研 究 においては 紙 材 質 の 構 造 に 着 目 し 画 像 の 持 つ 濃 淡 情 報 を 保 持 したまま 付 加 させ 紙 のリアルな 質 感 を 表 現 している[4] この 手 法 は 対 象 物 自 体 には 処 理 を 行 っていないため 写 実 的 な 印 象 を 与 える 非 写 実 的 画 像 生 成 では リアルさ を 追 求 しすぎると 絵 画 風 に 感 じられなくなるという 問 題 もあり 本 研 究 では ストローク で 表 現 した 場 合 とストロークを 強 調 しない 場 合 の 両 面 からあくまでも 人 が 描 いたような 画 像 ( 絵 画 )を 目 指 すこととした これまで 述 べてきたように ひとえに 鉛 筆 画 といっても 多 種 多 様 な 描 き 方 表 現 技 法 がある デッサンのようなリアルな 表 現 か スケッチのような 簡 略 化 した 表 現 か ストロ ークベースであるかによって その 処 理 は 違 ってくる 本 研 究 では 鉛 筆 らしさを 出 すため にストロークベースで 描 画 する 鉛 筆 画 を 生 成 することにした まず その 方 法 についての 具 体 的 検 討 のため まず 実 際 に 人 間 が 描 く 際 の 手 順 について 考 察 してみた( 図 4.3) 紙 や 鉛 筆 の 濃 さなどの 選 択 は 紙 素 材 テクスチャの 貼 り 付 け 描 画 線 の 濃 さ 太 さの 設 定 をコンピュータ 上 で 設 定 すれば 可 能 となるが 問 題 は 人 間 の 感 性 個 性 を 左 右 する 認 識 力 と 判 断 力 であることが 明 らかになった また 人 間 が 絵 を 描 く 時 には 対 象 物 と 描 画 中 の 絵 の 比 較 からのフィードバック 過 程 を 常 に 経 ていると 考 えられる 物 体 の 形 状 を 読 み 取 り その 物 体 に 沿 ったストロークや 微 妙 な 色 変 化 を 独 自 の 視 点 感 覚 で 時 には 正 確 に 時 に は 誇 張 しながら また 重 要 と 感 じない 部 分 は 省 略 しながら 表 現 していく コンピュータで その 様 なことを 可 能 にするには 単 にランダムさを 与 えるだけでは 難 しい いかに 画 像 内 の 特 徴 を 取 得 し その 特 徴 を 用 いてどのように 処 理 して 行 くかが 最 大 のテーマである 30

35 描 画 対 象 物 の 決 定 基 底 材 の 選 別 画 用 紙 スケッチブックなど 鉛 筆 の 選 別 ( 濃 さ 太 さなど) 物 体 の 認 識 観 察 輪 郭 の 描 画 ( 構 図 を 決 める) 物 体 の 認 識 観 察 筆 圧 や 筆 の 角 度 で 濃 淡 表 現 ストロークの 描 画 ぼかし 物 体 の 認 識 観 察 仕 上 げ 細 部 まで 細 かく 描 画 消 しゴムで 修 正 鉛 筆 画 完 成 図 4.3 人 間 の 一 般 的 な 描 画 手 順 4.3 ストロークによる 鉛 筆 画 風 画 像 生 成 様 々なフィルタの 組 み 合 わせの 試 行 錯 誤 の 結 果 コンピュータによるストロークベース の 鉛 筆 画 風 画 像 生 成 手 法 を 提 案 検 討 した 以 下 に 処 理 の 流 れと 各 処 理 項 目 の 画 像 処 理 技 術 を 踏 まえた 実 験 内 容 を 記 す 処 理 の 流 れ 本 研 究 における 鉛 筆 画 風 画 像 の 生 成 手 法 としては 画 像 処 理 フィルタを 組 み 合 わせ 明 暗 の 輝 度 差 で 対 象 物 (モチーフ)を 表 現 するなどして 先 に 挙 げた 特 徴 をもった 鉛 筆 画 風 画 像 の 実 現 を 目 指 した 実 際 の 鉛 筆 画 を 描 く 工 程 を 考 慮 しながら 以 下 に 示 すようにコンピュ ータでの 処 理 工 程 (1)~(6)を 検 討 した 簡 単 な 処 理 フローチャートを 図 4.4 に 示 す 31

36 処 理 対 象 画 像 (1) 階 調 数 の 低 減 (レベル 設 定 ) 輪 郭 線 を 入 れるか No (2)ランダムテクスチャマッピング ( 輝 度 調 整 設 定 ) ぼかしを 入 れるか No (3)ストロークの 付 加 ( 長 さ 角 度 設 定 ) Yes 現 画 像 のエッジ 検 出 付 加 ( 検 出 法 付 加 レベル 設 定 ) Yes (4)ぼかし 処 理 (レベル 設 定 ) (5) 元 画 像 のエッジ 検 出 付 加 ( 検 出 方 法 付 加 レベル 設 定 ) (6)テクスチャマッピング 処 理 結 果 画 像 図 4.4 処 理 工 程 のフローチャート (1) 階 調 数 低 減 入 力 画 像 (カラーまたはモノクロ)は8ビット(256 階 調 )で 表 現 されているとする まず 原 画 像 ( 図 4.5(a))の 階 調 を 低 減 させ 同 濃 度 の 領 域 を 作 成 する( 図 4.5(b)) 通 常 の 鉛 筆 画 はグレイスケールのため 入 力 画 像 がカラー 画 像 の 場 合 はグレイスケールに 変 換 し 256 階 調 の 明 度 を 利 用 する なお 階 調 低 減 の 度 合 いは 任 意 で 入 力 することも 可 能 である (2)ランダムテクスチャのマッピング 乱 数 を 使 いランダムな 輝 度 を 持 った 雑 音 画 像 テクスチャを 作 成 それを 元 画 像 にマッピ ングすることによって 原 画 像 の 輝 度 情 報 を 保 持 した 画 像 を 生 成 する( 図 4.5(c)) この 際 画 像 全 体 の 輝 度 調 整 も 行 う( 任 意 設 定 可 能 ) 32

37 (3)ストローク 付 加 ランダムテクスチャをマッピングした 画 像 にストローク 処 理 を 適 用 させる この 際 ス トロークの 角 度 や 長 さは 任 意 で 入 力 することも 出 来 る( 図 4.5(d)) (4)ぼかし 擦 筆 や 消 し 具 を 使 用 する 表 現 のぼかし 効 果 を 加 える 場 合 は 移 動 平 均 やメディアンフィ ルタを 適 用 してぼかしを 入 れる 尚 ストロークを 強 調 したい 場 合 は 実 施 しない (5) 輪 郭 線 の 検 出 現 在 輪 郭 の 検 出 には 微 分 フィルタを 用 いている 輪 郭 検 出 フィルタの 処 理 結 果 を 図 4.5(e)に 示 す 原 画 像 より 検 出 した 輪 郭 線 をフィルタ 処 理 後 の 結 果 画 像 またはぼかし 処 理 後 の 結 果 画 像 に 付 加 する( 図 4.5(f)) (6)テクスチャマッピング 最 後 に 紙 の 質 感 を 表 現 するために 画 用 紙 のテクスチャ( 図 4.6)をマッピングする 処 理 は 紙 質 を 強 調 したい 場 合 に 用 いればよい (a) 原 画 像 (b) 階 調 数 低 減 画 像 (c)ランダムテクスチャ 画 像 (d)ストローク 付 加 画 像 (e) 輪 郭 抽 出 画 像 (f) 輪 郭 付 加 画 像 図 4.5 処 理 工 程 画 像 33

38 図 4.6 画 用 紙 テクスチャ 階 調 数 の 操 作 階 調 数 の 操 作 により 階 調 数 を 低 減 させ 濃 淡 にメリハリをつけるための 操 作 である ま ず 階 調 数 についての 基 本 的 な 処 理 である 2 値 化 について 述 べ 本 研 究 における 実 際 の 階 調 数 の 操 作 について 説 明 する 1)2 値 化 画 像 を 白 ( 輝 度 値 =255)と 黒 ( 輝 度 値 =0)の2つに 分 けて 画 像 を2 値 だけの 輝 度 に 変 換 して 表 現 することを2 値 化 という 図 4.7 は 本 研 究 ソフトウェアの2 値 化 処 理 画 面 であ る ヒストグラムの 下 に 配 置 した 境 界 にするスライドバー( 又 はテキストボックス)で 決 めた 階 調 を 境 にして 以 上 を 白 未 満 を 黒 にする この 値 を 閾 値 という 図 4.7 画 像 の2 値 化 34

39 2) 階 調 数 低 減 における 閾 値 の 設 定 階 調 数 を 減 らすことによって 特 定 の 色 数 で 表 現 したり 特 定 の 輝 度 値 の 画 素 をまとめ たりすることが 可 能 である 本 研 究 ではランダムテクスチャ 画 像 の 作 成 の 前 処 理 として 階 調 を 低 減 させる 処 理 を 入 れている これは 写 真 の 微 妙 な 濃 淡 変 化 が 与 える 写 実 感 を 濃 度 の 近 いものをある 程 度 まとめることで 抑 え 結 果 として 濃 度 にめりはりをつけさせるた めである 単 に 階 調 を 粗 くする 操 作 ではなく 設 定 した 分 解 数 kに 応 じて 分 解 されたk 個 の 階 調 分 布 を 全 て 階 調 数 の 中 に 作 ることになる 本 プログラムでは 任 意 で 階 調 数 kを 指 定 し 各 階 調 数 ごとの 分 布 を 決 めている その 変 換 結 果 画 像 とヒストグラムを 図 4.8 に 示 す はっきりと 階 調 を 分 断 させずにある 程 度 境 界 をぼかす 様 子 がヒストグラムから 見 て 取 れる 原 画 像 k=2のとき 35

40 K=4のとき K=6 のとき k=8のとき 図 4.8 階 調 数 低 減 結 果 画 像 36

41 4.3.3 輪 郭 抽 出 鉛 筆 画 の 輪 郭 描 画 のために 行 う 画 像 の 特 徴 抽 出 方 法 として 代 表 的 な 輪 郭 線 抽 出 の 方 法 の 種 類 と 画 像 への 付 加 への 検 討 およびエッジ 方 向 の 取 得 によるストローク 角 度 の 自 動 決 定 を 目 指 し 適 用 させるフィルタを 検 討 する 1) 様 々な 輪 郭 抽 出 (エッジ 検 出 ) 方 法 エッジ 検 出 手 法 は 様 々だが その 代 表 的 なものとして 画 像 の 濃 淡 の 急 激 な 変 化 を 検 出 す ることでエッジを 抽 出 する 方 法 と 予 め 用 意 したテンプレートをマッチングさせていくテ ンプレート 型 がある まずは もっとも 一 般 的 輪 郭 抽 出 方 法 である 微 分 フィルタについて 述 べる 微 分 フィルタは 数 式 4.1 で 表 すことが 出 来 る マスクで 表 すと 図 4.9 のようなマス クとなる また 各 画 素 における 横 方 向 の 差 分 を ( (, ), (, )) は 画 素 値 の 勾 配 を x f i j f i j 表 す y 1-1) 微 分 フィルタ f ( x + h) f '( x) = lim 0 h h f ( x) (4.1) 横 方 向 縦 方 向 図 4.9 微 分 フィルタマスク 1-2) 微 分 平 滑 フィルタ 微 分 フィルタでは 画 像 の 濃 淡 が 急 激 に 変 化 するエッジ 部 分 を 検 出 できるが 同 時 に 画 像 に 含 まれるノイズに 対 しても 敏 感 に 反 応 する 傾 向 がある そこで ノイズを 抑 えながら エッジを 検 出 するために 縦 方 向 のエッジを 検 出 したい 場 合 には 横 方 向 に 対 して 微 分 し た 後 それと 直 交 する 縦 方 向 に 対 して 平 滑 化 を 施 すことで 縦 方 向 のエッジは 残 しつつノ イズを 低 減 する 横 方 向 の 微 分 縦 方 向 の 平 滑 化 として 縦 3 画 素 の 平 均 化 処 理 を 施 すとすると その 処 理 37

42 全 体 は 図 4.10(a)のようなフィルタを 施 すことと 等 価 となる このようなフィルタはプリュ ーウィットフィルタ(Prewit filter)とよばれている( 式 4.2) 同 様 に 縦 方 向 の 平 滑 化 のときに 中 央 に 重 みを 付 けた 平 均 化 を 行 った 場 合 図 4.10(b) に示 すフィルタと 等 価 となる このようなフィルタをソベルフィルタ(Sobel filter)という ( 式 4.3) x y f ( i, j) = f ( i, j) = f ( i 1, j 1) + { f ( i + 1, j 1) + f ( i 1, j 1) + { f ( i 1, j + 1) + f ( i 1, j) + f ( i + 1, j) + f ( i, j 1) + f ( i, j + 1) + f ( i 1, j + 1) f ( i + 1, j + 1)} f ( i + 1, j 1) f ( i + 1, j + 1)} (4.2) x y f ( i, j) = f ( i, j) = f ( i 1, j 1) + 2 f ( i 1, j) + { f ( i + 1, j 1) + 2 f ( i + 1, j) + f ( i 1, j 1) + 2 f ( i, j 1) + { f ( i 1, j + 1) + 2 f ( i, j + 1) + f ( i 1, j + 1) f ( i + 1, j + 1)} f ( i + 1, j 1) f ( i + 1, j + 1)} (4.3) 横 方 向 縦 方 向 (a) Prewit filter のマスク 横 方 向 縦 方 向 (b) Sobel filterのマスク 図 4.10 微 分 平 滑 フィルタ 38

43 1-3)2 次 微 分 ラプラシアン 2 次 微 分 は 微 分 を 2 回 繰 り 返 す ことであるから ディジタル画 像 では 差 分 を 2 回 繰 り 返 す この 2 次 微 分 を 用 いて ラプラシアンを 求 めることが 出 来 る 一 般 にラプラシアンは 式 ( 4.4)で 表 される ディジタル 画 像 では 横 方 向 の 2 次 微 分 の 結 果 と 縦 方 向 の 2 次 微 分 の 結 果 を 足 し 合 わせることによりラプラシアンの 値 が 得 られる このフィルタをラプラシア ンフィルタ(Laplacian filter)という 図 4.11 に 2 次 微 分 フィルタのマスク 図 を 示 す 2 2 f ( x, y) x y f ( x, y) (.4) 図 4.11 Laplacian filterのマスク 1-4) 最 適 なエッジ 検 出 方 法 の検 討 ここまでで 説 明 したエッジ 検 出 処 理 方 法 の 中 で どれが 最 適 といえるだろうか まずは 本 研 究 ソフト( 図 4.12)でそれぞれのフィルタによって 検 出 した 実 際 のエッジ 検 出 結 果 を 図 4.13 に 示 す 図 4.12 輪 郭 処 理 フォーム 39

44 (a) 1 次 微 分 (b) 2 次 微 分 (c) Prewit filter (d) Sobel filter 図 4.13 輪 郭 線 の 検 出 それぞれのこれら 結 果 をもとに 本 研 究 では 輪 郭 線 付 加 の 際 には Sobel を 適 用 させ 付 加 させることにした また 画 像 によって 輪 郭 線 検 出 の 精 度 また 画 像 内 に 含 まれるノイズ の 影 響 などを 考 慮 し 前 処 理 としてノイズ 除 去 フィルタを 適 用 させた なお 輪 郭 付 加 の 際 の 輪 郭 線 検 出 方 法 フィルタ 重 み 閾 値 は 選 択 可 能 な 仕 様 にしてある ストローク 画 素 の 置 き 換 えによるストロークの 濃 淡 表 現 である 鉛 筆 書 きの 一 筆 分 に 相 当 する 入 力 画 像 f(i,j)からランダムに 決 定 した 注 目 画 素 の 画 素 値 と 位 置 を 取 得 そして 出 力 画 像 g(i,j)に 同 画 素 値 で 設 定 した 角 度 長 さ 太 さのストロークで 描 画 すると いう 方 法 である( 図 4.14 参 照 ) 40

45 図 4.14 ストロークの 描 画 ぼかし 画 像 になめらかな 濃 淡 変 化 を 与 える 処 理 画 像 に 含 まれるノイズなどの 不 要 な 濃 淡 変 動 を 軽 減 するためにも 用 いられる 本 研 究 では コンピュータにおける 消 し 具 などによるぼか しの 表 現 に 適 用 させる 全 体 及 びハイライト 領 域 にぼかし 処 理 を 加 える 処 理 としては 項 で 説 明 した 平 均 化 フィルタを 適 用 することでもぼかし 処 理 は 得 られるが 以 下 のフィル タでも 検 討 を 行 った 1) 重 み 付 き 平 均 化 単 純 な 平 均 値 ではなく フィルタの 原 点 に 近 いほど 大 きな 重 みを 付 ける 加 重 平 均 フィ ルタ(weighted averaging filter)もある(フィルタ 係 数 の 行 列 式 は 式 4.5 参 照 ) さらにそ の 重 みをガウス 分 布 (Gaussian distribution)に 近 づけたものを ガウシアンフィルタ (Gaussian filter)という 平 均 0 分 散 2 σ のガウス 分 布 は 式 4.6 で 表 される より 滑 らか で 自 然 な 平 滑 化 が 期 待 できる フィルタ 係 数 : h ( n, m) = (4.5) x x) = exp( ) (4.6) 2π σ 2σ h g ( 2 そして これを 画 像 に 対 する2 次 元 に 拡 張 した2 次 元 ガウス 分 布 は 次 式 で 表 される h i + j i, j) = exp( ) (4.7) 2 2πσ 2σ g ( 2 41

46 2)メディアンフィルタ(median filter) 平 均 値 の 代 わりに ある 領 域 内 の 中 央 値 を 出 力 とするフィルタである たとえば 3 3 のマスクサイズの 場 合 注 目 画 素 の 回 り8 画 素 計 9 画 素 の 中 央 値 を 出 力 することになる メディアンフィルタは 平 均 化 フィルタに 比 べ 入 力 時 のエッジがあまり 影 響 されずに 画 像 内 のノイズなどを 除 去 することが 可 能 である 例 として 図 4.15(a)に 示 した 紙 のテクスチャ 画 像 に 対 し 加 重 平 均 化 フィルタを 適 用 した 画 像 が 同 (b) メディアンフィルタを 適 用 した 画 像 が 同 (c) ガウシアンフィルタを 適 用 した 画 像 が 同 (d)である (a) 原 画 像 (b) 加 重 平 均 化 フィルタ (c)メディアンフィルタ (d)ガウシアンフィルタ 図 4.15 ぼかし 処 理 結 果 テクスチャ 非 写 実 的 画 像 の 生 成 において その 描 画 方 法 に 合 った 下 地 ( 例 えば 鉛 筆 画 であれば 画 用 紙 など 油 彩 画 であればキャンバスなど)の 質 感 を 付 加 させることによって より 非 写 実 的 な 画 像 の 生 成 が 可 能 になる テクスチャ 画 像 を 作 成 する 方 法 としては 実 際 に 画 用 紙 やスケッチブックなどの 素 材 をスキャナやディジタルカメラによって 取 得 しそれを PC で 処 理 することによりテクスチャ 画 像 を 作 成 する 方 法 とフラクタルなどを 用 いて 幾 何 学 的 模 様 を 一 から PC で 作 成 してテクスチャとする 方 法 がある 42

47 本 研 究 では 前 者 の 方 法 で テクスチャ 画 像 を 作 成 した テクスチャに 使 用 するための 元 画 像 の 取 得 方 法 については 以 下 の3つの 方 法 で 取 得 しテクスチャを 作 成 した 1)スキャナによる 素 材 取 得 画 用 紙 やスケッチブックの 表 面 をスキャナでスキャンし PC に 取 り 込 みテクスチャ 画 像 として 用 いる 方 法 比 較 的 表 面 にはっきりした 凹 凸 のある 紙 にムラなく 着 色 し スキャン する PC に 取 り 込 んだ 後 階 調 がはっきりわかるように 色 補 正 を 行 い 仕 上 げる ここでは 水 彩 で 灰 色 に 塗 る 薄 墨 で 塗 る 鉛 筆 で 塗 るなどの 手 法 が 考 えられる( 図 4.16(a)) 鉛 筆 の 場 合 は 筆 を 大 きく 寝 かせて 均 等 な 筆 圧 でムラなく 塗 りを 行 う 必 要 がある 2) ディジタルカメラによる 素 材 取 得 スキャンでは 得 ることができない 画 用 紙 表 面 の 光 の 加 減 を 反 映 した 画 像 を 取 り 込 むこ とができる 画 用 紙 表 面 とカメラレンズを 出 来 るだけ 平 行 にし 光 の 当 たり 具 合 に 注 意 し ながら 明 るさが 均 等 になるように 撮 影 する(フラッシュは 使 用 しない) カメラから PC に 画 像 を 取 り 込 んだあとスキャナの 場 合 と 同 じく 色 補 正 とサイズの 調 整 を 行 い 仕 上 げる ( 図 4.16(b)) 3) 幾 何 学 的 テクスチャの 生 成 幾 何 学 的 な 基 本 テクスチャの 生 成 紙 のテクスチャを 作 る 一 般 的 な 方 法 としては ノイ ズ 画 像 にエンボス 処 理 などで 影 を 付 けるという 方 法 がある( 図 4.16(c)) 本 研 究 では より 自 然 な 感 じを 表 現 したかったため スキャンした 画 像 とディジタルカ メラで 撮 影 した 画 像 をテクスチャ 画 像 として 使 用 することにした (a) (b) (c) (a)スキャナによって 得 たテクスチャ (b)デジカメによって 得 たテクスチャ (c) 雑 音 画 像 にエンボス 処 理 を 施 し 得 たテクスチャ 図 4.16 紙 のテクスチャ 43

48 4.4 ストロークのクロスハッチング 技 法 ストロークの 重 ね 描 画 従 来 の 鉛 筆 画 の 生 成 においては ストロークの 方 向 が 一 定 であった そこで 以 下 のよ うな 工 程 処 理 を 行 うことで 鉛 筆 画 におけるクロスハッチング 技 法 を 施 した 1) ドット 画 像 ( 雑 音 画 像 ) まずはドット 画 像 を 作 成 する 先 の 処 理 で 扱 っていた 原 画 像 の 輝 度 の 分 布 を 反 映 させた ドット 画 像 (ランダムテクスチャ)を 用 いる さらに もうひとつ パターンを 増 やすた め 現 在 多 く 用 いられているドット 画 像 の 生 成 手 法 である 誤 差 拡 散 (error diffusion) 法 によっ てもドット 画 像 を 生 成 した これは ドットを 打 っていく 際 変 換 後 のドット 濃 度 とオリ ジナルの 濃 度 との 誤 差 を 近 傍 画 素 に 荷 重 をつけて 拡 散 させ 空 間 平 均 ではオリジナルとド ットパターンとが 類 似 の 濃 度 分 布 をもつように 工 夫 された 方 法 である 以 下 では ランダ ムテクスチャと 誤 差 拡 散 法 によって 生 成 したドット 画 像 のどちらかを扱 う なお デフォ ルトはランダムテクスチャ 画 像 とする 2)ストローク 画 像 ストローク 画 像 を 角 度 を 変 えて 数 パターン 用 意 する 先 述 した 画 素 の 置 き 換 えによるス トローク 画 像 と 特 定 の 方 向 による 平 均 化 を 用 いたストローク 画 像 の 生 成 を 行 った 平 均 化 を 用 いた 方 法 は1)の 工 程 により 作 成 された 画 像 に 注 目 画 素 を 挟 んで 特 定 方 向 に 一 列 に並 ぶ 画 素 の 平 均 値 を 算 出 し 一 方 向 に 流 れるような 効 果 をもった 画 像 を 生 成 することで ストローク 画 像 としたものである ストローク 角 度 の 種 類 の 数 だけ 繰 り 返 し 行 い 異 なる 角 度 のストローク 画 像 を 数 枚 作 成 する 図 4.17 にストローク 角 度 θs を 任 意 に 設 定 したス トローク 画 像 (4パターン)を 示 す 尚 ストローク 角 度 のほか 長 さ 太 さ 濃 度 も 設 定 可 能 である 44

49 stroke θs 原 画 像 θs= 45 θs= 120 θs= 135 θs= 150 図 4.17 異 角 度 パターンのストローク 画 像 の 生 成 3) 重 ね 合 わせ 2)の 工 程 で 生 成 したアルファ 値 を 持 ったストローク 画 像 を 原 画 像 の 輝 度 分 布 によって アルファ 値 を 設 定 し 一 枚 の 画 像 ( 下 絵 )に 描 き 込 んでいく ストロークパターン 数 を 増 やすとリアルになりすぎるためストロークパターンは4 種 類 から6 種 類 とした 4.5 完 成 画 像 からの 新 たなアプローチ これまでの 完 成 した 鉛 筆 画 は ストロークがはっきりしすぎている 感 じを 受 けた こ れは 写 真 のようにリアルになりすぎないためにストロークを 強 調 し ストロークによる 鉛 筆 画 として 表 現 したからである ここで この 画 像 の 新 たな 表 現 として 少 しぼかした 表 45

50 現 を 加 えたいと 考 えた しかし 一 般 にぼかし 処 理 を 施 すとエッジまでぼやけてしまう そこで エッジを 保 存 した 平 滑 化 処 理 を 施 すことによってそれを 実 現 することにした エ ッジを 保 持 した 平 滑 化 処 理 にはメディアンフィルタの 他 に 以 下 のようなものがある 1) 局 所 領 域 の 選 択 と 平 均 化 を 行 うフィルタ 平 均 化 を 行 う 領 域 を 選 択 し なるべく 画 像 内 のエッジを 含 まない 領 域 で 平 均 化 を 行 うも の 9 通 りの 局 所 領 域 を 用 意 し そのなかの 画 素 値 の 分 散 が 最 小 になる 領 域 を 選 び その 領 域 の 平 均 値 を 出 力 する これによりエッジを 避 けた 領 域 で 平 滑 化 された 結 果 が 得 られる 2) 最 近 隣 平 均 化 フィルタ(k-nearest neighbor averaging filter) 注 目 画 素 の 画 素 値 に 対 し 注 目 画 素 の 近 傍 領 域 中 で 近 い 値 を 持 つ 画 素 を 一 定 個 数 選 び 出 し その 選 ばれた 画 素 の 画 素 値 の 平 均 を 出 力 とする 近 傍 領 域 の 大 きさをN N 画 素 選 2 び 出 す 個 数 をk 個 とするとき k N / 2 とすることで 注 目 画 素 の 画 素 値 に 近 い 近 傍 領 域 中 の 画 素 数 の 半 分 以 下 の 個 数 の 画 素 の 平 均 化 をするため 画 素 のエッジが 保 存 されやす くなる 本 研 究 では 鉛 筆 画 のぼかし 表 現 の 際 に メディアンフィルタおよび 最 近 隣 平 均 化 フィ ルタの 一 種 である MHN(Maximum Homogeneity Neighbour)フィルタを 用 いてエッジ 保 存 平 均 化 を 行 った 処 理 方 法 は まず 注 目 画 素 の 近 隣 画 素 を 注 目 画 素 を 含 む M N サイ ズの4つのエリアに 分 割 し 領 域 を 定 義 する 次 に 4つのエリアごとに RGB 各 値 について 最 大 値 と 最 小 値 の 差 がもっとも 小 さいものを 調 べその 領 域 を 最 大 均 一 領 域 とする 最 後 に 決 定 した 最 大 均 一 領 域 の 色 平 均 を 算 出 し それを 注 目 画 素 に 設 定 する( 図 4.18 参 照 ) MH Nフィルタ 結 果 画 像 を 図 4.19 にそれぞれ 示 す M 注 目 画 素 M N N 図 4.18 MHNフィルタ 46

51 図 4.19 MHNフィルタ 適 用 結 果 画 像 4.6 輝 度 の 調 整 鉛 筆 画 風 画 像 生 成 処 理 を 試 行 錯 誤 する 課 程 で コントラストの 悪 い 画 像 や 影 が 多 く 暗 い 画 像 などは 鉛 筆 画 処 理 の 際 に 結 果 画 像 に 大 きく 影 響 を 及 ぼすことがあった( 図 21(a)) そ こで 非 写 実 的 画 像 変 換 の 前 処 理 として 画 像 輝 度 の 調 整 を 施 し それから 鉛 筆 画 処 理 を 実 行 し 結 果 画 像 の 改 善 度 を 検 討 した 今 回 前 処 理 として 検 討 したのは 3 章 節 で 説 明 したコントラスト 補 正 ガンマ 補 正 ヒストグラムの 平 滑 化 である 1)コントラスト 補 正 線 形 のトーンカーブ 濃 度 変 換 を 用 いて 暗 部 を 明 部 に 変 換 する ヒストグラムを 右 ( 高 純 度 側 )にシフトさせるイメージである 出 力 画 素 g(i,j) 入 力 画 素 f(i,j) 輝 度 補 正 レベル level ヒストグラム 平 均 値 を mean として 式 (4.8)によりコントラスト の 補 正 を 行 った 結 果 画 像 及 を 図 4.21(b)に 示 す g ( i, j) = ( level f ( i, j) mean) + mean (4.8) 2)ガンマ 補 正 上 述 のコントラスト 補 正 で 不 足 する 場 合 は 非 線 形 処 理 を 行 うガンマ 補 正 を 施 す ガンマ 値 については 節 に 説 明 した 結 果 (γ=3.0 の 場 合 )を 図 21(c)に 示 す 47

52 (a) 輝 度 補 正 なしの 画 像 ( 左 )とその 鉛 筆 画 処 理 画 像 ( 右 ) (b) 輝 度 補 正 した 画 像 ( 左 )とその 鉛 筆 画 処 理 画 像 ( 右 ) (c) ガンマ 補 正 (γ=3.0)した 画 像 ( 左 )とその 鉛 筆 画 処 理 画 像 ( 右 ) 図 4.21 輝 度 調 整 3)ヒストグラムの 平 滑 化 48

53 画 像 中 に 特 定 の 輝 度 値 の 出 現 頻 度 が 多 い 場 合 画 像 の 細 かい 部 分 がはっきりしない 問 題 が 生 じる 画 像 を 明 瞭 にするための 補 正 として 変 換 後 の 階 調 値 の 分 布 が 均 一 になるよう に 輝 度 値 を 分 散 させヒストグラムの 平 滑 化 を 行 った( 式 4.9 参 考 ) g(i,j)= K /(M N 255) (4.9) K: 各 画 素 の 輝 度 値 の 累 積 度 数 M N: 総 画 素 数 4.7 顔 画 像 認 識 技 術 を 利 用 した 非 写 実 効 果 生 成 手 法 の 提 案 ここでは 局 所 的 パーツ 認 識 に 基 づく 処 理 パラメータの 自 動 変 更 を 提 案 する 内 容 とし ては 顔 画 像 における 非 写 実 処 理 結 果 画 像 の 改 善 を 目 指 すために 行 った 顔 画 像 認 識 処 理 技 術 を 利 用 した 局 所 処 理 を 説 明 する 顔 画 像 における 自 動 処 理 の 問 題 点 上 述 のような 自 動 非 写 実 化 処 理 においての 処 理 は パラメータなどの 設 定 は 行 ってはい るものの 画 像 全 体 に対 しては 同 一 の 処 理 を 実 行 しているため 細 部 が 省 略 されてしまうこ とが 起 こる また 陰 影 の 影 響 によって 暗 い 部 分 は 潰 れてしまったり 明 るい 部 分 は 消 滅 してしまったりすることがある( 図 4.21) 例 えば 顔 画 像 において 目 の 部 位 は 影 や 顔 の 凹 凸 の 影 響 により 暗 く 他 の 部 分 と 同 一 の 処 理 を 実 行 するとストローク 生 成 時 や 輪 郭 抽 出 時 に黒 く 潰 れてしまうケースが 少 なくない( 図 4.22) また 鼻 は 輝 度 の 変 化 が 微 妙 なため 輪 郭 の 抽 出 が 困 難 となり 適 切 な 閾 値 が 得 られず 変 更 が 必 要 になると 考 えられる 局 所 処 理 の 方 法 これらを 改 善 するための 方 法 としては 人 物 の 顔 について 目 鼻 口 の 各 部 分 を 自 動 認 識 させ 認 識 箇 所 に 対 して 個 別 の 処 理 を 与 える 局 所 処 理 を 施 し より 忠 実 かつ 違 和 感 のな い 鉛 筆 画 を 生 成 することが 望 ましいと 考 えた 個 別 処 理 内 容 は 細 部 の 潰 れてしまう 箇 所 に 対 してはストロークサイズを 縮 小 し エッジ 検 出 方 法 を 改 善 するなどである 49

54 (a) 元 画 像 (b) 処 理 画 像 図 4.21 詳 細 部 分 が 潰 れてしまった 画 像 の 例 (a) 元 画 像 (b) 処 理 画 像 図 4.22 目 の 部 位 の 処 理 例 50

55 第 5 章 結 果 本 章 では 前 章 で 示 した 試 行 実 験 に 基 づき 最 終 的 な 結 果 を 記 す 5.1 鉛 筆 画 風 画 像 生 成 本 研 究 では2 次 元 画 像 を 入 力 とした 鉛 筆 画 風 画 像 の 生 成 を 行 い 最 終 的 に 図 5.1((b)~(e)) し 示 すような 風 合 いの 画 像 を 得 た ストロークの 太 さはすべて 同 じで 濃 度 は 原 画 像 をも とに 自 動 決 定 している (b)はデフォルトの 鉛 筆 画 風 画 像 の 生 成 処 理 を 実 行 した 結 果 画 像 (c)は 輪 郭 線 を 太 く 設 定 (d)はクロスハッチングによる 処 理 結 果 (e)は 鉛 筆 画 風 画 像 に 平 均 化 フィルタを 適 用 した 結 果 である これらの 他 にも ストロークの 長 さや 角 度 などのパラ メータ 設 定 処 理 順 序 の 変 更 フィルタの 適 用 などによって 様 々な 表 現 の 鉛 筆 画 を 得 るこ とが 出 来 た (a) 原 画 像 (b) 結 果 画 像 (デフォルト) (c) 結 果 画 像 ( 輪 郭 線 レベル3) 51

56 (d) 結 果 画 像 (クロスハッチング) (e) 結 果 画 像 ( 平 均 化 フィルタ) 図 5.1 作 成 した 様 々な 鉛 筆 画 風 画 像 5.2 顔 画 像 における 局 所 処 理 の 適 用 顔 画 像 において 局 所 的 に 異 なる 処 理 を 施 すことで 細 部 の 表 現 を 可 能 にするための 実 験 を 行 った 顔 のパーツの 選 択 は 今 後 顔 画 像 認 識 技 術 を 用 いて 自 動 で 目 や 口 を 抜 き 出 した いが 自 動 認 識 は 今 回 のテーマから 外 れるため 手 動 で 範 囲 選 択 できる 仕 様 とし 処 理 を 行 っ た 選 択 後 パーツごとにパラメータを 変 えて 処 理 を 実 行 する このパラメータの 値 は 任 意 で 行 うものとした( 図 5.2 参 照 ) さらに 顔 画 像 において 局 所 的 に 処 理 を 施 すことによる 結 果 画 像 に 対 する 影 響 を 調 べ 局 所 処 理 の 適 用 による 画 質 改 善 について 良 好 な 結 果 を 得 た 現 在 は 手 動 での 局 所 選 択 ではある が 潰 れていた 部 分 が 局 所 処 理 により 改 善 されたことがわかる( 図 ) 52

57 図 5.2 パーツごとの 処 理 実 行 画 面 の 例 (a) 元 画 像 図 5.3 顔 パーツの 選 択 画 像 (b) 選 択 画 像 (a) 通 常 の 鉛 筆 画 風 画 像 図 5.4 局 所 処 理 結 果 画 像 (b) 局 所 処 理 適 用 画 像 53

58 5.3 ソフトウェア 開 発 本 研 究 における 画 像 処 理 実 験 には 自 作 のソフトウェアを 使 用 した このソフトウェアに は 基 本 的 な 機 能 が 中 心 であるが その 組 み 合 わせで 様 々な 非 写 実 的 画 像 が 生 成 できる 最 終 的 にはそれぞれの 非 写 実 効 果 生 成 に 特 化 した 画 像 処 理 ソフトの 開 発 を 目 指 し 使 いやす さ 汎 用 性 機 能 性 などを 考 慮 しながら 目 的 調 の 画 像 を 出 来 るだけ 手 間 なくユーザの 意 思 を 付 加 し 自 動 で 非 写 実 的 画 像 に 変 換 するシステムを 構 築 することが 目 標 である 本 研 究 では 鉛 筆 画 生 成 に 特 化 したシステムについては1クリックで 自 動 生 成 するソフトウェア を 構 築 できた すべての 風 合 いの 処 理 を 搭 載 するには 多 大 な 開 発 時 間 を 必 要 とするため 現 状 では グレイスケール 濃 度 反 転 エンボスなど 基 本 的 な 画 像 処 理 機 能 をはじめ 輪 郭 付 加 やストローク 生 成 などの 鉛 筆 画 風 画 像 作 成 において 必 要 な 機 能 を 備 えている 本 ソ フトウェアに 搭 載 した 主 な 機 能 を 表 5.1 に 例 記 し 同 ソフトウェア( 初 期 Version) 実 行 の 様 子 を 図 5.5 機 能 追 加 に 伴 い Form 形 態 を 変 更 した 現 在 の 状 態 (Version2)を 図 5.6 に 示 す 表 5.1 画 像 処 理 ソフトウェア 搭 載 の 主 な 機 能 グレイスケール 移 動 平 均 濃 度 変 換 メディアンフィルタ( 重 さ 設 定 ) エンボス( 深 さ) Gradient フィルタ( 重 さ 設 定 ) 二 値 化 ( 閾 値 ) Laplacian フィルタ( 重 さ 設 定 ) 階 調 数 低 減 Prewitt フィルタ( 重 さ 設 定 ) RGB チャンネル 表 示 Sobel フィルタ( 重 さ 設 定 ) ヒストグラム(RGBL) 輪 郭 付 加 ( 閾 値 ) 色 情 報 表 示 (RGB HLS YCC) 輪 郭 ずらし 色 調 補 正 ( 明 るさ コントラスト) 色 相 検 索 (0~360) 局 所 処 理 ( 手 動 選 択 ) 明 度 検 索 (0~255) RGB HLS 変 換 アルファ 値 操 作 鮮 鋭 化 ストローク 付 加 ( 長 さ 角 度 ) ノイズ 付 加 画 用 紙 テクスチャ( 輝 度 調 整 ) ランダムテクスチャ( 輝 度 調 整 ) 画 像 Viewer 最 小 最 大 最 頻 平 均 中 央 値 取 得 ファイル 保 存 印 刷 54

59 図 5.5 ソフトウェアForm 画 像 ( 初 期 Version1) 図 5.6 ソフトウェアForm 画 像 (Version2) 55

60 第 6 章 考 察 問 題 点 と 課 題 以 下 本 研 究 の 考 察 と 問 題 点 およびそれらから 導 き 出 された 課 題 さらに 今 後 の 展 望 や 将 来 性 を 記 す 6.1 考 察 問 題 点 と 課 題 ここで 画 像 処 理 ソフトウェアと 処 理 方 法 について 考 察 し 現 システムでの 問 題 点 を 述 べ 最 後 に 本 研 究 全 般 的 な 問 題 点 や 課 題 に 触 れることとする ソフトウェア 既 存 ソフトウェア 製 品 と 比 較 すると 自 作 ソフトウェアとの 機 能 的 な 差 は 明 らかであるが 鉛 筆 画 としての 完 成 度 は 少 なくとも 劣 ってはいないと 感 じる その 点 で 鉛 筆 画 に 特 化 し たソフトウェアとしては 完 成 の 域 に 達 したと 言 える 優 れた 画 像 処 理 ソフトウェアに 共 通 して 言 えるのは その 機 能 の 多 さと レイヤーやウィンドウなど GUI の 利 便 性 プレビュ ーや 様 々なデータの 表 示 情 報 量 とリアルタイム 性 ドローやペイントやフォトレタッチ など 総 合 的 な 処 理 が 可 能 なことであるといえる しかし 本 研 究 で 開 発 したソフトウェア では 現 在 の 処 理 機 能 だけでは 画 像 処 理 の 仕 上 げや 調 整 の 際 の 加 工 が 出 来 ない すなわ ち 画 像 のリサイズや 色 調 補 正 などの 機 能 が 必 要 となる しかし 一 芸 に 特 化 したソフト ウェアとして 位 置 づければこれらの 後 処 理 は 一 般 の 画 像 処 理 ソフトに 委 ねるという 解 もあ る 一 方 簡 略 化 を 目 指 しつつも パラメータの 設 定 においては 複 雑 な 仕 組 みになりつつ ある しかし より 簡 便 に 全 ての 設 定 を 自 動 化 してしまえば 誰 が 処 理 しても 同 じ 結 果 に 到 ることになるため 設 定 は 可 能 にしておくことも 必 要 であると 考 えられる その 際 に よりグラフィカルで 理 解 しやすい GUI 設 計 や 簡 易 な 処 理 チュートリアルに 従 って 例 に 沿 って 処 理 していく 形 式 をとるなどして より 解 り 易 い 操 作 設 計 が 必 要 である 本 研 究 ソフトウェアのテーマは 一 般 ユーザでも 扱 いやすい 非 写 実 的 画 像 生 成 に 特 化 した 画 像 処 理 ソフトウェアである 現 状 は 画 像 処 理 ソフトウェアとしての 基 盤 の 上 にようや く 鉛 筆 画 を 中 心 とした 非 写 実 的 効 果 生 成 機 能 が 付 加 されたところである 総 合 的 な 機 能 を 有 するソフトウェアを 開 発 するのは ある 程 度 の 時 間 が 必 要 だろう 画 像 処 理 としての 機 能 の 追 加 を 随 時 行 いながら 非 写 実 的 描 画 機 能 の 開 発 に 取 り 組 んでいかなくてはならない また 様 々な 画 像 処 理 ソフトにふれ 処 理 プログラムを 組 んでいく 中 で 機 能 の 多 さや 使 い 易 さとは 別 に 面 白 いと 感 じられる 要 素 を 付 加 する 工 夫 も 必 要 だと 感 じた 56

61 6.1.2 初 期 画 像 及 び 処 理 パラメータの 結 果 画 像 への 影 響 処 理 パラメータの 結 果 画 像 への 影 響 を 元 にパラメータの 最 適 値 を 決 定 することになるが 画 像 によってその 特 徴 は 異 なる 単 純 に 明 るい 画 像 暗 い 画 像 ぼやけた 画 像 構 造 物 写 真 人 物 写 真 など それら 全 ての 異 なる 画 像 に 対 しての 最 適 なパラメータを 決 定 すること は 非 常 に 困 難 である そのため ある 程 度 のユーザの 判 断 が 要 求 される そこで 知 識 の ないユーザのためにもよりグラフィカルで 分 かりやすい 操 作 方 法 の 提 案 や 処 理 チュート リアルなどの 提 示 などを 組 み 込 む 必 要 がある ユーザの 介 入 を 少 なくすればするほど つ まり 自 動 化 すれば 簡 単 に 誰 でも 非 写 実 画 像 が 生 成 できるが そうなると 誰 でも 同 じ 画 像 を 使 えば 同 じ 結 果 になってしまうということである せっかく 個 性 的 な 表 現 方 法 を 使 っても これでは 意 味 がないといえる ある 程 度 ユーザに 介 入 してもらうことを 前 提 においたシ ステム 開 発 画 像 処 理 ソフトウェア 開 発 が 必 要 不 可 欠 な 課 題 である 処 理 方 法 先 に 述 べたように 全 ての 画 像 ( 写 真 )に 対 して 有 効 なパラメータ 処 理 方 法 を 決 定 する のは 難 しい 結 果 の 画 像 から 見 ても 分 かるように 鉛 筆 画 で 描 かれる 様 な 風 合 いは 十 分 に 出 ている しかし 画 像 上 にはまだまだコンピュータ 特 有 の 規 則 性 が 発 生 している 感 が 否 め ない 改 善 のためには 実 際 に 鉛 筆 画 を 描 くときのように 対 象 物 の 特 徴 を 判 断 ( 抽 出 )す る 必 要 がある 例 えば 元 画 像 がカラーの 場 合 はその 色 情 報 の 活 用 ストロークの 対 象 物 エッジに 平 行 垂 直 な 配 置 及 び 対 象 物 構 造 に 合 致 したストローク 形 状 や 細 かな 長 さ 設 定 な どが 考 えられる これらは 処 理 結 果 データを 比 較 しながら 検 討 していく 必 要 がある ど のような 表 現 を 構 築 したいかを 考 え それをいかにコンピュータ 上 で 再 現 していくかを 考 えなくてはならない テンプレート 用 のデータベースを 用 意 し 画 像 内 にマッチングするこ とで 画 像 内 の 認 識 が 出 来 れば 処 理 の 際 に 処 理 対 象 の 認 識 が 可 能 となり 人 間 であるのか 構 造 物 であるのか などの 情 報 によってその 対 象 物 に 合 致 した 処 理 が 可 能 であると 考 えら れる 人 間 が 描 くときに 対 象 物 をどのように 認 識 し 捉 えているのか 認 識 技 術 と 兼 ねあわ せて 処 理 を 検 討 していくことも 重 要 だろう また 顔 画 像 の 局 所 処 理 においては 今 回 任 意 で 行 ったパーツごとの 処 理 パラメータ 設 定 の 最 適 値 の 検 討 特 に 現 描 画 方 法 において 重 要 な 輪 郭 線 検 出 の 閾 値 自 動 決 定 が 求 められる より 複 雑 な 処 理 になった 場 合 に 各 パーツ での 処 理 後 に 違 和 感 なく 全 体 画 像 へ 馴 染 ませることが 必 要 不 可 欠 な 課 題 となるだろう 感 性 表 現 と 評 価 方 法 最 大 の 課 題 は ユーザの 意 図 した 画 像 が 生 成 できることとユーザの 個 性 を 生 み 出 せる 57

62 ことである また 絵 画 においてその 評 価 が 個 人 の 価 値 観 に 左 右 される 点 と 同 じく 本 ソ フトウェアによる 結 果 画 像 が 良 い 画 像 か 悪 い 画 像 かは 見 る 人 の 判 断 によるため 主 観 評 価 などで 評 価 するしか 方 法 がないということも 問 題 であり この 研 究 分 野 において 大 きな 課 題 だろう 今 のところの 結 果 画 像 の 評 価 としては 実 際 に 人 間 が 描 いた 絵 画 と 比 較 するこ とや 美 術 の 専 門 的 知 識 を 持 った 人 と 一 般 人 とで アンケートをとり 画 像 の 評 価 をしてい く 準 客 観 的 な 評 価 方 法 が 挙 げられる その 他 画 像 内 の 輝 度 分 布 や 使 用 輝 度 の 割 合 などの パラメータで 比 較 していくことが 考 えられる 6.2 展 望 将 来 性 今 後 の 展 望 としても 総 合 的 な 画 像 処 理 ソフトウェアとして 発 展 させるのではなく 非 写 実 的 画 像 生 成 に 特 化 したソフトウェアを 目 指 したい しかし 色 調 補 正 やリサイズなど 画 像 処 理 ソフトウェアとして まだ 必 要 な 機 能 はある それらを 追 加 した 後 多 様 な 効 果 の 画 像 が 生 成 でき それをさらに 輝 度 調 整 リサイズなどで 仕 上 げる 程 度 の 加 工 を 施 すこ とができれば 様 々な 場 所 場 面 で 活 用 できるだろう また 新 しい 方 向 性 として 静 止 画 だけでなく 動 画 像 にも 対 応 できれば 動 く 鉛 筆 画 や 動 く 油 絵 画 など 非 写 実 的 な 映 像 も 表 現 できると 考 えられる これからも 益 々ディジタル 画 像 はその 需 要 を 増 やしていくであろ う それらを 簡 単 に 面 白 く 個 性 的 に 楽 しく 綺 麗 に 表 現 できれば ユーザを 選 ばず 扱 ってもらえるソフトウェアに 発 展 することであろう 58