グレースケール画像のカラー化

グレースケール画像のカラー化 岡山理科大学総合情報学部情報科学科 I11I035 外川真利奈 I11I036 高見真理菜 2015/03/09

目次 1 はじめに... 1 2 デジタル画像とは... 2 3 二値化とは... 3 4 グレースケール変換... 3 4.1 中間値法... 4 4.2 NTSC 加重平均法... 5 4.3 HDTV 法... 6 5 原画像とグレースケール画像の比較... 7 6 カラー化... 8 7 カラー化作業... 9 8 その他画像のカラー化... 18 9 ソフトウェア比較... 19 10 まとめ... 20 参考文献... 21 2

1 はじめに近年, スマートフォンの普及, 各種サービスの提供により写真を撮る, 交換する, という機会が増えてきている. そして使われる写真は膨大な量となってきている. その際, 自分の伝えたい情報を相手に正確に伝えるためには, グレースケール写真に文字情報などを加え情報交換するよりも, カラー写真を使う方がスムーズにコミュニケーションをとることができると考えられる. ところで, 写真自体を加工するための画像編集アプリケーションは増え続けいているものの, グレースケール画像を自動でカラー画像にするという機能を有したソフトウェアはまだないようである. これは, グレースケール画像に色情報が含まれていないからであり, この色情報を復元するというアルゴリズムが確立されていないからであると考えられる. このような自動カラー化ソフトウェアがないということは, グレースケール画像のカラー化という技術が一般家庭においてまだ一般的ではないと考えられる. そこで私たちは, 着色機能を有した市販のソフトウェアをいくつかとりあげ, グレースケール画像を手動でカラー化するという技術の性能や操作手順の際について比較することにより, カラー化が一般に普及して行く上での問題点を明らかにしようと考えた. その際, カラー化した画像の比較評価が容易となるよう, カラー画像をグレースケール変換して得た画像を用いることにした. 用いたカラー画像は, 澤見研究室画像保管庫にあるものから選んでいる ( 図 1). なお, グレースケール変換についても比較, 検討をし, カラー化した画像の比較が容易になると考えられるものを選んでいる. 図 1 原画像 電車の画像

2 デジタル画像とはデジタル画像とは, 画素値を 1 と 0( 二進法 ) の組合せにより表したものである. デジタル画像を表示することのできる機器には, コンピュータ, 携帯電話, スマートフォン, タブレ 1 ット端末などがある. デジタル画像は, 解像度が固定されているか否かによって, ラスターイメージとベクターイメージに分けることができる. 一般に, 特に断りがない限り, デジタル画像は解像度の固定されたラスターイメージを指すことが多い. 本研究で用いているラスターイメージは, ピクセルと呼ばれる画像の最小要素と対応する情報を有したデジタル値を位置情報に従って有限個並べたものである. ラスターイメージ中の各ピクセルは, 一般に二次元領域内の特定の位置に対応しており, ピクセル値はその位置に対応した単値また多値の画像情報を格納している. デジタル画像は, 標本化により得られるピクセル値を表すために用いるビット数などの属性によって以下のように分類することができる [1]. (1) 二値画像白と黒ですべて表現された画像 (2) グレースケール画像白黒でその濃淡が 256 階調で表現される画像 (3) カラー画像三原色 RGB の組み合わせで表現される画像 上記の分類に沿った各種画像を, 原画像中の赤枠部分に注目して, 比較できるようにした ものを以下に示す ( 図 2). 原画像 (1) 二値画像 (2) グレースケール画像 (3) カラー画像 図 2 デジタル画像の分類 2

3 二値化とはピクセルの輝度値を 1 ビット (0 または 1) で表現した画像を二値画像データという. 複数のピクセル値を用いる多値画像データを二値画像データに変換することを二値化という. 二値化された画像は, 中間色であるグレーを含まない完全な白色と黒色の 2 色で表現された画像となる. 一般に, 二値化では, 任意の閾値を定めそれ以上か未満かで白色か黒色かを決める処理を行う [2]. 以下はある画像に関し 8 ビットで表した輝度値に対して, 閾値 100 を用いた二値化を行っている例である ( 図 3). 二値化により, 対象物の特徴が明瞭になっていることが分かる. 図 3 閾値 100 で二値化 4 グレースケール変換画像中のピクセルを白から黒に渡る複数個の輝度値により表現し, 色情報を含まない画像に変換することである [3]. カラー化作業においてどのようなグレースケール画像を用いるかにより作業効率が異なってくると考えられる. そこで, 次に示す 3 種類のグレースケール変換について比較し, カラー化を行う標準グレースケール画像にはどれが適しているかを調べることにする. グレースケール画像の比較には目視とエントロピを用いることにする. 中間値法 Y( 輝度値 )=(max + min )/ 2 NTSC 加重平均法 Y( 輝度値 )= 0.298912*R + 0.586611*G + 0.114478*B HDTV 法 R=0.222015*R1 x G=0.706655*G1 x B=0.071330*B1 x Y( 輝度値 )=(R + G + B) 1 x x= ガンマ補正値 3

4.1 中間値法 ピクセルを構成する三原色の輝度値 RGB の値から, 最大値と最小値を取り出し, これらの 平均値を求めてグレースケール化する方法である ( 図 4). 計算式 : Y( 輝度値 )=(max + min )/ 2 ( 例 ) 原画像から矢印部分の色を抽出 RGB(48, 170, 255) max=255 min=48 Y=(255+48)/2 152 図 4 中間値法による変換例中間値法では, 全体の色の違いが明瞭ではなくなり, 全てつぶれたようになって, 元の白色だった部分以外はほとんど単調なグレー一色になっていることがわかる. 原画像の電車側面の一部を切り取り拡大することで, 目視による比較を行っている ( 図 5). 図 5 画像の一部を切り取り拡大 4

4.2 NTSC 加重平均法 ピクセルを構成する三原色の輝度値 RGB 値の重み付け平均を求める方法である ( 図 6). 計 算式の重み付け係数は, 国際電気通信連合の規格に規定されている数値に基づいている. 計算式 :Y = 0.298912*R + 0.586611*G + 0.114478*B ( 例 ) R GB 原画像から矢印部分の色を抽出 RGB(48, 170, 255) Y=0.298912*48 + 0.586611*170 + 0.114478*255 =143.263536 143 図 6 NTSC 法による変換例 NTSC 法では, 人の目に違和感を感じないように, 視覚に基づく重み付けをして変換を行っているため, 原画像の色調が自然なグレーとして再現されている. 例えば, 原画像の電車側面の青色, 赤色, 黄色の部分の色の見た目の明るいことがグレースケールでも自然に再現されていることが分かる ( 図 7). 特に黄色部の変化が明確に表されている. 図 7 画像の一部を切り取り拡大 5

4.3 HDTV 法 Photoshop のグレースケール化コマンドが行っている処理である.HDTV 用の規格を基に した加重平均に, ガンマ補正を行っている ( 図 8). 計算式 :R=0.222015*R1 x G=0.706655*G1 x B=0.071330*B1 x Y=(R + G + B) 1 x x= ガンマ補正値 ( 例 ) R GB 原画像から矢印部分の色を抽出 R1G1B1 (48, 170, 255) それぞれを 255 で割ることによって正規化 R1=0.188235 G1=0.666667 B1=1 x=2.2( ガンマ補正値 ) R=0.222015*0.188235 2.2 G=0.706655*0.666667 2.2 B=0.071330*1 2.2 Y1=(1109.464 + 57042.04 + 14049.49) 1 2.2 =0.633707 Y=Y1*255 =161.5953 162 図 8 HDTV 法による変換例 HDTV 法では, 原画像の, 色が濃く暗いところほど濃く暗いグレーで, 明るいところは明るく表現されている. このことから中間値法や NTSC 変換法よりも, 電車の側面に書かれている文字の輪郭部分が読み取りやすいグレースケール画像になることがわかる ( 図 9). 図 9 画像の一部を切り取り拡大 6

5 原画像とグレースケール画像の比較 比較において使用する平均情報量の求め方は以下の通りである. ここに示す例では原画像の エントロピを算出している ( 図 10). 原画像 Pk -PklogPk 0 1 0.000001 0.000005 1 2 0.000002 0.000009 2 1 0.000001 0.000005 3 6 0.000005 0.000026 252 816 0.000664 0.002110 253 1022 0.000832 0.002562 254 1064 0.000866 0.002652 255 486 0.000396 0.001346 エントロピの計算式 : Pk logpk/log2 k Pk 0 合計 合計 1228800 2.266110 ImageJ から画像の頻度分 布をエクセルに取り込む 情報量の合計を算出 エントロピを算出 単位 bit/pixel 図 10 エントロピ算出方法 グレースケール変換した画像のエントロピを算出して比較する ( 表 1). 表 1 原画像とグレースケール画像の比較原画像 7.5278 bit/pixel 中間値法 NTSC 法 HDTV 法 7.49182 bit/pixel 7.34908 bit/pixel 7.55327 bit/pixel 比較した結果,HDTV 法が原画像と数値が一番近い大きな値になっている. カラー化を行 う際, エントロピが大きい, すなわち情報量の多いこの HDTV 法を用いるとカラー化の作業 効率が上り, 比較が容易となると考えられるので, これを標準グレースケール画像とした. 7

6 カラー化これまで変換してきたグレースケール画像にカラー化作業を行う. 本研究では市販のソフトウェアのうち,Photoshop, はいから,Recolored の 3 点を選びカラー化を行った. 各ソフトウェアの概要と, これらを本研究で用いることにした理由について説明する. (1) Adobe Photoshop CS2 Adobe System Software 開発写真編集に渡る全般処理を目的としたソフトウェアであり, 画像分野では代表的な存在となっている [4]. 知名度が高く, 機能性に優れていると考えられるため使用した. (2) はいから IPA( 情報処理推進機構 ) 開発白黒画像を色付けしてカラー画像にするソフトウェアである. 着色したい部分を切り出して色付けする作業を効率的に行えるよう, 独自の機能を備えている [5]. 日本で開発されたソフトウェアであるため使用した. (3)Recolored Bertheussen IT 開発白黒写真のカラー化のためのソフトウェアであり, カラー写真の修復の他にもデジタル画像のための編集機能も備えている [6]. ホームページに掲載されている Recolored の説明文に, 少ない労力で結果を達成することができるとあったため使用した. 8

7 カラー化作業それぞれのソフトウェアの実際の作業手順について説明し, 評価の容易な以下の項目について, 性能と作業手順の差異を比較検討する. カラー化を行う際に参照する色情報は, 原画像のものを用いることにする ( 図 1). 繰り返す作業手順 作業時間 使用した機器 使用したツール 着色作業を円滑にした点 着色作業に手間取った点 (1)Adobe Photoshop CS2[7] メニュー [ ファイル ][ 開く ] から, グレースケール画像を表示する ( 図 11.1). 図 11.1 Photoshop ステップ 1 メニュー [ イメージ ][ モード ] から [RGB カラー ] を選択する ( 図 11.2). 図 11.2 Photoshop ステップ 2 新規レイヤー作成ボタン ( 赤色の枠内 ) を押し, レイヤー 1 を選択する ( 図 11.3). 図 11.3 Photoshop ステップ 9

ブラシツール ( 赤色の枠内 ) を選択し, カラーパネルから色を選択する ( 図 11.4). 図 11.4 Photoshop ステップ 4 パーツを塗りつぶす ( 図 11.5). 図 11.5 Photoshop ステップ 5 ソフトライトを選択すると, 塗った色が透けて見える ( 図 11.6). 図 11.6 Photoshop ステップ 6 余分な部分を消しゴムツール ( 赤色の枠内 ) で消していく ( 図 11.7). 図 11.7 Photoshop ステップ 7 10

ステップ 3 から 7( 図 11.3~11.7) を繰り返すことにより完成した画像が得られる ( 図 11.8). 図 11.8 Photoshop 完成 完成した画像を得るための, 性能と作業手順に関し順に評価していく. カラー化のための作業は, 先に示した 5 ステップ ( 図 11.3~11.7) を対象物毎に繰り返すことで完了する. その結果, カラー化のための作業は1 日で完了することができる. ここで使用したツールはブラシツール, 消しゴムツールである.Photoshop は, カラータイプやペンツールの種類が豊富で, いろいろな状況にも対応できる. しかし, 影の部分は日の当たり具合を想像して着色しなければいけないため, 現実的なカラー化は難しいといえる. これらのことをまとめると以下のようになる ( 表 2). 繰り返す作業手順作業時間使用した機器使用したツール 表 2 Photoshop- 性能と作業手順について 5 ステップ ( 図 11.3~11.7) 1 日で完了マウス, ペンタブレットブラシツール, 消しゴムツール 着色作業を円滑にした点 着色作業に手間取った点 カラータイプ, ペンツールの種類が豊富である 影の部分は日の当たり具合を想像して着色しなければ いけない 11

(2) はいから [8] メニュー [ ファイル ][ 着色画像を開く ] から, 着色したいグレースケール画像を左に, メニ ュー [ ファイル ][ 参照画像を開く ] から, 参照となるカラー画像を右に表示する ( 図 12.1). 図 12.1 はいからステップ 1 着色画像 ( 左 ) からマウスをドラッグすることにより着色したい範囲を選択し, 参照画像 ( 右 ) から参照する色の範囲を選択する ( 図 12.2). 図 12.2 はいからステップ 2 領域 ( 赤色の枠内 ) を選択して見ると, 色が適切に選択できているのがわかる ( 図 12.3). 図 12.3 はいからステップ 3 12

ツールバーから筆 ( 赤色の枠内 ) を使用し, 着色画像 ( 左 ) の範囲を細かく選択する ( 図 12.4). 図 12.4 はいからステップ 4 領域を選択して見ると, 以下のようになる ( 図 12.5). 図 12.5 はいからステップ 5 参照画像 ( 右 ) の選択範囲と, 着色画像 ( 左 ) の選択範囲を線 ( 黒色の線 ) で結ぶ ( 図 12.6). 図 12.6 はいからステップ 6 13

ステップ 2 から 6( 図 12.2~12.6) を繰り返すことにより完成した画像が得られる ( 図 12.7). 図 12.7 はいから完成 完成した画像を得るための, 性能と作業手順に関し順に評価していく. カラー化のための作業は, 先に示した 5 ステップ ( 図 12.2~12.6) を対象物毎に繰り返すことで完了する. 作業は1 日で完了することができる. 今回使用したツールは筆 ( 細, 太 ), 消しゴムである. はいからは, カラーパネルなどで色を選択しなくてもよいため, 色選択が容易である. しかし, 領域の選択に手間がかかるという点が着色作業において手間取ったといえる. これらのことをまとめると以下のようになる ( 表 3). 表 3 はいから- 性能と作業手順について 繰り返す作業手順作業時間使用した機器使用したツール着色作業を円滑にした点着色作業に手間取った点 5 ステップ ( 図 12.2~12.6) 1 日で完了マウス筆 ( 細, 太 ), 消しゴムカラーパネルなどで色を選択する必要がない領域選択に手間がかかる 14

(3)Recolored[9] メニュー [File][Open] から, グレースケール画像を表示する ( 図 13.1). 図 13.1 Recolored ステップ 1 カラーパネルから Primary Color( 赤色の枠内 ) の Color Picker から色を選択する ( 図 13.2). 図 13.2 Recolored ステップ 2 ツールバーから Brush Tool( 赤色の枠内 ) を使用し, 着色したい部分を線で囲む ( 図 13.3). 図 13.3 Recolored ステップ 3 15

ステップ 2 と 3( 図 13.2,13.3) を繰り返すことで線の数を増やす ( 図 13.4). 図 13.4 Recolored ステップ 4 ツールバーから Colorize( 赤色の枠内 ) を選択することで, 結果が得られる ( 図 13.5). 図 13.5 Recolored ステップ 5 Colorize した結果を見ながら, 微調整を行う ( 図 13.6). 16

図 13.6 Recolored ステップ 6 ステップ 2 から 6( 図 13.2~13.6) を繰り返すことにより完成した画像が得られる ( 図 13.7). 図 13.7 Recolored 完成 完成した画像を得るための, 性能と作業手順に関し順に評価していく. カラー化のための作業は, 先に示した 5 ステップ ( 図 13.2~13.6) を対象物毎に繰り返すことで完了する. 作業は1 日で完了することができる. 今回使用したツールは Brush Tool,Line Tool, Eraser Tool,Colorize,Color Replace である.Recolored は, 線で囲むという作業のため, 単純な作業である. しかし, 線が交わり, 境界線が曖昧であるとカラー化に不具合が出てしまい, とても細かい作業となることがわかった. これらのことをまとめると以下のようになる ( 表 4). 表 4 Recolored- 性能と作業手順について繰り返す作業手順 5 ステップ ( 図 13.2~13.6) 作業時間 1 日で完了使用した機器マウス, ペンタブレット使用したツール Brush Tool,Line Tool,Eraser Tool, Colorize,Color Replace 着色作業を円滑にした点線で囲むという点が, 単純な作業であるといえる着色作業に手間取った点線が交わり, 境界線が曖昧であるとカラー化に不具合が出るのでとても細かい作業となる 17

8 その他画像のカラー化前章では, カラー原画像をグレースケール変換し, カラー原画像の色情報を元にカラー化を行い結果を得た ( 図 14). ここでは, 対象物の色情報をインターネットで検索し, それを元にグレースケール画像をカラー化した ( 図 15). そのため, 画像中の対象物として土とプランターと多肉植物を取り上げた. 土とプランターの色については一般に見かけるものにはどんな色が多いのかを検索した結果を元に色を決定した. 多肉植物の色についてはその種と名称を確認し, どんな色をしているかを検索結果の中から選んだ. 原画像グレースケール変換カラー化図 14 原画像の色情報を元にしたカラー化完了までの流れ 対象物の色情報 インターネット検索 グレースケール画像カラー化図 15 検索した色情報を元にしたカラー化完了までの流れ各ソフトウェアについて, 同じ作業を行うことによってカラー化を行うことが出来るかを調べるために, 以下の画像 ( 澤見研究室画像保管庫 ) を原画像に用いて性能と作業手順の比較を行うことにした. 画像は一度 HDTV 法で変換をほどこしたものである ( 図 16). 図 16 原画像 2 多肉植物の画像 以下に示すように, 比較的自然な結果を得ることが出来た ( 図 17~19). 図 17 Photoshop 結果図 18 はいから結果図 19 Recolored 結果性能と作業手順については, 前章までの結果とほぼ同じであった ( 表 2~4). プランターに着色することは容易であったが, 先の例に示したような原画像の色情報を利用していないことから, 多肉植物の葉の色を再現することはひときわ難しい作業であった. 18

9 ソフトウェア比較 実際に使用したソフトウェアについて, カラー化を行う際に感じた特徴をまとめて以下 に列記する. (1)Adobe Photoshop CS2 塗り絵のように色付けをすることで着色作業を行うソフトウェアであった. ペンツールの種類, 色調の選択肢の豊富さがこのソフトウェアの利点であると考えられる. また, 編集機能が豊富なので, 画像自体の編集も円滑に行うことが出来る. 領域設定をする際に, 新規レイヤーを用いてパーツごとに着色を行えるので, 境界線が重なることによって色が大きく滲むことがない. ただし, 色の変化は見られた. 影や色の濃さを自動調節するという機能を有していないため, 自分で色を調節しなければならない. このソフトウェアはマウスだけの操作でも作業を行うことも十分に可能であると考えられたが, ペンタブレットを使うことにより作業効率は上がると考えられる. (2) はいから参考画像から色を移すことで着色作業を行うソフトウェアであった. ある程度の領域選択を自動で行ってくれることがこのソフトウェアの利点であると考えられる." 右から左へ色を移す " という手順が, 短時間でソフトウェアに慣れることに繋がった. 自動で選択された領域は完全ではないため, 筆を使って細かく設定する必要がある. 着色した際に, 影や色の濃さを自動調節するという機能を有していた. このソフトウェアはマウスだけの操作により十分な作業が行えると考えられる. (3)Recolored 線で細かく領域設定をしていくことで着色作業を行うソフトウェアであった. 線を引くという作業が単純であることがこのソフトウェアの利点であると考えられる. 一度塗ったパーツの色を変更する, という作業が容易に行うことができた. 線が交わり, 境界線が曖昧であるとカラー化の際に色が滲み再現度に不具合が生じるので, 領域を設定する際に境界線が重ならないように調節しなければならない. 着色した際に, 影や色の濃さを自動調節するという機能を有していた. このソフトウェアはマウスだけの操作でも作業を行うことも十分に可能であると考えられたが, ペンタブレットを使うことにより作業効率が上がると考えられる. 19

10 まとめ それぞれのソフトウェアに関し, 以下の 3 点が作業効率に影響していると考えられる. 領域選択の手間 ペンツールの種類 ペンタブレットの有無 各ソフトウェアの大きな違いは領域選択の方法にあることがわかった. また, この色を付ける領域を設定するための作業量が作業時間の大部分を占めることが分かった. これが改良され, 自動化が進むとより使いやすくなると考えられる. また, ペンツールの種類の豊富さが作業効率をあげることがわかった.Photoshop ではペンツールの種類や形, 大きさを自由に選択することができ, パーツの大きさによって使い分けることで作業効率を上げたと考えられる. はいからや Recolored は, ペンの太さをある程度調節することが出来たが, 作業自体に使えるペンの種類は 1 種類であった. ペンツールの形によって着色の際に有利な効果をもたらすような機能があれば, 作業効率が上がるのではないかと考えられる. 使用した全てのソフトウェアに関し, 完成までの作業時間はすべて 1 日であったことから, 時間に大きな差は見られなかった. しかし Photoshop と Recolored に関しては, カラー化の際, ペンタブレットを使用して細かい作業を行ったため, その結果が反映されていると考えられる. ただしペンタブレットの有無で再現度に影響は無いと考えられる. 本来, どのソフトウェアにおいても, 元の色がグレースケール画像からは想像することが出来ない. そのため, グレースケール画像のみからのカラー化では, 当初考えていたようなソフトウェアによる再現度の大きな差は見られなかった. また, カラー化が一般に普及するには, 作業時間の長いことが問題になるものと考えられる. 今後の課題としては, 以下のことが考えられる. 領域選択にどんな理論が存在するかを調べること エントロピの低いグレースケール画像を使用してカラー化を行うと作業時間や作業効率にどのような影響が出るのかを調べること 色情報に関する文書などの文字情報を利用することで, 作業時間や作業効率にどのような影響が出るかを調べること 20

参考文献 [1] デジタル画像 ( カラー画像とグレースケール画像 ) http://www.igunoss.co.jp/imageproc/imageproc1-2.html [2] 2 値化 http://www.igunoss.co.jp/imageproc/imageproc1-5.html [3] グレースケールのひみつ http://ofo.jp/osakana/cgtips/grayscale.phtml [4] Adobe Photoshop ウィキペディア http://ja.wikipedia.org/wiki/adobe_photoshop [5] 自動着色ソフトウェア はいから http://www.recursion.jp/mitou15/ [6] Recolored http://www.recolored.com/recolored_info.php [7] フォトショップ道場グレースケール写真に色をつけましょう http://photo-collage.jp/gensougarou/photoshop/photoshop23.html [8] はいから操作説明書 http://www.recursion.jp/mitou15/manual.pdf [9] 道具解 Recolored 使い方 操作方法 http://www4.pf-x.net/~zot/dk/rcl/recolored.html 21