芸術科学会論文誌サンプル（WOD）

Transcription

1 例 に 基 づくヘアスタイルアドバイザ 楊 薇 ( 非 会 員 ) 豊 浦 正 広 ( 非 会 員 ) 茅 暁 陽 ( 正 会 員 ) 山 梨 大 学 Example-Based Hairstyle Advisor Wei Yang(Non-member) Masahiro Toyoura(Non-member) Xiaoyang Mao(Member) University of Yamanashi xaviera860110@gmail.com, {mtoyoura, mao}@yamanashi.ac.jp アブストラクト ヘアスタイルは 人 の 外 見 を 決 める 上 でもっとも 重 要 な 要 素 の 一 つであり,ヘアスタイルを 変 えるだけ で 人 に 与 える 印 象 は 大 きく 変 わる. 本 研 究 では,ノンパラメトリックサンプリングに 基 づく 似 合 うヘア スタイルの 自 動 探 索 法 を 提 案 する. 似 合 う とは 感 性 的 な 概 念 であり,その 数 理 モデルを 作 成 するこ とは 困 難 である. 提 案 手 法 では,ヘアスタイルが 似 合 うかどうかを 決 めるもっとも 重 要 な 要 因 が 顔 の 形 状 特 徴 であることに 着 目 した.ヘアスタイルの 成 功 例 から 顔 の 形 状 特 徴 とヘアスタイルとの 関 係 を 学 習 することにより, 利 用 者 の 顔 にもっとも 似 合 うヘアスタイルを 得 ることができる.さらに, 利 用 者 の 顔 写 真 から 顔 の 形 状 特 徴 を 自 動 抽 出,マッティングを 利 用 した 写 実 的 なヘアスタイル 画 像 の 合 成, 利 用 者 に 応 じたデータベース 構 築 について, 提 案 実 装 する. 実 験 では, 他 者 評 価 と 自 己 評 価 の 二 つの 評 価 を 通 して, 提 案 手 法 の 有 効 性 を 確 かめることができた. Abstract Hairstyle is one of the most important features people use to characterize one s appearance. Since whether a hairstyle is suitable or not is relied on the aesthetic sense of human, mathematical model could not represent the suitability. We focused on the fact that the suitable hairstyle is related to one s shape. This paper proposes a new technique for automatically retrieving a suitable hairstyle from a collection of hairstyle examples through learning the relationship between facial shapes and suitable hairstyles. A method of hair-face image composition utilizing matting technique was also developed to synthesize realistic hairstyle images. A database depending on users preference was constructed to retrieve more suitable hairstyles. The effectiveness of the proposed technique was validated through evaluation experiments by themselves and the others. 195

2 1. はじめに ヘアスタイルは 外 見 を 決 める 重 要 な 特 徴 の 一 つである.ヘア スタイルの 違 いにより, 人 に 与 える 印 象 は 変 化 する. 多 くの 人 にとって, 自 分 に 似 合 うヘアスタイルを 見 つけることは 大 きな 関 心 事 である. 一 方 で, 新 しいヘアスタイルを 試 すために 髪 を 切 ってしまうと,すぐには 元 に 戻 らない. 画 像 処 理 によるシミ ュレーションは, 髪 を 切 ることなく 新 しいヘアスタイルを 試 す ことができるので, 自 分 に 似 合 うヘアスタイルを 見 つけるのに 有 用 である. しかしながら, 無 数 にあるヘアスタイルの 中 から 利 用 者 にも っとも 似 合 うヘアスタイルを 見 つけることは 困 難 である. 何 ら かの 数 理 モデルによって 判 定 したり 合 成 したりすることで, 似 合 うヘアスタイルを 探 索 するアプローチが 考 えられるが, 似 合 う とは 人 間 の 感 性 に 関 わるものであり,これをモデル 化 する ことは 難 しい.さらには, 利 用 者 や 場 面 によって 似 合 うヘアス タイルが 異 なることも 考 えられる. 加 えて,あるヘアスタイル が 似 合 うかどうかを 利 用 者 が 最 終 的 に 判 断 するためには, 直 感 的 に 判 断 できる 形 で 提 示 する 必 要 がある.これらの 問 題 に 対 し て, 本 研 究 では 以 下 の 3 点 の 提 案 を 行 い, 被 験 者 実 験 によって その 有 用 性 を 検 証 する. 1. 成 功 例 に 基 づいた 似 合 うヘアスタイル 探 索 の 実 現 2. 利 用 者 の 顔 画 像 に 対 する 自 然 なヘアスタイルの 合 成 3. 利 用 者 に 応 じた 成 功 例 のデータベースの 作 成 以 下,2.では 関 連 研 究 を 挙 げ, 本 研 究 への 応 用 について 述 べ る.3.では 提 案 手 法 について 述 べ,4.で 手 法 の 有 効 性 を 検 証 す る 実 験 について 示 す.5.で 本 論 文 をまとめる. 2. 関 連 研 究 あらかじめ 用 意 されたヘアスタイル 画 像 を 利 用 者 の 顔 写 真 に 合 成 させるシステム[1-2]が 複 数 開 発 され, 一 部 は 無 償 でサービ スが 提 供 されている.これらのシステムでは,ユーザが 自 分 に 似 合 うヘアスタイルをたくさんのヘアスタイルから 一 枚 ずつ 合 成 しなければならない.また, 合 成 のために 顔 の 輪 郭 上 の 点 を 手 動 で 調 整 する 必 要 があり, 利 用 者 にとって 大 きな 負 担 となる. 3DCG キャラクタに 対 する 三 次 元 ヘアスタイルモデリング に 関 する 研 究 [3-6]も 多 くなされている.しかし,これらの 研 究 を 現 実 の 利 用 者 に 対 して 適 用 することは 難 しい. 利 用 者 に 似 合 うヘアスタイルの 自 動 探 索 の 試 みとして, 今 井 ら[7]の 顔 の 印 象 分 類 に 基 づくヘアスタイルの 探 索 がある. 今 井 らは, 顔 の 物 理 的 特 徴 に 基 づいて 個 人 の 顔 の 印 象 を 定 量 的 に 評 価 し, 似 合 うヘアスタイルの 傾 向 を 調 べた. 顔 とヘアスタイル の 印 象 を warm, cool, soft, hard に 分 類 し, 顔 とヘアスタイルが 同 じ 分 類 がされるときに, 被 験 者 は 似 合 うと 判 断 することを 確 かめた.たとえば, 顔 の 印 象 がwarmであると 判 定 された 場 合, warm のヘアスタイルが 最 もよく 似 合 うことがわかった. 顔 の 印 象 についての 判 別 は 目 の 丸 みや 口 唇 の 厚 みなど 15 個 の 特 徴 で 行 い,ヘアスタイルについては 4 つの 印 象 分 類 を 代 表 するよ うなヘアスタイルを 手 動 で 選 択 した.この 研 究 では, 特 徴 ベク トルによる 顔 の 印 象 分 類 法 について 示 されたものの,4 種 類 の ヘアスタイルのうちいずれが 似 合 うかしか 調 べることができな かった.もっとも 似 合 うヘアスタイルを 探 索 するまでは 至 らな かった. 似 合 うヘアスタイルを 探 索 するためには, 人 間 の 感 性 の 数 理 的 なモデル 化 が 必 要 となる.ヘアスタイルの 特 徴 やその 特 徴 に 合 った 顔 特 徴 の 直 接 的 なモデル 化 に 成 功 した 研 究 は, 著 者 らの 知 る 限 り 存 在 しない. 顔 特 徴 を 間 接 的 にモデル 化 した 研 究 には, Chen ら[8]の 顔 写 真 からのスケッチ 自 動 生 成 がある.Chen ら は,アーティストが 描 いたスケッチとスケッチの 元 となる 顔 写 真 をあらかじめ 学 習 データとして 用 意 した. 顔 写 真 とスケッチ は 目 や 鼻 などの 各 パーツに 分 割 しておく. 入 力 として 顔 写 真 が 与 えられると,パーツごとに 学 習 データから 特 徴 が 似 ているも のと 対 応 するスケッチのパーツを 貼 り 合 わせ,スケッチを 合 成 する. 合 成 の 際 には 顔 全 体 の 構 造 を 表 す 特 徴 ベクトルを 計 算 し, 各 パーツの 大 きさや 位 置 の 調 整 を 行 った.この 研 究 では, 目 や 鼻 の 特 徴 を 直 接 モデル 化 するのではなく, 与 えられる 目 や 鼻 に 対 応 するスケッチを 貼 り 合 わせることで, 間 接 的 に 人 間 の 感 性 モデルに 従 った 合 成 結 果 を 得 た.このような 方 法 は 例 に 基 づい た(Example-based) 手 法 と 呼 ばれ,ノンパラメトリックサンプ リングに 基 づくベイズ 推 論 の 枠 組 みで 扱 うことができ, 近 年 注 目 されてきている.テクスチャ 合 成 [9]や 写 真 からの 絵 画 画 像 生 成 [10-11]にも 応 用 例 がある. 本 研 究 でも,ヘアスタイルを 直 接 的 にモデル 化 するのではな く, 顔 特 徴 と 合 わせて 間 接 的 にモデル 化 することを 試 みる. 具 体 的 には,ヘアカタログから 成 功 例 を 集 めておき, 入 力 画 像 に 対 して 最 も 顔 特 徴 の 近 いものを 探 索 する.その 顔 特 徴 によく 似 合 うヘアスタイルは, 成 功 例 から 得 ることができる. 3. 提 案 手 法 本 研 究 では, 入 力 された 顔 写 真 に 最 も 似 合 うヘアスタイルを 自 動 的 に 探 索 できるようにすることを 目 指 す.これは,プロのヘ アスタイリストが 作 ったヘアスタイルの 成 功 事 例 から, 似 合 う ヘアスタイルと 顔 特 徴 との 関 係 を 学 習 することで 実 現 する.ま た, 探 索 結 果 は 入 力 された 顔 写 真 に 合 成 することで 利 用 者 に 直 感 的 な 形 で 提 示 できるようにする. 自 動 的 に 似 合 うヘアスタイルを 探 索 できるようにすることで, 携 帯 端 末 を 用 いたサービスも 可 能 になる. 例 えば, 美 容 室 に 行 く 前 に 自 分 に 似 合 うヘアスタイルを 見 つけるような 利 用 が 考 え られる. 試 行 錯 誤 や 手 動 調 整 が 必 要 であった 従 来 のヘアスタイ ルシミュレーションシステムよりも, 一 般 の 利 用 者 が 利 用 でき る 形 でサービスを 提 供 することができるようになる. 提 案 するシステムの 概 要 を 図 1 に 示 す.システムは 大 きく 分 け てデータベース 構 築 と 出 力 画 像 合 成 の 2 つに 分 かれる.データ ベース 構 築 では,ヘアスタイルカタログに 掲 載 されているヘア スタイルを 成 功 例 とみなし, 顔 特 徴 とその 顔 に 合 ったヘアスタ イルとをデータベース 化 する. 顔 特 徴 抽 出 は 3.1 で 述 べ,ヘア スタイルの 抽 出 は 3.2 で 述 べる. 他 方, 出 力 画 像 合 成 では, 入 力 される 利 用 者 の 顔 画 像 に 対 し,データベース 構 築 のときと 同 196

3 図 1 提 案 システムの 概 要 様 の 方 法 で 顔 特 徴 抽 出 を 行 う. 顔 特 徴 空 間 で 距 離 の 近 い 画 像 を データベース 上 のサンプルから 探 索 し,それと 対 になるヘアス タイルを 似 合 うヘアスタイルとして 出 力 する. 出 力 は 入 力 顔 画 像 にヘアスタイルを 合 成 する 形 で 提 示 する. 画 像 の 合 成 方 法 に ついては,3.2 で 述 べる. さらに, 利 用 者 や 利 用 場 面 の 違 いにより 似 合 うヘアスタイル が 異 なる 問 題 について,データベースを 構 築 するためのデータ を 選 択 することで 解 決 することを 試 みる.この 一 例 について, 3.3 で 説 明 する. 3.1 顔 特 徴 抽 出 個 人 の 顔 を 特 徴 づけるものは 多 くあるが,その 中 でも 似 合 う ヘアスタイルの 決 定 に 関 わるものを 特 定 する 必 要 がある.そこ で, 予 備 調 査 としてヘアスタイリストへの 聞 き 取 りを 実 施 した. この 結 果, 顔 型 がもっとも 大 きく 関 わるとの 知 見 を 得 た. 人 間 の 顔 は, 図 2 に 示 すような 4 種 類 ( 卵 型, 丸 型, 逆 三 角, およびホームベース 型 )に 大 きく 分 類 することができるといわ れている.ヘアスタイルと 顔 を 合 わせて 卵 型 にみえるようなも のが, 似 合 うヘアスタイルとなるとされている[12]. 図 3 に 示 す 丸 型 の 顔 の 例 では,トップにボリュームを 持 たせたり, 前 髪 を 横 に 流 したりすることによって, 顔 型 が 縦 長 く 見 える 効 果 が 得 られる. 逆 に ヘアスタイル 自 体 も 丸 みを 帯 びたものにすると, 丸 型 の 顔 が 強 調 されてしまい, 似 合 わないと 感 じる. (a) 卵 型 (b) 丸 型 (c) 逆 三 角 (d) ホーム ベース 型 図 2 人 間 の 顔 型 の 分 類 図 3 丸 型 に 似 合 うヘアスタイルと 似 合 わないヘアスタイル この 知 見 に 基 づいて, 顔 特 徴 を 表 す 特 徴 ベクトルを 設 計 する. 図 2 に 示 した 顔 型 を 表 現 するために, 顔 画 像 から 図 4(a)に 示 す 以 下 の 6 つの 量 を 求 める. h w1 w2 w3 ht hb : 顔 の 長 さ : 眉 の 高 さでの 顔 の 幅 : 顔 の 中 心 での 顔 の 幅 : 口 の 高 さでの 顔 の 幅 : 額 の 長 さ : 顎 の 長 さ これらの 量 を 用 いて, 図 4(b)に 示 す 6 次 元 の 顔 特 徴 ベクトル 197

4 V(v1,v2,v3,v4,v5,v6)を 定 義 する. 顔 特 徴 ベクトルの 各 要 素 は, 上 述 の 6 つの 量 の 比 で 構 成 されている.v1は h と w2の 比 であり, v1の 値 が 1 に 近 ければ, 顔 型 は 卵 型 ではないことが 分 かる.v2, v3,v4, v 6 は 額 の 幅 やの 角 度, 顎 の 長 さを 表 すベクトルであり, 顔 型 がホームベースか 逆 三 角 形 なのかを 知 ることができる.v5 は 前 髪 に 関 連 する 特 徴 ベクトルとなる. (a) 顔 画 像 から 得 られる 6 つの 量 v1= h/w2 v2= w1/w2 v3= w2/w3 図 5 ASM(Active Shape Model)の 作 成 例 [13] I in から 顔 特 徴 ベクトル V in を 求 めることができる. 入 力 顔 画 像 の 顔 特 徴 ベクトル V in とデータベース 中 の 顔 特 徴 ベクトル V T iの 距 離 d(v in,v T i)は, 各 次 元 の 大 きさの 重 み 付 き 二 乗 和 を 求 めることで 計 算 する. 6 T 2 d V in, V T i = j=1 k j v in j v i,j (1) 重 み 付 けの 係 数 kj (j=1,,6)により,それぞれの 特 徴 ベクトル の 重 要 度 を 調 整 することができる.どの 係 数 に 大 きな 重 みをも たせるかは 機 械 学 習 などによって 獲 得 可 能 であると 考 えられる が, 本 研 究 では 単 に kj=1(j=1,..,6)とした. 顔 特 徴 ベクトルの 距 離 が 定 義 できれば, 入 力 顔 画 像 に 対 して もっとも 近 いデータベース 上 の 画 像 Sを 探 索 することができる. S = I i T argmin i d V in, V i T } (2) また, 距 離 の 近 い k 個 のサンプルを 探 索 することもできる. v4= h/w3 v5= ht/h v6= hb/h (b) 各 特 徴 ベクトルの 定 義 図 4 顔 特 徴 ベクトルの 設 計 図 4(a)に 示 す 6 つの 量 を 顔 画 像 から 求 めるために, ASM(Active Shape Model)[13]を 利 用 する.ASM はテクスチ ャを 持 つメッシュの 変 形 によって, 顔 のような 変 形 を 伴 う 物 体 の 追 跡 を 実 現 する 手 法 である.ASM を 利 用 するためには, 図 5 に 示 すように 学 習 用 の 顔 画 像 に 対 して, 顔 に 三 角 形 メッシュを 手 動 で 割 り 当 て,それぞれの 三 角 形 がどのような 形 状 およびテ クスチャを 持 つかを 調 べておく.これを 複 数 枚 の 顔 画 像 に 対 し て 行 い, 平 均 メッシュを 求 めておく. 新 たな 入 力 顔 画 像 が 与 えられたときには, 平 均 メッシュをフ ィッティングすることで,それぞれのメッシュに 相 当 する 部 分 が 入 力 顔 画 像 のどこにあたるかを 求 めることができる.メッシ ュを 構 成 するそれぞれの 頂 点 は 制 御 点 と 呼 ばれるが, 図 4(a)に 示 す 6 つの 量 を 求 めるためには,ある 制 御 点 の 入 力 顔 画 像 上 で の 座 標 値 を 求 めればよいことになる. 本 研 究 で 用 いる ASM 平 均 メッシュはあらかじめ 手 動 で 作 成 し,どの 制 御 点 が 顔 特 徴 ベ クトルを 求 めるのに 必 要 なのかもあらかじめ 与 えておいた. 以 上 により, 図 1 に 示 すようにヘアカタログの 顔 画 像 I T i(i=1,,n)から 顔 特 徴 ベクトル V T i(i=1,,n)を, 入 力 顔 画 像 3.2 ヘアスタイル 抽 出 と 出 力 画 像 合 成 探 索 されたヘアスタイルが 利 用 者 に 似 合 うものになっている かどうかを 利 用 者 自 身 が 判 断 できるように, 入 力 顔 画 像 に 対 す る 自 然 なヘアスタイルの 合 成 を 行 う.そのためにはまず,デー タベース 上 の 画 像 からヘアスタイル 領 域 を 抽 出 しておく 必 要 が ある. 2 枚 の 画 像 の 合 成 には,2 値 マスク 画 像 が 広 く 一 般 に 利 用 さ れる. 図 6(a)に 例 を 示 す.マスク 画 像 の 各 画 素 は 0 と 1 の 2 値 を 取 る.ヘアスタイル 領 域 には 1,それ 以 外 の 部 分 には 0 を 割 り 当 てる. 入 力 顔 画 像 と 合 成 するときには,1 の 領 域 はデータ ベース 中 の 画 像 の 画 素 値 を,0 の 領 域 には 入 力 画 像 の 画 素 値 を 用 いる.しかし,2 値 であるマスク 画 像 を 用 いた 合 成 結 果 では, 0 と 1 の 境 界 付 近 で 不 自 然 な 結 果 となる. 図 6(a)の 例 では, 赤 丸 で 囲 んだ 生 え 際 で 画 像 を 貼 り 合 わせたことがわかるような 境 界 を 生 じてしまっている. 本 研 究 では,2 値 マスク 画 像 の 代 わりに 図 6(c)に 示 すようなα マットを 利 用 する. αマットでは, 前 景 を 1, 背 景 を 0 とし, これらが 混 ざりあった 画 素 にはその 割 合 に 応 じて 0 から 1 まで の 値 を 定 義 する.αマットを 利 用 した 合 成 では, 図 6(d)に 示 す ように 境 界 付 近 でも 良 好 な 結 果 を 得 ることができる. 198

5 (a) 入 力 顔 画 像 (b) データベース 画 像 (c) 合 成 結 果 図 7 スケール 変 換 (a) 2 値 マスク 画 像 による 合 成 果 となる.これを 解 決 するため, 図 8(c)に 示 すように I in および S の w1,w2,w3を 顔 の 長 さ h を 求 める 直 線 で 分 断 して,それ ぞれ 長 さ w L 1,w R 1,w L 2,w R 2,w L 3,w R 3 とする.これらの 長 さから, 図 8(c)に 示 す h を 求 める 直 線 の 移 動 量 D を 計 算 する. D = (w 1 L w 1 R ) + w 2 L w 2 R + (w 3 L w 3 R ) (5) (b) ユーザに よる 前 景 と 背 景 の 教 示 (c) αマット (d) αマットによる 合 成 図 6 マッティングによる 合 成 結 果 の 比 較 1 枚 の 画 像 からαマットを 推 定 する 技 術 はマッティングとよば れ, 近 年, 多 くの 手 法 が 提 案 されてきている. 本 研 究 ではその 中 でも, 良 好 な 結 果 を 得 ることができるロバストマッティング [14]を 採 用 する.ロバストマッティングでは, 図 6(b)に 示 すよ うに 画 像 の 一 部 に 前 景 領 域 ( 赤 で 表 示 )と 背 景 領 域 ( 青 で 表 示 )の 一 部 を 教 示 することで, 残 りの 画 素 のαの 値 を 推 定 し, 画 像 全 体 のαマットを 生 成 することができる. データベース 上 の 画 像 に 対 してαマットを 求 めるために,デー タベース 登 録 時 に 上 述 のαマット 生 成 の 手 順 を 加 えるものとす る.つまり,ヘアスタイルの 顔 画 像 I T i(i=1,,n)に 対 して, 前 景 領 域 および 背 景 領 域 の 教 示 を 与 え,αマットα T i(i=1,,n)を 求 めておく.もっとも 入 力 顔 画 像 に 近 いデータベース 画 像 のαマ ットα S は, 以 下 の 式 で 求 めることができる. h を 求 める 直 線 を D だけ 移 動 することによって, 図 8(d)に 示 す ように 位 置 ずれのない 合 成 結 果 を 得 ることができる. (a) 中 央 位 置 のずれ (b) 位 置 ずれのあるまま 合 成 した 結 果 α S = α i T argmin i d V in, V i T } (3) 入 力 顔 画 像 I in,αマットα S,および, 入 力 顔 画 像 にもっとも 近 いデータベース 中 の 画 像 S の 座 標 位 置 p での 画 素 値 をそれぞれ Ip in,α S,Ip out,とすると, 出 力 画 像 I out の 座 標 位 置 p での 画 素 値 を Spは 以 下 の 式 で 求 められる. I p out = 1 α p S S p + α I p in (4) 入 力 顔 画 像 I in にデータベース 画 像 S を 合 成 するために, 位 置 合 わせとスケール 変 換 を 行 う 必 要 がある. 図 7 に 示 すように, I in の h と w2,および,s の h と w2の 長 さを 合 わせることでス ケール 変 換 を 行 う. スケール 変 換 を 行 っただけでは, 図 8(a)に 示 すように 中 央 位 置 がずれている 場 合 に 対 応 ができない. 中 央 位 置 がずれたまま で 合 成 を 行 うと, 図 8(b)のような 顔 とヘアスタイルがずれた 結 (c) 移 動 量 D の 算 出 (d) 位 置 ずれのない 合 成 結 果 図 8 位 置 ずれを 調 整 した 画 像 合 成 なお, 画 像 を 合 成 するとき, 入 力 顔 画 像 に 利 用 者 の 髪 が 写 っ ていると,データベース 上 のヘアスタイルと 共 に 利 用 者 の 髪 が 写 ってしまい, 違 和 感 のある 画 像 が 出 力 される.このことは, 利 用 者 に 対 して 髪 の 毛 を 後 ろに 束 ねるなどして 入 力 顔 画 像 を 撮 影 することを 制 約 として 課 す 必 要 がある. このとき,データベースに 登 録 する 画 像 は 手 動 で 水 平 になる ように 回 転 し, 利 用 者 の 入 力 顔 画 像 については 水 平 を 保 って 撮 影 されているとみなして, 回 転 は 行 わないものとした. 利 用 者 の 入 力 顔 画 像 についても,ASM のメッシュフィッティングに よって 水 平 からのずれを 計 算 することが 原 理 的 には 可 能 である が,メッシュのフィッティングがうまくいかないことがあり, 199

6 かえって 不 自 然 な 合 成 結 果 を 生 じさせることがあるため,この ような 処 理 を 行 っている. 自 動 での 回 転 補 正 については, 今 後 さらに 検 討 する 必 要 がある. データベース 画 像 に 登 録 するときには,メッシュフィッティ ングの 結 果 を 修 正 することで, 合 成 結 果 に 違 和 感 が 生 じること を 避 けた. 入 力 顔 画 像 では, 利 用 者 に 対 して 髪 の 毛 を 後 ろに 束 ねるなどして,ASM のメッシュフィッティングが 成 功 しやす いようにすることができる 一 方 で,データベース 画 像 では, 髪 が 顔 を 覆 うものを 避 けられず,メッシュフィッティングに 失 敗 することがあるためである. 3.3 データベース 構 築 本 研 究 では,ヘアスタイリストが 作 ったヘアスタイル 画 像 を データベースに 登 録 することでシステムを 構 築 する. 登 録 する ヘアスタイルは 利 用 者 や 利 用 場 面 に 応 じて 変 更 することができ る. 我 々はまず, 髪 の 量 と 髪 質, 髪 の 長 さを 属 性 値 として 与 え, それぞれに 対 するデータベースを 構 築 した.これは 似 合 うと 判 断 されたヘアスタイルでも, 利 用 者 の 持 つ 髪 の 量, 髪 質 および 髪 の 長 さによって 実 現 できないヘアスタイルが 提 示 されないよ うにするものである. 髪 の 量, 髪 質 および 髪 の 長 さをそれぞれ 以 下 の 3 段 階 に 分 けてデータベースを 構 築 した. 髪 の 量 : 多 い, 普 通, 少 ない 髪 質 : かたい, 普 通,やわらかい 髪 の 長 さ: ロング,ミディアム,ショート これらの 属 性 値 は 一 般 的 なヘアカタログで 利 用 者 への 情 報 と して 記 載 されるものであり,これの 情 報 の 記 載 があれば,これ をそのまま 属 性 値 を 与 えることができる. 画 像 から 自 動 で 判 別 することができればより 多 くの 画 像 をデータベースに 登 録 する ことができるが, 撮 影 環 境 の 違 いや 解 像 度 の 違 いなどによって 困 難 であった. 本 研 究 では,ヘアカタログに 情 報 があるものに ついてはそのまま 属 性 値 として 利 用 し, 情 報 がないものについ てはデータベース 作 成 時 に 手 動 で 属 性 値 を 与 えた. 図 9 は 髪 の 量 が 普 通, 髪 質 が 普 通, 髪 の 長 さはミディアムの ときに 得 られるデータベースの 例 である. 我 々はさらに, 性 差 による 好 みの 違 いがあることを 想 定 して, 男 性 に 好 まれやすいヘアスタイルのみを 集 めたデータベースを 構 築 した.これを 以 降, 男 性 向 けデータベースと 記 述 し,この 選 別 を 行 わなかったものを 一 般 向 けデータベースと 記 述 する ものとする. このように 利 用 者 や 利 用 場 面 によってサンプルを 変 更 するこ とで, 利 用 者 や 利 用 場 面 の 数 理 モデルを 直 接 的 に 記 述 すること なく 対 応 することができる.これは 例 に 基 づいた 手 法 の 大 きな 利 点 である. 一 般 向 けデータベースはプロのヘアスタイリストが 作 った 84 枚 のヘアスタイル 画 像 によって 構 築 した. 男 性 向 けデータベ ースでは,まずインターネット 上 のヘアスタイル 画 像 283 枚 を 集 めた. 属 性 値 は 手 動 で 与 えた. 男 性 に 好 まれやすいヘアスタ イルを 選 ぶために,15 名 の 男 性 被 験 者 にそれぞれのヘアスタイ ルについて 好 みであるかどうかを 答 えてもらった.このとき, 顔 によってヘアスタイルの 好 みが 左 右 されないように, 顔 にぼ かしを 加 えた 画 像 を 提 示 した. 顔 型 はヘアスタイルが 似 合 うか どうかの 判 断 に 必 要 であると 考 え, 顔 の 輪 郭 にはぼかしを 加 え なかった. 図 10 は 実 験 に 用 いた 回 答 画 面 の 例 である.15 名 の 被 験 者 のうち, 半 数 以 上 に 好 まれた 画 像 は 160 枚 であった. 図 10 男 性 に 好 まれやすいヘアスタイルの 選 出 実 験 で 用 いた 回 答 画 面 例 4. 実 験 4.1 似 合 うヘアスタイル 探 索 と 画 像 合 成 図 11 は 提 案 手 法 による 結 果 の 例 である.データベースには 一 般 向 けデータベースを 利 用 した.それぞれ 左 の 入 力 顔 画 像 に 対 して,ロング,ミディアム,ショートの 中 でもっとも 似 合 う とされるヘアスタイルを 合 成 した 結 果 が 右 の 画 像 である.それ ぞれの 画 像 で 顔 と 髪 型 の 関 係 を 確 認 できる 程 度 には, 違 和 感 な くヘアスタイルを 合 成 できていることがわかる で 被 験 者 実 験 による 合 成 結 果 に 関 する 評 価 実 験 について 述 べる. 図 9 属 性 値 を 基 に 構 築 したデータベース 例 200

7 ている. 被 験 者 は 各 画 像 集 から 自 分 に 似 合 うと 思 う 画 像 を 上 位 3 枚 選 択 する. 図 12 に 示 すように, 被 験 者 は 自 分 に 1 番 目,2 番 目,3 番 目 に 似 合 うと 思 うヘアスタイルの 画 像 の 上 に 順 に 番 号 を 選 択 する.10 名 の 被 験 者 が 3 セットの 画 像 集 に 対 して 回 答 を 行 ったので, 総 試 行 回 数 は 30 回 となる. 図 12 評 価 用 画 像 セット 以 下 の 3 つのケースについて, 回 答 に 有 意 な 偏 りがあるかを 調 べた. 図 11 似 合 うヘアスタイルの 合 成 結 果 例 4.2 被 験 者 実 験 提 案 手 法 が 似 合 うヘアスタイルの 探 索 を 実 現 できているかを 確 かめる 被 験 者 実 験 を 行 った. 利 用 者 本 人 が 判 断 する 似 合 うヘ アスタイルと, 利 用 者 以 外 が 判 断 する 似 合 うヘアスタイルには 違 いがあることが 予 想 されたため, 自 己 評 価 と 他 者 評 価 の 2 つ の 評 価 実 験 を 行 った. 自 己 評 価 の 実 験 では 利 用 者 自 身 を 被 験 者 として, 提 示 されたヘアスタイルについて 評 価 を 行 った. 他 者 評 価 の 実 験 では 利 用 者 以 外 の 被 験 者 によって, 提 示 されるヘア スタイルの 評 価 を 行 った. なお 今 回 の 実 験 では, 髪 の 色 による 影 響 を 無 視 するために, カラー 画 像 をグレースケール 画 像 に 変 換 して 実 験 を 行 った. 髪 の 色 も 似 合 うかどうかの 判 断 に 重 要 な 影 響 を 与 えると 考 えられ るが, 個 人 の 好 みによるものが 大 きいこと, 提 案 手 法 ではもっ とも 似 合 う 髪 の 色 に 関 する 考 慮 がないことから, 髪 の 色 につい ては 無 視 して 実 験 を 行 った.この 点 については, 今 後 の 課 題 と したい.また, 画 像 合 成 の 段 階 で 生 じた 違 和 感 が 評 価 に 影 響 す ることを 避 けるため, 手 動 でメッシュフィッティングの 結 果 を 修 正 したものを 作 成 し 実 験 に 使 用 した 一 般 向 けデータベースでの 自 己 評 価 実 験 この 実 験 では 利 用 者 自 身 に 似 合 うと 思 うヘアスタイル と 提 案 システムから 提 示 されるヘアスタイル が 一 致 している かどうかを 調 べることを 目 的 とする. 被 験 者 は 女 子 大 学 生 10 名 とした.10 枚 を 1 セットとする 画 像 集 を 3 セット 用 意 する. それぞれの 画 像 集 には 本 研 究 で 似 合 うと 判 断 したヘアスタイル の 画 像 が 2 枚 と 無 作 為 に 選 んだヘアスタイル 画 像 8 枚 が 含 まれ ケース 1: ケース 2: ケース 3: 被 験 者 が 1 番 に 選 んだヘアスタイルは, 提 案 手 法 が 似 合 うと 判 断 するヘアスタイルである. 被 験 者 が 1 番 と 2 番 に 選 んだヘアスタイルのう ち, 少 なくとも 1 枚 は 提 案 手 法 が 似 合 うと 判 断 するヘアスタイルである. 被 験 者 が 1 番,2 番 と 3 番 に 選 んだヘアスタイ ルのうち, 少 なくとも 1 枚 は 提 案 手 法 が 似 合 う と 判 断 したヘアスタイルである. 画 像 集 に 含 まれる 10 枚 のすべての 画 像 が 選 ばれる 確 率 は 同 じであることを 帰 無 仮 説 として,2 項 検 定 を 行 った. 結 果 を 表 1 に 示 す. 表 1 一 般 向 けデータベースの 自 己 評 価 実 験 の 結 果 ( ** : 1% 有 意, * : 5% 有 意 ) (10 名 3 セット) ケース ケース * ケース ** 30 回 の 試 行 に 対 して,ケース 1 は 4 回,ケース 2 は 16 回, ケース 3 は 26 回 満 たされた.ケース 2 は 5% 有 意 で,ケース 3 は 1% 有 意 で 帰 無 仮 説 を 棄 却 することができた.つまり, 被 験 者 は 2 枚 か 3 枚 を 選 ぶときに, 少 なくとも 1 枚 は 提 案 するシス テムが 似 合 うと 判 断 するヘアスタイルを 選 ぶことがわかった. この 結 果 から, 提 案 するシステムがもっとも 似 合 うとまではい えないまでも,よく 似 合 うヘアスタイルを 探 索 することができ ているといえる 一 般 向 けデータベースでの 他 者 評 価 実 験 この 実 験 では 被 験 者 以 外 の 利 用 者 が 似 合 うと 思 うヘアスタ 201

8 イル と 提 案 システムから 提 示 されるヘアスタイル が 一 致 しているかどうかを 調 べた. 被 験 者 を 13 名 の 大 学 生 ( 男 性 6 名, 女 性 7 名 )とし,10 枚 の 画 像 を 1 セットとする 画 像 集 12 セッ トを 用 意 した. 総 試 行 回 数 は 156 回 である. 男 女 を 区 別 しない 実 験 結 果 を 表 2 に 示 す. 表 2 一 般 向 けデータベースでの 他 者 評 価 実 験 の 結 果 ( ** : 1% 有 意 ) (13 名 12 セット) ケース ケース ** ケース ** 156 回 の 試 行 で,ケース 1 は 34 回,ケース 2 は 80 回,ケー ス 3 は 102 回 満 たされた.ケース 2 とケース 3 は 1% 有 意 で 帰 無 仮 説 を 棄 却 することができた. しかし,13 名 の 被 験 者 の 中 で 男 性 と 女 性 の 評 価 結 果 ( 表 3, および 表 4)を 分 けてみると, 男 性 の 評 価 結 果 は 全 てで 有 意 差 が なく, 女 性 の 評 価 結 果 では 全 て 有 意 であることがわかった.こ のことから, 女 性 のヘアスタイルを 判 断 するとき, 男 性 と 女 性 で 似 合 うかどうかの 判 断 が 異 なることがわかった. 表 5 男 性 向 けデータベースでの 他 者 評 価 実 験 の 結 果 ( ** : 1% 有 意 ) (12 名 3 セット) ケース ** ケース ** ケース ** 男 性 向 けデータベースの 評 価 では,ケース 1 から 3 まですべ てで 1% 有 意 で 帰 無 仮 説 を 棄 却 することができた.このことに より, 利 用 者 応 じたデータベースを 構 築 することにより,より 似 合 うヘアスタイルを 探 索 できることが 確 かめられた 順 位 づけの 妥 当 性 の 検 証 提 案 手 法 では 顔 特 徴 ベクトル 間 の 距 離 によって, 似 合 うヘア スタイルを 選 択 している.この 距 離 が 似 合 うヘアスタイルをよ く 表 現 できているかを 検 証 するために, 順 位 相 関 を 調 べた. 実 験 では, 利 用 者 以 外 の 被 験 者 6 名 (いずれも 大 学 生, 男 性 3 名, 女 性 3 名 )に, 一 般 向 けデータベースから 得 られる 上 位 20 枚 の 似 合 うヘアスタイル 画 像 を 提 示 した. 被 験 者 には 20 枚 の 画 像 を 似 合 うと 思 う 順 に 選 択 してもらった. 図 13 に 評 価 に 用 いた 画 像 を 示 す. 表 3 一 般 向 けデータベースでの 他 者 評 価 実 験 の 結 果 ( 男 性 被 験 者 のみ) (6 名 12 セット) ケース ケース ケース 表 4 一 般 向 けデータベースでの 他 者 評 価 実 験 の 結 果 ( 女 性 被 験 者 のみ, ** : 1% 有 意 ) (7 名 12 セット) ケース ** ケース ** ケース ** 男 性 向 けデータベースでの 他 者 評 価 実 験 男 性 に 好 まれるヘアスタイルのみでデータベースを 構 築 した 場 合 に, 一 般 向 けデータベースと 比 べてよい 結 果 が 得 られるか を 調 べた. 被 験 者 は 男 子 大 学 生 19 名 と 20 代 男 性 会 社 員 6 名, 計 25 名 とした の 実 験 と 同 様 に,10 枚 の 画 像 を 含 む 画 像 集 12 セットを 用 意 した. 各 画 像 集 には 提 案 システムが 似 合 う と 判 断 したヘアスタイル 画 像 が 2 枚 含 まれている. 被 験 者 は 各 画 像 集 から 似 合 うと 思 う 画 像 を 上 位 3 枚 まで 選 択 する. 総 試 行 回 数 は 300 回 である. 実 験 結 果 を 表 5 に 示 す. 図 13 順 位 づけの 妥 当 性 検 証 のための 提 示 画 像 202

9 実 験 により 求 められたスピアマンの 順 位 相 関 係 数 ρを 求 め, 自 由 度 18 の t 検 定 によって 評 価 を 行 った. 結 果 を 表 6 に 示 す. 表 6 順 位 づけに 対 する 順 位 相 関 係 数 ( ** : 1% 有 意, * : 5% 有 意, + : 10% 有 意 ) 男 性 女 性 被 験 者 ρ * ** 0.46 * 0.37 * 被 験 者 6 人 の 結 果 からは,1 名 で 1%,3 名 で 5%,2 名 で 10%の 有 意 水 準 で 有 意 に 相 関 が 高 いことが 確 かめられた. 男 女 で 比 べると, 女 性 でやや 順 位 相 関 が 高 かった.この 結 果 から, もっとも 似 合 うヘアスタイルだけでなく, 提 案 手 法 が 与 える 距 離 が 似 合 うヘアスタイルをよく 表 現 できているといえる ヘアスタイリストによる 他 者 評 価 実 験 さらに,ヘアスタイリストによる 評 価 実 験 を 行 った. 被 験 者 は 美 容 師 4 名 ( 男 性 2 名, 女 性 2 名 )とした の 実 験 と 同 じ 画 像 集 12 セットを 提 示 し, 各 画 像 集 から 似 合 うと 思 う 画 像 を 上 位 3 枚 まで 選 択 してもらった. 総 試 行 回 数 は 48 回 で ある. 実 験 結 果 を 表 7 に 示 す. 表 7 ヘアスタイリストによる 他 者 評 価 実 験 の 結 果 ( * : 5% 有 意 ) (4 名 3 セット) ケース ケース ケース * 実 験 結 果 では,ケース 3 についてのみ 5% 有 意 で 帰 無 仮 説 を 棄 却 することができた.この 結 果 は 一 般 人 による 結 果 よりも 悪 くなったものの, 本 提 案 手 法 で 選 んだヘアスタイルが 被 験 者 に 選 ばれやすい 結 果 は 得 られた. 被 験 者 のうち 1 名 からは 髪 型 を 細 分 化 してパーツごとに 似 合 うものを 選 びたい というコメントを 得 た.このコメントか ら,ヘアスタイリストは,3.1 節 で 述 べた 顔 と 髪 型 の 全 体 のバ ランスのほかに, 顔 と 髪 型 の 各 部 位 ごとのバランスを 見 ている ことがわかる. 本 提 案 手 法 では, 全 体 のバランスのみによって 似 合 うかどうかを 判 断 しており,このことが,ヘアスタイリス トの 結 果 を 一 般 人 の 結 果 よりも 悪 くしているのではないかと 考 察 する 画 像 合 成 についての 評 価 実 験 提 案 手 法 がより 違 和 感 なく 画 像 を 合 成 できたかどうかを 調 べ るため, 画 像 合 成 結 果 についての 評 価 実 験 を 行 った. 被 験 者 は 大 学 生 10 名 とした.2 値 マスクによる 合 成 した 画 像 を 5 枚,α マスクによって 合 成 した 画 像 を 5 枚, 合 成 していない 撮 影 した ままの 写 真 を 5 枚, 計 15 枚 を 用 意 した.これらの 画 像 に 写 っ た 髪 型 および 顔 はそれぞれ 異 なる.15 枚 の 画 像 をランダムで 並 び 替 え, 被 験 者 が 1. とても 違 和 感 を 感 じる, 2. 違 和 感 を 感 じる, 3. どちらでもない, 4. 違 和 感 を 感 じない, 5. ま ったく 違 和 感 が 感 じない の 5 段 階 で 評 価 を 行 ってもらった. 実 験 結 果 を 表 8 に 示 す. 表 中 の 値 は, 各 種 類 の 5 枚 の 画 像 に 対 する 10 名 の 評 価 値 の 平 均 値 である. 表 8: 画 像 合 成 についての 評 価 実 験 結 果 非 合 成 画 像 αマスクによ る 合 成 画 像 2 値 マスクに よる 合 成 画 像 平 均 値 t 検 定 によって, 各 項 目 間 の 平 均 値 に 差 があるかを 調 べたと ころ, 非 合 成 画 像 とαマスクによる 合 成 画 像,αマスクによる 合 成 画 像 と 2 値 マスクによる 合 成 画 像, 非 合 成 画 像 と 2 値 マス クによる 合 成 画 像 のそれぞれの 間 に 1% 有 意 で 差 があることが わかった.この 結 果 により, 提 案 したαマスクによる 画 像 合 成 結 果 は, 撮 影 したままの 非 合 成 画 像 よりも 違 和 感 があるものの, 2 値 マスクによる 合 成 画 像 よりも 違 和 感 がないといえる. 5. まとめ 本 研 究 では,ユーザに 最 も 似 合 うヘアスタイルを 自 動 的 に 探 索 し 合 成 する 手 法 を 提 案 した.ヘアカタログから 得 られる 成 功 例 に 基 づいて 似 合 うヘアスタイルのデータベースを 構 築 し, 顔 型 を 基 に 似 合 うヘアスタイルを 探 索 した.この 結 果 が 被 験 者 に 似 合 うか 似 合 わないかの 判 断 とよく 一 致 することを 確 かめた. また, 探 索 した 結 果 は 入 力 顔 画 像 に 対 してαマットを 用 いた 合 成 を 行 った.さらに, 評 価 実 験 を 通 して 男 性 が 好 むヘアスタイ ルのみでデータベースを 構 築 することで, 男 性 に 対 して 良 好 な 結 果 が 得 られることを 確 かめた.また,ヘアスタイリストの 評 価 実 験 から, 顔 と 髪 型 の 各 部 位 ごとのバランスも 専 門 家 が 似 合 うかどうかを 判 断 するための 要 因 となっていることがわかった. 部 位 ごとのバランスに 基 づいた 特 徴 ベクトルの 設 計 することで, システムの 性 能 をさらに 高 められると 考 えられる. 今 後 の 課 題 として, 顔 型 以 外 の 要 因 による 似 合 うヘアスタイ ルの 探 索 を 挙 げる. 本 研 究 では 顔 型 の 一 部 の 特 徴 のみに 焦 点 を 当 てて 似 合 うヘアスタイルの 探 索 を 行 ったが, 顔 の 各 部 品 の 形 状 や 髪 の 色 も 似 合 うかどうかの 判 断 に 影 響 を 与 えているものと 考 えられる. 主 成 分 分 析 や, 機 械 学 習 の 手 法 を 用 いて,もっと も 適 切 な 顔 特 徴 ベクトルを 設 計 することが 必 要 である. さらに, 外 見 を 決 める 上 で 服 装 も 重 要 な 要 因 の 一 つである. 本 研 究 で 提 案 したノンパラメトリックサンプリングによる 人 間 感 性 の 間 接 的 なモデル 化 は, 服 装 の 決 定 にも 応 用 できるものと 考 える. 謝 辞 本 研 究 の 一 部 は, 科 学 研 究 費 補 助 金 ( 基 盤 研 究 (B) No )によった. 203

10 参 考 文 献 [1] Vritual Hairstudio: [2] Beauty Wizard: [3] Z. Xu, X.D.Yang, V-hairstudio: Anteractive tool for hair design, IEEE Computer Graphics and Applications, vol.21, no. 3, pp.36-43, [4] Y. Yu, Modeling realistic virtual hairstyles, Pacific Conference on Comp, Graphics and Applications, pp , [5] S. Paris, W. Chang, W. Jarosz, O. Kozhushnyan, W. Matusik, W. Zwicker, and F. Durand, Hair Photobooth: Geometric and photometric acquisition of real hairstyles, ACM Transactions on Graphics (SIGGRAPH), vol.27, no. 3, Article 30, [6] L. Wang, Y. Yu, K. Zhou, and B. Guo, Example based hair geometry synthesis, ACM Transactions on Graphics (SIGGRAPH), vol.28, no3, Article 56, [7] 今 井 康 博, 小 沢 慎 治, 似 合 うヘアスタイル 探 しのための 顔 の 印 象 分 類, 情 報 処 理 研 究 会, pp.1-5, [8] H. Chen, Z.Q. Liu, C. Rose, Y.Q. Xu, H.Y. Shum, D. Salesin, Example-Based composite sketching of human portraits, International symposium on Non-photorealistic animation and rendering, pp.7-9, [9] A. Efros and T. K. Leung, Texture synthesis by nonparametric sampling, International Conference on Computer Version, pp , [10] A. Hertzmann, C. E. Hacobs, N. Oliver, B. Curless, and D. H. Salesin, Image analogies, ACM SIGGRAPH, pp , 楊 薇 2010 年 山 梨 大 学 工 学 部 コンピュータ メディア 工 学 卒 業 年 山 梨 大 学 大 学 院 医 学 工 学 総 合 教 育 学 部 コンピュータ メディア 工 学 専 攻 修 士 課 程 修 了. 豊 浦 正 広 2003 年 京 都 大 学 工 学 部 情 報 学 科 卒 業.2007 年 日 本 学 術 振 興 会 特 別 研 究 員 DC 年 京 都 大 学 大 学 院 情 報 学 研 究 科 博 士 後 期 課 程 修 了.2008 年 日 本 学 術 振 興 会 特 別 研 究 員 PD.カリフォルニア 大 学 サンタバーバラ 校 訪 問 研 究 員.2009 年 山 梨 大 学 大 学 院 医 学 工 学 総 合 研 究 部 助 教. 拡 張 現 実 感,コンピュータビジョンの 研 究 に 従 事. 電 子 情 報 通 信 学 会, 情 報 処 理 学 会,IEEE 各 会 員. 博 士 ( 情 報 学 ). 茅 暁 陽 [11] C.Chang, Y.Peng, Y.Chen, and S.Wang, Artistic painting style transformation using example-based sampling method, Journal of information science and engineering, vol.26, no.4, pp , [12] SHUFUNOTOMO Co., Ltd, Best Hairsyle by Face Shape, [13] T.F. Cootes, C.J. Taylor, D.H. Cooper and J. Graham, Active shape models - their training and application, Computer Vision and Image Understanding, vol.61, no.1, pp.38 59, [14] J. Wang, M.F. Cohen, Optimized Color Sampling for Robust Matting, CVPR, pp. 1-8, 年 東 京 大 学 大 学 院 理 学 系 研 究 科 修 了. 理 学 博 士. 米 国 ニューヨーク 州 立 大 学 Stony Brook 校 客 員 研 究 員, 山 梨 大 学 工 学 部 コンピュータメディア 工 学 科 准 教 授, 米 国 カリフ ォルニア 州 立 大 学 Berkeley 校 客 員 研 究 員 を 経 て, 現 在 山 梨 大 学 大 学 院 医 学 工 学 総 合 研 究 部 教 授. CG, 画 像 処 理,および 情 報 可 視 化 に 関 する 研 究 に 従 事. ACM, IEEE CS, 芸 術 科 学 会, 情 報 処 理 学 会, 画 像 電 子 学 会, 電 子 情 報 通 信 学 会 各 会 員 204