Microsoft PowerPoint - IPS A+C.ppt

Transcription

1 画像処理システム論 Image Media Systems 加藤俊一 Toshi KATO 生体から学ぶべきメカニズム (1) 明暗順応 : 明るさの変化に対する調節機構 側抑制 : 視野の中の明暗の微小変化を局所的に検出 強調するメカニズム 色順応 : 色彩の対比に対する調節機構 生体から学ぶべきメカニズム (2) 初期視覚における特徴抽出 : 空間領域 局所的な明るさ 色調の対比 エッジ検出 構図 全体的な明るさ 色調 周波数領域 画像 映像の複雑さ 画像 映像内の規則性 感性の工学的なモデル化 知覚感性 ( 認識 理解 ) 創出感性 ( 表出 働き掛け ) 階層間の対応関係と相互作用をモデル化 認知的レベル 心理的レベル 生理的レベル 物理化学的レベル Cf. マーケティングとの違い < 知覚感性 > is_opposite_to 躍動感 のんびり is_equal_to 若々しい is_sim ilar_to さわやか < 創出感性 > is_sim ilar_to ソフト 視 聴 触 味 匂 視 聴 触 画像 音声肌触 味 香 絵図 音声 力 音 表情 音 音楽 動作 音楽 < セルフフィードバック > [ 実験 1] 絵画を探そう インターネットから Claude Monet の Haystack at Giverny という作品 ( 群 ) を探し出して表示してみよう! どういうツールを使ってどういう探し方 ( 検索の仕方 ) でどれだけの時間 回数が必要だったか? [ 実験 2] 絵画を探そう インターネットからこの絵画を見つけ出して表示してみよう! どういうツールでどういう探し方で時間 回数が必要だったか? 1

2 感性の工学的なモデル化 知覚感性 ( 認識 理解 ) 創出感性 ( 表出 働き掛け ) 階層間の対応関係と相互作用をモデル化 認知的レベル 心理的レベル 生理的レベル 物理化学的レベル Cf. マーケティングとの違い < 知覚感性 > is_opposite_to 躍動感 のんびり is_equal_to 若々しい is_sim ilar_to さわやか < 創出感性 > is_sim ilar_to ソフト 視 聴 触 味 匂 視 聴 触 画像 音声肌触 味 香 絵図 音声 力 音 表情 音 音楽 動作 音楽 < セルフフィードバック > 生理的レベルでの感性シミュレーション 人間はどんな特徴をとらえているか? 画像特徴量 センサーでの特徴抽出機構の 近似 多次元ベクトル空間 (GF 空間 ) による表現 ( 例 ) モノクロ図形 ( 商標図形 ) カラーイラスト テクスチャ 3 次元物体 [ 実験 3] 絵画を探そう [ 実験 4] カラー画像の検索 ( 芸術作品 ) DIGITAL COLLECTION DIGITAL COLLECTION ADVANCED SEARCH QBIC SEARCHES [ 実験 4] カラー画像の検索 ( 芸術作品 ) DIGITAL COLLECTION ADVANCED SEARCH QBIC SEARCHES [ 実験 5] 例示検索実験 各 10 枚の画像をキーに 似ている画像 を検索 自分の判断は? ( 例 ) 幾何学的な図形 ( ロゴ ) 蝶 自分はどういう理由 ( なんとなく 直感で は ) で 似ている 似ていない と判断したか? 2

3 モノクロ画像の例示検索 ( 図形 ) カラー画像の例示検索 ( 写真 ) User ID: ( 内緒 ) Passwd: ( 内緒 ; 講義中に指示します ) 生理的レベルの感性 画像特徴量による評価 初期視覚における特徴抽出 明暗と局所的なコントラスト 色彩と局所的なコントラスト 線分 ( 境界線 ) の方向性 曲率 空間的な周波数 テクスチャ 形状 構図 空間知覚 1 横分割 2 縦分割 3 同心円状分割 4 放射状分割 r 0 = A T p 0 例示画 A T, pj, p 0 画像特徴空間 図形データベース ( 商標 意匠 ) カラー画像の例示検索 構図の特徴 色彩の特徴 色彩だけに注目して類似検索すると 色彩を無視して 構図だけに注目すると 例示した切手色彩と構図を総合して判断すると 類似性を感じる基準は? 類似性には 階層 段階がありそうだ 知識 理解を伴う類似性 認知的レベル 雰囲気の類似性 心理的レベル ほとんど同じに見える類似性 生理的レベル 3

4 知覚感性高次 ( 局所 ) コントラスト 画像の特徴量記述 Key: 知覚感性高次 ( 局所 ) コントラスト { f ( r + a1 ) f ( r)} + { f ( r + a2 ) f ( r)} Cont ( a1, a2, r) = f ( r + a ) + f ( r + a ) + 2 f ( r) 1 2 複数の特徴量からの選択 ( 目立つ特徴 ) Cont ( a1, a 2, r) γ '( i, l, r) dr P γ ( i, r) =, g( i, l, r) =. n( I ) n( I ) Cont ( a,, ) i 1 1 a 2 r '(,, ) i= 1 γ i l r dr P = From 14,000 images Key: ( 比較 ) Global Color Histogram on GF (R, G, B) Key: 高次局所コントラスト特徴を利用した類似検索 From 14,000 images From 14,000 images ( 比較 ) Regional Color Histogram on SF (R, G, B) Key: From 14,000 images 感性の工学的なモデル化 知覚感性 ( 認識 理解 ) 創出感性 ( 表出 働き掛け ) 階層間の対応関係と相互作用をモデル化 認知的レベル 心理的レベル 生理的レベル 物理化学的レベル Cf. マーケティングとの違い < 知覚感性 > is_opposite_to 躍動感 のんびり is_equal_to 若々しい is_sim ilar_to さわやか < 創出感性 > is_sim ilar_to ソフト 視 聴 触 味 匂 視 聴 触 画像 音声肌触 味 香 絵図 音声 力 音 表情 音 音楽 動作 音楽 < セルフフィードバック > 4

5 心理的レベルでの感性 感性の違い が現れる例 素人 vs 達人 個人 vs 個人 ハードウェアとしての目の構造は同じなのに 感性の違い がビジネスを左右する 心理的レベルでの感性シミュレーション ハードウェアとしての目 : 共通構造 分類の個人差 主観的な類似度 : 個人毎 着眼点 注目点の重み付けが違う 画像特徴空間 : 共通的 主観特徴空間 (SF 空間 ): 個人毎 利用者 学習用図形 画像特徴空間 主観特徴空間の構成法 クラス分け 学習用サンプル集合の ( 階層的な ) 分類 N-classへの判別学習 類似度行列 学習用サンプル集合の ( 全 )2 対間に類似度 数量化理論 4 類 クラス分けによる主観的類似度の提示 ( 離散量 ) <Subjective Feature Space> Σˆ W : Ave. intra group cov. Σˆ B : Ave. inter group cov. <Graphical Feature Space> Σ W : Intra group cov. Σ B : Inter group cov. <Criteria> J = tr( Σˆ 1 W Σˆ B ) : max Σ B A = Σ W A Λ A T Σ W A = I 図形対に対する主観的類似度の提示 ( 連続量 ) <Subjective Similarity> S = (s ij) S = S S S <Criteria> N Q = N s ij (r T i r j ) : max i = 1 j = 1 Σ E A = Σ X A Λ A T Σ X A = Λ r 0 = A T p 0 p i, p j, p k A T 主観特徴空間, ri, r 0 A T, pj, p 0 画像特徴空間 例示画 図形データベース ( 商標 意匠 ) 主観的類似度の個人差類似検索 主観的類似度の個人差類似検索 5

6 主観特徴空間の可視化 知覚感性注視する特徴の推定 階層的分類 + 多重解像度 領域分割 ユーザによる検索結果の差 高次局所コントラスト特徴を利用した類似検索 検索キー ユーザ A ユーザ B 感性の工学的なモデル化 知覚感性 ( 認識 理解 ) 創出感性 ( 表出 働き掛け ) 階層間の対応関係と相互作用をモデル化 認知的レベル 心理的レベル 生理的レベル 物理化学的レベル Cf. マーケティングとの違い < 知覚感性 > is_opposite_to 躍動感 のんびり is_equal_to 若々しい is_sim ilar_to さわやか < 創出感性 > is_sim ilar_to ソフト 視 聴 触 味 匂 視 聴 触 画像 音声肌触 味 香 絵図 音声 力 音 表情 音 音楽 動作 音楽 < セルフフィードバック > 認知的レベルでの感性 解釈の違い が現れる例 素人 vs 達人 個人 vs 個人 ハードウェアとしての目の構造ソフトウェアとしてのボキャブラリは同じなのに 6

7 [ 実験 6] イメージの違い モネの連作の絵から受ける印象は? Haystack at Giverny 同じオブジェクト 同じアングル 同じ構図 違い を生む原因は? a1 a3 a5 a2 a4 [ 実験 7] イメージの違い モネの絵から受ける印象は? ( 上下左右をひっくり返すと 印象が変わる!?) 同じ画像 同じ色彩 同じ配色 違い を生む原因は? 7

8 利用者 学習用絵画 印象語空間 画像特徴空間 認知的レベルでの感性シミュレーション a i, a j, a k p i, p j, p k 認知的な表現 : 主観的クラス分け 主観的ラベル付け 画像 * 画像 言葉 * 言葉 画像 * 言葉 画像特徴量とイメージ語表現の相関 : 統合特徴空間 (UF 空間 ) 主観特徴空間 B T F T = Fˆ T H 1/2 B T G T = Ĝ T M 1/2 Q T Q T ( 画像主成分空間 ) ( 印象語主成分空間 ) Λ ( 統合特徴空間 ) 統合特徴空間, ci,, ri, c 0 r 0 = Λ Fˆ T H 1/2 b 0 r 0 = Λ F T a 0 r 0 主観特徴空間 ( 縮退 ) F T r 0 = G T p 0 G T b 0 Fˆ T H 1/2 a 0 p 0, pj, 印象語空間 画像特徴空間 主観特徴空間上での ポインティング 漠然としたイメージ 例示画 絵画データベース 絵画の構図 色彩特徴量のモデルとイメージ語表現の教示学習 イメージ語表現の違い ( 男女 ) [ 実験 8] 感性の教示と感性検索 はじめは 教示なし で実験 (= 平均モデル ) ( 準備 ) 利用者登録 様々なイメージ語の組合せ (10 例くらい ) をキーとして感性検索 上位に検索された 候補画像 は どのような特徴を抽出した ( していない ) と予想されるか? どれくらい自分の解釈と一致しているか? 絵画の感性検索 8

9 [ 実験 9] 感性の教示と感性検索 次に 教示あり で実験 (= 自分のモデルを作る ) 様々なイメージ語の組合せ (10~20 例 ) をキーとして感性検索 検索された 候補画像 について 自分の解釈を教示する 同じイメージ語で検索 で どのように変化したか? 他のイメージ語の検索結果がどう変わったか? 絵画の感性検索 景観写真の感性検索 景観写真の感性検索 構図の特徴を生かしたモデル化 明暗 色方向位置 3 次元物体の感性的な表現 質感のデザイン 形状 質感 : 色彩 表面反射 透過など ( 例 ) 革 木 プラステック 金属 ガラス 石 9

10 質感に対する感性モデルの可視化 A: 甘い B: カジュアルな C: シックな D: クリアな E: クールな F: ダンディな G: ダイナミックな H: エスニックな I: フォーマルな J: ゴージャスな K: 激しい L: ハードな M: ほがらかな N: 地味な 感性シミュレーションの課題 感性モデルの可搬性 感性モデルを用いた 逆推定 感性モデルの段階的構築 感性モデルの可搬性 感性モデルを用いた 逆推定 街路景観で学習 室内景観にも適用 ( 例 ) あたたかい & 柔らかい 感性モデルの段階的構築 プロファイルの利用 特定個人 年齢 / 性別 / 趣味 / 言語 追加学習 教示例の収集 感性モデルに反映 感性の経時変化 感性モデルに反映 認知的レベルでの感性 解釈の違い が現れる例 素人 vs 達人 個人 vs 個人 ハードウェアとしての目の構造ソフトウェアとしてのボキャブラリは同じなのに 10

11 色彩に対する感性の工学的なモデル化に挑戦 カラーイメージの計測と分析 自分の目で見て感じる カラー の イメージ を計量してみよう! 冬休み明けには 各自のデータ & 分析ツールを利用して勉強します 冬休み中に 必ず 心理実験を行ってデータを作成しておくこと! 必要な資料は 大学内で ダウンロードしてください! [ 宿題 1] カラーイメージ (1) 明るい方の 20 色 暗い方の 20 色を選び自分の感じる明るさの順に並べる RGB およびそれから計量できる量と自分の感じる明るさとを比較してみる 明るさの順序を決定付ける要因は? [ 宿題 2] カラーイメージ (2) 赤味が強い 20 色を選び自分の感じる 赤い 順に並べる RGB およびそれから計算できる量と自分の感じる 赤味 とを比較してみる 赤味とその順序を決定付ける要因は? ( 注 )R の信号の強さだけではない! N9.5 は R の信号が強いが 赤くない 11

12 回答データの記載例 [ 宿題 3] カラーイメージ (3) 同様に 赤味 緑味 青味 黄色が強い 20 色を選び 同様の考察をしてみよう! 明るさが強い 大弱い 小 課題ごとに別シートに [ 宿題 4]Excel で分析 R, G, B or これらから導出した物理量と感じる 赤味 の強さとの 散布図を作成する 直線近似のグラフを求める [ 宿題 5] カラーイメージ 生理的なレベルでのカラーイメージ 実験用データ (Excelシート) の所在 説明変数 : 物理量目的変数 : 感じる 赤味 の強さとする回帰分析を行う 図 1 図 2 図 3 図 4 図 5 図 6 図 7 図 8 図 9 図 10 図 11 図 12 図 13 図 14 図 15 図 16 図 17 図 18 図 19 図 20 12

13 [ 宿題 5] カラーイメージ (1) 明るさの度合い 暗さ 赤み (or 緑 ) 青み (or 黄 ) ( 注 )7 段階評価 3: とっても ~ だ 0: どちらともいえない -3: 全然 ~ でない [ 考察 5] カラーイメージ (1) 生理的なレベルでのカラーイメージ RGB およびそれから計算できる量と自分の感じる 赤味 などとを比較してみる 赤味とその順序を決定付ける要因は? ( 注 )R の信号の強さだけではない! N9.5 は R の信号が強いが 赤くない [ 考察 5]Excel で分析 (1) R, G, B or これらから導出した物理量と感じる 赤味 の強さとの 散布図を作成する 直線近似のグラフを求める 説明変数 : 物理量目的変数 : 感じる 赤味 の強さとする回帰分析を行う ( 参考 ) 生理的に感じる明るさ 機械的には V = (R+G+B)/3 人間の視覚特性を考慮すると V = R G B 錐体細胞数では L(R)>M(G)>>S(B) だが M の波長帯は L の波長帯の大部分を含む [ 宿題 6] カラーイメージ (2) 心理 認知的なレベルでのカラーイメージ 実験用データ (Excelシート) の所在 図 1 図 2 図 3 図 4 図 5 図 6 図 7 図 8 図 9 図 10 図 11 図 12 図 13 図 14 図 15 図 16 図 17 図 18 図 19 図 20 13

14 [ 宿題 6] カラーイメージ (2) 軽そうに感じる度合い 重そう 暖かそう 冷たそう 心が安らぐ 元気付けられる 固そう 柔らかそう ( 注 )7 段階評価 [ 考察 6] カラーイメージ (2) カラーイメージ (1) 生理的レベルとカラーイメージ (2) 心理 認知的レベルの関係を探る 最も~なのは? ~な順は? ~と最も関係がありそうなのは? [ 考察 6]Excel で分析 (2) 生理的レベルのイメージと心理 認知的レベルのイメージとの 散布図を作成する 直線近似のグラフを求める 説明変数 : 生理的レベルのイメージ目的変数 : 心理 認知的レベルのイメージとする回帰分析を行う [ 宿題 7] カラーイメージ (3) 心理 認知的なレベルでのカラーイメージと形から受けるイメージ 実験用データ (Excel シート ) の所在 図 21 図 22 図 23 図 24 図 25 図 26 図 27 図 28 図 29 図 30 図 31 図 32 図 33 図 34 図 35 14

15 [ 宿題 7 ] カラーイメージ (3) 明るさの度合い (or 暗さの度合い ) 赤み (or 緑 ) 青み (or 黄 ) 角ばった度合い (or 丸い度合い ) ( 注 )7 段階評価 [ 宿題 7 ] カラーイメージ (4) 軽そうに感じる度合い 重そう 暖かそう 冷たそう 心が安らぐ 元気付けられる 固そう 柔らかそう ( 注 )7 段階評価 [ 考察 7] カラーイメージ (3) と (4) の関係を探る 最も~なのは? ~な順は? ~と最も関係がありそうなのは? [ 考察 7]Excel で分析 (3) 生理的レベルのイメージと心理 認知的レベルのイメージとの 散布図を作成する 直線近似のグラフを求める 説明変数 : 生理的レベルのイメージ目的変数 : 心理 認知的レベルのイメージとする回帰分析を行う 分析 モデル化のポイント (1) 被験者の 回答の仕方 イメージ イメージ語 グループ分け 順番付け 距離 ( 類似度 ) 心理物理量 暖かい 暖かグループ 同じグループ 最も どれくらい近い 赤味 Cf. 物理量 R-G, R-G-B 分析 モデル化のポイント (2) 何と何との間の関係か? イメージ vs イメージ 暖か 冷たい イメージ vs 順位 暖か 1 位 暖か 3 位 イメージ vs 心理物理量 暖か 赤味 今日の大部分のマーケット分析の手法 多変量解析の利用可 重回帰分析 未知データ 新規のコンテンツに無力 15

16 分析 モデル化のポイント (3) 物理量との間に直接 間接の関係? イメージ vs 物理量 暖か R-G 順位 vs 物理量 暖か順位 R-G 心理物理量 vs 物理量 赤味 R-G これからの感性 マーケット分析の手法 多変量解析の利用可 重回帰分析 未知データ 新規のコンテンツでも可能 = 物理量から推定可能 R-G から推定 講義の資料 on Web 講義資料 参考資料 教科書 参考書 岸野文郎 他 : 画像と空間の情報処理 ( 岩波 3800 円 ) 淀川英司 他 : 視聴覚の認知科学 ( 電子情報通信学会 2800 円 ) 池田光男 : 目は何を見ているか ( 平凡社 2400 円 ) 16