Microsoft PowerPoint - IPS a.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - IPS a.ppt"

なごみはやしもと
6 years ago
Views:

画像処理システム論 Image Media Systems 加藤俊一 Toshi KATO 生体から学ぶべきメカニズム (1) 明暗順応 : 明るさの変化に対する調節機構側抑制 : 視野の中の明暗の微小変化を局所的に検出強調するメカニズム色順応 : 色彩の対比に対する調節機構生体から学ぶべきメカニズム (2) 初期視覚における特徴抽出 : 空間領域局所的な明るさ色調の対比エッジ検出

1 画像処理システム論 Image Media Systems 加藤俊一 Toshi KATO 生体から学ぶべきメカニズム (1) 明暗順応 : 明るさの変化に対する調節機構側抑制 : 視野の中の明暗の微小変化を局所的に検出強調するメカニズム色順応 : 色彩の対比に対する調節機構生体から学ぶべきメカニズム (2) 初期視覚における特徴抽出 : 空間領域局所的な明るさ色調の対比エッジ検出構図全体的な明るさ色調周波数領域画像映像の複雑さ画像映像内の規則性感性の工学的なモデル化知覚感性 ( 認識理解 ) 創出感性 ( 表出働き掛け ) 階層間の対応関係と相互作用をモデル化認知的レベル心理的レベル生理的レベル物理化学的レベル Cf. マーケティングとの違い < 知覚感性 > is_opposite_to 躍動感のんびり is_equal_to 若々しい is_sim ilar_to さわやか < 創出感性 > is_sim ilar_to ソフト視聴触味匂視聴触画像音声肌触味香絵図音声力音表情音音楽動作音楽 < セルフフィードバック > [ 課題 1] 絵画を探そうインターネットから Claude Monet の Haystack at Giverny という作品を探し出して表示してみよう! どういうツールを使ってどういう探し方 ( 検索の仕方 ) でどれだけの時間回数が必要だったか? [ 課題 2] 絵画を探そうインターネットからこの絵画を見つけ出して表示してみよう! どういうツールでどういう探し方で時間回数が必要だったか? 1

人間はどんな特徴をとらえているか? 画像特徴量センサーでの特徴抽出機構の近似多次元ベクトル空間 (GF 空間 ) による表現 ( 例 ) モノクロ図形 ( 商標図形 ) カラーイラストテクスチャ 3 次元物体 [ 課題 3] 絵画を探そう ( 準備 ) http://www.hermitagemuseum.org/html_en/index.

2 感性の工学的なモデル化知覚感性 ( 認識理解 ) 創出感性 ( 表出働き掛け ) 階層間の対応関係と相互作用をモデル化認知的レベル心理的レベル生理的レベル物理化学的レベル Cf. マーケティングとの違い < 知覚感性 > is_opposite_to 躍動感のんびり is_equal_to 若々しい is_sim ilar_to さわやか < 創出感性 > is_sim ilar_to ソフト視聴触味匂視聴触画像音声肌触味香絵図音声力音表情音音楽動作音楽 < セルフフィードバック > 生理的レベルでの感性シミュレーション人間はどんな特徴をとらえているか? 画像特徴量センサーでの特徴抽出機構の近似多次元ベクトル空間 (GF 空間 ) による表現 ( 例 ) モノクロ図形 ( 商標図形 ) カラーイラストテクスチャ 3 次元物体 [ 課題 3] 絵画を探そう ( 準備 ) DIGITAL COLLECTION [ 課題 3] 絵画を探そうエルミタージュからこの絵画と似た絵画を探して表示してみよう! 似たとは? 画家? 作風? 時代? 地域? 主題? 構図? 色彩? ( 同様 ) カラー画像の検索 ( 芸術作品 ) カラー画像の検索 ( 芸術作品 ) DIGITAL COLLECTION ADVANCED SEARCH QBIC SEARCHES DIGITAL COLLECTION ADVANCED SEARCH QBIC SEARCHES 2

3 [ 課題 4] 絵画を探そうエルミタージュ QBIC Searchでこの絵画と似た絵画を探して表示してみよう! カラー検索レイアウト検索 ( 同様 ) [ 課題 5] 例示検索実験各 10 枚の画像をキーに似ている画像を検索自分の判断は? ( 例 ) 幾何学的な図形 ( ロゴ ) 世界の国旗あるいは蝶あるいは切手自分はどういう理由 ( なんとなく直感では ) で似ている似ていないと判断したか? モノクロ画像の例示検索 ( 図形 ) カラー画像の例示検索 ( 写真 ) User ID: ( 内緒 ) Passwd: ( 内緒 ; 講義中に指示します ) 生理的レベルの感性画像特徴量による評価初期視覚における特徴抽出明暗と局所的なコントラスト色彩と局所的なコントラスト線分 ( 境界線 ) の方向性曲率空間的な周波数テクスチャ形状構図空間知覚 1 横分割 2 縦分割 3 同心円状分割 4 放射状分割 r 0 = A T p 0 例示画 A T, pj, p 0 画像特徴空間図形データベース ( 商標意匠 ) 3

4 カラー画像の例示検索構図の特徴色彩の特徴色彩だけに注目して類似検索すると色彩を無視して構図だけに注目すると例示した切手色彩と構図を総合して判断すると類似性を感じる基準は? 類似性には階層段階がありそうだ知識理解を伴う類似性認知的レベル雰囲気の類似性心理的レベルほとんど同じに見える類似性生理的レベル生理的レベルでの感性シミュレーション人間はどんな特徴をとらえているか? 画像特徴量センサーでの特徴抽出機構の近似多次元ベクトル空間 (GF 空間 ) による表現 ( 例 ) モノクロ図形 ( 商標図形 ) カラーイラストテクスチャ 3 次元物体知覚感性高次 ( 局所 ) コントラスト画像の特徴量記述 { f ( r + a1 ) f ( r)} + { f ( r + a2 ) f ( r)} Cont ( a1, a2, r) = f ( r + a ) + f ( r + a ) + 2 f ( r) 複数の特徴量からの選択 ( 目立つ特徴 ) 1 Cont ( a1, a 2, r) γ '( i, l, r) dr P γ ( i, r) =, g( i, l, r) =. n( I ) n( I ) Cont ( a,, ) i 1 1 a 2 r '(,, ) i= 1 γ i l r dr P = 2 Key: 知覚感性高次 ( 局所 ) コントラスト Key: ( 比較 ) Global Color Histogram on GF (R, G, B) From 14,000 images From 14,000 images 4

各自のデータ & 分析ツールを利用して勉強します http://www.indsys.chuo-u.ac.jp/~kato/ips/singlecolors.

5 Key: 高次局所コントラスト特徴を利用した類似検索 Key: ( 比較 ) Regional Color Histogram on SF (R, G, B) From 14,000 images From 14,000 images カラーイメージの計測と分析自分の目で見て感じるカラーのイメージを計量してみよう! [ 宿題 ] に取り組んで来ましたか? 各自のデータ & 分析ツールを利用して勉強します [ 宿題 ] カラーイメージ (1) 明るい方の 20 色暗い方の 20 色を選び自分の感じる明るさの順に並べる RGB およびそれから計量できる量と自分の感じる明るさとを比較してみる明るさの順序を決定付ける要因は? 5

6 [ 宿題 ] カラーイメージ (2) 赤味が強い 20 色を選び自分の感じる赤い順に並べる RGB およびそれから計算できる量と自分の感じる赤味とを比較してみる赤味とその順序を決定付ける要因は? ( 注 )R の信号の強さだけではない! N9.5 は R の信号が強いが赤くない [ 宿題 ] カラーイメージ (3) 同様に赤味緑味青味黄色が強い 20 色を選び同様の考察をしてみよう! 回答データの記載例 [ 宿題 ]Excel で分析明るさが強い大弱い小課題ごとに別シートに R, G, B or これらから導出した物理量と感じる赤味の強さとの散布図を作成する直線近似のグラフを求める説明変数 : 物理量目的変数 : 感じる赤味の強さとする回帰分析を行う [ 実験 1] カラーイメージ生理的なレベルでのカラーイメージ図 1 図 2 図 3 図 4 図 5 実験用データ (Excel シート ) の所在図 6 図 7 図 8 図 9 図 10 図 11 図 12 図 13 図 14 図 15 図 16 図 17 図 18 図 19 図 20 6

[ 実験 1] カラーイメージ (1) 明るさの度合い暗さ赤み (or 緑 ) 青み (or 黄 ) ( 注 )7 段階評価 3: とっても ~ だ 0: どちらともいえない -3: 全然 ~ でない [ 考察 1] カラーイメージ (1) 生理的なレベルでのカラーイメージ RGB およびそれから計算できる量と自分の感じる赤味などとを比較してみる赤味とその順序を決定付ける要因は?

7 [ 実験 1] カラーイメージ (1) 明るさの度合い暗さ赤み (or 緑 ) 青み (or 黄 ) ( 注 )7 段階評価 3: とっても ~ だ 0: どちらともいえない -3: 全然 ~ でない [ 考察 1] カラーイメージ (1) 生理的なレベルでのカラーイメージ RGB およびそれから計算できる量と自分の感じる赤味などとを比較してみる赤味とその順序を決定付ける要因は? ( 注 )R の信号の強さだけではない! N9.5 は R の信号が強いが赤くない ( 参考 ) 生理的に感じる明るさ機械的には V = (R+G+B)/3 人間の視覚特性を考慮すると V = R G B 錐体細胞数では L(R)>M(G)>>S(B) だが M の波長帯は L の波長帯の大部分を含む [ 考察 1]Excel で分析 (1) R, G, B or これらから導出した物理量と感じる赤味の強さとの散布図を作成する直線近似のグラフを求める説明変数 : 物理量目的変数 : 感じる赤味の強さとする回帰分析を行う心理的レベルでの感性感性の違いが現れる例素人 vs 達人個人 vs 個人ハードウェアとしての目の構造は同じなのに感性の違いがビジネスを左右する 7

心理的レベルでの感性シミュレーションハードウェアとしての目 : 共通構造分類の個人差主観的な類似度 : 個人毎着眼点注目点の重み付けが違う画像特徴空間 : 共通的主観特徴空間 (SF 空間 ): 個人毎主観特徴空間の構成法クラス分け学習用サンプル集合の ( 階層的な ) 分類 N-classへの判別学習類似度行列学習用サンプル集合の ( 全 )2 対間に類似度数量化理論

8 心理的レベルでの感性シミュレーションハードウェアとしての目 : 共通構造分類の個人差主観的な類似度 : 個人毎着眼点注目点の重み付けが違う画像特徴空間 : 共通的主観特徴空間 (SF 空間 ): 個人毎主観特徴空間の構成法クラス分け学習用サンプル集合の ( 階層的な ) 分類 N-classへの判別学習類似度行列学習用サンプル集合の ( 全 )2 対間に類似度数量化理論 4 類利用者学習用図形画像特徴空間クラス分けによる主観的類似度の提示 ( 離散量 ) <Subjective Feature Space> Σˆ W : Ave. intra group cov. Σˆ B : Ave. inter group cov. <Graphical Feature Space> Σ W : Intra group cov. Σ B : Inter group cov. <Criteria> J = tr( Σˆ W 1 Σˆ B ) : max 図形対に対する主観的類似度の提示 ( 連続量 ) <Subjective Similarity> S = (s ij) S = S S S <Criteria> N Q = N s ij (r T i r j ) : max i = 1 j = 1 Σ E A = Σ X A Λ A T Σ X A = Λ r 0 = A T p 0 p i, p j, p k A T 主観特徴空間, ri, r 0 A T, pj, 主観的類似度の個人差類似検索 p 0 Σ B A = Σ W A Λ 画像特徴空間 A T Σ W A = I 例示画図形データベース ( 商標意匠 ) 主観的類似度の個人差類似検索主観特徴空間の可視化 8

物理化学的レベル視聴触味匂視聴触画像音声肌触味音音楽香絵図音声力表情音動作音楽認知的レベルでの感性解釈の違いが現れる例素人 vs 達人個人 vs 個人

9 知覚感性注視する特徴の推定高次局所コントラスト特徴を利用した類似検索階層的分類 + 多重解像度領域分割ユーザによる検索結果の差検索キーユーザA ユーザB is_ equa l_to 認知的感性をモデル化するレベル若々しい感性の構造の階層性認知レベル心理レベル生理レベル物理レベル心理的レベル生理的レベル is_o pposite_to 躍動感のんびり is_sim ilar_to is_sim ilar_ to さわやかソフト物理化学的レベル視聴触味匂視聴触画像音声肌触味音音楽香絵図音声力表情音動作音楽認知的レベルでの感性解釈の違いが現れる例素人 vs 達人個人 vs 個人ハードウェアとしての目の構造ソフトウェアとしてのボキャブラリは同じなのに [ 実験 2] カラーイメージ (2) 心理認知的なレベルでのカラーイメージ実験用データ (Excelシート) の所在 9

10 図 1 図 2 図 3 図 4 図 5 図 6 図 7 図 8 図 9 図 10 図 11 図 12 図 13 図 14 図 15 [ 実験 2] カラーイメージ (2) 軽そうに感じる度合い重そう暖かそう冷たそう心が安らぐ元気付けられる固そう柔らかそう ( 注 )7 段階評価図 16 図 17 図 18 図 19 図 20 [ 考察 2] カラーイメージ (2) カラーイメージ (1) 生理的レベルとカラーイメージ (2) 心理認知的レベルの関係を探る最も~なのは? ~な順は? ~と最も関係がありそうなのは? [ 考察 2]Excel で分析 (2) 生理的レベルのイメージと心理認知的レベルのイメージとの散布図を作成する直線近似のグラフを求める説明変数 : 生理的レベルのイメージ目的変数 : 心理認知的レベルのイメージとする回帰分析を行う [ 実験 3] カラーイメージ (3) 心理認知的なレベルでのカラーイメージと形から受けるイメージ実験用データ (Excel シート ) の所在図 21 図 22 図 23 図 24 図 25 図 26 図 27 図 28 図 29 図 30 図 31 図 32 図 33 図 34 図 35 10

[ 実験 3] カラーイメージ (3) 明るさの度合い (or 暗さの度合い ) 赤み (or 緑 ) 青み (or 黄 ) 角ばった度合い (or 丸い度合い ) ( 注 )7 段階評価 [ 実験 3] カラーイメージ (4) 軽そうに感じる度合い重そう暖かそう冷たそう心が安らぐ元気付けられる固そう柔らかそう ( 注 )7 段階評価 [ 考察 3] カラーイメージ (3) と

11 [ 実験 3] カラーイメージ (3) 明るさの度合い (or 暗さの度合い ) 赤み (or 緑 ) 青み (or 黄 ) 角ばった度合い (or 丸い度合い ) ( 注 )7 段階評価 [ 実験 3] カラーイメージ (4) 軽そうに感じる度合い重そう暖かそう冷たそう心が安らぐ元気付けられる固そう柔らかそう ( 注 )7 段階評価 [ 考察 3] カラーイメージ (3) と (4) の関係を探る最も~なのは? ~な順は? ~と最も関係がありそうなのは? [ 考察 3]Excel で分析 (3) 生理的レベルのイメージと心理認知的レベルのイメージとの散布図を作成する直線近似のグラフを求める説明変数 : 生理的レベルのイメージ目的変数 : 心理認知的レベルのイメージとする回帰分析を行う講義の資料 on Web 講義資料参考資料

12 教科書参考書岸野文郎他 : 画像と空間の情報処理 ( 岩波 3800 円 ) 淀川英司他 : 視聴覚の認知科学 ( 電子情報通信学会 2800 円 ) 池田光男 : 目は何を見ているか ( 平凡社 2400 円 ) 12

Microsoft PowerPoint - IPS A+C.ppt

Microsoft PowerPoint - IPS A+C.ppt 画像処理システム論 Image Media Systems 加藤俊一 Toshi KATO 生体から学ぶべきメカニズム (1) 明暗順応 : 明るさの変化に対する調節機構側抑制 : 視野の中の明暗の微小変化を局所的に検出強調するメカニズム色順応 : 色彩の対比に対する調節機構生体から学ぶべきメカニズム (2) 初期視覚における特徴抽出 : 空間領域局所的な明るさ色調の対比エッジ検出構図