Microsoft PowerPoint PresentationPRMU2008Nov.ppt [互換モード]

Size: px

Start display at page:

Download "Microsoft PowerPoint PresentationPRMU2008Nov.ppt [互換モード]"

うきえふじした
5 years ago
Views:

1 Dynamic Markov random fields for stochastic modeling of visual attention 2008 年 11 月 27 日木村昭悟 (1) Derek Pang (1,2) 竹内龍人 (1) 大和淳司 (1) 柏野邦夫 (1) (1) 日本電信電話 ( 株 )NTT コミュニケーション科学基礎研究所メディア情報研究部メディア認識研究グループ (2) Simon Fraser University School of Engineering Science

2 Where would you focus? 人間は映像中から重要と思われる情報を瞬時に判断できる Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2008 年 11 月 Page 2

3 特徴統合理論 [Treisman & Gelade 1980] いくつかの基本的な特徴量 ( 輝度色など ) を抽出し処理することで各々 feature map を生成 Feature map を統合することで saliency map(sm) を生成 Saliency map 内で最も輝度値が大きくなる箇所に最初に ( 視覚的 ) 注意が向けられる入力画像 Saliency map (extracted by [Itti et al. 1998] ) Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2008 年 11 月 Page 3

4 特徴統合理論 [Treisman & Gelade 1980] いくつかの基本的な特徴量 ( 輝度色など ) を抽出し処理することで各々 feature map を生成 Feature map を統合することで saliency map(sm) を生成 Saliency map 内で最も輝度値が大きくなる箇所に最初に ( 視覚的 ) 注意が向けられる入力画像 Saliency-based visual attention model 計算モデルの提案心理物理学的検証 [Koch & Ullman 1984] 実装可能な計算モデルの提案 [Itti et al. 1998] その他関連研究 [Frintrop & Rome 2004] [Itti & Baldi 2005] [Leung et al. 2007] これらモデルの応用例 : robotics [Nagai & Rohlfing 2007] active vision [Takeuchi et al. 1997] 物体認識 [Frintrop et al. 2004] Saliency map (extracted by [Itti et al. 1998] ) Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2008 年 11 月 Page 4

5 従来研究の問題点与えられた入力画像について決定論的にSMが計算される SM 内で最も輝度値が大きい領域に最初に注意が向く同じ映像が与えられると誰がいつその映像を見ても同じ場所に注意が向くことを主張現実の人間の行動とは異なる入力画像 Saliency map (extracted by [Itti et al. 1998] ) Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2008 年 11 月 Page 5

6 本研究の動機人間の視覚的注意の機構を確率的な挙動としてモデル化与えられた映像のみから人間が注目しやすい領域をより正確に特定動的ベイジアンネットワークを用いた確率モデル [Pang et al. PRMU June] State space model と HMM を組み合わせたベイジアンネットワークによりモデル化人間が注目しやすい映像中の領域を自動的に推定空間的な関係性を考慮していないな saliencyが高い箇所の周辺もsaliencyが高いはず Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2008 年 11 月 Page 6

7 提案モデルのポイント動的マルコフ確率場による saliency のモデル化 saliency の時空間的な関係を統一的に記述的に記述ナイーブ平均場近似により [Pang et al. 2008] とほぼ同様のコストで saliency を推定動的マルコフ確率場 (dynamic MRF) 時間方向のダイナミクスを取り込んだマルコフ確率場 (MRF) の拡張 : 観測 : 隠れ状態時刻 t-1 時刻 t 時刻 t+1 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2008 年 11 月 Page 7

8 提案モデルのポイント動的マルコフ確率場による saliency のモデル化 saliency の時空間的な関係を統一的に記述的に記述ナイーブ平均場近似により [Pang et al. 2008] とほぼ同様のコストで saliency を推定動的マルコフ確率場 (dynamic MRF) 空間方向の関係性を記述した状態空間モデルの拡張とも言える : 観測 : 隠れ状態時刻 t-1 時刻 t 時刻 t+1 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2008 年 11 月 Page 8

9 提案モデルの概略 Top-down Eye movement patterns (EMP) 視線移動の戦略を制御する人間の内部状態をモデル化 ( 動かしたい or 動かしたくない ) 映像入力とは独立に決定される Eye-focusing density map Bottom-up/Top-down 情報を統合することで視線が向く確率の高い領域を推定 Saliency map (SM) 映像入力によって人間が受ける視覚刺激の強さを表現 Stochastic saliency map (SSM) 信号検出理論 [Eckstein 2000] に基づき刺激に対する応答をガウス分布でモデル化 Dynamic MRF の導入 Bottom-up Page 9

10 提案モデル Intention Top-down 意図 Eye movement 視線を動かしたいかどうか? patterns 行動 Action 視線移動の大きさは意図で決まる Eye-focusing 応答が大きい箇所に視線が向く density maps To be estimated 応答 Response 刺激をどう受け取ったか Stochastic? saliency maps 刺激 Stimulus どんな視覚情報が入ってきたか (deterministic)? saliency maps Input Input video Given in advance Bottom-up Page 10

11 Saliency map の抽出 Itti-Koch model [Itti 1998] を利用特徴統合理論に基づき映像の各フレームから独立にSMを生成基本特徴量の空間的なコントラストを多重解像度処理によって抽出し統合抽出に用いた基本特徴量輝度補色 ( 赤 / 緑青 / 黄 ) 方向 (0, π/4, π/2, 3π/4) ) 運動 ( 水平垂直 ) Page 11

12 Stochastic saliency map の推定 ( 従来は )SM を観測とする pixel-wise state-space model 2 1 Response Stochastic saliency maps Stimulus (deterministic) saliency maps モデル SSM がガウス分布を介し SM として観測される SSM の時間方向での連続性を仮定空間的依存性が考慮されていない! Page 12

13 動的マルコフ確率場の導入 SSM の時間方向での連続性を仮定 SSM がガウス分布を介し SM として観測される SSMの空間的な連続性も同様に仮定 Stochastic saliency maps (y の近傍 ) Saliency maps Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2008 年 11 月 Page 13

14 SSM 推定の定式化 Gaussian dynamic Markov random field モデル時間的連続性 SM を観測空間的連続性 Kalman filter と ( ナイーブ ) 平均場近似を利用して推定平均場近似が必要 Kalman filter と同様 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2008 年 11 月 Page 14

15 Eye-focusing density map の推定 (1) Eye movement patterns (EMP) を隠れ状態とする HMM Intention t Eye movement patterns モデル 1 Action Eye-focusing density maps Response Stochastic saliency maps 映像中の位置 x(t) において実際に観測された応答 (=SSMの実現値) がそれ以外の位置での応答よりも大きくなるときに位置 x(t) に視線が向く Page 17

patterns Action Eye-focusing density maps Response

16 Eye-focusing density map の推定 (2) Eye movement patterns (EMP) を隠れ状態とする HMM モデル Intention t Eye movement patterns Action Eye-focusing density maps Response Stochastic saliency maps 入力と独立に遷移する EMP によって視線移動の大きさを制御 Page 18

17 Eye-focusing density map の推定 (3) 視線推定位置と EMP の組をサンプリングにより生成 Bottom-up Top-down ~ x ( t 1) 1 u ( t 1) 1 ~ x ( t) 1 u ( t) 1 ~ x u N N ( t 1) ( t 1) Rejection sampling from p ( x ( t ), u ( t ) p ( S ( t )), x ( t 1), u ( t 1)) ~ x u N N ( t) ( t) 時刻 t-1 でのサンプル時刻 t でのサンプル Page 19

18 実験条件 6 人の被験者に映像を提示その視線位置を視線測定機器を用いて測定映像を液晶ディスプレイ上に表示視線測定機器 : 角膜反射を利用 30fps [Ohno 2002] 被験者の頭部は顎台によって固定入力映像風景動物等を含む自然映像 8 本 640x480 ピクセル 15fps 1 本当たり30~90 秒映像視聴に際し被験者への教示はなし計算機環境 Intel Core2 Duo E GHz, 3.0GB memory Microsoft Visual C++.NET, no optimization Page 21

19 評価尺度 Normalized scanpath saliency (NSS) ランダムな視線移動に対する有意差を測定する尺度 1. 出力画像のピクセル値を平均 =0 分散 =1となるように正規化 2. 各フレームについて被験者の視線位置での出力画像のピクセル値を抽出 3. 上記ピクセル値のフレーム平均を取り NSS を算出出力画像正規化したピクセル値の分布 NSS=1.75 正規化 Page 22

20 実験結果 (1/3) 平均 NSS の比較提案法 with MRF >> Itti-Koch model ( 約 2 倍 ) 提案法 with MRF > 提案法 without MRF ( 約 1.2 倍 ) NSS score Average Itti-Koch model previous model proposed model Page 23

21 実験結果 (2/3) 各映像での平均 NSS の比較多くのビデオで提案法の評価値が最も高い Itti-Koch model Previous model Proposed model Average e NSS scor re Videos Page 24

22 実験結果 (3/3) 平均計算時間の比較提案手法 with MRF < 提案手法 without MRF?! 1200 Ex xecution tim me [msec/f rame] Itti-Koch model previous model proposed model Page 25

23 むすび既提案の視覚的注意の確率モデルを拡張映像顕著度の空間的な関係性を考慮既提案技術に対しての優位性を確認実際の人間の視線位置との一致性処理速度今後の課題トップダウン情報の拡張ボトムアップ情報との関連性 GP-GPUなどを用いた高速実装 Page 26

24 Intention Top-down Eye movement patterns Action Eye-focusing density maps Response Stochastic saliency maps Stimulus (deterministic) saliency maps Input Input video Bottom-up Thank you. Questions/Comments akisato <AT> eye brl ntt co jp Page 27

Coding theorems for correlated sources with cooperative information

Coding theorems for correlated sources with cooperative information MCMC-based particle filter を用いた人間の映像注視行動の実時間推定 2009 年 5 月 28 日宮里洸司 (1 2) 木村昭悟 (1) 高木茂 (2) 大和淳司 (1) (1) 日本電信電話 ( 株 )NTT) コミュニケーション科学基礎研究所メディア情報研究部メディア認識研究グループ (2) 国立沖縄工業高等専門学校情報通信システム工学科背景ヒトはどのようにして