Coding theorems for correlated sources with cooperative information

Size: px

Start display at page:

Download "Coding theorems for correlated sources with cooperative information"

ゆきひらふじた
5 years ago
Views:

1 MCMC-based particle filter を用いた人間の映像注視行動の実時間推定 2009 年 5 月 28 日宮里洸司 (1 2) 木村昭悟 (1) 高木茂 (2) 大和淳司 (1) (1) 日本電信電話 ( 株 )NTT) コミュニケーション科学基礎研究所メディア情報研究部メディア認識研究グループ (2) 国立沖縄工業高等専門学校情報通信システム工学科

2 背景ヒトはどのようにしてものを認識する能力を獲得するのか? 成長過程で自然にその能力を獲得していく乳幼児の行動にヒントがあるのでは? 目立つものに目を向ける外観からものを学習するものの名前を聞いて覚える Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 2

新しい映像認識検索の枠組目立つかどうか = 顕著性を手がかりにものがどの辺りにあるか?

教示情報注目位置推定本発表の主題注目すべき箇所を視覚特性を考慮した処理により自動特定

3 新しい映像認識検索の枠組目立つかどうか = 顕著性を手がかりにものがどの辺りにあるか? をまず特定ものと思われる領域に関する情報を双方向でやり取りして徐々に成長映像入力教示情報注目位置推定本発表の主題注目すべき箇所を視覚特性を考慮した処理により自動特定モデル学習重要領域抽出ものらしい領域を注目位置から自動抽出画像認識探索重要領域の画像特徴量と教示情報との関係性を学習重要領域からものが何であるか? を特定 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 3

4 特徴統合理論 [Treisman & Gelade 1980] いくつかの基本的な特徴量 ( 輝度色など ) を抽出し処理することで各々 feature map を生成 Feature map を統合することで saliency map(sm) を生成 Saliency map 内で最も輝度値が大きくなる箇所に最初に ( 視覚的 ) 注意が向けられる入力画像 Saliency map (extracted by [Itti et al. 1998] ) Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 4

5 特徴統合理論の問題点与えられた入力画像について決定論的に SM が計算される SM 内で最も輝度値が大きい領域に最初に注意が向く同じ映像が与えられると誰がいつその映像を見ても同じ場所に注意が向くことを主張現実の人間の行動とは異なる入力画像 Saliency map (extracted by [Itti et al. 1998] ) Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 5

6 確率モデルの導入人間の視覚機構を確率的な挙動としてモデル化与えられた映像のみから人間が注目しやすい領域をより正確に特定動的ベイジアンネットワークを用いた確率モデル [Pang Jun] [Kimura Nov] 状態空間モデルと HMM を組み合わせた動的ベイジアンネットワークによりモデル化人間が注目しやすい映像中の箇所を自動的に推定計算量が非常に大きい (1 フレーム当たり 1~2 秒 ) Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 6

7 Stream processing による高速化多数のコア ( 演算単位 ) を持つハードウェアを用いた並列演算のためのプログラミング手法の枠組ハードウェアの普及 : Multicore CPU, GPU, Cell etc. ソフトウェアの整備 : OpenMP, CUDA etc. 当然それらを使えば速くなるわけではない! 単純なデータを一度に大量にかつそれぞれがほぼ同様の負荷で処理する演算に特化従来手法は上記の特性にそぐわないモデル構造及び実装方法を採用 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 7

8 本研究の主張点 Stream processing の導入に適した新しい視覚的注意の計算モデル実装法の提案推定精度を保ったまま処理速度を大幅に高速化ほぼリアルタイムでの動作を可能に提案手法のポイントモデルの改良 : Particle filter による映像注視行動の事後確率推定実装方法の改良 : MCMC サンプリングによる処理時間の平準化 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 8

9 提案モデルの概略 Top-down Eye movement patterns (EMP) 視線移動の戦略を制御する人間の内部状態をモデル化 ( 動かしたい or 動かしたくない ) Eye-focusing density map Bottom-up/Top-down 情報を統合することで視線が向く確率の高い領域を推定 1.Particle filter による事後確率推定 2.MCMC サンプリングの導入 Saliency map (SM) 映像入力によって人間が受ける視覚刺激の強さを表現 Stochastic saliency map (SSM) 信号検出理論 [Eckstein 2000] に基づき刺激に対する応答をガウス分布でモデル化 Bottom-up 電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 9

10 提案モデル Intention Top-down 意図 Eye movement 視線を動かしたいかどうか? patterns 行動 Action 視線移動の大きさは意図で決まる Eye-focusing 応答が大きい箇所に視線が向く density maps To be estimated 応答 Response Stochastic 刺激をどう受け取ったか? saliency maps 刺激 Stimulus (deterministic) どんな視覚情報が入ってきたか? saliency maps Input Input video Given in advance Bottom-up 電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 10

抽出に用いた基本特徴量輝度補色 ( 赤 / 緑青 / 黄 ) 方向 (0, π/4, π/2, 3π/4) 運動 ( 水平

11 Saliency map の抽出 Itti-Koch model [Itti 1998] を利用特徴統合理論に基づき映像の各フレームから独立に SM を生成基本特徴量の空間的なコントラストを多重解像度処理によって抽出し統合抽出に用いた基本特徴量輝度補色 ( 赤 / 緑青 / 黄 ) 方向 (0, π/4, π/2, 3π/4) 運動 ( 水平垂直 ) CPU 処理として実装電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 11

12 Stochastic saliency map の推定 SM を観測とする pixel-wise 状態空間モデルモデル 2 1 Response Stochastic saliency maps Stimulus (deterministic) saliency maps SSM がガウス分布を介し SM として観測される SSM の時間方向での連続性を仮定 Kalman filter を用いることで解析可能 CPU 処理として実現 ( 十分高速 : 3~5msec/frame) 電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 12

13 Eye-focusing density map の推定 (1) Eye movement patterns (EMP) を隠れ状態とする HMM Intention Eye movement patterns 1 Action Eye-focusing density maps Response Stochastic saliency maps モデル映像中の位置 x(t) において実際に観測された応答 (=SSM の実現値 ) がそれ以外の位置での応答よりも大きくなるときに位置 x(t) に視線が向く電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 13

14 木構造を用いた繰り返し演算並列化 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 14

15 木構造並列化の適用モデル式の変換により並列化を適用可能に 3. 和算に木構造並列化を適用 2. 位置のみに依存各 i について計算は 1 回だけ 1. 位置には独立各 i について前もって計算積算に木構造並列化を適用 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 15

density maps Response Stochastic saliency maps 入力と独立に遷移する EMP

16 Eye-focusing density map の推定 (2) Eye movement patterns (EMP) を隠れ状態とする HMM モデル Intention Eye movement patterns Action Eye-focusing density maps Response Stochastic saliency maps 入力と独立に遷移する EMP によって視線移動の大きさを制御電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 16

17 サンプリングに基づく視線位置推定視線推定位置と EMP の組をサンプリングにより生成 Sampling from with rejection sampling Samples at time t-1 計算時間が確率密度関数の性質に大きく依存サンプルごとに計算時間が大きく異なり並列化しても高速化できない Samples at time t 電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 17

18 Stream processing 導入へ向けた改良モデル面での改良 : サンプリング処理を 2 段階に分割 EMP に依存する部分からサンプルを生成 SFM に依存する部分でサンプルの重みを決定 SFM から決定 EMP から決定確率密度関数の独立性により particle filter と等価実装方法の改良 : サンプリングに MCMC を利用サンプリング処理に要する時間を平準化 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 18

19 MCMC-based particle filter の導入サンプリングを 2 段階に分割 SFM から決定 ( 計算済 ) EMP から決定 Sampling from EMP part with MCMC Weighting with SFM part Resampling Samples at time t-1 Samples at time t Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 19

20 デモ次の発表の際に一緒にお見せ致しますデモ機材のスペック CPU: Intel Core2 Duo P GHz RAM: 4.0GB GPU: NVIDIA GeForce 9600M GT (32 cores, 512MB VRAM) 開発環境 : Microsoft Visual C , OpenCV 1.1 pre, NVIDIA CUDA 2.1 Webcam: Logicool Qcam Pro for Notebook 電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 20

21 実験条件 CRCNS eye-1 database を使用映像 : 100 本 MPEG-1 640x480 pixels 30fps 視線データ : 各映像 4~6 名分 240fps original experiment と称する映像群 (50 本 ) 及び対応する視線測定結果を使用モデルパラメータの学習 : 交叉検定を利用 40 本をモデルパラメータ学習に残り 10 本を視線との一致性についての評価に用いる計算機スペック ( デモ環境との差分のみ ) CPU: Intel Core2 Quad Q6600 (2.40GHz) GPU: NVIDIA GeForce 8800GT 2 SLI (112 cores, 512MB VRAM) 電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 21

22 評価尺度 Normalized scanpath saliency (NSS) ランダムな視線移動に対する有意差を測定する尺度 1. 出力画像のピクセル値を平均 =0 分散 =1 となるように正規化 2. 各フレームについて被験者の視線位置での出力画像のピクセル値を抽出 3. 上記ピクセル値のフレーム平均を取り NSS を算出出力画像正規化したピクセル値の分布 NSS=1.75 正規化電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 22

23 実験結果 (1/3) 平均処理時間の比較従来法 MCMC-based particle filter により約 8 倍高速化木構造並列化により約 2.5 倍高速化提案法 Itti model Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 23

24 実験結果 (2/3) 各段階の処理時間の比較 MCMC-based particle filter により該当処理を約 30 倍高速化木構造並列化により該当処理を約 15 倍高速化 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 24

25 実験結果 (3/3) 平均 NSS の比較 Itti model 従来法提案法電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 25

26 むすび人間の映像注視行動を高精度に推定するための新しい視覚的注意の計算モデル及び stream processing に基づく実装方法を提案 Particle filter による映像注視行動の事後確率推定 MCMC サンプリングの導入従来法と同程度の精度を保ちつつ 20 倍以上高速ほぼリアルタイムでの動作を実現未登録物体検出映像認識検索のフロントエンドとしての可能性次の発表へ電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 26

27 Intention Top-down Eye movement patterns Action Eye-focusing density maps Response Stochastic saliency maps Stimulus (deterministic) saliency maps Input Input video Bottom-up Thank you. Questions/Comments 電子情報通信学会 PRMU 研究会 2009 年 5 月 Presented by Akisato Kimura Page 27

28 付録 Presented by Akisato Kimura 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 28

Coding theorems for correlated sources with cooperative information

Coding theorems for correlated sources with cooperative information MCMC-based particle filter を用いた人間の映像注視行動の実時間推定 2009 年 7 月 21 日宮里洸司 (2) 木村昭悟 (1) 高木茂 (2) 大和淳司 (1) 柏野邦夫 (1) (1) 日本電信電話 ( 株 )NTT コミュニケーション科学基礎研究所メディア情報研究部メディア認識研究グループ (2) 国立沖縄工業高等専門学校情報通信システム工学科背景ヒトはどのようにして