Coding theorems for correlated sources with cooperative information

Size: px

Start display at page:

Download "Coding theorems for correlated sources with cooperative information"

ふみなはしかわ
4 years ago
Views:

1 グラフコストの逐次更新を用いた映像顕著領域の自動抽出 2009 年 5 月 28 日福地賢宮里洸司 (2) 木村昭悟 (1) 高木茂 (2) 大和淳司 (1) (1) 日本電信電話 ( 株 )NTT) コミュニケーション科学基礎研究所メディア情報研究部メディア認識研究グループ (2) 国立沖縄工業高等専門学校情報通信システム工学科

2 背景ヒトはどのようにしてものを認識する能力を獲得するのか? 成長過程で自然にその能力を獲得していく乳幼児の行動にヒントがあるのでは? 目立つものに目を向ける外観からものを学習するものの名前を聞いて覚える電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 2

3 新しい映像認識検索の枠組目立つかどうか = 顕著性を手がかりにものがどの辺りにあるか? をまず特定ものと思われる領域に関する情報を双方向でやり取りして徐々に成長映像入力教示情報注目位置推定注目すべき箇所を視覚特性を考慮した処理により自動特定モデル学習重要領域抽出本発表の主題ものらしい領域を注目位置から自動抽出画像認識探索重要領域の画像特徴量と教示情報との関係性を学習重要領域からものが何であるか? を特定電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 3

4 映像領域分割問題設定映像から興味の対象である領域 ( 物体領域 ) を背景などそれ以外の領域 ( 背景領域 ) と区別して抽出グラフカットを用いたセグメンテーションセグメンテーションを MRF の MAP 推定問題として定式化この種の MRF はその MAP 推定解が MRF と等価なグラフの最小カット解と完全に一致 [Greig 1989] [Boykov-Jolly 2001] [Boykov-Lea 2006] 映像領域分割への拡張 [Kohli-Torr 2007] [ 手動でのラベル付けを行う必要がある ( 半自動 ) 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 4

5 映像領域分割の全自動化へ向け目立つかどうか? = 顕著性を用いることは分割自動化への有望なアプローチ顕著性に基づく人間の視覚機構の計算モデル Saliency map [Itti 1998] [Koch-Ullman 1985] Koch-Ullman model の拡張 [Peters-Itti 2002] [Li-Lee 2007] 映像への拡張 [Itti-Baldi 2005] [Leung et al.@miru2007] 確率的なモデルの導入 [Pang@PRMU2008Jun] [ 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 5

6 本手法のポイント (1) 顕著度に基づく事前確率の決定グラフカットに基づく手法の懸案であった手動ラベリングの問題を解消全自動化を可能に静止画像領域分割における類似の既存研究で有効性が示されている [ [Fu et al.@icpr2008] [ High prob. of attention Input frame Attention Priors 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 6

本手法のポイント (1) 顕著度に基づく事前確率の決定グラフカットに基づく手法の懸案であった手動ラベリングの問題を解消全自動化を可能に静止画像領域分割における類似の既存研究で有効性が示されている [ 福田ら @MIRU2008] [Fu

7 本手法のポイント (1) 顕著度に基づく事前確率の決定グラフカットに基づく手法の懸案であった手動ラベリングの問題を解消全自動化を可能に静止画像領域分割における類似の既存研究で有効性が示されている [ [Fu et al.@icpr2008] [ 近接フレームで顕著度の高い領域が異なる場合に分割結果が時系列として不安定になる入力映像分割結果電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 7

8 本手法のポイント (2) 過去の分割結果を用いた事前確率の逐次推定過去のフレームの分割結果からの事前確率と現在のフレームの顕著度からの事前確率をカルマンフィルターの考え方を利用して更新 + Kalman filter Original priors Segmentation result Updated priors 特徴量尤度についても過去のフレームの分割結果から取得した尤度と現在のフレームで得た尤度を組み合わせて更新電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 8

9 提案手法の枠組 Priors Input frame Estimated density of visual attention Feature likelihoods ポイント 1 Segmentation result Features for obj Features for bkg ポイント 2 MRF setup Update 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 9

グラフカットを用いた静止画像領域分割 Interactive graph cuts [Boykov-Jolly 2001] 手動で与えられたラベル ( 物体 or 背景 ) を用いたグラフカットに基づく静止画像分割の手法 (manually) GMM fitting of color features Features

10 グラフカットを用いた静止画像領域分割 Interactive graph cuts [Boykov-Jolly 2001] 手動で与えられたラベル ( 物体 or 背景 ) を用いたグラフカットに基づく静止画像分割の手法 (manually) GMM fitting of color features Features for obj Features for bkg Input image Input image with labels Segmentation result Graph creation and Segmentation with graph cuts 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 10

11 Interactive graph cuts 法の定式化与えられた画像 D からラベル A を決定するエネルギー関数最小化問題として定式化当該画素の色テクスチャ特徴の GMM 手動ラベルから決定隣接画素の輝度値の類似性に基づく一般化 Potts 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 11

12 エネルギー最小化最小グラフカット導出前述のエネルギー最小化問題は下記のグラフの最小カット問題に置換可能最小カット問題を多項式時間で解くアルゴリズムがある [Ford-Fulkerson 1956] [Boykov-Jolly 2001] etc. 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 12

13 本手法のポイント (1) 顕著性に基づく事前確率の決定グラフカットに基づく手法の懸案であった手動ラベリングの問題を解消全自動化を可能に具体的には第 1 の事前確率項を [Pang et al. 2008] [ 宮里ら 2009] に基づいて決定 High prob. of attention Input frame Attention EFDM ( 第 1 発表の出力 ) Priors 第 1 の尤度項の GMM 学習の際にサンプルの重みを上記事前確率項により決定電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 13

14 顕著性に基づく事前確率尤度の決定事前確率項 : 物体事前確率の決定 [ 宮里ら 2009] の出力 (EFDM) を GMM でモデル化ただしフレームの縁については物体である可能性は低いので背景事前確率尤度項 : 尤度の決定色テクスチャ特徴を GMM でモデル化 GMM 学習の際のサンプルの数を事前確率で決定電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 14

15 本手法のポイント (2) 過去の分割結果を用いた事前確率の逐次推定過去のフレームの分割結果からの事前確率と現在のフレームの顕著度からの事前確率をカルマンフィルターの考え方を利用して更新 + Kalman filter Original priors Segmentation result Updated priors 特徴量尤度についても過去のフレームの分割結果から取得した尤度と現在のフレームで得た尤度を組み合わせて更新電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 15

16 事前確率の逐次推定物体事前確率に関して以下のモデルを仮定 1 時点前に物体の箇所は現在も物体の可能性が高い顕著性のみから決定した事前確率に近い形で現在の事前確率が決定されるこれを現在の事前確率として採用 Kalman filter と同様にして最尤解を導出可能電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 16

17 特徴量尤度の逐次更新過去のフレームから決定した尤度と現在のフレームから計算される尤度を混合過去の分割結果から算出した特徴量尤度現在の画像から算出した特徴量尤度電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 17

18 動作例良好な分割結果の一例 VideoSegmentationFox.flv 同じ映像が下記の URL にて公開されています事前確率の逐次更新が効果的である例入力映像逐次更新なし逐次更新あり電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 18

19 デモ実機デモをご覧下さいデモ機材のスペック CPU: Intel Core2 Duo P GHz RAM: 4.0GB GPU: NVIDIA GeForce 9600M GT (32 cores, 512MB VRAM) 開発環境 : Microsoft Visual C , OpenCV 1.1 pre, NVIDIA CUDA 2.1 Webcam: Logicool Qcam Pro for Notebook 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 19

20 むすび映像から自動的に顕著領域を抽出する方法の提案顕著性に基づく事前確率の決定過去の分割結果を用いた事前確率の逐次更新今後の課題定量的評価 : Benchmark データの作成が必要高精度化 : 特徴量検討分割アルゴリズム改良高速化 : アルゴリズム面実装面電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 20

21 Thank you. Questions/Comments 電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 21

22 付録電子情報通信学会 PRMU 研究会 2009 年 5 月 Page 22

Coding theorems for correlated sources with cooperative information

Coding theorems for correlated sources with cooperative information MCMC-based particle filter を用いた人間の映像注視行動の実時間推定 2009 年 7 月 21 日宮里洸司 (2) 木村昭悟 (1) 高木茂 (2) 大和淳司 (1) 柏野邦夫 (1) (1) 日本電信電話 ( 株 )NTT コミュニケーション科学基礎研究所メディア情報研究部メディア認識研究グループ (2) 国立沖縄工業高等専門学校情報通信システム工学科背景ヒトはどのようにして