THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE

Size: px

Start display at page:

Download "THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE"

しまなたもん
4 years ago
Views:

1 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE Approaches to Accurate Person Re-identification across Multiple Surveillance Cameras Yasutomo KAWANISHI, Yang WU, Masayuki MUKUNOKI, Michihiko MINOH, and Shihong LAO Academic Center for Computing and Media Studies, Kyoto University Yoshidahonmachi, Sakyo ku, Kyoto, Japan OMRON Social Solutions Co., LTD Nishi-kusatsu, Kusatsu-shi, Shiga, Japan Abstract We introduce our approaches to person detection, re-identification and person image retrieval developped in our research project R&D Program for Implementation of Anti-Crime and Anti-Terrorism Technologies for a Safe and Secure Society. We also introduce a novel public dataset for multiple people tracking across multiple cameras. Key words Person Detection, Re-identification, Person Retrieval, Pedestrian Dataset 1. [1] [5] Shinpuhkan2014 1

2 2. 1 [6] 2 1 n (Cumulative Matching Characteristic : CMC) n Multiple shots Single shot Multiple shots [7] 1 [4] [8] Single shot [7] [9] VIPeR [1] ETHZ [2] i-lids [3] i-lids-ma/aa [4] CAVIAR4REID [5] Multiple shots Regularized Nearest Points(RNP) [10] Regularized Affine Hull( (1)) RAH = {x = Xα α k = 1, α 2 < = σ} (1) k X 2 Collaboratively Regulaized Nearest Points(CRNP) [8] RNP 1 RNP RNP Single shot 1 Coupled Metric Learning (CML) [9] Metric Learning 2

X1 X1 Xi Xi 図 3 人物検出と領域抽出の統合 Xn Xn (a) Set-to-set distances (b) Set-to-sets distance 図 1 集合と集合の比較と提案手法である集合と全体との比較 3.

防犯カメラ映像ためには人物領域のみを抜き出せればよい人物検出人物領域抽出に関する研究は多数行われているが我々は人物検出と人物領域抽出を同時に行なうことで双方の検索クエリ特徴量集合抽出前横精度を高める手法を提案している [15]

投票で有効と判断されたパッチに対応する人物領域マスクを画像へ逆投影することにより人物領域を得る得られた人物領域に対し人間らしさのスコアを求撮影条件ごとに分類め人間らしさが高ければ検出の成功とする図 3 これによフィードバック検索結果

データセット to Rank (MLR) [11] を適用する前に Maximally Collapsing Metric Learning (MCML) [12] を適用する人物照合手法の評価はしばしば公開データセットを用いて行われる

トから構成されるデータセットがあると良いそこで我々は新により MCML によってクラス識別に適した距離尺度が定義たに公開データセットを作成したこの公開データセットの特された空間において MLR によるランキング学習ができるよう色は

2 人とのインタラクションによる精度向上トラックレットを収録している点である以下ではその公開 3.

1 カメラの設定高い精度でできるしかしクエリの人物のすべてのトラックデータセット内の映像の収録は京都市内の商業施設新風レットを探すにはクエリに対し類似度順にギャラリを並べ館で行ったこの施設は吹き抜けの中庭があり中庭に面

適合性フィードバックが用いられる [13] 適合 Communications 社製の防犯カメラを用いたこれまで 34 台性フィードバックとは人が既に確認したデータに対して適不のカメラを設置し毎日 10 時間のデータ収集を行っているが

3 X1 X1 Xi Xi 図 3 人物検出と領域抽出の統合 Xn Xn (a) Set-to-set distances (b) Set-to-sets distance 図 1 集合と集合の比較と提案手法である集合と全体との比較 3. 3 人物検出と人物領域抽出精度の向上観測シーンによって背景は変化する人物照合において人物検出によって切り出した矩形の人物画像全体から特徴抽出をする場合背景の影響を受ける背景の影響を出来るだけなくす人物画像データベース作成防犯カメラ映像ためには人物領域のみを抜き出せればよい人物検出人物領域抽出に関する研究は多数行われているが我々は人物検出と人物領域抽出を同時に行なうことで双方の検索クエリ特徴量集合抽出前横精度を高める手法を提案している [15] 学習段階では人物画像の局所パッチそのパッチにおける人物領域マスクとその人物後の中心までの相対位置の関係を学習しておく検出段階では反映画像から得られた多数の局所パッチから人物中心位置を投票クエリ画像によって決定する同時に投票で有効と判断されたパッチに対応する人物領域マスクを画像へ逆投影することにより人物領域を得る得られた人物領域に対し人間らしさのスコアを求撮影条件ごとに分類め人間らしさが高ければ検出の成功とする図 3 これによフィードバック検索結果り人物検出によって人物領域抽出が同時にできかつ人物領域抽出の結果によって人物検出結果の検証が行える図2 条件分割型適合性フィードバック 4. データセット to Rank (MLR) [11] を適用する前に Maximally Collapsing Metric Learning (MCML) [12] を適用する人物照合手法の評価はしばしば公開データセットを用いて行われる人物検索や複数カメラ間の人物追跡大規模な人物照 MCML は同一クラス内の特徴量の相対的な順序関係を無視合を行う場合複数のカメラで撮影された多数のトラックレッしクラス間の距離を最大化する距離指標学習法であるこれトから構成されるデータセットがあると良いそこで我々は新により MCML によってクラス識別に適した距離尺度が定義たに公開データセットを作成したこの公開データセットの特された空間において MLR によるランキング学習ができるよう色は半屋外の様々な照明環境下に設置された 16 台の各カメになり人物照合精度を向上させることができるラについて 24 人の人物がそれぞれ様々な方向に歩いている 3. 2 人とのインタラクションによる精度向上トラックレットを収録している点である以下ではその公開 3. 1 節の手法によりギャラリ中からクエリの人物と同一人データセットについて紹介する物のトラックレットを少なくとも 1 つ見つけることは比較的 4. 1 カメラの設定高い精度でできるしかしクエリの人物のすべてのトラックデータセット内の映像の収録は京都市内の商業施設新風レットを探すにはクエリに対し類似度順にギャラリを並べ館で行ったこの施設は吹き抜けの中庭があり中庭に面類似度の上位から順に検索していくしかないためクエリの人した通路は半屋外となっているそのため場所によっては太物の全てのトラックレットを速く見つけることは難しいこう陽光が差し込んでいる撮影には一般的に使われている AXIS した検索には適合性フィードバックが用いられる [13] 適合 Communications 社製の防犯カメラを用いたこれまで 34 台性フィードバックとは人が既に確認したデータに対して適不のカメラを設置し毎日 10 時間のデータ収集を行っているが適をフィードバックしてもらい以降の検索順位を最適化する公開データセット向けに 16 台のカメラを用いた各カメラのことで検索精度を向上させる手法である我々は人物の様々位置と向きは図 4 内の赤い扇型で示した朝から夜まで撮影をな撮影条件下での特徴量を別々にフィードバックし同一撮影するためカメラのオートゲインオートホワイトバランスは条件下の画像同士を比較することで撮影条件の違いによる人物有効にしてあるまたフレームレートはおよそ 10fps でありの特徴量変化とそれによる別人との混同を回避して精度よく検解像度はピクセルのカメラとピクセル索ができる条件分割型適合性フィードバックを提案しているのカメラがある照明環境はカメラによって様々でありその (図 2) [14] ため画質もカメラによって異なっている全てのカメラ映像の 3

1F 2F 3F 4 1 1 cameraid Cam01 Cam02 Cam03 Cam04 #Tracklets/person 4 8 4 6 cameraid Cam05 Cam06 Cam07

Cam13 Cam14 Cam15 Cam16 #Tracklets/person 4

4 1F 2F 3F cameraid Cam01 Cam02 Cam03 Cam04 #Tracklets/person cameraid Cam05 Cam06 Cam07 Cam08 #Tracklets/person cameraid Cam09 Cam10 Cam11 Cam12 #Tracklets/person cameraid Cam13 Cam14 Cam15 Cam16 #Tracklets/person ID ( 7) JPEG 3 ID 2 ID 2 ID 3 ID ( jpg ID 003 ID 02 ID 03 ID 04 ) 4

5 start/goal 1 1F F F start goal Multiple shots 2 Minimum Point Distance (MPD) [7] Collaboratively Regularized Nearest Points (CRNP) [8] Wu [8] Denselysampled Color Histograms (DCHs) CRNP 1 λ 1 = 1, λ 2 = 45, γ 1 = 1, γ 2 = (CMC) CRFS MPD 16 MPD 4 4 Recognition percentage Recognition percentage CMC on the Shinpuhkan2014 dataset MPD CRNP Rank 8 Recognition rate on each camera MPD CRNP Camera ID

6 [1] D. Gray, S. Brennan and H. Tao: Evaluating Appearance Models for Recognition, Reacquisition, and Tracking, Proc. of PETS, Vol. 3, pp (2007). [2] W. Schwartz and L. Davis: Learning discriminative appearance-based models using partial least squares, Computer Graphics and Image Processing (SIBGRAPI), 2009 XXII Brazilian Symposium on, pp (2009). [3] W.-S. Zheng, S. Gong and T. Xiang: Associating groups of people, Proc. BMVC, pp (2009). doi: /c [4] S. Bak, E. Corvee, F. Bremond and M. Thonnat: Boosted human re-identification using Riemannian manifolds, Image and Vision Computing (2011). [5] D. S. Cheng, M. Cristani, M. Stoppa, L. Bazzani and V. Murino: Custom pictorial structures for re-identification, British Machine Vision Conference (BMVC), pp (2011). [6],,, (, ),. PRMU,, 111, 317, pp (2011). [7] M. Farenzena, L. Bazzani, A. Perina, V. Murino and M. Cristani: Person Re-Identification by Symmetry- Driven Accumulation of Local Features, Proc. of CVPR, pp (2010). [8] Y. Wu, M. Minoh and M. Mukunoki: Collaboratively regularized nearest points for set based recognition, In Proc. of The 24th British Machine Vision Conference (BMVC) (2013). [9] L. Wei, W. Yang, M. Mukunoki and M. Minoh: Coupled metric learning for single-shot versus single-shot person reidentification, Optical Engineering, 52, 2, pp (2013). [10] M. Yang, P. Zhu, L. V. Gool and L. Zhang: Face recognition based on regularized nearest points between image sets, th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), Vol. 0, Los Alamitos, CA, USA, IEEE Computer Society, pp. 1 7 (2013). [11] B. McFee and G. R. Lanckriet: Metric learning to rank, Proceedings of the 27th International Conference on Machine Learning (ICML-10), pp (2010). [12] A. Globerson and S. T. Roweis: Metric learning by collapsing classes, Advances in neural information processing systems, pp (2005). [13] M. J. Metternich and M. Worring: Track based relevance feedback for tracing persons in surveillance videos, Computer Vision and Image Understanding, 117, 3, pp (2013). [14],,,, (2013). [15] J. Vansteenberge, M. Mukunoki and M. Minoh: Combined object detection and segmentation, International Journal of Machine Learning and Computing, 3, 1, pp (2013). 6

3 2 2 (1) (2) (3) (4) 4 4 AdaBoost 2. [11] Onishi&Yoda [8] Iwashita&Stoica [5] 4 [3] 3. 3 (1) (2) (3)

(MIRU2012) 2012 8 820-8502 680-4 E-mail: {d kouno,shimada,endo}@pluto.ai.kyutech.ac.jp (1) (2) (3) (4) 4 AdaBoost 1. Kanade [6] CLAFIC [12] EigenFace [10] 1 1 2 1 [7] 3 2 2 (1) (2) (3) (4) 4 4 AdaBoost