[12] [7] [2], [6], [8], [10]. [12] [7] 2.2 Itti [5] Itti optical flow [1], [4] [18] 2.3 [11], [16]

Size: px

Start display at page:

Download "[12] [7] [2], [6], [8], [10]. [12] [7] 2.2 Itti [5] Itti optical flow [1], [4] [18] 2.3 [11], [16]"

1 1 1,2 1,2 1,2 1. [3] [13] [19]

2 [12] [7] [2], [6], [8], [10]. [12] [7] 2.2 Itti [5] Itti optical flow [1], [4] [18] 2.3 [11], [16]

3 情報処理学会研究報告 3.1 住谷らのアイカメラ全方位カメラ Hyper Omni Vision 住谷らの提案したアイカメラ [12] は基本的な発想を全 Sideview Inner focal point 方位カメラ Hyper Omni Vision[15] から得ている全方位カメラとは円錐や曲面双曲面のミラーを用いて 360 の Small camera Half-silvered Hyperbollic mirror 映像を 1 台のカメラで記録するシステムであり Hyper Omni Vision は双曲面ミラーを用いた全方位カメラであ Topview る Hyper Omni Vision は単一視点であり双曲面ミラー Inner focal point Outer focal point の反射により歪んだ画像を通常の透視投影画像に実時間で変換可能という特徴がある [14] 双曲面ミラーの内焦点は Om (0, 0, +c) 外焦点は Oc (0, 0, c) であるこの座標系ではミラーの形状は次式で表すことができる [15] 図 1 双曲面ハーフミラーを用いたアイカメラの基本構成 [12] Fig. 1 Basic component of eye mark recorder with hyperbolodial half mirror[12] X2 + Y 2 Z2 2 = 1(Z > 0) 2 a b c = a2 + b2 (1) (2) 式中の a, b, c はミラーのパラメタである双曲面ミラーでは内焦点 Om に向かう光はすべて外焦点 Oc へ反射されるためカメラを外焦点 Oc に設置すると内焦点 Om を視点とする光軸周り 360 の画像が取得できる本座標系に図 2 おける空間中の任意の三次元座標 P(X, Y, Z) に対応するカメラ座標系上の二次元座標 u(x, y) は次式で表すことができるただし f はカメラの焦点距離である入力画像の例 Fig. 2 Example of input image 視線推定が可能目の動きを記録できるので視線推定を行うことが b2 c2 x=x f (b2 + c2 )Z 2bc X 2 + Y 2 + Z 2 b2 c2 y =Y f (b2 + c2 )Z 2bc X 2 + Y 2 + Z 2 (3) 可能構造がシンプル (4) 1 台のカメラのみで利用者の視野と目の動きを記録できるため他のカメラや同期機構が不要広視野アイカメラの基本コンセプト住谷らの提案したアイカメラの基本的なアイディアは 3.2 森らの視線推定手法 Hyper Omni Vision の光学系に対しミラーをハーフミ森らは住谷らのアイカメラの利点を活用したアピアララーに変えることおよびミラーの内焦点に利用者の眼球をンスベースでの視線推定手法を提案した [7] アピアラン配置することである図 1 前述のように双曲面ハースベースの視線推定とは眼球画像の特徴量と視線方向の関フミラーの内焦点に向かうすべての光は外焦点に反射さ係を学習させ推定に用いる手法であるれるよって小型のカメラを外焦点に設置することで学習データの注視点とアイホール画像の特徴量の対応関内焦点を視点とした広視野な映像が取得可能となるこれ係を用いて視線方向の推定を行うアイホール画像とは入に加え利用者の目を内焦点におくことで彼らの視界と力画像カメラ画像中のアイホール周辺の矩形領域の画同一の映像をカメラで取得可能であるまた視線推定に像である入力画像の例を図 2 に示す入力画像は中央の用いる眼球画像を取得するためにハーフミラーに穴アイアイホール領域その周辺の利用者の視野領域一次反射ホールが設けられている住谷らの提案したアイカメラミラー領域などいくつかの領域があるアイホール画像のの主な利点を以下にまとめる例を図 4 に示す広視野住谷らのアイカメラではカメラのレンズと利用者視点の凸面ミラーを用いることで利用者自身の視角とほぼ同間に視差が存在しないため利用者の注視距離に関係なくじ広視野な映像を取得可能同じ視線ベクトル上にある点はカメラ画像上の同じ位置に無視差映るこれによりカメラと眼球注視対象の位置関係を考双曲面の特性により利用者とまったく同一の視点から慮する必要なく視線方向の推定を入力画像上の注視点推映像を取得可能定と等価にみなすことができる 2015 Information Processing Society of Japan 3

5 Binarized and denoised eye hole image 3 [7] Fig. 3 Flowchart of Estimation[7] 2

4 Learning Phase Estimation Phase Supervised Data Captured Image Binarization Noise Reduction Binarization Noise Reduction 4 Fig. 4 Eye hole image from camera Eigenvalue Decomposition Projection to Eigenspace Learning Partial Regression Coefficients Estimating Gaze Point 5 Fig. 5 Binarized and denoised eye hole image 3 [7] Fig. 3 Flowchart of Estimation[7] [9] 4, I i D D = [ T I 1 Ī I 2 Ī Ī] I N (5) Ī N I = DT D I λ 0,, λ N (λ 0 > λ 1 > > λ N ) v 1 v 2 v n n (N > n) s I n A s = A T (I Ī) (6) A = [v 1 v 2 v n ] (7) B [ ] u 01 u u 0n U = u 11 u u 1n [ ] b 01 b b 0n B = b 11 b b 1n [ ] S = s 1 s 2... s N (8) (9) (10) u = [u 0i, u 1i ] T U S B F. F = (U Û)2 = (U BS) 2 (11) 4

1 視線推定結果の有効な補正手法を得るための課題住谷らのアイカメラ [12] と森らの視線推定手法 [7] を組表 1 試作システムのハードウェア構成 Table 1 Hardware Components of prototyping system 双曲面ハーフミラーみ合わせた視線推定を行うと学習フェーズと推定フェーズにおける装着位置に変動があるとき推定誤差が大きくなる

5 情報処理学会研究報告ここで U は注視点の推定値である疑似逆行列を用いて B は以下のように表すことができる B = U S T [SS T ] 1 (12) 視線推定の際には注視点 u は入力画像 I を用いて次式で算出される. u = b0 + B 0 AT (I I) (13) ここで bi = [b0i b1i ]T, B 0 = [b1 bn ] である図 6 アイカメラ試作システム Fig. 6 Prototype system of eye camera 4. 顕著度マップを用いた視線推定結果の補正手法 4.1 視線推定結果の有効な補正手法を得るための課題住谷らのアイカメラ [12] と森らの視線推定手法 [7] を組表 1 試作システムのハードウェア構成 Table 1 Hardware Components of prototyping system 双曲面ハーフミラーみ合わせた視線推定を行うと学習フェーズと推定フェーズにおける装着位置に変動があるとき推定誤差が大きくなる誤差が大きくなる原因とアイカメラの要求仕様に計算機カメラ透明メタアクリル AL+SiO コーティング, 反射率 70% CPU Intel(R)Core(TM)i Memory 8.0GB シキノハイテック 52db @30fps ついて述べる装着位置の変動にともなうアイホール画像の変化眼球とカメラの位置関係が変動することによりアイホール画像が変化し視線推定精度が悪化することが森ら [7] により示されている視線推定方法における広視野性の維持森ら [7] によるアピアランスベースでの視線推定手法はしい注視点候補を取得することができるこれにより広視野性を保持しつつ推定結果の補正を行うことができるホモグラフィ変換による視線推定結果の補正視線推定結果と顕著性マップの組を複数取得することにより視線推定の結果から顕著性マップにて検出した視線位置へのホモグラフィを計算することができるこのホ視線方向に対してロバストであることが示されている広モグラフィ変換を視線推定結果に適用することで視線推視野アイカメラにおける視線推定ではアピアランスベー定結果の補正を行うことができるスでの視線推定における広視野性を保持している必要がある 4.3 試作システムの実装 4.2 アプローチベースとなった住谷ら森らのアイカメラおよび視線推定本研究の提案手法に沿って試作システムを実装した 4.1 節での課題と要求仕様を満たすためには眼球とアイカメラの位置関係の変動に影響しない手法により視線位手法から変更した部分を中心に実装の概要を説明するアイカメラとハードウェア構成置候補を取得しそれをアピアランスベースにおける視線試作したアイカメラは双曲面ハーフミラーヘルメッ推定結果と対応付けることで補正を行うアプローチを取ト小型カメラ計算機により成る図 6 また本稿でることができる本稿では眼球とアイカメラの位置関係の試作システムではアイカメラの出力を USB2.0 アイの変動に影響しない視線位置候補の取得に顕著性マップをソクロナス転送によりそのまま計算機への入力とした双用い得られた視線位置候補と視線推定結果の対応付けか曲面ハーフミラーカメラ計算機について表 1 に示しらホモグラフィ変換を用いることで補正を実現しているた機器を用いた顕著性マップを用いた視線位置候補の検出視線推定手法視界の画像から顕著性マップを計算することによりア森らの視線推定手法をベースとした提案手法による視線イホール画像とは独立に視線位置候補を得る顕著性マッ推定の工程を図 7 に示す学習および推定に用いる予定のプに用いる特徴量ならびに物体検出は利用するコンテ眼球画像を取得するたびその画像に対して大津の手法にキストに依存して変更するより二値化閾値を決定し得られた閾値に従って二値化を視線推定結果と顕著性マップの関連付け行い学習および推定に用いるこれにより常に最適な従来手法による視線推定結果のうち視点が停留しか二値化を行うことができ環境照度の影響を抑えることがつ顕著性の高い位置付近を示しているものを顕著性マッできる ([17]). 二値化以降のノイズ除去主成分分析重回プと関連付けることにより顕著性マップ上でもっともら帰分析については森の手法に準ずる 2015 Information Processing Society of Japan 5

6 Learning Phase Estimation Phase Correction 150cm Input: Supervised Data Input: Captured Image 50cm Threshold Determination Threshold Determination Binarization & Noise Reduction Binarization & Noise Reduction 8 Fig. 8 Gaze point for experiment Fig. 7 Eigenvalue Decomposition Learning Partial Regression Coefficients 7 Projection to Eigenspace Estimating Gaze Point Saliency Map Gaze Point Candidate Obtain Homography Transformation Apply Homography Transformation Corrected gaze point Eye gaze estimation and correction method Itti [5] p(x G, x p ) G(x) D x p G D N (x p, σ 2 ) cm 8 50 ( 100, 45 ) ɛ[degree] ɛ (x, y) (θ, φ) θ = arctan (y y c) (x x c ) (14) f β = arctan (x xc ) 2 + (y y c ) 2 (15) φ = arctan (b2 + c 2 ) sin (β) 2bc (b 2 c 2 ) cos (β) (16) f (x c, y c ) V cos θ cos φ V = sin θ cos φ (17) sin φ V ˆV ɛ V ˆV ˆV V ɛ = arccos ˆV V (18) 1 6

7 2 Table 2 3 Table 3 (deg) Estimation error when eye-hole image shifted vertically(deg) (deg) Estimation error when eye-hole image shifted vertically(deg) (deg) Table 4 Estimation error with reattached eye mark 9 Fig. 9 recorder(deg) ( ) Results of estimation and correction with reattached eye mark recorder(left eye) , ( ) Fig. 10 Results of estimation and correction with reattached eye mark recorder(right eye) %

8 Fig. 11 Fig ( ) Results of estimation and correction without shifting(left eye) ( ) Results of estimation and correction without shifting(right eye) 6. [1] Avraham, T. and Lindenbaum, M.: Esaliency (extended saliency): Meaningful attention using stochastic image modeling, Pattern Analysis and Machine Intelligence, IEEE Transactions on, Vol. 32, No. 4, pp (2010). [2] Baluja, S. and Pomerleau, D.: Non-intrusive gaze tracking using artificial neural networks, Technical report, DTIC Document (1994). [3] Duchowski, A.: Eye tracking methodology: Theory and practice, Vol. 373, Springer (2007). [4] Harel, J., Koch, C. and Perona, P.: Graph-based visual saliency, Advances in neural information processing systems, pp (2006). [5] Itti, L., Koch, C. and Niebur, E.: A model of saliencybased visual attention for rapid scene analysis, IEEE Transactions on pattern analysis and machine intelligence, Vol. 20, No. 11, pp (1998). [6] Morency, L.-P., Christoudias, C. M. and Darrell, T.: Recognizing gaze aversion gestures in embodied conversational discourse, Proceedings of the 8th international conference on Multimodal interfaces, ACM, pp (2006). [7] Mori, H., Sumiya, E., Mashita, T., Kiyokawa, K. and Takemura, H.: A Wide-View Parallax-Free Eye-Mark Recorder with a Hyperboloidal Half-Silvered Mirror and Appearance-Based Gaze Estimation, Visualization and Computer Graphics, IEEE Transactions on, Vol. 17, No. 7, pp (2011). [8] Ono, Y., Okabe, T. and Sato, Y.: Gaze estimation from low resolution images, Advances in Image and Video Technology, Springer, pp (2006). [9] Otsu, N.: A threshold selection method from gray-level histograms, Automatica, Vol. 11, No , pp (1975). [10] Schiele, B. and Waibel, A.: Gaze tracking based on facecolor, Proceedings of the International Workshop on Automatic Face-and Gesture-Recognition, Citeseer, pp (1995). [11] Sugano, Y., Matsushita, Y. and Sato, Y.: Calibrationfree gaze sensing using saliency maps, Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on, IEEE, pp (2010). [12] Sumiya, E., Mashita, T., Kiyokawa, K. and Takemura, H.: A wide-view parallax-free eye-mark recorder with a hyperboloidal half-silvered mirror, Proceedings of the 16th ACM Symposium on Virtual Reality Software and Technology, ACM, pp (2009). [13] (1992). [14] Yamazawa, K., Takemura, H. and Yokoya, N.: Telepresence system with an omnidirectional HD camera, Proc. 5th Asian Conf. on Computer Vision (ACCV2002), Vol. 2, pp (2002). [15] Yamazawa, K., Yagi, Y. and Yachida, M.: Omnidirectional imaging with hyperboloidal projection, Intelligent Robots and Systems 93, IROS 93. Proceedings of the 1993 IEEE/RSJ International Conference on, Vol. 2, IEEE, pp (1993). [16] MCMC-based particle filter (MIRU2009) (2009). [17] HDR (2013). [18] D Vol. 93, No. 8, pp (2010). [19] (2003). 8

IPSJ SIG Technical Report K 1 1, 2 1, 2 1, 2 Vol.2011-CVIM-176 No /3/18 Eye-mark recorders, devices that capture a user s gaze and view, have r

IPSJ SIG Technical Report K 1 1, 2 1, 2 1, 2 Vol.2011-CVIM-176 No /3/18 Eye-mark recorders, devices that capture a user s gaze and view, have r K 1 1, 2 1, 2 1, 2 Eye-mark recorders, devices that capture a user s gaze and view, have recently been improved substantially thanks to minimization of optical and electronic instruments. Our research