(MIRU2011) GPU GPU ARToolKit 1. [1] [2] AR [3] QR (geometric calibration) (calibration) ARToolKit [3] AR- ToolKit ARTag [4] Q

Size: px

Start display at page:

Download "(MIRU2011) GPU GPU ARToolKit 1. [1] [2] AR [3] QR (geometric calibration) (calibration) ARToolKit [3] AR- ToolKit ARTag [4] Q"

しじんこびき
5 years ago
Views:

1 (MIRU2011) GPU GPU ARToolKit 1. [1] [2] AR [3] QR (geometric calibration) (calibration) ARToolKit [3] AR- ToolKit ARTag [4] QR random dot markers [5] nested marker [6] Bokode [7] Nested marker Bokode

は SIFT [8] や SURF [9] などの自然特徴点を用いた位置合わせも行われているが利用はあらかじめ自然特徴 1(d) に示す周波数スペクトルでは横軸方向に高周波な成分が失われていることがわかる点のパターンを登録しておくことができるものに限られるためマーカベースの位置合わせとは利用先が異なる一方 SIFT や SURF は特徴点の見えの大きさに不変な特徴量であり

(e) ARToolKit のマーカに対して時間方向の抽出結果の補間によってその推定精度を上げる研究 [10] や複数マーカで位置合わせを行うことで精度向上を図る研究 [11] も行われてきたこれらは少数のフレームや少数のマーカだけで正しい抽出結果が得られていないという仮定の下での解決方法であるので影響が全体に及ぶ動きぶれや焦点ぼけが生じる場合には問題の解決は難しい

我々が想定している移動するカメラが観測するような焦点ぼけや動きぶれに完全には対応できない一方で我々が提案する手法はこのような焦点ぼけや動きぶれの除去の利用を妨げるものではない逆に ARToolKit のマーカが検出できているという仮定の下で動きぶれや焦点ぼけの度合いを調べ仮想物体重畳の際に利用する研究も行われている [15] この研究では

動きぶれと焦点ぼけによる高周波成分抑制図 1 動きぶれや焦点ぼけによる周波数スペクトルの変化 Fig. 1 Change of frequency spectrum with Blurring and Defocusing.

2 は SIFT [8] や SURF [9] などの自然特徴点を用いた位置合わせも行われているが利用はあらかじめ自然特徴 1(d) に示す周波数スペクトルでは横軸方向に高周波な成分が失われていることがわかる点のパターンを登録しておくことができるものに限られるためマーカベースの位置合わせとは利用先が異なる一方 SIFT や SURF は特徴点の見えの大きさに不変な特徴量であり周波数変化の要因を一部考慮しているという点で本研究との類似点があるしかしながら焦点ぼけや動きぶれによって高周波成分が消失するような状況はやはり想定していない (a) Original image (b) Spectrum of (a) (c) Blurred image (d) Spectrum of (c) (e) Defocused image (f) Spectrum of (e) ARToolKit のマーカに対して時間方向の抽出結果の補間によってその推定精度を上げる研究 [10] や複数マーカで位置合わせを行うことで精度向上を図る研究 [11] も行われてきたこれらは少数のフレームや少数のマーカだけで正しい抽出結果が得られていないという仮定の下での解決方法であるので影響が全体に及ぶ動きぶれや焦点ぼけが生じる場合には問題の解決は難しい観測画像自体の動きぶれや焦点ぼけを除去する研究や画像の高解像度化を実現する研究も数多くなされている [12] [14] これらの研究では動きぶれや焦点ぼけがある画像を劣化画像と呼び PSF(Point Spread Func- tion) によってモデル化することで原画像を復元することを目指しているしかしながら PSF の推定によって除去できる焦点ぼけや動きぶれには限界がある我々が想定している移動するカメラが観測するような焦点ぼけや動きぶれに完全には対応できない一方で我々が提案する手法はこのような焦点ぼけや動きぶれの除去の利用を妨げるものではない逆に ARToolKit のマーカが検出できているという仮定の下で動きぶれや焦点ぼけの度合いを調べ仮想物体重畳の際に利用する研究も行われている [15] この研究では動きぶれや焦点ぼけを仮想物体の表示の際に利用することで現実物体と仮想物体の見えの整合性を取ることを目指した ARToolKit が検出できないような大きな動きぶれや焦点ぼけがある観測画像からでも検出できるようなマーカがあればこの研究結果を利用することで従来よりも広い範囲で現実物体と仮想物体の見えの整合性を取ることができるようになる 3. 動きぶれと焦点ぼけによる高周波成分抑制図 1 動きぶれや焦点ぼけによる周波数スペクトルの変化 Fig. 1 Change of frequency spectrum with Blurring and Defocusing. 一方で焦点ぼけはカメラの焦点位置とカメラから撮影対象物体までの距離が異なるときに起こる焦点ぼけの大きさは焦点距離から撮影対象物体が離れるほどに大きくなる図 1(a) に示した観測画像に対して焦点ぼけが起こると図 1(e) に示すような画像が得られる全方向のエッジで高周波成分が失われ図 1(f) に示す周波数スペクトルでは全方向に高周波な成分が失われていることがわかる動きぶれや焦点ぼけが生じると観測画像の高周波成分が抑制されることになる観測画像にこれらを生じさせないためにはカメラと対象物体を撮影中に移動させない露光時間を短くする焦点距離を適切に調整するなどして観測画像を得ることが重要となるがこれらが難しい状況があるたとえば拡張現実感実現のために動きぶれはカメラの露光中にカメラと撮影対象物体のは移動環境で撮影を行うことが多く動きぶれを生じ相対位置が変わることによって生じるカメラ自体が動させないことは難しいまた撮影対象が複数ありそく場合や撮影対象物体が動く場合がこれに当たる露れらとカメラまでの距離が異なる場合には両方の撮影光時間を短くすることでこの影響を抑えることができる対象物体に焦点を合わせることはできない従来の画像が十分に明るい環境でない場合には露光時間を短くマーカは高周波成分であるエッジでパターンを表現すすると全体に暗い画像が観測されるという別の問題が生るために動きぶれや焦点ぼけのある観測画像上でマーじるカの位置姿勢の推定をすることは難しいことがある図 1(a) に示す観測画像があるとき図 1(b) に示すような周波数スペクトルが得られるこれに対して横方向の動きぶれが起こると図 1(c) に示すような画像が得られる垂直方向のエッジで高周波成分が失われ図 4. モノスペクトルマーカの設計と抽出 4.1 でマーカの設計手法について述べ 4.2 でマーカの抽出手法について述べるマーカの抽出には画像上で

4. 1 2(a) (a) Mono-spectrum (b) Combined (c) (b) in

x (d) Selected colors (e) Color in HSV color space 2 Fig.

H H = 60n(n = 0, 2, 3, 5) 4 (2) S S (3) V V 2(e) V 4. 1.

3 4. 1 2(a) (a) Mono-spectrum (b) Combined (c) (b) in grayscale marker marker Color forcorners H x x V No usecolor x (d) Selected colors (e) Color in HSV color space 2 Fig. 2 Design of mono-spectrum marker HSV (1) H 2(d) H (H = 60) H V 4.2. H H = 60n(n = 0, 2, 3, 5) 4 (2) S S (3) V V 2(e) V ARToolKit ARToolKit 2(b) ARToolKit ARToolKit ARToolKit (1) (2) ARToolKit 2(b) 2(c) ARToolKit 2 ARToolKit ARToolKit H 2 H 3 S 4 V f(x o ) g(x o ) x o M N

Mono-spectrum marker and it spectrum Obtained image Non-DC signal Marker regions Marker regions Other regions Other regions Filtered regions with a band-pass filter

Detecting corners Divided segments in binary image Marker detection in divided segments Detect points with local maxima 4.

数スペクトルの変化と光源環境によって異なる信号の用したのには以下の 2 つの理由がある一つ目は有オフセットの付加およびレンジの変化が起こる式限サイズのウィンドウでフィルタを畳み込むことで観で書き表すと測画像上での各小領域での周波数フィルタリングを実現 M : af (xp ) + c (1) N :

ではオフセットである c を除去するために直流成分の除去を行う直流成分の除去は直流以外の周波数成分を通過させるハイパスフィルタ b0 (xp ) を画像に畳み込むことによって計算する M : (af (xp ) + c) b0 (xp ) = af (xp ) (3) N : (ag (xp ) + c) b0

フーリエ変換を用いた周波数領域でのフィルタ処理ではなく空間領域での畳み込みによるフィルタ処理を採しフィルタリングの精度を向上させるためである二つ目は GPU の実装によって各小領域ごとで並列計算が可能であり高速な処理が期待できるためである 2.

4 Mono-spectrum marker and it spectrum Obtained image Non-DC signal Marker regions Marker regions Other regions Other regions Filtered regions with a band-pass filter Band-pass filters with different bands 1. Remove direct current component Filtered images 2. Band-pass filtering Filtered with H and S color values 3. Detecting corners Divided segments in binary image Marker detection in divided segments Detect points with local maxima 4. Detecting and recognizing markers 図 3 観測画像からのモノスペクトルマーカの抽出 Fig. 3 Extraction of mono-spectrum marker from observed images. 数スペクトルの変化と光源環境によって異なる信号の用したのには以下の 2 つの理由がある一つ目は有オフセットの付加およびレンジの変化が起こる式限サイズのウィンドウでフィルタを畳み込むことで観で書き表すと測画像上での各小領域での周波数フィルタリングを実現 M : af (xp ) + c (1) N : ag (xp ) + c (2) となる f g は周波数スペクトルが射影によって変化したことを表し a はレンジの変化 c はオフセットを表す xp は画像に投影された後の座標系であることを表す手順 1. ではオフセットである c を除去するために直流成分の除去を行う直流成分の除去は直流以外の周波数成分を通過させるハイパスフィルタ b0 (xp ) を画像に畳み込むことによって計算する M : (af (xp ) + c) b0 (xp ) = af (xp ) (3) N : (ag (xp ) + c) b0 (xp ) (4) f (xo ) に直流成分は含まれず周波数スペクトルが多少変化した f (xp ) にも直流成分が含まれないことを期待することができるよって b0 (xp ) を畳み込むことで M では af (xp ) が通過することになる g(xo ) に直流成分は含まれることがあるので同様の結果は得られないフーリエ変換を用いた周波数領域でのフィルタ処理ではなく空間領域での畳み込みによるフィルタ処理を採しフィルタリングの精度を向上させるためである二つ目は GPU の実装によって各小領域ごとで並列計算が可能であり高速な処理が期待できるためである 2. バンドパスフィルタの適用次に観測画像上の各領域に対してバンドパスフィルタを適用するモノスペクトルマーカの信号 f (xo ) を構成する周波数成分は既知であるが射影による影響を受けた f (xp ) の周波数成分は未知であるそこで通過範囲の異なる複数のバンドパスフィルタ bi (i = 1,, n) を適用させる信号がある周波数に近い成分しか含まないのであればいずれかのバンドパスフィルタでは損失なく信号が通過することが期待できる観測画像を s(xp ) で表記すると以下の式で求められる領域をモノスペクトルマーカの領域の候補として検出することができる {xp i, (s b0 bi )(xp ) (s b0 )(xp ) < th} ただし th は信号の損失を許容する閾値である (5)

5 N 1 1/N 1 GPU CUDA 4 Fig. 4 Apply b 0 : xp = threadid.x; yp = threadid.y; sum0 = 0.0; for xw,yw in filterwindow sum0 = sum0 + s[xp+xw, yp+yw] * b[0][xw, yw]; end s0[xp,yp] = sum0; Detect marker candidate region: xp = threadid.x; yp = threadid.y; markerregion is null for i in 1 to n sum = 0.0; for xw,yw in filterwindow sum = sum + s0[xp+xw, yp+yw] * b[i][xw, yw]; end if abs(sum s[xp,yp]) < th markerregion = markerregion + (xp,yp) end end 4 Pseudo-code for detectiong marker candidate regions. 3. H S H S 2. {x p x q window(x p ), s(x p ) > s(x q )} (6) GPU 4. ARToolKit H 5. 2(b) ARToolKit Logicool Qcam S fps CPU Intel Core 2 Duo 2.66GHz GPU NVidia GeForce GTX MB s(t)(t = 0,, N) s B (x p, t) s(x p, t) s B (x p, t) = s(x p, u)exp( d t (t, u) 2 /σt 2 ) u N(t) u N(t) (7) exp( d t (t, u) 2 /σt 2 ) d t (, ) N (t) d t (t, u) = t u, N(t) = {t, t 1,, t 30} σ t = 1.0 s D (x p, t) s(x p, t)

6 s D (x p, t) = s(x q, t)exp( d x (x p, x q ) 2 /σx) 2 x q N(x p ) x q N(x p ) exp( d x (x p, x q ) 2 /σ 2 x) (8) d x (, ) N (x p ) d x (x p, x q ) = x p x q, N(x p ) = {x q d x (x p, x q ) < = 20} σ x = (a) 6(a) ARToolKit 5(b) ARToolKit 1 5(c) ARToolKit ARToolKit ARToolKit 4.2 ARToolKit 5(d) (e) ARToolKit 5(f) ARToolKit ARToolKit 1 (ms/frame) (*: ) Table 1 Errors and processing time (ms/frame) of marker detection. (*: Not included frames in that markers could not detected.) Resolution of images Ave. Var. Time Ave. Var. Time ARToolKit marker (Blur) * ARToolKit marker (Defocus) Mono-spectrum marker (Blur) Mono-spectrum marker (Defocus) ARToolKit 6(b) ARToolKit 6(c) ARToolKit ARToolKit ARToolKit 6(d) (e) ARToolKit 6(f) ARToolKit ARToolKit

(a) An example of blurred image (b) Error in frames by ARToolKit (c) Error in frames by monomarker spectrum marker (d) A virtual object at the (e) Error in frames by ARToolKit position estimated with

7 (a) An example of blurred image (b) Error in frames by ARToolKit (c) Error in frames by monomarker spectrum marker (d) A virtual object at the (e) Error in frames by ARToolKit position estimated with marker (Low resolutional mono-spectrum marker images) (f) Error in frames by monospectrum marker (Low resolutional images) 図 5 動きぶれを含む画像列に対するマーカ位置推定結果 Fig. 5 Experimental results of marker detection for blurred images. (a) An example of defocused (b) Error in frames by ARToolKit (c) Error in frames by monoimage marker spectrum marker (d) A virtual object at the position estimated with mono-spectrum marker (e) Error in frames by ARToolKit marker (Low resolutional images) (f) Error in frames by monospectrum marker (Low resolutional images) 図 6 焦点ぼけを含む画像列に対するマーカ位置推定結果 Fig. 6 Experimental results of marker detection for defocused images. ノスペクトルマーカとして検出した位置の方が精度が高理を行うことが有効であるといえるかった動きぶれの場合と同様にモノスペクトルマー上述の実験ではモノスペクトルマーカ内の各色領域カとしての位置検出精度は高解像度の場合からあまりが 1 周期が 7 画素から 31 画素で投影される場合にマー変化が見られなかったカを検出することができるバンドパスフィルタの数を処理時間は表 1 に示す通りである観測画像を増やすとより広範な奥行きのマーカを検出することがにした場合には毎秒 11 フレーム以上で処理が実現し実時間処理の可能性を示すことができたこの処理速度は GPU の性能向上や専用チップを利用することによってさらに向上する可能性があるまた解像度をにした場合には毎秒 42 フレームの処理が可能であり位置検出精度がそれほど落ちていないことから処理速度向上のために適切な解像度での処できるようになるがそれだけ処理時間は増加するそこでバンドパスフィルタの数を変えたときにどれだけ処理時間が増加するかについても調べた図 7 にバンドパスフィルタの数と処理時間の関係を示す解像度がの場合にはフィルタが 1 枚増えるごとに 1 フレームごとにおよそ 20ms 増加し解像度がの場合にはフィルタが 1 枚増えるごとに 1 フレームごと

8 6ms GPU GPU GPU GPU 7 Fig. 7 Number of band-pass filters and processing time ARToolKit ARToolKit ARToolKit Okumura [15] GPU GPU ARToolKit GPU DSP( ) DSP [1] G. Klein, and D. Murray, Parallel tracking and mapping for small ar workspaces, International Symposium on Mixed and Augmented Reality (ISMAR), [2] AR, vol.14 no.4 pp [3] H. Kato, and M. Billinghurst, Marker tracking and hmd calibration for a video-based augmented reality conferencing system, International Workshop on Augmented Reality, pp.85 94, [4] M. Fiala, Artag, a fiducial marker system using digital techniques, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp , [5] H. Uchiyama, and H. Saito, Random dot markers, IEEE Virtual Reality (IEEE VR), [6] K. Tateno, I. Kitahara, and Y. Ohta, A nested marker for augmented reality, IEEE Virtual Reality, pp , [7] A. Mohan, G. Woo, S. Hiura, Q. Smithwick, and R. Raskar, Bokode: Imperceptible visual tags for camera based interaction from a distance, ACM Transactions on Graphics, vol.28, no.3, 2009, Article 98. [8] D.G. Lowe, Distinctive image features from scaleinvariant keypoints, International Journal of Computer Vision, vol.60, no.2, pp , [9] H. Bay, A. Ess, T. Tuytelaars, and L.V. Gool, Surf: Speeded up robust features, Computer Vision and Image Understanding, vol.110, no.3, pp , [10] Y. Uematsu, and H. Saito, Improvement of accuracy for 2d marker-based tracking using particle filter, International Conference on Artificial Reality and Telexistence (ICAT), pp , [11] Y. Uematsu, T. Teshima, H. Saito, and C. Honghua, D-calib: Calibration software for multiple cameras system, International Conference on Image Analysis and Processing (ICIAP), pp , [12] Q. Shan, J. Jia, and A. Agarwala, High-quality motion deblurring from a single image, ACM Transactions on Graphics, vol.27, no.3, [13] H. Asai, Y. Oyamada, J. Pilet, and H. Saito, Cepstral analysis based blind deconvolution for motion blur, IEEE International Conference on Image Processing (ICIP), [14] D vol.j92- D no.8 pp [15] B. Okumura, M. Kanbara, and N. Yokoya, Augmented reality based on estimation of defocusing and motion blurring from captured images, International Symposium on Mixed and Augmented Reality (IS- MAR), pp , 2006.

& Vol.5 No (Oct. 2015) TV 1,2,a) , Augmented TV TV AR Augmented Reality 3DCG TV Estimation of TV Screen Position and Ro

& Vol.5 No (Oct. 2015) TV 1,2,a) , Augmented TV TV AR Augmented Reality 3DCG TV Estimation of TV Screen Position and Ro TV 1,2,a) 1 2 2015 1 26, 2015 5 21 Augmented TV TV AR Augmented Reality 3DCG TV Estimation of TV Screen Position and Rotation Using Mobile Device Hiroyuki Kawakita 1,2,a) Toshio Nakagawa 1 Makoto Sato