1. 概要この文書は Raposo, C., Barreto, J. P., & Nunes, U. (2013). Fast and Accurate Calibration of a Kinect Sensor. International Conference on 3D Vision. につ

Size: px

Start display at page:

Download "1. 概要この文書は Raposo, C., Barreto, J. P., & Nunes, U. (2013). Fast and Accurate Calibration of a Kinect Sensor. International Conference on 3D Vision. につ"

みひなふじた
5 years ago
Views:

1 Fast and Accurate Calibration of a Kinect Sensor 日本語解説 2016 年 04 月 29 日ビジョン &IT ラボ皆川卓也

2 1. 概要この文書は Raposo, C., Barreto, J. P., & Nunes, U. (2013). Fast and Accurate Calibration of a Kinect Sensor. International Conference on 3D Vision. についての日本語解説です主にアルゴリズムの理解のための文書で実験結果については載せていません興味のある方は元論文にあたって下さいこの論文は三次元点群を取得するデプスカメラと二次元画像を取得するカラーカメラ間の相対位置および各カメラの内部パラメータをキャリブレーションする方法について提案していますこの手法は Herrera らによって提案されたキャリブレーション手法 (Herrera, Kannala, & Heikkila, 2012) をより早く少ない手間でできるように拡張したものですこの手法には以下のような特徴があります手順が比較的簡単ここでは Kinect v1 を例に用いているが他のデバイスへも拡張可各カメラの歪みパラメータも同時に算出 Matlab のコードが提供されている - この手法では図 1 で示すようなチェッカーパターンを張り付けた長方形のボード ( 以下キャリブレーションボード ) を用意しそれをデプスカメラ ( 下 ) とカラーカメラ ( 上 ) それぞれで同じものを撮影することでキャリブレーションを行います図 1 の下の画像は距離を測ったものではなく視差を測ったものです図 1 キャリブレーション画像例 (Herrera, Kannala, & Heikkila, 2012) 1

x n = [x n, y n ] T = [x c /z c, y c /z c ] T となります図 2 三次元点の画像平面への投影ただしこれはレンズ歪がない場合のケースであり実際はレンズ歪の分を補正する必要がありますレンズ歪は radial distortion と tangential distortion に分けることができます radial distortion

3 2. 内部パラメータここではデプスカメラおよびカラーカメラについてその内部パラメータを定式化します 2.1. カラーカメラカラーカメラのパラメータは大きく三次元上の点を画像平面へ投影するためのパラメータとレンズ歪のパラメータに分けることができますカメラの焦点を原点としカメラの視線方向を Z 軸上向きを Y 軸としたカメラ座標系上の点を x c = [x c, y c, z c ] T とするとこの点を図 2 のように画像平面へ投影した座標 x n は焦点から画像平面までの距離を 1 とすると x n = [x n, y n ] T = [x c /z c, y c /z c ] T となります図 2 三次元点の画像平面への投影ただしこれはレンズ歪がない場合のケースであり実際はレンズ歪の分を補正する必要がありますレンズ歪は radial distortion と tangential distortion に分けることができます radial distortion はレンズの中心から外側に行くほど発生する歪みで魚眼レンズのような広角なものほど発生しますまた tangential distortion はレンズが受光素子平面と平行よりもずれてつけられた場合に生じる歪みです図 3 radial distortion radial distortion は eq.(1) で tangential distortion は eq.(2) で補正され, 最終的に補正された座標 x k = [x k, y k ] T は eq.(3) で表されます x r = (1 + k 1 r 2 + k 2 r 4 + k 5 r 6 )x n x g = [ 2k 3x n y n + k 4 (r 2 + 2x 2 n ) k 3 (r 2 + 2y 2 ] n ) + 2k 4 x n y n eq.(1) eq.(2) 2

4 x k = x r + x g eq.(3) ここで r 2 = x n 2 + y n 2 で k c = [k 1, k 2, k 3, k 4, k 5 ] をカメラの歪係数とします補正された座標 x k はカメラ座標系上の座標でありこれをカラー画像上の画素の座標へ変換する必要がありますこの変換は eq.(4) で表せます [ u c v ] = [ f cx 0 ] [ x k c 0 f cy y ] + [ u 0c k v ] eq.(4) 0c f c = [f cx, f cy ] p 0c = [u 0c, v 0c ] とするとカラーカメラの内部パラメータはL c = {f c, p 0c, k c } となります 2.2. デプスカメラデプスカメラで取得する情報はカラーカメラと同じように画素にあたる二次元の配列を持ちそのそれぞれの画素に距離が記録されますカメラ座標系上の点がデプスカメラのピクセルへ投影される際の X 軸 Y 軸方向の変換はカラーカメラと同じ流れ行われますすなわちレンズ歪の補正は eq.(1)-eq.(3) で表され補正された座標のデプスの画素座標への投影は以下の式で表すことができます [ u d v d ] = [ f dx 0 0 f dy ] [ x k y k ] + [ u 0d v 0d ] eq.(5) 歪みパラメータを k d 投影のパラメータを f d = [f dx, f dy ] p dc = [u dc, v dc ] とします歪みパラメータは Kinect においては 0 としてもほとんど問題ありませんデプスカメラはここでは Kinect v1 を想定しています以下のモデルは使用するデプスカメラに合わせて変更する必要があります Kinect はプロジェクターから照射した既知の赤外パターンを IR カメラで撮影しその時のズレ ( 視差 ) を基に距離を計算します視差の情報は KinectSDK では隠蔽されていますが OpenKinect などで取得可能です各画素が持つ視差 d u から距離 z d への変換は以下の式で表されます 1 z d = eq.(6) c 1 d u + c 0 ただし視差も各画素で歪みを持ち eq.(6) の視差 d u はその歪みを補正したものです視差の歪みは (Herrera, Kannala, & Heikkila, 2012) において eq.(7) でモデル化されています d u = d + D δ (u d, v d ) exp(α 0 α 1 d) eq.(7) ここで d は画素 (u d, v d ) が持つ補正前の視差 α = [α 0, α 1 ] は距離によって歪みが減衰する係数です D δ は各画素が持つ歪み定数です以上からデプスカメラの持つ内部パラメータは L d = {f d, p 0d, k d, c 0, c 1, D δ, α} です Kinect の歪みモデルこの eq.(7) による補正を行わなかった場合の Kinect の誤差を図 4 に示します左の図は平面がカメラから 0.56m 離れていたとき右の図は 1.24m 離れていたときのものです Kinect の仕組みは非公開のため Herrera らは実験によって視差と誤差の関係を図 5 のように求めました 3

5 これらのことから Kinect の誤差は eq.(7) のように視差が大きくなるほど指数的に減衰する成分と画素ごとの歪み成分で表されることがわかります図 4 歪み補正をしなかった場合の残差 (Herrera, Kannala, & Heikkila, 2012) 図 5 視差と歪みの関係 (Herrera, Kannala, & Heikkila, 2012) この歪みモデルは Kinect を想定していますが Herrera らは (Herrera, Kannala, & Heikkila, 2012) の中で Time-of-Flight(ToF) 形式のデプスカメラにも耐えられるだろうと述べています例えば Kim らは ToF Camera によって図 5 と似た結果を提示しています (Kim, Chan, Theobalt, & Thrun, 2008) 更に Herrera らは ToF では画素ごとの係数を使わないためキャリブレーションがよりシンプルになるだろうと述べています 4

3. 外部パラメータ図 6 フレーム i における座標系変換カラーカメラデプスカメラおよびキャリブレーションボード間の座標系の関係を図 6 に示しましたデプスカメラ座標系 {D} カラーカメラ座標系 {C} とし i 番目に撮影されたキャリブレーションボードについてチェッカーパターンの座標系 {W i } 板の座標系 {V i }( 原点は 4 角のうちの 1 つ ) としますまた

6 3. 外部パラメータ図 6 フレーム i における座標系変換カラーカメラデプスカメラおよびキャリブレーションボード間の座標系の関係を図 6 に示しましたデプスカメラ座標系 {D} カラーカメラ座標系 {C} とし i 番目に撮影されたキャリブレーションボードについてチェッカーパターンの座標系 {W i } 板の座標系 {V i }( 原点は 4 角のうちの 1 つ ) としますまたカラーカメラ座標系 {C} 上の点をデプスカメラ座標系 {D} 上の点へ変換する行列を Τ D C チェッカーパターンの座標系 {W i } からカラーカメラ座標系 {C} への変換行列を Τ C (i) 板の座標系 {V i } からデプスカメラ座標系 {D} への変換行列をΤ (i) D とします変換行列 Τは斉次座標系における三次元点 x = [x, y, z, 1] T を回転並進移動する行列で以下のように表されます Τ = [ R t 0 1 ] eq.(8) ここでRは 3x3 の回転行列 tは 3x1 の並進行列ですこれら座標系の変換行列を外部パラメータと呼びキャリブレーションによってそれぞれ算出します 5

7 4. 処理の流れ 4.1. 概要カラー画像視差画像プリセット L d カラーカメラのパラメータ算出視差画像からの平面算出 L c, Τ C (i) L d, Τ D (i) カラー / デプス間相対位置算出 L c, L d, Τ D C, Τ C (i) バンドル調整デプス歪み補正 L c, L d, Τ D C, Τ C (i) 図 7 キャリブレーションの流れ図 7 にキャリブレーションの流れを図示しましたカラー画像および視差画像は図 1 で例示したキャリブレーション用に撮影した画像群ですカラーカメラの内部パラメータ算出についてはここでは Zhang の手法 (Zhang, 1999) を用いますこの手法では画像からチェッカーパターンの格子点を検出しそれと事前に実測したチェッカーパターンの情報とをマッチングすることで歪みも含めたカメラパラメータ L c を求めますまたカメラ座標と各画像におけるチェッカーパターン座標の変換行列 Τ C (i) も同時に算出します Zhang の手法は OpenCV を始め様々なライブラリに実装されています一方デプスカメラの内部パラメータ算出についてはまず Kinect にあらかじめ用意されているパラメータ L d を用いて外部パラメータの算出を行いますこの時 L d には画素の歪み D δ は含まれませんデプスカメラの外部パラメータは板の四隅の座標を取得することで板の座標系 {V i } 上の点からデプスカメラ座標系 {D} 上の点への変換行列 Τ D (i) を求めます次にカラー画像から求めた外部パラメータとデプス画像から求めた外部パラメータを用いてカラーカメラとデプスカメラの間の相対位置 Τ D C を求めますこれはカラーもデプスもともに同じ平面を撮影しているという拘束条件を用いて解きますここまでで求まった内部パラメータおよび外部パラメータを用いてバンドル調整によりすべてのパラメータを再投影誤差が小さくなるようにチューニングします最後にデプスカメラの各画素に固有な視差の歪みを除去します 6

8 4.2. 視差画像からの平面算出視差画像から板平面は以下の流れで算出します 1. 板の四隅のコーナーを検出する 2. コーナーで囲まれた領域中の各画素について eq.(6) から距離 z d を算出する - この時視差の歪み補正は行わず d u = d とする 3. 各画素 (u d, v d ) と距離 z d から eq.(5) を用いて対応する三次元点の座標 (x d, y d, z d ) を計算する 4. 点群から最小二乗法による平面当てはめを行うこれにより板平面からデプスカメラへの変換行列 Τ D (i) が求まります 4.3. 外部パラメータの算出ここでは主にカラーカメラ座標系 {C} からデプスカメラ座標系 {D} への変換行列 Τ D C を求めますそのためにチェッカーパターンの座標系 {W i } からカラーカメラ座標系 {C} への変換行列 Τ C (i) と板の座標系 {V i } からデプスカメラ座標系 {D} への変換行列 Τ D (i) を用います図 6 に示したように {W i } と {V i } は異なる座標系のため Τ C (i) と ΤD (i) の間には直接の関係性はありませんそこでチェッカーパターンと板の法線が同じであるという制約を利用することで Τ C (i) と Τ D (i) から ΤD C を算出しますカラーカメラとチェッカーパターン座標系の変換行列 Τ C (i) はすでに Zhang の方法で求まっておりまたデプスカメラと板の間の変換行列 Τ D (i) も前節ですでに求まっているものとしますある座標系における平面を以下のパラメータで定義します Π = [ n δ ] eq.(9) ここでnは平面の法線ベクトル δは座標系の原点から平面までの距離です ( ただし法線ベクトルと同じ向きに原点がある時は負 ) 例えば平面方程式はnとδを用いて以下のように表せます x n T [ y] + δ = 0 eq.(10) z さてここでカラーカメラの座標系 {C} 上のチェッカーボード平面 Π (i) c とデプスカメラ座標系 {D} 上の板平面 Π (i) d は等しいはずなので座標系 {C} から座標系 {D} への変換行列 Τ C D が eq.(8) のように回転行列 R と並進行列 t で表されるとき以下の式が成り立ちます Π (i) R 0 d ~ [ t T R 1 ] Π (i) c eq.(11) R この平面の変換行列 [ t T R 0 1 ] はΤ D C C の逆行列の転置 Τ T D と等しくなります (i) 今カラーカメラ座標上の平面をΠ c ~[nci, 1] T (i) デプスカメラ座標上の平面 Π d ~[ndi, 1] T とします eq.(11) では法線ベクトルは単位ベクトルを仮定していましたがここではδ = 1としたため法線ベクトルの長さは 1 ではない可能性がありますこの時 eq.(11) は Τ D C を回転成分と並進成分に分けることで以下の式で表されます λ i Π (i) d ~ [ I t T ] [R ] Π (i) c eq.(12) 7

9 ここで I 3 は 3x3 の単位行列 λ i はスケールを表しますこの回転成分を求めるには最低 2 つの並進移動成分を求めるには最低 3 つの画像およびデプスのペアが必要ですそこでまず2つのペアを使って回転成分を求め次に 3つのペアを使って並進成分を求めます (1) 画像から求めた平面の法線ベクトルn c1 とn c2 デプスから求めた平面の法線ベクトルn d1 n d2 の長さを 1 に正規化しそれを用いて (Horn, 1987) のアルゴリズムにより回転行列 Rが求まります (2) eq.(12) を展開し λ i を消去すると以下の式が求まります n T di n di n T ci R T t n T di n di + n T di Rn ci = 0 eq.(13) 画像 / デプスそれぞれから取得した 3 つの平面の法線ベクトルn c1 n c2 n c3 n d1 n d2 n d3 を基に eq.(13) を以下の形に変形します t = A 1 b eq.(14) ただし n T T d1 n d1 n c1 n T d1 n d1 n T d1 Rn c1 A = [ n T T d2 n d2 n c2 ] R T, b = [ n T d2 n d2 n T d2 Rn c1 ] n T T d3 n d3 n c3 n T d3 n d3 n T d3 Rn c3 ですこれにより並進移動成分が求まります eq.(15) このように 3 枚の画像 / デプスペアから検出した平面からデプスカメラ座標系からカラーカメラ座標系への変換行列 Τ D C を一意に求めることができましたこれを RANSAC のように仮説 / 検証を繰り返し最も良い推定を与える Τ D C を採用しますすなわち (1) カラー / デプス画像の中から 3 つのペアを選択し変換行列 Τ D C を算出します (2) カラーカメラ座標系上の平面 Π c (i) に対し変換行列 Τ D C を用いてデプスカメラ座標系上の平面 Π dj を全ての i に対して算出します (eq.(11)) 次に Π dj と Π d (i) の間のユークリッド距離 l j を算出します閾値 t 以下の誤差 l j の和 rank(τ C D ) = max(t, l j ) j が最も小さい変換行列 Τ C D を採用します 4.4. 非線形最小化ここではバンドル調整のテクニックを用いて各画素の視差の歪み D δ ( および α) を除くデプスカメラの内部パラメータ L d カメラの内部パラメータ L c デプス座標系からカラー座標系への変換 Τ D C および各画像内のチェッカーパターン座標系からカメラ座標系への変換 Τ C (i) を最適化しますまずこれらのパラメータを用いてチェッカーパターンの各格子点の三次元座標および板上の各地点までの距離をそれぞれ算出します次にそこで求めた三次元座標を再度画像上へ投影し実際に検出した画像上の格子点の座標および視差情報との誤差 ( 再投影誤差 ) を求めそれが最小となるようにパラメータを最適化していきます再投影誤差の最小化を以下の式で与えます 8

10 x c x c 2 min L c,l d,τc D (i),τc σ 2 c + (d 2 d) + β λ λ 2 eq.(16) σ 2 d ここで x c は実際に測定された格子点の画像上の座標 x c は再投影された点の座標 d は実際に観測された視差 d は再投影された視差ですまた σ c 2 および σ d 2 は測定結果の分散です λ および λ は奥行方向のズレ (drift) を抑えるためのパラメータでオブジェクト上の点同士のユークリッド距離 ( 実測及び再投影 ) を表しますこのとき β は十分に大きい重み係数です eq.(16) を Levenberg-Marquardt 法を用いて繰り返し最小化をしていきます 4.5. デプスカメラの歪み推定前節までで求めたパラメータを用いてデプスカメラの各画素における視差の歪みを算出しますまず eq.(7) は eq.(17) のように変形できます d u = d + W(u d, v d ) exp( α 1 d) eq.(17) この時 W(u d, v d ) = D δ (u d, v d ) exp(α 0 ) ですここである画素 (u d, v d ) が2 枚の画像において板上の点を指していたとするこの時それぞれの画像における計測視差および予測視差 ( 既知の平面の方程式から算出 ) をそれぞれd 1 d 1 d 2 d 2 とすると eq.(18) が得られます { d 1 d 1 = W(u d, v d ) exp( α 1 d 1 ) eq.(18) d 2 d 2 = W(u d, v d ) exp( α 1 d 2 ) したがって α 1 はとなります α 1 = ln d 1 d 1 d 2 d 2 d 2 d 1 eq.(19) この α 1 を可能なペアすべてについて求めた平均を最終的なパラメータとします次に算出した α 1 を用い各画素の計測視差へ予測視差をできるだけ近づけるように W を直接計算していきますある画素において複数の画像にわたって視差が求まる ( つまり画素の先が板の ) 場合それらの平均を用います 9

11 5. 参考文献 Herrera, D. C., Kannala, J., & Heikkila, J. (2012). Joint depth and color camera calibration with distortion correction. IEEE Transaction on Pattern Analysis and Machine Intelligence. Horn, K. B. (1987). Closed-form solution of absolute orientation using unit quartenions. Journal of the Optical Society of America A: Optics, Image Science, and Vision, Kim, Y., Chan, D., Theobalt, C., & Thrun, S. (2008). Design and calibration of a multi-view ToF sensor fusion system. IEEE CVPR Workshop on Time-of-flight camera, (pp ). Raposo, C., Barreto, J. P., & Nunes, U. (2013). Fast and Accurate Calibration of a Kinect Sensor. International Conference on 3D Vision. Zhang, Z. (1999). Flexible camera calibration by viewing a plane from unknown orientations. International Conference on Computer Vision, (pp ). 10

Microsoft PowerPoint - CV10.ppt [互換モード]

Microsoft PowerPoint - CV10.ppt [互換モード] カメラキャリブレーション呉海元 @ 和歌山大学 2010 年 6 月 21 日カメラキャリブレーション ( 校正 ) 実世界のカメラとカメラモデルとの対応付け 2 カメラキャリブレーション項目幾何学的キャリブレーション - 外部パラメータ : 6 世界座標系におけるレンズの中心座標 (t) レンズ光軸の方向 (R) - 内部パラメータ : 5 焦点距離画像中心画像像 ( 画素 ) サイズ