Microsoft PowerPoint - CV11.ppt [互換モード]

Transcription

1 視覚の幾何学 3 カメラキャリブレーション 和歌山大学 Rigid Bd Mti w views R t 行列 ベクトルの外積 ( 復習 ) Matri rm rss prdut a b a b a ; b a 3 b3 ab3 a3b a3 a ab a3b ab 3 a3 a b a b a b ab a a aとbは一つの平面をサポートしているので a (ab) b (ab) 幾何変換 Gemetri trasrmati p' Rp t 同次座標系で表現 : p Ep with E [I ] 変換なし p' E'p with E' [R t] 変換ありあるいは' R t 同次座標系で表現 : P with P [I ] 変換なし ' P' with P' [R t] 変換あり 基本行列 (Essetial matri) カメラ間の姿勢と位置 : R : 3*3 rtati matri t : 3* traslati vetr p と p が対応点同士なら : Frm gemetr t algebra( 証明 ) P 前提 : pとp は画像座標から計算さ れた物理 ( カメラ ) 座標である p (,,) ( カメラの内部パラメータ既知 ) p' [ t ( Rp)] with p' ( ', ',) 即ち : 同一平面内の三つのベクトルから二つのベクトルの外積と残るもう一つのベクトルの内積はとなる p' Rp p' Rp Nrmal t the plae Rp p' p' p' Rp Slide redit: Kriste Grauma

2 基本行列 (Essetial matri) カメラ間の姿勢と位置 : R : 3*3 rtati matri t : 3* traslati vetr pとp が対応点同士なら : 前提 : pとp は画像座標から計算さ p (,,) れた物理 ( カメラ ) 座標である p' [ t ( Rp)] with ( カメラの内部パラメータ既知 ) p' ( ', ',) 即ち : 同一平面内の三つのベクトルから二つのベクトルの外積と残るもう一つのベクトルの内積はとなるエピポーラ方程式 p' [ t ( Rp)] p'ep 基本行列 (E 行列 ) with E t R E 行列の自由度が 5: 回転 3+ 並進 3- スケール 基本行列 (Essetial matri) エピポーラ方程式自由度が 5: 基本行列 (E 行列 ) 回転 3+ 並進 3-スケール p'ep with E t R p (,,) p' [ t ( Rp)] with p' ( ', ',) a3 a a b a3 a b a b 自由度が5: a a Eはランク落ちが発生! ra(e)= 等値非ゼロの固有値が二つ存在 Eが求まれば tとrに分解することができる Rはフルランク自由度は3 tの自由度は 基礎行列 (Fudametal matri) 基礎行列 F の性質 epiplar peil エピポーラペンシール 内部パラメータが未知 画像座標 しか分からない 画像座標 と物理 ( カメラ ) 座標 p の関係 : =Kp, =K p p=k -, p =K - (K,K are the amera alibrati matri: 内部パラメータ行列 ) 基本行列から : p Ep= (K - ) EK - = K - EK - = F= F= K - EK - 基礎行列 (F 行列 ) 基礎行列 F はカメラの内部パラメータ K と外部パラメータ E の双方を含んでいる F= =eの場合 (e is epiple) : Fe=, ( 全てのepiplar liesはepipleの所に交叉 ) Fe = =e の場合 (e is epiple) : e F =, e F = F e = F 行列が与えられれば eとe はそれぞれF FとFF の最も小さい固有値に対応する固有ベクトルとして求められる rm Hartle & isserma 基礎行列 F の性質 エピ極 ( 線 ) の例 (I) 左画像内の点 が右画像内 l 上に 対応付けることは : lie l = F pit このpit--lieの関係は l F = より決定 l F = (F) l = の関係も成立 Fは33の同次行列, ra det(f) = ランク落ち ( 逆行列が求められない ) F 行列の自由度が7: here are 9 elemets, but salig is t sigiiat (-) ad det(f) = (-)

3 エピ極 ( 線 ) の例 (II) h カメラパラメータ行列 P r r r3 r r r 3 r r r t t t z 透視投影行列 P 3 4 h 透視投影行列 Pの自由度は(3*4-スケール) 基本的なキャリブレーション法 制限あり :3D 空間内平面と画像間の投影 3 4 h 3 簡略化して 4 P 行列 = 平面 既知の (,,) (,) の組から P を求める カメラパラメータからスケール h を消去 h 3 4 h 3 4 h h 次元空間内の点 (,,) の位置について制限なし 3 4 h Hmgraph カメラ座標系 回転 + 平行移動 (3D) 平面 ( 画像 ) 平面の対応関係 :33 行列で表現可未知数 ( 自由度 )8(=9- スケール ):4 組み以上の対応点 (>=4) が分かれば H が唯一に決定できる ワールド座標系 H 行列 4 h パラメータの計算 式 個 (: 特徴点数 ) 4 点の場合 上式を B= 4 点以上の場合 最小二乗法で解く mi B ( B B) B ホモグラフィ (Hmgraph) 画像 と画像 間の投影 3D 空間中の対象点が全て同一平面内に存在する場合 H H ホモグラフィ H H H 3

4 出席チェック - 画像 と画像 間における H 行列の関係は以下のようになることを証明 導出して下さい H H H ホモグラフィ (Hmgraph) 3D 空間中の対象点が全て同一平面内に存在する場合 H ホモグラフィ点 t 点 ホモグラフィより鳥瞰画像の生成 Hmgraphies r Bird s-ee Views H 平面対象の画像間射影が行える rm Hartle & isserma Hmgraphies r Msaiig Hmgraphies r Msaiig rm Hartle & isserma 複数枚の画像より広視野の画像を合成 4

5 Applig Hmgraphies t Remvig prjetive distrti 出席チェック - E 行列と F 行列 P 行列 H 行列の自由度はそれぞれいくつ? 理由は? selet ur pits i a plae with w rdiates ' h h h ' ' h h h ' h3 h3 h33 h h h3 ' h3 h3 h33 h h h ' h h h ' ' h h h (liear i h ij ) Sigle Camera Calibrati 単眼カメラのキャリブレーション Etrisi Parameters R : rtati matri t : traslati vetr E 行列 Camera Crdiate Sstem Itrisi Parameters : al legth, : sale the piel rdiate ais, : priipal pit K 行列 3D-D Prjetive mappig sai s Methd Wrld Crdiate Sstem Prjetive Camera Matri: P 行列 Image Crdiate Sstem Prjeti Matri (34) カメラキャリブレーション手順. 幾何学的 光学的特性が既知の対象物を撮影. 対象物固有の特徴 ( 特徴点の世界座標など ) とその画像特徴 ( その特徴点の画像座標 ) を対応付け ~ エピポーラ幾何 知識 ヒューリスティクス 3. カメラモデルに基づき モデルパラメータを推定 ~ 射影幾何 線形代数 数値解析 統計 9 キャリブレーションデータと安定性 ワールド座標と画像座標の対応点 3 次元位置既知の特徴点 透視投影行列 P 既知の形状の特徴 平面上の特徴点 円 矩形など ホモグラフィH レンズ歪み, 画像座標同士の対応付け 3 次元位置未知の特徴点 軌跡など 基礎行列 F,E 安定性 簡便さ 5

6 6 Eample Calibrati Patter Calibrati Patter: bjet with eatures w size/gemetr 平面パターン非平面パターン Harris r Ca Crer Detetr 手動か自動か入力画像からキャリブレーションパターンの特徴点を探し出すカメラの内部パラメータ eter, size, piel legth al, distrti les Calibrati = Determie the itrisi parameters a amera キャリブレーション ( 内部パラメータ ) 幾何変換のパラメータ推定透視投影内部パラメータ K 行列仮定 : ピンホールカメラモデル キャリブレーション ( 内部パラメータ ) 幾何変換のパラメータ推定透視投影内部パラメータ K 行列仮定 : ピンホールカメラモデルワールド座標系とカメラ座標系が一致している場合求め方法 : 画像上の点や 3 次元空間中の点の座標を与えて パラメータを求める 最適化問題として定式化されるキャリブレーション ( 外部パラメータ ) カメラ座標系とワールド座標系が別々して t, t, t z と r, r 3,3 はカメラ外部パラメータ外部パラメータ E 行列

7 キャリブレーション ( 全パラメータ ) 画像座標系とワールド座標系の下で amera amera amera r, r, r,3 t r, r, r,3 t r 3, r3, r3,3 tz P(3 4) 全パラメータ P 行列 透視投影モデルのキャリブレーション 画像上の点 P(3 4) P 対応点 三次元空間中の点 行列 P 自由度 ra 3 対応点 個拘束式 6 点以上の対応付けから求められる P の推定の線形解法 (6 pits algrithm) 6 点以上の対応点から P を推定 線形最適化 通常の最小二乗法で微分 = とすると ( 6) 個の対応点から の方程式 行列で書くとは 行列を最小にするPを求めるただしp=を除く とする ( 自由度 ) 最小二乗 明らかな解 p= しか求まらない ラグランジェの未定乗数法を使う ラグランジェ乗数 p は W の最小固有値に対応する固有ベクトル 固有方程式 p が W の固有ベクトルのとき成立 7

8 6 pits algrithm の利点 欠点 利点 計算コストが小さい 数値計算的に安定 欠点 最小化の目的関数が 幾何学的にな意味を持たない 非線形解法 幾何学的に意味を持つ数値を最小化する 非線形解法 幾何学的に意味のある誤差を最小化 画像上の観測点と投影点の誤差を最小化 ( ) 非線形最適化 ニュートン法 マーカート法など 精度は高いが 計算コストが高い 局所解が存在する 線形解を初期値にする 例 : キャリブレーションオブジェクト 透視投影行列 P の分解 P を内部パラメータ K 回転 R 並進 t に分解 P= = M=KR K: 上三角行列 P の 3 3 の部分を M とすると M=KR K 上三角行列 R 正規直交行列よって QR 分解で K と R に分解できる また K が求まれば 透視投影行列 P の推定まとめ 3 次元座標が既知の点が必要 3 次元座標と 次元画像との対応づけが必要 ワールド座標に対するカメラの位置 姿勢が求まる カメラの台数を増やしても 同じワールド座標に対するPを求めればよい 内部パラメータのキャリブレーションまとめ 昔は sai のアルゴリズムがよく使われた ソースが公開 不安定 3 次元位置既知の点が必要 最近は EasCalib がよく使われる 安定 使い勝手がいい 平面上の格子点 平面の位置は未知でいい 格子点は自動検出しやすい 格子点検出も含めてソースが公開されている (pecv) 8

9 EasCalib State--the-art alibrati Calibrati Stware: pecv. hag: Fleible Camera Calibrati B Viewig a Plae Frm Uw rietatis (999) Slves rrespdee prblem Wrs with plaar alibrati pad Wrs well i pratie Calibrati Stware: Matlab 出席チェック 単眼カメラの幾何学的キャリブレーションについて 紹介した透視投影行列 Pのランク?Pを求めるため最低何点が必要? 理由? P 行列を求める方法 ( 線形 非線形 ) の利点 欠点をそれぞれ述べなさい 基礎行列 F のキャリブレーション エピボラ平面 F= F の推定 : 線形解法 左カメラの画像点 右カメラの画像点 baselie rm Hartle & isserma 画像間の対応点集合から基礎行列 F を推定 F= エピポーラ方程式 ただし P 行列と同様に最小固有値に対応する固有ベクトルとして推定 9

10 非線形解法 線形解法の目的関数は幾何学的に無意味 非線形解法 目的関数 エピポーララインと対応点の距離 ステレオ復元後の再投影誤差 ニュートン法 マーカート法など 線形解を初期値とする 基礎行列の分解 内部パラメータ K が既知の場合 基礎行列 F から基本行列 E に変換 エピポール e e はどんな点にも対応するので eは の最小値と対応する固有ベクトル エピポール e は並進 t と同じ方向 ( スケールは不定 ) 基礎行列の分解 エピポールを用いた平行化 epiplar peil エピポーラペンシール H rm Hartle & isserma また より の最小化によって R を求められる エピポーラ線が平行になる変換 基礎行列から平行ステレオへ変換 rer 視差 (disparit) 基礎行列 F の推定まとめ 基礎行列は画像間の対応付けだけ ( 未知の点 ) 基礎行列からカメラ間の相対位置 姿勢の復元や 平行ステレオへの変換が可能 未校正の 枚の画像から カメラの姿勢の復元とシーンの形状復元が可能 ( ただしスケール不定 ) 自較正 ualibrated stere などと呼ばれる 姿勢や B の長さが分からなくても 形状を復元できるエピポールさえ分かれば 形状復元ができる

11 内部パラメータのキャリブレーション sai のモデル sai のアルゴリズム 3 次元座標既知の点から レンズ歪みを含む内部パラメータを推定 初期からソースコードが公開されていたため 多くの人たちが利用 カメラ座標 ワールド座標 投影面座標 焦点距離 回転 並進 sai のモデル sai のモデル 回転 R 並進 6 パラメータ 焦点距離 パラメータ 歪み座標 画像座標 スケール因子 ( 縦横比 ) ひずみ係数 パラメータ 歪み係数 画像中心 サンプリング間隔 (CCD の幅 ) 画像中心 パラメータスケール因子 パラメータサンプリング間隔 パラメータ パラメータの非線形最適化 例 sai の方法まとめ 3 次元位置既知の点から内部パラメータを推定 高次元 (パラメータ) の非線形最適化 あまり安定ではないが ソースが公開されていたためよく使われた 入力画像 キャリブレーション後歪みを補正 最近は hag らの EasCalib がよく使われる 平面上の座標既知の格子点 ( 平面の状態は未知 ) 数枚の平面から 歪みを含む内部 外部パラメータを推定 安定 精度は sai よりはいい pecv に含まれる

12 出席チェック 格子点が直線になるように歪み補正 Hmgraph の推定 複数カメラの幾何学的キャリブレーションについて 透視投影行列 P を求める場合と基礎行列 F を求める場合の利点 欠点を述べなさい