Microsoft Word - 6_D_秋本.docx

Size: px

Start display at page:

Download "Microsoft Word - 6_D_秋本.docx"

ひろじえいさか
5 years ago
Views:

1 45 ARマーカーを利用した3D 環境モデル構築手法の提案秋本高明早川玲央 * A method for 3D environment model construction using the AR marker Takaaki AKIMOTO and Reo HAYAKAWA Abstract This paper proposes a method for constructing a 3D environment model using the AR marker. In this method, we assume that the 3D models of the structures such as rooms or buildings and the objects such as desks or chairs are prepared in advance. A mark called AR maker is put on the each object. The position and orientation of the AR maker are measured from the captured image by the camera using ARToolKit. Then, the position and orientation of the objects are obtained and the 3D models of the objects are placed in the 3D models of the structures. Experimental results are shown and future issues are discussed. Key words: 3D model, Augmented Reality (AR), ARToolKit, Computer Graphics (CG). はじめに我々は車いす利用者や歩行に杖が必要な人など移動が容易でない人の移動シミュレーションシステムの開発を行っているこれは道路や建物などの現実世界の 3 次元モデルをパソコン中に構築しておきその 3 次元モデルの中で車いすなどを仮想的に移動させることにより事前に通行困難な場所や危険な場所を把握しようとするシステムであるこのようなシステムを実現するためには現実世界と同じ 3 次元環境をパソコン中に容易に構築することが必要となる例えば建物内の 3 次元モデルを構築する場合床壁ドアといった建物自体の 3 次元モデルはその建物の建築時の設計図などから容易に構築できるかもしれないさらに改築などを行わないかぎりその建物自体の 3 次元モデルを修正する必要はないしかし建物の中には机や椅子などの家具やその他の様々な物が置かれているそれらは容易に動かせるためそれらの配置を含む建物内の 3 次元モデルを構築することは容易ではない例えば椅子などの配置が変わる毎に 3 次元環境モデルを修正する必要がある本研究では建物などの構造物の 3 次元モデルはすでに構築されているものとしてその中に配置されている家具などの移動可能な物体の配置を含む 3 次元環境モデルを容易に構築することを目的とする人は視覚情報に基づき机や椅子などの物体を識別しそれらの大まかな配置を理解することができるこれと同様にカメラで撮影した画像から画像の認識理解技術により物体の形と位置姿勢情報を取得しようとする研究が行われている [] しかし現状の技術では様々な色や形を持つ家具などの物体を精度良く識別することは容易ではないまた赤外線やレーザーを使ったレンジファインダー ( 距離計 ) によって距離画像を取得し距離画像から環境の 3 次元モデルを構築しようとする研究も行われている [2][3] しかしこの方法には距離画像を取得できる装置が必要となる本文では一般的なカメラを使って家具などの移動可能な物体の配置を含む 3 次元環境モデルを簡易に構築する一手法を提案するここで提案する手法は物体の検出に AR マーカー [4][5] を用いるつまり検出対象とする物体に所定の * 和歌山大学システム工学部 AR マーカーを貼り付けておきカメラで撮影した画像よりその AR マーカーの位置姿勢を計測することにより物体の位置姿勢を得る物体の 3 次元モデルは予め作成しておき計測した位置姿勢情報に基づいてその物体の三次元モデルを 3 次元環境モデル中に配置することにより動かせる物体を含む 3 次元環境モデルを構築する 2. 提案手法の概要本文で提案する手法の基本的な考え方を以下に述べるなお前述したように提案手法は家具などの移動可能な物体の 3 次元モデルの構築が目的であり建物の床や壁といった構造物の 3 次元モデルは別の方法で事前に構築されているものとする提案手法の処理の流れ () 対象とする物体の 3 次元モデルを作成する (2)AR マーカーと呼ばれる 2 値画像を作成しその AR マーカーを対象物体の所定の位置に貼り付ける (3)AR マーカーを貼付された物体をカメラで撮影することにより AR マーカーを検出すると共にその位置姿勢を計測する (4)AR マーカーの位置姿勢情報に基づいてそのマーカーが貼り付けられている物体の位置姿勢を求める (5) 物体の位置姿勢情報に基づいて構築物の 3 次元モデル中にその物体の 3 次元モデルを配置する上記の説明で AR マーカーとは ARToolKit[4][5] と呼ばれる拡張現実感アプリケーションソフトを作成するためのライブラリで使用されるマーカーである 3.AR マーカーを利用した 3 次元環境モデルの構築以下に本文で提案する AR マーカーを利用した 3 次元環境モデルの構築処理について詳しく述べる 3. 物体 3 次元モデルの作成最終的に移動物体の 3 次元モデルを 3 次元環境モデル中に配置し移動物体を含む 3 次元環境モデルを構築したいので移動物体の 3 次元モデルが必要であるこれは 3 次元モデルを入

46 北九州工業高等専門学校研究報告第 48 号 (205 年月 ) 力するツールなどを利用して作成する例えば図は直方体の段ボール箱の 3 次元モデルの例である 3.

実際に使用するカメラやレンズの特性を予め計測しておく必要があるこれはカメラキャリブレーションと呼ばれるここでは ARToolKit が用意している方法によってカメラキャリブレーションを行う [5] 具体的には等間隔に数十個の点が印刷された平坦な板を実際に使うカメラで撮影し点と点の間の実測距離や撮影画像上での点の位置などを入力することによりカメラキャリブレーションを行う図物体の3

2 AR マーカーの作成と物体への貼付次に移動物体に貼り付ける AR マーカーを作成しそれを物体の所定の位置に貼り付ける AR マーカーは文献 [5] などを参考にして所定の規則に基づいて作成する本手法では AR マーカーの位置に加えてその向きを計測する必要があるのでその AR マーカーは点対象の図形ではなく向きが判別できるような図形にする必要がある図 2に AR マーカーの例を図

2 46 北九州工業高等専門学校研究報告第 48 号 (205 年月 ) 力するツールなどを利用して作成する例えば図は直方体の段ボール箱の 3 次元モデルの例である 3.3 ARToolKit による AR マーカーの位置姿勢の計測 () カメラキャリブレーションカメラで撮影するということはカメラのレンズを通して現実世界である 3 次元の空間を 2 次元に透視投影することであるカメラのレンズは多種多様であり特に焦点距離 ( または画角 ) が異なれば同じ 3 次元空間を同じ場所から撮影しても異なった撮影画像が得られるそこで実際に使用するカメラやレンズの特性を予め計測しておく必要があるこれはカメラキャリブレーションと呼ばれるここでは ARToolKit が用意している方法によってカメラキャリブレーションを行う [5] 具体的には等間隔に数十個の点が印刷された平坦な板を実際に使うカメラで撮影し点と点の間の実測距離や撮影画像上での点の位置などを入力することによりカメラキャリブレーションを行う図物体の3 次元モデルの例 3.2 AR マーカーの作成と物体への貼付次に移動物体に貼り付ける AR マーカーを作成しそれを物体の所定の位置に貼り付ける AR マーカーは文献 [5] などを参考にして所定の規則に基づいて作成する本手法では AR マーカーの位置に加えてその向きを計測する必要があるのでその AR マーカーは点対象の図形ではなく向きが判別できるような図形にする必要がある図 2に AR マーカーの例を図 3にその AR マーカーを段ボール箱に貼り付けた例を示すなお AR マーカーを物体に貼り付けたとき物体の座標系における AR マーカーの位置姿勢を計測しておきそれを変換行列などの形で記録しておく (2)AR マーカーの位置姿勢の取得図 3に示すような AR マーカーを貼り付けた物体をその AR マーカー全体が見えるようにカメラで撮影することによって AR マーカーの位置と姿勢を計測するこれには ARToolKit とよばれる拡張現実感アプリケーションを作成するためのソフトウェアライブラリーを利用する [4][5] ARToolKit を用いて AR マーカーをカメラで撮影することによりカメラを原点とした座標系での AR マーカーの位置姿勢を変換行列の形式で得ることができるこの変換行列はマーカー座標系をカメラ座標系に座標変換する変換行列であるなお AR マーカーの寸法は mm( ミリメートル ) を単位として指定するため AR マーカーの位置も mm を単位とした値で得られるまた ARToolKit から得られる変換行列は () 式のように一般的な 4 4 の変換行列の 4 行目を省略した 3 4 の行列であるこのために4 行目を加えて (2) 式に示すような一般的な変換行列を作り以降はその変換行列を使うこれらの変換行列で r~r9 は回転を表し tx, ty, tz は平行移動を表す () 図 2 AR マーカーの例 0 2 ARToolKit ではカメラの座標系 (xc, yc, zc) と AR マーカーの座標系 (xm, ym, zm) は図 4に示す座標系となっている [5] ここでカメラの座標系は右手座標系であるがカメラの底面が +y カメラの撮影方向の中心が +z の向きとなるような座標系となっている 3 次元の座標系は +y を上向きにすることが多いこれに対し ARToolKit のカメラ座標系はカメラの上面が下向きといった普通の感覚では上下逆さまの座標系となっている図 3 AR マーカーを貼り付けた物体

3 北九州工業高等専門学校研究報告第 48 号 (205 年月 ) 47 (5) 図 4 ARToolKit におけるカメラ座標系とマーカー座標系図 6 マーカー座標系とモデル座標系 3.4 物体の位置姿勢の計算図 5 補正後の座標系一般的に人はカメラの上面が +y となるような座標系を想像しそのような座標系の方が直感的に理解しやすいそこで図 4 で示す ARToolKit のカメラ座標系で得られる座標を図 5 のような一般的な右手座標系に読み替える補正を行うこの補正は図 4 と図 5 を比べれば分かるようにカメラ座標系の (x, y, z) を (x, -y, -z) に変換すればよいつまり (3) 式の変換行列で変換すればよいなおこの変換は x 軸を中心として 80 回転することと等価であるまたこの補正前は AR マーカーはカメラより +z の方向にあるが補正後はカメラより -z の方向に位置することになる結局 (4) 式に示すように ARToolKit より得られた変換行列と (3) 式の変換行列を合成した変換行列をマーカー座標系からカメラ座標系への変換行列とする例えばマーカー座標系における座標,, は (5) 式により図 5 に示す座標系における座標,, に変換できるなお変換行列が (2) 式の形の場合の変換行列の合成では番目の座標変換の変換行列の左側に 2 番目の座標変換の変換行列を置いて行列の乗算を行うこととなるそのため (4) 式では最初の変換行列に対しその次の変換行列を左側に置いているもし変換行列が式 (2) の行列の転置行列の形であれば変換行列の乗算の順番は上記の順番の逆となる (4) 3.3 で求めた変換行列によりマーカー座標系の座標をカメラ座標系に変換できるしかし物体の 3 次元モデルは一般にはマーカー座標系とは別の座標系で作成されているためこれだけでは 3 次元モデルをカメラ座標系に変換することはできない 3 次元モデルの座標系 ( モデル座標系と呼ぶ ) からマーカー座標系への座標変換を行う変換行列が必要であるこの変換行列とマーカー座標系からカメラ座標系への変換行列により 3 次元モデルの各座標をカメラ座標系の座標に変換することが可能となるモデル座標系からマーカー座標系への変換行列はその 3 次元モデルの元となった物体上での AR マーカーの貼り付け位置に基づいて求める必要がある例えば図 3に示すように AR マーカーを貼り付けこの物体の 3 次元モデルが図に示すような座標系で作成されているとするとマーカー座標系とモデル座標系は図 6に示すような関係となる図 6の場合モデル座標系からマーカー座標系への変換は平行移動のみで実現できる例えば図 6でモデル座標系での 3 次元モデルの原点 (0,0,0) が貼り付けられている AR マーカーの中心を原点とするマーカー座標系において (x0, y0, z0) に位置するならばモデル座標系からマーカー座標系への変換行列は (6) 式となるなお図 3 においてもし AR マーカーを箱の上面に貼り付けた場合モデル座標系からマーカー座標系への変換行列は平行移動に加えて回転も含む変換行列となるこのようにしてモデル座標系からマーカー座標系への変換行列が分かれば (7) 式により 3 次元モデルをカメラ座標系に変換できる (7) 式はまずモデル座標系をマーカー座標系に変換し次にそれをカメラ座標系に変換すればモデル座標系からカメラ座標系に座標変換されることを示すすなわち AR マーカーを貼り付けた物体をカメラで撮影することによりカメラを原点とする座標系におけるその物体の位置姿勢を得ることができるここで,, はモデル座標系における 3 次元モデルの座標であり,, はカメラ座標系での座標である

48 北九州工業高等専門学校研究報告第 48 号 (205 年月 ) 0 = 0 0 0 (6) 0 0 = 0 0 70 0 55 (8) 230 0 = (7) 3.

4 48 北九州工業高等専門学校研究報告第 48 号 (205 年月 ) 0 = (6) 0 0 = (8) = (7) 次元環境中での物体の配置これまで説明した処理によりカメラを原点とするカメラ座標系における 3 次元物体の位置姿勢が求まめられるしかし最終的に必要な情報は例えば室内でのその物体の配置のような部屋や建物といった構造物の座標系における位置姿勢である構造物の座標系をワールド座標系と呼ぶことにするとこのためにはカメラ座標系での座標をワールド座標系での座標に変換する変換行列があればよい変換行列により (8) 式で物体の 3 次元モデルをワールド座標系の空間に配置することができる (8) 式で (,, ) はワールド座標系における 3 次元モデルの座標である = (7) カメラ座標系をワールド座標系に変換する変換行列はワールド座標系におけるカメラの位置と姿勢より求めることができるしかしワールド座標系でのカメラの位置姿勢を計測することは容易ではないためここでは変換行列によるワールド座標系への変換は行わない 4. 実験 4. 実験図 7 AR マーカーの検出の様子この物体をそれが図 7のように見える位置からカメラで撮影し ARToolKit により AR マーカーを検出した図 7は AR マーカーを検出した様子も示しており検出されたことが分かるように AR マーカー上に線を描画している ARToolKit により計測された AR マーカーの位置姿勢を表す変換行列は (9) 式となったこれを (4) 式によってカメラの上面が +y の向きとなるような座標系に変換した後の変換行列は (0) 式となった結局 (8) 式と (0) 式に示す変換行列を使って (7) 式に示す座標変換を行うことにより図に示す物体の 3 次元モデルをカメラの位置を原点とするカメラ座標系の中に配置することができるその結果を図 8に示す図 8の右下に表示している座標系の原点がカメラの位置であるなおこのカメラ座標系とは ARToolkit の座標系であるカメラ下面が +y 向きとなる座標系ではなく図 5に示すようなカメラ上面が +y 向きとなる座標系である図 8に示すカメラ座標系の物体の 3 次元モデルを変換行列によってカメラ座標系からワールド座標系に座標変換すれば物体を 3 次元環境モデル中に配置することができるしかしここでは変換行列を求めることが容易でないため実験はカメラ座標系への変換までとした図 3に示す段ボール箱を対象物体として本提案手法によって物体の位置姿勢を計測する実験を行った AR マーカーは図 2に示すマーカーを使用し図 3に示すように物体に貼り付けた物体の 3 次元モデルとして図に示すモデルを作成したこの物体の大きさは図 3の AR マーカーが張られている面を正面として幅 40mm 高さ 30mm 奥行き 230mm である物体に貼り付けた AR マーカーは縦横 00mm の正方形である使用機材は一般的な MS-Windows のパソコンと USB で接続した横 720 画素縦 480 画素の解像度のカメラである図 3に示すように AR マーカーを貼り付けたためモデル座標系からマーカー座標系に座標変換するための変換行列は (8) 式となった = = (9) (0)

北九州工業高等専門学校研究報告第 48 号 (205 年月 ) 49 軸を x 軸を中心として-90 回転させた向きとなっている従って AR

回転させるような座標変換となるこの座標変換がモデル座標系からマーカー座標系への座標変換となりその変換行列は () 式となる図 8

9に示すような撮影画像から ARToolKit を使って AR マーカーの位置姿勢を表す変換行列を求めそれを図

994 0.0 0.005 0.454 0. 0.885 0.046 39.8 0.89 99.0 0.452 090.

次元モデルを図 9を撮影したときのカメラ位置を原点とするカメラ座標系に座標変換することができるカメラ座標系に座標変換した結果を図 (a)(b) に示す図

2 実験 2 (a) 図 9に示すようにパソコン机の上面手前左側に AR マーカーを貼り付け本提案手法で位置姿勢を計測した図 9はこのパソコン机を

パソコン机のサイズは幅 800mm 高さ 650mm 奥行き 700mm である物体に貼り付けた AR マーカーは縦横 00mm の正方形である図

5 北九州工業高等専門学校研究報告第 48 号 (205 年月 ) 49 軸を x 軸を中心として-90 回転させた向きとなっている従って AR マーカーの座標系をこのモデル座標系に一致させるような座標変換はまず (-65, -650, -635) 平行移動し次に x 軸を中心として 90 回転させるような座標変換となるこの座標変換がモデル座標系からマーカー座標系への座標変換となりその変換行列は () 式となる図 8 カメラ座標系における物体の 3 次元モデル図 9に示すような撮影画像から ARToolKit を使って AR マーカーの位置姿勢を表す変換行列を求めそれを図 5に示すような座標系に補正した後の変換行列は式 (2) となった式 (2) の変換行列によってマーカー座標系からカメラ座標系への座標変換が行える図 9 パソコン机と AR マーカー検出の様子式 () と式 (2) の変換行列を図 0の 3 次元モデルに順に適用することによってこの 3 次元モデルを図 9を撮影したときのカメラ位置を原点とするカメラ座標系に座標変換することができるカメラ座標系に座標変換した結果を図 (a)(b) に示す図 0 パソコン机の 3 次元モデル 4.2 実験 2 (a) 図 9に示すようにパソコン机の上面手前左側に AR マーカーを貼り付け本提案手法で位置姿勢を計測した図 9はこのパソコン机を m 程度離れた地点で机上面より上の位置からカメラで撮影し貼り付けた AR マーカーを検出した様子である図 0にこのパソコン机の 3 次元モデルを示すパソコン机のサイズは幅 800mm 高さ 650mm 奥行き 700mm である物体に貼り付けた AR マーカーは縦横 00mm の正方形である図 0に示すようにこの 3 次元モデルはパソコン机背面の左下隅を原点とする座標系となっているまた AR マーカーの座標系は図 4 または図 5に示す座標系と同じである AR マーカーの中心は図 0のモデル座標系において (65, 650, 635) に位置し AR マーカーの座標系の z 軸と y 軸はモデル座標系の z 軸と y (b) 図カメラ座標系に変換後のパソコン机の 3 次元モデル

6 50 北九州工業高等専門学校研究報告第 48 号 (205 年月 ) 5. おわりに [5] 橋本直, ARToolKit 拡張現実感プログラミング入門, アスキーメディアワークス, 200. 一般的なカメラを使って家具などの移動可能な物体の配置を含む 3 次元環境モデルを簡易に構築する一手法を提案した提案手法では検出対象とする物体の 3 次元モデルを予め作成しておくと共に所定の AR マーカーを貼り付けておくまた AR マーカーの貼り付け位置に基づいて 3 次元モデルの座標系から AR マーカーの座標系への変換行列を求めておく次に AR マーカーを貼り付けた物体をカメラで撮影し撮影した画像よりその AR マーカーの位置姿勢を計測するこれにより撮影したカメラの座標系での物体の位置姿勢を得るさらにカメラの座標系を建物や部屋といった構築物の座標系に座標変換する変換行列により構築物の座標系での物体の位置姿勢を得ることができ物体を構築物の空間中に配置することができる実際に箱とパソコン机に AR マーカーを貼り付けてそれらの位置姿勢を計測する実験を行い撮影したカメラの座標系におけるそれらの物体の位置姿勢が正しく得られることを示したしかしこの実験ではカメラの位置姿勢の計測は行っていないのでカメラの座標系から構築物の座標系への座標変換は行えなかった従って構築物の座標系の空間にそれらの物体を配置することはできていない撮影するカメラの位置姿勢を計測する手段を追加し構築物の座標系の空間内に物体を配置できるようにすることが今後の課題であるまた本手法による物体の位置姿勢の計測精度は AR マーカーの位置姿勢の計測精度に依存するので AR マーカーの撮影画像上での見え方や大きさにより精度が大きく変わる様々な条件で物体の位置姿勢の計測精度を評価することも今後の課題である本手法は物体にその位置や姿勢が容易に分かるようなマークを付けておきそのマークを手掛かりにその物体の配置を得る方法であり目新しい技術ではないまたすべての対象物体にマークを付けておくことは容易ではないという意見もあるかもしれないしかし小売店で販売されている商品のほとんどにバーコードが付けられていたり URL などを示すための 2 次元バーコードが普及していたりするように機械が読み取りやすいマークを対象物に付けるという手段は非現実的なことではないと考える例えば赤外線や紫外線をよく反射するような人間には見えにくいがカメラでは撮影可能なマークにすれば物体のデザインなどに影響を与えずにマークを付けることもできる (204 年月 6 日受理 ) 参考文献 [] 柳井啓司, 一般物体認識の現状と今後, 情処論, Vol.48, No.6, pp.-24, [2] 天野, 坂口, 美濃, 池田, 再帰的分割を用いた適応格子による距離画像からの 3 次元形状モデルの生成, 信学論 D-II, Vol. J78-D-2, No.2, pp , 995. [3] 横矢, 長谷川, 倉爪, 群ロボットによる未知環境三次元地図の自動作成のための動作計画手法, 信学論 D, Vol. J93-D, No.6, pp , 200. [4] 加藤博一, 拡張現実感システム構築ツール ARToolKit の開発, 信学会パターン認識メディア理解研究会技術研究報告 (PRMU), Vol.0, No.652, pp.79-86, 2002.

IPSJ SIG Technical Report Vol.2015-CVIM-196 No /3/6 1,a) 1,b) 1,c) U,,,, The Camera Position Alignment on a Gimbal Head for Fixed Viewpoint Swi

IPSJ SIG Technical Report Vol.2015-CVIM-196 No /3/6 1,a) 1,b) 1,c) U,,,, The Camera Position Alignment on a Gimbal Head for Fixed Viewpoint Swi 1,a) 1,b) 1,c) U,,,, The Camera Position Alignment on a Gimbal Head for Fixed Viewpoint Swiveling using a Misalignment Model Abstract: When the camera sets on a gimbal head as a fixed-view-point, it is