Microsoft Word - 上善_卒論最終版.doc

Size: px

Start display at page:

Download "Microsoft Word - 上善_卒論最終版.doc"

よしおのえ
5 years ago
Views:

1 現実拡張 (Augment Reality) の ARToolkit による学習 2009 年 2 月 2 日経営情報学部経営情報学科 gi05126 上善紀明

2 目次はじめに 1 現実拡張とは (Augment Reality) 2 ARToolkit 2-1. ARToolkit の概要 2-2. ARToolkit プログラム 2-3. ARToolkit を使用した応用プログラム 3 3DCG モデリング 3-1. 制作概要 3-2. モデル制作 4 関連研究 5 おわりに

1. はじめに ~ 拡張現実 ~ 拡張現実 (AR:Augmented Reality) あるいは強化現実と呼ばれる技術が今注目されている

バーチャルリアリティー環境の柔軟性を兼ね備えた強化された環境をリアルタイムに実現するという技術で

あたかも現実世界に仮想物がそのまま出現したかのように見せることができる ( 図 1 参照 ) この拡張現実という技術を容易に実感できる

edu/artoolkit/) で配布されている今回の目標はこの ARToolKit をダウンロードし付属されているサンプルプログラム

3 1. はじめに ~ 拡張現実 ~ 拡張現実 (AR:Augmented Reality) あるいは強化現実と呼ばれる技術が今注目されているこれは現実環境とバーチャルリアリティー環境をシームレスにつまり二つの環境を違和感なく統合させ現実環境の普遍的な表現情報の豊かさとバーチャルリアリティー環境の柔軟性を兼ね備えた強化された環境をリアルタイムに実現するという技術でコンピューターのディスプレイ上などのインターフェイスに現実世界の映像と CG 画像を合成表示することであたかも現実世界に仮想物がそのまま出現したかのように見せることができる ( 図 1 参照 ) この拡張現実という技術を容易に実感できる ARToolkit というC 言語ライブラリ群が ARToolKit Home Page ( で配布されている今回の目標はこの ARToolKit をダウンロードし付属されているサンプルプログラム SampleTest(sample.c) の処理内容を理解学習するまた 3DCG 作成ソフトで自作のモデルを作りこのプログラムにオリジナルの要素を加え技術的に応用した物の作成を試みることである実写画像ビデオデバイス合成処理ディスプレイ CG 画像コンピュータ図 1. 拡張現実モデル

4 2.ARToolkit ARToolKit とは前章で紹介した拡張現実 (Argument Reality) を容易に実現するための C 言語ライブラリ群である ARToolKit は米ワシントン大学の HITL(Human Interface Technology Lab) によって開発され現在までに数多くの AR プロジェクトにおいて利用されている通常 AR アプリケーションを構築するにはカメラ等のビデオデバイスで現実世界を読 ; み込んだ映像の解析カメラや対象マーカーの位置姿勢情報の解析 3D グラフィックの生成および合成といった非常に複雑な処理を要するしかしこの ARToolKit はこれらのマーカー検出カメラ位置情報の計算またグラフィックの生成等を行ってくれるためユーザーはマーカーや3D モデルのデザイン動作等を定義することによって拡張現実を実現することが出来るモデルの表示部分やウィンドウの処理には Open Graphics Library( 以下 OpneGL) が採用されている OpenGL とは米 SGI(Silicon Graphics 社 ) が中心となって開発した 3D グラフィックスのためのプログラムインターフェイスである ARtoolKit では 3D グラフィックスの処理は OpenGL で行っているため OpneGL が入っていればどんな環境でも動作が可能であるまたウィンドウ処理が OpenGLUtility Toolkit( 以下 GLUT) が使用されているこれは OpenGL に準拠した C 言語のライブラリで ARToolKit が C 言語を使用しているためである ARToolKitは現在 PC Windows(95/98/NT/20000/XP) SGIIRIX,PCリナックス MacOS Xのオペレーティングシステムで動作する

5 2-1. ARToolkit の概要 ARToolkit を使用したアプリケーションにはアプリケーションのコードを記述する部分と現実のマーカにオブジェクトを合成処理する部分に分かれるアプリケーションの構成は下図のようになる初期イベントメインループ終了イベント OpenGL の初期化 (b) ビデオ入力画像の取得表示 (f) キャプチャの終了 (a) ビデオカメラパラメータの初期化設定 (c) 入力画像からマーカーの検出認識マーカーパターンの読み込みマーカーの検出認識 3D オブジェクトの読み込み (d) マーカーの位置状態を計算キャプチャの開始 (e)3d オブジェクトの描画表 1 ARToolKit の処理ステップ主な処理ステップとして黄色く塗りつぶされた部分が上げられステップ (a)(f) はアプリケーションの初期化終了に実行され (b)~(e) はアプリケーション終了までループされるまたこの他にキーイベント処理 ( キーボード ) やマウスイベント処理 ( マウス ) といったインターフェイスを用いる処理も用意されている

6 2-2. ARToolKit プログラム ARToolKit に付属されている非常にシンプルなアプリケーションのソースコード (Simple.c) を使ってプログラムの書き方を学習する図 2. 実行例処理ステップ命令 1. ビデオキャプチャの初期化 init 2. ビデオ入力画像の取得 arvideogetimage(called in mainloop) 3マーカーと認識されたパターンの検索 ardetectmarker(called in mainloop) 4. カメラパラメーターの算出 argettransmat(called in mainloop) 5. バーチャルモデルの描画 draw(called in mainloop) 6. ビデオキャプチャの終了 cleanup 表 2.ARToolKit の処理ステップと命プログラムの主たる部分は main, init, mainloop, draw, cleanup の 5 つとなる ( 表 2 参

7 照 ) 1メイン関数 main() Main ルーチンは以下の通りである // main 関数 int main(int argc, char **argv) { // OpenGL の初期化 glutinit(&argc, argv); Init(); arvideocapstart(); argmainloop( NULL, KeyEvent, MainLoop ); } return (0); Main ルーチンでは初期化処理ビデオキャプチャの始動メインループを起動するコードが記述されているまず gultinit() で OpenGL の初期化設定され Init() で実行されるこの OpenGL の初期設定にはウィンドウのセットアップも含まれている続いて arvideocapstart() でビデオキャプチャをスタートする最後にメインループの起動は次の argmainloop() によって行われる第一引数にマウスイベント関数第二引数にキーイベント関数第三引数にメインループ関数を指定するここではマウスイベント関数は使用しないのでコードでは NULL となっている 2 初期化関数 init() Int ルーチンは main ルーチンから呼び出されてビデオキャプチャの初期化 ARToolKit

8 のアプリケーションパラメーターを読み込みまず画像サイズの初期化を行う static void Init( void ) { ARParam wparam; ARParam cparam; // カメラパラメータ int width, height; // 画像サイズ // ビデオデバイスの初期化 if ( arvideoopen(camera_config_file) < 0 ) exit(0); // ウィンドウのサイズ取得 if ( arvideoinqsize(&width, &height) < 0 ) exit(0); arvideoopen でアプリケーションで使用するビデオデバイスの設定ファイル (XML ファイル ) を読み込みファイルが存在しなければプログラムを終了する次に arvideoinqsize でビデオデバイスの画像サイズを取得しウィンドウサイズに設定するこれも画像サイズが X,Y サイズともに 0 未満の場合はプログラムを終了する // カメラパラメータの設定 if( arparamload(camera_param_file, 1, &wparam) < 0 ) { Printf ("Camera parameter load error!! n"); exit(0); } rparamchangesize( &wparam, width, heigh, &cparam ); ここでカメラパラメータの初期化を行う既存のもの (Data/camera_para.dat) もしくはコマンドラインで指定できるファイル名が読み込まれるパラメータは現在の画像サイズによって変更可能である

9 arinitcparam( &cparam ) // カメラパラメータの表示 printf("*** Camera Parameter *** n"); arparamdisp( &cparam ); arintcparam でカメラパラメータを読み込み arparamdisp でパラメータの表示をする // パターンのロード g_patt_id = arloadpatt(patt_file); if ( g_patt_id < 0 ) { printf("pattern load error!! n"); exit(0); } arloadpatt でカメラに認識させるマーカーのパターンを読み込むデフォルト設定ではマーカーは用意されている (hiro.pdf) となる // グラフィックスウィンドウの表示 arginit( &cparam, 1.0, 0, 0, 0, 0 ); 最後にウィンドウを開く 2 つ目のパラメータはズーム比率である

10 3 メインループ関数 mainloop() // メインループ static void MainLoop(void) { ARUint8 *dataptr; // 画像データ ARMarkerInfo *marker_info; // 検出されたマーカー情報 int marker_num; // 検出されたマーカー数 int j, k; // 画像の取得 dataptr = (ARUint8 *)arvideogetimage(); if ( dataptr == NULL ) { arutilsleep(2); return; } // 処理フレーム数のカウント if( g_frame_count == 0 ) arutiltimerreset(); g_frame_count++; // キャプチャした画像の表示 argdrawmode2d(); argdispimage( dataptr, 0, 0 ); // マーカの認識 if( ardetectmarker(dataptr, g_th_detect, &marker_info, &marker_num) < 0 ) { Cleanup(); exit(0); } // 次のフレームのキャプチャをスタート arvideocapnext();

11 メインループ関数は終了処理が実行されるまで延々とループされる (ⅰ) 画像の取得まず arvideogetimage でビデオ画像をキャプチャする画像が取得できなかった場合 arutilsleep(2) で2ミリ秒スリープし関数から出る (ⅱ) 処理フレーム数のカウント arutiltimerreset() でタイマーがリセットされ g_frame_count++ より処理フレーム数のカウントが始まるこれらは後に FPS を算出するのに使用される (ⅲ) キャプチャした画像の表示 argdispimage () で前の処理でキャプチャした画像を画面に表示させる (ⅳ) マーカーの認識 ardetectmarker() はキャプチャした画像から正しいマーカパターンを持つ正方形を検出するただしここでは検出されたマーカの ID や頂点一致度などの情報を含んだ構造体と検出されたマーカ数を返されるが検出されたマーカの中からもっとも高い一致度のものを探す処理は自分で書かないといけない (ⅴ)arVideoCapNext() で次のビデオ画像を取得する // 検出されたマーカの信頼度を比較し, どの ID と相関が高いか調べる. k = -1; for ( j=0; j<marker_num; j++ ) { if (marker_info[j].id == g_patt_id) { if ( k == -1 ) { k = j; } else if ( marker_info[j].cf > marker_info[k].cf ) { k = j; } } } if ( k == -1 ) { argswapbuffers(); return; }

argettransmat() であるこの関数はキャプチャしたマーカよりカメラ視点に対応するマーカの3 次元位置姿勢を計算するまずキャプチャされた正方形マーカと標準形を比較した傾きやサイズの差からマーカーの座標系が算出され

12 ここで最も一致度の高いマーカを検出する For ループを抜けた時点でk 番目のマーカが最も一致度の高いマーカとなる一致するマーカが見つからなかった場合バッファの内容を画面に描画するだけに留まる // マーカカメラ間の変換を求める argettransmat(&marker_info[k], g_patt_center, g_patt_width, g_patt_trans); Draw(); argswapbuffers(); そして ARToolKit 最も重要な処理をしているのが argettransmat() であるこの関数はキャプチャしたマーカよりカメラ視点に対応するマーカの3 次元位置姿勢を計算するまずキャプチャされた正方形マーカと標準形を比較した傾きやサイズの差からマーカーの座標系が算出され求められた座標系のベクトル成分である変換行列からカメラからの位置情報に変換されるこのベクトルの一次変換を利用した技術は経営情報学部選択必修科目である経営数学の授業で行列の一次変換の単位でベクトル行列式の概念を学習しているのでそれほど理解に苦しむことはなかった図数式挿入ベクトルの一次変換を利用回転成分カメラ座標マーカ座標

13 そして draw() で描画処理関数がよばれる 4 描画処理関数 draw() ここではレンタリングの初期化座標変換行列のセットアップモデルのレンタリングに分かれる static void Draw(void) { double gl_para[16]; GLfloat mat_ambient[] = {0.0, 0.0, 1.0, 1.0}; GLfloat mat_flash[] = {0.0, 0.0, 1.0, 1.0}; GLfloat mat_flash_shiny[] = {50.0}; GLfloat light_position[] = {100.0,-200.0,200.0,0.0}; GLfloat ambi[] = {0.1, 0.1, 0.1, 0.1}; GLfloat lightzerocolor[] = {0.9, 0.9, 0.9, 0.1}; argdrawmode3d(); argdraw3dcamera( 0, 0 ); glcleardepth( 1.0 ); glclear(gl_depth_buffer_bit); glenable(gl_depth_test); gldepthfunc(gl_lequal); // カメラ行列による視点の設定 argconvglpara(g_patt_trans, gl_para); glmatrixmode(gl_modelview); glloadmatrixd( gl_para ); } gldisable( GL_LIGHTING ); gldisable( GL_DEPTH_TEST );

14 まずは argdrawmode3d()~artoolkit に問い合わせを行い3D レンタリングの初期化を行う argconvglpara() によりさきほど算出した patt_trans (3 4 行列 ) を OpenGL 形式 (4 4 行列 ) に変換し glloadmatrixed() で座標変換が行われ原点がカメラレンズの中心からマーカの中心へと変換される以降は OpenGL によるグラフィック描写処理命令が続く OpenGL 使用の特徴的な点はサイズを mm( ミリメートル ) 単位で指定できるところにあるただしオブジェクトをミリ単位でしていするにはマーカサイズが正確に設定されていることが条件である 5 終了処理関数 Cleanup() static void Cleanup(void) { arvideocapstop(); arvideoclose(); argcleanup(); } ビデオキャプチャは他のアプリケーションのためキャプチャプロセスを終了して video.path を閉じる以上これまでが ARToolKit の最も基本となるプログラムである

15 2-3. ARToolkit を使用した応用プログラム今回前章で学習した simple.c を応用したプログラムを作成するにあたりその追加した機能は大きく分けて Metasequoia( フリー 3DCG 作成ソフト ) で作ったモデル ( 以降 MQO ファイル ) を読み込ませる MQO ファイルを連番で再生させモデルにアニメーション効果を付けるそのアニメーションに合わせて BGM (MP3) を読み込ませるの 3 点である実行例.wma

16 3. 3DCG モデリング ~Metasequoia~ 前章でも少し述べたが今回応用プログラムに使用した 3DCG モデリングソフトは Metasquoia( メタセコイア ) である Metasquoia は O.Mizuno が開発している 3D ポリゴンモデラーと呼ばれる種類のソフトウェアでポリゴン単位で立体のモデルを生成編集することができるモデリングに特化した 3DCG モデラーでありトゥーンレンタリング Python スクリプトプラグイン等の機能備えているシェアウェア ( 有料 ) 版とフリーウェア ( 無料 ) 版の2 種類が提供されている ( 参照 ) 作業ウィンドウ

17 3-1 制作概要作成したオリジナルのモデルを前章で述べた ARToolKit の応用プログラムで使用することがここの目的である制作過程デザイン計画材料資料の収集基本モデル作成連番モデル作成この大きく4 段階の工程で作業を進めるデザイン計画まずどういったものを作成するか具体的に考える今回はプログラムでBGMを流すためあるキャラクターのモデルを1 体作成しそのモデルに新たに作った楽器を持たせて演奏しているデザインを計画するよって今回はキャラクター楽器の2つのモデルを作成する楽器は金管吹奏楽器のトロンボーンに決定する材料資料の収集 Metasequoia で作成したモデルにはもちろん彩色することが可能であるがその方法は 2 通りあるオブジェクの面に直接色情報を付加するテクスチャをUVマッピングでオブジェクトに貼り付けるオブジェクの面に直接着色する方法では単色 (24 ビットハイカラー ) に限られるが色情報の他に材質 ( 光沢反射光透明度など ) 情報や陰影を付加できる UVマッピングとは簡単に言うと画像ファイルをオブジェクトに貼り付ける方法である画像ファイルを一枚用意しておけばオブジェクトのどの面が画像のどの部分にあたるかを指定するだけで全体を彩色できることになるただしこのプログラム下では使用できるテクスチャ画像は 24bit ビットマップに限られサイズも2の累乗の正方形のみと数点の制限がある今回作成する2つのモデルは彩色数がすくない楽器は直接着色しキャラクタの一部にテクスチャ使用する用意するものは楽器の写真資料とテクスチャ用画像だけになる

3-2. モデル制作 3-2-1 基本モデル作成ここからモデルの作成していくモデルは形や色を複雑にすればするほどプログラム内で描写処理した時にメモリを消費するので出来るだけ単純なモデル ( 面の数が少ない ) を作成する

18 3-2. モデル制作基本モデル作成ここからモデルの作成していくモデルは形や色を複雑にすればするほどプログラム内で描写処理した時にメモリを消費するので出来るだけ単純なモデル ( 面の数が少ない ) を作成する下の完成図は出来上がったモデルにアンチエイリアス効果を付けてレンタリングしたものである ( 図 2 参照 ) 実際プログラムで描写されるモデルはこの画像よりもう少し荒く表示される完成図図 2 完成モデルキャラモデル作成先ずキャラモデルから作成する 9 種類の基本な図形から加工して目的の形にしていくが大体は立方体と球のオブジェクトより作成する

19 左腕部ストレッチ曲げ加工加工された基本図形は頭部と身体部に作業スペースをわけパーツがすべて集まったところで合成していく人や動物のモデルを作成する場合動きを付けるのに不自然なくアニメーションするように大抵はここでボーン骨関節情報を設定するが今回は GIF アニメーションのように静止３Ｄモデルを連番で並べるだけなのであえてボーン設定はしない組み合わせ着色は直接行いアニメ調に表現するため光沢や反射などの効果は抑えておき陰影を

20 抑えるために拡散光レベルは少し高めに設定する材質設定楽器モデル制作次に楽器 ( トロンボーン ) の設計だが基本的に上記と同じ方法で作成していく楽器の構造上単純な作りなので実際の楽器とほとんど同じパーツ数で制作するこれもまた本体部とスライド部に分けて作成する

21 本体部主管副主管支柱管マウスピースバランサー印字部スライド部スライド管着色設定は金属の質感をだすため反射光反射の強さ光沢レベルを高めにとる

作成時にモデルの位置を必ず6パターン全て同じにしておくことである ARToolKit では

22 3-2-4 連番モデル作成完成した2つのモデルを組み合わせ連番用のMQOファイルを作成するプログラムで再生されるファイル数を6 個に設定されているため 6パターンのポーズをモデルに付ける気をつけるべき点は作成時にモデルの位置を必ず6パターン全て同じにしておくことである ARToolKit では描写処理時に取得するモデルの位置情報はメタセコイアでのモデル位置であるここではモデルの中心を原点設定している 6パターンのポーズを連番で再生し簡単なアニメーションを作る

23 4. 関連研究現在 ARtoolKit を有志の人間が改良し C++ 言語以外の言語で開発出来るようになっている JAVA の言語 C# 言語 Flash ActionScript3 Lua Python Android Gauche 等多彩な環境で実行できる Intel 社が開発しているライブラリで Intel Open CV と呼ばれるライブラリがあるこれも ARtoolKit とは違うが画像全般の処理をまかなうライブラリであるがパターン認識物体追跡などの関数など十分に拡張現実技術に使えるものが揃っているこれはアレだが拡張現実を使った世界で始めての商用商品として芸者東京エンターテインメントが開発発売している電脳フィギュア ARis がある ARtoolKit と似たような技術紹介として ARTag BazAR Handy AR PTAM 等がある現在 ARtoolKit はマーカーを認識して距離感や座標を取得するが OpenCV BazAR PTAM 等はマーカーレスタイプであるのだがどうやって座標を取得するのかと言うと特徴点抽出と呼ばれる技術を利用しているのでこれによりマーカレスで拡張現実が可能なのである

24 5. 参考書籍等 OpenGL 関係日本 SGI 株式会社和歌山大学システム工学部デザイン情報学科床井浩平氏 HP: ARToolkit 関係 ARToolKit ARToolKit は加藤博一先生と Human Interface Technology Lab によって開発された Augmented Reality アプリケーションの為の C ライブラリです工学ナビ拡張現実を実現する ARToolkit プログラミングテクニック著者谷尻豊寿出版社株式会社カットシステム

ARToolKit プログラムの仕組み 1: ヘッダファイルのインクルード 2: Main 関数 3: Main Loop 関数 4: マウス入力処理関数 5: キーボード入力処理関数 6: 終了処理関数 3: Main Loop 関数 1カメラ画像の取得 2カメラ画像の描画 3マーカの検出と認識

ARToolKit プログラムの仕組み 1: ヘッダファイルのインクルード 2: Main 関数 3: Main Loop 関数 4: マウス入力処理関数 5: キーボード入力処理関数 6: 終了処理関数 3: Main Loop 関数 1カメラ画像の取得 2カメラ画像の描画 3マーカの検出と認識 4 次の画像のキャプチャ指示 5マーカの信頼度の比較 6マーカの位置姿勢の計算 7バッファの内容を画面に表示