Tekutama AR ~ 拡張現実感によるオーバーレイ表示と動作 ~ 情報物理研究室 渡部 修平 1

Transcription

1 Tekutama AR ~ 拡張現実感によるオーバーレイ表示と動作 ~ 情報物理研究室 渡部 修平 1

2 目次 項 1. はじめに 3 2. 開発環境 ARToolkit OpenGL GLUT Metasequoia GLMetaseq DCG モデルの作成 7 4. AR プログラムの構成 main 関数 メインループ関数 アニメーション ジャンプ 宙返り 複数マーカ おわりに 16 参考文献 17 付録 18 2

3 1. はじめに Augmented Reality( 以下 AR) とは, 拡張現実感と呼ばれ, 現実世界にデジタル情報を重ね合わせ, 現実世界を拡張させる技術である. 近年 AR を用いた代表的なサービスとして セカイカメラ やカーナビゲーションの サイバーナビ がある. セカイカメラとは,iPhone や Android などの携帯端末のカメラを通して現実世界を見ると, 他の人が書き込んだその場 その時のタグ情報を, カメラが映し出している現実映像に重ね合わせて表示するサービスである. 例えば, ある店をセカイカメラで通して見ると, その店の位置を解析し, その店のメニューやクーポン情報, 口コミ情報のタグを表示することが出来る. サイバーナビは, フロントガラスに配置した車載カメラの現実映像に, ナビゲーション情報をリアルタイムに重ねて表示することが出来る. また,AR を広報活動に活用する例もある. トヨタ自動車は, マーカを認識するとトヨタ社製の車が描画され, 車が動くアニメーションもされる. 本研究では,AR 技術を用い, 近畿大学工学部のイメージキャラクターである てくたま を AR で表現し, てくたま の認知度を高め, 近畿大学工学部の広報活動を推進するアプリケーション開発を行った. 図 1 Tekutama AR 実行画面 3

4 2. 開発環境 2-1 ARToolkit ARToolkit とは, マーカベースの AR アプリケーション開発を支援する C/C++ 用のプログラミングライブラリである.ARToolkit を使用すると, 紙に印刷されたパターンをカメラで読み取り, その上に 3D オブジェクトをオーバーレイ表示するアプリケーションが容易に作ることが出来る ARToolkit が提供する機能として, カメラ画像の取得, マーカの検出とパターンの認識, マーカの 3 次元位置 姿勢の計測, 実写画像と 3DCG の合成表示, などがある. ARToolkit のアーキテクチャは図のようになっている ARToolkit には主にビデオキャプチャモジュール,AR 計算モジュール, グラフィック処理モジュールがある. ビデオキャプチャモジュールは, 内部の OS に応じたインターフェースを使用している.AR 計算モジュールはマーカ検出のための画像処理やパターン認識を行い, 標準の API を使用している. VRML 描画モジュールは VRML 形式の 3DCG を表示する処理に OpenVRML を用いているが, 本研究では使用せず, 代わりに GLMetaseq ライブラリを使用する.GLMetaseq は 3D モデリングソフト Metasequoia で作成したモデルのデータである mqo ファイルを読み込み, OpenGL で表示するためのライブラリである. 図 2 ARToolkit のアーキテクチャ 4

5 2-2 OpenGL GLUT ARToolkit のグラフィック処理モジュールには OpenGL と GLUT を用いる.OpenGL は, 点 線 多角形の描画, 色やパターンの制御, 幾何変換, シェーディング処理などを行う. GLUT は, 主にウィンドウ管理やイベント処理の設定を行う. ウィンドウ管理やイベント処理の設定は OS とウィンドウシステムに依存しているため, そろぞれの OS に則って設定を行う必要がある. なお,OpenGL と GLUT はマルチプラットホームに対応しており, プラットホームに依存しないシステム構築が可能である. ARToolkit ではカメラの画像の描画や射影幾何の設定を行う処理系に gsub と gsub_lite がある.gsub は GLUT によるウィンドウ管理やイベント処理が含まれているが, gsub_lite には含まれておらず, 自力で実装することになる. 当初 gsub を用いて開発を行っていたが, てくたまを表示すると, 図 3 のようにてくたまのテクスチャを貼った面に対して, 陰影処理が施されない問題が起きた. 原因は,gsub の GLUT の処理をまとめて行っている関数により GLMetaseq ライブラリのテクスチャの処理がされないことが分かり,gsub_lite での開発に至った. 図 3 gsub での実行画面 図 4 グラフィック処理モジュールの階層構造の違い 5

6 2-3 Metasequoia Metasequoia( メタセコイア ) とは 3DCG モデルを作成するための 3D モデリングソフト ウェアである. てくたまの 3DCG モデル作成に用いた. シェアウェア版とフリーウェア版の 2 種類が提供されており 本研究ではフリーウェア版の metasequoia LE R2.4a を使用した. 2-4 GLMetaseq GLMetaseq は 3D モデリングソフトウェア Metasequoia で作成した 3D モデルのデータである mqo ファイルを読み込んで OpenGL で表示するための C/C++ 用のプログラミングライブラリである. これを使用すると 3D モデルを現実世界に表示するプログラムが非常に容易になる. 6

7 3. 3DCG モデルの作成 てくたまを AR で表現するために 3DCG モデルを作成する. 作成には Metasequoia を 用い 以下の手順で行った. 1. 3DCG モデルの基となる画像を入手 ( 図 5) 図 5 基となる画像 2. Metasequoia に画像を取り込み 画像に合わせ各パーツを作成する. 3. 各パーツを組み合わせ 一つのモデルにする.( 図 6) 図 6 無色透明のモデル 7

8 4. モデルは無色透明であるため 各パーツに色を塗り 模様などの複雑な部分はテク スチャマッピングを行う. 5. 最後に光源設定を行う.( 図 7) 図 7 完成した 3DCG モデル 8

9 4. AR プログラムの構成 本研究では 紙に印刷されたマーカーをカメラで読み取り, その上に 3DCG モデルのてくたまをオーバーレイ表示し さらにアニメーションするアプリケーション開発を行った. マーカーは 2 枚用意し 1 枚はオリジナルマーカーである近畿大学校章マーカーを用意した. ( 図 8) 図 8 近畿大学校章マーカーと HIRO マーカー プログラムは gsub と gsub_lite のどちらかを用いてプログラムを構築していくが 3DCG モデルにテクスチャマッピングを行っている場合は gsub_lite を推奨する. 理由は 2-2 OpenGL GLUT で述べた通りであるが gsub_lite を用いることで OpenGL や GLUT についてより理解することができる. 図 9 プログラムの全体像 AR プログラムの全体像を図 9 に示す.main 関数では主に初期化が行われ その後メインループ関数に入り キーイベント処理による終了処理が行われるまでメインループ関数の処理を繰り返す. 次に main 関数とメインループ関数の説明を行う. 9

10 4-1 main 関数 1 GLUT の初期化 このプログラムは GLUT を使用しているので最初に GLUT の初期化を行う必要がある. glutinit() 関数を実行することで以降に行われる GLUT の処理を行えるようにする. 2ビデオ カメラの設定ビデオやカメラを使えるように設定を行う. arvideoopen() 関数によってビデオデバイスを使える状態に設定する. 設定ファイルには xml ファイルを読み込んでいる.arParamLoad() 関数はカメラパラメータのファイルを読み込む. その後, 使用するカメラの解像度に合わせてカメラパラメータを変更する必要があり この処理には arparamchangesize() 関数と arinitcparam() 関数を使用する. 3 パターンのロード マーカのパターンをロードする. ロードには arloadpatt() 関数を使用し 読み込んだパター ンには個別の ID 番号が設定され マーカの一致度を調べるときに使用する. 4ウィンドウの設定ウィンドウの設定は GLUT を用いる.glutInitDisplayMode() は GLUT のウィンドウの表示モードや各種バッファ処理の有無を指定する. GLUT_DOUBLE : ダブルバッファ GLUT_RGBA : RGBAカラーモード GLUT_DEPTH : デプスバッファを使用 10

11 53DCG モデルのロード てくたまの 3DCG モデルの mqo ファイルをロードする. ロードには GLMetaseq ライブラ リの関数である mqocreatemodel() 関数を使う. 6 キャプチャの開始 初期化 設定を終え arvideocapstart() 関数を使用しビデオキャプチャを開始する. 7メイループに入る glutmainloop() 関数を実行しメインループに入る. この関数を呼び出すとプログラムはイ ベント待ち状態になる. またイベントに対して行う処理関数のことをコールバック関数と呼 び glutmainloop() 関数を実行する前にはコールバック関数の登録を行う必要がある. 以下 主なコールバック関数を示す. glutdisplayfunc() 描画処理が必要な時に行う関数 glutkeyboadfunc() キーボードの入力があった時に行う関数 glutidlefunc() 他に処理すべきイベントが何も無い時に行う関数 本研究ではglutIdleFunc() 関数で繰り返される処理をメインループとする. 4-2 メインループ関数 1 カメラ画像の取得 描画 arvideogetimage() 関数を使用しビデオデバイスから画像を取得する. その後 argdispimage() 関数で取得した画像をウィンドウに描画する. 11

12 2マーカの検出 認識 ardetectmarker() 関数を使用すると取得したカメラ画像からマーカの検出 認識を行う. まず取得したカメラ画像を2 値化処理によって白黒画像にする. 次にラベリング処理によって 白黒画像の塊になった領域ごとにラベル ( 番号 ) を割り当てる. ラベル付けされた領域の端の一点を起点に輪郭の抽出を行い 最終的に4 個の頂点を持つ領域を四角形とする. その後テンプレートマッチングを行い 四角形の中のパターンを認識している. この処理で行われた情報はARMarkerInfo 型の構造体に格納される. ARMarkerInfo 構造体 typedef struct { int area ; // マーカーのピクセル数 int id ; // マーカー ID int dir ; // マーカーの回転方向 ( 3 : 2 : 1 : 0 : ) double cf ; // 信頼度 ( 0.0 ~ 1.0 ) double pos[ 2 ]; // マーカーの中心座標 ( x, y ) double line[ 4 ][ 3 ]; // 直線の式 ( ax + by + c = 0 ) 4 辺 ( 枠線 ) double vertex[ 4 ][ 2 ]; // マーカーの頂点座標 ( x, y ) 4 点 ARMarkerInfo; 3マーカの一致度の比較 ardetectmarker() 関数は全ての マーカらしき部分 を検出されるため 検出されたマーカから最も高い一致度のものを探す必要がある. そこでarDetectMarker() 関数の処理で ARMarkerInfo 構造体に格納された情報の中のcf( 信頼度 ) を比較して 最も高い数値のマーカをパターンとして認識している. 4 マーカの位置 姿勢の計測 argettransmat() 関数を用い 検出されたマーカの情報からマーカ カメラ間の変換行列を 求める. 5 座標変換行列の適用 求めた変換行列を適用することで 以降に行われる描画処理がマーカの中心とした座標系 で行われる. 12

13 63Dオブジェクト描画描画処理では 隠面処理 光源設定を行い てくたまの 3DCG モデルの描画を行う. GLMetaseq ライブラリの mqocallmodel() 関数を使用するとモデルがマーカの中心に描画される. 最後に次フレームのカメラ画像の取得を指示し メインループの処理を繰り返す. なお Metasequoia の座標系は Y 軸が上を向いているのに対して.ARToolkit は Z 軸が上を向いている. このまま表示すると モデルが倒れている状態で描画される. これを修正するために 3DCG モデルを X 軸まわりに 90 度回転させてから描画を行う. 図 8 てくたまの 3DCG モデルの描画 13

14 5. アニメーション 5-1 ジャンプ 宙返り ジャンプのアニメーションは平行移動を連続的に行う方法で実装した. 平行移動には OpenGL のコマンド gltranslatef() を利用する. 引数に移動させる位置を入力すると 原点 ( マーカの中心 ) から平行移動して描画を行う. ジャンプは物理の鉛直投射を逐次計算するアルゴリズム ( 改良オイラー法 ) を用いて構築した. Δt は時間の差分を表し,Δt 秒後の Z 座標を求める式である. 実行時, カメラのフレームレートを 30 fps に選定すると,3D オブジェクトの描画も 30 fps となり, シミュレーションを現実に合わせるには Δt の値は s(= 1/30 s) となる.a の加速度は重力加速度 g となる. 但し ARToolkit では,OpenGL 上の長さを mm 単位で扱う. したがって g = mm/s2 である.Vz(0) の値を 1500mm/s とし, ジャンプから着地までのタイムを求めると s となる. この設定で描画すると運動のスピードが速く,3D オブジェクトの姿勢と位置の変化が分かりづらい. そこでキーイベント処理で 3, 5 をそれぞれ入力すると,Δt の値を1/3 倍,1/5 倍にすることで, スロー シミュレーションできるようにした. 宙返りはジャンプの始動から着地までに360 度回転するように,Δt 間の回転角度を求める. 物体を回転させるにはOpenGL のコマンドglRotatef() を利用する. これは指定した軸まわりを指定した数値分, 回転を行う. ジャンプと宙返りを併せれば, 前方宙返り, 後方宙返りなどの動きが可能である. 14

15 5-2 複数マーカ 2 個のマーカ ( 以下マーカ 1, マーカ 2) を利用し, マーカ間をモデルが移動する機能を実装した. マーカ間の位置関係を求めるには, ARToolkit のコマンド arutilmatinv() と arutilmatmul() を使用する.arUtilMatInv() はマーカ 1 の座標系からカメラの位置を取得することが出来る.arUtilMatMul() はマーカ 1 の座標系からマーカ 2 の位置 距離を求めることが出来る. 求めたマーカ間の距離を 1/100 ずつマーカ 1 からマーカ 2 に向け平行移動をするようにした. マーカ 2 への到達判定には, マーカ間の距離と現在位置を比較し, 現在位置がマーカ間の距離より大きい場合, マーカ 2 の位置に到達したとし, マーカ 1 へ移動するようにした. 15

16 6. おわりに 2011 年 11 月に東広島市で行われた生涯学習フェスティバルにこのアプリケーションを出展した際 子供らに大変興味を持ってもらうことが出来た. 本研究の目的である広報活動に活用できるアプリケーションが開発できたと考える. また歩行時のてくたまの手足の動きなど 細かいモーションを加えれば表現力が増すと考える. 今後の課題は スマートフォンへの対応や Twitter のつぶやき機能への展開が考えられる. 16

17 参考文献 [1] 橋本 直 : ARToolkit 拡張現実感プログラミング入門 アスキー メディアワーク ス (2008) [2] 谷尻 豊寿 : ARToolkit プログラミングテクニック カットシステム (2008) [3] 床井 浩平 : GLUT による OpenGL 入門 工学社 (2005) [4] 工学ナビ : [5] GLUT API リファレンス : 17

18 付録 プログラムソース 18

19 // ======================================================================= // インクルード #ifdef _WIN32 #include <windows.h> #endif #include <stdio.h> #include <stdlib.h> #define _USE_MATH_DEFINES #include <math.h> #ifndef APPLE #include <GL/gl.h> #include <GL/glut.h> #else #include <OpenGL/gl.h> #include <GLUT/glut.h> #endif #include <AR/config.h> #include <AR/video.h> #include <AR/param.h> #include <AR/ar.h> #include <AR/gsub_lite.h> #include "GLMetaseq.h" // ライブラリ #ifdef _DEBUG #pragma comment(lib,"libard.lib") #pragma comment(lib,"libargsubd.lib") 19

20 #else #endif #pragma comment(lib,"libarvideod.lib") #pragma comment(lib,"libargsub_lited.lib") #pragma comment(linker,"/nodefaultlib:libcmtd.lib") #pragma comment(lib,"libar.lib") #pragma comment(lib,"libargsub.lib") #pragma comment(lib,"libarvideo.lib") #pragma comment(lib,"libargsub_lite.lib") #pragma comment(linker,"/nodefaultlib:libcmt.lib") // 型定義 // キャラクタデータ構造体 typedef struct { MQO_MODELmodel; int pattid; int patt_found; double trans[3][4]; double patt_width; CHARACTER_DATA; // マーカーのデータ ( 二つ ) static CHARACTER_DATA gcharacter[2]; // グローバル変数 /* セットアップに必要な変数 */ // TRUE: ウィンドウモード /FALSE: フルスクリーンモード static const int gwindowed = TRUE; // フルスクリーンモードの設定 20

21 static const int gfullwidth = 800; // 画面解像度 static const int gfullheight = 600; // 画面解像度 static const int gfulldepth = 32; // ビット数 static const int gfullrefresh = 0; // リフレッシュレート.0 でデフォルト値. // 現実世界 / 仮想世界のスケールファクタ static const double gviewscalefactor = 1.0; // 視界の範囲 (Min~Max までの範囲にあるオブジェクトを描画 ) static const double gviewdistancemin = 0.1; static const double gviewdistancemax = ; static char *gcparamname = "Data/camera_para.dat"; // カメラパラメータファイル static char *gvconf = "Data/WDM_camera_flipV.xml"; // ビデオデバイスの設定ファイル static ARUint8 *gartimage = NULL; // カメラ画像へのポインタ static int gartthreshhold = 100; // 2 値化の閾値 static ARParam gartcparam; // カメラパラメータ static ARGL_CONTEXT_SETTINGS_REF garglsettings = NULL;// 描画系の設定情報 /* パターンファイルに関する変数 */ #define NUM_MODEL2 // 使用するマーカーの枚数 static char *gpattname[2] = {"Data/patt.kinki1", "Data/patt.hiro"; // パターンファイル static char *gmodelname = "Data/tekutama2.mqo"; // モデルファイル static double gpatt_centre[2] = {0.0, 0.0; // パターンの中心位置 (mm 単位 ) int count = 0; // fps 計算のための変数 /* オブジェクト移動量 */ GLfloat extx = 0.0; // x 軸の移動量 GLfloat exty = 0.0; // y 軸の移動量 GLfloat extz = 40.0; // z 軸の移動量 int dirflag = 0; // 移動方向フラグ GLfloat exrx = 90.0; // x 軸まわりの回転角度 GLfloat exry = 0.0; // y 軸まわりの回転角度 GLfloat exrz = 0.0; // z 軸まわりの回転角度 21

22 /* move_model 関数で使用する変数 */ int move_count = 0; // 0: モデルビュー 1: ジャンプ 2: コマ送り int View = 0; // モデルビュー int Jumping = 1; // ジャンプ int Frame_advance = 2; // コマ送り int c=0; // ジャンプカウンタ double dt = 0.011; // 時間刻み ( 通常 : 倍スロー : 倍スロー :0.0066) double g = ; // 重力加速度 g ( 単位 mm) double vz = ; // z 方向の速度 double vz0 = ; // z 方向の初速度 ( 初期化用 ) double vz1; double exrz_angle = 0.0; // 宙返りの角度 ( 時間刻み分 ) double time = 0.0; double vy = 5.0; double vy0 = 5.0; double vx = 5.0; double vx0 = 5.0; void Somersault_calc(void); void Move_calc(double xmax, double ymax); // カメラのセットアップ関数 static int SetupCamera( const char *cparam_name, char *vconf, ARParam *cparam ) { ARParam wparam; // カメラパラメータ ( 作業用変数 ) int xsize, ysize; // 画像サイズ 22

23 // ビデオデバイスを開く if ( arvideoopen( vconf ) < 0 ) { printf( " カメラが見つかりません \n" ); return FALSE; // 画像のサイズを取得 if ( arvideoinqsize( &xsize, &ysize ) < 0 ) { printf( " 画像サイズの取得に失敗しました \n" ); return FALSE; // カメラパラメータのロード, 値の修正と初期化 if ( arparamload( cparam_name, 1, &wparam ) < 0 ) { printf( " カメラパラメータファイルのロードに失敗しました \n" ); return FALSE; arparamchangesize( &wparam, xsize, ysize, cparam ); arinitcparam( cparam ); // ビデオキャプチャのスタート if ( arvideocapstart()!= 0 ) { printf( " ビデオキャプチャのスタートに失敗しました \n" ); return FALSE; return TRUE; // マーカのセットアップ関数 static int SetupMarker( const char *patt_name, int *patt_id ) { 23

24 // マーカのロード if ( ( *patt_id = arloadpatt( patt_name ) ) < 0 ) { printf( " パターンファイルのロードに失敗しました \n" ); return FALSE; return TRUE; // 描画系のセットアップ関数 ( ウィンドウ ) static int SetupGraphicsWin( const char *title, int dispwidth, int dispheight ) { // ディスプレイモードの設定 glutinitdisplaymode( GLUT_DOUBLE GLUT_RGBA GLUT_DEPTH ); // ウィンドウの設定 glutinitwindowsize( dispwidth, dispheight ); glutcreatewindow( title ); // gsub_lite ライブラリの初期化 if ( ( garglsettings = arglsetupforcurrentcontext() ) == NULL ) { return FALSE; return TRUE; // 描画系のセットアップ関数 ( フルスクリーン ) static int SetupGraphicsFull( int dispwidth, int dispheight, int dispdepth, int disprefresh ) { char glutgamemode[32]; 24

25 // ディスプレイモードの設定 glutinitdisplaymode( GLUT_DOUBLE GLUT_RGBA GLUT_DEPTH ); // フルスクリーンの設定 if ( disprefresh ) { sprintf( glutgamemode, "%ix%i:%i@%i", dispwidth, dispheight, dispdepth, disprefresh ); else { sprintf( glutgamemode, "%ix%i:%i", dispwidth, dispheight, dispdepth ); glutgamemodestring( glutgamemode ); glutentergamemode(); // gsub_lite ライブラリの初期化 if ( ( garglsettings = arglsetupforcurrentcontext() ) == NULL ) { return FALSE; return TRUE; // 終了関数 static void Quit( void ) { arvideocapstop(); // ビデオキャプチャの停止 arvideoclose(); // ビデオデバイスを閉じる arglcleanup( garglsettings ); // 描画系の終了処理 mqodeletemodel( gcharacter[0].model ); // モデルの削除 mqocleanup(); // GLMetaseq の終了処理 25

26 // キーイベント関数 static void Keyboard( unsigned char key, int x, int y ) { switch ( key ) { case 0x1B: // 終了コマンド case 'Q': case 'q': printf("*** %f (frame/sec)\n", (double)count/arutiltimer()); exit(0); break; case 0x20: // コマ送り ( ジャンプ / スペースキー ) move_count = Frame_advance; vz1 = vz + (-g) * dt; extz = extz + (vz + vz1)/2 * dt; vz = vz1; if( (c % 2) == 0 ){ exrz = exrz + exrz_angle; // 前方宙返り else if( (c % 3) == 0 ){ exrz = exrz + exrz_angle * 2; // 前方 2 回転 else exrz = exrz - exrz_angle; // 後方宙返り // 数値の初期化 if( extz < 40.0 ){ extz = 40.0; vz = vz0; exrz = 0.0; c++; break; // ジャンプカウンタ 26

27 // ジャンプ case 'j': move_count = Jumping; break; // View モード case 'v': move_count = View; extz = 40.0; exrz = 0.0; break; // ジャンプ 1 倍スロー ( 標準スピード ) case '1': move_count = Jumping; dt = 0.033; // 時間刻み Somersault_calc(); // 宙返り (exrz_angle) 計算 break; // ジャンプ 3 倍スロー case '3': move_count = Jumping; dt = 0.011; Somersault_calc(); break; // 時間刻み // 宙返り (exrz_angle) 計算 // ジャンプ 5 倍スロー case '5': move_count = Jumping; dt = ; Somersault_calc(); break; // 時間刻み // 宙返り (exrz_angle) 計算 27

28 default: break; // アイドル関数 ( メインループ ) static void Idle( void ) { static int ms_prev; // 前回の時刻 int ms; // 現在の時刻 float s_elapsed; // 経過時間 ARUint8 *image; // カメラ画像 ARMarkerInfo *marker_info; // マーカ情報 int marker_num; // 検出されたマーカの数 int i, j, k; // ループカウンタ double wmat1[3][4], wmat2[3][4]; // 変換行列 // 前回の呼び出しからの経過時間を計測し, 更新周期が 100Hz 以下になるようにする ms = glutget( GLUT_ELAPSED_TIME ); // 経過時間 ( ミリ秒 ) を取得 s_elapsed = (float)( ms - ms_prev ) * 0.001; // 経過時間 ( 秒単位にする ) if ( s_elapsed < 0.01f ) return; // 100Hz 以下は更新しない ms_prev = ms; // 経過時間を一時保存 // カメラ画像の取得 if ( ( image = arvideogetimage() )!= NULL ) { // 画像へのポインタを取得 gartimage = image; 28

29 // マーカの検出状態を初期化 for (i=0; i<num_model; i++) gcharacter[i].patt_found = FALSE; < 0 ) { // マーカの検出 if ( ardetectmarker( gartimage, gartthreshhold, &marker_info, &marker_num ) exit(0); for (i=0; i<num_model; i++) { // 最も信頼度の高いマーカを探す k = -1; for ( j = 0; j < marker_num; j++ ) { if ( marker_info[j].id == gcharacter[i].pattid ) { if ( k == -1 ) k = j; else if( marker_info[j].cf > marker_info[k].cf ) k = j; // 最も一致度の高いマーカ ( k ) に対して座標変換行列を求める if ( k!= -1 ) { argettransmat( &( marker_info[k] ), gpatt_centre, gcharacter[i].patt_width, gcharacter[i].trans ); gcharacter[i].patt_found = TRUE; /* 2 つのマーカー間の距離を取得 ( マーカ 1[ 校章 ] とマーカ 2[HIRO] ) */ if( gcharacter[0].patt_found > 0 && gcharacter[1].patt_found > 0 ){ // マーカ 1 の座標系でカメラの位置を取得 arutilmatinv( gcharacter[0].trans, wmat1); // マーカ 1 から見たマーカ 2 の位置を取得 arutilmatmul( wmat1, gcharacter[1].trans, wmat2 ); 29

30 Move_calc( wmat2[0][3], wmat2[1][3]); else if( gcharacter[1].patt_found == FALSE extx > 1.0 ){ extx = 0.0; exty = 0.0; if( count == 0 ) arutiltimerreset(); count++; // タイマーのリセット // 処理フレーム数のカウント // 画面の描画指示 glutpostredisplay(); // 移動量計算関数 void Move_calc( double xmax, double ymax) { GLfloat x = 0.0; // x 軸方向移動量 Glfloat y = 0.0; // y 軸方向移動量 int posflag; // マーカーの位置関係 /* オブジェクトの移動量 */ x = xmax * 0.02 ; // マーカー間の距離を分割 y = ymax * 0.02 ; 30

31 /* オブジェクトの移動方向 */ if ( dirflag == 1 ){ x = -x ; y = -y ; /* 描画位置を更新 */ extx = extx + x ; exty = exty + y ; /* マーカーの位置関係 */ if ( xmax > 0 ) posflag = 0 ; // マーカー 1 が左, マーカー 2 が右 else if ( xmax < 0 ) posflag = 1 ; // マーカー 1 が右, マーカー 2 が左 /* マーカーに到達したときに方向を反転 */ if ( posflag == 0 ){ if ( extx >= xmax ){ dirflag = 1; extx = xmax; exty = ymax; else if ( extx < 0 ){ dirflag = 0; extx = 0.0; exty = 0.0; else { if ( extx <= xmax ){ dirflag = 1; extx = xmax; exty = ymax; 31

32 else if ( extx > 0 ){ dirflag = 0; extx = 0.0; exty = 0.0; // ウィンドウの可視性チェック関数 static void Visibility( int visible ) { // ウィンドウが見えていないときはアイドル関数を無効にする if ( visible == GLUT_VISIBLE ) { glutidlefunc( Idle ); else { glutidlefunc( NULL ); // ウィンドウサイズが変更されたときに呼ばれる関数 static void Reshape( int w, int h ) { glclear( GL_COLOR_BUFFER_BIT GL_DEPTH_BUFFER_BIT ); glviewport( 0, 0, (GLsizei) w, (GLsizei) h ); printf("%d,%d\n",w,h); glmatrixmode( GL_PROJECTION ); glloadidentity(); 32

33 glmatrixmode( GL_MODELVIEW ); glloadidentity(); // 光源を設定する関数 static void SetLight( GLenum light ) { GLfloat light_diffuse[] = { 0.9, 0.9, 0.9, 1.0 ; // 拡散反射光 GLfloat light_specular[] = { 1.0, 1.0, 1.0, 1.0 ; // 鏡面反射光 GLfloat light_ambient[] = { 0.3, 0.3, 0.3, 0.1 ; // 環境光 GLfloat light_position[] = { 0.0, 0.0, 0.0, 1.0 ; // 位置と種類 // 光源の設定 gllightfv( light, GL_DIFFUSE, light_diffuse ); gllightfv( light, GL_SPECULAR, light_specular ); gllightfv( light, GL_AMBIENT, light_ambient ); gllightfv( light, GL_POSITION, light_position ); // 拡散反射光の設定 // 鏡面反射光の設定 // 環境光の設定 // 位置と種類の設定 glshademodel(gl_smooth); glenable( light ); // 光源の有効化 // 材質特性の設定を行う関数 void SetMaterial(void) { GLfloat mat_diffuse[] = { 1.0, 1.0, 1.0, 1.0 ; // 拡散反射光 GLfloat mat_specular[] = { 0.0, 0.0, 1.0, 1.0 ; // 鏡面反射光 33

34 GLfloat mat_ambient[] = { 0.0, 0.0, 1.0, 1.0 ; // 環境光 GLfloat shininess[] = { 50.0 ; // 鏡面光の指数 // 材質の設定 glmaterialfv( GL_FRONT, GL_DIFFUSE, mat_diffuse ); glmaterialfv( GL_FRONT, GL_SPECULAR, mat_specular ); glmaterialfv( GL_FRONT, GL_AMBIENT, mat_ambient ); glmaterialfv( GL_FRONT, GL_SHININESS, shininess ); // 拡散反射光の設定 // 鏡面反射光の設定 // 環境光の設定 // 位置と種類の設定 // 宙返り (exrz_angle) を求める関数 void Somersault_calc(void){ double t = 0.0; double ex_tz = 40.0; double v_z= vz0; double v_z1; exrz_angle = 0.0; /* ジャンプして着地するまでのタイムを計る */ while( ex_tz >= 40.0 ){ t = t + dt; v_z1 = v_z + (-g) * dt; ex_tz = ex_tz + (v_z + v_z1) / 2 * dt; v_z = v_z1; 34

35 // 時間刻み [dt] 分の回転角度を求める exrz_angle = / ( t / dt ); // 数値の初期化 vz = vz0; exrz = 0.0; extz = 40.0; // 3D モデルを動かす関数 void move_model(void){ if( move_count == Jumping ){ // 速度の算出 vz1 = vz + (-g) * dt; // 位置の算出 extz = extz + (vz + vz1)/2 * dt; vz = vz1; if( (c % 2) == 0 ){ exrz = exrz + exrz_angle; else if( (c % 3) == 0 ){ は 2 の倍数優先 ) exrz = exrz + exrz_angle * 2; else exrz = exrz - exrz_angle; // 2 の倍数時 // 前方宙返り // 3 の倍数時 (2,3 の倍数のとき // 前方 2 回転 // 後方宙返り if( extz < 40.0 ){ // 数値の初期化 extz = 40.0; 35

36 vz = vz0; exrz = 0.0; c++; // ディスプレイ関数 static void Display( void ) { GLdouble p[16]; // 射影変換行列 GLdouble m[16]; // 座標変換行列 gldrawbuffer( GL_BACK ); glclear( GL_COLOR_BUFFER_BIT GL_DEPTH_BUFFER_BIT ); // カメラ画像の描画 argldispimage( gartimage, &gartcparam, 1.0, garglsettings ); // 次フレームのキャプチャ指示 arvideocapnext(); gartimage = NULL; // マーカが見つかっていれば if ( gcharacter[0].patt_found ) { // 3D モデルの動作計算関数 //move_model( 1, 360.0, ); p ); // 射影変換行列の適用 arglcamerafrustumrh( &gartcparam, gviewdistancemin, gviewdistancemax, 36

37 glmatrixmode( GL_PROJECTION ); glloadmatrixd( p ); // モデルビュー行列の初期化 glmatrixmode( GL_MODELVIEW ); glloadidentity(); glclear( GL_DEPTH_BUFFER_BIT ); glenable( GL_DEPTH_TEST ); // Z バッファの初期化 // 隠面処理の適用 // 光源の設定 ( 視点に対して固定 ) glpushmatrix(); SetLight( GL_LIGHT0 ); glpopmatrix(); // 座標変換行列の適用 arglcameraviewrh( gcharacter[0].trans, m, gviewscalefactor ); glloadmatrixd( m ); // 3D オブジェクトの描画 glenable( GL_LIGHTING ); // 光源 ON glpushmatrix(); move_model(); // ジャンプ gltranslatef( extx, exty, extz ); glrotatef( exrx, 1.0, 0.0, 0.0 ); // モデルを立たせる (exrx=90) glrotatef( exry, 0.0, 1.0, 0.0 ); glrotatef( exrz, 0.0, 0.0, 1.0 ); mqocallmodel( gcharacter[0].model ); // モデルの描画 glpopmatrix(); gldisable( GL_LIGHTING ); gldisable( GL_DEPTH_TEST ); // 光源 OFF // 隠面処理の解除 37

38 glutswapbuffers(); // バッファの反転 ( ダブルバッファ交換する ) // main 関数 int main( int argc, char** argv ) { int i; // GLUT の初期化 glutinit( &argc, argv ); // カメラのセットアップ if (!SetupCamera( gcparamname, gvconf, &gartcparam ) ) return 0; // マーカのセットアップ for (i=0; i<num_model; i++) { if (!SetupMarker( gpattname[i], &(gcharacter[i].pattid) ) ) return 0; // 描画系のセットアップ if ( gwindowed ) { if (!SetupGraphicsWin( "MQO Loader on ARToolKit - gsub_lite edition", arimxsize, arimysize ) ) return 0; else { if (!SetupGraphicsFull( gfullwidth, gfullheight, gfulldepth, gfullrefresh ) ) return 0; // GLMetaseq の初期化 mqoinit(); // モデルの読み込み 38

39 if ( ( gcharacter[0].model = mqocreatemodel( gmodelname, 0.5 ) ) == NULL ) { printf( " モデルの読み込みに失敗しました " ); return 0; // キャラクタのデータの初期化 for (i=0; i<num_model; i++) { gcharacter[i].patt_found = FALSE; gcharacter[0].patt_width = 60.0; // パターンのサイズ (mm 単位 ) gcharacter[1].patt_width = 80.0; // パターンのサイズ (mm 単位 ) // 宙返り (exrz_angle) 計算 Somersault_calc(); // 終了時に呼ばれる関数の設定 atexit( Quit ); // コールバック関数の設定 glutdisplayfunc( Display ); glutreshapefunc( Reshape ); glutvisibilityfunc( Visibility ); glutkeyboardfunc( Keyboard ); glutmainloop(); return 0; 39