近未来マルチメディア 2013 最終報告書 HMD + Kinect でゲーム作成 工学システム学類 3 年 木村優太

Transcription

1 近未来マルチメディア 2013 最終報告書 HMD + Kinect でゲーム作成 工学システム学類 3 年 木村優太

2 1. 目的普段 私たちがプレイしているゲームはテレビ画面の前で ゲームコントローラを操作することで遊ぶものである この操作方法では手先のみを動かすことでプレイできる反面 手元での操作 と アバターの動き が一致しない 手を振る 動作をさせるために あのボタンとこのボタンを押す などという操作をしていては まず操作自体を覚える必要がある上に 何より 現実で手を振る 感覚をプレイヤーが全く得られない つまり 手を振った ことを 画面を通して他人には感じさせることはできても自分自身は感じ取れないのである その上現在のゲームではゲーム画面が前方のテレビしかないため 右が見たい とプレイヤーが思ってもプレイヤーは 実際に右を向く のではなく 右を向く操作を入力 しなければならない これでは いかにゲームがリアル指向になっても ゲームをしている という感覚が抜けず 完全に没入することは不可能である そこで私は 体の動きを入力として扱うことで直感的な操作感を得る 画像を頭の向きと同期させることで深い没入感を得る という 2 つの目標を立て これらをゲームに組み込むことでプレイヤーから ゲームをし ている感覚 を取り除き 体験 することのできるゲームを制作しようと考えた なお 今回の製作ではそれぞれの目標に対して XBox360 用モーションキャプチャデバイス Kinect 3D ヘッドマウントディスプレイ HMZ-T1 を利用した 2. 関連技術紹介 ゲームを制作するにあたって関連した技術を紹介する Oculus rift Oculus VR 社が現在開発中の VR 用ヘッドマウントディスプレイであり 110 度の視野 角および高速ヘッドトラッキング機能が実装されている Razer Hydra Razer 社が販売している PC 用磁気式モーショントラッキングデバイスであり 手先の位

3 置及び姿勢を非常に高精度に取得することができる これらを踏まえたうえで 今回は自分の技術チャレンジとしての面と 専用のデバイス を用意しなくても構築できるシステムを目指して製作を行った 3. 対象今回は一般家庭 なおかつ全年齢対象にしたゲームを制作した これはゲームシステムの構成要素に市販品を利用することで 専用のデバイス を用意しなくてもよいようにしたという理由と また体の動きを利用した理解しやすい入力インタフェースにより ゲームをプレイすることのできる 人ならばプレイができるようにしたためである 4. 構成今回制作したゲームの構成を説明する まずモーションキャプチャデバイスである kinect は PC と接続し Microsoft 社製の Kinect SDK for Windows を用いて骨格情報を取得 それを基にゲームエンジン Unity 上で 3DCG を用いたアバターの動きをプレイヤーと同期させる これによりヘッドマウントディスプレイを通して自分の体を見ると その部分がアバターの体に見えるようになる また プレイヤーの頭の上に Android スマートフォンを設置し これを通じて頭の向きを調べ また手元の Wii リモコンと Bluetooth を用いて通信を行う これらの情報は PC へ有線のポートフォワーディングによって疑似 TCP 通信で伝えられ 3DCG のアバターの頭の向き および一部のアクションを操作することを可能にする ヘッドトラッキングを Android スマートフォンを利用して行うことで ヘッドトラッキング機能 がないヘッドマウントディスプレイでも利用することが可能になり また ヘッドマウントディスプレイごとに異なるトラッキングデータの形式の差異による問題も解決することができた 最後にこうして得られた 3DCG のアバターから見える景色をヘッドマウントディスプレイ HMZ-T1 へと送り プレイヤーに呈示するこうすることでプレイヤーは直感的に 3DCG のアバターを操作することができるようになる なお本システムの構成図を図 1 に示す

4 図 1. システム概要図 5. 作成したゲームここで今回作成したゲームについて説明する このゲームでは図 2 のアバターを操作し マップ上に存在する図 3 のマーカーに触れていくことが目的である マーカーは全部で 10 個存在し これらすべてに制限時間内に触れるとゲームクリアとなる なお 制限時間は 3D 酔いの発生を防ぐ意味も含まれており 15 分となっている アバターは両腕と背中にジェット噴射口がついており これにより飛行をすることができる また足踏みをすることで 歩く ことも可能である マーカーについては上方に黄色い線が伸びているため 遠くからでもどこにマーカーがあるのかを視認することができるようになっている 図 2. アバター 図 3. マーカー

5 次に操作方法について説明する 基本的にアバターを動かすために必要な動作は自身が行う動作に設定してあるため 直感的な操作が行えるように調整してある 腕を動かす 足を動かす等の動作はプレイヤーが体を実際に動かすことで行う しゃがむ 等の動作も実際に行うことでアバターが同期して行うことができる 右を向く などの視点の変更はプレイヤーが実際に右を向くことで行う またアバターの進行方向を変更するためには体をひねる動作や ジェットを片側だけ噴射することで行うようになっている 進行方向へ前進するためには 足踏み する必要がある これら基本操作とは別に ゲームとして成立させるため プレイヤーには Wii リモコンを両手に一つずつ持ってもらう 後ろ側にある B ボタンを押すと 押している間だけ 押している側の腕先から 肘から手首の方向 にジェットが噴射され 推力が発生する また左右両方のジェットを同時に噴射し なおかつプレイヤーが前傾姿勢になったときのみ背中からもジェットが噴射され 前方上方に推力が発生し アバターが飛翔する 前面にある A ボタンはゲーム状態を表示するボタンであり 左手のリモコンの A ボタンは押している間ゲームのステータスが表示される 今回は長時間のプレイによる 3D 酔いを防ぐために制限時間が設定してあるため その残り時間が表示される 右手のリモコンの A ボタンは押している間マップの全体図と現在位置 現在の方向が表示される 前面のホームボタンを左右のリモコンで同時に押すと 姿勢リセットが行われ 現在の正面 が アバターの正面 にセットされる この操作は基本的に起動直後 1 度しか行わないことを想定している 図 4. 操作方法

6 6. まとめ今回の製作の結果 当初の目的である 直感的に理解できる使いやすいインタフェース についてはおおむねクリアすることができたが 体感 することのできるゲームまでは完成させることができなかった この原因としては 技術一つ一つを学ぶために時間を使ってしまったため ゲームを制作する時間が短くなってしまい その結果として完成度をあまり高くすることができなかった点や センサ群の精度 および通信や処理による遅延等が考えられる また 自分の思う直感的な操作 は人それぞれに違うために 結局人間が行うことのできる行為以外の動作をアバターに行わせるためにはプレイヤーにある程度の慣れを要求してしまうことも複数人に今回作成したゲームをプレイしてもらうことで明らかになった しかしながら Android センサのレスポンスはそれなりに良かったため ヘッドトラッキングを若干の遅延程度で行うことができ 今後手軽なセンサとして Android を利用することができることが分かった 7. 今後の課題今後の課題としては 現在は HMZ-T1 の仕様である 1920*1080 視野角 45 度 左右分割画面方式 の画像しか出力できないが これを他の画面比で出力できるようにすることでより汎用性を高めていくことができると考えている 操作感については 現在の UI では若干の 慣れ が必要であり より調整を加えていくことで 最初から簡単に操作できる UI にしていきたいと考えている センサについては 今回モーショントラッキングに使用した Kinect は指先をトラッキングすることができず そのためにアバターは手先の挙動を全く同期させることができなかったが これについては Wii リモコンに搭載された加速度センサや赤外線センサによる姿勢取得や 今年中に発売されるであろう Kinect 2 を利用することで改善していけたらと考えている 今回の製作では Android スマートフォンを用いてヘッドトラッキングを行ったが Oculus rift 等の最初からヘッドトラッキング機能が実装されているヘッドマウントディスプレイを利用する際にはその機能を利用できるように設定を行えるようにすればより完成度の高いものを作ることができるのではないかと考えている 8. 感想今回の製作を通して Android と PC の通信等の技術を学ぶことができ また今後研究活動を行っていくうえで非常に重要であるスケジュール管理を学ぶことができました 今後はこの授業で学んだ内容を生かして研究活動を行っていきたいと考えています 的確なア

7 ドバイス等を頂いた先生方 発表の機会を整えてくださった TA の方 ありがとうございま した また今回の製作で必要不可欠であったヘッドマウントディスプレイ HMZ-T1 を貸し ていただいた亀田先生 ありがとうございました 9. 使用したツール等 Unity 3D URL: 概要 : 3D ゲームプログラミングを行うための統合開発環境であり グラフィカルインタフェースで操作することから開発効率が非常に高いことで有名である 今回はこの環境を用いてアバターの操作 Kinect からのデータ取得 Android との通信等を行った Eclipse URL: 概要 : Android プログラミングを行う際 後述の Android SDK を使用してプログラムを作成するための統合開発環境である 今回の製作では Android SDK をインストールした際に同時にインストールされるバージョンを利用した Android SDK URL: 概要 : Java 言語を用いて Android のプログラミングを行う際に必要な SDK である Android に搭載されたセンサからのデータ取得等を行う際に利用した Android Debug Bridge URL: (Android SDK に同封 ) 概要 : Android SDK の補助ツールであり PC で Android 上でのデバッグを行う際等に使用する 今回の製作では このツールの機能の一つであるポートフォワーディングを利用し Android から PC へ疑似 TCP 通信を行った Kinect SDK for Windows URL: 概要 : Kinect を Windows PC で利用するために必要な SDK である 今回の製作ではこれを Unity 上で叩くことによりプレイヤーの骨格情報を取得した