MR 1 2 1,a) Manipulation Method of Virtual Object Using Projected Markers and Gestures in MR System Shumpei Akahoshi 1 Saki Sakaguchi 2 Mitsunori Matsushita 1,a) Abstract: The purpose of this research is to develop a method that allows a user who uses a mixed reality (MR) system to operate virtual objects smoothly. In current MR systems, the user often uses a virtual cursor to manipulate virtual objects. However, it is difficult for the system to match the coordinates of the real world with that of the virtual world. This problem causes difficulty for the user to grasp the distance from the virtual object. When the shape of the object to be projected is complicated, this problem becomes more serious. To solve this problem, this paper proposes a new method of manipulating virtual objects. This method projects an image that has two roles, i.e., pointer and maker, directly to the real world with a projector attached to the user s arm. It also adopts a method of manipulating virtual objects using gestures. This paper introduces a prototype system using this method, and shows experimental results on marker recognition accuracy and the system s usability. 1. Mixed Reality; MR? MR 1 Faculty of Informatics, Kansai University 2 Graduate School of Informatics, Kansai University a) mat@res.kutc.kansai-u.ac.jp Head Mounted Display; HMD? 1
? 2. HMD? HMD HMD HMD MR HMD HMD HMD? TRANSVISION? TRANSVISION MagicCup? MagicCup 3. 3.1 HMD MR (1) (2) (3) (4) 2 3.2 4.1 (1) (2) HMD 3.3 4.1 (3) 2
Virtual Hand HMD?? Virtual Hand Virtual Hand 1 (4) HMD 4. 4.1 HMD HMD 4.2 4.2.1 HMD PC HMD Web LeapMotion HMD Web PC HMD HMD SONY HMZ-T2 Web Buffolo BSW200MBK HMD HMD HMD LeapMotion LM-C01-JP HMD LeapMotion HMD Canon C-10W Arduino 4.2.2 HMD Unity ver5.4.0f3 AR SDK PTC Vuforia Vuforia SDK ver6.0.114 LeapMotion SDK Orion Beta Unity Core Asset Vuforia 3
情報処理学会研究報告 図 4 投影するポインタ画像 左 投影するマーカ画像 右 きさに応じた仮想の左手オブジェクトと右手オブジェクト が重畳される 左手オブジェクトの人差し指からは仮想の Laser Pointer が射出されており そのレーザーポインタ で仮想オブジェクトを指すことで 赤いエフェクトが付与 され選択状態になる 左手オブジェクトの人差し指と親指 図 2 投影マーカ を合わせるピンチ操作を行うことで 選択状態の仮想オブ ジェクトを左手オブジェクトの周辺へ移動させることがで き Virtual Hand を用いて触れることができる 5. 実験 5.1 実験の目的 本研究では 仮想オブジェクトの操作方法に投影マーカ を用いていることで 円滑な操作方法を実現することを目 指している しかし 本システムで用いる投影マーカはプ ロジェクタの特性上 輝度による画像の鮮明さや 距離に よるマーカサイズの変化などによって認識精度が異なると 考えられ システムの安定性が懸念される そのため 本 実験ではプロジェクタから本システムまでの距離を変化さ せたときの 投影マーカの認識精度を調査した また 本研究で提案するシステムはエンタテインメント に応用することで 円滑な操作を実現することを想定して 図 3 ジェスチャ操作 いる そのため ユーザに対してシステムの快適性やエン タテインメント性を調査するためのアンケートを行った る そのため Vuforia が認識しやすい文字や模様を持ち つつ アプリケーション内容との関連性を失わない絵柄の 画像をマーカとして作成した 5.2 実験の概要 実験参加者は 情報系学部に在籍する大学生 11 名であ る 実験を行う前に 実験参加者に対して実験方法につい 4.3 アプリケーション内容 本システムは ユーザが HMD とハンディプロジェク タを装着した状態で体験することを想定している ハン て説明し 実際にシステムを体験してもらうことで認識精 度を計測した また 体験終了後 システムについてのア ンケートを行った ディプロジェクタからは仮想オブジェクトを重畳する位置 計測は マーカが歪みなく投影される位置を想定した床 を決定するためのポインタとなる円状の画像 図??の左 から 140 cm の 2 箇所 図??の A B 参照 及びマーカが 参照 が投影されており 取り付けられた 3 つの物理ボ 歪んだ状態で投影される位置を想定した床から 90 cm の 2 タンの中から 1 つを選んで押すことで ポインタが各ボ 箇所 図??の C D 参照 の計 4 箇所を投影面として定め タンに応じた画像に切り替わる 図??の右参照 それら た 実験参加者には 投影面からの距離が 50 cm から 300 はマーカを役割を持っており HMD を通して認識すると cm の範囲において 50 cm 間隔で距離を変えながらマー マーカに応じた仮想オブジェクトを重畳することができ カを投影してもらい 各位置での認識の可否を計測した る 図??の Object 参照 また ユーザが手を前に出す アンケートは 以下の 5 項目の質問により行った 1 か と LeapMotion によって認識されたユーザの手の位置や大 ら 5 の項目についてはそれぞれ 5 段階評価での回答を求 2017 Information Processing Society of Japan 4
1 % 50 cm 100 cm 150 cm 200 cm 250 cm 300 cm A 0.0 54.5 100.0 100.0 90.9 63.6 B 0.0 54.5 100.0 100.0 100.0 90.9 C 0.0 9.1 27.3 54.5 45.5 27.3 D 0.0 9.1 27.3 27.3 54.5 54.5 5 6 (1) (2) 3 (3) (4) (5) (6) 5.3?? 11 A B 77 % C D 41 % 50 cm 0% 11 1 4.6 2 4.4 3 3.3 4 4.1 5 4.2 6 HMD 5.4 Web HMD HMD 200 6. 6.1 HMD A 5
A A B HMD LeapMotion LeapMotion HMD Web Arduino Arduino HMD 6.2 3 3 7.1 7. MR [1] Jun, R.: Transvision: A hand-held augmented reality system for collaborative design, Proceeding of Virtual Systems and Multimedia, Vol. 96, pp. 18 20 (1996). [2] Milgram, P. and Kishino, F.: A Taxonomy of Mixed Reality Visual Displays, IEICE transactions on information and systems, Vol. 77, No. 12, pp. 1321 1329 (1994). [3] Rod, F.: The future of augmented reality: Hololens- Microsoft s AR headset shines despite rough edges, IEEE Spectrum, Vol. 53, p. 21 (2016). [4],, : MagicCup,. MVE,, Vol. 108, No. 226, pp. 15 20 (2008). [5],, : AR,. MVE,, Vol. 110, No. 382, pp. 65 68 (2011). [6],, : MR-Cyborg Soldiers 2:, 2015, pp. 994 998 (2015). [7],, : AR,, Vol. 19, No. 2, pp. 265 274 (2014). [8],,,,,,, : DOMINO Toppling: MR,, Vol. 21, No. 3, pp. 463 472 (2016). 6
正誤表本稿にて,LaTeX のタイプセットミスによる誤植が発生しているため, 正誤表を掲載致します. 読者および関係者の皆様に, ご迷惑をおかけしましたことを, 深くお詫び申し上げます.