1 2 Web Work Supporting with Virtual Display using Augmented Reality Masahiro KANEKO 1 and Jiro TANAKA 2 With the spread of online storage services an

Size: px

Start display at page:

Download "1 2 Web Work Supporting with Virtual Display using Augmented Reality Masahiro KANEKO 1 and Jiro TANAKA 2 With the spread of online storage services an"

れいなわくや
5 years ago
Views:

1 1 2 Web Work Supporting with Virtual Display using Augmented Reality Masahiro KANEKO 1 and Jiro TANAKA 2 With the spread of online storage services and web applications, we can perform various tasks using mobile terminals. If we can use large screens or multiple screens in the mobile computing environment, we will work more efficiently. This research is aimed at working efficiently by providing the display environment which can be used at a mobile terminal. As our approach, we proposed work supporting a virtual display with augmented reality, and we developed a prototype system. The user can manipulate the virtual display, performing operations such as moving it or writing in it. We obtained knowledge from a trial of the prototype system and we investigated it Web 1 1)2) 1.1 3) Bandyopadhyay Dynamic shader lamps 4) AR 5) AR- ToolKit 6) 1 GPS Klein PTAM 7) 1,

2 AiR surface 8) ( ) ( ) 2.3 HMZ-T1 1 EPSON MOVERIO 2 1 HMZ-T1, 2 MOVERIO,

さらに想定する未来では Kinect 1 や Harrison らの OmniTouch9) のような空間や 2.4.

仮想ディスプレイを適切なサイズにすることで用可能になると考えられる情報を理解しやすくなると考えられる例えば小さな仮想ディスプレイに表示して 1 人で 2.

業方法に差がなく直感的に作業を行える各操作は仮想ディスプレイに触れずに距離を無視して行うことも可能であるこれにより手の届かない場所にある仮想ディスプレイの操作を行えるため大画面の操作や多人数での利用が容易になると考えられる 2.4.

3 さらに想定する未来では Kinect 1 や Harrison らの OmniTouch9) のような空間やサイズ変更操作ジェスチャを認識するセンサが小型化され日常的な携帯や身体への装着が可能になるこ仮想ディスプレイの端をつまむジェスチャを行いその後手を動かすことで仮想ディスれにより場所を選ばず屋外などでも実世界指向のナチュラルユーザインタフェースを利プレイのサイズ変更を行うことができる仮想ディスプレイを適切なサイズにすることで用可能になると考えられる情報を理解しやすくなると考えられる例えば小さな仮想ディスプレイに表示して 1 人で 2.4 ハンドジェスチャによる操作見ていた情報を他のユーザに見せたい場合仮想ディスプレイを大きくすることで見やすくユーザは視界内の仮想ディスプレイに対してハンドジェスチャを行うことでその仮想することができる図 4 にサイズ変更操作の様子を示すディスプレイを操作することができる端末を通さずに操作を行うため利用端末による作業方法に差がなく直感的に作業を行える各操作は仮想ディスプレイに触れずに距離を無視して行うことも可能であるこれにより手の届かない場所にある仮想ディスプレイの操作を行えるため大画面の操作や多人数での利用が容易になると考えられる移動操作仮想ディスプレイに対して指を二本出した状態で手を動かすことで仮想ディスプレイの移動を行うことができるこれによりユーザが仮想ディスプレイを使いやすい状態に再図 4 サイズ変更操作の様子操作前 (左) と操作後 (右) 配置することが可能になり大量のデータを扱う場合などに行う情報の整理が容易になると考えられる図 3 に移動操作の様子を示す書き込み操作仮想ディスプレイに対して指を一本出した状態で手を動かすことで書き込みを行うことができる書き込みの対象とする仮想ディスプレイに指先が重なった状態で手を動かすと指先の軌跡が書き込まれていくこの操作により表示している資料への注釈などを入れることができる書き込み操作の様子を図 5 に示す図 3 移動操作の様子操作前 (左) と操作後 (右) 図5 1 Kinect, 書き込み操作の様子操作前 (左) と操作後 (右)

4 ( ) ( )

3.2 Kinect emagin 1 Z800 3DVISOR Kinect Kinect Kinect RGB 8 Kinect 3.3 8 Kinect C# Microsoft Visual C# 2010 2 Kinect SDK OpenNI 3 DirectX 4 1 emagin, http://www.emagin.com/ 2 Microsoft Visual C# 2010, http://www.

5 3.2 Kinect emagin 1 Z800 3DVISOR Kinect Kinect Kinect RGB 8 Kinect Kinect C# Microsoft Visual C# Kinect SDK OpenNI 3 DirectX 4 1 emagin, 2 Microsoft Visual C# 2010, 3 OpenNI, 4 DirectX, ARToolKit NyARToolKit 5 ARToolKit ( ) ( ) ( ) CandescentNUI 6 CandescentNUI Kinect CandescentNUI XY ( 5 NyARToolKit, 6 Candescent NUI,

6 ) z z = 0 (x, y) (x, y, 0) z DirectX (x, y, 0) Hover Hover Change Hover Move Change 0 2 State Move Change 0 State Change Move NyARToolKit 3.4 PHP MySQL PHP

7 3.4.1 ID Displays 1 Displays 1 Displays id int unsigned primary key ID ox int X oy int Y oz int Z width int unsigned height int unsigned anglex int X angley int Y anglez int Z imgurl text URL zoom float lastupdatetime datetime Drawing X(X: ID) Drawing X ID X 2 Drawing X 2 Drawing X id int unsigned primary key ID x int X y int Y xarray text X yarray text Y strokestyle mediumint unsigned strokewidth tinyint unsigned drawtime datetime PHP REST API API get.php get.php get.php get.php get.php Displays lastupdatetime Drawing X drawtime move.php move.php ID XYZ move.php Displays ID ox,oy,oz lastupdatetime draw.php draw.php ID draw.php ID Drawing X drawtime Displays lastupdatetime

8 Newcombe KinectFusion 14) DTAM 15) 3 KinectFusion DTAM )11) Kinect Ubi-Finger 12) Kinect 5.2

9 13) Web 4) Bandyopadhyay,D., Raskar,R. and Fuchs,H.: Dynamic shader lamps: Painting on movable objects, Proc. of International Symposium on Augmented Reality, pp (2001) 5),, : AR, 2011, 2SCL-17, pp (2011) 6) : ARToolKit,. PRMU, 101(652), pp.79-86(2002) 7) Klein,G. and Murray,D.: Parallel Tracking and Mapping for Small AR Workspaces, Proc. International Symposium on Mixed and Augmented Reality (ISMAR 07, Nara), pp (2007) 8), :,,, (DICOMO2011), pp (2011) 9) Harrison,C., Benko,H. and Wilson,A.: OmniTouch: Wearable Multitouch Interaction Everywhere, UIST 2011, pp (2011) 10),,, : :,. PRMU, 100(565), pp.69-76(2001) 11),,,, : :, 25(85), pp.47-52(2001) 12), : Ubi-Finger :, 43(12), pp (2002) 13),, : :, 34(25), pp.57-62(2010) 14) Newcombe,R., Izadi,S., Hilliges,O., Molyneaux,D., Kim,D., Davison,A., Kohli,P., Shotton,J., Hodges,S. and Fitzgibbon,A.: KinectFusion: Real-time dense surface mapping and tracking, 10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp (2011) 15) Newcombe,R., Lovegrove,S. and Davison,A.: DTAM: Dense tracking and mapping in real-time, Proc. IEEE International Conference on Computer Vision (ICCV), pp (2011) 1) :, (2012) 2), :, 73 (4), pp (2012) 3) Azuma,R.: Survey of Augmented Reality, Teleoperators and Virtual Environments 6, 4, pp (1997)

IPSJ SIG Technical Report Vol.2009-DPS-141 No.20 Vol.2009-GN-73 No.20 Vol.2009-EIP-46 No /11/27 1. MIERUKEN 1 2 MIERUKEN MIERUKEN MIERUKEN: Spe

IPSJ SIG Technical Report Vol.2009-DPS-141 No.20 Vol.2009-GN-73 No.20 Vol.2009-EIP-46 No /11/27 1. MIERUKEN 1 2 MIERUKEN MIERUKEN MIERUKEN: Spe 1. MIERUKEN 1 2 MIERUKEN MIERUKEN MIERUKEN: Speech Visualization System Based on Augmented Reality Yuichiro Nagano 1 and Takashi Yoshino 2 As the spread of the Augmented Reality(AR) technology and service,