- PDF 無料ダウンロード

Size: px

Start display at page:

Download ""

あきたけかなり
5 years ago
Views:

1 修士論文の和文要旨研究科専攻大学院情報理工学研究科情報通信工学専攻博士前期課程氏名春田英和学籍番号論文題目さわれる拡張現実感システムの検討要旨本研究では,AR(Augmented Reality,AR) と様々な入力デバイスを用いた 3DCG モデリングシステムを実装し, さらに物理エンジンと組み合わせることで, さわれる拡張現実感 (AR) システムの有効性を確認した. 拡張現実感は実世界の映像に CG モデルや情報を重畳表示し, 現実世界を拡張したり, 情報を付加する技術である. 近年ではスマートフォンのように, カメラとディスプレイが一体となっている携帯端末が多く普及している為 AR アプリケーションを手軽に体験できる. しかしほとんどの AR アプリでは, ユーザーのできることが見ることだけにとどまっている. そこで AR を使ったアプリの幅を広げるために新しいインタラクションを追加する意義があると考え, 様々なインタラクションの中で " さわる " という操作に着目した. 本研究では, 目的として掲げた " 見るだけでなくさわれる AR" を実現するために, まず CG モデルの全ての頂点を管理する必要がある 3DCG モデリングシステムを実装し, 評価実験を行った. また, 実装するにあたって, 手の指を使った直感的な入力が可能である 2 つのデバイスを使用した.1つ目が KINECT で,2つ目が LEAP motion である. さらに, さわれる AR を使った 1 例として物理エンジンを組み合わせることで, 手の動きによって仮想的な壁を破壊するアプリケーションを実装した. 実験の結果, 両デバイスにおいて CG モデルの形状変形を確認できた. 比較すると,LEAP motion を使用したシステムの方が直感的な操作をできる感覚があった. しかし, 両デバイスを使用した場合ともに, 具体的な物体の形状モデリングが可能と言えるクオリティではなかった. 一方, 物理エンジンを使用したシステムでは拳がまるで CG モデルの壁を破壊するような感覚を得られた. 今回開発した 3DCG モデリングシステムには, 精度,AR の表示に関する問題など複数の研究課題が残っている. 物理エンジンを使用したシステムでは, 物理エンジンの AR との親和性の高さを確認すると共に今後様々な用途に応用できる可能性を見出した.

3 (Augmented Reality AR) 3DCG CG AR AR AR AR CG 3DCG 2 KINECT LEAP motion AR 1 CG LEAP motion CG 3DCG AR AR

4 ARToolKit DCG PHANTOM KINECT LEAP motion :AR-Jig AR DCG OpenGL CG KINECT AR LEAP

5 AR PhysX PhysX DCG KINECT LEAP motion AR AR CG

6 (CG) HMD (Head Mounted Display) (Augmented Reality AR) [1] AR CG AR CG AR AR CG 3 AR 3DCG

7 AR AR 2 AR 3 3 AR 4 3DCG 3DCG AR 5 PhysX AR 6 3DCG AR 7

8 5 2 AR 2.1 (AR) CG AR 3DS( 2.1)[2] PlayStation Vita( 2.2)[3] AR 2.1: 3DS AR : [2]

9 : PlayStationVita AR :SCE[3] CG AR 3 (1) CG (2) (3) CG 2

10 2 7 CG 2.2 ARToolKit AR AR 1 ARToolKit[4] AR ARToolKit C

11 ARToolKit [5] [X C Y C Z C 1] T [X m Y m Z m 1] T : 2.4: [6]

12 9 3 3 AR 3.1 3DCG 3DCG 3D 3DCG 3DCG 3DCG 3DCG 3 2 3DCG x-y z x-y-z 3 3

3 10 3.2.1 PHANTOM 3 SensAble PHANTOM[7] 3.

13 PHANTOM 3 SensAble PHANTOM[7] 3.1 PHANTOM [8] [9][10] PHAN- TOM 1 3.1: PHANTOM

14 [11] ( 3.2) 3.2: ( [11] 1)

15 3 12 CG 40 3D : ( [11] 11) 3.4: ( [11] 12)

16 DCG : ( [11] 13) 3.6: 3DCG ( [11] 14)

3 14 3.2.3 KINECT 3 KINECT[12] KINECT Xbox360 KINECT 3.

17 KINECT 3 KINECT[12] KINECT Xbox360 KINECT 3.7 RGB LED KINECT PC PC KINECT KINECT KINECT SDK 3.7: KINECT

18 3 15 KINECT KINECT LEAP motion LEAP motion[13] 2012 LEAP 3 1/100mm 3 60fps 214fps 120fps KINECT 30fps LEAP LEAP 2 LED LED 2 3D LEAP motion SDK 3 3 LEAP motion KINECT API 3.8: LEAP Motion [14]

19 :AR-Jig 3 [15] PHANTOM ( ) AR AR AR 3.9: AR-Jig ( [15] 1)

20 : AR-Jig ( [15] 2) HMD(Head Mounted Display) AR 2 AR 3

21 CG 3 AR 3DCG AR 1 1 AR AR 3DCG

22 19 4 3DCG 3DCG 3DCG CG AR 4.1 OpenGL CG CG OpenGL GLUT CG

23 4 3DCG : (1) 4.2: (2)

24 4 3DCG GLUT OpenGL

25 4 3DCG AR 4.2 KINECT 3 KINECT KINECT KINECT 4.3 KINECT 2 KINECT web 4.3: (KINECT )

26 4 3DCG KINECT ( ) KINECT KINECT Jagdish L. Raheja [16] KINECT mm 4000mm xy 4. KINECT cm ( 4.4 ) cm ( 4.5 )

27 4 3DCG : 4.5:

28 4 3DCG KINECT KINECT ( 4.7 ) 4.6: 4.7:

29 4 3DCG : x 4.8 y z x ( 4.8 ) KINECT 4.9

30 4 3DCG : 4.9a) 4.9b) 1 4.9c)

31 4 3DCG AR AR KINECT AR KINECT KINECT AR AR AR KINECT KINECT AR 4.10 KINECT 4.11 AR 4.10: KINECT [12] 4.11: AR [4]

32 4 3DCG 29 KINECT AR AR AR AR KINECT AR KINECT 4.12 AR AR KINECT 4.12:

33 4 3DCG 30 KNIECT 4.13( [17] ) LED 4.13 KINECT x d (x,y) d[x][y] x y 4.13: KINECT (1)( [17] )

34 4 3DCG : KINECT (2)( [17] ) x x x x[0] 4.14 x LED 2 x y

35 4 3DCG : KINECT (3)( [17] ) KINECT x( y) d KINECT i,j 4.15 x x y d tan(57 2) 320(640 2) i (4.1) d tan(43 2) 240(240 2) j (4.2) 2

36 4 3DCG 33 AR CG CG CG AR KINECT CG CG CG 180 CG KINECT CG AR CG 1 2 AR : ( [5] 6-9)

37 4 3DCG (x c y c z c ) 1 (x 1 y 1 z 1 ) 2 (x 2 y 2 z 2 ) T 1 T 2 x c y c z c = T 1 1 T 1 x 1 y 1 z 1 1 x 1 y 1 z 1 1 x 1 y 1 z 1 1, x c = T 2 = T 1 y c z c = T 2 1 x 2 y 2 z T z ( ) CG x 2 y 2 z 2 1 x 2 y 2 z 2 1

38 4 3DCG : 4.18: AR A 5 A B B C ARToolKit C B B

39 4 3DCG : CG A B A CG A B B A A A CG

40 4 3DCG LEAP 3 LEAP motion LEAP motion SDK KINECT LEAP motion KINECT LEAP motion : (LEAP )

41 4 3DCG LEAP motion 3.8 API LEAP motion KINECT API KINECT LEAP motion LEAP motion ID ID ID ID LEAP motion

第4章 4.3.3 3DCG モデリングシステムの開発 39 ソフトウェアによる補正 LEAP motion は KINECT を遥かに上回る速度で検出できるそのため 1 フレームで移動する指の間隔が短くなるのでソフトウェアによる補正は必要ないと判断し検出した指の座標をそのままユーザー操作の球体の座標への入力値とした 4.3.4 AR マーカーの構成 LEAP motion を使用した場合の AR マーカーの構成は KINECT とは異なる LEAP motion は KINECT のようにマーカーと離れる必要はないので KINECT のようにデバイス自身がマーカーを認識している必要はなくなる以上のことより図 4.

42 第4章 DCG モデリングシステムの開発 39 ソフトウェアによる補正 LEAP motion は KINECT を遥かに上回る速度で検出できるそのため 1 フレームで移動する指の間隔が短くなるのでソフトウェアによる補正は必要ないと判断し検出した指の座標をそのままユーザー操作の球体の座標への入力値とした AR マーカーの構成 LEAP motion を使用した場合の AR マーカーの構成は KINECT とは異なる LEAP motion は KINECT のようにマーカーと離れる必要はないので KINECT のようにデバイス自身がマーカーを認識している必要はなくなる以上のことより図 4.21 のようなマーカー構成となった図 4.21: AR マーカーの構成 (LEAP motion 使用時)

43 40 5 PhysX PhysX AR AR CG AR AR 3DCG 5.1 ( ) 5.2 PhysX PhysX NVIDIA C OpenGL GLUT

44 PhysX PhysX AR 3DCG PhysX CG CG PhysX 5.1 PhysX ( ) ( ) 5.1:

45 PhysX CG 3DCG PhysX getlinearvelocity get x y z puttosleep setlinearvelocity addforce puttosleep 1 puttosleep

46 43 6 3DCG AR 6.1 3DCG 3 3DCG CG OS Windows7 Professional 64bit Intel(R) Core(TM)i7 CPU 920 (RAM) 4GB(2GB 2) GPU NVIDIA Quadro 2000D KINECT for Windows LEAP motion KINECT KINECT CG

47 第6章システムの評価図 6.1: KINECT を使用した場合の初期状態図 6.2: KINECT を使用した場合のモデリング後 44

48 LEAP motion LEAP CG : LEAP motion 6.4: LEAP motion

49 : KINECT LEAP motion KINECT LEAP motion 12.5fps 23.5fps 1.3mm 2.2mm 1/100mm 1.2m 0.4m 0.5m 0.5m LEAP motion KINECT mm KINECT 80cm 1m 20cm 6.2 PhysX AR KINECT LEAP motion LEAP motion fps

50 第6章システムの評価 47 図 6.5: 入力前図 6.6: 手を動かした後

51 LEAP motion LEAP motion LEAP motion KINECT 2 KINECT fps KINECT 12.5fps LEAP motion 23.5fps fps AR 23fps LEAP motion KINECT LEAP motion ID ID ON/OFF AR AR CG ( ) 3 AR CG AR

52 AR AR AR AR AR CG CG CG AR

53 DCG AR 3 AR AR AR KINECT AR CG CG KINECT CG CG KINECT AR LEAP motion KINECT LEAP motion CG LEAP motion 2 AR AR CG AR CG AR

54 CG LEAP motion CG AR CG HMD CG AR AR

55 52

56 53 [1] T. Azuma: A Survey of Augmented Reality. Presence, Vol. 6, No.4, pp , 1987 [2], 3DS, [3] SonyComputerEntertainment,PlayStationVita, [4], ARToolKit,. PRMU, , pp79-86, 2002 [5], ARToolKit,, 2008 [6] [7] Thomas H. Massie and J. K. Salisbury: The PHANToM Haptic Interface: A Device for Probing Virtual Objects; Proc. ASME Winter Annual Meeting, Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, pp (1994) [8], FreeForm, [9] A. D. Gregory, S. A. Ehman, and M. C. Lin, intouch: Interactive Multiresolution Modeling and 3D Painting with a Haptic Interface, In Proceedings of the IEEE Virtual Reality 2000 Conference, pp , [10] M. Foskey, M. A. Otaduy, and M. C. Lin, ArtNova: touch-enabled 3D model design, ACM SIGGRAPH 2005 Courses, [11],,,,, 16(3), , [12] Microsoft,KINECT, [13] LEAP motion, LEAP motion,

57 54 [14] LEAP : [15], : 3 13(2), , [16] Jagdish L. Raheja, Ankit Chaudhary, Kunal Singal Tracking of Fingertips and Centers of Palm Using KINECT, CIMSIM 11 Proceedings of the 2011 Third International Conference on, pp , 2011 [17] NeaReal

25 AR 3 Property of three-dimensional perception in the wearable AR environment

25 AR 3 Property of three-dimensional perception in the wearable AR environment 1140378 2014 2 28 AR 3 AR.. AR,. AR. 2, [2]., [3]., AR. AR. 3D 3D,,., 3D..,,,,. AR,, HMD,, 3 i Abstract Property of three-dimensional