NAIST-IS-MT9951130 2001 2 9
( )
3 360 HyperOmni Vision 360 CG 3, NAIST-IS- MT9951130, 2001 2 9. i
2 HyperOmni Vision ii
Teleoperation of a Mobile Robot by Telepresence with an Omnidirectional Sensor 3 Misato Yoneda Abstract Recently research of telepresence which improves the ecientry of teleoperating remote robots is getting popular A stereoscopic camera realizes telepresence for teleoperation However when an operator looks around there is time delay in acquisition of an image in that direction In this paper a new method to realize a telepresence for teleoperation without such time delay is proposed In this method an omnidirectional image sensor is placed on a mobile robot in order to present monocular images when the robot is moving and present binocular stereo images generated from a sequence of omnidirectional images when the robot stands still Using the proposed method a user can look around the scene with depth perception without signicant time delay. A teleoperation system based on the proposal method is built for proving the feasibility In the system ultlasonic sensors are also used to avoid obstacles and an arrow is superimposed on the real scene image around the robot to indicate the moving direction Experiments have been carried out in an indoor environment forevaluating the proposed method Keywords: mobile robot teleoperation telepresence omnidirectional image sensor binocular stereo HyperOmni Vision 3 Master's Thesis, Department of Information Systems, Graduate School of Information Science, Nara Institute of Science and Technology, NAIST-IS-MT9951130, February 9, 2001. iii
1. 1 1.1 : : : : : : : : : : : : : : : : : 1 1.2 : : : : : : : : : : : : : : : : : : 2 1.3 : : : : : : : : : : : : : : : : : : : : : : : 5 2. 7 2.1 HyperOmni Vision : : : : : : : : : : : : : : : : 7 2.1.1 HyperOmni Vision : : : : : : : : : : : : : : : : : : 7 2.1.2 : : : : : : : : : : : : : : : : : : 10 2.2 : : : : : : : : : : : : : : : : : : : 10 2.3 : : : : : : : : : : : : : : : : : : : 11 3. 13 3.1 : : : : : : : : : : : : : : : : : 13 3.2 : : : : : : : : : : : : : : : : : : : : : : : : 16 3.2.1 : : : : : : : : : : : : : : : : : : : : : : : 17 3.2.2 : : : : : : : : : : : : : : : : : : : : : : : : : 18 4. 20 4.1 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20 4.1.1 : : : : : : : : : : : : : : : : : : : : : : : : : : 20 4.1.2 : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23 4.1.3 : : : : : : : : : : : : : : : : : : : : : : : : : : : : 26 4.2 : : : : : : : : : : : : : : : : : : : : : : : : : : : : 26 4.3 : : : : : : : : : : : : : : : : : : : : : : : : : : : 28 4.3.1 1 : : : : : : : : 28 4.3.2 2 : : : : : : : : 30 4.3.3 : : : : : : : : : : : : : : : 30 iv
5. 35 37 38 v
1 remote realty: : 4 2 mobile robot: : 5 3 HyperOmni Vision : : : : : : : : : : : : : : : : : : : : : : : : : : 8 4 : : : : : : : : : : : : : : : : : : : : : : 11 5 : : : : : : : : : : : : : : : : : : : : : : : : : 12 6 : : : : : : : 13 7 : : : : : : : : : : : : : : 14 8 Nomad200 : : : : : : : : : : : : : : : : : : 15 9 : : : : : : : : : : : : : 16 10 : : : : 17 11 : : : : : : : : : : : : : : : : : : : 18 12 : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19 13 CG : : : : : : : : 19 14 ( ) : : : : : : : : : : : : : : : 22 15 : : : : : : : : : : : : : : : : : : 22 16 ( ) : : : : : : : : : : : : : : : : : : : : : : : : 23 17 1 ( : : : a b c) : : : : : : : : : : : : : : : : : : : : : : : : : 24 18 2 ( : : : a b c) : : : : : : : : : : : : : : : : : : : : : : : 24 19 3 ( : : : a b c) : : : : : : : : : : : : : : : : : : : : : : : 25 20 4 ( : : : a b c) : : : : : : : : : : : : : : : : : : : : : : : 25 21 ( ) : : : : : : : : : : : : : : : 27 22 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 29 23 d : : : : : : : : : : : : : : : : : : : : : : : : : 30 24 d : : : : : : : : : : : : : : : : : : : : : : : : : 31 vi
25 : : : : : : : : : : : : : : : : : : : : : : 32 26 : : : : : : : : : : : : : : : : : : : : : : : : : 34 1 HyperOmni Vision(1) : : : : : : : : : : : : : : : : : 9 2 HyperOmni Vision(2) : : : : : : : : : : : : : : : : : 9 3 : : : : : : : : : : : : : : : : : : : : : : : 21 4 : : : : : : : : : : : : : : : : : : : : : : : 27 5 : : : : : : : : : : : : : : : : : : : : : : 28 6 : : : : : : : : : : : : : : : : : : : : : : : : : : : : 32 vii
1. 360 1.1 [1] [2] CCD PHS TMSUK[3] WWW [4] 1
1.2 [5] [6] 360 360 [7] telesar [8] 2
360 Virtual Dome [9] [10] 360 [11, 12, 13] 360 remote reality [14] HMD 1 Hand Held TV Recorder mobile robot [15] 3
1 remote realty: ( 2) 2 360 [16] HyperOmni Vision[17] HyperOmni Vision 360 4
2 mobile robot: 1.3 2 [18][19] 1 ( ) 2 CG 360 5
2 2 3 CG 4 6
2. HyperOmni Vision 360 HyperOmni Vision 2.1 HyperOmni Vision 360 HyperOmni Vision HyperOmni Vision [20] 2.1.1 HyperOmni Vision 2 HyperOmni Vision HyperOmni Vision(1) HyperOmni Vision(2) HyperOmni Vision 3 3(a) (b) HyperOmni Vision(1) HyperOmni Vision(2) 2 3(c) 2 O m O c O m O c 3(c) Z 3 7
(a) HyperOmni Vision(1) (b) HyperOmni Vision(2) (c) 3 HyperOmni Vision 8
1 HyperOmni Vision(1) 42.1 mm a b c f 42.7 mm 59.1 mm 150 mm 5.4{64.8 mm 1/3" IT CCD 20 90 a b c f 2 HyperOmni Vision(2) 25.09 mm 42.08 mm 59.1 mm 62 mm 5.4{64.8 mm 1/3" IT CCD 30 90 (X Y Z) O m O c (1) HyperOmni Vision 1 2 : X 2 + Y 2 0 Z 2 = 01 a 2 b 2 (Z >0) O M : (0 0 + c) c = p a 2 + b 2 (1) O C : (0 0 0 c) a b c : 9
O M O C O C O M ( ) O M O C 3 P (X Y Z) p(x y) (2) ( 3(c) ) x = y = Xf(b 2 0 c 2 ) (b 2 + c 2 )(Z 0 c) 0 2bc q Yf(b 2 0 c 2 ) (b 2 + c 2 )(Z 0 c) 0 2bc q X 2 + Y 2 +(Z 0 c) 2 X 2 + Y 2 +(Z 0 c) 2 (2) 2.1.2 HyperOmni Vision 4(a) O M 360 O M 1 4(a) 4(b) 4(a) 4(a) 360 4(b) 2.2 10
(a) (b) 4 HyperOmni Vision [20] 90 2.3 5 11
(ÞW (ÞW (Þ4 ~ƒ1á ¹Ýv p 1bN 5 6 ( ) 12
Àá ÞPÏÎ Àá Þ"Ç0 Àá1KÇÏ¹Ý ~ƒ1á á10 á Þ"Ç0 á ÞPÏÎ ~ƒ1 Á ¹Ý Þ" Ç0 á1kçï¹ý 6 3. CG 3.1 3.2 3.1 7 2 PC 13
3D ÛÇv p XÞéÇ¹Ý HMD s _ t ^~j notepc á10 ÿèúç0é UHFu" šï KÇÏ¹Ý KÇÏ¹Ý v p ÿ èúç0é GÞnŽ u"lan G ~ƒ _j t f 2Þ* Òþ 7 LAN HMD UHF HMD 3D HMD 8(a) Nomad200 Nomad200 8(b) 360 74cm 16 14
å Dv p FP (a)nomad200 (b)nomad200 8 Nomad200 2 9(a) 2 5 2 5 0 2 15
Ú ~ƒ ~ƒ+ú F1 "ètn Nf21ÿo Ú Á 1f2 1ÿo ~ƒ+ú F1 t Ç0 Ú (a) (b) 9 9(b) 90 2 3.2 CG 2 CG 16
¹Ý 2Þ CG tç0 Òþ tç0 G» 10 3.2.1 ( ) Nomad HMD 10 11(a) E R R 11(b) R 17
"( "5 "(Þ"Ç0 "5ú ~ƒ1tç0 ÞP ÞPÏÎ _œ s &*+ÏÎ ~ƒ1tç0 Þ"Ç0 Þ"Ç0 (a) 11 (b) 3.2.2 2.3 HMD CG 12 2 CG 2 CG 3 13 CG 18
G» 12 CG*+N å" 13 CG 19
4. 4.1 CG 4.1.1 3 14 HyperOmni Vision(1) 14 14 10cm HyperOmni Vision 12.5cm/ 20 / 720 486 50 720 486 45 / 2 1 0.1 ( 80 ) 15 20
3 HMD LAN HyperOmni Vision(1) Nomad-200 SGI Onyx2 IR2 (MIPS R10000 195MHz 16CPU) POLHEMUS 3SPACE FASTRAK OLYMPUS Mediamask RangeLAN2 (1.6Mbps) Premier Wireless CS-200 HMD 80 2 6.5cm 101cm(40inch) 15.2cm(6inch) 101cm(40inch) 15.2cm(6inch) SGI onyx2 IR2(16CPU) 920cm 920cm 16 21
14 ( ) ¹Ýv v p 1 è ØFP1 ^U é Á +ÀÞP ÏÎ+1ú 2 F öîõ îõ#- ¹ÝçFÒ 2 á10 Þ"Ç0 (Þ W} (Þ W} (Þ W} 15 22
2 Þ * D E ó F E D ô F D ò E F D ñ E F 16 ( ) 4.1.2 16 1 4 4 17 20 16 a b c 17 20 a b c( a b c ) HMD 1 1/30(0.033) 1 0.016 HMD 1/30(0.033) 0.1 0.016 0.033 23
17 1 ( : : : a b c) 18 2 ( : : : a b c) 24
19 3 ( : : : a b c) 20 4 ( : : : a b c) 25
4.1.3 0.1 40 HMD 0.31cm 0.31cm 1 HMD 4.2 21 4 HyperOmni Vision(2) ( 1) ( 2) 1 22 1 2 8 8 HMD HMD 8 4 1 26
_j KÇÏ¹Ý v p +0' ó'ûçv p u"¹ýµm]î ~ƒñ s _t ^~j _j 2Þ* 21 ( ) HMD LAN 4 HyperOmni Vision(2) Nomad-200 SGI Onyx2 IR2 (MIPS R10000 195MHz 16CPU) POLHEMUS 3SPACE FASTRAK OLYMPUS Mediamask RangeLAN2 (1.6Mbps) RF SYSTEM lab MICROWAVE LINK(BS-120GR) 27
5 a b c d 4'01" 4'50" 5'40" 6'57" ( ) 2 2 2 2 4 2 2 4.3 4.3.1 1 4 (a d) 23 24 23 (A)(B)(C)(G) (D)(H)(I) (E)(F)(J) CG 2 4 5 4 28
Ú o þp ÑE ÑE tz ƒþp (a) (b)-1 (b)-2 (b) 22 29
) ( o þp t Ç0 ' $ *, - * + & % tz ƒþp Ú $%&* '+, ()- GA HÞAè¹ÝþÍé HÞAèt 23 d èt e+é 4.3.2 2 2 25 4 4.3.3 6 8 (a h) 1 5 ( 5 4 3 2 1 ) 30
(a) (b) (c) (d) (e) (f) (g) (h) (i) (j) (a) (b) (c) (d) ( left,right) 24 d 31
25 6 a b c d e f g h (1) 4 4 3 4 3.75 3 5 4 4 4.0 (2) 3 2 4 5 3.5 1 1 3 5 2.5 (3) 4 3 4 2 3.25 3 3 2 2 3.0 (4) 4 2 4 4 3.5 5 5 4 4 4.5 (5) 4 1 5 3 3.25 4 2 4 4 3.5 (6) CG 5 5 5 5 5 5 5 5 5 5.0 32
(1) (2) 2 (4) (3) 1 26 CG HMD CG (5) (6) CG 33
~ƒ1 26 34
5. HyperOmni Vision 360 CG 8 360 CG 3 80 8 8 35
[21, 22, 4, 23] 36
37
[1] \ " (1998). [2],, \ ",, pp. 445{450 (2000). [3] \ ", "http://www.tmsuk.co.jp/". [4],,,,, \ ", '00, pp. 2P1{35{047 (2000). [5] \ ",, vol 11, no 11, pp. 6{10 (2000). [6] E. Saied Moezzi: \Special issue on immersive telepresence", IEEE MultiMedia, vol 4, no 1, pp. 17{56 (1997). [7] K. Pahlavan and J. Eklundh: \Heads,eyes and head-eye systems", ACTIVE ROBOT VISION, pp. 33{49 (1993). [8] \ ",, vol 4, no 1, pp. 64{67 (1999). [9] M. Hirose, K. Yokoyama and S. Sato: \Transmission of realistic sensation: Development of a virtual dome", Proc of Virtual Realty Annual Int Symposium, pp. 23{28 (1992). [10],, \ ",, CVIM115-16, (1999). [11] S. E. Chen and L. Williams: \View interpolation for image synthesis", Proc. SIGGRAPH'93, pp. 279{288 (1993). 38
[12] M. Kato and H. Noyama: \International visual simulation in a quasi-threedimentional world based on the structuralization of images", Proc Int Conf on Articial Reality andtele-existence, pp. 101{110 (1995). [13] S. M. Seitz and C. R. Dyer: \View morphing", Proc SIGGRAPH'96, pp. 21{30 (1996). [14] C. Power and T. E..Boult: \Evaluation of omnidirectional vision sensor for teleoperated target detection and identiation", Proc Workshop on Vehicle Teleoperation Interfaces, pp. 299{306 (2000). [15] G. Thomas: \Real-time panospheric image dewarping and presentation for remote mobile robot control", Journal of Robotics and Autonomous Systems (2000). [16],,, \ ",, PRMU99-159, (1999). [17],, \ hyperomni vision ",, vol J79-D-II, no 5, pp. 698{707 (1996). [18],,, \ ", 2000, pp. D{12{53, 240 (2000). [19],,, \ ",, PRMU00-170, (2000). [20] Y. Onoe, K. Yamazawa, H. Takemura and N. Yokoya: \Telepresence by realtime view-dependent image generation from omnidirectional video streams", Computer Vision and Image Understanding, vol 71, 2, pp. 154{165 (1998). [21] H.Kuzuoka, S.Oyama, K.Yamazaki, K.Suzuki and M.Mitsuishi: \Gestureman:a mobile robot that embodies a remote instructor's actions", Proc CSCW'2000, pp. 299{306 (1999). 39
[22] E.Paulos and J.Cannly: \Designing personal tele-embodiment", Proc IEEE Int Con on Robotics and Automation, pp. 3173{3178 (1998). [23],,, \ interrobot ", '00, pp. 1P1{77{118 (2000). 40