dthesis.dvi

Transcription

1 NAIST-IS-DD

2 ( )

3 3 1 3, NAIST-IS- DD , i

4 2 3 GPS 4 5 ii

5 Construction of Telepresence Systems Using an Omnidirectional Multi-camera System 3 Sei Ikeda Abstract Telepresence system using real images provides us with a rich sense of presence in a remote site. The sense of presence is created by reproducing a eld of view according to the change of position and direction of user's view. Telepresence system can be classied into two types according to whether the movement of user's virtual view position is active or passive. Forbothtypes, it is required to provide a user with a rich sense of presence without increasing human cost for generating image contents. The purpose of this study is to develop image generation/presentation methods for passive and active telepresence systems toprovide a high-quality sense of presence. To reproduce a rich sense of presence, highresolution and omnidirectional videos acquired with an omnidirectional multicamera system are presented, and an image presentation which maintains the temporal continuity of the videos are employed. The active type especially needs toconsider some other issues including user interface to decide the movement of view point and image presentation methods suitable for the user interface. For an active telepresence system, an image presentation system using locomotion interface is proposed. In this system, the image is presented considering the variation in head position caused by user's locomotion and unintended movement of omnidirectional multi-camera system in image acquisition. In this dissertation, 3 Doctoral Dissertation, Department of Information Systems, Graduate School of Information Science, Nara Institute of Science and Technology, NAIST-IS-DD , March24, iii

6 Chapter 1 gives a perspective of the study in the area of telepresence. Chapter 2 describes a method for estimating intrinsic camera parameters required for generation of spherical video and estimation of speed and pose of omnidirectional multi-camera system. Chapter 3 describes a method for estimating extrinsic parameters which represent the position and pose of omnidirectional multi-camera system. To avoid accumulative errors in parameter estimation, GPS position of information is combined with a feature tracking-based method. Chapter 4 describes an immersive display system using a locomotion interface and an image generation method based on estimated parameters. Chapter 5 gives conclusions. Keywords: Telepresence, Image-based Rendering, Omnidirectional Multi-camera System, Camera Calibration, Sense of Presence iv

7 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Ladybug : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 46 v

8 2.6.5 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : GPS : : : : : : : : : : : : : : : GPS : : : : : : : : : : : : : : GPS : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : vi

9 94 vii

10 1 CRT [CB61] : : : : : : : : : : : : : : 2 2 ( : NHK 21) : : : : : : : : 9 3 : : : : : : : : : : : : : : : : : 11 4 Ladybug ( ) ( ) : : : : : : : : : 18 5 Ladybug ( ( ) ( )) : : : 19 6 Ladybug : : : : : : : : : : : : : : : : : : : 19 7 : : : : : : : : : : : : : : : : : : 21 8 : : : : : : : : : : : : : : : : : : : : : : 25 9 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : cos 4 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : (R ) : : : : : : : : : : : : : : : : (G ) : : : : : : : : : : : : : : : (B ) : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Ladybug : : : : : : : : : : : : : : : : : : : : : : ( ( ) ( )) : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 46 viii

11 29 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 55 34! : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : GPS : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : GPS : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 91 ix

12 1 : : : : 5 2 : : : : : : : : : : : : : : : : : : : : : : : 11 3 Ladybug : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20 4 : : : : : : : 23 5 : : : : : : : : : : : : : : : : : : : : : : 33 6 [pixel] : : : : : : : : : : : : : : : : : : : : [rad] : : : : : : : : : : : : : : : : 47 8 : : : : : : : : : : : : : : : : : 48 9 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 88 x

13 telepresence 1980 MIT Massachusetts Institute of Technology Marvin Minsky Minsky OMNI [Min80] Lauel Sheridan [LF92] (teleoperation) [ 00, GADS04] (teleconference) [Jou02, J. 04] (surveillance) [PGA + 00] Philco Comeau HEADSIGHT [CB61] 1

14 1 CRT [CB61] 1 CRT,,., 360 [ZSE86, SE87, Mov99, JXB + 91, YYM02, 02, YKNH98, SKN03, TKHN98, FC200, Poi02, HKCY00]., 360 [ 98, 05]. 2

15 1 Lipman Aspen Movie-Map [A. 80] Chen QuickTime VR [Che95] 2 QuickTime VR Taylor VideoPlus [C. 02] Aspen Movie-Map [A. 80] QuickTime VR [Che95] 3 [A. 80, Che95, C. 02] 3 Kanade Virtualized Reality [TPP97] [THKM00, DTF + 01] [JHNK00] 3

16 [ 98, 05] 4

17 [C. 02, MAS + 04] 1 Comeau HEADSIGHT [TG00] 1 HEADSIGHT [CB61] 5

18 (i) :,. (ii) :, (iii) : (iv) :,,. 6

19 (v) : (vi) :

20 1.4,.,, 1, ,.,. : [ZSE86, SE87, Mov99] 360.,.,,. : [JXB + 91, YYM02, 02],,. [JXB + 91], [YYM02], [ 02], [S. 97], 8

21 2 ( : NHK 21)., 2,.,, 1,. [KHN02], ,.,

22 ,. : [TKHN98, FC200], 360..,. : [Poi02, HKCY00].,,..,..,, ,,,,,.,,..,, 10

23 (a) [TKHN98] (b) SOS [HKCY00] 3 2 HD,.,,.,. 11

24 ,.,,., [TKHN98], 3(a),.,,.,.,.., [ 99] [ 02]., [TKHN98],,. CYLINDRA[JHNK00, 00],,., 3(b) 12

25 (SOS)[HKCY00] 6 COSMOS[TMY98],.,, SOS.,,,.,,.,,,., [ 03] [FZ98, PKV + 00, Dav03, SKYT02, CMC03, VLF04, GF03] [FZ98, PKV + 00] [Dav03, SKYT02, CMC03, VLF04] [GF03] [Dav03, SKYT02] 13

26 CAD [CMC03, VLF04] [Dav03, SKYT02] ( ) [CMC03, VLF04] CAD CAD CAD GPS 2 [GF03] RTK-GPS cm ( GPS ) GPS 1Hz 1.6, 2 (1) (2) 14

27 ,.,..,,.,. GPS [SKYT02] GPS GPS 15

28 GPS

29 2. 2.1,, 3 Ladybug 2.2 Ladybug Point Grey Research Ladybug [Poi02]. Ladybug 4( ) 5, 1 CCD 17

30 4 Ladybug ( ) ( ) 4( ) HDD. 3, Ladybug 5 768, 1,024 6, 75% 15fps 20. 6,., PC IEEE1394, PC 6 5fps

31 Ladybug ( ( ) ( )) ª ªª ªªªªª n ªªªª 6 Ladybug 19

32 ,,, 7,.,, Tsai [R. 87]..,. Tsai, 7 (x d ;y d ) (x u ;y u ). x u = x d (1 + 1 r r r ) (1) y u = x d (1 + 1 r r r ) (2) 3 Ladybug 6 1, % 15fps 20 20

33 ªª zw ( x u, yu ) ( x d, yd ) x I xc z C O I O C O W y W x W y I y C s M c ªª 7 r = q x 2 d + x 2 d (3),, 1., 1,,,. [J. 93], 2 3.,., x y d x d y. (x d ;y d ) (x f ;y f ),. x d = d0 x s x (x f 0 c x ); y d = d y (y f 0 c y ) (4), c x ;c y, s x, d 0 x, x N cx N fx (d 0 N x = d cx x N fx ). 21

34 , T c (t x ;t y ;t z ) R c (; ; ), M c., M c = = = 2 4 R c T c r 1 r 2 r 3 t x r 4 r 5 r 6 t y r 7 r 8 r 9 t z c 1 c 3 + s 1 s 2 s 3 s 1 c 2 0c 1 s 3 + s 1 s 2 c 3 t x 0s 1 c 3 + c 1 s 2 s 3 c 1 c 2 s 1 s 3 + c 1 s 2 c 3 t y c 2 s 3 0s 2 c 2 c 3 t z s 1 = sin ; s 2 =sin; s 3 = sin c 1 =cos; c 2 =cos; c 3 =cos, 7 [x W ;y W ;z W ] T, [x C ;y C ;z C ] T, c (5) (6) x C y C z C = M c x W y W z W (7),, 4 f, ( 1 ; 2 ; 3 ), (c x ;c y ), s x ) c T c, R c. 22

35 4 T c (t x ;t y ;t z ) R c (; ; ) f c x ; c y 1 ; 2 ; 3 s x 23

36 .,., 8., 3. 9,,,.,.,,.,.,, ,, [ 80] 2,, ,. 5.,.,,, 2.,. 24

37 z y ªªªªªªªªª ªªª Ladybug x ªªªªªªªªªª 8 9 ªª d 10 25

38 . Tsai [R. 87]., 3 3. [TMNH02].,, c(c = 0; 1; :::; 5) T c R c, M c. M c, m(m = 1; 2; :::) x m c(c = 0; 1;:::;5) u m, [ 90] M 0. c M0 c 12(r 1 ;r 2 ;:::;r 9 ;t x ;t y ;t z ) R c.,, 6 (; ; ; t x ;t y ;t z ) M c., v m u m (, ) M c. E c = X m ju m 0 v m j 2 (8) 26

39 2.3.2,., cos 4,,.,,., cos 4 [B. 86] [NAM96],, cos 4. Horn [B. 86], 11 l, I 0 I,,. I = l2 cos 4 f 2 I 0 (9) l f, cos 4. I L I = al + b, c c 0 I c I c 0. I c 0 = a c I c + b c (10) 27

40 I l θ I' f ˆ ªªª 11 cos 4 a c ;b c.,, c a c ;b c. 1., RGB., 2 a c ; b c,.,,,. 2. c c 0 i h c (i) h c0 (i) a c ;b c. RGB X ( e(a c ;b c )= h c0 (i) 0 1!) 2 i 0 b c h c (11) a i c a c, a c ;b c.,,. 3. (10), RGB. 28

41 2.4 12,,,.,,.,.,,,.,,,.,, S. G., S., S s I S (s),. c s u c c, s I S (s), s C(s). I S (s) = P c2c(s) c I c (u c ) Pc2C(s) c (12),, (; ), 13,,. 29

42 yt ªª jwt ˆ ªªªªªª ªªªªª { ªªªª jwªªªªª ªªªªª , S, x 2 c; c 0 u c ;u c 0, S s c ;s c 0, 2. S N, 6 s c Gs c 0 < 2 N, 1. 6 s c Gs c 0! 6 s c xs c 0, 6 T c xt c 0 < 2 N x. 2 d, x, 1. > d 2 tan N (13), Ladybug, 40mm, 3,340, 1, 20m. 30

43 x z φ θ y φ θ ˆ 13 ˆ S ªª c s c x u c T c G s c u c T c ªª c 14 31

44 Ladybug, Ladybug, 50cm, , 561.,, 170, LEICA TCR1105 XR,.,,. 16,., , 5., 17.,., 18.,.,,., 6,,. 18 Ladybug, 6,. 32

45 [1/mm 2 ] [1/mm 4 ] [1/mm 6 ] f [mm] s x c x [pixel] c y [pixel] [1/mm 2 ] [1/mm 4 ] [1/mm 6 ] f [mm] s x c x [pixel] c y [pixel]

46 15 34

47 16 (a) (b) 17 35

48 (a) (b) 18 6 [pixel]

49 (a) (b) ,,. 20,,.,., 21, 22, R, G, B., 0,.,.,,. 37

50 (a) (b) 20 38

51 Š ªª ªª ªª ªª ªª ªª (a) Š ªª ªª ªª ªª ªª ªª (b) 21 (R ) 39

52 Š ªª ªª ªª ªª ªª ªª (a) Š ªª ªª ªª ªª ªª ªª (b) 22 (G ) 40

53 Š ªª ªª ªª ªª ªª ªª (a) Š ªª ªª ªª ªª ªª ªª (b) 23 (B ) 41

54

55 25 Ladybug , 25 Ladybug. 26 ( : 76821,024)., 27., 27,.,,, 768pixel 5 3,340pixel.,, 1,670pixel. 27,,. 43

56 ( ( ) ( )) 44

57

58 ªª ,. 28 Ladybug. 29,. u c ;u c 0, s c Gs c 0., m, 30m, rad. 3, 6,. 3 46

59 [rad] , 30. 8,,, PC 3. 1, ,, 2,04821,024, JPEG PC. 30,,. Ladybug 15fps.,,,.,. 47

60 30 8 Elumens VisionStaion Microsoft SideWinder Game Pad Pro PC CPU:Intel Pentium4 1.7GHz, :1GB Nvidia GeForce4 48

61 2.7,,,.,,. Ladybug,,.,, 3,,. 49

62 GPS [ 05a] GPS GPS GPS GPS GPS GPS GPS 3.2 GPS

63 3.2 GPS GPS GPS c = 0 c M c i c N ic N ic = M c (M c ) 01 N i0 (c =0; 1; 2:::) (14) = 2 4 R ic t ic (15) R ic i c t ic (R i = R i0 ; t i = t i0 ) [FZ98, PKV + 00, SKYT02] 51

64 )25 Y X Z ÓÖÕ Ñ ÏÕÖ R i, t i Lp j qˆ ij w Φ ij )25 gi )25Ê w )25 LÊ q ij )25 Ê e )25 Ê e w d 31 [TPMF00] j i 8 ij ^q ij q ij 8 ij = jq ij 0 ^q ij j (j 2S i ) (16) S i i GPS GPS GPS 0 2 GPS i R i ; t i GPS g i 52

65 GPS d R i g i + t i = d (i 2F) (17) F GPS 31 GPS g i R i ; t i (17) R i ; t i GPS GPS GPS 9 i 9 i = jr i g i + t i 0 dj (18) 3.3 GPS GPS GPS GPS 32 (A) (B) k (C)GPS (C) (D) (C) GPS (C) (D) GPS (A) (D) GPS (16) 8 ij (18) GPS 9 i 53

66 (A) 特徴点の追跡 (1) 特徴点の候補位置の検出 (2) 特徴点の仮対応づけ (3) 暫定外部パラメータの推定 (4) 特徴点の再対応づけ (B) 外部パラメータの初期値推定 N i mod k = 0 Y (C) GPS 測位値を用いた狭区間最適化 (D) GPS 測位値を用いた広区間最適化 32 E E =! jfj X i2f 9 2 i + 1 P i js i j X i i X j2s i w j 8 2 ij (19) w j (A) j f8 0j ; 8 1j ; 111g i! 9 i 8 ij GPS GPS jf i j P i js i j! jf i j P i js i j (19) E R i ; t i p j GPS 54

67 33 E E i GPS i mm!!

68 w š 34! GPS ! =10 09! = GPS E 32 (A) (D) (A) (B) (C) (D) 1 (A) 56

69 1. Harris [HS88] LMeds [ 00] (B) (A) ( i ) R i t i X j w j 8 2 ij (20) 57

70 i-(k+2l)+1 i-l i ªª e lªªªª kªªªª lªªªª GPS e iªªªª ~ 35 [ 05b] (C) GPS (C) (A) (B) E GPS (A) 35 (A) (B) i i 0(k +2l)+1 i GPS E i0(k +l)+1 i 0 l k GPS (k ) k (C) k l GPS k 58

71 (D) GPS (D) (A) (C) (C) GPS (C) 2 (C) k +2l k 0 +2l 0 (C) k 0 l 0 l 0 GPS l 0 k (19) E (D) GPS GPS 59

72 b a (D) [ 05a] m 60

73 [ 05a] 36 a b 900 Ladybug GPS (60,-150,250)( mm) GPS GPS 1Hz 15 q ij GPS g i 9 R i ; t i 10 [ 05a] (19) E! (19) i GPS 1:0 GPS 2:0 1:0 GPS [ 05a] w ij GPS mm mm 0.020rad 61

74 15 GPS mm rad 30.7mm rad GPS GPS GPS GPS GPS 62

75 ªªªª w e 37 ªªªªªª ªªªªª ªªªªªª ªªªªª w ªªªª 38 63

76 39 GPS Ladybug GPS (Nikon LogPakII 63.0cm 64.0cm) 39 (Segway LOC Segway) 1.0km 7.6km 7800 RTK 1 GPS GPS GPS 300mm GPS (C) k =5 l =22 GPS 40 (a) 64

77 e e (a) ª ª ª ª ªª e ªªªª (b) 40 65

78

79

80 (b) GPS GPS 41 GPS GPS GPS RTK 43 GPS GPS (D) 44 l k mm mm Pentium4 3GHz, 2GB PC 14 3 l 0 68

81 d ªªªª 43 GPS 3.5 GPS GPS GPS GPS 69

82 ªªªª ªªª 44 w e ª ªªªª 45 70

83 71

84 (A) (D) 4 A B C D

85 [DTF + 01, MAS + 04, 01] (HMD) CAVE [CNSD + 92] CAVE CAVE 73

86 [KVJ03, 04] [CCEE98] CAVE [MAS + 04] [C. 02] 74

87 (a) (b), (c) (CPU: Intel Pentium4 1.8GHz, Graphics Card: Geforce4 Ti4600) (a) 47(a) ( 1.6m/sec) (Sick LMS200) 2 (CPU: Intel Pentium4 2.4GHz) 48 f y h y ( 47 (1)) ( 47 (2)) 48 LMS200 75Hz

88 (b) ÐÖÏÎ Ò ÐÖÏÎ Ò (c) ÒÏÑÔÖÏ ÔÖÑÏÐÑ gˆ ÑÐÖ Ö ÑÔÎÏ Ñ (3) (2) ste (1) (a) s Ï ÑÔÏ Ñ Ð Ó 47. LMS ; ; 2 y = (x + )

89 Ö Ð h y Ö Ñ ÔÎÏ Ñ ste b y f y Ö Ð y z Ö Ñ ÔÎÏ Ñ h b f y y y : e : ÔÖÒÊÑÖÏÒ : zê e 48. f y [Iwa99] b y v v = h y 0 b y v h y (b) 47 (b) 12 PC 100Mbps LAN h y 0 JPEG 77

90 ªªªª ªª 49 ªªªª ªª 50 78

91 (c) 47 (c) , (XGA)

92 H [h x ;h y ;h z ; 1] T P [p x ;p y ;p z ; 1] T P u P s P H s P 0 H P 0 P 00 [p x 0 h x ;p y 0 h y ;p z 0 h z ; 1=s] u = d c (N ci R i P 00 ) (21) d c (X) c X u s!1 P 00 R i i v i i(v) i(v) 1. Ladybug 2. 80

93 Ladybug (A) (D)

94 (a) (b) (c)

95 (a) 54(b) 54(a) 54(a) 50cm 150cm 54(c),(d) 83

96 (a) (b) (c) (d) 53 84

97 (a) (h x ;h y ) (75cm,0cm) (b) (h x ;h y ) (-75cm,0cm) (c) (h x ;h y ) (0cm,25cm) (d) (h x ;h y ) (0cm,-25cm) 54 85

98 17msec 1.6km/h 1.6m/sec 40fps 7.6m/sec 15fps (A), (B), (C), (D) 2 X Y X Y A D (A), (B), (C) 86

99 , (D) (A) (D) A (A) (B) (D) B (B) Ladybug (A) (C) (D) C (C) 0 2.0[km/h] (A) (B) (D) D (D) (A) (C) A C 5 (A) (B) (C) D 87

100 D (D) 10cm cm 32cm A B C D

101 (A), (B), (C), (D) (A) (C) 89

102

103

104 92

105 ,.,,.,,.,,.,..,,,.,.,,,.,.,. 93

106 [A. 80] A. Lippman. Movie-Map: An application of the optical video-disc to computer graphics. In Proc. SIGGRAPH, pp. 32{42, [B. 86] B. K. P. Horn. Robot Vision, chapter 10, pp. 206{209. Mit Press, [C. 02] [CB61] C. J. Taylor. VideoPlus: A method for capturing the structure and appearance of immersive environment. IEEE Trans. Visualization and Computer Graphics, Vol. 8, No. 2, pp. 171{182, C. Comeau and J. Bryan. Headsight television system provides remote surveillance. Electronics, pp. 86{90, [CCEE98] G. U. Carraro, M. Cortes, J. T. Edmark, and J. R. Ensor. The peloton bicycling simulator. In Proc. 3rd Symp. on Virtual Reality Modeling Language (VRML '98), pp. 63{70. ACM Press, [Che95] S. Chen. QuickTime VR: An image-based approach tovirtual environment navigation. In Proc. SIGGRAPH '95, pp. 29{38, [CMC03] A. I. Comport, E. Marchand, and F. Chaumette. A real-time tracker for markerless augmented reality. In Proc. 2nd ACM/IEEE Int. Symp. on Mixed and Augmented Reality (ISMAR2003), pp. 36{45, [CNSD + 92] C. Cruz-Neira, D. J. Sandin, T. A. DeFanti,R.V.Kenyo n,andj.c. Hart. The Cave - audio visual experience automatic virtual environment. Communication of the ACM, Vol. 35, No. 6, pp. 64{72, [Dav03] Andrew J. Davison. Real-time simultaneous localisation and mapping with a single camera. Proc. 9th IEEE Int. Conf. on Computer Vision (ICCV2003), Vol. 2, pp. 1403{1410, [DTF + 01] D. Kotake, T. Endo, F. Pighin, A. Katayama, H. Tamura, and M. Hirose. Cybercity Walker 2001 : Walking through and looking around 94

107 a realistic cyberspace reconstructed from the physical world. In Proc. 2nd IEEE and ACM Int. Symp. on Mixed Reality (ISMR2001), pp. 205{206, [FC200] FC [FZ98] A. W. Fitzgibbon and Andrew Zisserman. Automatic camera recovery for closed or open image sequences. In Proc. 5th European Conf. on Computer Vision, Vol. I, pp. 311 { 326, [GADS04] S. M. Goza, R. O. Ambrose, M. A. Diftler, and I. M. Spain. Telepresence control of the nasa/darpa robonaut on a mobility platform. In Proc. SIGCHI Conf. on Human factors in Computing Systems (CHI '04), pp. 623{629. ACM Press, [GF03] S. Guven and S. Feiner. Authoring 3D hypermedia for wearable augmented and virtual reality. In Proc. 7th IEEE Int. Symp. on Wearable Computers, pp. 118{126, [HKCY00] H. Tanahashi, K. Yamamoto, C. Wang, and Y. Niwa. Development of a stereo omnidirectional imageing system (SOS). In Proc. IEEE Int. Conf. on Industrial Electronics, Control and Instrumentation (IECON2000), pp. 289{294, [HS88] [Iwa99] [J. 93] C. Harris and M. Stephens. A combined corner and edge detector. In Proc. Alvey Vision Conf., pp. 147{151, H. Iwata. Walking about virtual environments on an innite oor. In Proc. IEEE Virtual Reality '99, pp. 286{293, J. Z. C. Lai. On the sensitivity of camera calibration. Image and Vision Computing, Vol. 11, No. 10, pp. 656{664,

108 [J. 04] J. Mulligan, X. Zabulis, N. Kelshikar, and K. Daniilidis. Stereo-based environment scanning for immersive telepresence. IEEE Trans. on Circuits and Systems for Video Technology, Vol. 14, No. 3, pp. 171{182, [JHNK00] J. Shimamura, H. Takemura, N. Yokoya, and K. Yamazawa. Construction of an immersive mixed environment using an omnidirectional stereo image sensor. In Proc. IEEE Workshop on Omnidirectional Vision, pp. 62{69, [Jou02] Norman P. Jouppi. First steps towards mutually-immersive mobile telepresence. In Proc ACM Conference on Computer Supported Cooperative Work (CSCW '02), pp. 354{363. ACM Press, [JXB + 91] J. Hong, X. Tan, B. Pinette, R. Weiss, and E. M. Riseman. Imagebased homing. In Proc. Int. Conf. on Robotics and Automation, pp. 620{625, [KHN02] K. Yamazawa, H. Takemura, and N. Yokoya. Telepresence system with an omnidirectional HD camera. In Proc. 5th Asian Conf. on Computer Vision (ACCV2002), Vol. 2, pp. 535{538, [KVJ03] K. J. Fernandes, V. Raja, and J. Eyre. Cybersphere: The fully immersive spherical projection system. Communications of the ACM, Vol. 46, No. 9, pp. 141{146, [LF92] B. Lauel and S. Fisher. Be there here. InterCommunication, [MAS + 04] M. Uyttendaele, A. Criminisi, S. B. Kang, S. Winder, R. Hartley, and R. Szeliski. High-quality image-based interactive exploration of real-world environments. IEEE Computer Graphics and Applications, [Min80] M. Minsky. Telepresence. Omni, Vol. 2, pp. 45{52,

109 [Mov99] Movingeye [NAM96] N. Asada, A. Amano, and M. Baba. Photometric calibration of zoom lens systems. In Proc. Int. Conf. Pattern Recognition, Vol. A, pp. 186{ 190, [PGA + 00] P. Peixoto, J. Goncalves, H. Antunes, J. Batista, and H. Araujo. A surveillance system integrating visual telepresence. In Proc. 15th Int. Conf. on Pattern Recognition (ICPR'00), Vol. 4, [PKV + 00] M. Pollefeys, R. Koch, M. Vergauwen, B. Deknuydt, and L. V. Gool. Three-dimentional scene reconstruction from images. In Proc. SPIE, Vol. 3958, pp. 215{226, [Poi02] Point Grey Research, Inc. Ladybug Omnidirectional Camera System User Guide version 1.0, [R. 87] [S. 97] [SE87] R. Y. Tsai. A versatile camera calibration technique for high-accuracy 3d machine vision metrology using o-the-shelf tv cameras and lenses. IEEE Jour. of Robotics and Automation,Vol. RA-3, No. 4, pp. 323{344, S. K. Nayar. Catadioptric omnidirectional camera. In Proc. Computer Vision and Pattern Recognition, pp.482{488, S. J. Oh and E. L. Hall. Guidanceo of a mobile robot using an omnidirectional vision navigation system. In Proc. Mobile Robots IISPIE 852, pp. 288{300, [SKN03] S. Morita, K. Yamazawa, and N. Yokoya. Internet telepresence by real-time view-dependent image generation with omnidirectional video camera. In Proc. SPIE Electronic Imaging, Vol. 5018, pp. 51{60, [SKYT02] T. Sato, M. Kanbara, N. Yokoya, and H. Takemura. Dense 3-D reconstruction of an outdoor scene by hundreds-baseline stereo using a 97

110 hand-held video csamera. Int. Jour. of Computer Vision, Vol. 47, No. 1-3, pp. 119{129, [TG00] A. Triesman and G. Gelade. A feature integration theory of attention. Cognitive Psycology, Vol. 12, pp. 298 { 375, [THKM00] T. Takahashi, H. Kawasaki, K. Ikeuchi, and M. Sakauchi. Virtual driving system with real-world image. In CD-ROM Proc. 7th World Congress on Intelligent Transportation Systems, [TKHN98] T. Kawanishi, K. Yamazawa, H. Takemura, and N. Yokoya. Generation of hight-resolution stereo panoramic images by omnidirectional imageing sensor using hexagonal pyramidal mirrors. In Proc. 14th Int. Conf. on Pattern Recognition (ICPR '98), Vol. 1, pp. 445{489, [TMNH02] T. Sato, M. Kanbara, N. Yokoya, and H. Takemura. Dense 3D reconstruction of an outdoor scene by hundreds-baseline stereo using a hand-held videocamera. Int. Journal of Computer Vision, Vol. 47, No. 1-3, pp. 110{129, [TMY98] T. Yamada, M. Hirose, and Y. Iida. Development of complete immersive display. In Proc. 4th Int. Conf. on Virtual Systems and Multimedia (VSMM'98), Vol. 2, pp. 522{527, [TPMF00] B. Triggs, R. Hartley P. McLauchlan, and A. Fitzgibbon. Bundle adjustment a modern synthesis. Vision Algorithms: Theory and Practice, pp. 298 { 375, [TPP97] T. Kanade, P. Rander, and P. J. Narayanan. Virtualized reality: Constructing virtual worlds from real scenes. IEEE MultiMedia, Vol. 4, No. 1, pp. 34{47, [VLF04] L. Vacchetti, V. Lepetit, and P. Fua. Combining edge and texture information for real-time accurate 3D camera tracking. In Proc. 3rd 98

111 IEEE and ACM Int. Symp. on Mixed and Augmented Reality (ISMAR '04), pp. 48{57, [YKNH98] Y. Onoe, K. Yamazawaand N. Yokoya, and H. Takemura. Telepresence by real-time view-dependent image generation from omnidirectional video streams. Computer Vision and Image Understanding, Vol. 71, No. 2, pp. 154{165, [YYM02] Y. Yagi, Y. Nishizawa, and M. Yachida. Estimating location and avoiding collision against unknown obstacle for the mobile robot using omnidirectional image sensor COPIS. In Proc. Int. Workshop on Intelligent Robots and Systems, pp.909{914, [ZSE86] Z. L. Cao, S. J. Oh, and E. L. Hall. Dynamic omnidirectional vision for mobile robots. Jour. Robotic Systems, Vol. 3, No. 1, pp. 5{17, [ 04],,,,.., Vol. J87-A, No. 1, pp. 87{95, [ 99],,,.. 4, pp. 211{212, [ 00],,,.., MVE99-82, [ 80]. 2., Vol. 4, No. J63-D, pp. 349{356, [ 00],.. (MIRU2000), Vol. I, pp. 65{70,

112 [ 03].. NAIST-IS-DT , [ 05a],,.. (D-II), No. 2, pp. 347{357, [ 05b],,.. D-II), Vol. J88-D-II, No. 2, pp. 347{357, [ 01],,,. CG., Vol. 42, No. SIG6(CVIM2), pp. 44{53, [ 02],,,,. (SOS)., Vol. 56, No. 4, pp. 603{610, [ 90]. pnp. 90, pp.41{50, [ 05],,,.., Vol. J88-D-II, No. 5, pp. 864{875, [ 98],,,.., Vol. J81-D-II, No. 5, pp. 880{887, [ 02],,. HyperOmni Vision. 100

113 , Vol. J79-D-II, No. 5, pp. 698{707, [ 00],,,.., PRMU ,

114 1.,, : \ ", Vol. 8, No. 4, pp , Dec ( 2 ) 2.,, : \ " D-II), Vol. J88-D-II, No. 2, pp , Feb ( 3 ) 3.,,,,, : \ " D-II), Vol. J88-D-II, No. 8, pp , Aug ,,, : \ GPS ", Vol. 47, No. SIG5 (CVIM13), pp , Mar ( 4 ) 1.,, : \ ", Vol. 1, pp , Sep ( 2 ) 2.,,,,,, : \ ", Vol. 2, pp , Sep

115 3.,,,,, : \ ", Vol. 3, pp , Sep ,, : \ ", Vol. 3, pp , Sep S. Ikeda, T. Sato, and N. Yokoya: \A calibration method for an omnidirectional multi-camera system" Proc. SPIE Electronic Imaging, Vol. 5006, pp , Jan ( 2 ) 2. S. Ikeda, T. Sato, and N. Yokoya: \High-resolution panoramic movie generation from video streams acquired by an omnidirectional multi-camera system" Proc. IEEE Int. Conf. on Multisensor Fusion and Integration for Intelligent System (MFI2003), pp , July ( 2 ) 3. S. Ikeda, T. Sato, and N. Yokoya: \Panoramic movie generation using an omnidirectional multi-camera system for telepresence" Proc. 13th Scandinavian Conf. on Image Analysis(SCIA2003), pp , July ( 2 ) 4. S. Ikeda, T. Sato, M. Kanbara, and N. Yokoya: \Telepresence system using high-resolution omnidirectional movies and a reactive display" Proc. IEEE and ACM Int. Symp. on Mixed Augmented Reality(ISMAR 03), pp , Oct ( 4 ) 5. T. Sato, S. Ikeda, M. Kanbara, A. Iketani, N. Nakajima, N. Yokoya, and K. Yamada: \High-resolution video mosaicing for documents and photos by estimating camera motion" Proc. SPIE Electronic Imaging, Vol. 5299, pp , Jan

116 6. S. Ikeda, T. Sato, M. Kanbara, and N. Yokoya: \Immersive telepresence system using high-resolution omnidirectional movies and a locomotion Interface" Proc. SPIE Electronic Imaging, Vol. 5291, pp , Jan ( 4 ) 7. T. Sato, S. Ikeda, and N. Yokoya: \Extrinsic camera parameter recovery of a moving omni-directional multi-camera system" Proc. Asian Conf. on Computer Vision (ACCV2004), Vol. I, pp , Jan ( 3 ) 8. T. Sato, S. Ikeda, and N. Yokoya: \Extrinsic camera parameter recovery from multiple image sequences captured by an omni-directional multicamera system" Proc. European Conf. on Computer Vision (ECCV2004), Vol. 2, pp , May ( 3 ) 9. S. Ikeda, T. Sato, M. Kanbara, and N. Yokoya: \An immersive telepresence system with a locomotion interface using high-resolution omnidirectional movies" Proc. 17th IAPR Int. Conf. on Pattern Recognition (ICPR2004), Vol. IV, pp , Aug ( 4 ) 10. A. Iketani, T. Sato, S. Ikeda, M. Kanbara, N. Nakajima, and N. Yokoya: \Super-resolved videomosaicing for documents by extrinsic camera parameter estimation" Proc. Int. Conf. on Computer Vision and Graphics, Sep K. Yamazawa, T. Ishikawa, T. Sato, S. Ikeda, Y. Nakamura, K. Fujikawa, H. Sunahara, and N. Yokoya: \Web-based telepresence system using omnidirectional video streams" Proc. 5th Pacic Rim Conf. on Multimedia, Vol. 3, pp , Dec S. Ikeda, T. Sato, M. Kanbara, and N. Yokoya: \Immersive telepresence system using high-resolution omnidirectional video with locomotion inter- 104

117 face" Proc. 14th Int. Conf. on Articial Reality and Telexistence (ICAT 2004), pp , Dec ( 4 ) 13. T. Ishikawa, K. Yamazawa, T. Sato, S. Ikeda, Y. Nakamura, K. Fujikawa, H. Sunahara, and N. Yokoya: \Networked telepresence system using web browsers and omnidirectional videostreams" Proc. SPIE Electronic Imaging, Vol. 5664, pp , Jan S. Ikeda, T. Sato, M. Kanbara, and N. Yokoya: \Immersive telepresence system with a locomotion interface using high-resolution omnidirectional videos" Proc. IAPR Conf. on Machine Vision Applications (MVA2005), pp , May ( 4 ) 15. A. Iketani, T. Sato, S. Ikeda, M. Kanbara, N. Nakajima, and N. Yokoya: \Video mosaicing for curved surface by 3D reconstruction using feature points" CD-ROM Proc. Int. Conf. on Computer Vision (ICCV2005), Demonstrations, Oct Y. Yokochi, S. Ikeda, T. Sato, and N. Yokoya: \Extrinsic camera parameter estimation based-on feature tracking and GPS data" Proc. Asian Conf. on Computer Vision (ACCV2006), Vol. 1, pp , Jan ( 3 ) 17. A. Iketani, T. Sato, S. Ikeda, M. Kanbara, N. Nakajima, and N. Yokoya: \Super-resolved video mosaicing for documents based on extrinsic camera parameter estimation" Proc. Asian Conf. on Computer Vision (ACCV2006), Vol. 2, pp , Jan ,, : \ ", PRMU , Dec ( 2 ) 105

118 2.,, : \ ", Vol. 8, No. 2, pp , May ( 2 ) 3.,, : \ ", CVIM141-13, Nov ( 3 ) 4.,,,,,, : \ ", PRMU , Feb ,,,,,, : \ " (MIRU2004), Vol. I, pp , July ,,,,,,, : \Web " (MIRU2004), Vol. I, pp , July ,,,,, : \ ", pp , Nov ,,, : \ GPS " CVIM147-12, Jan ( 3 ) 9.,, : \ " CVIM148-20, March

119 10.,,, : \ GPS " (MIRU2005), pp , July ( 3 ) 11.,,,,, : \ " (MIRU2005), pp , July ,,,,, : \ ", PRMU, Feb ( ) 1.,, : \ ", No.G13-27, Nov ( 2 ) 2.,,, : \ " (FIT), Vol. 3, No. K-098, Sep ( 4 ) 3.,,,,,, : \ " (FIT), Vol. 3, No. I-028, Sep ,,, : \Web " 2004, No.D , March ,, : \ " 2004, No. D , March

120 6.,,, : \ GPS " (FIT), Vol. 3, pp , Sep ( 3 ) 7.,, : \ " (FIT), Vol. 3, pp , Sep ,,,,, : \ " 2005, No.D-12-12, March ,,, : \ " 10, pp , Sep ,, : \ ", Vol. 16, No. 2, pp. 5-9, Feb ( 2 ) 108