mthesis.dvi

NAIST-IS-MT0151005 2003 2 7

( )

3,.,,.,.,..,,.,,.,,.,,. 3, NAIST-IS- MT0151005, 2003 2 7. i

,,, ii

Generating a Panoramic Movie by Calibrating an Omnidirectional Multi-camera System 3 Sei IKEDA Abstract In the eld of mixed reality, virtualization of real outdoor scenes is widely investigated for a number of applications such astelepresence and walk-through systems. An omnidirectional multi-camera system is more useful to virtualize outdoor scenes than a monocular camera system, because the multi-camera system can easily capture high-resolution omnidirectional images. However, the exact calibration of the system is necessary to virtualize the real world accurately. In this paper, we describe a method for generating a high-resolution panoramic movie by calibrating an omnidirectional multi-camera system geometrically and photometrically. In experiments, a spherical panoramic video has been successfully computed to show the validity of the proposed calibration method. Finally, weshowsome prototypes of telepresence system using various immersive displays. Keywords: Omnidirectional Multi-Camera System, Camera Calibration, Panoramic Image Generation, Telepresence 3 Master's Thesis, Department of Information Systems, Graduate School of Information Science, Nara Institute of Science and Technology, NAIST-IS-MT0151005, February 7, 2003. iii

1. 1 2. 3 2.1 : : : : : : : : : : : : : : : : : 3 2.1.1 : : : : : : : : : : : 5 2.1.2 : : : : : : : : : : : 6 2.1.3 : : : : : : : : 7 2.2 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8 2.3 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 10 3. 12 3.1 Ladybug : : : : : : : : : : : : : : 12 3.2 : : : : : : : : : : : : : : : : : : : : 15 3.2.1 : : : : : : : : : : : : : : : : : : : 15 3.2.2 : : : : : : : : : : : : : : : : : : : : : 17 3.2.3 : : : : : : : : : : : : : : : : : : : 19 3.3 : : : : : : : : : : : : : : : : : : : : : : 21 3.3.1 : : : : : : : : : : : : : : : : : : : : : 21 3.3.2 : : : : : : : : : : : : : : : : 21 3.4 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23 4. 34 4.1 : : : : : : : : : : : : : : : : : : : : : : : 34 4.2 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 35 4.3 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 37 4.3.1 : : : : : : : : : : : : : : : : 37 4.3.2 : : : : : : : : : : : : : : : : : : : : : : : 38 iv

5. 44 5.1 : : : : : : : : : : : 45 5.2 : : : : : : : : : : : : : : : : : 45 5.3 : : : : : : : : : : : : : : : : : 46 6. 50 52 53 v

1 ( : NHK 21) : : : : : : : : 4 2 : : : : : : : : : : : : : : : : : 9 3 Ladybug ( ) ( ) : : : : : : : : : 13 4 ( ( ) ( )) : : : : : : : : : : : 14 5 Ladybug : : : : : : : : : : : : : : : : : : : 14 6 : : : : : : : : : : : : : : : : : : 18 7 : : : : : : : : : : : : : : : : : : : : : : 19 8 : : : : : : : : : : : : : : : : : : 19 9 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20 10 cos 4 : : : : : : : : : : : : : : : : : : : : : : 22 11 : : : : : : : : : : : 25 12 : : : : : : : : : : : 26 13 : : : : : : : : : : : : : : : : : : : : : : : : : 27 14 : : : : : : : : : : : : : : : : : 28 15 : : : : : : : : : : : : : : : : : : : : : : : 29 16 (R ) : : : : : : : : : : : : : : : : 30 17 (G ) : : : : : : : : : : : : : : : 31 18 (B ) : : : : : : : : : : : : : : : : 32 19 : : : : : : : : : : : : : : : : : : : : : : 33 20 : : : : : : : : : : : : : : : : : : : : : : : 35 21 : : : : : : : : : : : : : : : : : 36 22 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 36 23 : : : : : : : : : : : : : : : : : : : : : : : 38 24 ( : ( ) ( )) : : : 39 25 1 ( ) : : : : : : : : : : : 40 26 1 ( ) : : : : : : : : : : : 40 27 : : : : : : : : : : : : : : 41 28 : : : : : : : : : : : : : : : : : : : 41 vi

29 : : : : : : : : : : : : : 43 30 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 46 31 : : : : 47 32 ( ) : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 49 33 : : : : 49 1 : : : : : : : : : : : : : : : : : : : : : : : 8 2 Ladybug : : : : : : : : : : : : : : : : : : : : : : : : : : : : 13 3 : : : : : : : : 18 4 : : : : : : : : : : : : : : : : : : : : : : 27 5 [pixel] : : : : : : : : : : : : : : : : : : : : 29 6 [rad] : : : : : : : : : : : : : : 42 7 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 45 8 : : 47 9 : : 49 vii

1., [1, 2, 3, 4].,,.,,,, [5,6,7,8,9].,,.,, [10, 11, 12, 13]. [10, 11, 12],,,.,,., 360.,,, [14].,.,,.,,,,.,, 1

.,,,.,,,.,,.,,., 2,. 3, Ladybug[15],. 4,.,,,.,. 5,., 6. 2

2.. [5, 14],, 1,.,,,.,.,.,,,,.,. 2.1, 1, 2.,,. :,,.,,. 3

1 ( : NHK 21) :,,. :,,.,. :,,.,,. 4

2.1.1,.,. : [16, 17, 18] 360.,.,,. Movingeye [18],,.,,,.,,,,. : [19, 20, 21],,. [19], [20], [21], [22],.,,. [14, 6] 5

.,.,.,, 1,. [5],. 2.1.2,., 360,. : [23, 24], 360.,.,. [25], [23],.,. 6

CYLINDRA[25, 26],,.,,. : [15, 27].,,..,.. Point Grey Research, Ladybug[15] 5.,,.,,... 2.1.3. 1,,,,,.,,..,, 7

1 HD,.,,.,,,. 2.2,,.,,., [23], 2(a),.,, 8

(a) [23] (b) SOS[27] 2.,.,.., [28] [29]., [23],,. CYLINDRA[25, 26],,., 2(b) (SOS)[27] 6 COSMOS[30],.,, SOS. 9

,,,.,,.,,,., [31]. 2.3,,.,,.,,,.,,.,,,.,,.,., 10

..,,,.,. 11

3., 1,,. 3.1 Ladybug, Point Grey Research Ladybug[15]. Ladybug 3( ) 5, 1 CCD 3( ) HDD. 2, Ladybug 4 768, 1024 6, 75% 15fps 20. 5,., PC IEEE1394, 6 5fps PC. 12

3 Ladybug ( ) ( ) 2 Ladybug 6 10242768 75% 15fps 20 13

0 1 2 3 4 5 4 ( ( ) ( )) ª ªª ªªªªª n ªªªª 5 Ladybug 14

3.2 (,,, ) (, ).. 3.2.1 6,.,, Tsai [32]..,. Tsai, 6 (X d ;Y d ) (X u ;Y u ). X u = X d (1 + 1 r 2 + 2 r 4 ) (1) Y u = Y d (1 + 1 r 2 + 2 r 4 ) (2) q r = Xd 2 + Yd 2 (3),, 1 :, 1,,,. [33], 2. 15

,., X Y d x d y. (X d ;Y d ) (X f ;Y f ),. X d = d0 x s x (X f 0 C x ); Y d = d y (Y f 0 C y ) (4), C x ;C y, s x, d 0 x, X N cx N fx (d 0 N x = d cx x N fx )., Tc(t x ;t y ;t z ) Rc(; ; ), Mc. Mc = = = 2 4 R c Tc 2 6 4 2 6 4 0 1 3 5 r 1 r 2 r 3 t x r 4 r 5 r 6 t y r 7 r 8 r 9 t z 0 0 0 1 3 7 5 c 1 c 3 + s 1 s 2 s 3 s 1 c 2 0c 1 s 3 + s 1 s 2 c 3 t x 0s 1 c 3 + c 1 s 2 s 3 c 1 c 2 s 1 s 3 + c 1 s 2 c 3 t y c 2 s 3 0s 2 c 2 c 3 t z 0 0 0 1 3 7 5 (5), s 1 =sin; s 2 =sin; s 3 =sin c 1 =cos; c 2 = cos ; c 3 = cos (6), 6 [x W ;y W ;z W ] T, [x C ;y C ;z C ] T, c. 16

2 6 4 x C y C z C 1 3 7 5 = M 2 6 4 x W y W z W 1 3 7 5 (7),, 3 ( f, ( 1 ; 2 ), (C x ;C y ), s x ) ( c Tc, Rc). 3.2.2,.,., 7., 3. 8,,,.,.,,.,.,,. 1.. 2. 9,, 1. 17

ªª zw ( x u, yu ) ( x d, yd ) x I xc z C O I O C O W y W x W y I y C s M ªª 6 3 Tc(t x ;t y ;t z ) Rc(; ; ) f C x ; C y 1 ; 2 s x 18

z y ªªªªªªªªª ªªª Ladybug ªªªªªªªªªª x 7 8 3. [34] 2,, 4. 4. 2,. 5.,.,,, 2.,. 3.2.3. Tsai[32]., 2 2. [35].,, 19

ªª d 9 c(c =0; 1; :::; 5) Tc Rc, Mc. Mc, m(m = 1; 2;:::) xm c(c = 0; 1; :::; 5) um, [36] M 0 c. M 0 c 12(r 1 ;r 2 ;:::;r 9 ;t x ;t y ;t z ) Rc.,, 6 (; ; ; t x ;t y ;t z ) Mc., vm um (, ) X E c = (um 0 vm) 2 (8) m Mc. 20

3.3,., cos 4,,. 3.3.1,,., cos 4 [37] [38],, cos 4. Horn[37], 10 l, I I 0,,. I 0 = l2 cos 4 f 2 I (9) l f, cos 4. 3.3.2 J L J = al + b, c c 0 I c I c 0 I c 0 = a c I c + b c (10). a c ;b c., 21

I l θ I' f ˆ ªªª 10 cos 4, c a c ;b c.,, RGB., 2 a c ; b c,.,,,., c c 0 i h c (i) h c0 (i) a c ;b c. RGB e(a c ;b c )= X i ( h c0 (i) 0 1 a c h c i 0 b c a c!) 2 (11), a c ;b c.,,., (10), RGB. 22

3.4 Ladybug, Ladybug, 50cm, 3. 11. 187, 561.,, 170, 510. 3 LEICA TCR1105 XR,.,,. 12,., 4. 0 4, 5., 13.,., 14.,.,,., 5,,. 14 Ladybug, 5,. 15.,, 23

., 16, 17, 18 19 R, G, B., 0,.,.,,. 24

11 25

12 26

4 0 1 2 1 [1/mm 2 ] 0.0326 0.0425 0.0354 2 [1/mm 4 ] 0.0122 0.0108 0.0119 f [mm] 2.5517 2.5577 2.5470 s x 0.9988 0.9981 0.9972 C x [pixel] 351.18 355.97 339.35 C y [pixel] 507.33 492.47 477.06 3 4 5 1 [1/mm 2 ] 0.0263 0.0308 0.0357 2 [1/mm 4 ] 0.0131 0.0126 0.0109 f [mm] 2.5317 2.5221 2.5654 s x 0.9987 0.9989 0.9980 C x [pixel] 353.87 344.04 365.02 C y [pixel] 482.26 478.54 524.90 (a) (b) 13 27

4 0 4 0 3 5 5 1 1 3 2 (a) 2 (b) 5 4 0 3 2 (c) 1 14 28

5 [pixel] 0 1 2 0.65 0.46 0.42 0.52 0.36 0.32 2.66 1.94 2.39 0 1 2 0.56 0.55 0.42 0.48 0.41 0.28 3.99 2.12 1.45 (a) (b) 15 29

Š (a) Š (b) 16 (R ) 30

Š (a) Š (b) 17 (G ) 31

Š (a) Š (b) 18 (B ) 32

0 1 2 3 4 5 19 33

4., ( ). 4.1, 20,,,.,,.,.,,,.,,,.,, S. G., S., S s I S (s),. c s u c c, s I S (s), s C(s). I S (s) = P c2c(s) c I c (u c ) Pc2C (s) c (12),, (; ) 34

yt ªª jwt ˆ ªªªªªªªªª { ªªªª jwªªªªª ªªªªªªª ªªªª 20, 21,,. 4.2, S, 1. 22 x 2 c; c 0 u c ;u c 0, S s c ;s c 0, 2. S N, 6 s c Gs c 0 < 2 N, 1. 6 s c Gs c 0! 6 s c xs c 0, 6 T c xt c 0 < 2 N x. 2 d, x, 1. d > 2tan N (13), Ladybug, 40mm, 3840 35

x z φ θ y φ θ ˆ ªªªª 21 ˆ S ªª c s c x u c T c G s c u c T c ªª c 22 36

, 1, 24m. 4.3 4.1, 6.,,. 4.3.1 3 4.1., 23 Ladybug. 24 ( : 76821024)., 25., 25,.,,, 768pixel 5 3840pixel.,, 1920pixel. 25,,., 26,. 25, 27,,,.,,. 37

23 4.3.2,. 28 Ladybug.,. u c ;u c 0, 4.2 22 6 s c Gs c 0., 4.2 1 24m, 30m, 100. 38

0 1 2 3 4 5 24 ( : ( ) ( )) 39

25 1 ( ) 26 1 ( ) 40

(a) (b) 27 28 41

6. 5,. 0.0063rad. 3., 0.0498rad.,. 6,,. 76821024, 640pixel,.,,.,,,. 6 [rad] 0-1 1-2 2-3 3-4 4-0 227 258 229 216 305 0.0214 0.0378 0.0258 0.0227 0.0198 0.0072 0.0057 0.0054 0.0048 0.0041 5-0 5-1 5-2 5-3 5-4 176 131 127 123 154 0.0178 0.0498 0.0208 0.0107 0.0112 0.0058 0.0144 0.0095 0.0063 0.0052 42

w š { 29 43

5..,. 3.. : 30..,.,,. : 31.,. : 33.,,.,.., 3, 5.1, 5.2, 5.3. 44

5.1, 7, 2.,,., 8002600, 204821024 JPEG. Ladybug 15fps.,.,,.,,,. 5.2, 8, 2.,, 7 Olympus Eye-Trek Polhemus Fastrack CPU: Intel Pentium4 1.7GHz, : 1GB Nvidia Geforce4 45

ªªªª ªª ª ªªª ªªª «ªªª«ªªª «ªªªª«30,., 10242768,. 15fps.,.,,.,,.,. 5.3, 8 CYLINDRA 2.,, 32 46

8 Elumens VisionStaion Microsoft SideWinder Game Pad Pro CPU: Intel Pentium4 1.7GHz, : 1GB Nvidia Geforce4 31 47

., 61442768, 27122512., 15fps.,,.,,.,,. 48

9 CYLINDRA SGI Onyx2: CPU:MIPS R10000 250MHz 8 InniteReality2 2 32 ( ) 33 49

6.,, Ladybug.,.,,,.,.,,.,. Ladybug,., Ladybug,.,, 3. 3,.,,,.,.,.,,.,,, 50

.,,,. 51

,,,.,,.,,.,,.,..,,,.,.,,,.,.,. 52

[1] \ ", PHP (1996). [2] A. Lippman: \Movie-Map: An Application of the Optical Videodisc to Computer Graphics", Proc. SIGGRAPH'80, pp. 39{46 (1993). [3],,, \ 3 ",, 4, 2,pp. 367{376 (1999). [4], C. R. Gunadi,, \, ", 1 (MIRU 2002), 2, 11, pp. 177{182 (2002). [5] K. Yamazawa, H. Takemura and N. Yokoya: \Telepresence System with an Omnidirectional HD Camera", Proc. 5th Asian Conf. on Computer Vision (ACCV2002), 2, pp. 535{538 (2002). [6] S. Morita, K. Yamazawa and N. Yokoya: \Internet Telepresence by Real-time View-dependent Image Generation with Omnidirectional Video Camera", Proc. SPIE Electronic Imaging, 5018, pp. 51{60 (2003). [7],, \ ", (FIT), 1, pp. 149{150 (2002). [8],, \ ",, G13-27, p. G329 (2002). [9],, \ ",, PRMU2002-154, pp. 49{54 (2002). 53

[10] D. Coombs and C. Brown: \Real-time Smooth Pursuit Tracking for a Moving Binocular Robot", Proc. Computer Vision and Pattern Recognition, pp. 23{ 29 (1992). [11] T. Uhlin, P. Nardlund, A. Maki and J. O. Eklundh: \Towards an Active Visiual Observer", Proc. Int. Conf. on Computer Vision, pp. 679{686 (1995). [12] S. Rougeaux and Y. Kuniyoshi: \Velocity and Disparity Cues for Robust Real-time Binocular Tracking", Proc. Computer Vision and Pattern Recognition (CVPR'97), pp. 1{6 (1997). [13] M. Hirose, K. Yokoyama and S. Sato: \Transmission of Realistic Sensation: Development of a Virtual Dome", Proc. Virtual Reality Annual International Symposium, pp. 125{131 (1993). [14] Y. Onoe, K. Yamazawaand N. Yokoya and H. Takemura: \Telepresence by real-time view-dependent image generation from omnidirectional video streams", Computer Vision and Image Understanding, 71, 2, pp. 154{165 (1998). [15] Point Grey Research, Inc.: \Ladybug Omnidirectional Camera System User Guide version 1.0" (2002). [16] Z. L. Cao, S. J. Oh and E. L. Hall: \Dynamic Omnidirectional Vision for Mobile Robots", J. Robotic Systems, 3, 1, pp. 5{17 (1986). [17] S. J. Oh and E. L. Hall: \Guidanceo of a Mobile Robot Using an Omnidirectional Vision Navigation System", Proc. Mobile Robots IISPIE 852, pp. 288{300 (1987). [18] Movingeye Inc.:"Movingeye", http://www.movingeye.co.jp/ (1999). [19] J. Hong, X. Tan, B. Pinette, R. Weiss and E. M. Riseman: \Image-based homing", Proc. Int. Conf. on Robotics and Automation, pp. 620{625 (1991). 54

[20] Y. Yagi, Y. Nishizawa and M. Yachida: \Estimating Location and Avoiding Collision Against Unknown Obstacle for the Mobile Robot Using Omnidirectional Image Sensor COPIS", Proc. Int. Workshop on Intelligent Robots and Systems, pp. 909{914 (1991). [21],, \ HyperOmni Vision ",, J79-D-II, 5, pp. 698{707 (1996). [22] S. K. Nayar: \Catadioptric Omnidirectional Camera", Proc. Computer Vision and Pattern Recognition, pp. 482{488 (1997). [23] T. Kawanishi, K. Yamazawa, H. Takemura and N. Yokoya: \Generation of Hight-resolution Stereo Panoramic Images by Omnidirectional Imageing Sensor Using Hexagonal Pyramidal Mirrors", Proc. 14th Int. Conf. on Pattern Recognition, 1, pp. 445{489 (1998). [24] : \FC2", http://www.sony.co.jp/products/fourthview (2000). [25] J. Shimamura, H. Takemura, N. Yokoya and K. Yamazawa: \Construction of an Immersive Mixed Environment Using an Omnidirectional Stereo Image Sensor", Proc. IEEE Workshop on Omnidirectional Vision, pp. 62{69 (2000). [26],,, \ ",, MVE99-82 (2000). [27] H. Tanahashi, K. Yamamoto, C. Wang and Y. Niwa: \Development of a Stereo Omnidirectional Imageing System (SOS)", Proc. IEEE Int. Conf. on Industrial Electronics, Control and Instrumentation (IECON2000), pp. 289{ 294 (2000). 55

[28],,, \ ", 4, pp. 211{212 (1999). [29],,,, \ (SOS) ",, 56, 4, pp. 603{610 (2002). [30] T. Yamada, M. Hirose and Y. Iida: \Development of Complete Immersive Display", Proc. 4th Int. Conf. on Virtual Systems and Multimedia (VSMM'98), 2, pp. 522{527 (1998). [31] \ ", NAIST-IS-DT0161018 (2003). [32] R. Y. Tsai: \A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using O-the-shelf TV Cameras and Lenses", IEEE Journal of Robotics and Automation, RA-3, 4, pp. 323{344 (1987). [33] J. Z. C. Lai: \On the Sensitivity of Camera Calibration", Image and Vision Computing, 11, 10, pp. 656{664 (1993). [34] \ 2 ",, 4, J63-D, pp. 349{356 (1980). [35] T. Sato, M. Kanbara, N. Yokoya and H. Takemura: \Dense 3D Reconstruction of an Outdoor Scene by Hundreds-Baseline Stereo Using a Hand- Held Video Camera", Int. Journal of Computer Vision, 47, 1-3, pp. 110{129 (2002). [36] \ PnP ", '90, 90, 20, pp. 41{50 (1990). 56

[37] B. K. P. Horn: \Robot Vision", chapter 10, pp. 206{209, Mit Press (1986). [38] N. Asada, A. Amano and M. Baba: \Photometric Calibration of Zoom Lens Systems", Proc. Int. Conf. Pattern Recognition, A, pp. 186{190 (1996). 57