C-18 Markerless motion capture using sensor fusion ENOMOTO Kota Measuring the human motion is an active field of reseach. It has important direct appl

Size: px

Start display at page:

Download "C-18 Markerless motion capture using sensor fusion ENOMOTO Kota Measuring the human motion is an active field of reseach. It has important direct appl"

きゅういちしげまつ
5 years ago
Views:

1 C-8 Markerless motion capture using sensor fusion ENOMOTO Kota Measuring the human motion is an active field of reseach. It has important direct applications in the the filed of human robot interaction and in medicine. However, systems are often complex, costly and limited by the infrastructure itself. Motion capture systems based on video information are simple to use however they cannot guaranty an accurate measurement when there is occlusion or partial observation. Here we propose to use stereo camera information and Inertial Measuring Units (IMU) to obtain a precise motion measurements at all time. The combination of the two systems thus overcomes the weaks point of each. Key words: Sensor Fusion, Optical Flow, Stereo Camera, IMU. () () CG (3)(4) (5) IMU: Inertial Measurement Unit IMU (6)(7) IMU RGB RGB. POINT GREY Bumblebee Bumblebee Fig. IMU IMU 3 (8) C-8

4 Lucas-Kanade Lucas-Kanade (9) u = v = w I x w I y (J(p) I(p)) w( x () ) (J(p) I(p)) w( I () y ) (x, y) t I (x,y) w (u,v) I (p)=i (x,y,t), J

2 IMU PocketIMU PocketIMU Fig. Fig. Bumblebee Fig.4 Explanation of optical flow Fig. PocketIMU 3. IMU Fig.3 Fig.3 Fusion fiow 3 OpenCV OpenCV ROI :Region of Interest Fig.4 Lucas-Kanade Lucas-Kanade (9) u = v = w I x w I y (J(p) I(p)) w( x () ) (J(p) I(p)) w( I () y ) (x, y) t I (x,y) w (u,v) I (p)=i (x,y,t), J (p)=i (x,y,t+ t) 3 Bumblebee Triclops Stereo Vision SDK () d max min m m d=d min i= m j= m I right (x + i)(y + j) I left (x + i + d)(y + j) (3) d max d min :I right I left m Fig.5 α β L θ i width j height α Fig.5 β r X Z Y 4:3 r Y 3 3 Bumblebee API Open CV 3 3 OpenCV 3 Fig.6

3 Fig.5 Triangulation Fig.6 Image fiow 3 8 Fig.7 Fig.7 Image matching fiow 3 4 IMU IMU IMU IMU (?) IMU IMU IMU IMU 4. IMU Eagle Hawk Cortex 3 IMU 3 IMU IMU IMU.ms 4.89dB 7.8fps IMU Hz fps Fig.8 IMU Fig Fig.?? 4 Fig. Fig.

Trimmed Mean Filter Median Filter 4 6 8 34 4 6 8 3 3 34 Trimmed Mean Filter Median Filter 3 Trimmed Mean Filter Median Filter Fig.8 experiment environment 3 4 6 8 3 3 34 Fig.

9 IMU with markers と最大値を除し除されたデータ群の平均をとる処理である一方でメディアンフィルタとは任意に設定した狭い区間の中央値を出し算出された中央値をフィルタリング結果として提示する中央値とは任意の区間の数値を昇順あるいは降順に並べ区間内の数値の個数が奇数ならば並びの中央の値であり偶数ならば中央に近い二つの値の平均の値である結果より

Result of stereo camera Correlation Coeﬃcient X Y Z.95.75.4 Trimmed Mean.64.839.437 Median.88.897.63 4 IMU 実験結果ＩＭＵの実験結果を Fig.

4 Trimmed Mean Filter Median Filter Trimmed Mean Filter Median Filter 3 Trimmed Mean Filter Median Filter Fig.8 experiment environment Fig. Testing diﬀerent ﬁlter for stereo camera reconstruction of the hand movement. X-axis (top) and Y-axis (middle) and Z-axis (bottom) Fig.9 IMU with markers と最大値を除し除されたデータ群の平均をとる処理である一方でメディアンフィルタとは任意に設定した狭い区間の中央値を出し算出された中央値をフィルタリング結果として提示する中央値とは任意の区間の数値を昇順あるいは降順に並べ区間内の数値の個数が奇数ならば並びの中央の値であり偶数ならば中央に近い二つの値の平均の値である結果より双方のフィルタリングでインパルス性ノイズの軽減が認められたまた Table よりトリムド平均フィルタよりもメディアンフィルタの方が相関係数がに近いしかしトリムド平均フィルタ及ぶメディアンフィルタともに奥行き方向 Z 軸方向へは若干の不安が残る結果となっている Fig. The sequnce of moving Table. Result of stereo camera Correlation Coeﬃcient X Y Z Trimmed Mean Median IMU 実験結果ＩＭＵの実験結果を Fig. と Table に示す重力方向 Y 軸方向に関しては一致が認められるしかし他方向に関しては動作が大きいとき動きの傾向は判別できるが動作が小さいまたは静止に近い状態や動軸方向に動いているときモーションキャプチャの値と離れたものとなっているこのような誤差の原因はモーションキャプチャと IMU の処理の違いが考えられる IMU は加速度を計測しその計測結果を積分し速度を算出している一方モーションキャプチャはマーカ位置を計測し計測結果を微分し速度を算出している計測結果を積分することでデータノイズの蓄積がありその蓄積が求められた速度の値を本来の値よりも大きなものにする可能性がある静止に近い状態であっても IMU がごく微小な加速度が検出するので積分後にあたかもより大きな速度があるように計測結果を算出してしまうまた光学式モーションキャプチャの解析ソフト Cortex が独自にフィルタリングを施しごく微小な動きをデータ内で切り捨てている可能性がある

IMU 8 4 6 8 3 3 34 IMU Fig.3 A sequence of captured movement on occlusion experiment 8 4 6 8 3 3 34 IMU 8 4 6 8 3 3 34 Fig. Result of IMU, X-axis (top) and Y-axis (middle) and Z-axis (bottom) Table.

5 IMU IMU Fig.3 A sequence of captured movement on occlusion experiment IMU Fig. Result of IMU, X-axis (top) and Y-axis (middle) and Z-axis (bottom) Table. Result of IMU X Y Z Full Time IMU Y -9 9 Fig.3 IMU 5.ms 4.89dB 7.8fps IMU Hz fps Fig.4.5 Fig.5 Fig.6 Table 3 Image Speed [pixel/s] 4 3 Image IMU sensor Fig.4 Speed data of image and IMU Criteria Fig.5 Correlation coefficient of image and IMU Table 3. Result of sensor fusion.5.5 X Y Z Stereo Camera IMU IMU Speed [m/s]

6 Stereo Camera IMU Sensor Stereo Camera IMU Sensor Stereo Camera IMU Sensor Fig.6 Result of IMU, X-axis (top) and Y-axis (middle) and Z-axis (bottom) IMU Fig.6 Table 3 6. IMU IMU IMU IMU (),,,,,, 3. (), vol. 33(), pp , 9. (3) L.Kovar, M. Gleicher, F. Pighin, Motion Graphs, SIGGRAPH, Vol., Issue 3, pp ,. (4) J. Lee, J. Chai, P. S. A. Reitsma, J. K. Hodgins, N. S. Pollard, Interactive Control of Avatars Animated with Human Motion Data, SIG- GRAPH, Vol., Issue 3, pp. 49-5,. (5). PRMU, vol. 99(574), pp. -8, (6) Z. Li, D. Kulic, A Stereo Camera Based Full Body Human System Using a Partitioned Particle Filter, Intelligent Robots and Systems (IROS), IEEE/RSJ International Conference on, pp , (7) S. Kagami, K. Okada, M. Inaba, H. Inoue, Real - Time 3D Flow Generation System, IEEE International Conterence on Multisensor Fusion and Integration for Intelligent System, pp. 37-4, 999. (8) ( ),,,. (9) B. D. Lucas, T. Kanade, An Iterative Image Registration Technique with an Application to Stereo Vision, Proceedings of Imaging Understanding Workshop, pp. -3, 98. (),,,,, Vol. 7, No.7, pp , 976 () 3 p

(3.6 ) (4.6 ) 2. [3], [6], [12] [7] [2], [5], [11] [14] [9] [8] [10] (1) Voodoo 3 : 3 Voodoo[1] 3 ( 3D ) (2) : Voodoo 3D (3) : 3D (Welc

(3.6 ) (4.6 ) 2. [3], [6], [12] [7] [2], [5], [11] [14] [9] [8] [10] (1) Voodoo 3 : 3 Voodoo[1] 3 ( 3D ) (2) : Voodoo 3D (3) : 3D (Welc 1,a) 1,b) Obstacle Detection from Monocular On-Vehicle Camera in units of Delaunay Triangles Abstract: An algorithm to detect obstacles by using a monocular on-vehicle video camera is developed. Since