1 1 1 Kinect for Xbox360 3 ( ) 10 10 82.4% 45 90 90,,,, Kinect A Consideration of an Individual Identification Method by Gait Using a Markerless Motion Capture Device Kenichi Takada 1 Teruaki Kitasuka 1 Masayoshi Aritsugi 1 Abstract: In this work, we examine to recognize household members by gait using Kinect for Xbox360 as a markerless motion capture device. We thought and examined that could recognize members with gait of a various direction by converting to look like the gait of the same direction as the dictionary data, because we could acquire of skleton data as three dimensional data. We show 10 people identification accuracy of 82.4% with a support vector machine classifier in gaits of one direction. It was converted to look like the walking gait of 45 degrees to 90 degrees from the optical axis of camera, individual identification accuracy was low. Therefore, we compared the two gaits that were captured at the same time. And it was revealed that the gap of skeleton data was big by the gait of 90 degrees. Keywords: gait, individual identification, machine learning, motion capture, Kinect 1. [1][2] 1 Graduate School of Science and Technology, Kumamoto University Microsoft Kinect[3] Kinect (1 ) Kinect 20 c 2012 Information Processing Society of Japan 1
[4][5] 3 Kinect for Xbox360 Xbox360 Kinect for Windows SDK beta 2 Kinect RGB 800mm 4000mm mm Kinect Kinect Kinect 3 2 3 Kinect 4 5 6 2. (Gait recognition) [4] 0 1 2 143 98.2 3 [4] 1 5 ( 1 ), 1(b) 1(a) ( 2 ) 20 30pixel 20 30pixel 1(c) ( 3 ) ( 4 ) (DFT) 0 1 2Hz 1(d) 1 1(e) 1(d) 1(e) 0 1 2Hz ( 5 ) 3. 3.1 Kinect Microsoft Kinect for Xbox360 Kinect for c 2012 Information Processing Society of Japan 2
情報処理学会研究報告 (c) ス ケ ー リ (e) フーリエ変換 ング (a) カラー画像 (b) シルエット抽出 (d) 1 周期分の歩容 図 1 既存研究 Windows, Asus 社製の Xtion Pro および Xtion Pro Live がある 本研究では デバイスには Kinect for Xbox360 を 用いた Kinect は 2010 年に Microsoft 社から発売された Xbox360 用のコントローラである 名前は 動力学を意味 する Kinetics と つながりを表す Connection を組み合 わせている Kinect はカラーカメラ 深度センサ マルチ アレイマイクを持ち マーカーの必要ないモーションキャ プチャを可能とするデバイスである 2011 年 6 月から公式に WindowsPC 向けの開発環境 Kinect for Windows SDK の beta 版を公開している 2012 年 2 月 1 日から Kinect for Windows が発売され 統合開 図 2 発環境は Kinect for Windows SDK となった Kinect for Windows は Near モードと呼ばれる新しい機能が加わり PC 用に使用することを目的としている 開発環境には Kinect for Windows SDK beta 2 を用い た Kinect for Windows SDK による開発には Windows 7 以降のマイクロソフトの OS が必要で 開発言語とし て C++と C#が使用できる また ハードウェアは Dual- core2.66ghz 以上の CPU 2GB 以上の RAM USB 2.0 以 上の USB が必要になる カラー画像 640 480 深度データ プレイヤーデータ 320 240 pixel もしくは 640 480 pixel の深度デー タを取得できるが プレイヤーデータと呼ばれる人の シルエットデータ取得時は 320 240 pixel しか取得 できない 測定可能な深度は 800 mm から 4000 mm 程度である 深度データを図 3 に プレイヤーデータ を図 4 に示す 図 3 はカメラからの距離が大きくなる ほど黒くなるようにしている ただし 4000 mm 以上 離れているところは白くなっている 3.2 Kinect から取得できるデータ Kinect から取得できるデータは大きく分けてカラー画 像と深度データ 骨格データ 3 次元音声データの 4 つで ある カラー画像 640 480 pixel もしくは 1280 960 pixel のカラー 画像を取得できる 640 480 pixel で取得した例を 図 2 に示す ただし 図 2 の顔部分はプライバシの問 題のため後から処理をした c 2012 Information Processing Society of Japan プレイヤーデータは人のシルエットを取得でき 最大 で 7 人まで識別できる 骨格データ 頭 肩中心 両肩 両肘 両手首 両手 脊柱 尻中 心 両尻 両ひざ 両足首 両足の合計 20 箇所の部位 で (x y z) の 3 次元データを取得できる 骨格デー タは 同時に最大で 2 人まで取得できる x y はそれ ぞれ画像の横方向 縦方向の座標で どちらも 0 から 1 で出力される (x, y)=(0, 0) なら画像の右上 (1, 1) 3
3 320 240 4 320 240 6 5 1 skeleton position x y z [mm] HIP CENTER ( ) 0.4864 0.4813 3367 SPINE ( ) 0.4887 0.4606 3425 SHOULDER CENTER 0.4905 0.3338 3445 ( ) HEAD ( ) 0.4834 0.2659 3392 SHOULDER LEFT ( ) 0.4454 0.3746 3452 ELBOW LEFT ( ) 0.4252 0.4789 3415 WRIST LEFT ( ) 0.4021 0.5650 3330 HAND LEFT ( ) 0.3925 0.5954 3283 SHOULDER RIGHT ( ) 0.5342 0.3745 3411 ELBOW RIGHT ( ) 0.5491 0.4802 3402 WRIST RIGHT ( ) 0.5588 0.5756 3361 HAND RIGHT ( ) 0.4383 0.8532 3273 HIP LEFT ( ) 0.4656 0.5075 3362 KNEE LEFT ( ) 0.5598 0.6136 3342 ANKLE LEFT ( ) 0.4435 0.8230 3317 FOOT LEFT ( ) 0.4477 0.6874 3319 HIP RIGHT ( ) 0.5055 0.5085 3342 KNEE RIGHT ( ) 0.5132 0.6818 3300 ANKLE RIGHT ( ) 0.5098 0.8147 3279 FOOT RIGHT ( ) 0.5071 0.8297 3182 z 800 mm 4000 mm 5 1 OpenCV 3 4. 4.1 Kinect [4] 1 3D Kinect Kinect 1 Kinect 6 4.2 Kinect 3 3 7 7 5 c 2012 Information Processing Society of Japan 4
7 9 8 x, y 0 1 z mm (1) (x, y, z), (x, y, z ) (cx, cy) x = (x cx) (0.996 z + 264.6) y = (y cy) (0.750 z + 192.4) z = z (1) 2 CPU Intel(R) Core(TM) i7-2600k CPU @ 3.40GHz RAM 8.00GB OS Windows 7 Professional Service Pack 1 (64bit) Microsoft Visual Studio 2010 Ultimate Kinect for Windows SDK beta 2 Kinect for Xbox360 a M = 1 P 1 (f N e (2π/P )MN ) P (3) N=0 M 1 20 a 1 a 20 20 20 3 20 3 20=1200 y (2) (x, y, z ) (x, y, z ) θ x cosθ 0 sinθ y = 0 1 0 z sinθ 0 cosθ x y z (2) (1) 9 9 10 4.4 WEKA[8] (Support Vector Machine) 5. 2 1 11 90 Kinect 2 4.3 1 1 (3) P N f N N M 5.1 2 5.2 3m 11 Kinect 30fps 320 240pixel 1 2 1 9 22 c 2012 Information Processing Society of Japan 5
3100 3100 3000 3000 2900 2900 2800 2800 z [mm] 2700 z [mm] 2700 2600 2600 2500 2500 2400 2400 2300 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 2300 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 x x 8 (x, z) 10 (x, z) 4 1 2 3 4 [ ] 1 0 3 0 1 0.0 2 0 4 0 0 100.0 3 0 0 0 4 0.0 4 0 1 0 3 75.0 11 90 12 45, 90 43.8 3 [%] 1 20 18 90.0 2 20 19 95.0 3 22 20 90.9 4 20 13 65.0 5 18 15 83.3 6 14 13 92.9 7 17 15 88.2 8 12 6 50.0 9 9 7 77.8 10 13 10 76.9 165 136 82.4 10 10 3 10 82.4% [9] 2 4 70% 92% 5.3 45 90 4 5.2 1 4 4 1 4 43.8 5.4 2 Kinect 1 12 2 Kinect 30, 45, 60, 75, 90 2 20fps 2 Kinect 2 relative root mean square distance(rrmsd)[10] 2 P : {p i }, Q : {q i }, i = 1,..., N RRMSD P Q (4) P (p ix, p iy, p iz ) P (p ix, p iy, p iz ) P (p x, p y, p z ), Q (q x, q y, q z ) p ix = p ix + q x p x p iy = p iy + q y p y (4) p iz = p iz + q z p z RRMSD (5) c 2012 Information Processing Society of Japan 6
RRMSD = 5 RRMSD x y z RRMSD 90-75 42.1 35.2 37.5 0.073 90-45 41.6 41.2 53.1 0.081 75-75 39.6 30.4 31.1 0.057 75-60 36.7 33.8 31.3 0.059 75-45 37.7 28.3 32.5 0.062 75-30 37.5 27.4 31.6 0.062 45-45 39.3 27.3 29.6 0.057 1 N N i=1 p i q i 2 Diag (P Q) (5) Diag(P Q) = (max(r x ) min(r x )) 2 + (max(r y ) min(r y )) 2 + (max (r z ) min (r z )) 2 (6) r P Q : {r }, = 1,..., 2N r x r y, r z r x, y, z 90 RRMSD 5 5 90-75 90 75 5 x, y, z (5) x, y, z 75-75 45-45 RRMSD 5 2 RRMSD 90 45 90 90 90 6. Kinect 10 1 9 22 165 82.4 45 43.8% 2 90 90 90 1 2 [1] Tivo, http://www.tivo.com/, (2012 6 ). [2] Orca Interactive, http://www.orcainteractive.com/, (2012 6 ). [3] Kinect http://www.xbox.com/a-jp/kinect, (2012 6 ). [4],, :., vol.2007- CVIM-159, pp.187 194 (2007). [5],, :., vol.2011-cvim-175, no.34, pp.1 8, 2011. [6] Kinect for Windows, http://www.microsoft.com /en-us/kinectforwindows/, (2012 6 ). [7] Kinect wiki, http://www.kinect-wiki.info/, (2012 6 ). [8] weka, http://www.cs.waikato.ac.nz/ml/weka/, (2012 6 ). [9] Keng-hao Chang, Jeffrey Hightower, Branislav Kveton Inferring Identity using Accelerometers in Television Remote Controls. Proceedings of 7th International Conference on Pervasive Computing (Pervasive 2007), pp.151 167 (2007). [10] Frederic Jean, Robert Bergevin and Alexandra Branzan- Albu: Computing and Evaluating View-normalized Body Part Traectories. Image and Vision Computing, vol.27, No.9, pp.1272 1284, August 2009. c 2012 Information Processing Society of Japan 7