VGB Kinect v2 VGB VGB Kinect v2 3 VGB VGB Discrete Continuous 2 Discrete : Jump, Sit, NicoNii AdaBoost (Confidence) Visual Studio 2013 or 2012 () Kine

Size: px

Start display at page:

Download "VGB Kinect v2 VGB VGB Kinect v2 3 VGB VGB Discrete Continuous 2 Discrete : Jump, Sit, NicoNii AdaBoost (Confidence) Visual Studio 2013 or 2012 () Kine"

よしじろういとえ
6 years ago
Views:

1 Kinect v2 Visual Gesture Builder Buu C Kinect for Windows Leap Motion RealSense RGB 1 Kinect for Windows [1] 2010 Kinect for Xbox [2] [3] Kinect DanceEvolution ARCADE 2014 Kinect for Windows v2 (Kinect v2) Time of flight (TOF) Visual Gesture Builder 2 Visual Gesture Builder is Visual Gesture Builder (VGB) machine learning Kinect v2 Kinect for Windows SDK 2.0 SDK 1 if 1 if((body.joints[jointtype.head].position.y < body.joints[jointtype.handleft].position.y) return true; else return false; 30 Microsoft [3] 2000 Kinect v2 VGB VGB *1 2 2 VGB var result = gestureframe.discretegestureresults[niconii]; if (result.detected) Console.WriteLine(" "); *1 1

VGB Kinect v2 VGB VGB Kinect v2 3 VGB VGB Discrete Continuous 2 Discrete : Jump, Sit, NicoNii AdaBoost (Confidence) Visual Studio 2013 or 2012 () Kinect for Windows SDK 2.

2 VGB Kinect v2 VGB VGB Kinect v2 3 VGB VGB Discrete Continuous 2 Discrete : Jump, Sit, NicoNii AdaBoost (Confidence) Visual Studio 2013 or 2012 () Kinect for Windows SDK 2.0 Kinect v2 MSDN [5] Kinect v2 [6] Kinect for Windows SDK 2.0 Visual C# 5 Kinect Studio Kinect Studio VGB Kinect SDK SDK Kinect v2 PC Kinect Studio Continuous : JumpProgress, SitProgress, NicoNicoNii Random Forest VGB 2 C87 Discrete 4 VGB VGB Kinect for Windows v2 (Kinect v2) USB 3.0 (Intel Renesas ) PC Microsoft Windows 8.1 (x64) 1 Kinect Studio Kinect Studio RECORD Kinect v2 Kinect Studio 2 Kinect v2 Kinect Studio Connected 3 Kinect v2 3 Kinect Studio Kinect 2

ル [8] であり一般的にはにこにーと呼ばれている*2 図 6 のように身体から指先まで全身を使うため認識のテストには最適であると考えられる図3 深度データ表示中の Kinect

るため必ずチェックをつけておかなければならない Nui Depth Nui IR Nui Body Frame Nui Opaque Data Nui Calibration Data 図6

$が終了する手の形状の違いなど細部の差異まで正確に判別するこ記録されたデータは特に保存先を設定していなとができるのであろうか次章の手順に従って Discrete い場合 C:\Users\$ $ユーザ名 \Documents\Kinect ジェスチャーとして認識させジェスチャーデータベー Studio\Repository に保存されるスに出力していく 6 Discrete$ 図 4 記録開始 Uncompressed Color RGB カメラの非圧縮ストリームの記録も行っているが約 1Gbps の転送レートで毎秒 120MB

図 4 記録開始 Uncompressed Color RGB カメラの非圧縮ストリームの記録も行っているが約 1Gbps の転送レートで毎秒 120MB

3 ル [8] であり一般的にはにこにーと呼ばれている*2 図 6 のように身体から指先まで全身を使うため認識のテストには最適であると考えられる図3 深度データ表示中の Kinect Studio るデータ保存の際チェックボックスの状態がと図5 なっているデータのみが保存される仕様となっておりにっこにっこにージェスチャーの学習には最低限以下のデータが必要であるため必ずチェックをつけておかなければならない Nui Depth Nui IR Nui Body Frame Nui Opaque Data Nui Calibration Data 図6 チェックボックスを確認したらボタンをクリックにこにーを行う宇宙 No.1 アイドル矢澤にこ [9] して記録開始後 Kinect の前に立って記録したいジェスチャーを行う再度このボタンをクリックすると記録このジェスチャーを VGB で学習認識させることでが終了する手の形状の違いなど細部の差異まで正確に判別するこ記録されたデータは特に保存先を設定していなとができるのであろうか次章の手順に従って Discrete い場合 C:\Users\ ユーザ名 \Documents\Kinect ジェスチャーとして認識させジェスチャーデータベー Studio\Repository に保存されるスに出力していく 6 Discrete ジェスチャーの学習先ほど使用した Kinect Studio は終了しスタート画面より Visual Gesture Builder - PREVIEW を選択して VGB を起動してみよう図 4 記録開始 Uncompressed Color RGB カメラの非圧縮ストリームの記録も行っているが約 1Gbps の転送レートで毎秒 120MB ほどのデータが保存されることになるためストレージに余裕がない場合は記録しなくてもよい図7 スタート画面上のショートカット今回図 5 のように T 氏に協力してもらいジェスチャーの記録を行ったこのジェスチャーはラブライ *2 ブ [7] の登場人物である矢澤にこ氏が行う自己アピー 3 アニメラブライブ 2 期 6 話の穂乃果のセリフにこちゃんがにこにーやろうとするからより

4 VGB 8 UI 8 Visual Gesture Builder File New Solution niconii.vgbsln Wizard Jump JumpProgress Gesture Wizard 11 niconii 9 Help Gesture Wizard Gesture Wizard 10 Visual Studio 10 Gesture Wizard 11 Gesture Wizard niconii niconii.a 2 Kinect Studio 12.a Add Clip.a 13 Control 4

$D:\niconii.gbd.$

5 12 Clip Control Shift 14 Enter T Build Gesture Wizard AdaBoost Body 18 Output 18 output SUCCESS: The build completed successfully and has been saved to D:\niconii.gbd. gbd Gesture Builder Database 5

6 7 PC Kinect v2 VGB File Live Preview 19 Kinect v Discrete Visual Studio 2013 C# 8.1 Visual Studio C# WPF 19 Live Preview T M Live Preview 20 Confidence WPF Visual Studio 23 x

$3 DLL 3 xcopy "$(KINECTSDK20_DIR)Redist\VGB\x86\vgbtechs" "$(TargetDir)\vgbtechs" /S /R /Y /I 8.$ VisualGestureBuilderFrameReader gestureframereader; // Gestures private Gesture niconii; 8.3 foreach gestureframe- 24 Microsoft.Kinect

VisualGestureBuilderFrameReader gestureframereader; // Gestures private Gesture niconii; 8.3 foreach gestureframe- 24 Microsoft.Kinect

7 3 DLL 3 xcopy "$(KINECTSDK20_DIR)Redist\VGB\x86\vgbtechs" "$(TargetDir)\vgbtechs" /S /R /Y /I 8.2 Kinect v2 Body Gesture 4 // Body private Body[] bodies; // Gesture Builder private VisualGestureBuilderDatabase gesturedatabase; private VisualGestureBuilderFrameSource gestureframesource; private VisualGestureBuilderFrameReader gestureframereader; // Gestures private Gesture niconii; 8.3 foreach gestureframe- 24 Microsoft.Kinect Microsoft.Kinect.VisualGestureBuilder VGB x86 x64 2 x86 Source 6 if 5 gesturedatabase = new VisualGestureBuilderDatabase(@"niconii.gbd"); gestureframesource = new VisualGestureBuilderFrameSource(kinect, 0); 6 foreach (var gesture in gesturedatabase.availablegestures) if (gesture.name == "niconii") niconii = gesture; this.gestureframesource.addgesture(gesture); 8.4 Body TrackingID Kinect v2 Body Frame TrackingID Body 25 GitHub push * 3*4 *3 *4 ID Body 6 6 TrackingId VisualGesture- BuilderFrame IsTrackingIdValid false 7 Body TrackingID if (bodyframe!= null) bodyframe.getandrefreshbodydata(bodies); 7

foreach (var body in bodies) if (body!= null && body.istracked) // body gestureframesource.trackingid = body.trackingid; // gestureframereader.ispaused = false; 8.

= null) var result = gestureframe.discretegestureresults[niconii]; // if (result.detected) TextBlock1.Text = " "; else TextBlock1.Text = ""; // ProgressBar1.Value = result.

8 foreach (var body in bodies) if (body!= null && body.istracked) // body gestureframesource.trackingid = body.trackingid; // gestureframereader.ispaused = false; 8.5 GestureFrame FrameArrived Discrete Confidence Discrete result.detected GitHub Continuous Progress 8 if (gestureframe!= null && gestureframe.discretegestureresults!= null) var result = gestureframe.discretegestureresults[niconii]; // if (result.detected) TextBlock1.Text = " "; else TextBlock1.Text = ""; // ProgressBar1.Value = result.confidence; 9 Kinect v2 Visual Gesture Builder Continuous [1] Microsoft, Kinect for Windows com/download/e/a/f/ EAF8AC3F D9-44FFA3B0A937/ PT-002_shinjich.pdf 2014/11/18 [2] alsione, (2012/07/03 ) [3], Kinect HMD /06/news104.html (2012/07/06 ) [4] Microsoft, Visual Gesture Builder: A Data- Driven Solution to Gesture Detection (2014/12/01 ) [5] Microsoft, System Requirements - Kinect for Windows SDK dn aspx (2014/12/01 ) [6] Buu Labs, KINECT V2 RENESAS 10 (2014/07/25 ) [7] [8] - (2014/12/28 ) [9] Android/iOS R Buu : M is awesome. T is extraordinary. 8

Abstract Kinect for Windows RGB Kinect for Windows v Kinect for Windows v2

Abstract Kinect for Windows RGB Kinect for Windows v Kinect for Windows v2 Kinect 2014 9 19 IS Report No. 2014092901 Report Medical Information System Laboratory Abstract Kinect for Windows 2012 2 RGB Kinect for Windows v2 2014 7 Kinect for Windows v2 1............................