画像処理技術を利用した Kinectの応用

はじめての Kinect for Windows v2 2014/09/24,26 東京エレクトロンデバイス株式会社主催 Kinect for Windows v2 最新情報セミナー Natural Software 中村薫

Kinect v2 2013 年 11 月米国などでXbox Oneが発売 (Kinect v2 同梱 ) 2013 年 12 月 Kinect for Windows v2 Developer Previewの発売開始 2014 年 07 月 Kinect for Windows v2 Public Previewの発売開始 2014 年 09 月日本でXbox Oneが発売 Copyright 2014 Natural Software.jp All rights reserved. 15

Kinect for Windows v2 Xbox One に付属の Kinect と同等 2014 年 7 月時点でオープンベータとしてリリース ( センサーはリリース版 ) http://www.microsoftstore.com/store/msjp/ja_jp/pdp/productid.298959900 Copyright 2014 Natural Software.jp All rights reserved. 16

Kinect for Windows SDK v2 2013 年 12 月 :Developer Preview 2014 年 07 月 :Public Preview 1407 2014 年 08 月 :Public Preview 1408 2014 年 09 月 :Public Preview 1409 Kinect for Windows Dev Center で配布直リンク : Kinect for Windows SDK 2.0 Public Preview Copyright 2014 Natural Software.jp All rights reserved. 26

Kinect for Windows SDK v2 Control: ユーザーインタフェース (NUI) Fusion: 3 次元モデルの再構築 Speech: 音声コマンド認識 Face: 顔の情報 ( 表情など ) HD Face: 高精度の顔情報 (3Dモデルなど) Copyright 2014 Natural Software.jp All rights reserved. Gesture: ユーザー定義のジェスチャー 29

Kinect for Windows SDK v2 Kinect Studio: Kinect データの記録と再生 Visual Gesture Builder: ポーズやジェスチャーの作成 Kinect v2 Configuration Verifier: ハードウェアが要求を満たしているかチェックする Copyright 2014 Natural Software.jp All rights reserved. 30

ハードウェア要求対応 OS(*) Windows 8 (x64) Windows 8.1 (x64) Windows Embedded 8 (x64) Windows Embedded 8.1 (x64) CPU Core i7 3.1GHz 以上の 64bit CPU メモリ 4GB 以上 USBバージョン (*) USB 3.0 USBホストコントローラー (*) IntelまたはRenesas グラフィック (*) DirectX 11 対応グラフィックカード *: 必須項目 Copyright 2014 Natural Software.jp All rights reserved. 33

Kinect for Windows v2 の仕様 (1) Color 画像 Depth 画像 Depthセンシング方式 Depth 認識範囲水平視野角垂直視野角 1920x1080 512x424 TOF(Time of Fright) 500mm-8000mm(Depth) 500mm-4500mm(Body) 70 度 60 度 Copyright 2014 Natural Software.jp All rights reserved. 34

対応言語および開発環境 Visual Studio 2012 以降 (Express も可 ) ネイティブ (C++) マネージ (.NET:C# VB など ) WinRT (Windows ストアアプリ :C# HTML&JavaScript など ) Unity(Pro が必要 :C#) Copyright 2014 Natural Software.jp All rights reserved. 38

環境による利用できる機能の相違ネイティブマネージ WinRT Unity 基本ストリーム Control Fusion Face HD Face Speech Gesture 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します Copyright 2014 Natural Software.jp All rights reserved. 39

センサーの仕様比較 Kinect v1 Kinect v2 Color 画像 640x480,1280x960 1920x1080 Color フレームレート 30FPS,12FPS 30FPS,15FPS( 暗所 ) Depth 画像 80x69,320x240,630x480 512x424 Depth フレームレート 30FPS 30FPS Depth センシング方式 Light Coding TOF(Time of Fright) Depth 認識範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 400mm-10000mm(Extend) 500mm-8000mm 水平視野角 57 度 70 度垂直視野角 43 度 (±27 度 : チルトモーター ) 60 度 Copyright 2014 Natural Software.jp All rights reserved. 41

センサーの仕様比較 Kinect v1 Kinect v2 人の検出 6 人 6 人人の検出距離範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 500mm-4500mm 人の骨格検出 2 人 6 人検出骨格数 20 点 / 一人 25 点 / 一人手指検出 ( 親指と指先 ) 手のポーズ検出 (Kinect Interaction: グーパー ) ( グーチョキパー ) Copyright 2014 Natural Software.jp All rights reserved. 42

使用するライブラリ ( マネージ ) 基本ストリーム Control Fusion Face HD Face Speech Gesture Microsoft.Kinect.dll Microsoft.Kinect.Wpf.Controls.dll Microsoft.Kinect.Fusion.dll Microsoft.Kinect.Face.dll Microsoft.Kinect.Face.dll Speech SDK Microsoft.Kinect.VisualGestureBuilder.dll 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します Copyright 2014 Natural Software.jp All rights reserved. 55

使用するライブラリ ( ネイティブ ) 基本ストリーム Kinect20.lib Control Fusion Face HD Face Speech Gesture Kinect20.Fusion.lib Kinect20.Face.lib Kinect20.Face.lib Speech SDK Kinect20.VisualGestureBuilder.lib 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します Copyright 2014 Natural Software.jp All rights reserved. 56

使用するライブラリ (WinRT) 基本ストリーム Control Fusion Face HD Face WindowsPreview.Kinect Microsoft.Kinect.Toolkit.Input Microsoft.Kinect.Xaml.Controls Microsoft.Kinect.Fusion Microsoft.Kinect.Face Microsoft.Kinect.Face Speech Gesture Microsoft.Kinect.VisualGestureBuilder 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します Copyright 2014 Natural Software.jp All rights reserved. 57

Kinect for Windows SDK v2 からのデータ ColorFrameReader DepthFrameReader InfraredFrameReader BodyIndexFrameReader BodyFrameReader LongExposureInfraredFrameReader AudioBeamFrameReader MultiSourceFrameReader Copyright 2014 Natural Software.jp All rights reserved. 60

改善点 Depth と PlayerIndex(BodyIndex) が分離された V1 では Depth と PlayerIndex がひとまとまりだった Color ストリームと IR ストリームを同時に読み込むことができる V1 では Color と IR ストリームは排他 (PrimeSense 系センサーの仕様?) AudioBeam に BodyIndex が関連付けられた音声方向の人の判別が容易になった Copyright 2014 Natural Software.jp All rights reserved. 61

初期化 ( マネージド ) void Initialize() { // Kinectを開く kinect = KinectSensor.GetDefault(); kinect.open(); } // カラーリーダーを開く colorframereader = kinect.colorframesource.openreader(); colorframereader.framearrived += colorframereader_framearrived; Copyright 2014 Natural Software.jp All rights reserved. 63

データを取得する ( マネージド ) void colorframereader_framearrived( object sender, ColorFrameArrivedEventArgs e ) { // カラーフレームを取得する using ( var colorframe = e.framereference.acquireframe() ) { if ( colorframe == null ) { return; } // BGRA データを取得する colorframe.copyconvertedframedatatoarray( colorbuffer, ColorImageFormat.Bgra ); } } // 処理する... Copyright 2014 Natural Software.jp All rights reserved. 64

情報源中村 (MVP for Kinect) http://www.naturalsoftware.jp/ 杉浦さん (MVP for Kinect) http://unanancyowen.com/ http://www.buildinsider.net/small/kinectv2cpp 初音さん (MVP for Visual Basic) http://www.buildinsider.net/small/kinect2dp Copyright 2014 Natural Software.jp All rights reserved. 67

困ったときは Kinect for Windows 好きの集まり (Facebook グループ ) https://www.facebook.com/groups/320184018036066/ Tokyo MotionControl Network(Facebook ページ ) https://www.facebook.com/tokyomotioncontrolnetwork TMCN forum(facebook グループ ) https://www.facebook.com/groups/271384549699385/ Copyright 2014 Natural Software.jp All rights reserved. 68