画像処理技術を利用した Kinectの応用

Size: px

Start display at page:

Download "画像処理技術を利用した Kinectの応用"

まいえわにべ
6 years ago
Views:

1 はじめての Kinect for Windows v2 2014/09/24,26 東京エレクトロンデバイス株式会社主催 Kinect for Windows v2 最新情報セミナー Natural Software 中村薫

14 Kinect v 年 11 月米国などでXbox Oneが発売 (Kinect v2 同梱 ) 2013 年 12 月 Kinect for Windows v2 Developer Previewの発売開始 2014 年 07 月 Kinect for Windows v2 Public Previewの発売開始 2014 年 09 月日本でXbox Oneが発売 Copyright 2014 Natural Software.jp All rights reserved. 15

Kinect for Windows v2 Xbox One に付属の Kinect と同等 2014 年 7 月時点でオープンベータとしてリリース ( センサーはリリース版 ) http://www.

現実世界へのインタラクション Copyright 2014 Natural Software.

25 Kinect for Windows SDK v 年 12 月 :Developer Preview 2014 年 07 月 :Public Preview 年 08 月 :Public Preview 年 09 月 :Public Preview 1409 Kinect for Windows Dev Center で配布直リンク : Kinect for Windows SDK 2.0 Public Preview Copyright 2014 Natural Software.jp All rights reserved. 26

28 Kinect for Windows SDK v2 Control: ユーザーインタフェース (NUI) Fusion: 3 次元モデルの再構築 Speech: 音声コマンド認識 Face: 顔の情報 ( 表情など ) HD Face: 高精度の顔情報 (3Dモデルなど) Copyright 2014 Natural Software.jp All rights reserved. Gesture: ユーザー定義のジェスチャー 29

29 Kinect for Windows SDK v2 Kinect Studio: Kinect データの記録と再生 Visual Gesture Builder: ポーズやジェスチャーの作成 Kinect v2 Configuration Verifier: ハードウェアが要求を満たしているかチェックする Copyright 2014 Natural Software.jp All rights reserved. 30

Kinect for Windows SDK v2 現状では重心および心拍は含まれていない http://www.youtube.

32 ハードウェア要求対応 OS(*) Windows 8 (x64) Windows 8.1 (x64) Windows Embedded 8 (x64) Windows Embedded 8.1 (x64) CPU Core i7 3.1GHz 以上の 64bit CPU メモリ 4GB 以上 USBバージョン (*) USB 3.0 USBホストコントローラー (*) IntelまたはRenesas グラフィック (*) DirectX 11 対応グラフィックカード *: 必須項目 Copyright 2014 Natural Software.jp All rights reserved. 33

33 Kinect for Windows v2 の仕様 (1) Color 画像 Depth 画像 Depthセンシング方式 Depth 認識範囲水平視野角垂直視野角 1920x x424 TOF(Time of Fright) 500mm-8000mm(Depth) 500mm-4500mm(Body) 70 度 60 度 Copyright 2014 Natural Software.jp All rights reserved. 34

37 対応言語および開発環境 Visual Studio 2012 以降 (Express も可 ) ネイティブ (C++) マネージ (.NET:C# VB など ) WinRT (Windows ストアアプリ :C# HTML&JavaScript など ) Unity(Pro が必要 :C#) Copyright 2014 Natural Software.jp All rights reserved. 38

38 環境による利用できる機能の相違ネイティブマネージ WinRT Unity 基本ストリーム Control Fusion Face HD Face Speech Gesture 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します Copyright 2014 Natural Software.jp All rights reserved. 39

40 センサーの仕様比較 Kinect v1 Kinect v2 Color 画像 640x480,1280x x1080 Color フレームレート 30FPS,12FPS 30FPS,15FPS( 暗所 ) Depth 画像 80x69,320x240,630x x424 Depth フレームレート 30FPS 30FPS Depth センシング方式 Light Coding TOF(Time of Fright) Depth 認識範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 400mm-10000mm(Extend) 500mm-8000mm 水平視野角 57 度 70 度垂直視野角 43 度 (±27 度 : チルトモーター ) 60 度 Copyright 2014 Natural Software.jp All rights reserved. 41

41 センサーの仕様比較 Kinect v1 Kinect v2 人の検出 6 人 6 人人の検出距離範囲 800mm-4000mm(Default) 400mm-3500mm(Near) 500mm-4500mm 人の骨格検出 2 人 6 人検出骨格数 20 点 / 一人 25 点 / 一人手指検出 ( 親指と指先 ) 手のポーズ検出 (Kinect Interaction: グーパー ) ( グーチョキパー ) Copyright 2014 Natural Software.jp All rights reserved. 42

42 センサーの仕様比較ジェスチャー Kinect v1 (Kinect Interaction: 入力支援 ) Kinect v2 マイク 4つのマイク ( マイクアレイ ) 4つのマイク ( マイクアレイ ) 音声入力チルトモーターありなし加速度センサーあり APIとしては未公開 Copyright 2014 Natural Software.jp All rights reserved. 43

Depth Kinect v1 Kinect v2 Kinect v2のソフトウェアやハードウェア

Depth センシング方式 (v1:light Coding) ランダムな点を照射し歪みを計測する

全身の骨格検出数 Kinect v1 : 20 点 / 一人 Kinect v2 : 25 点 / 一人

54 使用するライブラリ ( マネージ ) 基本ストリーム Control Fusion Face HD Face Speech Gesture Microsoft.Kinect.dll Microsoft.Kinect.Wpf.Controls.dll Microsoft.Kinect.Fusion.dll Microsoft.Kinect.Face.dll Microsoft.Kinect.Face.dll Speech SDK Microsoft.Kinect.VisualGestureBuilder.dll 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します Copyright 2014 Natural Software.jp All rights reserved. 55

55 使用するライブラリ ( ネイティブ ) 基本ストリーム Kinect20.lib Control Fusion Face HD Face Speech Gesture Kinect20.Fusion.lib Kinect20.Face.lib Kinect20.Face.lib Speech SDK Kinect20.VisualGestureBuilder.lib 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します Copyright 2014 Natural Software.jp All rights reserved. 56

56 使用するライブラリ (WinRT) 基本ストリーム Control Fusion Face HD Face WindowsPreview.Kinect Microsoft.Kinect.Toolkit.Input Microsoft.Kinect.Xaml.Controls Microsoft.Kinect.Fusion Microsoft.Kinect.Face Microsoft.Kinect.Face Speech Gesture Microsoft.Kinect.VisualGestureBuilder 基本ストリームはColor,Depth,Infrared,BodyIndex,Body,Audioを示します Copyright 2014 Natural Software.jp All rights reserved. 57

59 Kinect for Windows SDK v2 からのデータ ColorFrameReader DepthFrameReader InfraredFrameReader BodyIndexFrameReader BodyFrameReader LongExposureInfraredFrameReader AudioBeamFrameReader MultiSourceFrameReader Copyright 2014 Natural Software.jp All rights reserved. 60

60 改善点 Depth と PlayerIndex(BodyIndex) が分離された V1 では Depth と PlayerIndex がひとまとまりだった Color ストリームと IR ストリームを同時に読み込むことができる V1 では Color と IR ストリームは排他 (PrimeSense 系センサーの仕様?) AudioBeam に BodyIndex が関連付けられた音声方向の人の判別が容易になった Copyright 2014 Natural Software.jp All rights reserved. 61

62 初期化 ( マネージド ) void Initialize() { // Kinectを開く kinect = KinectSensor.GetDefault(); kinect.open(); } // カラーリーダーを開く colorframereader = kinect.colorframesource.openreader(); colorframereader.framearrived += colorframereader_framearrived; Copyright 2014 Natural Software.jp All rights reserved. 63

63 データを取得する ( マネージド ) void colorframereader_framearrived( object sender, ColorFrameArrivedEventArgs e ) { // カラーフレームを取得する using ( var colorframe = e.framereference.acquireframe() ) { if ( colorframe == null ) { return; } // BGRA データを取得する colorframe.copyconvertedframedatatoarray( colorbuffer, ColorImageFormat.Bgra ); } } // 処理する... Copyright 2014 Natural Software.jp All rights reserved. 64

VGB Kinect v2 VGB VGB Kinect v2 3 VGB VGB Discrete Continuous 2 Discrete : Jump, Sit, NicoNii AdaBoost (Confidence) Visual Studio 2013 or 2012 () Kine

VGB Kinect v2 VGB VGB Kinect v2 3 VGB VGB Discrete Continuous 2 Discrete : Jump, Sit, NicoNii AdaBoost (Confidence) Visual Studio 2013 or 2012 () Kine Kinect v2 Visual Gesture Builder Buu C87 2014.12.30 1 Kinect for Windows Leap Motion RealSense RGB 1 Kinect for Windows [1] 2010 Kinect for Xbox 360 2012 [2] [3] Kinect DanceEvolution ARCADE 2014 Kinect