基礎輪講2週目 Kinectの話

Size: px

Start display at page:

Download "基礎輪講2週目 Kinectの話"

1 基礎輪講 2 週目 Kinect の話

2 3D Computer Vision カメラから 3 次元の情報を取得 3 次元再構築 :2 次元の画像から 3 次元形状の復元多視点画像群 3 次元再構築結果 3 次元の情報を持つ画像ってないの? 2

3 距離画像 Depth( 距離 ) の情報を持った画像各画素の部分に距離の値が入る. 距離画像距離画像を取得する機器が必要 3

4 距離画像センサ実世界の距離情報を取得できる. 主に 2 つの方式 1TOF(Time of Flight) 方式 2 パターン照射 (Projector-Camera) 方式 4

5 TOF(Time of Flight) 方式レーザーが対象まで往復するのにかかる時間 (Time of Flight) から距離を計測 TOF 方式による距離計測 5

6 パターン照射 (Projector-Camera) 方式あらゆるパターンのレーザー光線を当て, 反射する光のパターンのひずみで距離を測定パターン照射方式による距離計測 6

7 パターン照射 Kinect for Windows v1 はパターン照射方式を採用 Kinect の投影光 7

8 距離画像センサの問題点技術自体は古くからあるが非常に高価なものが多い. 距離画像センサの例もう少し安いセンサが欲しい! 8

9 コンシューマデプスセンサ距離情報を取得する低価格なセンサ各製品 2 万 ~5 万程度低価格なため広く普及し研究される. 中でも Kinect は数多くの研究に用いられている. 9

10 Kinect もともとは, イスラエルの Primesense 社が製造しているデプスセンサ (Primesensor) Microsoft 社に技術提供 Microsoft が Xbox 360 のゲームコントローラ (Kinect) として販売安価なデプスセンサとして利用可能なため広く普及 (USB で PC と接続可能ハッキングしやすい!) 10

11 Kinect の用途 1 距離情報の取得 3 次元点群処理 Computer Vision 的な使い方 2 人物姿勢のトラッキング NUI(Natural User Interface) 等に利用 Interaction 的な使い方 11

12 距離情報の取得 Kinect により 3 次元点群を取得 3 次元点群の表示 PCL(3 次元点群処理ライブラリ ) を使おう! 12

13 人物姿勢のトラッキング体の各部位の推定スケルトン ( ボーン ) のトラッキング様々なパターンの人物姿勢を機械学習し人を識別開発キットを使おう! スケルトントラッキング 13

14 Kinect の種類研究室には 3 つの Kinect があります! Kinect for XBOX360 Kinect for Windows v1 Kinect for Windows v2 本来は Xbox 360 用, 商用利用は NG 開発時や個人用途に限り Kinect for Windows SDK (Kinect 用の開発キット ) で利用可能 Near モード使用不可 Windows PC に対応, 商用利用 OK Near モード使用可 Windows 8 以降のみに対応 Visual Studio 2012 以降で動作 USB3.0 が必須使いこなせる人がまだほとんどいない 14

15 Kinect の主な仕様 Kinect for Windows v2 Kinect for Windows v1 カラーカメラ解像度距離カメラ解像度距離センサ有効距離 0.5m~8.0m 0.8m~4.0m (Near モード :0.4m~, Extend モード :~10.0m) 距離取得方式 TOF パターン照射最大 fps 認識人数 6 人 6 人認識関節数屋外利用 15

16 Kinect の開発キット 1OpenNI:PrimeSense 社らが開発している API 群 OpenNI(API),NITE( ジェスチャー認識ライブラリ ),Sensor( デバイスドライバ ) から構成されている. 2Kinect for Windows SDK:Microsoft 社が開発した SDK こっちが公式 OpenNI と SDK は競合します!! 2014 年 4 月 23 日をもって OpenNI はサポート終了 Windows SDK を使ってください! 16

17 Kinect プログラミングのために PCL と Windows SDK をインストール 1. All-in-one Installer を利用して PCL をインストール ( 参考 URL: 2. Kinect for Windows SDK v1.8 をインストール ( 3. システム環境変数の変数 Path の値に PCL の dll ファイルが含まれるフォルダのパスを追加 (dll ファイルは主に PCL rdParty より下のフォルダにあります ) 4. (PC 再起動 ) 17

18 動作確認 Developer Toolkit Browser v1.8.0(kinect for Windows) 内のサンプルプログラムが動けば OK 適当に選んで Run ボタンを押すと起動します. いろいろ試してみましょう. 18

19 サンプルコードと課題 MyKinect.zip をダウンロード付属のプロパティシートを追加課題 : 次の 2 つの関数を作成して下さい. setdepthimage 関数の一部 ( 空白部分 ) 距離画像 (rawdepthimage, depthimage) の作成 PCL の点群データ (cloud) に色つきの 3 次元点を保存 savedata 関数 RGB 画像距離画像の出力,Mat 型距離データを xml, 点群を pcd で出力ファイル名固定は避ける. 出力した pcd ファイルは PCL bin pcl_viewer_release.exe で開けます. 終わった人 : 点群の平面領域を検出 (PCL に関数があります ) 平面の色を変える, 平面を除去する,etc 自分で調べてみましょう! 19

20 Kinect のカラー画像 NUI_LOCKED_RECT colordata (KinectからのRGB 情報 ) cv::mat_<cv::vec3b> rgbimage に登録 (R の明度値 ) = (unsigned char)rgbimage.at<cv::vec3b>(0, 6)[2]; 左上が原点! o x (cols) (G の明度値 ) = (unsigned char)rgbimage.at<cv::vec3b>(0, 0)[1]; y (rows) Mat 型の概要 (B の明度値 ) = (unsigned char)rgbimage.at<cv::vec3b>(2, 1)[0]; rgbimage の概要 20

Kinect の距離データ NUI_LOCKED_RECT depthdata (Kinectからの距離情報)

at<ushort>(0, 1) rawdepthdata の概要距離 ( 単位 mm) プレイヤー ID

21 Kinect の距離データ NUI_LOCKED_RECT depthdata (Kinectからの距離情報) cv::mat_<ushort> rawdepthdata に登録 rawdepthdata.at<ushort>(0, 1) rawdepthdata の概要距離 ( 単位 mm) プレイヤー ID カラー画像と距離画像の座標は異なる単純に重ねてはダメ! NuiImageGetColorPixelCoordinatesFromDepthPixelAtResolution 関数カラー画像距離画像 ( 左 : 距離画像座標右 : カラー画像座標 ) 21

22 Kinect の座標系変換 rawdepthdata の値から 3 次元 ( カラーカメラ座標系 ) に変換 rawdepthdata( 距離画像座標系 ) col = ( 画像の x 座標 ); row = ( 画像の y 座標 ); rawdepthdata.at<ushort>(row, col) = ( 距離の値 [mm] + プレイヤー ID); NuiTransformDepthImageToSkeleton 関数 real ( カラーカメラ座標系 ) (real は Vector4 型 real.w は無視 ) real.x = (x 座標 [m]); real.y = (y 座標 [m]); real.z = (z 座標 [m]); 関数が想定する座標系とカメラ座標系が異なる. 正方向に注意して PointCloud に格納 22

スライド 1

スライド 1 MiniConVer2.1 操作マニュアル KinectV2 センサー用株式会社テレビ朝日クリエイト動作条件 Kinect2 を動作させるためには Microsoft 社が推奨する以下のハードウェア環境で必要です http://www.microsoft.com/en-us/kinectforwindows/purchase/sensor_setup.aspx 対応 OS は以下になります Microsoft