Kinect プログラミングの道しるべ 橋本直独立行政法人科学技術振興機構 / 工学ナビ hashimoto@kougaku-navi.net Kinect は, 家庭用ゲーム機である Xbox 用の外部機器として販売されているゲームデバイスです. プレイヤーの位置やジェスチャ, 声, 顔を認識することができ, 人の身体を丸ごとコントローラ化することができます. Kinect は USB デバイスなので,PC に接続して使うこともできます. 本稿では,Kinect プログラミングを始めるための道しるべとなる情報を集めましたので, 参考にしてください. Kinect とは Kinect は, 普通のカラーカメラに加え, 赤外線カメラと赤外線レーザプロジェクタを搭載しています. 赤外線レーザプロジェクタから空間に投影された見えない赤外線のパターンを, 赤外線カメラで読み取ることによって, 奥行きを計測しています ( この手法を LightCoding と呼びます ). デプスカメラ自体は以前から存在していましたが, 家庭用ゲーム機の外部機器として売れるほど 安価で 安定した ものが登場した, ということで一躍注目の的となりました. 赤外線レーザプロジェクタ 赤外線カメラ カラーカメラ 図 1 Kinect の外観 Kinect の入出力デバイス Kinect に搭載されている入出力デバイスの一覧を表 1に示します.Kinect はカメラ以外にも, マイクや加速度センサなどを搭載しています. マイクは音声を取るだけでなく, 音源の位置を推定するために4 個搭載されています. また, 本体を水平にするために, 傾きを検知するための加速度センサと, 上下の傾きを修正するためのモータが搭載されています. 本体の動作状態を表示するために LED が付いていますが, これもプログラムからコントロールできる仕様になっています.
表 1 Kinect の入出力デバイス 入出力デバイス 取得または制御できる情報 カラーカメラ カラー画像 ( 視野角度は垂直方向 43, 水平方向 57 ) 赤外線カメラ + 赤外線レーザプロジェクタ 赤外線画像 深度画像 ( 距離画像とも言う ) マイクアレイ (4 個 ) 音声, 音源位置 3 軸加速度センサ 本体の傾き情報 LED 点灯制御 ( 緑 赤 オレンジ ) モータ ( 台座内 ) 本体の傾きの制御 (±28deg) さまざまな画像情報 Kinect はデプスカメラとしての使い方がメインになります. ここでは Kinect で利用する主な画像情報について説明します. カラー画像 ごく一般的な画像データです. 画素ごとにRGB( 赤 緑 青 ) の色情報を持ちます. サイズは 640x480. 深度画像 画素ごとに奥行き方向の距離情報を持つ画像データです. 距離画像とも呼びます. この情報をもとに, 物体までの距離や, 物体の形状を知ることができます. サイズは 640x480. 赤外線画像 赤外線カメラで撮影されたグレイスケールの画像です. 赤外線プロジェクタから投影されたドットパターンを見ることができます. サイズは 640x480. 赤外線ドットパターンの投光は OFF にできないようなので, 赤外線カメラとして使いたい場合は何かしら工夫が必要です.
人物の形状データ 深度画像から人物領域のみを抽出して作成した画像データです. ライブラリによってデータ表現が異なりますが, 基本的に, 画素値をユーザ ID とするような2 次元の画像データです. このデータを使えば, カメラ画像から人物領域のみを切り出すこともできます. 骨格情報 人物領域の情報をもとに計算された関節の位置情報です. ボーンあるいはスケルトンとも呼びます. 頭 手 肩 胴 脚などの関節について, 画像上の座標値 (x,y) と, 空間中の座標値 (X,Y,Z) の両方を得ることができます. ドライバと開発環境 Kinect を PC で使えるようにするためのドライバと, それを用いたプログラム開発環境 ( ライブラリ ) は大きく分けて3 種類に分けられます. それぞれ利用可能な OS, 言語, 機能が異なりますので, 目的と環境に合わせて選んでください. また, 複数インストールすると, 競合する場合がありますので注意してください. (A)Kinect for Windows SDK( 公式 SDK) 概要 Kinect プログラミングのための, マイクロソフト公式の SDK.Kinect 用ドライバとプログラミング環境を含む. 配布サイト http://kinectforwindows.org/ 対応 OS Windows7 言語 C++,C# できることカメラ画像 / 深度画像の取得ユーザ検出スケルトントラッキングチルトモータ制御, 音源位置推定ビームフォーミング ( 特定方向の音声認識 ) ストリームの保存ノイズ除去性能深度画像の最大画素数 :640x480 取得可能範囲 :80cm~4m 同時ユーザ認識数 : 最大 6 人同時スケルトントラッキング数 : 最大 2 人検出可能な関節数 :20 箇所
特徴 拡張 スケルトントラッキングをするためのキャリブレーションポーズをとる必要がない 音声処理 API を持っている トラッキングの精度が高く, 高速に動作 Kinect for Windows SDK にジェスチャ認識, ポーズ認識を追加できる C# のオープンソースライブラリとして,Kinect ToolKit(http://kinecttoolkit.codeplex.com/) がある. 認識できるポーズは, ポーズなし, 手を合わせたポーズ, 左手を頭より上に挙げたポーズ, 右手を頭より上に挙げたポーズ, 左手であいさつ, 右手であいさつ, など. (B)OpenNI 概要 Kinect の深度センサを開発した PrimeSense 社が中心となって進めているプロジェクト (NI は Natural Interaction の略 ).NITE と呼ばれるミドルウェアがあり, 通常これとセットで使う. 配布サイト http://openni.org 対応 OS Windows,Mac OS X,Linux 言語 C++,C#,Java,Processing,Python,AIR できることカメラ画像 / 深度画像 / 赤外線画像の取得深度画像に位置合わせをしたカメラ画像の取得ユーザ検出スケルトントラッキングハンドトラッキングジェスチャ認識録画と再生性能深度画像の最大画素数 :1024x768 取得可能範囲 :50cm~9m 同時ユーザ認識数 : 最大 15 人同時スケルトントラッキング数 :6 人程度? 検出可能な関節数 :15 箇所特徴 デプスカメラ Xtion Pro にも対応 OpenCV との連携あり備考 OpenNI のミドルウェアである NITE には, スケルトントラッキング, ハンドトラッキング, ジェスチャ認識機能が含まれる. 認識できるのは, 手の静止, 手の前後運動, 手の円運動, 手を軽く振る運動, 手の上下左右のスワイプなど. 派生さまざまなラッパーが存在する. ONIPY ofxopenni OpenNI Unity Wrapper simple-openni kinectas Python ラッパー openframeworks アドオン Unity Processing ラッパー AIR アプリケーションでスケルトントラッキング
(C)libfreenect 概要 OpenKinect というプロジェクトで開発されているドライバ. 配布サイト http://github.com/openkinect/libfreenect 対応 OS Windows,Mac OS X,Linux 言語 C,C++ できることカメラ画像 / 深度画像 / 赤外線画像の取得深度画像に位置合わせをしたカメラ画像の取得加速度センサの値の取得チルトモータの制御 LED の制御特徴スケルトントラッキングなどの解析機能は持たないが, 各センサの生データをシンプルかつ高速に取得することができる. 派生 Python,ActionScript,C# のラッパーが存在する flkinect http://kimulabo.jp/ Kinect を使うためのソケットサーバーアプリケーション+Action Script クラス 参考文献 Kinect プログラミングのための参考になる書籍を紹介します. KINECT センサープログラミング ( 中村薫 秀和システム ) 最初に出版された Kinect 本です.C++ および C# における OpenNI と NITE を使ったプログラミングについて解説しています.OpenNI でのプログラミングをやる場合は頼もしいリファレンスになります. キネクトハッカーズマニュアル ( 西林孝, 小野憲史 ラトルズ ) Kinect の開発環境の比較, インストール方法,OpenNI プログラミング,OpenCV との連携,openFrameworks や ActionScript での Kinect の使い方などについて, 広く浅く解説しています. 世の中で発表されている作例なども紹介されているので,Kinect プログラミングの雰囲気を知るには良い本です. 本稿における開発環境の比較の部分は, この本を参考にしました. KINECT センサー画像処理プログラミング ( 谷尻豊寿 カットシステム ) 公式 SDK および OpenNI を用いた C++ でのプログラミングについて, こってり書いてあります. 公式 SDK を使ったコードについて知りたければこの本がおすすめです. フィジカルコンピューティングを仕事にする ( 小林茂ほか ワークスコーポレーション ) Web カメラ, マイク,Wii リモコン,Kinect,Arduino などのデバイスを使ったものづくりについて書かれた本です.Kinect と Flash の連携について, ソケットサーバを自分で作る方法と,kinectas を使う方法の2 種類が紹介されています. 実際のビジネスでの活用事例の紹介もあり, 興味深いです.
参考 Web サイト わからないことは Google で調べればかなりの量の情報がヒットしますが, 有名どころを紹介しておきます. かおるんダイアリー http://d.hatena.ne.jp/kaorun55/ 書籍 KINECT センサープログラミング の著者 中村薫氏によるブログ. 最新の Kinect 界隈の動向を知るのに良い. 同氏の Twitter も参考になる (@ kaorun55). totakke website http://www.cyber.t.u-tokyo.ac.jp/~take/kinect/ 東京大学 竹内俊貴氏の Web サイト.Kinect のプログラミング環境のセットアップ手順などの詳しい解説がある. これらの情報は Kinect Wiki(http://www.kinect-wiki.info/) のほうに順次移行する模様. Kosaka laboratory http://www.kosaka-lab.com/tips/ 神奈川工科大学 小坂崇之先生の研究室の Web サイト.OpenNI と公式 SDK( 特に XNA での開発 ) の TIPS が豊富にある.Kinect プログラミングのデバッグのために開発された KINECT DOLL は必見. C# 開発者が Kinect ハック に挑戦してみた - @IT http://www.atmarkit.co.jp/fdotnet/special/kinecthack01/kinecthack01_02.html 有名どころの Kinect 作品の動画の紹介と,OpenNI + C# でのプログラミングの導入までの解説. ざっと雰囲気を知るには良い記事. Kinect ソケットサーバ KineX 現在, 私の研究プロジェクトでも,Kinect の骨格データ (2 次元および3 次元 ) をネットワーク経由で放流するソケットサーバを作成しています. これを用いれば, ソケット通信が行える言語およびハードウェア ( 例えば,Flash やスマートフォン ) において,Kinect を使ったアプリケーションを作成することができます. KineX 配布サイト http://kougaku-navi.net/kinex/ 公式 SDK のドライバを使用しています.KinectSDK v1.0 beta2 をインストールしてください. http://kinectforwindows.org/download/