Kinect SDK ver.1.8

Transcription

1 Kinect SDK ver.1.8 sample report 神 奈 川 工 科 大 学 情 報 学 部 情 報 メディア 学 科 Team:ローリング 佐 々 木 玲 雄 古 谷 政 人 桂 畑 司 阿 部 滉 平

2 Kinect SDK ver.1.8 samples 全 40サンプルが 存 在 する そのうち 多 言 語 重 複 が15 件 存 在 した 本 レポートでは25 件 を 報 告 する 担 当 佐 々 木 カメラ レポート 仕 上 げ 古 谷 プログラム 動 作 の 記 録 桂 畑 プログラム 実 行 実 行 結 果 キャプチャ 英 文 翻 訳 阿 部 英 文 翻 訳

3 発 表 順 より 基 本 となるプログラムを 先 に より 応 用 的 なプロ グラムを 後 にするようにし 内 容 が 関 連 しているプロ グラムは 同 条 件 で 連 続 するようにした

4 #1 Depth Basics 奥 行 きを 明 度 で 表 示 させる 手 前 は 白 く 奥 は 黒 である D2D,WPF,VB 版 が 存 在 する 撮 影 風 景 とキャプチャ 画 像 は 同 一 場 面 ではありません

5 #1 Depth Basics 2 説 明 文 Demonstrates the basic scenario of using the DepthImageStream (in near mode or default mode) and displaying an updated image 30 frame per second. (C++), Also shows how to save one frame as a.png file. (C# VB) 30FPSで 更 新 されるDepthImageのデータの 基 礎 的 な 使 い 方 を 記 したものであり C#とVBのライブラリでの サンプルではフレーム 単 位 でのビットマップ 画 像 を 保 存 する 方 法 が 記 されている

6 #2 Depth 人 にのみ 色 をつける 影 が 表 示 されているので 赤 外 線 カメラを 利 用 してい るものと 考 えられる D3D 版 のみが 存 在 する

7 #2 Depth 2 説 明 文 Demonstrates how to use the Kinect's DepthImageStream in a C++/Direct3D sample. *** PREREQUISITES: Compilation requires DirectX SDK installation. Execution requires DirectX End-User Runtime. 和 訳 Direct3D のサンプルにおける Kinect のDepthImage のデータを 使 い 方 を 記 したものである 編 集 するには DirectX SDKのインストールが 必 要 で す 実 行 するには DirectX のランタイムが 必 要 です

8 #3 Depth with Color カメラから 一 定 距 離 内 の 物 体 を 表 示 させる 表 示 さ せた 物 体 にはきちんと 色 がついている 体 感 的 にはカメラから5メートル 以 上 離 れると 認 識 さ れなくなった D3D 版 のみが 存 在 する

9 #3 Depth with Color 2 Demonstrates a 3D visualization (point cloud) using the ColorImageStream and DepthImageStream in a C++/Direct3D sample. Direct3D のサンプルにおける ColorImage と DepthImage のデータを 用 いて 三 次 元 空 間 に 可 視 化 する

10 #4 Color Basics カラー 写 真 を 撮 影 することができる D2D,WPF,VB 版 が 存 在 する

11 #4 Color Basics 2 説 明 文 Demonstrates the basic scenario of using the ColorImageStream and displaying an updated image 30 frame per second. Also shows how to save one frame as a {.bmp file.(c++),.png file.(c# VB)} 和 訳 30FPSで 更 新 されるColorImage のデータの 基 礎 的 な 使 い 方 とフレーム 単 位 でのビットマップ 画 像 の 保 存 する 方 法 を 記 したものである

12 #5 Background Removal Basic 画 像 を 表 示 し カメラで 人 を 認 識 すると 人 のみを 抽 出 し 表 示 している 画 像 を 背 景 として 画 面 内 に 映 す D2D,WPF 版 が 存 在 する

13 #5 Background Removal Basic 2 説 明 文 Demonstrates how to use managed BackgroundRemovaledColorStream API to achieve "green screening" without using an actual green screen. 和 訳 実 空 間 の 緑 色 の 画 像 を 除 去 して 仕 上 げるための Background Removal API のデータ を 扱 う 手 順 を 記 し たものである

14 #6 Coordinate Mapping Basics 機 能 はBackground Removal Basicと 同 じだが 輪 郭 がぼやけている D2D,WPF 版 が 存 在 する

15 #6 Coordinate Mapping Basics 2 説 明 文 Demonstrates removing the background, and leaving the people, from the ColorImageStream.Effects similar to green-screening can be achieved. (C++ C#) 和 訳 ColorImageのデータから 人 を 残 しつつ 背 景 を 除 去 した 画 像 を 生 成 する 効 果 としては green-screenを 用 いたものと 同 様 に 仕 上 がりにできる

16 #7 WPF D3D Interop Kinect SDK 内 のフォルダに 存 在 する 画 像 を 表 示 し マウスで 当 てたところを 虫 眼 鏡 を 通 すように 拡 大 表 示 させる 右 のパラメータで 倍 率 を 調 節 することもで きる 更 に カメラで 人 を 認 識 したらうっすらと 画 面 に 表 示 させる 機 能 も 確 認 することができた

17 #7 WPF D3D Interop 2 説 明 文 Demonstrate DirectX 11 interop with WPF, including full WPF composition of Direct X surface. Features a variation of the depth-d3d visualization. 和 訳 Direct X 面 の 完 全 なWPF 配 合 を 含 むWPFで DirectX 11オペ 中 を 示 してください 深 さ-D3D 視 覚 化 のバリ エーションを 特 徴 とします

18 #8 Face Tracking Basics 顔 を 認 識 したらポリゴンのような 顔 になる 顔 の 輪 郭 や 各 パーツを 線 分 のみで 表 していると 考 えられる WPF 版 のみが 存 在 する

19 #8 Face Tracking Basics 2 説 明 文 Demonstrates the basic scenario of using face tracking functionality. 和 訳 face tracking における 基 礎 的 な 関 数 の 使 い 方 を 記 したものである

20 #9 Face Tracking 人 の 顔 を 認 識 したら 顔 を 巨 大 化 させて 表 示 する 横 を 向 くと 少 しずれて 表 示 されるので 鼻 の 位 置 を 中 心 にしていると 考 えられる WPF 版 のみが 存 在 する

21 #9 Face Tracking 2 説 明 文 Demonstrates the scenario of using face tracking functionality with WPF 3D rendering. 和 訳 face tracking における WPF 3Dの 描 画 関 数 の 使 い 方 を 記 したものである

22 #10 Face Tracking Visualization 顔 を 認 識 し 表 情 を 読 み 取 る 読 み 取 った 表 情 を 左 に 映 っている 仮 想 の 顔 に 表 示 する

23 #10 Face Tracking Visualization 2 説 明 文 Demonstrates using Face Tracking SDK to track and visualize a single face or multiple face.(c++) 和 訳 face tracking SDK を 用 いた 単 一 もしくは 複 数 の 顔 を trackし 視 覚 化 する

24 #11 Infrared Basics 赤 外 線 カメラで 撮 影 している 映 像 を 表 示 する D2D,WPF 版 が 存 在 する

25 #11 Infrared Basics 2 説 明 文 Demonstrates the basic scenario of using an infrared stream and displaying an update image 30 frame per second. (C++ C#) 和 訳 赤 外 線 のデータの 使 い 方 と30FPSでの 描 画 をする 方 法 を 記 したものである

26 #12 Audio Basics 音 が 聞 こえてきた 方 向 を 感 知 するプログラム また 音 の 波 形 を 視 覚 化 することもできる 聞 こえてきた 方 向 を 表 示 する 針 は 新 たに 音 源 を 認 識 するまで 動 く ことはないが 音 の 波 形 は 現 在 進 行 形 の 音 を 視 覚 化 する D2D,WPF,VB 版 が 存 在 する

27 #12 Audio Basics 2 説 明 文 Demonstrates the basic scenario of using the AudioSource to capture audio for visualization of the audio data. Also shows how to determine the sound source angle. 和 訳 キャプチャした 音 声 データを 可 視 化 するための AudioSourceの 基 礎 的 な 使 い 方 と 音 声 の 発 生 した 方 向 を 取 得 する 方 法 を 記 したものである

28 #13 Audio Capture Raw-Console 実 行 後 キーボードの s キーが 押 されるまでにマイ クで 認 識 した 音 声 をwavファイルに 保 存 することがで きる 操 作 はコンソールである D2D 版 のみが 存 在 する

29 #13 Audio Capture Raw-Console 2 説 明 文 Demonstrates how to capture audio from the Kinect's audio device. 和 訳 Kinect のAudioDevice からの 音 声 をキャプチャする 方 法 を 記 したものである

30 #14 Audio Explorer FFT デザインが 違 うがAudio Basicsと 機 能 はほぼ 同 じである D2D 版 のみが 存 在 する

31 #14 Audio Explorer 2 説 明 文 Demonstrate many features of the Kinect audio pipeline and APIs. 和 訳 Kinect のaudio pipeline と APIの 機 能 のうちのいくつ かを 実 験 する

32 #15 Skeleton Basics 黒 の 背 景 に 認 識 した 人 の 骨 格 のみを 緑 色 で 表 示 す る D2D,WPF,VB 版 が 存 在 する

33 #15 Skeleton Basics 2 説 明 文 Demonstrate the basic scenario of using the skeletonstream(in default mode of seated mode)and displaying an updated skeleton visualization 30 frame per second. 和 訳 Skeletonデータ( 着 席 するモードのデフォルト モード では)を 使 って 更 新 された 概 略 の 視 覚 化 を30コマ 示 す 基 本 的 な 手 順 を 示 してください

34 #16 Kinect Explorer 人 を 認 識 し 骨 格 を 表 示 する 線 のみで 構 成 され 顔 腕 胴 体 足 に 線 が 引 かれる 関 節 は 首 肩 ひじ 手 首 腰 股 関 節 ひざ 足 首 である D2D,WPF 版 が 存 在 する

35 #16 Kinect Explorer 2 説 明 文 Demonstrate how to use the kinect colorimagestream, depthimagestream, skeletonstream and audiosource. 和 訳 kinect colorimagestream depthimageデータ skeletonsデータとオーディオ 源 を 使 う 方 法 を 示 してく ださい

36 #17 Controls Basics 選 択 したファイルが 表 示 される WPF 版 のみが 存 在 する

37 #17 Controls Basics 2 説 明 文 Demonstrates a basic use of controls in a Kinect interaction experience. This sample relies on the Microsoft.Kinect.Toolkit.Controls component. 和 訳 Kinect の 入 力 データをコントローラで 用 いる 基 本 的 な 使 い 方 このサンプルでは Microsoft.Kinect.Toolkit.Controlsのコンポーネントを 利 用 している

38 #18 Interaction Gallery SDKインストール 時 に 作 成 されたフォルダ 内 に 保 存 されている 画 像 をスライドショーで 表 示 させる WPF 版 のみが 存 在 する

39 #18 Interaction Gallery 2 説 明 文 Demonstrate use of Kinect controls and interaction in an integrated experience with example for navigation, engagement, an article viewer, a video player, and a pannable map following design. 和 訳 デザインの 後 ナビゲーション 関 わり 記 事 ビュー ア ビデオ プレーヤーとpannableな 地 図 のために 例 に 接 した 統 合 した 経 験 において Kinectの 統 制 と インタラクションの 使 用 を 示 してください

40 #19 Shape Game 人 を 認 識 したら 骨 格 のみをゲーム 画 面 に 表 示 させ る 落 下 物 を 手 や 頭 で 触 ると 得 点 になるゲームであ る 腕 などで 落 下 物 に 触 れてはじくことも 可 能 ゲー ム 画 面 の 右 上 には 実 際 にプレイしている 映 像 が 表 示 される

41 #19 Shape Game 2 説 明 文 Demonstrate a simple game using skeletal tracking and speech recognition in a C#/WPF application. 和 訳 C#/WPFアプリケーションで 骨 格 の 追 跡 と 音 声 認 識 を 使 っている 単 純 なゲームを 示 してください

42 #20 Speech Basics 画 面 に 亀 が 表 示 されており マイクに 向 かっ て forward ( 前 進 ) back ( 後 退 ) turn left ( 左 方 向 転 換 ) turn right ( 右 方 向 転 換 )の 指 示 を 出 すと 亀 が 指 示 通 りに 移 動 する マイクの 認 識 がシビアなようで かなり 正 確 な 英 語 の 発 音 でないと 認 識 しないようであった D2D,WPF,VB 版 が 存 在 する

43 #20 Speech Basics 説 明 文 Demonstrate the basic scenario of using speech recognition to move a turtle image around the screen forward, back, turn left, turn right, are the commands you can use. 和 訳 これは 音 声 を 認 識 して 亀 を 画 面 内 で 動 き 回 らせる 手 順 を 示 したものであり 前 へ 後 ろへ 左 を 向 け 右 を 向 け というコマンドを 利 用 することができ ます

44 #21 Tic Tac Toe 言 葉 を 発 して 遊 ぶ ゲーム 数 字 を 読 み 上 げて 陣 地 を 獲 得 する 2 人 のプレイヤーをカメラが 認 識 す るとゲームが 開 始 される それぞれのプレイヤーの 横 に 自 分 の 陣 地 のマークである と が 表 示 され どちらがどちらのプレイヤーかが 一 目 で 判 断 できる カメラに 映 っているプレイヤーの 発 声 であれば 順 番 を 問 わず 認 識 するらしく 相 手 番 に 適 当 な 数 字 を 発 声 すると 相 手 プレイヤーの 発 声 と 誤 って 認 識 されて しまうという 欠 陥 がある WPF 版 のみが 存 在 する

45 #21 Tic Tac Toe 2 実 際 のプレイの 様 子 このゲームでは 先 手 番 ( のプレイヤー)が3 手 目 に4 番 を 取 って 勝 利 するはず が 後 手 番 のプレイヤーの 6 を 誤 って 認 識 したた め 直 後 の 後 手 番 の3 手 目 に 中 央 縦 列 を 揃 えられ 敗 北 した

46 #21 Tic Tac Toe 3 説 明 文 emonstrate using audio sound source angle to identify different player using speech recognition to control a simple tic tac toe game. 和 訳 単 純 なtic tac toeゲームをコントロールするために 音 声 認 識 を 用 いた 異 なるプレーヤーを 特 定 するために 音 声 ソース 角 度 を 使 用 してデモをしてください

47 #22 Webserver Basics Windows8のみに 対 応 しているサンプルであったた め 動 作 確 認 を 行 うことができなかった WPF 版 のみが 存 在 する

48 #22 Webserver Basics 2 説 明 文 Demonstrate the use of simple webserver to push kinect event and data to a web browser. This sample is intended to be used in dedicated kioske. 和 訳 kinectイベントとデータをウェブ ブラウザの 方 に 押 す ために 単 純 なwebserverの 使 用 を 示 してください このサンプルは 制 限 された 空 間 で 使 われることを 目 的 とします

49 #23 Kinect Fusion Basics #24 Kinect Fusion Explorer Multi Static Cameras #25 Kinect Fusion Head Scanning 上 記 3つのプログラムはDirectXが 存 在 しない という エラーが 表 示 され 実 行 することができなかった Kinect Fusion BasicsにはD2D,WPF 版 が 存 在 し その 他 の2つにはWPF 版 のみが 存 在 する

50 #23 Kinect Fusion Basics 2 #24 Kinect Fusion Explorer Multi Static Cameras 2 #25 Kinect Fusion Head Scanning 2 #17 説 明 文 Demonstrate the basic of kinect fusion for 3D reconstruction. Please review the documentation for the hardware and software requirement. 和 訳 3D 再 建 のためにkinect 融 合 の 基 礎 を 示 してください ハードとソフトの 必 要 なものについてド キュメンテーションを 確 認 してください #18 説 明 文 Demonstrate the basic of kinect fusion for 3D reconstruction. Please review the documentation for the hardware and software requirement. 和 訳 3D 再 建 のためにkinect 融 合 の 基 礎 を 示 してください ハードとソフトの 必 要 なものについてド キュメンテーションを 確 認 してください #19 説 明 文 Demonstrate the basic of kinect fusion for 3D reconstruction, now including low-resolution color capture. Please review the documentation for the hardware and software requirement. 和 訳 すぐに 低 解 像 度 色 捕 獲 を 含 めて 3D 再 建 のためにkinect 融 合 の 基 礎 を 示 してください ハードとソフト 必 要 なものについてドキュメンテーションを 確 認 してください

51 奥 付 使 用 機 材 Panasonic CF-S10AYCDC Windows7-64bit マイクロソフト Kinect for Windows 振 り 分 け 番 号 :C126 使 用 ソフト Developer Toolkit Browser v1.8.0 (Kinect for windows) Kinect Studio v1.8.0 提 出 年 月 日 2013 年 10 月 07 日 ( 月 )