Kinect for Windows による手話認識

Kinect for Windows による 手 話 認 識 技 術 ひろば 下 元 正 義 Kinect for Windowsを 用 いた 日 本 手 話 の 認 識 研 究 は 千 葉 大 学 とみずほ 情 報 総 研 が 共 同 で 実 施 しています Kinect は 米 国 Microsoft Corporation 及 びまたはその 関 連 会 社 の 登 録 商 標 または 商 標 です

本 日 の 内 容 Kinect for Windowsの 紹 介 骨 格 追 跡 の 方 法 手 話 と 手 話 認 識 Kinect for Windows ver.2 preview

Kinect マイクロソフトが 開 発 2010 年 Xboxのコントローラとして 発 売 2012 年 商 用 利 用 可 能 なKINECT for Windowsが 販 売 開 始 世 界 累 計 販 売 台 数 1000 万 台 突 破 (2012 年 4 月 時 点 ) 2014 年 Next Generation Kinect(ver.2)がリリース

赤 外 線 深 度 センサー RGBカメラ 加 速 度 センサー アレイマイク チルトモーター USB2.0でPCと 接 続 http://www.microsoft.com/en-us/kinectforwindows/

Kinect for Windows 商 用 利 用 可 能 なKinect SDKをウェブサイトから 入 手 サンプルプログラム サンプルコードが 利 用 可 能 http://www.microsoft.com/en-us/kinectforwindows/ Developer Toolkit

Kinect for XBOX 商 用 利 用 は 不 可

Kinect for Windowsはどこで 買 えるの? 家 電 量 販 店 ネット 通 販 などで 購 入 Windows Developer Days(2012 年 4 月 )の 帰 りに 購 入 しました 2 万 円 ちょっとくらいです

NUIを 利 用 したアプリケーション KINECT SDK, Open CV C#,C++,Java Script 骨 格 追 跡 を 利 用 したプログラム 音 声 認 識 を 利 用 したプログラム 外 科 手 術 現 場 (カナダの 事 例 ) 恋 するマリオネット(ユナイテッドアローズ)

Kinectの 魅 力 コンピュータが 人 の 動 きを 理 解 することを 可 能 NUIを 利 用 したアプリ 開 発 をふつうの 開 発 者 にも 可 能 となった! タッチ ジェスチャー ボイス CUI GUI

Kinectはどうやって 骨 格 追 跡 をしているのか? 骨 格 位 置 を 簡 単 にとれることで 面 白 いアプリが 開 発 できる! 一 方 で 追 跡 に 失 敗 することもある 何 をやっているか 分 からないものに 頼 りたくない

骨 格 追 跡 機 能 の 方 法 を 調 査 関 節 位 置 を 推 定 手 話 認 識 で 利 用 距 離 ボディパーツ 骨 格

骨 格 追 跡 デモ スケルトン 取 得 +RGB

まずは 距 離 の 取 得 Light Coding Prime Senseの 特 許 技 術 光 の 粒 を 放 射 反 射 パターンから 距 離 を 推 定 赤 外 線 カメラで 撮 影 した 赤 外 線 のパターン 画 像 の 例 http://www.youtube.com/watch?v=dtklngsh9po

距 離 骨 格 追 跡 Microsoft Researchが 研 究 開 発 http://research.microsoft.com/apps/pubs/?id=145347

骨 格 位 置 推 定 の 概 要 1フレームの 深 度 イメージを 使 用 時 系 列 データを 使 用 していない 人 型 を 抽 出 ピクセル 単 位 でパーツに 分 類 関 節 位 置 を 推 定 時 系 列 情 報 を 使 用 するのはこの 段 階 http://research.microsoft.com/apps/pubs/?id=145347

機 械 学 習 データの 作 成 モーションキャプチャ50 万 10 万 を 使 用 ボディを3 次 元 モデル 化 深 度 とパーツの 対 応 付 け モデルを 使 用 した 機 械 学 習 身 長 ポーズ 服 装 体 型 を 学 習 http://research.microsoft.com/apps/pubs/?id=145347

Kinectの 骨 格 追 跡 1フレームのみを 使 用 ピクセルごとにパーツに 分 類 モデルから 骨 格 位 置 を 推 定 1フレーム ロバスト 1ピクセル 単 位 高 速 処 理 インタラクティブなアプリケーションとし てNUIが 利 用 可 能

さらに 3 次 元 のモデルと 対 応 関 節 の 向 き 情 報 も 含 まれている

Kinectを 用 いた 開 発 Kinect for Windowsを 購 入 SDK(1.8)をダウンロード Visual Studio(ExpressもOK) For Windows Desktop ストアアプリもWeb Socketを 使 うと 利 用 できるようです

Kinectを 参 照 に 追 加 する

Kinectからのデータ 取 得 Sensor Stream Frame Data

Skeltonデモの 概 要 C#を 使 用 Kinectを1 台 取 得 RGBストリーム Skeltonストリームをイベントハンドラで 取 得 RGBを 描 画 SkeltonをRGBの 座 標 に 変 換 して 描 画 () Y X Z X Y

3D-Bodyデモの 概 要 KinectのRGBはミラー(X 座 標 反 転 ) カメラ 座 標 をRGBに 合 わせる カメラ 座 標 をカラーイメージに 重 ねる 場 合 は 自 分 でX 座 標 反 転 を 行 う 3Dは 原 点 をKinectと 同 じ 位 置 水 平 角 60 度 くらい

Kinectによる 手 話 認 識 人 とコンピュータの 未 来 世 の 中 の 先 進 的 な 開 発 者 はすでに 様 々なアプリを 公 開 今 からできることは? 手 話 認 識 できないかな? タッチ ジェスチャー ボイス CUI GUI

手 話 は 日 本 語 とは 異 なる 言 語 語 順 が 異 なる 助 詞 にあたるものがない 筆 談 ボードでのコミュニケーションは 難 しい 日 本 語 を 書 く 必 要 がある ストレス 簡 単 なことも 時 間 が 非 常 にかかる 伝 わらない

日 本 における 手 話 を 母 語 とする 人 およそ6 万 人 聴 覚 障 碍 者 32.4 万 人 中 の18.9% 厚 生 労 働 省 平 成 18 年 身 体 障 害 児 者 実 態 調 査 結 果 (2008 年 )から 作 成

手 話 の 例 いくつか 手 話 を 紹 介 します

手 話 手 話 の 基 本 要 素 は 位 置 動 き 形 表 情 やうなずきも 重 要 な 要 素 口 の 形 を 使 用 することもある ひじはあまり 動 かない 手 を 下 に 下 げた 状 態 が 沈 黙

腕 の 動 き のみを 使 用 動 きだけでも 会 話 の8 割 程 度 はカバー 可 能 数 字 は 難 しい 意 味 : 意 味 : この 手 話 は という 意 味 だろう 意 味 :

デモ 銀 行 窓 口 キャッシュカードを 紛 失 電 話 で 手 続 き 可 能 だが 窓 口 に 来 るしかない

デモの 説 明 キャッシュカードをなくしたので 再 発 行 をお 願 いしたい カード なくなる また 作 る お 願 い 手 話 は 語 順 や 助 詞 の 使 い 方 などが 日 本 語 と 大 きく 異 なる 日 本 語 訳 はしていない 重 要 なのは 意 図 したことが 手 話 で 伝 わること

想 定 する 利 用 状 況 音 声 認 識 と 組 み 合 わせることで 聴 者 とろう 者 の 対 話 を 可 能 とする モーション 取 りこみ 音 声 を 集 音 し 認 識 認 識 結 果 (テキスト)を 表 示 < 手 話 認 識 サーバ> テキスト 出 力 お 客 さま テキスト 出 力 手 話 を 認 識 認 識 結 果 (テキスト)を 表 示 銀 行 職 員 音 声 取 りこみ < 音 声 認 識 サーバ>

手 話 認 識 の 流 れ テキストファイル 肘 位 置 からみた 手 の 相 対 座 標 を 取 得 差 分 を 計 算 ( 特 徴 量 の 計 算 ) ノイズ 除 去 など HTKへ

学 習 データの 作 成 学 習 させる 文 章 を 作 成 手 話 翻 訳 者 に 通 訳 を 依 頼 翻 訳 した 手 話 を 撮 影 別 の 人 で 手 話 を 撮 影 (10 人 10 回 ) 撮 影 した 手 話 を 単 語 ごとに 区 切 る(ラベリング) 機 械 学 習 を 一 昼 夜

手 話 認 識 に 利 用 しているツール HTK HTK(Hidden Markov Model Toolkit) 研 究 目 的 のみ 利 用 可 能 http://htk.eng.cam.ac.uk/

日 本 語 手 話 NHK 技 研 と 工 学 院 大 学 天 気 予 報 を 手 話 で 伝 える 研 究 現 状 は 天 気 予 報 に 特 化 NHK 技 研 の 事 例 http://www.nhk.or.jp/strl/open2013/index2.html

Microsoft Research 中 国 手 話 の 認 識 と 翻 訳 http://research.microsoft.com/en-us/collaboration/stories/kinect-sign-language-translator.aspx

Kinect ver.2 Preview プレビュープログラムに 参 加 $399でKinect ver.2 Beta 版 とSDKを 試 用 可 能 This is preliminary software and/or hardware and APIs are preliminary and subject to change.

どんなことができる? Ver.1で 可 能 なことはVer.2でも 可 能 関 節 に 首 親 指 が 追 加 関 節 情 報 に 向 きが 追 加 グーチョキパーがとれる 顔 の 状 態 をいろいろと 取 得 できる 関 節 向 きについてはSDK ver.1.5 以 降 でも 取 得 可 能

手 話 認 識 とKinect ver.2 表 現 の 範 囲 が 大 きく 広 がった! Ver.2を 用 いた 認 識 を 前 提 に 学 習 データを 作 成 最 初 は 手 の 形 関 節 の 向 きを 利 用 順 次 うなづき 表 情 を 追 加 していく 予 定 学 習 データの 作 成 が 大 きな 課 題!

自 己 紹 介 下 元 正 義 (しももと まさよし) みずほ 情 報 総 研 サイエンスソリューション 部 コンサルタント 研 究 所 研 究 開 発 部 門 むけの 受 託 研 究 Fortran,C++, 汎 用 ソフトを 使 用 した 構 造 流 体 等 々の 解 析 Windowsのデスクトップアプリ 開 発