Kinect for Windows による手話認識
|
|
|
- ちかこ こうだ
- 9 years ago
- Views:
Transcription
1 Kinect for Windows による 手 話 認 識 技 術 ひろば 下 元 正 義 Kinect for Windowsを 用 いた 日 本 手 話 の 認 識 研 究 は 千 葉 大 学 とみずほ 情 報 総 研 が 共 同 で 実 施 しています Kinect は 米 国 Microsoft Corporation 及 びまたはその 関 連 会 社 の 登 録 商 標 または 商 標 です
2 本 日 の 内 容 Kinect for Windowsの 紹 介 骨 格 追 跡 の 方 法 手 話 と 手 話 認 識 Kinect for Windows ver.2 preview
3 Kinect マイクロソフトが 開 発 2010 年 Xboxのコントローラとして 発 売 2012 年 商 用 利 用 可 能 なKINECT for Windowsが 販 売 開 始 世 界 累 計 販 売 台 数 1000 万 台 突 破 (2012 年 4 月 時 点 ) 2014 年 Next Generation Kinect(ver.2)がリリース
4 赤 外 線 深 度 センサー RGBカメラ 加 速 度 センサー アレイマイク チルトモーター USB2.0でPCと 接 続
5 Kinect for Windows 商 用 利 用 可 能 なKinect SDKをウェブサイトから 入 手 サンプルプログラム サンプルコードが 利 用 可 能 Developer Toolkit
6 Kinect for XBOX 商 用 利 用 は 不 可
7 Kinect for Windowsはどこで 買 えるの? 家 電 量 販 店 ネット 通 販 などで 購 入 Windows Developer Days(2012 年 4 月 )の 帰 りに 購 入 しました 2 万 円 ちょっとくらいです
8 NUIを 利 用 したアプリケーション KINECT SDK, Open CV C#,C++,Java Script 骨 格 追 跡 を 利 用 したプログラム 音 声 認 識 を 利 用 したプログラム 外 科 手 術 現 場 (カナダの 事 例 ) 恋 するマリオネット(ユナイテッドアローズ)
9 Kinectの 魅 力 コンピュータが 人 の 動 きを 理 解 することを 可 能 NUIを 利 用 したアプリ 開 発 をふつうの 開 発 者 にも 可 能 となった! タッチ ジェスチャー ボイス CUI GUI
10 Kinectはどうやって 骨 格 追 跡 をしているのか? 骨 格 位 置 を 簡 単 にとれることで 面 白 いアプリが 開 発 できる! 一 方 で 追 跡 に 失 敗 することもある 何 をやっているか 分 からないものに 頼 りたくない
11 骨 格 追 跡 機 能 の 方 法 を 調 査 関 節 位 置 を 推 定 手 話 認 識 で 利 用 距 離 ボディパーツ 骨 格
12 骨 格 追 跡 デモ スケルトン 取 得 +RGB
13 まずは 距 離 の 取 得 Light Coding Prime Senseの 特 許 技 術 光 の 粒 を 放 射 反 射 パターンから 距 離 を 推 定 赤 外 線 カメラで 撮 影 した 赤 外 線 のパターン 画 像 の 例
14 距 離 骨 格 追 跡 Microsoft Researchが 研 究 開 発
15 骨 格 位 置 推 定 の 概 要 1フレームの 深 度 イメージを 使 用 時 系 列 データを 使 用 していない 人 型 を 抽 出 ピクセル 単 位 でパーツに 分 類 関 節 位 置 を 推 定 時 系 列 情 報 を 使 用 するのはこの 段 階
16 機 械 学 習 データの 作 成 モーションキャプチャ50 万 10 万 を 使 用 ボディを3 次 元 モデル 化 深 度 とパーツの 対 応 付 け モデルを 使 用 した 機 械 学 習 身 長 ポーズ 服 装 体 型 を 学 習
17 Kinectの 骨 格 追 跡 1フレームのみを 使 用 ピクセルごとにパーツに 分 類 モデルから 骨 格 位 置 を 推 定 1フレーム ロバスト 1ピクセル 単 位 高 速 処 理 インタラクティブなアプリケーションとし てNUIが 利 用 可 能
18 さらに 3 次 元 のモデルと 対 応 関 節 の 向 き 情 報 も 含 まれている
19 Kinectを 用 いた 開 発 Kinect for Windowsを 購 入 SDK(1.8)をダウンロード Visual Studio(ExpressもOK) For Windows Desktop ストアアプリもWeb Socketを 使 うと 利 用 できるようです
20 Kinectを 参 照 に 追 加 する
21 Kinectからのデータ 取 得 Sensor Stream Frame Data
22 Skeltonデモの 概 要 C#を 使 用 Kinectを1 台 取 得 RGBストリーム Skeltonストリームをイベントハンドラで 取 得 RGBを 描 画 SkeltonをRGBの 座 標 に 変 換 して 描 画 () Y X Z X Y
23 3D-Bodyデモの 概 要 KinectのRGBはミラー(X 座 標 反 転 ) カメラ 座 標 をRGBに 合 わせる カメラ 座 標 をカラーイメージに 重 ねる 場 合 は 自 分 でX 座 標 反 転 を 行 う 3Dは 原 点 をKinectと 同 じ 位 置 水 平 角 60 度 くらい
24 Kinectによる 手 話 認 識 人 とコンピュータの 未 来 世 の 中 の 先 進 的 な 開 発 者 はすでに 様 々なアプリを 公 開 今 からできることは? 手 話 認 識 できないかな? タッチ ジェスチャー ボイス CUI GUI
25 手 話 は 日 本 語 とは 異 なる 言 語 語 順 が 異 なる 助 詞 にあたるものがない 筆 談 ボードでのコミュニケーションは 難 しい 日 本 語 を 書 く 必 要 がある ストレス 簡 単 なことも 時 間 が 非 常 にかかる 伝 わらない
26 日 本 における 手 話 を 母 語 とする 人 およそ6 万 人 聴 覚 障 碍 者 32.4 万 人 中 の18.9% 厚 生 労 働 省 平 成 18 年 身 体 障 害 児 者 実 態 調 査 結 果 (2008 年 )から 作 成
27 手 話 の 例 いくつか 手 話 を 紹 介 します
28 手 話 手 話 の 基 本 要 素 は 位 置 動 き 形 表 情 やうなずきも 重 要 な 要 素 口 の 形 を 使 用 することもある ひじはあまり 動 かない 手 を 下 に 下 げた 状 態 が 沈 黙
29 腕 の 動 き のみを 使 用 動 きだけでも 会 話 の8 割 程 度 はカバー 可 能 数 字 は 難 しい 意 味 : 意 味 : この 手 話 は という 意 味 だろう 意 味 :
30 デモ 銀 行 窓 口 キャッシュカードを 紛 失 電 話 で 手 続 き 可 能 だが 窓 口 に 来 るしかない
31 デモの 説 明 キャッシュカードをなくしたので 再 発 行 をお 願 いしたい カード なくなる また 作 る お 願 い 手 話 は 語 順 や 助 詞 の 使 い 方 などが 日 本 語 と 大 きく 異 なる 日 本 語 訳 はしていない 重 要 なのは 意 図 したことが 手 話 で 伝 わること
32 想 定 する 利 用 状 況 音 声 認 識 と 組 み 合 わせることで 聴 者 とろう 者 の 対 話 を 可 能 とする モーション 取 りこみ 音 声 を 集 音 し 認 識 認 識 結 果 (テキスト)を 表 示 < 手 話 認 識 サーバ> テキスト 出 力 お 客 さま テキスト 出 力 手 話 を 認 識 認 識 結 果 (テキスト)を 表 示 銀 行 職 員 音 声 取 りこみ < 音 声 認 識 サーバ>
33 手 話 認 識 の 流 れ テキストファイル 肘 位 置 からみた 手 の 相 対 座 標 を 取 得 差 分 を 計 算 ( 特 徴 量 の 計 算 ) ノイズ 除 去 など HTKへ
34 学 習 データの 作 成 学 習 させる 文 章 を 作 成 手 話 翻 訳 者 に 通 訳 を 依 頼 翻 訳 した 手 話 を 撮 影 別 の 人 で 手 話 を 撮 影 (10 人 10 回 ) 撮 影 した 手 話 を 単 語 ごとに 区 切 る(ラベリング) 機 械 学 習 を 一 昼 夜
35 手 話 認 識 に 利 用 しているツール HTK HTK(Hidden Markov Model Toolkit) 研 究 目 的 のみ 利 用 可 能
36 日 本 語 手 話 NHK 技 研 と 工 学 院 大 学 天 気 予 報 を 手 話 で 伝 える 研 究 現 状 は 天 気 予 報 に 特 化 NHK 技 研 の 事 例
37 Microsoft Research 中 国 手 話 の 認 識 と 翻 訳
38 Kinect ver.2 Preview プレビュープログラムに 参 加 $399でKinect ver.2 Beta 版 とSDKを 試 用 可 能 This is preliminary software and/or hardware and APIs are preliminary and subject to change.
39 どんなことができる? Ver.1で 可 能 なことはVer.2でも 可 能 関 節 に 首 親 指 が 追 加 関 節 情 報 に 向 きが 追 加 グーチョキパーがとれる 顔 の 状 態 をいろいろと 取 得 できる 関 節 向 きについてはSDK ver.1.5 以 降 でも 取 得 可 能
40 手 話 認 識 とKinect ver.2 表 現 の 範 囲 が 大 きく 広 がった! Ver.2を 用 いた 認 識 を 前 提 に 学 習 データを 作 成 最 初 は 手 の 形 関 節 の 向 きを 利 用 順 次 うなづき 表 情 を 追 加 していく 予 定 学 習 データの 作 成 が 大 きな 課 題!
41 自 己 紹 介 下 元 正 義 (しももと まさよし) みずほ 情 報 総 研 サイエンスソリューション 部 コンサルタント 研 究 所 研 究 開 発 部 門 むけの 受 託 研 究 Fortran,C++, 汎 用 ソフトを 使 用 した 構 造 流 体 等 々の 解 析 Windowsのデスクトップアプリ 開 発
Kinect for Windows による手話認識
Kinect for Windows による手話認識 みずほ情報総研会社 サイエンスソリューション部 下元正義 Kinect for Windows を用いた日本手話の認識研究は千葉大学とみずほ情報総研が共同で実施しています Kinect は米国マイクロソフトの商品です 本日の内容 Kinect for Windowsの紹介 骨格追跡 手話と手話認識 Kinect for Windows ver.2
添 付 資 料 の 目 次 1. 当 四 半 期 決 算 に 関 する 定 性 的 情 報 2 (1) 経 営 成 績 に 関 する 説 明 2 (2) 財 政 状 態 に 関 する 説 明 2 (3) 連 結 業 績 予 想 などの 将 来 予 測 情 報 に 関 する 説 明 2 2.サマリー 情 報 ( 注 記 事 項 )に 関 する 事 項 3 (1) 当 四 半 期 連 結 累 計 期 間
平 成 22 年 度 女 性 雇 用 環 境 調 査 結 果 報 告 書 長 野 県 商 工 労 働 部 目 次 第 1 調 査 の 概 要... 2 第 2 調 査 結 果 の 概 要... 6 1 事 業 所 調 査... 6 (1) 回 答 事 業 所 の 属 性... 6 (2) 雇 用 管 理 について... 7 ア 新 規 学 卒 者 及 び 中 途 採 用 者 の 採 用 状 況...
(5 ) 当 該 指 定 居 宅 介 護 事 業 所 の 新 規 に 採 用 し た 全 て の 居 宅 介 護 従 業 者 に 対 し 熟 練 し た 居 宅 介 護 従 業 者 の 同 行 に よ る 研 修 を 実 施 し て い る こ と (6 ) 当 該 指 定 居 宅 介 護 事 業
厚 生 労 働 大 臣 が 定 め る 基 準 ( 平 成 十 八 年 九 月 二 十 九 日 ) ( 厚 生 労 働 省 告 示 第 五 百 四 十 三 号 ) 障 害 者 自 立 支 援 法 に 基 づ く 指 定 障 害 福 祉 サ ー ビ ス 等 及 び 基 準 該 当 障 害 福 祉 サ ー ビ ス に 要 す る 費 用 の 額 の 算 定 に 関 す る 基 準 ( 平 成 十 八 年
添 付 資 料 の 目 次 1. 経 営 成 績 財 政 状 態 に 関 する 分 析 2 (1) 経 営 成 績 に 関 する 分 析 2 (2) 財 政 状 態 に 関 する 分 析 3 (3) 利 益 配 分 に 関 する 基 本 方 針 及 び 当 期 次 期 の 配 当 3 2. 企 業 集 団 の 状 況 4 3. 経 営 方 針 5 (1) 経 営 の 基 本 方 針 5 (2) 目
<31352095DB8CAF97BF97A6955C2E786C73>
標 準 報 酬 月 額 等 級 表 ( 厚 生 年 金 ) 標 準 報 酬 報 酬 月 額 厚 生 年 金 保 険 料 厚 生 年 金 保 険 料 率 14.642% ( 平 成 18 年 9 月 ~ 平 成 19 年 8 月 ) 等 級 月 額 全 額 ( 円 ) 折 半 額 ( 円 ) 円 以 上 円 未 満 1 98,000 ~ 101,000 14,349.16 7,174.58 2 104,000
R4財務対応障害一覧
1 仕 訳 入 力 仕 訳 入 力 時 摘 要 欄 で. + Enter を 押 すと アプリケーションでエラーが 発 生 しまインデックスが 配 列 の 境 界 外 です が 出 る 場 合 がある 問 題 に 対 応 しま 2 仕 訳 入 力 仕 訳 入 力 主 科 目 と 補 助 科 目 を 固 定 にすると2 行 目 以 降 の 補 助 科 目 コピーが 動 作 しない 問 題 に 対 応
独立行政法人国立病院機構呉医療センター医療機器安全管理規程
独 立 行 政 法 人 国 立 病 院 機 構 呉 医 療 センタ- 医 療 機 器 安 全 管 理 規 程 目 次 第 1 章 総 則 ( 第 1 条 ~ 第 4 条 ) 第 2 章 組 織 及 び 職 務 ( 第 5 条 ~ 第 10 条 ) 第 3 章 研 修 ( 第 11 条 ~ 第 12 条 ) 第 4 章 保 守 点 検 及 び 修 理 ( 第 13 条 ~ 第 16 条 ) 第 5 章
慶應義塾利益相反対処規程
慶 應 義 塾 利 益 相 反 マネジメント 内 規 平 成 17 年 12 月 6 日 制 定 平 成 23 年 4 月 1 日 施 行 平 成 26 年 4 月 1 日 改 正 平 成 27 年 10 月 30 日 改 正 ( 目 的 ) 第 1 条 慶 應 義 塾 利 益 相 反 マネジメント 内 規 ( 以 下 本 内 規 という )は, 慶 應 義 塾 利 益 相 反 マネジメント ポリシー(
技 能 労 務 職 公 務 員 民 間 参 考 区 分 平 均 年 齢 職 員 数 平 均 給 与 月 額 平 均 給 与 月 額 平 均 給 料 月 額 (A) ( 国 ベース) 平 均 年 齢 平 均 給 与 月 額 対 応 する 民 間 の 類 似 職 種 東 庄 町 51.3 歳 18 77
1 総 括 (1) 件 費 の 状 況 ( 普 通 会 計 決 算 ) 区 東 庄 町 の 給 与 定 員 管 理 等 について 住 民 基 本 台 帳 口 歳 出 額 実 質 収 支 件 費 件 費 率 ( 参 考 ) 分 ( 年 度 末 ) A B B/A 1 年 度 の 件 費 率 千 千 千 年 度 15,408 5,093,505 1,033,984 517,441 0.3 0.8 ()
ダイカスト 鋳 造 方 案 システム 構 成 鋳 造 方 案 システム 設 定 /セパレート( 個 別 ) 設 定 3DCAD 連 携 ダイカストマシン 設 定 フランジャーチップ 設 定 ゲート 位 置 ( 方 向 )の 設 定 ランナとオーバーフローの 設 定 3D 方 案 作 成 システム ヘ
ダイカスト 鋳 造 金 型 方 案 設 定 ソフト The settinng software of diecasting method ダイカストラーニングソフト The Learning software of diecasting ザ ダイキャスティング 製 品 概 要 1. 方 案 システム 設 定 /セパレート( 個 別 ) 設 定 機 能 ダイカストマシン 設 定 機 能 ゲート 位 置
有 料 老 ホーム ( ) ( 主 として 要 介 護 状 態 にある を 入 居 させるも のに 限 る ) 第 29 条 ( 届 出 等 ) 第 二 十 九 条 有 料 老 ホーム( 老 を 入 居 させ 入 浴 排 せつ 若 しくは 食 事 の 介 護 食 事 の 提 供 又 はその 他 の
消 防 法 施 行 令 別 表 第 1(6) 項 ロに 掲 げる 施 設 の 概 要 ( 細 目 欄 の 印 は275m2 未 満 の 施 設 が 想 定 されるものを 示 す ) 細 目 根 拠 法 令 規 定 規 模 要 件 根 拠 規 定 構 造 要 件 根 拠 規 定 参 考 資 料 10 老 短 期 入 所 施 設 ( ) (ショートステイ) 第 20 条 の3 ( 老 短 期 入 所 施
KINGSOFT Office 2016 動 作 環 境 対 応 日 本 語 版 版 共 通 利 用 上 記 動 作 以 上 以 上 空 容 量 以 上 他 接 続 環 境 推 奨 必 要 2
目 次 動 作 環 境 特 長 方 法 方 法 起 動 終 了 方 法 方 法 操 作 方 法 使 方 使 方 使 方 詳 細 設 定 使 方 KINGSOFT Office 2016 動 作 環 境 対 応 日 本 語 版 版 共 通 利 用 上 記 動 作 以 上 以 上 空 容 量 以 上 他 接 続 環 境 推 奨 必 要 2 KINGSOFT Office 2016 特 長 主 特 長 以
平成１５・１６年度の建設工事入札参加資格の認定について
測 量 建 設 コンサルタント 等 業 務 入 札 参 加 資 格 審 査 要 領 ( 目 的 ) 第 1 測 量 建 設 コンサルタント 等 業 務 発 注 事 務 処 理 要 綱 第 3 条 に 規 定 する 資 格 審 査 ( 以 下 資 格 審 査 という ) 及 び 業 務 分 野 別 格 付 については,この 要 領 の 定 めるところによる ( 総 合 数 値 ) 第 2 資 格 審
https://www.online3.tdnet.info/onre/jsp/tdzz.download?uji.verb=
平 成 21 年 3 月 期 平 成 20 年 7 月 31 日 上 場 会 社 名 松 井 建 設 株 式 会 社 上 場 取 引 所 東 コード 番 号 1810 URL http://www.matsui-ken.co.jp/ 代 表 者 ( 役 職 名 ) 取 締 役 社 長 ( 氏 名 ) 松 井 隆 弘 問 合 せ 先 責 任 者 ( 役 職 名 ) 管 理 本 部 経 理 部 長 (
続 に 基 づく 一 般 競 争 ( 指 名 競 争 ) 参 加 資 格 の 再 認 定 を 受 けていること ) c) 会 社 更 生 法 に 基 づき 更 生 手 続 開 始 の 申 立 てがなされている 者 又 は 民 事 再 生 法 に 基 づき 再 生 手 続 開 始 の 申 立 てがなさ
簡 易 公 募 型 競 争 入 札 方 式 ( 総 合 評 価 落 札 方 式 )に 係 る 手 続 開 始 の 公 示 次 のとおり 指 名 競 争 入 札 参 加 者 の 選 定 の 手 続 を 開 始 します 平 成 28 年 9 月 20 日 分 任 支 出 負 担 行 為 担 当 官 東 北 地 方 整 備 局 秋 田 河 川 国 道 事 務 所 長 渡 邊 政 義 1. 業 務 概 要
事前チェック提出用現況報告書作成ツール入力マニュアル(法人用)
事 前 チェック 提 出 用 現 況 報 告 書 作 成 ツール 入 力 マニュアル ( 法 人 用 ) 平 成 26 年 7 月 一 般 社 団 法 人 日 本 補 償 コンサルタント 協 会 目 次 1. ツールの 概 要 1 2. 動 作 環 境 1 3. マクロの 設 定 (1) Excel のバージョンの 確 認 2 (2) マクロの 設 定 3 4. 現 況 報 告 書 の 作 成 (1)
Microsoft Word - 20150728_Office365ProPlus利用マニュアル.docx
Office365ProPlus 利 用 マニュアル ( 学 生 教 職 員 共 通 ) 敬 愛 大 学 千 葉 敬 愛 短 期 大 学 メディアセンター Ver1.1 2015 年 7 月 28 日 制 改 訂 履 歴 バージョン 年 月 日 改 訂 履 歴 1.0 2015/6/24 初 版 1.1 2015/7/28 Microsoft アカウント の 記 述 を Office365 のアカウント
Microsoft Word - 【事務連絡】居所情報の登録申請が間に合わなかった場合の取扱いの周知について.docx
事 務 連 絡 平 成 27 年 11 月 5 日 各 都 道 府 県 障 害 福 祉 主 管 部 ( 局 ) 長 殿 厚 生 労 働 省 社 会 援 護 局 障 害 保 健 福 祉 部 企 画 課 長 期 入 所 者 等 がマイナンバー 通 知 カードを 入 所 等 先 で 受 け 取 るに 当 たっての 居 所 情 報 の 登 録 申 請 が 間 に 合 わなかった 場 合 の 取 扱 いについて(
<4D6963726F736F667420576F7264202D20836E8393836883758362834E819592E88C5E83748348815B838081698251824F944E82548C8E89FC90B3816A5F6A6161777795D28F57>
平 成 18 年 12 月 平 成 19 年 10 月 ( 追 加 改 正 ) 平 成 20 年 5 月 ( 改 正 ) ポジティブアクション 推 進 プロジェクト 一 人 で 悩 む 前 に まずご 相 談 ください 妊 娠 したのですが どのような 手 続 をすればいいのですか? 産 休 から 育 児 休 暇 への 流 れは 次 の 通 りです 産 前 休 暇 出 産 産 後 休 暇 育 児 休
Microsoft Word - 【溶け込み】【修正】第２章～第４章
第 4 章 金 要 件 と 金 額 1 ( 高 齢 になった 場 合 に 受 け 取 れる 金 ) 要 件 1 受 資 格 期 間 保 険 料 納 付 済 期 間 と 保 険 料 免 除 期 間 を 合 わせて25 以 上 あること (ただし 金 額 には 反 映 されないが 受 資 格 期 間 には 算 入 される 合 算 対 象 期 間 があります) 消 費 税 が 引 き 上 げられる 27