KINECTを用いた人物抽出映像の立体視感マッピングによる臨場感の評価

Transcription

1 平 成 26 年 度 卒 業 論 文 KINECT を 用 いた 人 物 抽 出 映 像 の 立 体 視 感 マッピングによる 臨 場 感 の 評 価 平 成 27 年 2 月 16 日 宮 﨑 葵 指 導 教 員 三 浦 元 喜 准 教 授 九 州 工 業 大 学 工 学 部 総 合 シ ス テ ム 工 学 科

2 概 要 現 在, ラ イ ブ ビ ュ ー イ ン グ と い う ア ー テ ィ ス ト や パ フ ォ ー マ ー に よ る ラ イ ブ の 同 時 中 継 が 多 数 行 わ れ て い る こ の ラ イ ブ ビ ュ ー イ ン グ と は 小 ラ イ ブ ハ ウ ス や 劇 場 の ス ク リ ー ン に て 現 地 会 場 の 様 子 を 上 映 す る と い う も の で あ る 本 研 究 は, こ の ラ イ ブ ビ ュ ー イ ン グ に お い て も 現 地 会 場 と の 差 を な く そ う と い う 考 え か ら 行 っ た も の で あ る そ こ で 今 回,Kinect を 用 い て 人 物 の 映 像 を 抽 出 し 立 体 感 を 持 た せ て プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ す る こ と で, 単 に 映 像 を 投 影 す る 場 合 よ り も 比 較 的 簡 単 に 現 地 会 場 に 近 い 臨 場 感 が 認 め ら れ る の で は な い か と い う 仮 定 を たてた 本 研 究 で は, そ の 実 装 へ の 取 り 組 み と 実 際 に プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 っ た 実 験 の 際 に お け る 周 囲 の 評 価 を 得 て 考 察 を 行 っ た

3 目 次 第 1 章 序 論 研 究 背 景 プロジェクションマッピングの 歴 史 バーチャルアイドルと 透 過 スクリーン 本 論 文 の 構 成 6 第 2 章 提 案 手 法 の 考 察 Kinect の 機 能 について 透 過 スクリーンについて プロジェクションマッピングによる 映 像 投 影 12 第 3 章 研 究 に 用 いた 手 法 の 詳 細 全 体 の 構 成 入 力 ( 撮 影 ) 側 に 用 いる 手 法 出 力 ( 投 影 ) 側 に 用 いる 手 法 18 第 4 章 研 究 に 用 いたシステムの 詳 細 開 発 環 境 人 物 抽 出 のプログラム プロジェクションマッピングのプログラム 26

4 第 5 章 実 験 実 験 概 要 結 果 改 善 案 34 第 6 章 結 論 36 謝 辞 37 参 考 文 献 38 付 録 40

5 第 1 章 序 論 本 章 では, 本 研 究 に い た っ た 背 景 と 関 連 事 項 に つ い て 述 べ る 1.1 研 究 背 景 現 在, 日 本 に は 数 多 く の 音 楽 ア ー テ ィ ス ト や ダ ン ス パ フ ォ ー マ ー が 存 在 し, そ の 多 く は 日 本 各 地 の 主 要 都 市 に あ る ア リ ー ナ, ドーム, ス タ ジ ア ム, コ ン サ ー ト ホ ー ル に お い て ラ イ ブ コ ン サ ー ト, ラ イ ブ パ フ ォ ー マ ン ス ( 以 下 ラ イ ブ )を 行 っ て い る こ の ラ イ ブ で 最 も 重 要 視 さ れ る こ と は, テ レ ビ 放 映 や ラ ジ オ 放 送 の 通 常 放 送 の よ う に 録 音, 録 画 に よ る も の で は な く リ ア ル タ イ ム に よ る 公 演 で あ り 実 際 に 足 を 運 び 自 分 の 目 で 見 て 感 じ る と い う こ と で あ る ラ イ ブ な ら で は の 音 響 シ ス テ ム, ス ポ ッ ト 照 明, 会 場 と の 一 体 感 な ど 数 値 化 は 難 し い が 生 で し か 感 じ ら れ な い 特 別 な 感 覚 を 味 わ う た め 多 く の 観 客 が 足 を 運 ぶ し か し, これ ら の ラ イ ブ が 行 わ れ る 会 場 に 収 容 で き る 人 数 に は 限 界 が あ り, 特 設 ス テ ー ジ を 除 く と 日 産 ス タ ジ ア ム の 約 7 万 人 が 最 大 で あ る と 言 わ れ て お り, 全 て の 人 が 観 覧 に 行 け る こ と は な く 基 本 的 に 抽 選 が 行 わ れ る また, 開 催 地 は 首 都 圏 で 行 わ れ る こ と が 多 く 地 方 に 住 む 人 に は 少 な か ら ず ハ ン デ ィ が あ る こ の よ う な 問 題 の 解 決 に し ば し ば ラ イ ブ ビ ュ ー イ ン グ が 行 わ れ る ( 図 1.1)ラ イ ブ ビ ュ ー イ ン グ と は 本 会 場 の ラ イ ブ の 様 子 を 映 画 館 等 の 上 映 施 設 に て 生 放 送 す る 方 法 で, 抽 選 に 落 ち て チ ケ ッ ト 等 を 確 保 できな か っ た 人 だ け で な く, 地 方 に 住 ん で い て 会 場 が 遠 く 行 け な い 人 も 近 場 の 上 映 場 で 観 覧 で き る こ の ラ イ ブ ビ ュ ー イ ン グ で も 会 場 に お け る 公 演 の 臨 場 感 を 表 現 で き る よ う 大 が か り な 音 響 設 1

6 備 を 用 い て い る よ う だ が, 映 像 に 関 し て は 単 に 上 映 だ け を 行 う こ と が 多 い そ こ で, 視 覚 的 に も よ り 本 物 に 近 い 臨 場 感 を 表 現 で き れ ば, 本 会 場 と の 差 異 を 減 ら せ る と 考 え た 映 像 に よ る 臨 場 感 の 表 現 と し て 3D つ ま り 立 体 感 が 重 要 で あ る と 仮 定 し た こ こ で い う 立 体 感 と は ラ イ ブ を 行 う 人 物 と 背 景 を 切 り 離 し て 映 像 化 す る こ と で あ る 今 回 そ の 方 法 と し て 人 物 と 背 景 を 切 り 離 す 操 作 に Kinect の 機 能 を 使 用 し, 映 像 化 す る 操 作 に バ ー チ ャ ル ア イ ド ル 初 音 ミ ク の 3D ホ ロ グ ラ フ ィ に よ る ラ イ ブ の よ う に 立 体 感 を も た せ た 映 像 の 上 映 方 法 を 用 い る 手 法 を 提 案 す る 本 研 究 で は, こ の 手 法 に よ り 簡 単 に 低 コ ス ト で 立 体 感 の あ る 映 像 を 実 現 し 臨 場 感 を 表 現 で き る か に つ い て 調 査 評 価 を 行 う ( 図 1.1 ラ イ ブ ビ ュ ー イ ン グ の イ メ ー ジ 図 ) 2

7 1.2 プロジェクションマッピングの 歴 史 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ と は コ ン ピ ュ ー タ で 生 成 し た コ ン ピ ュ ー タ グ ラ フ ィ ッ ク (CG)や カ メ ラ で 撮 影 し た 映 像 や イ メ ー ジ を 建 物 や 車 と い っ た オ ブ ジ ェ ク ト の 物 理 表 面 な ど に プ ロ ジ ェ ク タ を 用 い て 映 写 し, オ ブ ジ ェ ク ト の 形 状 や 状 況 に 合 わ せ イ メ ー ジ を 張 り 付 け る 技 術 の こ と で あ る 日 本 で は プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ と い う 呼 び 方 が 一 般 的 で あ る が,そ の 他 に 3D マ ッ ピ ン グ や ビ ジ ュ ア ル マ ッ ピ ン グ, ま た 単 に マ ッ ピ ン グ と 称 さ れ る こ と も あ る プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ の 起 源 は デ ィ ズ ニ ー ラ ン ド の ホ ー ン テ ッ ド マ ン シ ョ ン に お け る 胸 像 へ の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ と 言 わ れ て い る コ ン ピ ュ ー タ 制 御 の 技 術 が ま だ 無 い 1969 年 に ア ナ ロ グ 映 写 機 を 用 い て 顔 の 映 像 を 胸 像 に 投 影 し た と いう こ の 技 術 は デ ィ ズ ニ ー ラ ン ド に 存 在 す る 数 多 く の ア ト ラ ク シ ョ ン を 設 計 製 作 し て い る ウ ォ ル ト デ ィ ズ ニ ー イ マ ジ ニ ア リ ン グ (WDI)に よ っ て も た ら さ れ た 開 園 当 初 か ら 愛 さ れ る 白 雪 姫 と 七 人 の 小 人 や ス リ リ ン グ な ア ト ラ ク シ ョ ン タ ワ ー オ ブ テ ラ ー, 大 人 気 と な っ た 夜 の エ ン タ ー テ イ メ ン ト シ ョ ー ワ ン ス ア ポ ン タ イ ム な ど に お い て, こ の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ の 技 術 が 惜 し み な く 用 い ら れ て い る [1] 日 本 で は 2010 年 に 行 わ れ た 映 画 の フ ィ ル ム プ レ ミ ア が 初 と 言 われ, 長 崎 ハ ウ ス テ ン ボ ス や 東 京 デ ィ ズ ニ ー ラ ン ド と い っ た 施 設 で の 商 業 利 用 に も 用 い ら れ る よ う に な っ た 現 在 は 普 及 が 進 み 様 々 な 演 出 に 用 い ら れ る ほ か, プ ロ ジ ェ ク タ の 普 及 が 進 ん だ こ と も あ り 個 人 で 行 う 事 例 3

8 も あ る 1.3 バーチャルアイドルと 透 過 スクリーン バ ー チ ャ ル ア イ ド ル と は 実 在 は し な い 仮 想 ア イ ド ル の こ と で あ る バ ー チ ャ ル ア イ ド ル と 言 っ て も ギ ャ ル コ ン で 活 躍 し た 商 品 化 を 目 指 す 3DCG に よ る バ ー チ ャ ル ア イ ド ル, グ ラ ビ ア ア イ ド ル を CG 化 し た バ ー チ ャ ル ネ ッ ト ア イ ド ル な ど が あ る が, 本 研 究 で 挙 げ て い る バ ー チ ャ ル ア イ ド ル と は 2007 年 以 降 に 普 及 を 始 め た 初 音 ミ ク 鏡 音 リ ン レ ン 巡 音 ル カ 等 の 音 声 合 成 DTM(デ ス ク ト ッ プ ミ ュ ー ジ ッ ク )ソ フ ト ウ ェ ア で あ る ( 図 1.2)こ れ ら は 音 声 合 成 技 術 VOCALOID を 使 用 し た バ ー チ ャ ル ア イ ド ル 歌 手 で 独 自 の 音 声 を 持 つ 人 工 物 と し て 画 期 的 な 技 術 で あ っ た ま た 初 音 ミ ク を は じ め と す る バ ー チ ャ ル ア イ ド ル は, 非 営 利 を 目 的 と し て い れ ば ほ ぼ 自 由 な 利 用 を 認 め て い る た め 多 く の ユ ーザが こ れ ら の バ ー チ ャ ル ア イ ド ル を 利 用 し た 作 品 を 公 開 し た 普 及 を 始 め た DTM は 3D ホ ロ グ ラ ム 技 術 を 活 用 し た ラ イ ブ の 開 催 が 試 み ら れ, その 際 に 用 い ら れ た も の が DILAD ス ク リ ー ン と 呼 ば れ る 透 過 ス ク リ ー ン で あ る ガ ラ ス や ア ク リ ル に 貼 付 し 観 測 者 に 対 し て 正 面 (スク リ ー ン か ら し て 背 後 )か ら の 投 影 (リ ア プ ロ ジ ェ ク シ ョ ン )を 行 う こ と で な に も な い 空 間 に バ ー チ ャ ル ア イ ド ル が 実 在 す る よ う な 錯 覚 を 起 こ さ せ る し か し 透 過 ス ク リ ー ン に は 拡 散 性 に 欠 点 が あ り, 観 測 者 と 透 過 ス ク リ ー ン と の 間 に 大 き な 角 度 が 生 ま れ る と 観 測 は 難 し い そ こ で 高 視 野 角 を 実 現 さ せ る た め に 複 数 台 で の 同 期 投 影 が 行 わ れ て い る こ れ に よ り DILAD ボ ー ド を 用 い た 映 像 投 影 に は 大 き な コ ス ト が 掛 か っ て し ま う こ の 代 替 案 と し て ア ミッド P こと 青 木 敬 士 氏 が 開 発, 公 開 し 4

9 た の が 網 戸 を 用 い る ア ミ ッ ド ス ク リ ー ン, ま た 農 業 用 ポ リ 袋 を 用 い る ポ リ ッ ド ス ク リ ー ン で あ る こ れ ら は 精 度 こ そ 劣 る も の の 低 コ ス ト で 準 備 で き る こ と か ら 個 人 ま た そ の 集 ま り に よ る 研 究 制 作 が 盛 ん に 行 わ れ る よ う に な り ニ コ ニ コ 技 術 部 で も 多 く の 公 開 動 画 が 見 受 け ら れ る よ う に な っ た ま た こ れ ら は 動 画 投 稿 だ け で な く, 日 本 各 地 で イ ベ ン ト が 開 催 さ れ る よ う に な り 技 術 の 伝 達 発 展 が 行 わ れ て い る ( 図 1.2 初 音 ミク[ 画 像 引 用 : 初 音 ミ ク 販 売 元 CRYPTON FUTURE MEDIA, INC 公 式 ブ ロ グ よ り ])[2] 5

10 1.4 本 論 文 の 構 成 本 論 文 に お い て, 第 2 章 で は, 本 研 究 に 用 い る 手 法 に つ い て 考 察 す る 第 3 章 で は, 本 研 究 に 用 い た 手 法 に つ い て 述 べ る 第 4 章 で は, 本 研 究 に 用 い た プ ロ グ ラ ム の 構 成 に つ い て 述 べ る 第 5 章 で は, 投 影 実 験 に 基 づ く 結 果 と 考 察 を 行 う 第 6 章 で は, 本 研 究 と 論 文 に つ い て の 総 括 を 述 べ る 6

11 第 2 章 提 案 手 法 の 考 察 本 研 究 に 使 用 す る 系 へ の 採 用 を 検 討 す る 際, 特 に 次 の 3 つ の 要 素 1 Kinect セ ン サ ー 2 透 過 ス ク リ ー ン 3 プ ロ ジ ェ ク タ (プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ ) が 重 要 と な っ た 本 章 に て こ れ ら の 性 質 に つ い て 考 察 を 行 う 2.1 Kinect の 機 能 について 本 研 究 に お け る 人 物 検 出 の 要 と な る Kinect とは,2010 年 に Microsoft よ り 発 売 さ れ た セ ン サ ー デ バ イ ス で あ る 当 初 は ゲ ー ム 機 で あ る Xbox 360 端 末 向 け の 付 属 機 器 Kinect For Xbox 360 と し て, ゲ ー ム 本 体 と 同 時 に 販 売 さ れ た が, 画 期 的 な セ ン サ ー デ バ イ ス と し て の 注 目 が 集 まり 2012 年 に Windows PC 向 けの Kinect for Windows と し て 開 発 者 向 け に 新 た に リ リ ー ス さ れ た Kinect には RGB 情 報 を 取 得 で き る RGB セ ン サ ー,セ ン サ ー か ら の 距 離 を 取 得 で き る 深 度 セ ン サ ー が 扱 え, そ の 他 に も 赤 外 線 カ メ ラ や マ ル チ ア レ イ マ イ ク ロ フ ォ ン が 搭 載 さ れ て い る こ れ ら を 組 み 合 わ せ る こ と で カ メ ラ 画 像 の 取 得, 距 離 画 像 の 取 得, 人 間 の 関 節 の 特 定, 音 源 位 置 の 特 定 な ど が 行 え る 当 研 究 室 で 用 意 さ れ て い た Kinect は Kinect for Xbox 360 で あ り ( 図 2.1), 本 研 究 に は こ れ を 用 い て い る が,Windows 用 と Xbox 用 の 違 い は 主 に, 7

12 商 用 利 用 の 可 否 Xbox へ の 対 応 Near モ ー ド の 搭 載 が 挙 げ ら れ る 商 用 利 用 に 関 し て は,Windows 用 に の み 認 め ら れ て い る Xbox へ の 対 応 は Xbox 用 の み 対 応 し て い て Windows 用 の 動 作 に は PC が 必 要 で あ る 次 に Near モードとは Windows 用 か ら 搭 載 さ れ た 機 能 で あ る 深 度 情 報 の 計 測 可 能 範 囲 は デ フ ォ ル ト で 80cm~ 4m と 設 定 し て あ り Windows 用 で は さ ら に 40cm~ の 計 測 が 可 能 な Near モ ー ド が 搭 載 さ れ て い る た だ し こ の モ ー ド で は 6 人 同 時 の 人 物 追 跡 に HIP_CENTER( 腰 の 位 置 )し か 指 定 で き ず 身 体 全 体 の 指 定 は で き な い セ ン サ ー 情 報 を 用 い た PC で の 開 発 向 け に Kinect for Windows SDK が リ リ ー ス さ れ て お り,Windows で の ソ フ ト ウ ェ ア 開 発 の 際 に 用 い る と 非 常 に 便 利 で あ る Microsoft 提 供 の デ バ イ ス で は あ る が, Mac OS で も 使 用 は 可 能 で あ り, こ ち ら で は OpenNI と NITE, ま た こ れ ら を よ り 使 い や す く ま と め た Simple OpenNI を 導 入 す る 必 要 が あ る た だ し, OpenNI と NITE を 提 供 する OpenNI 公 式 サ イ ト ( 年 4 月 Apple 社 の 買 収 に よ り 閉 鎖 し て い る た め 導 入 の 際 は 注 意 が 必 要 で あ る 本 研 究 には Mac OS を 使 用 し て い る た め Simple OpenNI を 導 入 し, 人 物 検 出 に 関 す る プ ロ グ ラ ム を 作 成 す る ま た リ ア ル タ イ ム な 取 得 と 投 影 を 行 う こ と を 目 的 と す る た め, 従 来 の 人 物 抽 出 に 用 い ら れ た ク ロ マ キ ー 法 [3]の よ う に 特 殊 な 条 件 を 付 加 し た り, 事 前 に 背 景 等 を 用 意 し 8

13 たりせ ず に 各 映 像 の 取 得 を 行 え る よ う に 処 理 を 行 う こ と を 前 提 と す る ( 図 2.1 研 究 に 用 いた Kinect for Xbox 360) 2.2 透 過 スクリーンについて 透 過 ス ク リ ー ン は 基 本 的 に, 光 を 通 せ る 透 明 な ガ ラ ス や ア ク リ ル 板 に 特 殊 な フ ィ ル ム を 張 る こ と で 半 透 明 ス ク リ ー ン に し た も の で あ る ス ク リ ー ン 背 面 か ら 左 右 反 転 し た 映 像 を 投 影 (リ ア プ ロ ジ ェ ク シ ョ ン ) す る こ と で 正 面 か ら 見 る と 映 像 と 背 景 が 見 え る と い う 仕 組 み で あ る ( 図 2.2) 9

14 ( 図 2.2 透 過 ス ク リ ー ン へ の リ ア プ ロ ジ ェ ク シ ョ ン ) こ の 透 過 ス ク リ ー ン の 特 徴 と し て 光 の 透 過 率 と 視 野 角 が 相 反 す る こ と が 挙 げ ら れ, 透 過 率 を 上 昇 さ せ る と 視 野 角 が 狭 く な る た め 背 面 は 見 や す く な る が 横 か ら の 視 認 が 困 難 に な り, 透 過 率 を 下 降 さ せ る と 視 野 角 が 広 く な る た め 背 面 は 見 え に く い が 広 範 囲 か ら の ス ク リ ー ン 映 像 視 認 が 可 能 に な る こ の 特 徴 を 最 大 限 に 生 か す 為 に, 使 用 時 の 条 件 に 合 わ せ た 適 切 な 素 材 選 択 や 使 用 す る ス ク リ ー ン の 構 造 を 選 定 す る 必 要 が あ る 本 研 究 で は ス ク リ ー ン を 通 し て 見 え る 背 景 に も 別 映 像 と し て Kinect で 撮 影 し た 映 像 か ら 被 写 体 の 背 景 情 報 切 り 離 し 投 影 ( 図 2.3)し, よ り 被 写 体 の 実 環 境 に 近 い 状 況 を 作 り 出 す こ と を 想 定 す る た め 透 過 性 を 重 視 し た 素 材 選 定 を 行 う 必 要 が あ る し か し, ラ イ ブ ビ ュ ー イ ン グ の よ う に, 多 く の 人 が 広 い 角 度 で ス ク リ ー ン を 観 測 す る 状 況 も 想 定 し た 場 合 も 考 え て あ る 程 度 の 視 野 角 の 確 保 も 必 要 で あ る 10

15 ( 図 2.3 背 景 と 透 過 ス ク リ ー へ の 2 面 フ ロ ン ト プ ロ ジ ェ ク シ ョ ン ) 透 過 ス ク リ ー ン に は 比 較 的 に 安 価 で 自 作 で き る も の (ア ミ ッ ド ス ク リ ー ン, ポ リ ッ ド ス ク リ ー ン )と 営 利 目 的 時 に 使 用 す る 高 価 な DILAD ス ク リ ー ン が あ る 本 研 究 で は ラ イ ブ ビ ュ ー イ ン グ 等 を 想 定 し, 臨 場 感 を 得 る た め に 人 物 抽 出 映 像 の 立 体 投 影 を よ り 簡 単 に 実 現 す る こ と が 目 的 で あ る た め,DILAD ボ ー ド 使 用 申 請 を 出 す ほ ど で は な く 自 作 可 能 な 透 過 ス ク リ ー ン で 十 分 で あ る と 判 断 す る よ っ て ア ク リ ル に ポ リ 素 材 系 の ビ ニ ー ル を 貼 付 し た ポ リ ッ ド ス ク リ ー ン か 網 戸 を 利 用 し た ア ミ ッ ド ス ク リ ー ン が 良 い の で は な い か と 考 えた ポ リ ッ ド ス ク リ ー ン の 特 徴 と し て 透 過 性 は 非 常 に 高 い が 視 野 角 が 厳 し いため, 本 研 究 で は 透 過 性 と 視 野 角 の 両 方 を 視 点 に 入 れ た ア ミ ッ ド ス ク リ ー ン の な か で も 網 目 が 大 き め の も の を 用 い る 11

16 2.3 プロジェクションマッピングによる 映 像 投 影 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ は テ ー マ パ ー ク 等 で 華 や か な 演 出 を 表 現 す る た め に 用 い ら れ る こ と が 多 い が, プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 自 体 は す で に 広 く 普 及 を 始 め て い る た め, 事 前 に 画 像 や 動 画 を 用 意 し て い れ ば 個 人 で 簡 単 に 行 え る こ と も 多 い プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ も 可 能 な VJ ソフトや ipad と モ バ イ ル プ ロ ジ ェ ク タ を 接 続 し て プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ が 行 え る ア プ リ PRSPCTV(URL: 等 が 公 開 さ れ て い る か ら で あ る よ っ て 単 に 個 人 で 楽 し む 程 度 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ の 実 現 は 簡 単 で あ る が, 本 実 験 の よ う に Kinect か ら の 取 得 画 像 を リ ア ル タ イ ム で 処 理 し, さ ら に プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 う と い う 特 殊 な 環 境 で は 既 製 品 を 用 い る こ と は 難 し く 余 計 な 手 間 が 増 え て し ま う と 考 え ら れ る た め,Kinect との 親 和 性 を 視 野 に い れ た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ プ ロ グ ラ ム の 作 成 を 行 う プ ロ グ ラ ム 作 成 に 当 た っ て は Processing と い う ビ ジ ュ ア ル プ ロ グ ラ ミ ン グ 環 境 を 使 用 し た こ れ は ビ ジ ュ ア ル ア ー ト に 特 化 し た プ ロ グ ラ ミ ン グ 言 語 で あ り 2 次 元, 3 次 元 空 間 を 想 定 し た 図 形 の 描 画, マウ ス や タ ッ チ 操 作 で 図 形 を 操 作 す る 直 感 性 に 利 が あ り, コ ー ド 作 成 は Java を 基 本 と し た 構 成 で 書 く こ と が 可 能 で あ る ま た Processing 内 で Kinect を 使 用 す る こ と が 可 能 と い う 特 徴 も あ り, 本 研 究 の よ う に Kinect か ら の イ メ ー ジ 情 報 の 操 作,プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ と い っ た 映 像 の 加 工 と 直 観 的 な 操 作 に あ た っ て は 最 適 で あ る と 考 え た 本 研 究 で は, 小 さ な ラ イ ブ ハ ウ ス や 劇 場 と い っ た 場 所 で も 簡 単 な 方 12

17 法 と 操 作 で 映 像 内 の 人 物 抽 出 と そ の 映 像 の 投 影 に よ り 立 体 感 の 再 現 を 行 え る 環 境 の 開 発 を 考 え て い る た め, で き る 限 り 標 準 環 境 内 の 機 能 ま た は 最 低 限 追 加 す る べ き フ レ ー ム ワ ー ク で 実 現 で き る 機 能 を 使 用 し た プ ロ グ ラ ム 構 築 を 目 標 と す る 具 体 的 な プ ロ グ ラ ム の 内 容 と 構 成 に つ い て は 後 述 ( 第 4 章 )す る が Kinect 導 入 の 際 に 使 用 す る フ レ ー ム ワ ー ク Simple OpenNI の 標 準 機 能 と Processing 搭 載 の 関 数 に よ っ て 比 較 的 簡 単 な プ ロ グ ラ ム コ ー ド の 作 成 に 至 っ た 13

18 第 3 章 研 究 に 用 いた 手 法 の 詳 細 本 章 では, 研 究 に 使 用 し た 装 置 に つ い て 述 べ る 入 力 側 と し て 人 物 と そ の 背 景 を 含 む 被 写 体 の Kinect を 使 用 し た 撮 影, 出 力 側 と し て プ ロ ジ ェ ク タ と ア ミ ッ ド ス ク リ ー ン ( 透 過 ス ク リ ー ン )を 使 用 し た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ が あ る 3.1 全 体 の 構 成 全 体 の 大 ま か な 構 成 と し て 3 つ に 大 別 で き る ( 図 3.1) 実 際 に 被 写 体 を Kinect の カ メ ラ で 撮 影 す る 入 力 側, 処 理 し た 映 像 を プ ロ ジ ェ ク タ で 透 過 ス ク リ ー ン と 背 景 に 投 影 し マ ッ ピ ン グ す る 出 力 側, こ れ ら の 処 理 を 行 う PC と な っ て い る ま た Kinect の 性 能 上 約 1m 以 上 は 被 写 体 と 距 離 を 置 き, 全 身 が 収 ま る 必 要 が あ る 装 置 間 の 接 続 は 有 線 で あ り プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ は 目 視 を し な が ら 行 う た め, あまり PC と の 距 離 を お く こ と が で き な い 点 に 注 意 し た ( 図 3.1 研 究 に 用 い た 装 置 の 全 体 構 成 ) 14

19 3.2 入 力 ( 撮 影 ) 側 に 用 いる 手 法 第 2 章 1 節 で も 紹 介 し た が 本 研 究 で は Kinect for Xbox 360 を 使 用 し た Kinect の 機 能 と し て 複 数 の カ メ ラ セ ン サ ー 情 報 (RGB 情 報, 深 度 情 報, 赤 外 線 情 報 )を 使 用 す る こ と で 人 の 骨 格 を 判 断 で き る ( 図 3.2) ま た そ の 領 域 に 人 が 居 る こ と を 判 断 し て 処 理 が で き る [4][5] Kinect 自 体 は Microsoft 社 が 開 発 し て い る も の の, MacOSX 等 でも Kinect の 操 作 は 可 能 で あ り 今 回 は こ ち ら で 操 作 を 行 っ た ( 図 3.2 Kinect に 搭 載 さ れ て い る カ メ ラ と センサー) また, この Kinect セ ン サ ー に は Windows 版 と Xbox 版 と の 違 い の ほ か に Kinect v2 と い う 次 世 代 型 の バ ー ジ ョ ン ア ッ プ し た 形 態 の も の も 開 発 さ れ て い る 今 回 用 い た Kinect for Xbox360 を Kinect v1 とす ると,こ れ ら の 大 き な 違 い は 深 度 情 報 の 読 み 取 り 方 に あ る Kinect v1 15

20 では, 深 度 セ ン サ ー か ら 発 光 し た 赤 外 線 を 深 度 カ メ ラ で 受 光 す る こ と で 対 象 物 と の 距 離 を 測 定 し て い る の に 対 し, Kinect v2 で は 深 度 セ ン サ ー と 深 度 カ メ ラ が 一 体 化 し 発 光 し た 赤 外 線 が 反 射 し て 戻 っ て く る ま で の 時 間 に よ り 対 象 と の 距 離 を 測 定 し て い る その 他 の 異 なる 点, 改 善 さ れ て い る 点 を 下 表 ( 表 3.1)に ま と め た 後 述 す る 本 研 究 に お け る 改 善 点 の い く つ か は, この Kinect v2 を 用 い る こ と で も 改 善 で き る で あ ろ う ( 表 3.1 Kinect v1 と Kinect v2 の 違 い ) Kinect v1 Kinect v2 カメラ 解 像 度 人 物 姿 勢 検 出 可 能 人 数 2 人 6 人 人 物 関 節 可 能 検 出 数 20 関 節 25 関 節 深 度 情 報 の 取 得 範 囲 0.8~ 4.0m 0.5~ 8.0m * Kinect v2 で は 環 境 光 が 少 な い 場 合 自 動 的 に fps を 落 と す 機 能 も あ る 今 回 は Kinect v1 と い う こ と で, 被 写 体 と カ メ ラ と の 距 離 は 4.0m 以 内 に す る 必 要 が あ り, 本 研 究 では 2.5m ほ ど の 距 離 を お い て 撮 影 し た また, 投 影 す る ア ミ ッ ド ス ク リ ー ン の 色 は 灰 色 で あ っ た た め 被 写 体 の 服 装 が 暗 い 色 で あ っ た と き 投 影 時 に 映 り づ ら い, も し く は 見 え づ ら い こ と も あ っ た そ の ため, 撮 影 時 は 比 較 的 明 る い 服 ( 実 験 で は 上 着 が 赤 16

21 色 の パ ー カ ー, 下 が 灰 色 の ジ ー ン ズ )を 着 て 撮 影 を 行 っ た Kinect の 設 置 場 所 は 床 面 か ら 約 1.0m の 距 離 ( 実 験 時 は 脚 立 の 天 板 部 )の と こ ろ に 設 定 し た 撮 影 時 の 環 境 光 が 少 な い 場 合, Kinect による RGB カメラ 情 報 が う ま く 取 得 で き な い た め 撮 影 側 の 部 屋 で は 電 灯 を 点 け て 撮 影 し た ( 図 3.3) ( 図 3.3 Kinect に よ る 撮 影 側 ( 入 力 側 )の 撮 影 時 の 様 子 ) 17

22 3.3 出 力 ( 投 影 ) 側 に 用 いる 手 法 本 研 究 に お い て の 出 力 側 と は プ ロ ジ ェ ク タ と ア ミ ッ ド ス ク リ ー ン ( 透 過 ス ク リ ー ン )を 用 い た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ の こ と を 指 す こ の 透 過 ス ク リ ー ン へ 人 物 ( 多 く は バ ー チ ャ ル ア イ ド ル と い っ た キャ ラ ク タ )を 投 影 す る と い う 技 術 は 開 発 者 の 青 木 敬 士 を は じ め, 一 般 のユ ーザ(ニ コ ニ コ 動 画 で は ニ コ ニ コ 技 術 部 の タ グ が つ い た も の )により 発 展 を 遂 げ て い る 今 回 用 い た 手 法 の 参 考 に し た も の は, その 中 のデス ク ト ッ プ ラ イ ブ ス テ ー ジ と い う も の で あ る [6] こ の 手 法 で は バ ー チ ャ ル ア イ ド ル の 動 作 等 を 作 成 す る MikuMikuDance(MMD)に て モ ー シ ョ ン を 作 成 す る 際, ラ イ ブ ス テ ー ジ ( 背 景 ), バ ー チ ャ ル ア イ ド ル ( 人 物 ), ス テ ー ジ 演 出 ( 床 面 )を そ れ ぞ れ 分 離 し 1 つ の 動 画 内 で そ れ ぞ れ が 再 生 さ れ る 状 態 に し た 後, 接 続 し た ipad と モ バ イ ル プ ロ ジ ェ ク タ を 用 い て 専 用 ア プ リ で プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 い 机 上 で ホ ロ グ ラ フ ィ ラ イ ブ を 再 現 す る と い う も の で あ る 従 来 の 透 過 ス ク リ ー ン を 用 い た バ ー チ ャ ル ア イ ド ル の 投 影 は リ ア プ ロ ジ ェ ク シ ョ ン を 行 い キ ャ ラ ク タ だ け を 空 間 に 投 影 し キ ャ ラ ク タ の 存 在 を 表 現 す る と い っ た も の に 対 し, こ の 手 法 で は フ ロ ン ト プ ロ ジ ェ ク シ ョ ン (こ の 場 合 セ ッ ト に 対 し て 上 方 か ら の 投 影 )を 行 う こ と で 透 過 ス ク リ ー ン だ け で な く 背 部 の セ ッ ト に 対 し 背 景 の 投 影, 床 面 に 対 し ス ポ ッ ト ラ イ ト 等 の ス テ ー ジ 演 出 の 投 影 が 可 能 と な っ た 私 は こ の 手 法 を 拝 見 し た 際, 従 来 の 投 影 方 法 よ り さ ら に キ ャ ラ ク タ の 存 在 に 臨 場 感 を 覚 え た た め, こ の 手 法 を 参 考 に す る こ と を 決 め た こ の 手 法 を 公 開 し て い る HP では 約 30 cm 四 方 の セ ッ ト で の 製 作 で あ っ た が, 本 研 究 で は 実 際 に 撮 影 し た 人 物 を 投 影 す る と 18

23 い う 状 況 の た め, プ ロ ジ ェ ク タ の 設 置 位 置 も 加 味 し 透 過 ス ク リ ー ン を 約 1m の 高 さ に な る よ う に 製 作 し た 製 作 に 当 た っ て は ア ミ ッ ド ス ク リ ー ン 開 発 者 の 青 木 敬 士 に よ る 製 作 方 法 を 参 考 に し た 製 作 に 用 い た 材 料 は ホ ー ム セ ン タ ー 等 で 比 較 的 安 価 に 手 に 入 る も の を 使 用 し て い る 材 料 は 下 表 に 示 す ( 表 3.2) ( 表 3.2 透 過 ス ク リ ー ン 製 作 材 料 ) スクリーン 部 1 網 戸 用 張 替 防 虫 ネ ッ ト 91cm 2m 18 メ ッ シ ュ グレイ 1 巻 骨 組 み 部 2 水 道 用 塩 化 ビ ニ ル パ イ プ ( 径 13m) 2m 3 TS 継 手 エ ル ボ ( 径 13mm) 4 TS 継 手 テ ィ ー ズ ( 径 13mm) 5 TS 継 手 キ ャ ッ プ ( 径 13mm) 5 本 4 個 4 個 2 個 結 合 部 6 ス テ ン レ ス な べ 小 ネ ジ M ス テ ン レ ス 蝶 ナ ッ ト M4 8 ス テ ン レ ス リ ン グ キ ャ ッ チ 3mm 9 ロ ッ ク タ イ 黒 ( 結 束 バ ン ド ) 4 本 2 個 2 個 1 袋 組 み 立 て の イ メ ー ジ は ( 図 3.4)に あ る が 本 研 究 で 製 作 し た ア ミ ッ ド ス ク リ ー ン は, 網 戸 が 2 重 に な っ て い る 点 に 注 意 す る 19

24 ( 図 3.4 ア ミ ッ ド ス ク リ ー ン を 背 面 か ら 見 た イ メ ー ジ ) 上 図 の 番 号 は ( 表 3.2) 内 の 材 料 に 割 り 振 っ た 番 号 と 対 応 し て い る 転 倒 防 止 の た め 背 面 接 地 部 の 骨 組 み を 囲 う 様 に 組 み 立 て 網 戸 側 面 の パ イ プ と 背 面 接 地 部 の パ イ プ を 斜 め の パ イ プ で 固 定 し て い る プ ロ ジ ェ ク タ に 関 し て は ア ミ ッ ド ス ク リ ー ン と 背 景 投 影 部 の 両 方 を 含 ん で 光 が 投 影 さ れ る よ う に よ り 高 さ の あ る 上 部 に 設 置 し, 危 機 の 設 定 で 台 形 補 正 が 入 ら な い よ う に す る こ と, 光 量 を 強 く す る こ と に 注 意 す る 20

25 第 4 章 研 究 に 用 いたシステムの 詳 細 本 章 で は, 研 究 に 使 用 し た 装 置 の PC に お け る 処 理 に つ い て 述 べ る PC で の 処 理 は Kinect か ら の 情 報 の 処 理, 処 理 し た 映 像 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 一 個 の プ ロ ジ ェ ク ト 内 で 一 括 し て 行 う プ ロ グ ラ ム 詳 細 は 本 論 文 付 録 に 記 載 す る 4.1 開 発 環 境 本 研 究 に お い て 処 理 に 用 い た PC の 詳 細 は 下 表 である ( 表 4.1 研 究 に 用 い た PC の 詳 細 ) 機 種 プ ロ セ ッ サ メ モ リ MacBook Air Intel Core i5 1.7GHz 4GB 1600MHz ソ フ ト ウ ェ ア OSX 内 蔵 デ ィ ス プ レ イ 11 イ ン チ ( ) USB USB3.0 Hi-Speed/SuperSpeed パス Kinect の ソ フ ト ウ ェ ア 要 件 で は メ モ リ が 2GB( 推 奨 は 4GB), USB2.0 端 子 で の 接 続 と な っ て い る の で こ の 点 は 問 題 な い 次 に, 実 際 に 処 理 に 関 す る プ ロ グ ラ ム の 作 成 を 行 っ た 開 発 環 境 で あ るが Processing を 用 い た Processing とは MIT メ デ ィ ア ラ ボ に よ っ て 開 発 さ れ た オ ー プ ン ソ ー ス で あ る Java を 単 純 化 し グ ラ フ ィ ッ ク 機 能 に 特 化 し た 言 語 を 用 い て い て, 電 子 ア ー ト や ビ ジ ュ ア ル デ ザ イ ン の 21

26 た め の 統 合 開 発 環 境 で あ る Processing で 作 成 さ れ た コ ー ド は ブ ラ ウ ザ 上 で の 動 作, Android 端 末 や ios 端 末 で の 動 作 も 可 能 で あ る 本 研 究 で は Processing2.2.1 を 導 入 し た Processing で 今 回 の コ ー ド を 作 成 す る に あ た り 導 入 し た ラ イ ブ ラ リ は, Processing 上 Kinect を 操 作 す る た め の 3 種 類 であ る 1 OpenNI 2 NITE 3 Simple-OpenNI 1,2は Kinect か ら の デ ー タ を 取 得 し た り 人 物 の 姿 勢 を 認 識 し た り す る 際 に 使 用 し,3は Processing で OpenNI を 使 え る よ う に す る た め に 使 用 す る ま た こ れ ら は, バ ー ジ ョ ン ア ッ プ に 伴 い 内 部 関 数 の 改 変 等 が 行 わ れ て い る た め そ れ ぞ れ バ ー ジ ョ ン を そ ろ え て 用 い る こ と が 望 ま し い 本 研 究 で は, 1 ~ 3 そ れ ぞ れ OSX 用 の バ ー ジ ョ ン 0.20 にあ た る バ ー ジ ョ ン の も の を 使 用 し た ( 現 在 1,2 に 関 し て は 公 開 HP の 閉 鎖 に 伴 い 導 入 す る 際 に は 自 己 責 任 と な る ) 4.2 人 物 抽 出 のプログラム 本 節 では, 本 研 究 で 作 成 し た プ ロ グ ラ ム コ ー ド 内 の 人 物 検 出 と 検 出 領 域 の 処 理 に つ い て 述 べ る こ の 処 理 は プ ロ グ ラ ム 内 に お け る 人 物 判 定 フ ェ イ ズ に あ た る ( 図 4.1) こ の フ ェ イ ズ の 中 で も 人 物 検 出 に 関 す る 部 分 ( 図 中 (1))と 検 出 領 域 の 処 理 ( 図 中 (2))に 分 け ら れ, 以 下 こ れ ら に つ い て 説 明 す る 22

27 ( 図 4.1 プ ロ グ ラ ム 内 人 物 検 出 フ ェ イ ズ 抜 粋 ) (1) 人 物 抽 出 について 人 物 抽 出 に つ い て の 処 理 方 法 は, OpenNI の 機 能 で 行 う こ と が で き る た だ し,こ の 方 法 は バ ー ジ ョ ン 0.20 に お け る 機 能 に 準 拠 し て お り, バ ー ジ ョ ン が 上 が る と.getUsersPixels( ) 関 数 内 に お い て, SimpleOpenNI.USERS_ALL 人 の 全 身 骨 格 23

28 を 指 定 す る こ と が で き な い こ れ は, 上 記 定 数 が バ ー ジ ョ ン ア ッ プ に 伴 い 削 除 さ れ て い る た め で あ り, こ れ 以 外 の 頭 部, 肩 部, 肘 部 等 と い っ た 部 分 指 定 な ら 可 能 で あ る こ の 関 数 を 用 い る 際 は プ ロ グ ラ ム 冒 頭 の 初 期 設 定 時 に,.enableUser(SimpleOpenNI.SKEL_PROFILE_ALL); を 記 載 し, 骨 格 検 出 ( 全 身 )を 有 効 化 し な け れ ば な ら な い (2) 検 出 領 域 の 処 理 について (1)で 検 出 し た 人 物 領 域 と そ れ 以 外 の 背 景 の 領 域 の 処 理 を 行 う Processing で は イ メ ー ジ を 扱 う 際 PImage と い う 特 殊 な 型 を 用 い る が, 人 物 情 報 を 保 存 す る も の と 背 景 情 報 を 保 存 す る も の を 2 つ 用 意 す る PImage で 用 意 さ れ た イ メ ー ジ は ピ ク セ ル 単 位 で 操 作 可 能 で,.loadPixels() ピ ク セ ル の 読 み 込 み.updatePixels() ピ ク セ ル の 更 新 を 使 用 す る こ と で ピ ク セ ル 情 報 の 読 み 込 み と 更 新 を 行 う Kinect から の RGB 情 報 や ピ ク セ ル の カ ラ ー 情 報 は 1 行 の 配 列 と し て 渡 さ れ る た め, 任 意 座 標 の ピ ク セ ル 検 索 は x+y*kinect.rgbwidth() (x,y) 座 標 の ピ ク セ ル を 用 い て 行 う 人 物 領 域 と 背 景 領 域 の 条 件 分 岐 は (1)で 渡 さ れ た usermap を 用 い,ピ ク セ ル 単 位 で 判 断 と 処 理 を そ れ ぞ れ 行 う 人 物 領 域 の 処 理 は, そ の 領 域 に 該 当 す る ピ ク セ ル を そ れ ぞ れ img1 に 格 納 す る 背 景 領 域 の 処 理 は, 人 物 が い る 場 所 の 背 景 を 補 填 す る た め に backpixel[]と い う 色 情 報 を 一 時 的 に 保 存 す る カ ラ ー 配 列 を 用 意 し, 1 24

29 度 そ の 配 列 に RGB 情 報 の 該 当 ピ ク セ ル カ ラ ー を 保 存 し て, 改 めて img2 に 格 納 を 行 う こ れ に よ り RGB 情 報 の 各 ピ ク セ ル は 背 景 領 域 と 判 定 さ れ る た び に backpixel[]に 保 存 さ れ る こ と に な り, 人 物 領 域 に あ た る ピ ク セ ル は 直 前 の カ ラ ー 情 報 を 読 み 出 す こ と に よ り 背 景 と し て 表 示 す る こ と が で き る 下 図 は 実 際 に Kinect で 撮 影 し た 映 像 を 人 物 領 域 と 背 景 領 域 に 分 離 し て 表 示 し た 様 子 で あ る ( 図 4.2) ( 図 4.2 人 物 領 域 と 背 景 領 域 の 分 離 表 示 上 : 正 面 か ら の 撮 影 下 : 姿 勢 変 更 時 ) 上 図 の 通 り, 今 回 の 人 物 検 出 は Kinect の 標 準 機 能 の み で 行 っ て お り 検 出 精 度 は Kinect に 依 存 す る た め ノ イ ズ が あ る こ と が わ か る 人 物 検 出 に 関 し て は 上 図 下 部 の よ う に 姿 勢 を 変 え た 場 合 も 検 出 可 能 な こ と が わ か る 25

30 4.3 プロジェクションマッピングのプログラム 本 節 で は プ ロ グ ラ ム 内 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に 関 す る 処 理 に つ い て 述 べ る こ の 処 理 は プ ロ グ ラ ム 内 に お け る 2 面 マ ッ ピ ン グ 設 定 フ ェ イ ズ 及 び テ ク ス チ ャ 頂 点 操 作 フ ェ イ ズ に あ た る ( 図 4.3) ( 図 4.3 プ ロ グ ラ ム 内 2 面 マ ッ ピ ン グ 設 定 /テ ク ス チ ャ 頂 点 操 作 フ ェ イ ズ 抜 粋 ) 26

31 2 面 マッピング 設 定 について 本 研 究 に お い て Processing を 用 い て プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 う 際, OpenGL の 機 能 で あ る テ ク ス チ ャ (texture)を 用 い た 現 行 バ ー ジ ョ ン の Processing では OpenGL ラ イ ブ ラ リ を 特 に 指 定 し な く て も 使 う こ と が で き る 仕 様 と な っ て い る テ ク ス チ ャ と し て 画 像 イ メ ー ジ や 動 画 映 像 を 設 定 す る と, テ ク ス チ ャ 内 イ メ ー ジ を 動 的 に 操 作 可 能 と な る テ ク ス チ ャ の 設 定 は beginshape() ~ endshape() 内 で 行 い, vertex に よ り テ ク ス チ ャ 頂 点 を 指 定 し 形 状 を 決 定 す る vertex では,テクスチャとして 設 定 す る イ メ ー ジ 内 の 頂 点 と し て 設 定 し た い ピ ク セ ル 座 標 と そ れ に 該 当 す る テ ク ス チ ャ の 座 標 を 対 応 さ せ る こ れ に よ り テ ク ス チ ャ の 頂 点 に 操 作 を 加 え た と き 元 の イ メ ー ジ 内 で も 同 様 の 操 作 が 行 わ れ 動 的 な 変 形 等 が 可 能 と な る 本 研 究 で は, Kinect か ら 取 得 す る の イ メ ー ジ (た だ し, 前 工 程 で 人 物 領 域 と 背 景 領 域 に 分 離 し た 2 つ の イ メ ー ジ )を そ れ ぞ れ プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ す る た め, img1 と img2 そ れ ぞ れ の テ ク ス チ ャ を 設 定 し た テクスチャ 頂 点 操 作 について 本 研 究 に お け る プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ は 直 観 的 な 操 作 を め ざ し, 実 際 の 投 影 状 況 を 目 視 し な が ら mac 搭 載 の ト ラ ッ ク パ ッ ド に て ド ラ ッ グ 操 作 を 行 う 構 成 に し た こ の フ ェ イ ズ で は 大 ま か に ク リ ッ ク を し て い る 場 合 と ク リ ッ ク を し て い な い 場 合 の 2 つ の 状 況 に お け る ポ イ ン タ 情 報 を 使 用 し て い る 本 研 究 で 作 成 し た プ ロ グ ラ ム で は 冒 頭 に お い て テ ク ス チ ャ の 頂 点 情 報 を 格 納 す る 配 列 を 用 意 し て い る た め, クリ 27

32 ッ ク を し て い る 場 合 の 処 理 は ポ イ ン タ の 座 標 と 頂 点 の 座 標 を 置 き 換 え る と い う 単 純 な も の で あ る ク リ ッ ク を し て い な い 場 合 は, マ ウ ス ポ イ ン タ と 各 頂 点 ( 本 研 究 で は 2 つ の イ メ ー ジ の 合 計 8 つ の 頂 点 )との 距 離 を 計 算 し, そ の 距 離 が 一 定 の 距 離 内 に あ る と き 次 の 処 理 に 移 る こ の 一 定 の 距 離 を 吸 着 距 離 と し, 本 研 究 で は 25 と 設 定 し た こ の 距 離 の 値 が 大 き く な れ ば, マ ウ ス ポ イ ン タ が よ り 遠 く の 場 合 で も 頂 点 付 近 に 近 づ い た と 判 断 さ れ る よ う に な る た め, 実 際 の 投 影 状 況 等 に 合 わ せ て 変 更 す る 必 要 が あ る 吸 着 距 離 内 に あ る 場 合 の 処 理 は, ポ イ ン タ と の 距 離 を 吸 着 距 離 に 設 定 し, 選 択 頂 点 を 1 つ の 頂 点 に 特 定 し て い る ま た, ク リ ッ ク し て い る 場 合 も ク リ ッ ク し て い な い 場 合 も 頂 点 に 近 づ い た 際 に は ポ イ ン タ の 位 置 に 円 の 表 示 を 行 い 視 覚 的 に 認 識 し や す く し, 操 作 性 の 向 上 を 行 っ て い る 実 際 に こ れ ら の 用 い た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 っ て い る 際 の 実 行 画 面 を ( 図 4.4)に 示 す 28

33 ( 図 4.4 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 時 の 実 行 画 面 ) 29

34 第 5 章 実 験 本 章 で は, 前 章 ま で で 製 作 し た 装 置 作 成 し た プ ロ グ ラ ム を 実 際 に 組 み 合 わ せ て 撮 影 と 投 影 を 行 っ た 実 験 に つ い て 述 べ る 5.1 実 験 概 要 本 研 究 の 前 提 と し て, 臨 場 感 を 得 る た め に は デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ の よ う に 映 像 内 の 人 物 と 背 景 を 分 離 し そ れ ぞ れ を 投 影 す る こ と で 立 体 感 を 持 た せ れ ば 良 い と 仮 定 し た ま た, 小 ラ イ ブ ハ ウ ス 等 に お い て 大 が か り な 装 置, セ ッ ト を 用 い な く て も 簡 単 に 実 現 で き る こ と を 目 標 と し た 実 装 を 行 っ た よ っ て 投 影 環 境 は 室 内 と 想 定 す る 実 験 時 の 環 境 条 件 は, 撮 影 側 は RGB 映 像 の 撮 影 を 行 う た め 照 明 で 明 る さ を 確 保 し た 上 で, 人 物 と そ の 背 景 が 映 る よ う に 注 意 し な が ら Kinect から 約 1m~ 4m の 範 囲 に 人 物 が 待 機 す る 投 影 側 は プ ロ ジ ェ ク タ を 用 い る た め 部 屋 を 暗 く し た 上 で プ ロ ジ ェ ク タを 部 屋 の 上 部 に 設 置 し, 投 影 光 が ア ミ ッ ド ス ク リ ー ン と 背 景 投 影 部 の 両 方 を 含 む よ う に 調 整 す る こ の 時 プ ロ ジ ェ ク タ の 光 量 を 強 く 設 定 し 台 形 補 正 等 が 入 ら な い よ う に 注 意 す る と す る ま た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 う 際 は 投 影 状 況 を 目 視 し な が ら 各 イ メ ー ジ の 頂 点 を 調 整 し て い く 実 験 時 に お け る 設 置 状 況 の 概 略 図 を ( 図 5.1)に, 設 置 し た 装 置 の 実 際 の 様 子 を ( 図 5.2)に 示 す 30

35 ( 図 5.1 実 験 実 施 時 に お け る 室 内 環 境 の 概 略 図 ) 投 影, 撮 影 の 部 屋 を 分 け, 被 写 体 と Kinect の 距 離 を 約 2.5m, プロ ジ ェ ク タ を 床 か ら 約 2.5m, 透 過 ス ク リ ー ン と 背 景 投 影 用 の 通 常 の ス ク リ ー ン を 約 1m の 距 離 と し た 観 測 は ( 図 5.5) 内 の 青 領 域 で お こ な っ た 31

36 ( 図 5.2 設 置 し た 装 置 の 実 際 の 様 子 ) 5.2 結 果 今 回 の 実 験 に は 同 研 究 室 所 属 22 歳 ~28 歳 の 学 生 4 人 に 被 験 者 と し て 協 力 し て も ら っ た 被 験 者 は 全 員 九 州 工 業 大 学 所 属 の 男 性 で あ る 実 験 方 法 は, 単 純 に カ メ ラ 映 像 を 投 影 し た 様 子 と 本 研 究 の 手 法 を 用 い た プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に よ る 投 影 の 様 子 の 2 つ の パ タ ー ン を プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ す る と こ ろ か ら 見 て も ら い コ メ ン ト を も ら う と い う も の で あ る 実 験 時 の ア ミ ッ ド ス ク リ ー ン に プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ し て い る 様 子 を ( 図 5.3)に 示 す 32

37 ( 図 5.3 実 験 時 の 様 子 上 : 視 聴 領 域 正 面 側 下 : 視 聴 領 域 側 面 側 ) 33

38 実 験 の 結 果 は, 本 研 究 の 手 法 を 用 い た 抽 出 映 像 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 自 体 は 成 功 し た が, 問 題 点 も 多 く 被 験 者 と な っ て も ら っ た 方 々 か ら の コ メ ン ト で も 同 問 題 点 を 指 摘 さ れ た コ メ ン ト を 以 下 に 述 べ る プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に お け る 画 像 の 位 置 合 わ せ 等 の 簡 単 さ は 伝 わ っ た 立 体 的 に な っ て い る と い う こ と は 伝 わ っ た が, 臨 場 感 と 言 わ れ る と 印 象 が 薄 か っ た 人 物 抽 出 精 度 に お け る ノ イ ズ が 目 立 っ て い た 真 正 面 か ら 見 た と き 背 景 映 像 の 光 に よ っ て 手 前 の 人 物 が 見 え づ ら か っ た デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ を 単 純 に 等 身 大 に 近 い セ ッ ト サ イ ズ に 適 応 し た こ と は 正 か っ た の か そ も そ も デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ に よ っ て 臨 場 感 が 得 ら れ る と い う 仮 定 を 実 証 す る 予 備 実 験 が 必 要 だ っ た の で は な い か 実 行 時 の タ イ ト ル バ ー や シ ス テ ム バ ー が 気 に な る 5.3 改 善 案 上 記 し た 問 題 点 を 解 決 す る た め に は コ メ ン ト で も 指 摘 が あ っ た よ う に, そ も そ も 臨 場 感 が 得 ら れ る と い う 確 証 を 得 る た め の 事 前 実 験 を 実 施 す る 必 要 が あ っ た と 感 じ る ま た, そ れ に 付 随 し て よ り 立 体 感 を 表 現 で き る 投 影 方 法 ( 例 :プ ロ ジ ェ ク タ の 適 正 な 高 さ,ス ク リ ー ン の 配 置 34

39 位 置,プ ロ ジ ェ ク タ の 投 影 光 量 )を 割 り 出 し, 本 研 究 手 法 に 用 い る 際 の 適 正 な 方 法 を 考 え る 必 要 が あ っ た 人 物 検 出 精 度 に つ い て は, 本 研 究 手 法 で は 簡 単 な 導 入 方 法 を 想 定 し 可 能 な 限 り 標 準 機 能 を 用 い て 行 う た め に Kinect 性 能 に 依 存 し た 検 出 を 行 っ て い た の で, 精 度 を 確 保 す る に は Kinect の 深 度 情 報 を 用 い た 人 物 及 び 境 界 の 特 定 [7]を 併 用 し た り, 既 存 の 境 界 特 徴 点 検 出 ア ル ゴ リ ズム(SIFT や SURF など)を 用 い た 人 物 抽 出 に し た り す る 必 要 が あ る も し く は Kinect v2 と い っ た 高 機 能 な セ ン サ ー に 切 り 替 え る と い う 方 法 も 考 え ら れ る ま た 本 研 究 で は 背 景 領 域 に 床 の 映 像 も 含 ま れ て し ま う た め ア ミ ッ ド ス ク リ ー ン に 投 影 さ れ る 人 物 が 浮 い て 見 え て し ま う と い う 問 題 点 も あ っ た た め, 本 来 の デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ の よ う に 人 物 領 域, 背 景 領 域, 床 面 領 域 と い っ た 3 面 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に す る 必 要 性 が あ る と 感 じ た こ の 為 に は や は り,Kinect の 機 能 だ け の 検 出 で は な く, 境 界 を 検 出 す る 他 の ア ル ゴ リ ズ ム を 導 入 し 背 景 と 床 面 も 切 り 離 す 必 要 が あ る 35

40 第 6 章 結 論 本 研 究 で は ラ イ ブ ビ ュ ー イ ン グ の よ う に 人 物 の 映 像 を 投 影 す る 状 況 を 想 定 し, 撮 影 地 さ な が ら の 臨 場 感 を 表 現 す る た め の 立 体 感 を 再 現 す る た め に Kinect を 用 い た 人 物 映 像 の 抽 出 と そ の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ と い う 手 法 を 提 案 し た 研 究 に 関 す る シ ス テ ム の 開 発 に は ビ ジ ュ ア ル 操 作 に 強 い Processing を 用 い て Kinect か ら の 情 報 の 操 作 や プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ を 行 っ た が, 今 回 の よ う に 複 雑 な 処 理 を 標 準 機 能 だ け で 再 現 す る の は 厳 し い こ と が わ か っ た ま た デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ では 3 面 プロ ジ ェ ク シ ョ ン マ ッ ピ ン グ だ っ た の に 対 し, 安 易 に 2 面 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に し た こ と で 立 体 感 で は な く 浮 遊 感 が 生 ま れ て し ま っ た や は り デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ の 手 法 に 従 い 3 面 プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に す る た め, 人 物 検 出 だ け で な く 境 界 検 出 に よ る 人 物, 背 景, 床 面 の 切 り 離 し が 必 要 だ と 感 じ た ま た 研 究 背 景 と し て こ の 手 法 に よ り 臨 場 感 が 得 ら れ る と 恣 意 的 に 判 断 し 仮 定 し て い た が, こ の 過 程 を 立 証 す る も の は な く こ れ に つ い て の 研 究 が 事 前 に 必 要 で は な い か と 思 う こ の 様 な 分 野 は VOCALOID や MMD を 使 用 す る 一 般 ユ ー ザ による 発 展 を 遂 げ て い る た め よ り 活 発 な 研 究 開 発 が 行 わ れ る こ と を 期 待 す る 36

41 謝 辞 本 研 究 に あ た り, 研 究 内 容 進 行 法 な ど, 様 々 な 面 で ご 指 導 し て く だ さ り ま し た 三 浦 准 教 授 に,こ の 場 を 借 り て 心 よ り 御 礼 申 し 上 げ ま す 加 え て, 研 究 期 間 中 に 御 教 授 し て い た だ い た 情 報 セ ク シ ョ ン の 先 生 方, 先 輩 方 に 御 礼 申 し 上 げ ま す ま た, 研 究 室 の 方 々 を 始 め と す る, 実 験 に 協 力 し て い た だ い た 方 々 に, 重 ね て 御 礼 申 し 上 げ ま す 37

42 参 考 文 献 [1] Mine, M. R., van Baar, J., Grundhöfer, A., Rose, D., & Yang, B. (2012). Projection-Based Augmented Reality in Disney Theme Parks. IEEE Computer, 45(7), [2] 初 音 ミ ク 公 式 ブ ロ グ,( 記 事 投 稿 日 時 )2015/02/10/ 20:40 (ア ク セ ス 日 ) 2015/02/13 [3] 佐 藤 雄 隆, 金 子 俊 一, 丹 羽 義 典, & 山 本 和 彦. (2003). Radial reach filter (RRF) に よ る ロ バ ス ト な 物 体 検 出. 電 子 情 報 通 信 学 会 論 文 誌 D, 86(5), [4] 橋 本 直 (2012) AR プ ロ グ ラ ミ ン グ Processing で つ く る 拡 張 現 実 感 の レ シ ピ オ ー ム 社 [5] 中 村 薫 (2011) KINECT セ ン サ ー プ ロ グ ラ ミ ン グ 秀 和 シ ス テ ム [6] は つ ね み く み く 出 た! プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ 利 用 の お 手 軽 デ ス ク ト ッ プ ラ イ ブ ス テ ー ジ, ( 記 事 投 稿 日 時 )2013/03/01 20:25 (ア ク セ ス 日 時 ) 2014/04/16 38

43 [7]Xia, L., Chen, C. C., & Aggarwal, J. K. (2011, June). Human detection using depth information by kinect. In Computer Vision and Pattern Recognition Workshops (CVPRW), 2011 IEEE Computer Society Conference on (pp ). IEEE. 39

44 付 録 付 録 と し て, 事 件 に 用 い た 人 物 抽 出 映 像 の プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ に 関 す る プ ロ グ ラ ム コ ー ド と 撮 影 し た 映 像 を 単 純 に プ ロ ジ ェ ク シ ョ ン マ ッ ピ ン グ す る プ ロ グ ラ ム コ ー ド を 添 付 す る 40

45 /******************************************************************/ //Title: 人 物 抽 出 映 像 と 背 景 マ ッ ピ ン グ プ ロ グ ラ ム コ ー ド // //Content: 2 映 像 テ ク ス チ ャ の 頂 点 ( 選 択 時 円 表 示 )を ド ラ ッ グ し て 映 像 を 貼 付 ける // //Name: Myazaki Aoi //Date:2015/2/12 /******************************************************************/ import SimpleOpenNI.*;//ver 0.20 SimpleOpenNI kinect; color[] backpixel = null;// 背 景 保 存 用 色 配 列 /* マッピング 用 頂 点 移 動 要 素 定 義 */ int selected = -1; // 選 択 されている 頂 点 代 入 変 数 ( 頂 点 は 0 7,-1 は 非 選 択 状 態 ) int pos[][] = {{0,0},{640,0},{640,480},{0,480},{640,50},{1280,50},{1280,530},{640,530}};// 初 期 頂 点 ピクセル 情 報 座 標 配 列 float mind;// 基 準 吸 着 距 離 変 数 float D;//マウスポインタと 頂 点 距 離 格 納 変 数 void setup(){ /* 初 期 設 定 フェイズ */ size(1280,1024,p3d);//p3d 有 効 kinect = new SimpleOpenNI(this); kinect.enablergb(); //RGB カメラ 有 効 化 kinect.enabledepth();// 深 度 カメラ 有 効 化 kinect.alternativeviewpointdepthtoimage();// 2カメラの 視 点 一 致 kinect.enableuser(simpleopenni.skel_profile_all);// 骨 格 検 出 有 効 化 ( 全 身 判 定 ) 41

46 backpixel = new color[kinect.rgbwidth()*kinect.rgbheight()]; } void draw(){ background(0);// 画 面 初 期 化 0= 黒 背 景 kinect.update();//キネクトカメラの 更 新 //image(kinect.rgbimage(),0,0);//テスト 表 示 用 /* 人 物 領 域 判 定 フェイズ */ int[] usermap = null; // 人 物 情 報 保 存 用 int usercount = kinect.getnumberofusers(); // ユーザがいるかどうかの 判 断 用 // 人 物 がいると 判 断 されたとき if(usercount>0){ usermap = kinect.getuserspixels(simpleopenni.users_all);// ユーザマップ 取 得 関 数 による 情 報 格 納 } PImage img1 = createimage(640, 480, RGB);// 人 物 描 画 テクスチャ 用 PImage img2 = createimage(640, 480, RGB);// 背 景 描 画 テクスチャ 用 //ピクセル 読 み 込 み img1.loadpixels(); img2.loadpixels(); //キネクト 取 得 映 像 から 各 ピクセルを 割 り 振 る for (int y=0;y<kinect.rgbheight();y++){ for(int x=0;x<kinect.rgbwidth();x++){ int index = x+y*kinect.rgbwidth();//(x,y) 座 標 のピクセル 検 索 方 法 42

47 if (usermap!= null && usermap[index]>0){ img1.pixels[index] = kinect.rgbimage().pixels[index];// 人 物 部 分 の 処 理 }else{ backpixel[index] = kinect.rgbimage().pixels[index];// 非 人 物 部 分 の 処 理 ( 一 度 backpixel に 退 避 ) } img2.pixels[index] = backpixel[index]; } } //ピクセルの 更 新 img1.updatepixels(); img2.updatepixels(); /* 面 マッピング 設 定 フェイズ */ nostroke();// 縁 なしを 設 定 // img1( 人 物 側 )をテクスチャとして 設 定 し 頂 点 指 定 beginshape(); texture(img1); vertex(pos[0][0],pos[0][1], 0, 0); // 左 上 頂 点 指 定 vertex(pos[1][0],pos[1][1], img1.width, 0); // 右 上 頂 点 指 定 vertex(pos[2][0],pos[2][1], img1.width, img1.height); // 右 下 頂 点 指 定 vertex(pos[3][0],pos[3][1], 0,img1.height); // 左 下 頂 点 指 定 endshape(close); // img2( 非 人 物 側 )をテクスチャとして 設 定 し 頂 点 指 定 beginshape(); texture(img2); vertex(pos[4][0],pos[4][1], 0, 0); // 左 上 頂 点 指 定 vertex(pos[5][0],pos[5][1], img2.width, 0); // 右 上 頂 点 指 定 vertex(pos[6][0],pos[6][1], img2.width, img2.height); // 右 下 頂 点 指 定 vertex(pos[7][0],pos[7][1], 0,img2.height); // 左 下 頂 点 指 定 endshape(close); 43

48 /* テクスチャ 頂 点 操 作 フェイズ */ //ある 点 がクリックされていたら if( mousepressed && selected >= 0 ) { pos[selected][0] = mousex; pos[selected][1] = mousey; ellipse( mousex, mousey, 20, 20 );// 選 択 円 の 表 示 } // 頂 点 がクリックされていないとき else { mind = 25; // 基 準 吸 着 距 離 (25) selected = -1; // 選 択 頂 点 の 初 期 化 for (int i=0; i<8; i++) { D = dist( mousex, mousey, pos[i][0], pos[i][1] ); //ポインタ 位 置 と 頂 点 の 距 離 を 格 納 //ある 頂 点 とポインタが 基 準 距 離 より 近 いとき if ( D < mind ) { mind = D; selected = i; ellipse( mousex, mousey, 20, 20 );// 選 択 円 の 表 示 } } } } 44

49 /**************************************************************** **/ //Title:キネクト 取 得 画 像 (RGB 画 像 )マッピング プログラムコード // //Content:テクスチャの 頂 点 ( 選 択 時 円 表 示 )をドラッグして 映 像 を 貼 付 ける // //Name:Myazaki Aoi //Date:2015/2/12 /**************************************************************** **/ import SimpleOpenNI.*;//ver 0.20 SimpleOpenNI kinect; /*----マッピング 用 頂 点 移 動 要 素 定 義 ----*/ int selected = -1; // 選 択 されている 頂 点 変 数 ( 頂 点 は 0 3) int pos[][] = {{0,0},{640,0},{640,480},{0,480}};// 初 期 頂 点 ピクセル 情 報 座 標 配 列 float mind;// 基 準 吸 着 距 離 変 数 float D;//ポインタと 頂 点 距 離 格 納 変 数 void setup(){ /* 初 期 設 定 フェイズ */ size(1280,1024,p3d);//p3d 有 効 } kinect = new SimpleOpenNI(this); kinect.enablergb(); //RGB カメラ 有 効 化 kinect.enabledepth();// 深 度 カメラ 有 効 化 kinect.alternativeviewpointdepthtoimage();// 2カメラの 視 点 一 致 45

50 void draw(){ background(0);// 画 面 初 期 化 kinect.update();//キネクトカメラの 更 新 //image(kinect.rgbimage(),0,0);//テスト 表 示 用 PImage img1 = createimage(640, 480, RGB);// キネクト RGB 画 像 格 納 用 img1.loadpixels(); // 各 ピクセルをコピー for (int y=0;y<kinect.rgbheight();y++){ for(int x=0;x<kinect.rgbwidth();x++){ 理 int index = x+y*kinect.rgbwidth();//(x,y) 座 標 のピクセル 検 索 方 法 img1.pixels[index] = kinect.rgbimage().pixels[index];// 人 物 部 分 の 処 } } img1.updatepixels(); /* マッピングフェイズ */ nostroke(); beginshape(); texture(img1); // img1(rgb 画 像 )をテクスチャとして 設 定 vertex(pos[0][0],pos[0][1], 0, 0); // 左 上 頂 点 指 定 vertex(pos[1][0],pos[1][1], img1.width, 0); // 右 上 頂 点 指 定 vertex(pos[2][0],pos[2][1], img1.width, img1.height); // 右 下 頂 点 指 定 vertex(pos[3][0],pos[3][1], 0,img1.height); // 左 下 頂 点 指 定 endshape(close); 46

51 /* 頂 点 操 作 フェイズ */ //ある 点 がクリックされていたら if( mousepressed && selected >= 0 ){ pos[selected][0] = mousex; pos[selected][1] = mousey; ellipse( mousex, mousey, 20, 20 );// 選 択 円 の 表 示 // 頂 点 がクリックされていないとき }else{ mind = 25; // 基 準 吸 着 距 離 (25) selected = -1; // 選 択 頂 点 の 初 期 化 for (int i=0; i<4; i++) { D = dist( mousex, mousey, pos[i][0], pos[i][1] ); //ポインタ 位 置 と 頂 点 の 距 離 を 格 納 // 頂 点 選 択 を 判 断 if ( D < mind ) { mind = D; selected = i; ellipse( mousex, mousey, 20, 20 );// 選 択 円 の 表 示 } } } } 47