Kinect を用いたダンス学習支援 システムの開発 Development of Dance Training Support System Using Kinect 北原研究室 山内雅史 篠本亮
目次 研究題目 研究の背景 目的 先行研究 課題と解決策 システムの構成 評価実験と考察 まとめ
研究の背景 近年において ダンスは我々にとって身近な存 在となりつつある EXILE AKB48 K-POP テレビでダンス番組が放送されたり 動画サイ トで 踊ってみた 動画の投稿などが盛んに行 われている
研究の背景 教育の分野では 昨今小中学校の体育でダ ンスが必修化された ダンス学習支援を目的とした研究が行われて いる
研究の目的 ダンス学習上の問題 学習者が正しく踊れているかを独力で判定 し 改善すること 本研究では個人のダンス学習支援が出来る ようなシステムを提案する
先行研究 先行研究 小学校体育授業における表現運動 学習支援 デジタル教材 の開発と評価 (安藤 幸/2009) モーションキャプチャ装置を用いたサンバリズ ム習得過程の分析(石川 幸平/2006) ダンスの初心者指導について (宮川 則子/2005) ダンス教育支援を目的とした自動振付システ ムの試作(曽我 麻佐子/2007)
モーションキャプチャ装置を用いたサン バリズム習得過程の分析 初心者に特徴的なリズムのサンバダンスを指導 練習によるリズム感の向上を客観的に観察 計測装置にモーションキャプチャを使用
Kinectを用いた関連事例 Dance Evolution(KONAMI) 振り付けの要所にマーカー(判定ポイント)があり 指 示通りに踊れると スコアが加算される
先行研究 事例との違い モーションキャプチャ装置を用いたサンバリズム習得過程の 分析(石川 幸平/2006) ダンスなど技能取得の要素を 技 と リズム感 と し 特にリズム感に着目した研究である リズム感の向上の過程の観察を主な研究目的とし ており 支援という部分には触れていない 本研究では 技 と リズム感 の双方を考慮し ユーザのダンス学習支援ができるようなシステムを 目指す
先行研究 事例との違い Dance Evolution(KONAMI) ダンスの正確さに基づいて決まるスコアを競 うもので 初心者がじっくりダンスを学ぶとい う視点のものではない 本研究ではゲーム性を追求せずに 初心者が ダンスを学ぶための機能について検討する
課題と解決策(1) ユーザが正しく踊れていない状況では 以下 の場合が考えられる 1.そもそもリズム自体を正しく取れて いない 2.リズムは正確に取れているが 体の 動かし方(以降振り)を習得してい ない
課題と解決策(2) この２つの状況をKinectの観測データのみで 区別することは困難である ワイヤレスミニマウスでリ ズム感判定 Kinectで振り判定 リズム感と振りの正確さをそれぞれ区別して 判定
Kinectとは Kinectとは MicrosoftがXbox360向けに発売した ゲームデバイス カメラより取得した骨格情報を使いコントローラを使 わず操作できる モーションキャプチャーより安価である
Kinectによるユーザ認識 Kinectが認識できる関節の数は図で示す 15箇所である
システムの構成 (1) Kinectによるユーザ認識 (2) 見本映像の事前確認 (3) 練習の実行 2回繰り返す (4) 改善点の提示 (5) 練習結果の判定 適切な振りorテンポ をユーザに提示
２ 見本映像の事前確認 右画面 見本の映像の表示 左画面 リアルタイムでの映像の表示 Kinectからの映像 見本の映像
３ 練習の実行 マウス 振りの比較判定の開始 音楽の再生 Kinectからの映像 見本の映像
Kinectによる振り習得判定(1) ユーザーのダンスに対してリアルタイムで関節座標 を求め 予め用意した見本の座標データの比較を行 う 上 手座標 左 肩座標 下 右 振りの種類は 腕を動かす に限定 肩を基準に上下左右に領域 を分ける 見本と同じ領域であれば 一 致 とみなす
Kinectによる振り習得判定(2) 前スライドの判定処理は 音楽再生時より計 測される四分音符のビート時刻で行う ビート 時刻は予め付与しているものとする 6割以上 の一致が習得条件 上 上 上 上 上 不一致 左 右 ビート時刻(ms) 右
ワイヤレスマウスによるリズム感判定 リズムの判定範囲は現在のビート時刻と次の ビート時刻の差を４等分したもの に JUST,SLOW,FASTを設定する
ワイヤレスマウスによるリズム感判定 ユーザのクリック時刻と 予め用意したビート時刻の 差が許容誤差以内である時 リズムは正しくとれて いると判断する 7割以上正しくリズムを取れることが条件 FAST! SLOW! JUST! 許容 誤差 許容 誤差 許容 誤差 JUST! 不一致 許容 誤差 ビート時刻(ms)
見本と一致 ビート毎の両手の領 域の表示 リズムの結果例 よいリズム感です 走っています 遅れています 改善点の提示 見本と不一致
練習結果の判定 2回の練習結果から 以下のような条件で 次 の練習への指示を行う 判定 リズム リズム 振り 振り テンポを上げる 振りを難しくする 振りを簡単にする テンポを下げる テンポを下げる 振りを簡単にする 指示の例 リズムも振り も だったので 振りか テンポを上げる選択を 表示
デモ動画
評価実験 実験環境 百周年の会議室４
実験環境 評価実験 百周年の会議室４ 被験者 Kinect 100cm 75cm 100cm 200cm 250cm イメージ図 スクリーン
評価実験 実験方法 システムの説明 練習 ２５分 休憩 ５分 システム有り テスト １５分 α 休憩 １０分 システム無し テスト １５分 α １回あたりの練習時間:８小節(32拍)
評価実験 被験者４人 男性３人 女性１人 ダンス未経験者 ２つのグループで実施 システム有り システム無し システム無し システム有り 使用音楽 RWC研究用音楽データベース ジャンル ダンス(ソウル/R&B)
評価実験 システム有り レベルが１番高い振りで音楽のテンポが１番 速いものから始める マウスクリックと振りの一致度を判定する 判定結果を表示する 判定結果によってユーザに適切な振りやテン ポを提示する
システム有の練習の例 振付のレベル(３段階) テンポの速さ(３段階) レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 2回練習 リズム感 振付を簡単にする
システム有の練習の例 振付のレベル(３段階) テンポの速さ(３段階) レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 2回練習 リズム感 振り 振付をテンポ を簡単にする
システム有の練習の例 振付のレベル(３段階) テンポの速さ(３段階) レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 2回練習 リズム感 振り 振付かテンポ を上げる
システム有の練習の例 振付のレベル(３段階) テンポの速さ(３段階) レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 振付を選択
評価実験 システム無し レベルが１番高い振りで音楽のテンポが１番 速いものから始める(有りと同様) マウスクリックと振りの一致度の判定は被験 者に見えない形で行う 判定結果に関わらず 振りのレベル テンポは 変わらない
システム無しの練習の例 振付のレベル(３段階) テンポの速さ(３段階) レベル１ 超ゆっくり レベル２ ゆっくり レベル３ 等速 2回練習 同じ振付 テンポのまま
実験アンケート スポーツが好きですか 目標の振り付けを習得することが出来ましたか 振り付けのレベルやテンポの変更の指示は適切だと思いまし たか 結果画面の内容は分かりやすかったですか 上下左右 リズムの判定を練習に活かすことが出来ましたか 独りで行う練習で 本システムは有用だと思いましたか 練習を楽しめましたか 意見 感想 アドバイスをお願いします
実験結果 考察 間違い減少率(%) 減少率(%) {1 (最後に間違えた振りの回数 / 最 初に間違えた振りの回数)} 100
実験結果 考察 １５分間の練習での振りの間違い減少率では 大きな差は見られなかった 被験者Bのシステム有りでの練習では間違い 減少率が９０ 以上の高い数値が得られた 被験者A Dでは間違い減少率が低い 被験者B Cでは間違い減少率が高い
実験結果 考察 被験者B Cでは間違い減少率が高い １５分間の練習でレベル３ 等速の振りに戻って 来られた 1回目 15分練習後
実験結果 考察 被験者A Dでは間違い減少率が低い １５分間の練習でレベル３ 等速の振りに戻って 来られなかった ユーザが練習をする上でのモチベーションの面からも有用性が窺える
まとめ ダンスが正確に踊れていない状況は そもそもリズムが正しく取れていない リズムは正確に取れているが 体の動かし方 (振り)を習得していない という２つの場合が挙げられた そこで Kinectとワイヤレスマウスを用いて リズム感 と振りの正確さを区別して判定した 実験の結果 振り と リズム感 の双方を考慮し ユーザのダンス学習支援ができる練習を提案するシ ステムを実現することが出来た
今後の課題 長期的な実験を考慮した練習時間の設定で 間違い減少率の向上を目指す 振りやリズム感の判定手法を改善し システ ムの有用性を高められるようにする 両手以外の部位も判定に考慮できるようにす る 個別の振りの練習だけでなく 複数の振りを 合わせた一連のフレーズでの練習をできるよ うにする