WISS [1] [2] [3] [13] ( ) [4] [5, 6] MiruSinger[7] [8] [9, 10] [11] Thermoscore[12] Thermoscore 3 2 J. Lave ( )[14]

Size: px

Start display at page:

Download "WISS [1] [2] [3] [13] ( ) [4] [5, 6] MiruSinger[7] [8] [9, 10] [11] Thermoscore[12] Thermoscore 3 2 J. Lave ( )[14]"

やすはるあかさか
5 years ago
Views:

1 WISS2012. AR VR 1 AR VR [1]-[12] [2] [4] [8] [7]-[12] Copyright is held by the author(s)., /, [8] 2

2 WISS [1] [2] [3] [13] ( ) [4] [5, 6] MiruSinger[7] [8] [9, 10] [11] Thermoscore[12] Thermoscore 3 2 J. Lave ( )[14]

3 4 ( ) MIDI ( ) (1) 2. (2)

WISS 2012 拡大図 ②現在の演奏位置 ④鍵盤目視ボール楽譜を見ているとき ①楽譜 ③次に打鍵する鍵鍵盤を見ているとき図 1. 提示コンテンツ図 3.

システム構成学習者は現在どこを演奏しているか直観的に理解できるまた正しい鍵を弾いたときのみ演奏位置は進むようになる 3. 鍵盤上には光る鍵盤と同様次に演奏する鍵上を赤枠 (3) で提示する 4.

ラーは赤色で鍵盤を見ずに弾けた場合信号機のように 1 回目は黄色 2 回連続でできた場合は青色 3 回連続でできた場合は透明に変化する一度でも鍵盤を見れば玉の色は赤色に戻ってしまうまたたとえ鍵盤を見

VPCSA を使用したまた MIDI 鍵盤として CASIO 社の PriviA PX110 を使用し視線認識用カメラとして Buﬀallo 社の BBT-WC01/SV を使用した図 3 に示すように

種類のテンプレート画像から入力画像を識別するためリアルタイムに確実に鍵盤か楽譜のどちらを見ているか判別できるが例えば鍵盤上にあるどちらの手を見ているか楽譜上のどの音符を見ているかといった細かな認識はできないな

に黒鍵を白く塗りスクリーンとして鍵盤上部に白いプラスチックの板を設置した PC 上のソフトウェアの開発は Windows 7 上で Microsoft 社の Visual C++ 2010 と Intel 社の

4 WISS 2012 拡大図 ②現在の演奏位置 ④鍵盤目視ボール楽譜を見ているとき ①楽譜 ③次に打鍵する鍵鍵盤を見ているとき図 1. 提示コンテンツ図 3. 視線認識用カメラの装着プロジェクタ映像信号視線認識映像生成用PC 実装 5 カメラ映像視線認識用カメラ MIDI情報 MIDI鍵盤図 2. システム構成学習者は現在どこを演奏しているか直観的に理解できるまた正しい鍵を弾いたときのみ演奏位置は進むようになる 3. 鍵盤上には光る鍵盤と同様次に演奏する鍵上を赤枠 (3) で提示する 4. 各音符の上に鍵盤を見ずに弾けたかどうかを意味する鍵盤目視ボール (4) を提示する図 1 に示すようにある瞬間において同時に弾くべき音に対して 1 つの鍵盤目視ボールが対応づけられている鍵盤目視ボールの初期カラーは赤色で鍵盤を見ずに弾けた場合信号機のように 1 回目は黄色 2 回連続でできた場合は青色 3 回連続でできた場合は透明に変化する一度でも鍵盤を見れば玉の色は赤色に戻ってしまうまたたとえ鍵盤を見ずに弾いたとしても打鍵ミスをすれば玉の色が赤色に変わるこれにより学習者は楽譜上のどの音符で鍵盤や鍵盤上に提示される情報に頼っているかがわかる本研究ではこれを視線チェック機能と呼ぶこのように打鍵位置情報を見ないように促すことで打鍵位置情報からの離脱を支援する 5. 上記で述べた各種機能の On/Oﬀ を切り替えるアイコンを演奏で使用しない鍵の鍵盤上に用意しユーザが選択的に利用できるようにする 4 章で述べた学習支援システムのプロトタイプを実装した PC は SONY 社の VPCSA を使用したまた MIDI 鍵盤として CASIO 社の PriviA PX110 を使用し視線認識用カメラとして Buﬀallo 社の BBT-WC01/SV を使用した図 3 に示すように目の前にカメラを設置しあらかじめ楽譜を見ている場合と鍵盤を見ている場合における目の画像を取得しテンプレートマッチング法により楽譜か鍵盤のどちらを見ているか認識するプロトタイプの視線認識器は 2 種類のテンプレート画像から入力画像を識別するためリアルタイムに確実に鍵盤か楽譜のどちらを見ているか判別できるが例えば鍵盤上にあるどちらの手を見ているか楽譜上のどの音符を見ているかといった細かな認識はできないなお目の前にあるカメラは演奏を妨げないプロジェクタとして BenQ 社の MP776 ST を使用したプロジェクタの鍵盤投影領域は 6 オクターブ (72 鍵) でプロジェクタの映像がよく見えるように黒鍵を白く塗りスクリーンとして鍵盤上部に白いプラスチックの板を設置した PC 上のソフトウェアの開発は Windows 7 上で Microsoft 社の Visual C と Intel 社の OpenCV ライブラリを用いて行った評価実験 6 評価実験では視線チェック機能の有用性を検証するために演奏初期段階 (ピアノ初心者が初見の楽曲に対して運指や打鍵位置を覚えるために練習している段階) における提案システムを用いた際のピアノ演奏に関する習熟の速さを評価した 6.1 実験の手順実験の手順を以下に示す比較対象評価実験では視線チェック機能を適用した場合と適用していない場合についてそれぞれ比較した両手法において視線チェック機能の有無以外は 4 章で説明したコンテンツを全て提示した被験者手法ごとにそれぞれ 3 名ずつ実験してもらったまた一度実験に参加した被験者は他の比

5 A B C D E F W. A. Mozart ( ) ( ) ( ) F 10% (p =0.057) A A D E F B B 1 5 A 5 C C A B

6 WISS [1] C. Lewiston: MaGKeyS: A haptic guidance keyboard system for facilitating sensorimotor training and rehabilitation, PhD Thesis. MIT Media Laboratory, [2] S. Kawamura, M. Ida, T. Wada, and J. Wu: Development of A Virtual Sports Machine Using a Wire Drive System-A Trial of Virtual Tennis, Proceedings of IEEE/SRJ International Conference on Intelligent Robots and Systems, pp , [3] K. Henmi and T. Yoshikawa: Virtual Lesson and Its Application to Virtual Calligraphy System, Proceedings of IEEE International Conference on Robotics and Automation, pp , [4] CASIO lighting/. [5],, :,, Vol. 52, No. 2, pp , [6],, :, 2012, pp , [7] T. Nakano, M. Goto, and Y. Hiraga: MiruSinger: A Singing Skill Visualization Interface Using Real-Time Feedback and Music CD Recordings as Referential Data, Proceedings of IEEE International Symposium on Multimedia Workshops, pp , [8],,,,, :, (Vol.2009-CE-99 No.7), Vol. 2009, No. 7, pp. 1 7, [9] M. Mukai, N. Emura, M. MIURA, and M. Yanagida: Generation of Suitable Phrases for Basic Training to Overcome Weak Points in Playing the Piano, Proceedings of International Congress on Acoustics, MUS , [10] T. Kitamura and M. Miura: Constructing a Support System for Self-learning Playing the Piano at the Beginning Stage, Proceedings of International Conference on Music Perception and Cognition, pp , [11],,, :, 20, pp , [12] H. Miyashita, K. Nishimoto: Thermoscore: A New-type Score with Temperature Sensation, Proceedings of International Conference on New Interface for Musical Expression, pp , [13] J.A. Adams: A Closed Loop Theory of Motor Learning, Journal of Motor Behavior, pp , [14] J. Lave: The Culture of Acquisition and the Practice of Understanding, Cambridge University Press, pp , 1988.

[1] [2] Piano Tutor [3] Piano Tutor Pitno Tutor [1], [4], [5], [6], [7] [8], [9] c 2013 Information Processing Society of Japan 1384

[1] [2] Piano Tutor [3] Piano Tutor Pitno Tutor [1], [4], [5], [6], [7] [8], [9] c 2013 Information Processing Society of Japan 1384 1,a) 2,3,b) 2,c) 2012 6 14, 2013 1 11 Design and Implementation of a Piano Learning Support System Considering Rhythm Learning Yoshinari Takegawa 1,a) Tsutomu Terada 2,3,b) Masahiko Tsukamoto 2,c) Received: