[1] [2] Piano Tutor [3] Piano Tutor Pitno Tutor [1], [4], [5], [6], [7] [8], [9] c 2013 Information Processing Society of Japan 1384

Size: px

Start display at page:

Download "[1] [2] Piano Tutor [3] Piano Tutor Pitno Tutor [1], [4], [5], [6], [7] [8], [9] c 2013 Information Processing Society of Japan 1384"

なおほがり
5 years ago
Views:

1 1,a) 2,3,b) 2,c) , Design and Implementation of a Piano Learning Support System Considering Rhythm Learning Yoshinari Takegawa 1,a) Tsutomu Terada 2,3,b) Masahiko Tsukamoto 2,c) Received: June 14, 2012, Accepted: January 11, 2013 Abstract: Playing the piano requires various kinds of techniques such as correct keying, fingering and rhythm. Our research group has developed a piano learning system to support correct keying and fingering for beginners. However, the system does not account for the difficulties of learning rhythm. Rhythm consists of various kinds of notes and rests, and it is difficult for beginners, who are not used to reading a score, to understand the different duration of each note and rest. Moreover, there are piano roll scores, which describe timing of keying and releasing clearly, but which do not teach player how to read musical staff. Therefore, the goal of our study is to construct a piano learning support system that has a rhythm check function. We discuss methods to indicate information for piano performance such as rhythm information effectively while teaching how to read musical staffs. We have developed a prototype system, and evaluated its effectiveness by actual use of the system. Keywords: piano, rhythm, learning support, projector 1 Future University Hakodate, Hakodate, Hokkaido , Japan 2 Kobe University, Kobe, Hyogo , Japan 3 PRESTO, Japan Science and Technology Agency, Chiyoda, Tokyo , Japan a) yoshi@fun.ac.jp b) tsutomu@eedept.kobe-u.ac.jp c) tuka@kobe-u.ac.jp c 2013 Information Processing Society of Japan 1383

2 [1] [2] Piano Tutor [3] Piano Tutor Pitno Tutor [1], [4], [5], [6], [7] [8], [9] c 2013 Information Processing Society of Japan 1384

3 Fig. 1 1 System structure (left picture) and presented contents (right picture) of the conventional system. [10], [11], [12], [13], [14] [15] [16], [17] Radiobaton [18] [19] EZ-AG [20] EZ-TP [21] i) 3.3 ii) 3.3 iii) 3.3 iv) v) [1] [2] 1 (1) (2) (3) CASIO c 2013 Information Processing Society of Japan 1385

情報処理学会論文誌 Vol.54 No.4 1383 1392 (Apr. 2013) 図 2 提案システムのシステム構成左図および提示コンテンツ右図 Fig.

線譜の音符や休符上に音符や休符の長さに対応する横線を重畳し各音符の音長を直観的に理解できるようにする図 3 (a) また打鍵するにつれ横線の色が青色から黄色に変化し図 3 (b) 学習者は直観的

3 Examples of presented duration for musical notations.

[4] の方式を比較対象とし演奏支援情報を更新せず現在弾いている箇所に対応て使った評価実験では提案した学習支援システムは光るする音符の演奏支援情報を再提示することで学習者鍵盤と比較して打鍵ミス数が約 0.

2 システム構成提案システムの構成を図 2 に示す提案システムはテンポを制御するために足ペダルを演奏支援情報を視覚的者の習熟度によって変化するため学習者が自由に設定できるようにする iii) メトロノーム

メトロノーム機能を持たせテンポをできるシステムはペダル情報 MIDI 情報打鍵位置意識しながら学習できるようにする図 2 に示すようや打鍵強度を入力とするにメトロノームを起動したときにメトロノームの

3 提示コンテンツ図 2 を用いて提案する演奏支援情報について説明する iv) 足ペダルによるメトロノーム速度調節機能楽曲中には難しい箇所や簡単に演奏できる箇所といったようシステムは正しい鍵を適切なタイミングで打鍵および離鍵

4 情報処理学会論文誌 Vol.54 No (Apr. 2013) 図 2 提案システムのシステム構成左図および提示コンテンツ右図 Fig. 2 System structure (left picture) and presented contents (right picture) of the proposed system. 線譜の音符や休符上に音符や休符の長さに対応する横線を重畳し各音符の音長を直観的に理解できるようにする図 3 (a) また打鍵するにつれ横線の色が青色から黄色に変化し図 3 (b) 学習者は直観的に残りの打鍵維持時間を理解できるまた指示された時間以上に打鍵した場合は横線が赤色に変化し図 3 (c) オーバした時間だけ赤色の横線が水平方向に伸びるようなインタラクティブ機能を持つ図 3 音長重畳機能の例 Fig. 3 Examples of presented duration for musical notations. ii) リズムチェック機能適切な分だけ打鍵維持したか不要な停滞はなかったか同時に打鍵できているかといった打鍵および離鍵タイミングをチェックする機能を持つこれらの誤りを検出した場合システムは社などから販売されている楽器 [4] の方式を比較対象とし演奏支援情報を更新せず現在弾いている箇所に対応て使った評価実験では提案した学習支援システムは光るする音符の演奏支援情報を再提示することで学習者鍵盤と比較して打鍵ミス数が約 0.08 倍運指ミス数が約に誤りを認識させ正しい演奏を身につけられるよう 0.02 倍に減少して高い有用性を検証できたにするなお同時打鍵におけるタイミングのずれなどこれらの許容時間に関してはテンポ楽曲学習 3.2 システム構成提案システムの構成を図 2 に示す提案システムはテンポを制御するために足ペダルを演奏支援情報を視覚的者の習熟度によって変化するため学習者が自由に設定できるようにする iii) メトロノームテンポにより各音符の音長が相対的にに提示するためにプロジェクタを利用するプロジェクタ変化するためテンポの意識は重要であるそこでを利用することで鍵盤上や鍵盤付近に演奏支援情報を投影提案システムはメトロノーム機能を持たせテンポをできるシステムはペダル情報 MIDI 情報打鍵位置意識しながら学習できるようにする図 2 に示すようや打鍵強度を入力とするにメトロノームを起動したときにメトロノームの速度や拍数を設定するアイコンが表示され設定できる 3.3 提示コンテンツ図 2 を用いて提案する演奏支援情報について説明する iv) 足ペダルによるメトロノーム速度調節機能楽曲中には難しい箇所や簡単に演奏できる箇所といったようシステムは正しい鍵を適切なタイミングで打鍵および離鍵に難易度の異なる箇所が存在する難しい箇所を訓練したときのみ演奏支援情報を更新する図中の番号は以する場合最初はゆっくりなテンポで訓練し少しずつ下の箇条書き番号に対応しているテンポを速めていくといった練習をしたり逆に簡 i) 五線譜への音長重畳機能楽曲は長さの異なるさまざま単な箇所は難しい箇所で弾いていたゆっくりなテンな音符や休符から構成され初心者にとって各音符ポにわざわざあわせるのではなく楽曲に指示されてや休符が持つ時間を理解することは重要であるそこいるテンポで訓練したりしたいと思うしたがってで提案システムは図 2 や図 3 に示すように五テンポ速度を柔軟に制御できればより効率的に訓練で c 2013 Information Processing Society of Japan 1386

これにより初学者図 4 ピアノロール譜の例 Fig. 4 An example of a piano roll. は自分の好きなタイミングで演奏を始めることがで表 1 きメトロノームのタイミングに合わせる時間の削減や精神的な負荷を軽減できる適用した機能 Table 1 The applicable functions.

5 情報処理学会論文誌 Vol.54 No (Apr. 2013) きるそこで本研究ではメトロノームのテンポをコントロールするための足ペダルを用意しペダルを踏み込むとテンポが速くなる機能を提供する v) 演奏に動的にあわせるメトロノーム機能訓練中は何度も停滞が生じてしまうまたメトロノームに慣れていない初学者はメトロノームのタイミングに合わせることが難しいそこでメトロノームの開始点を演奏に合わせる機能を提案するこれにより初学者図 4 ピアノロール譜の例 Fig. 4 An example of a piano roll. は自分の好きなタイミングで演奏を始めることがで表 1 きメトロノームのタイミングに合わせる時間の削減や精神的な負荷を軽減できる適用した機能 Table 1 The applicable functions. vi) 鍵盤上への打鍵位置および運指の提示打鍵情報は提案ピアノ支援手法ロール譜なし五線譜への音長重畳機能リズムチェック機能メトロノーム足ペダルによるメトロキューポイント選択機能ピアノロール譜提示機能次に打鍵する鍵の輪郭を囲むことで示すまた運指情報は運指番号親指から小指にかけて 1 から 5 の番号がそれぞれ割り当てられているごとに対応している輪郭の色や鍵上に運指番号を提示することで示す打鍵位置や運指が鍵盤上に直接提示されているたノーム速度調節機能め五線譜から打鍵位置や運指を読み取ることが難し演奏に動的にあわせるく打鍵する位置や運指が理解できていない新しい楽メトロノーム機能曲を練習し始めの段階において効率的に学習できる鍵盤上への打鍵位置 vii) キューポイント選択機能楽譜上に表示されている番号付きの黒塗りの四角形この例では 2 は演奏の開始点を変更するキューポイントであるこれは学習者が集中的に練習したい場合や途中から演奏したい場合に有効である viii) 各種機能 On/Oﬀ 切替え上記で述べた各種機能の On/Oﬀ を切り替えるアイコンを演奏で使用しない鍵の鍵盤上に用意しユーザが選択的に利用できるようにする 4. 実装 3 章で述べた学習支援システムのプロトタイプを実装しおよび運指の提示よびリズムミス数をもとに評価した 5.1 実験の手順実験の手順を以下に示す比較対象本研究では提案するリズム支援機能の有効性を検証するためにピアノロール譜を用いた場合提案するリズム支援を利用しない場合について比較したピアノロール譜図 4 は音長を直観的に理解できる譜面でた PC は SONY 社の VPCSA を使用したまた MIDI キーボードマニア [22] のような表示形態をとっており演鍵盤として CASIO 社の PriviA PX-110 を使用しメトロ奏する順に画面上部から下部へ向かって矩形が降りてきてノームのテンポを制御するために Roland 社の EV-7 を使最下部にまで落ちたときが打鍵するタイミングであるま用したプロジェクタとして BenQ 社の MP776 ST を使た矩形の長さは音長を運指に割り当てられた色で矩形用したなおプロジェクタの鍵盤投影領域は 6 オクターが囲まれており矩形中の番号は運指番号を示すブ 72 鍵でプロジェクタの映像がよく見えるように表 1 に各比較対象において適用させた機能を示す黒鍵を白く塗りスクリーンとして鍵盤上部に白いプラスピアノロール譜が表示されている場合でもつねにピチックの板を設置した PC 上のソフトウェアの開発はアノロール譜の上部に五線譜は表示されており容易にピ Windows 7 上で Microsoft 社の Visual C と Intel アノロール譜および五線譜を見られる状態にあるまた社の OpenCV ライブラリを用いて行ったリズムチェック機能を使用している提案手法では正しい 5. 評価打鍵および離鍵タイミングで正しい鍵を弾いたときのみ次の演奏支援情報を提示する一方ピアノロール譜および評価実験では演奏初期段階ピアノ初心者が初見の楽リズム支援なしにおいては正しい鍵を打鍵すれば次に遷曲に対して運指や打鍵位置リズムを覚えるために練習し移するデフォルトのメトロノームのテンポはクリックている段階における提案システムを用いた際のピアノ演の間隔を 0.6 sec 4 分音符=12.5 bpm Beats Per Minute 奏に関する習熟の速さをシステム使用後の打鍵ミス数おとした 16 分音符 1 個分に 2 クリックとしたなお 16 c 2013 Information Processing Society of Japan 1387

6 3 9 1 W.A. Mozart K sec Fig. 5 The measurement of incorrect keying, non-keying, and extra keying (a) 5(b) 5(c) 6(a) (c) (d) (e) (f) ±0.3sec 6(e) 0.6 sec 6(b) (f) 0.6 sec 5(a) 5(b) 5(c1) (c2) Fig. 6 6 The measurement of extra rest and incorrect holding time. c 2013 Information Processing Society of Japan 1388

7 Table 2 2 The number of keying and rhythm errors Table 3 3 p P value for each method based on the number of keying and rhythm errors ** ** * * * ** ** ** * *: 10% **: 5% 6(a) (b) 1 6(c) 1 6(d) 6(c) 6(e) 6(f) t p 3 1 1/4 2 10% 5% c 2013 Information Processing Society of Japan 1389

8 c 2013 Information Processing Society of Japan 1390

B 21700198 A 20240009 [1] Vol.52, No.2, pp.917 927 (2011). [2] Vol.23, No.4, pp.51 59 (2006). [3] Dannenberg, R.B., Sanchez, M., Joseph, A., Capell, P., Joseph, R. and Saul, R.

9 B A [1] Vol.52, No.2, pp (2011). [2] Vol.23, No.4, pp (2006). [3] Dannenberg, R.B., Sanchez, M., Joseph, A., Capell, P., Joseph, R. and Saul, R.: A Computer-Based Multi- Media Tutor for Beginning Piano Students, Journal of New Music Research, Vol.19, No.2-3, pp (1990). [4] CASIO casio.jp/emi/key lighting/. [5] EZ-J210 yamaha.co.jp/product/piano-keyboard/ez-j210/index. html. [6] kawai.co.jp/cmusic/products/pm/index.htm. [7] The Phantom of the Piano Vol.2006, No.4, pp (2006). [8] Lewiston, C.: MaGKeyS: A haptic guidance keyboard system for facilitating sensorimotor training and rehabilitation, Ph.D. Thesis. MIT Media Laboratory (2008). [9] Grindlay, G.: Haptic Guidance Benefits Musical Motor Learning, Proc Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, pp (2008). [10] 2007-MUS-71 Vol.2007, No.81, pp (2007). [11] MA , pp (2008). [12] 18 pp (2006). [13] MA , pp (2007). [14] 2008 pp (2008). [15] 20 pp (2008). [16] Smoliar, S., Waterworth, J. and Kellock, P.: pianoforte: A System for Piano Education Beyond Notation Literacy, Proc. 3rd ACM International Conference on Multimedia, pp (1995). [17] Vol.8, pp (2004). [18] Boulanger, R. and Mathews, M.: The 1997 Mathews Radio-Baton and improvisation modes, Proc. International Computer Music Conference 1997, pp (1997). [19] SCEI playstation.com/scej/title/bravo/index.html. [20] EZ-AG co.jp/ez/product/ez-ag/index.php. [21] EZ-TP co.jp/ez/product/ez-tp/index.php. [22] jp/am/keyboard/ CrestMuse MIT Media Lab. c 2013 Information Processing Society of Japan 1391

10 IEEE ACM IEEE 8 c 2013 Information Processing Society of Japan 1392

( ) [1] [4] ( ) 2. [5] [6] Piano Tutor[7] [1], [2], [8], [9] Radiobaton[10] Two Finger Piano[11] Coloring-in Piano[12] ism[13] MIDI MIDI 1 Fig. 1 Syst

( ) [1] [4] ( ) 2. [5] [6] Piano Tutor[7] [1], [2], [8], [9] Radiobaton[10] Two Finger Piano[11] Coloring-in Piano[12] ism[13] MIDI MIDI 1 Fig. 1 Syst 情報処理学会インタラクション 2015 IPSJ Interaction 2015 15INT014 2015/3/7 1,a) 1,b) 1,c) Design and Implementation of a Piano Learning Support System Considering Motivation Fukuya Yuto 1,a) Takegawa Yoshinari 1,b) Yanagi