情報処理学会研究報告 IPSJ SIG Technical Report Vol.2011-MUS-89 No /2/12 NMF NMF NMF NMF NMF NMF Matrix Generation Using Probabilistic Spectrum Enve

Size: px

Start display at page:

Download "情報処理学会研究報告 IPSJ SIG Technical Report Vol.2011-MUS-89 No /2/12 NMF NMF NMF NMF NMF NMF Matrix Generation Using Probabilistic Spectrum Enve"

ありみちやなぎしま
4 years ago
Views:

1 NMF NMF NMF NMF NMF NMF Matrix Generation Using Probabilistic Spectrum Envelope for Mixed Music Analysis Toru Nakashika, 1 Tetsuya Takiguchi 2 and Yasuo Ariki 2 NMF (Non-negative Matrix Factorization) based approaches are garnering much attention in musical signal analysis in recent years. These are roughly classified into two approaches: exemplar-based NMF, in which a large number of samples are used for analyzing a signal, and unsupervised NMF, in which signals are analyzed in some constrains without learning any samples beforehand. However, because the former methods require all the possible samples for the analysis, it is hard to build the practical system of the method. The latter approach should cause unintended results because the method is based on mathematical analysis not perceptual coding. In this paper, we propose a novel method of signal analysis by combining NMF and a probabilistic approach. At the beginning, a common spectram envelope to an instrument, called a probabilistic spectrum envelope (PSE), is learned for each categories using a Gaussian-Process-based approach. On the analyzing stage, basis vectors of NMF are randomly generated from the PSE, and the most befitting vectors can be found by combination of unsupervised NMF and Genetic Algorithm. The experimental results indicated that the method is robust against unknown sound sources, and can properly analyze the signals including multiple sources. 1. WWW 1 Graduate School of Engineering, Kobe University 2 Organization of Advanced Science and Technology, Kobe University Subharmonic Summation (SHS) 1) 2) 1

ら楽音推定の中でも最も困難な問題とされている本研究では複数楽器を含むシングルチャンネルのポリフォニー音楽信号から個々の楽音イベント音階強度発音時刻音価楽器ラベルを推定する楽音解析を対象としているこうしたシングルチャンネルにおける多重奏複数楽器混在の混合楽音解析を実現するため観測パワースペクトルを拘束付き GMM でモデル化した音モデ

2 ら楽音推定の中でも最も困難な問題とされている本研究では複数楽器を含むシングルチャンネルのポリフォニー音楽信号から個々の楽音イベント音階強度発音時刻音価楽器ラベルを推定する楽音解析を対象としているこうしたシングルチャンネルにおける多重奏複数楽器混在の混合楽音解析を実現するため観測パワースペクトルを拘束付き GMM でモデル化した音モデルの加重混合とみなして最適解を解く手法3) 観測スペクトルを不特定楽器存在確率と条件付き楽器存在確率の積で表現する手法4) など様々な手法がこれまでに提案されてきた中でも最も有力とされている解析手法の１つとして非負値行列因子分解 (Nonnegative matrix factorization; NMF) を用いた手法がある5) 8) これは音響信号の振幅スペクトログラムを一つの行列とみなして NMF を実行することでこの行列を音源固有の情報スペクトルを表す基底行列とその基底の時間的なゲイン変動を表すアクティビティ行列の積に分解する手法である得られた２つの行列からそれぞれ音階情報時間情報発音時刻音価強度を求めることができこれにより楽音イベントが推定可能である NMF を用いたシングルチャンネル楽音解析は大別して教師なしのアプローチ教師ありのアプローチに分けることができる前者の教師なしアプローチ5),6) では音源の構造を仮定せずに拘束条件のみを用いて機械的に基底行列とアクティビティ行列の分解を行うそのため本来意図しない基底やアクティビティが表れてしまい解析精度の低下に繋がる一方教師あり NMF を用いた手法ではイベント特定楽器の特定音階ごとの音響信号からそれぞれのスペクトルテンプレートを学習しておきそのテンプレートに基づいて解析を行う7),8) こうした教師ありのアプローチでは比較的高速かつ高精度な結果が得られているしかしながらこれから解析を行う信号の中に未学習のイベントが含まれていれば解析精度が落ちてしまうという問題点がある解析精度を高めるためには非常に膨大なテンプレートを用意し学習させなければならないが可能な限りの全てのイベントを収集するのは現実的に極めて困難であるそこで本研究では全てのイベントのスペクトルテンプレートを用意するのではなく特定のイベントを集約したカテゴリ楽器カテゴリごとに確率的なスペクトルのテンプレートを学習しておきこのテンプレートに従ったスペクトルをランダムに生成することで未知イベントに対応した教師あり NMF による信号解析手法を提案するここで確率的なテンプレートのことを確率スペクトル包絡 Probabilistic Spectrum Envelope; PSE と呼び周波数-強度平面上の平均曲線と分散曲線で表現されるスペクトル包絡のことを指すこの平均曲線と分散曲線は楽器カテゴリによって特徴付けられたものすなわち楽器カテゴリによって唯一定まるものである提案手法は楽器カテゴリごとの確率スペクトル包絡を求める学習ステップ確率スペクトル包絡に基づいてランダムに基底集合を生成しテストデータの楽音を解析する解析ステップの２つに分けることができる本研究では確率スペクトル包絡の学習にガウシアンプロセスを拡張した SPGP+HS9) と教師なし NMF をテストデータの解析に遺伝アルゴリズムと教師あり NMF を用いる 2. 提案手法の概要 (b) PSE of Violin Amplitude Amplitude (a) PSE of Piano Frequency [Hz] Frequency [Hz] 図1 確率スペクトル包絡の例左がピアノ右がヴァイオリンの確率スペクトル包絡である赤色は確率値が高く青色は確率値が小さいことを示している黒線は平均曲線その上下の白線は平均曲線 ± 分散曲線をプロットしたもの Fig. 1 Examples of probabilistic spectrum envelope; the left is Piano and the right is Violin. Red and blue color in the ﬁgure indicate the large and small value of probability, respectively. Black line is mean contour, and white lines are mean contour plus and minus variance contour. 2.1 確率スペクトル包絡楽音解析楽器音分離に関する従来研究の多くは楽器音の各倍音の強度比率調波構造は音高によらず一定であると仮定して楽器音を特徴付けていた3),10) しかしながら実際の楽器音は音高によって少なからず調波構造が異なっておりこの仮定が推定精度を低下させる要因となるそこで本研究では楽器音をより適切に特徴付けるため１つの楽器カテゴリには１つの確率的なスペクトル包絡確率スペクトル包絡が存在し楽器カテゴリに属する楽器は全てその共通の確率的スペクトル包絡を１つ持つと仮定する確率スペクトル包絡は図 1 に示すように平均曲線と分散曲線で表される確率的なスペクトル包絡である包絡線の導入により楽器音の調波構造は音高によって形を変えることができるこのときある音高に対する調波構造は一定ではなく分散値によって変化するこの揺らぎが楽器を識別する特徴の１つであると考えるまたこの仮定により Piano 楽器カ Information Processing Society of Japan

3 Training signals STFT unsupervised NMF SPGP+HS PSEs Test signal STFT supervised NMF + Genetic Algorithm Separated sources 2 Fig. 2 Modeling of probabilistic spectrum envelopes and analyzing a mixed music signal using them (Piano1) Piano (Piano2 Piano3 ) NMF NMF NMF NMF SPGP+HS 9) SPGP+HS NMF NMF f z V ( R F T ) NMF V WH (1) i, j, k, W ij 0, H jk 0 (2) V 2 W ( R F R ) H ( R R T ) R NMF NMF 11) (2) D EUC (V, WH) = (V WH) 2 W H (VH T ) ij W ij W ij (3) (WHH T ) ij (W T V) jk H jk H jk (4) (W T WH) jk X ij X i, j (3),(4) W H 3

4 3.2 SPGP+HS W W = [w 1 (f) w 2 (f) w R (f)] r (= 1,, R) w r (f) f r 12) h (= 1,, H r ) w r (f) h (f hr, y hr ) H r w r(f) f hr = h f r y hr = w r (h f r ) N = r H r (f, y) = {(f hr, y hr )} h,r = {(f n, y n)} n 1 SPGP+HS 9) µ f σ f µ f = K ffm Q 1 K fmf n (Λ + σ 2 λi) 1 y (5) σ f = K ff K ffm QKfmf + σ 2 λ (6) Q = K fmf m + K f m f n (Λ + σλi) 2 1 K fn f m + diag(h) Q = (K fm f m + diag(h)) 1 Q 1 Λ = diag(k fn f n K fn f m K 1 m K fm f n ) K ab (a, b) θ f = { f m } M m=1 f M N h m h f m σλ, 2 θ, f SPGP+HS 9) (5),(6) µ(f) σ(f) c µ c f σf c E c (f; µ c f, σf c ) c = 1 C C E(f, y; µ f, σ f ) e(f) e(f) N (µ f, σ f ) (7) N (µ, σ) µ σ e(f) ν p(f) p(f) = max ( e(f), 0 ) Ψ(f; ν) (8) (8) Ψ(f; ν) ν (9) { } (f ν l)2 Ψ(f; ν) = exp (9) 2λ 2 0 l l λ 0 c ν 4.2 NMF 4.1 W X W NMF H 1. H = ( 1 WT W) WT X 2. H H R+ = {x, x [0, )} H 3. H jk H jk H 2 W H W H X Θ( W, H) Θ( W, H) 1 = (10) D EUC(X, W H) W 1. H 2. H ( W, H) W H D EUC(X, W H) (10) W

5 1 Table 1 The meanings of keywords of Genetic Algorithm in the proposed method. W { W l } L l=1 w(f) D EUC (X, W H) L (10) G p cross 3. p mut L q l = W l q l Θ( W l, H l ) L Θ( W l=1 l, H (11) l ) p cross, p mut p cross + p mut = 1 p cross = 0.9, p mut = λ mut λ mut = 0.9) Ŵ Ĥ Ŵ c c Ŵ Ĥ C1 B (R = 72, N = 2705) MIDI (Piano1) RWC 1 RWC-MDB- C-2001 No. 43: Sicilienne op.78 MIDI (a) Piano1 (b) Piano2 (c) Piano3 (d) 40 (e) 100 Piano2 Piano3 Piano1 MIDI L = 5 G = 20 (1) NMF(Piano1 ) (s-nmf) (2) NMF (us-nmf) (3) NMF( ) (ex. s-nmf) 3 acc[%] acc = N all (N ins +N del ) N all 100 N all, N ins, N del τ τ = 0.2 [sec.] Piano1 NMF Piano1 Piano2 Piano3 NMF Piano

Note Note NMF 100 90 80 70 60 (a) (b) (c) (d) (e) Fig. 3 3 Accuracy rates of each method. proposed s-nmf us-nmf ex. s-nmf 5.2 4 (c) ( ) ( ) MIDI 4 (a), (b) G = 500 500 NMF 5),6) 6.

1, (a) Beginning of H (g=1) (b) Adapted H (g=500) E3 G#2 C2 0 2 4 6 8 10 12 14 16 18 20 Time [sec.] E3 G#2 (c) Original piano-roll Fig. 4 C2 0 2 4 6 8 10 12 14 16 18 20 Time [sec.

6 Note Note NMF (a) (b) (c) (d) (e) Fig. 3 3 Accuracy rates of each method. proposed s-nmf us-nmf ex. s-nmf (c) ( ) ( ) MIDI 4 (a), (b) G = NMF 5),6) 6. SPGP+HS 1) Hermes, D.: Journal of the Acoustical Society of America, Vol.83, No.1, pp (1988). 2) Rabiner, L.: Acoustics, Speech and Signal Processing, IEEE Transactions on, Vol.25, No.1, (a) Beginning of H (g=1) (b) Adapted H (g=500) E3 G#2 C Time [sec.] E3 G#2 (c) Original piano-roll Fig. 4 C Time [sec.] Violin Piano Violin Piano Violin Piano 4 Results of the case with multiple instruments. pp (2003). 3) Miyamoto, K., Kameoka, H., Nishimoto, T., Ono, N. and Sagayama, S.: Acoustics, Speech and Signal Processing, ICASSP IEEE International Conference on, IEEE, pp (2008). 4) Kitahara, T., Goto, M., Komatani, K., Ogata, T. and Okuno, H.: Information and Media Technologies, Vol.2, No.1, pp (2007). 5) Smaragdis, P. and Brown, J. C.: In IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, pp (2003). 6) Virtanen, T.: Audio, Speech, and Language Processing, IEEE Transactions on, Vol. 15, No.3, pp (2007). 7) Schmidt, M. N. and Olsson, R. K.: Singlechannel speech separation using sparse nonnegative matrix factorization, In International Conference on Spoken Language Processing (INTERSPEECH) (2006). 8) Cont, A., Dubnov, S. and Wessel, D.: Proceedings of Digital Audio Effects Conference (DAFx), pp (2007). 9) Snelson, E. and Ghahramani, Z.: Proceedings of the 22nd International Conference on Uncertainty in Artificial Intelligence, Citeseer (2006). 10) Saito, S., Kameoka, H., Takahashi, K., Nishimoto, T. and Sagayama, S.: Audio, Speech, and Language Processing, IEEE Transactions on, Vol.16, No.3, pp (2008). 11) Lee, D. and Seung, H.: Advances in neural information processing systems, Vol.13 (2001). 12) Huang, X., Acero, A. and Hon, H.: Prentice Hall PTR Upper Saddle River, NJ, USA (2001). 6

IPSJ SIG Technical Report Vol.2014-MUS-104 No /8/27 F0 1,a) 1,b) 1,c) 2,d) (F0) F0 F0 Graphical User Interface (GUI) F0 1. [1] CD MIDI [2] [3,

IPSJ SIG Technical Report Vol.2014-MUS-104 No /8/27 F0 1,a) 1,b) 1,c) 2,d) (F0) F0 F0 Graphical User Interface (GUI) F0 1. [1] CD MIDI [2] [3, F,a),b),c) 2,d) (F) F F Graphical User Interface (GUI) F. [] CD MIDI [2] [3, 4] [5] 2 a) ikemiya@kuis.kyoto-u.ac.jp b) itoyama@kuis.kyoto-u.ac.jp c) yoshii@kuis.kyoto-u.ac.jp d) okuno@aoni.waseda.jp TANDEM-STRAIGHT