図 1: HPSS の処理の手順 HPSS では信号 s(t) をフレーム長 lk で STFT して得られる振幅スペクトログラム S 上でスペクトログラムを H, P に分離し逆 STFT することにより定常狭帯域的成分 h(t) と非定常広帯域的成分 p(t) とを分離する調波打楽

Size: px

Start display at page:

Download "図 1: HPSS の処理の手順 HPSS では信号 s(t) をフレーム長 lk で STFT して得られる振幅スペクトログラム S 上でスペクトログラムを H, P に分離し逆 STFT することにより定常狭帯域的成分 h(t) と非定常広帯域的成分 p(t) とを分離する調波打楽"

るるみたみや
5 years ago
Views:

1 第回信号処理シンポジウム 1年11月日日(奈良) 複数スペクトログラムに基づく信号の変動スペクトル表現とそれに基づく信号の新しい分析分離手法の検討 Multi-spectrogram-based Fluctuation Representation of Signal and Its Application to New Signal Analysis and Separation 橘秀幸小野順貴嵯峨山茂樹東京大学大学院情報理工学系研究科 Hideyuki TACHIBANA Nobutaka ONO Shigeki SAGAYAMA Graduate School of Information Science and Technology, The University of Tokyo. アブストラクト本研究ではスペクトログラム解像度表現という新しい信号の分解表現とそれに基づく音響信処理に関しては様々なフレーム長時間周波数分解能によるスペクトログラム表現の利点と欠点を補い合うこ号の分析加工手法について報告する我々はこれまでとにより通常の離散フーリエ変換よりも高精度でピッチスペクトログラムを縦方向成分横方向成分に分離するなどの情報を推定することなどが検討されておりそのことにより信号を定常狭帯域成分と非定常広帯域一例として音楽中のメロディのピッチ情報を複数フレー成分に分離する HPSS という手法を研究開発してきたム長の離散フーリエ変換により高精度で求めることを検本手法では HPSS を複数のフレーム長での分析により得られたスペクトログラムに対し適用することにより任意の信号を定常狭帯域成分から非定常広帯域成分に段階的に分離する本手法により時間領域周波数領域とも異なる新たな信号分解表現が得られ音楽信号と音声信号を分離するような処理が可能になることを示す 1 討した研究 [] などが挙げられる本研究においては信号を変動ごとに分離する手法の新しい枠組みとして分離性能がスペクトログラムの分解能に依存する信号分離手法を様々な分解能のスペクトログラム上で適用することにより信号の変動に関するある種のフィルタバンクを構成することを考えるこのとき定常狭帯域成分と非定常広帯域成分とを分離はじめに様々な時変な成分が混合する音響信号においてこれらの各成分の変動の大きさにはしばしば重要な意味があるこのため信号の各成分を変動の大きさごとに分離分析加工する技術が重要と考えられる本研究では信号を定常狭帯域的成分と非定常広帯域的成分とに分離する手法である調波打楽器音分離 (Harmonic and Percussive Sound Separation, HPSS) [] を複数のフレーム長でのスペクトログラム上で多重的に用いることにより音響信号を変動の大きさごとに分離する手法を提案するする手法である HPSS において定常狭帯域性と非定常広帯域性は相対的なものであり基準とする尺度によって同じ音が定常狭帯域とも非定常広帯域とも見なされうることに着目し様々な方法で分離した際の信号を適当に組み合わせることにより信号の時間変動の大きさに概ね基づく分離について検討する実際著者らはこれまでの研究において HPSS を段階に用いることにより歌声にほぼ相当する成分を強調/抑圧する手法を提案している [] 本論文では HPSS を段階で適用する枠組みをさらに信号の時間変動の大きさに応じた分析分離に関しては拡張しさらに多くの条件での HPSS によって信号をより特に音声認識における音声の変調の周波数の重要性が指摘細かく分解する方法を提案するまたこれにより変動のされており [1] 変調スペクトル (modulation spectrum) 大きさと概ね対応するパラメータを持った分離信号が得る上での音声強調などの処理が提案されているその例としことおよびそのパラメータを用いることによって周波て 1 1 Hz 程度の変調成分を強調する特性をもつフィ数表現や時間周波数表現などとは異なる新しい信号の表ルタである RelAtive SpecTrAl processing (RASTA)[] 現が可能となることを示すまたその信号表現を用いるや 3 Hz 程度の変調成分を強調する特性をもつ Mel- ことにより従来の周波数領域や時間周波数領域での処理 cepstrum Modulation Spectrum (MCMS)[3] などを挙げることができるまた複数のフレーム長を用いた信号と同様の要領で従来とは異なった信号の分析分離ができることを示すまた実際に分析分離した例を示す

2 図 1: HPSS の処理の手順 HPSS では信号 s(t) をフレーム長 lk で STFT して得られる振幅スペクトログラム S 上でスペクトログラムを H, P に分離し逆 STFT することにより定常狭帯域的成分 h(t) と非定常広帯域的成分 p(t) とを分離する調波打楽器音分離 (HPSS) の概要調波打楽器音分離 (HPSS) では信号 s(t) を定常的狭帯域的な成分 h(t) と非定常的広帯域的な成分 p(t) との和すなわち s(t) = h(t) + p(t) 短時間フーリエ変換 (STFT) スペクトログラム表現 H = {Ht,ω }1 t<t,1 ω<ω, P = {Pt,ω }1 t<t,1 ω<ω の振幅の時間方向および周波数方向への滑らかさに着目しそれに基づいて h(t) の定常狭帯域性と p(t) の非定常広帯域性を評価しそれを最適化することによって両者を分離する具体的には与えられたスペクトログラムを S とした J(H, P) = T 1 Ω 1 ( Ht+1,ω Ht,ω ) σ ω=1 1 トログラム上における HPSS の適用によって s(t) は n 通りに分離され n 個の成分 {hk (t), pk (t)}1 k n が得られるこのうち n 1 個は残りの n + 1 に従属であるこれら n + 1 個の信号を線形変換することにより {xk (t)}1 k n+1 が得られるこのときこれらの和は原信号 s(t) に一致する (1) として表わすことを考える HPSS では h(t) と p(t) のとき次のような目的関数図 : n 種の異なるフレーム長により得られた n 種の異なるスペクペクトログラムを用いたウィーナーマスキングにより複素スペクトログラム H, P を以下のように推定する Ht,ω := Ht,ω St,ω Ht,ω + Pt,ω () Pt,ω := Pt,ω St,ω. Ht,ω + Pt,ω () またこれらを逆短時間フーリエ変換することにより h(t), p(t) を得ることができる図変動スペクトルと時間-変動表現複数の STFT 上での HPSS に基づく信号分離 HPSS ではスペクトログラム上の隣接 bin との差分情報を用いることにより信号を分離しているが STFT に T Ω 1 1 おいては様々なフレームの取り方が可能でありそのそ + ( Pt,ω+1 Pt,ω ) σ t=1 ω=1 れぞれによって HPSS の分離結果は異なったものになる T Ω 特に重要な要素のひとつが STFT におけるフレーム + I St,ω, Ht,ω + Pt,ω () 長であり HPSS の分離結果は STFT のフレーム長に依 t=1 ω=1 存する例えば歌声のようにピッチがありかつゆらぎのを最小化することにより H, P を求めるただしある音は十分短いフレームで観測すれば定常狭帯域 n o y I(y, x) = y log y + x (3) 的であるが十分長いフレームで観測すれば非定常的で x ありまた変調の効果によりスペクトログラムは広帯域とするここで目的関数の第 1 項はスペクトログラムとなるすなわち歌声信号は短いフレーム長の STFT H の時間方向への滑らかさに関するコスト関数となって領域上では h(t) へ長いフレーム長の STFT 領域上ではいる同様に第項はスペクトログラム P の周波数方向 p(t) へそれぞれ分離されやすい [] への滑らかさに関するコスト関数となっているまた第一般に信号 s(t) に対して異なった n 通りのフレー 3 項はスペクトログラム S と H + P の隔たりに関するコム長 l1 < < ln のそれぞれの STFT 領域上で HPSS スト関数であり I-ダイバージェンスにより評価されるを適用することにより n 通りの異なった分離信号が得ら HPSS では目的関数 (式 ) を EM アルゴリズムに類れ信号の n 次元表現似した技法により導かれる更新式を反復することにより [h1 (t) p1 (t) hn (t) pn (t)]t () 最小化しスペクトログラム S を定常狭帯域な H と非定常広帯域な P に分離しこれにより得られた振幅スが得られる t=1-17 -

3 ところで HPSS では pk (t) が決まれば同時に hk (t) も決と同様の要領で信号の分析分離に利用することができまるからこのような n 次元の表現は冗長であるすなると考えられるすなわち変動スペクトル領域上ではわち {hk (t)}1 k n は全て s(t) と {pk (t)}1 k n から求通常の周波数領域上での信号処理手法と同様に例えばめることができるから n + 1 次元の情報バンドパスフィルタと類似した方法により信号に含ま p(t) := [p1 (t) p (t) pn (t) s(t)]t (7) れる特定の変動成分のみを強調するように信号を加工するような処理ができると考えられるで十分であるさらにフレーム長 lk の STFT 領域上他の例として変動スペクトルが時間情報を失っていで P 的である成分はそれよりも長いフレーム長 lk+1 のるという欠点を補うために適当な窓関数 w(t) により信 STFT 領域上でも P 的である可能性が高いと考えられることから両者の P 的成分同士の差分 {pk+1 (t) pk (t)} がより本質的な情報であると考えられるすなわち p(t) を次のように変換することにより得られる差分情報 x(t) がより本質的であると考えられる図 x1 (t) x(t) =. = () p(t) xn+1 (t) 1 1 号を時間局在化した変動スペクトル表現 Z t,k = {xk (τ )w(t τ )} dτ なおこのとき x(t) の各成分の和は原信号 s(t) に一致す強く現れているのかを分析できるのと同様に時間-変動るすなわち s(t) = n+1 (1) を考えることもできる本論文ではこれを信号の時間-変動表現と呼ぶこととするこれは短時間フーリエ変換による時間 (t)-周波数 (ω) 表現 Z jωτ t,ω = x(τ )wt (t τ )e dτ (13) と同様の要領で信号を扱うことができると考えられるこれにより時間-周波数領域上でどの時刻にどの周波数が領域上ではどの時刻でどの変動成分が強く現れているか xk (t). (9) k=1 これにより x(t) は s(t) を分解した表現になっているを分析することができると考えられる変動スペクトルと時間-変動表現に基づく信号の分析分離実験このとき x(t) の各成分 {xk (t)} は概ね lk 程度のスケールで変動している成分であると考えることができるこれ.1 実験条件はいま仮にフレーム長 lm1 のスケールにおいて P 的な成前節にて示した信号の変動スペクトル表現の信号の分は全てフレーム長 lm (> lm1 ) のスケールにおいても P 分析分析に用いる領域としての妥当性やこれらの音的であると仮定できるとすると xm (t) = pm (t) pm 1 (t) 響特徴量としての妥当性を検証するため実際の音響信より xm (t) にはフレーム長 lm 1 以下では P 的ではな号に対して本手法により変動スペクトルと時間-変動表現くすなわち H 的でありフレーム長 lm で初めて P 的を求め信号を表示分析分離する実験を行ったとなるような成分が抽出されていることになるためであ実験には新聞記事読み上げ音声コーパス JNAS [7] るそこで以下では x(t) の各成分の添え字変数を k で RWC 研究用音楽データベース [] および建築と環境のサウンドライブラリ (SMILE)[9] より数データを抜粋して使用したいずれも簡単のためサンプリング周波数 khz でリサンプリングし両チャンネルを加算してモノラル信号として用いたまたいずれの信号もフレーム長が長い場合の HPSS を行うにあたって十分な長さ 1 秒程度になるように元データの長さが短い場合は適当な回数だけ繰り返すように編集した STFT のフレーム長は lk = k [samples] (1 k ), すなわち 1,, 13 [samples] (1,, [ms]) とした分散 σ1, σ はいずれも (.3) としたまた HPSS のスライディング分析におけるブロック数は 3 とし後処理として連続値マスキングを施したこれらはいずれもフレーム長を除き通常の HPSS[] と同じ条件である表記しこの k を本論文では変動と呼ぶこととするなお k はフレーム長の対数に相当する 3. 信号の変動スペクトル表現と時間-変動表現以上によって得られる x(t) のうちどの成分が強く現れているかを調べることにより信号の変動に関する特徴を調べることができると考えられるその方法の一例として各成分のパワー (k) = Z xk (τ ) dτ (1) が挙げられる本論文ではこれを変動スペクトルと呼ぶこととするこれは通常のスペクトル表現 Z jωτ dτ (ω) = x(τ )e (11)

4 男声女声合わせた話者のほとんどのデータにおい動スペクトルを求めた結果を図 3, に示す男声女声それぞれ 1 話者の各 1 データずつに関して変新聞記事読み上げ音声コーパス JNAS より抜粋した音声信号の変動スペクトル..1 変動スペクトルとそれに基づく信号の分析分離. なわちフレーム長 [ms], 1[ms] 程度の成分に大部分 1 1 て変動スペクトルは話者に関わらず k = 3, 程度すのパワーが集中していること k =,, 7, にはあまり強く現れないことなど概ね同様な傾向を示していることが観察できる図 3: 男性 1 話者分の音声図 : 女性 1 話者分の音声を分析した変動スペクトルを分析した変動スペクトル 1 RWC 研究用音楽データベースよりポピュラー音楽 RWC-MDB-P-1 No. 1 No. 1, クラシック音楽管弦楽曲 RWC-MDB-C-1 No. 1 No.1, クラシック音楽ピアノ曲 RWC-MDB-C-1 No. No. 3, ジャズ RWC-MDB-J-1 No.1 No.1 を抜粋し各曲冒頭 1 秒のそれぞれに関して変動スペクトルを求めた結果を図に示す音楽信号の変動スペクトル 1.. いずれのジャンルも音声に比較すると比較的広い k ピアノ曲管弦楽曲ジャズに関してはいずれの曲も実験に用いたデータは音声音楽ともに建築と環境のサウンドライブラリ (SMILE) からの抜粋で日本語女性朗読音声 s131.wav と弦楽四重奏 s1.wav 1..1,.. 節で見たように音声と音楽では変動スペクトルの形状が異なっているこのことを利用すると k 軸上でバンドパスフィルタに類似した処理を行うことにより音声と音楽が分離できると考えられる本節では音楽信号を音声信号を混合した信号を変動スペクトル領域上で分離する実験を行った例を示す変動スペクトル上での音声と音楽の分離実験 1..3 アノ曲 1 曲各 1 秒を分弦楽曲 1 曲各 1 秒を分析した際のそれぞれの変動ス析した際のそれぞれの変動スペクトルペクトル k =,, 7 程度にパワーが集中する傾向にあることが観察できる図 : クラシック音楽ピ図 : クラシック音楽管にパワーが分散していることが観察できるまた特に各 1 秒を分析した際のそれ秒を分析した際のそれぞれのぞれの変動スペクトル変動スペクトル信号の変動スペクトルを図 9 スペクトログラムを図 1 分散しながらも k = を中心にパワーが集中しやすいという傾向が見られこれは音楽の性質と考えられるそこでローパスフィルタに類似した次のようなフィルタ a = [ ]T (1) と考えられる一方それ以外の k では全体にパワーがに示すピークは混合信号に含まれる音声の性質に由来している図 7: ポピュラー音楽 1 曲図 : ジャズ 1 曲各 1 である本実験では両者を db で混合して用いた混合混合信号の変動スペクトルにおいて k = 3, における k (log of frame length) 図 9: 混合信号の変動スペクトル

5 図 1: 音声信号と音楽信号の混合信号のスペクトログラム図 13: 音声信号日本語女性朗読音声のスペクトログラムと時間変動表現図 11: 変動スペクトル領域上でのフィルタリングにより得られた v (t) のスペクトログラム信号中の音声信号の SNR は.3 db. 図 1: 音楽信号弦楽四重奏のスペクトログラムと時間-変動表現クトル領域表現と同様に概ね k =,, 7 などの成分が強い一方 -7 [s] 付近のように高域にゆらぎがあるな図 1: 変動スペクトル領域上でのフィルタリングにより得られた m (t) スペクトログラム信号中の音楽信号の SNR は.3 db. を考えこれを x(t) にかけることにより音声 v (t) と音ど非定常性が強い時刻にはより小さな k = 3, にも強い成分が現れていることが観察できる.3. 信号分離楽 m (t) をある程度分離することができると考えられる両者の混合信号の時間-変動表現を図 1 に示すここすなわち v (t) = at x(t), m (t) = (1 a)t x(t) 音声と音楽の混合信号の時間-変動表現に基づく (1) で図 1 から適当な成分のみを取り出すことにより信号を分離することができると考えられる今適当な方これにより得られたそれぞれの信号 v (t), m (t) のスペクト法により図 1 のようなマスクが得られたとするなお本ログラムをそれぞれ図 11, 1 に示す推定された音声論文では混合前の信号の時間-変動表現が既知のものと信号 v (t) 音楽信号 m (t) のいずれのスペクトログラムにしてそれを利用することによりマスクを設計したこ関してもそれぞれ音楽音声に相当する成分の大部分がのマスクを用いて時間-変動表現上でマスキングを行った抑圧されていることが観察できるなおこのとき得られ結果を図 17 にさらにこの時間-変動表現に基づいて再合た信号のそれぞれにおいて v (t) 中の音声信号の SNR は成された信号のスペクトログラムを図 1 に示す図 17,. db, m (t) 中の音楽信号の SNR は.3 db であった 1 を観察すると信号が効果的に分離されていることが確認できるなお推定された音声信号中の真の音声信号の SNR は. db 推定された音楽信号中の真の音楽信号の SNR は.9 db であった時間-変動表現とそれに基づく信号分析分離音声と音楽の時間-変動表現に基づく信号分析前節で使用したものと同じ音声音楽信号および両者の混合信号に関して時間-変動表現を求めた結果を図 13, 1 まとめ今後の展望に示す日本語女性朗読音声図 13 の時間-変動領域表現本稿ではフレーム長の異なる複数の STFT 上で定では変動スペクトル領域表現と同様に概ね k = 3,, 常的狭帯域的成分と非定常的広帯域的成分とを分離すに強い成分が現れやすいことが観察できる一方非定る手法 HPSS を並列的に適用することにより信号を概常的広帯域的な成分がある時刻では実際に k = 1, ね変動の大きさに対応して分離する新しい信号の分離など小さな k に強い成分が現れていることが観察できる手法変動スペクトルを提案したまたここで得られ弦楽四重奏図 1 の時間-変動領域表現では変動スペる分解信号を用いることで周波数表現と同様の要領で

6 謝辞本研究の一部は日本学術振興会科研費特別研究員奨励費 (-91) の助成を受けて行われた参考文献 [1] N. Kanedera, T. Arai, H. Hermansky, and M. Pavel, On the Relative Importance of Various Components of the Modulation Spectrum for Automatic Speech Recognition, Speech Communication, pp. 3, 図 1: 音声と音楽の混合信号のスペクトログラムと時間-変動表現 [] H. Hermansky, and N. Morgan, RASTA Processing of Speech, IEEE Trans. on Speech & Audio Processing, Vol., No., pp. 7 9, 199. [3] V. Tyagi, I. McCowan, H. Misra, and H. Bourlard, Mel-cepstrum Modulation Spectrum (MCMS) Features for Robust ASR, Proceedings of IEEE ASRU, pp.399-, 3. 図 1: 適当な方法により設計した時間-変動マスク [] K. Dressler, Sinusoidal Extraction Using an Efficient Implementation of a Multi-Resolution FFT, Proceedings of DAFx, pp.7,. 図 17: 時間-変動領域上でのマスキングにより得られた新しい時間-変動表現図 1: 時間-変動領域上でのマスキングにより得られた新しい時間-変動表現を用いて合成された信号のスペクトログラム信号を扱うことができる新しい信号表現が得られることを示したまたこの信号表現を用いることにより音声信号と音楽信号を分析分離した例を示した本論文では x(t) の全帯域に関するパワーを用いることで信号の変動軸表現を得たがこれは帯域ごとに分けて考えることも可能である時間周波数および変動の 3 変数をパラメータとして持つ信号表現を用いた信号処理は今後の研究課題となるまた本論文で考えた時間周波数マスキング以外にも様々なスペクトログラム領域上での [] N. Ono, K. Miyamoto, H. Kameoka, J. Le Roux, Y. Uchiyama, E.Tsunoo, T. Nishimoto, and S. Sagayama, Harmonic and Percussive Sound Separation and its Application to MIR-related Tasks, Advances in Music Information Retrieval, ser. Studies in Computational Intelligence, Z. W. Ras and A. Wieczorkowska, Eds. Springer, 7, pp.13-3, Feb., 1. [] H. Tachibana, T. Ono, N. Ono, S. Sagayama, Melody Line Estimation in Homophonic Music Audio Signals Based on Temporal-Variability of Melodic Source, Proceedings of ICASSP 1, pp.-, Mar., 1. [7] 日本音響学会編新聞記事読み上げ音声コーパス JNAS [] M. Goto, Development of the RWC Music Database, Proceedings of ICA, pp.i-3-, Apr.,. [9] 日本建築学会編建築と環境のサウンドライブラリ (SMILE) 信号処理手法がありこれらを時間-変動領域上での処理に応用することが今後の研究課題であるまた x(t) の各成分を特徴量として利用し音声認識や音楽情報検索などの認識問題へ応用することも今後の研究課題である

SAP11_03

SAP11_03 第 3 回音声音響信号処理 ( 線形予測分析と自己回帰モデル ) 亀岡弘和東京大学大学院情報理工学系研究科日本電信電話株式会社 NTT コミュニケーション科学基礎研究所講義内容 ( キーワード ) 信号処理符号化標準化の実用システム例の紹介情報通信の基本 ( 誤り検出訂正符号変調 IP) 符号化技術の基本 ( 量子化予測変換圧縮 ) 音声分析合成認識強調音楽信号処理統計的信号処理の基礎