スパース表現による音響信号処理

Size: px

Start display at page:

Download "スパース表現による音響信号処理"

ふさこのえ
5 years ago
Views:

1 チュートリアル : 非負値行列因子分解亀岡弘和東京大学大学院情報理工学系研究科 kameoka@hil.t.u-tokyo.ac.jp NTT コミュニケーション科学基礎研究所 kameoka.hirokazu@lab.ntt.co.jp 音楽情報科学研究会 2011 年 7 月 27 日

2 行列の積としてのスペクトログラム Frequency time

3 行列の積としてのスペクトログラム基底スペクトル各基底のアクティベーション Frequency time

4 行列の積としてのスペクトログラム Frequency time

5 目次 1. 非負値行列因子分解 (NMF) とは何に使えるのか ( 音響信号処理を題材として ) どのような性質があるのかどのように求めるのか統計モデルとしての解釈 2. NMF の改良拡張モデルスパース NMF, NMFD, NMF2D, ソースフィルタ NMF, アクティベーション連続性規準入り NMF, ハーモニック NMF, 板倉齋藤距離規準 NMF, 複素 NMF, 状態遷移 NMF, ノンパラメトリックベイズ NMF, etc

6 非負値行列因子分解 (NonnegativeMatrixFactorization) とは非負値行列を 2 つの非負値行列の積で表現行列因子分解の応用場面ブラインド信号分離 (Blind Signal Separation) 次元圧縮

7 NMF が生まれた背景画像処理分野で生まれた技術 [Lee1999] 顔画像から顔パーツを抽出するのが目的概念自体は 90 年代前半に登場 [Paatero1994] 音のスペクトルを画像と見なして適用 ( 後述 ) 音声分離自動採譜等 [2003] 以降極めて多数効率的な反復アルゴリズム [Lee2000]

8 なぜ非負値なのか? その意図は? データ行列の非負性実世界には非負値データが多い ( 例 ) パワースペクトル, 画素値, 度数, 基底行列の非負性非負値データの構成要素もまた非負値データであるべき ( でないと物理的に意味をなさない!) という考え方 ( 例 ) 負の値をもったパワースペクトルなんて解釈のしようがない係数行列の非負性構成要素の混ざり方は足し算のみ係数行列をスパースに誘導基底の情報量をアップ

9 係数行列の非負性について係数が負の値を取っても良い場合観測データ基底ベクトル係数 + )

10 係数行列の非負性について係数が負の値を取ってはならない場合観測データ基底ベクトル係数 + )

11 係数行列の非負性について係数が負の値を取ってはならない場合観測データ基底ベクトル係数 (?) + ) ( 引き算できない ) んだった

12 係数行列の非負性について係数が負の値を取ってはならない場合観測データ基底ベクトル係数 + ) スパース

13 別の見方から... Frobenius ノルム規準の NMF とが張る凸錐データ数基底数斜交基底だから係数はスパースになりやすい? 凸錐とのなす角を大きくした方がお得! とが張る部分空間陽に制約を入れていないのに基底が直交化される傾向に

14 スパース性がもたらす効果 H がどうなれば U はスパースになる? これがスパースになるよう誘導される共起するパーツがあればひとまとめにした方がスパースに! 共起しているこっちの方がスパース共起頻度が高いパーツのペアをひとまとめにした方がスパースに! ( 上のひとまとめ操作ではを 3 つ分減らせている ) 頻出するひとまとまりのパーツが各基底ベクトルとして得られる傾向になる

15 NMF で音声スペクトログラムを分解してみる音響信号短時間フーリエ変換 ( 時間周波数分解 ) 周波数音声スペクトログラム絶対値をとる : 時刻に周波数の成分がどれほど含まれているか各基底のアクティビティ時刻基底スペクトル周波数低ランクスペクトログラム基底数 10 基底数 30 頻出するスペクトルパーツが獲得される時刻

16 何に使えるのか?(1/3) 自動採譜 [P. et al., 2003] J.S. Bach: Fuge #16 in G minor

17 何に使えるのか?(2/3) 教師ありモノラル音源分離 [P. et al., 2007 ] 音声 ( 学習データ ) 混合信号 ( テストデータ ) チャイム ( 学習データ ) 固定

18 音の超解像 [P. & B. Raj, 2007 ] 何に使えるのか?(3/3) 低サンプリングレートの信号高サンプリングレート信号の学習データ ( 固定 ) 高周波帯域が復元された信号

19 NMF の基本問題個の観測データ ( 非負値ベクトル ) 個の非負値基底ベクトルの非負結合でどの観測データも良く表現できる基底セットを求めたいとの乖離度を表す規準

20 どうやって求めるのか NMFにおける代表的な最適化規準 Frobeniusノルム ( 二乗誤差 ) Iダイバージェンス ( 一般化 KLダイバージェンス ) 押さえておくべき基本原理補助関数法凸不等式 (Jensen の不等式 )

21 二乗誤差と I ダイバージェンス : のからの近さの度合い二乗誤差 I ダイバージェンス板倉齋藤距離

22 NMF における代表的な最適化規準 Frobenius ノルム規準なんとかしたい部分 I ダイバージェンス ( 一般化 KL ダイバージェンス ) なんとかしたい部分いずれものとき 0 になる

23 押さえておくべき基本原理 (1/2) 補助関数法を満たすを補助関数と定義反復アルゴリズム [1] 目的関数補助関数 [2] 収束性 [1] [2] 目的関数を直接最小化するのが難しいならとりあえずその上限関数を作ってみよう!

24 押さえておくべき基本原理 (2/2) Jensenの不等式 : 凸関数例えば, の場合 : 右辺左辺

25 Frobenius ノルム規準の NMF アルゴリズム目的関数下線部に対して Jensen の不等式を立ててみる適用補助関数が完成またはごとの二次関数の和になっている

26 Frobenius ノルム規準の NMF アルゴリズム補助関数が完成したらあとはステップ 1 とステップ 2 を導出すれば OK! [1] 代入 [2]

27 I ダイバージェンス規準の NMF アルゴリズム目的関数下線部に対して Jensen の不等式を立ててみる補助関数が完成適用

28 I ダイバージェンス規準の NMF アルゴリズム補助関数が完成したらあとはステップ 1 とステップ 2 を導出すれば OK! [1] 代入 [2]

29 統計モデルとしての解釈 NMF は以下を仮定した最尤推定問題と等価 Frobenius ノルム規準正規分布 I ダイバージェンス規準 Poisson 分布

30 NMF の改良拡張モデル

31 NMF の改良拡張モデル Hoyer

32 スパース NMF [Hoyer2004] アクティベーションを強制的にスパース化スパース性尺度 (1 のときスパース,0 のとき非スパース ) P. O. Hoyer, Non-negative matrix factorization with sparseness constraints, J. Mach. Learning Res., vol. 5, pp , 2004.

33 NMF の改良拡張モデル Hoyer

34 NMF の改良拡張モデル Hoyer

35 Nonnegative Matrix Factor Deconvolution [2004] スペクトログラム素片パーツを時間方向に畳み込んで楽音スペクトログラムを表現オンセットスペクトログラム素片オンセット Frequency スペクトログラム素片パーツ P., Non-negative matrix factor deconvolution; extraction of multiple sound sources from monophonic inputs, in Proc. ICA2004, pp , time

36 NMF の改良拡張モデル Hoyer

37 NMF の改良拡張モデル Hoyer Dhillon

38 Bregman ダイバージェンス [L.M. Bregman, 1967] Bregman ダイバージェンス規準 NMF [Dhillon2005] とが近いほど小さい ( は任意の微分可能な凸関数 ) : 二乗誤差誤差 :I ダイバージェンス : 板倉齋藤距離 1. を満たすクラス ( はこのタイプ ) U の更新式も同様に解析的に求まる 2. を満たすクラス ( はこのタイプ ) I.S. Dhillon and S. Sra, Generalized nonnegative matrix approximations with Bregman divergences, Proc. NIPS 2005, pp , 2005.

39 NMF の改良拡張モデル Hoyer Dhillon

40 NMF の改良拡張モデル Dhillon Hoyer Schmidt

41 Nonnegative Matrix Factor 2D Deconvolution [Schmidt2006] 楽音の調波構造が対数周波数軸上でシフト不変であると仮定 ( ピッチが変わっても倍音パワー比は不変という仮定 ) スペクトログラムパーツの対数周波数 - 時間平面での2 次元畳み込みで楽音スペクトログラムを表現 f0 log frequency f0 log frequency M. N. Schmidt andm.mørup, Nonnegative matrix factor 2-D deconvolution for blind single channel source separation, in Proc. ICA2006, pp , 2006.

42 NMF の改良拡張モデル Dhillon Hoyer Schmidt

43 NMF の改良拡張モデル Dhillon Hoyer Schmidt

44 ソースフィルタモデルに基づく NMF [2006] 番目の基底スペクトルを番目のソーススペクトルと番目のフィルタの積で表現従来 NMF: frequency ソースフィルタ NMF: T. and A. Klapuri, Analysis of polyphonic audio using source-filter model and nonnegative matrix factorization, in Proceedings of the Advances in Models for Acoustic Processing, Neural Information Processing Systems Workshop, 2006.

45 NMF の改良拡張モデル Dhillon Hoyer Schmidt

46 NMF の改良拡張モデル Dhillon Hoyer Kompass Schmidt

47 β ダイバージェンス規準 NMF [Kompass2007] β ダイバージェンス [Eguchi2001] を局所最小化するアルゴリズム : 板倉齋藤距離 : I ダイバージェンス : 二乗誤差の場合しか収束性が保証されない R. Kompass, A generalized divergence measure for nonnegative matrix factorization, Neural Computation, 19(3), pp , 2007.

48 NMF の改良拡張モデル Dhillon Hoyer Kompass Schmidt

49 NMF の改良拡張モデル Dhillon Hoyer Kompass Schmidt

50 アクティベーションの連続性規準入り NMF [2007] 楽器音のパワーエンベロープは滑らかという仮定 Source 1 Source 2 Mixed signal そこで, アクティベーションの連続性規準を導入 NMF component 1 音源のストリームが分断されてしまっている! NMF 別音源のストリームが混入してしまっている! アクティベーションが滑らかなほど小さい値をとるコスト関数この項を含めて最適化を行うことで, 左図のようなことが起こりにくくなる T., Monaural sound source separation by nonnegative matrix factorization with temporal continuity and sparseness criteria, IEEE Trans. on Audio, Speech and Language Processing, vol. 15, no. 3, pp , 2007.

51 NMF の改良拡張モデル Dhillon Hoyer Kompass Schmidt

52 NMF の改良拡張モデル Raczynski Dhillon Hoyer Kompass Schmidt

53 ハーモニック NMF [Raczynski2007] 調波構造形の基底スペクトルアクティベーションの無相関規準基本周波数高調波周波数以外の成分を 0 に初期設定音名に対応する分だけ基底スペクトルを用意 Stanislaw Andrzej Raczynski, Nobutaka Ono, Shigeki Sagayama, Multipitch analisys with Harmonic Nonnegative Matrix Approximation, Proc. of ISMIR, pp , 2007.

54 NMF の改良拡張モデル Raczynski Dhillon Hoyer Kompass Schmidt

55 NMF の改良拡張モデル Raczynski Vincent Dhillon Hoyer Kompass Schmidt

56 調波構造形の基底スペクトルハーモニック NMF [Vincent2008] スペクトル包絡が異なる同一ピッチの基底スペクトルのサブセットこれらの重ね合わせでさまざまなスペクトル包絡形状を表現 E. Vincent, N. Bertin, and R. Badeau, Harmonic and inharmonic nonnegative matrix factorization for polyphonic pitch transcription, in Proc. ICASSP 08, pp , 2008

57 NMF の改良拡張モデル Raczynski Vincent Dhillon Hoyer Kompass Schmidt

58 NMF の改良拡張モデル Raczynski Vincent Dhillon Hoyer Kompass Schmidt Cemgil

59 ベイジアン NMF [Cemgil2008] I ダイバージェンス規準 NMF を生成モデルの観点から解釈 A.T. Cemgil, Bayesian inference for nonnegative matrix factorization models, Technical Report CUED/F-INFENG/TR.609, University of Cambridge, 2008.

60 NMF の改良拡張モデル Raczynski Vincent Dhillon Hoyer Kompass Schmidt Cemgil

61 NMF の改良拡張モデル Raczynski Vincent Dhillon Hoyer Kompass Schmidt Cemgil Févotte

62 板倉齋藤距離規準 NMF [Févotte2008] 観測信号をガウス性信号の重ね合わせとしてモデル化パワースペクトル密度が NMF 型の構造をもつと仮定ここでのとは複素スペクトル成分 ( 複素数値 ) であることに注意との独立性を仮定 C. Févotte, N. Bertin, and J.-L. Durrieu, Nonnegative matrix factorization with the Itakura-Saito divergence. With application to music analysis, Neural Computation, vol. 21, no. 3, Mar. 2009,

63 NMF の改良拡張モデル Raczynski Vincent Dhillon Hoyer Kompass Schmidt Cemgil Févotte

64 NMF の改良拡張モデル Kameoka Raczynski Vincent Dhillon Hoyer Kompass Schmidt Cemgil Févotte

65 複素 NMF [Kameoka2008] パワースペクトルも振幅スペクトルも本来は非加法的複素スペクトル領域モデルでNMFと同様のスペクトルパーツ獲得機能が実現できないか? (STFT) 要素信号の複素スペクトログラムの振幅成分が rank1 構造をもつように混合信号をモデル化 (magnitude) NMF におけるモデルが厳密には不適切であることを示しているここでのとも複素スペクトル成分 ( 複素数値 ) であることに注意亀岡, 小野, 柏野, 嵯峨山, 複素 NMF: 新しいスパース信号分解表現と基底系学習アルゴリズム, 日本音響学会 2008 年秋季研究発表会講演論文集, , pp , 2008.

66 NMF の改良拡張モデル Kameoka Raczynski Vincent Dhillon Hoyer Kompass Schmidt Cemgil Févotte

67 NMF の改良拡張モデル Kameoka Raczynski Vincent Dhillon Hoyer Kompass Kameoka Schmidt Cemgil Févotte

68 MusicFactorizer [Kameoka2009] 音楽信号は限られた種類の音価の音だけで構成される NMFのアクティベーションもまたパーツベースド表現ができる? アクティベーションをエンベロープパーツの畳み込み混合でモデル化畳み込み混合エンベロープパーツのアクティベーション ( ノートのオンセットに対応 ) アクティベーションもいくつかのパーツだけで構成されている? 亀岡, ルルー, 大石, 柏野, "Music Factorizer: 音楽音響信号をノート単位で編集できるインタフェース," 情報処理学会研究報告, 2009-MUS-81-9, Jul

69 NMF の改良拡張モデル Kameoka Raczynski Vincent Dhillon Hoyer Kompass Kameoka Schmidt Cemgil Févotte

70 NMF の改良拡張モデル Kameoka Raczynski Vincent Mysore Dhillon Ozerov Hoyer Kompass Kameoka Schmidt Cemgil Févotte Nakano

71 状態遷移 NMF [Ozerov2009,Nakano2010,Mysore2010] NMF: スペクトログラムを rank1 行列の和に分解していることに相当周波数観測振幅スペクトログラム行列 Y H U rank1 行列 ( ある特定音のみの振幅スペクトログラム ) rank1 行列 ( ある特定音のみの振幅スペクトログラム ) 時間楽音のスペクトログラムは実際には rank1 にならない ( ピアノ音に attack/decay/sustain などの複数状態があるように, 通常, 楽音スペクトルの形は発音中に多様に時間変化する ) 各楽音スペクトログラムを rank1 行列でモデル化する代わりに非負値を出力する隠れマルコフモデル (HMM) でモデル化 Factorial HMM [Ghahramani1997] と同形のモデルになる A. Ozerov, C. Févotte, M. Charbit, Factorial scaled hidden Markov model for polyphonic audio representation and source separation, in Proc. WASPAA'09, 中野, 北野, ルルー, 亀岡, 小野, 嵯峨山, " 可変基底 NMF に基づく音楽音響信号の解析," 情報処理学会研究報告, 2010-MUS-84-10, Feb G. J. Mysore, P., B. Raj, Non-negative hidden Markov modeling of audio with application to source separation, in Proc. LVA/ICA'2010. pp , 2010.

NMF の改良拡張モデル 2003 2004 2005 2006 2007 2008 2009 2010 Kameoka Raczynski

72 NMF の改良拡張モデル Kameoka Raczynski Vincent Mysore Dhillon Ozerov Hoyer Kompass Kameoka Schmidt Cemgil Févotte Nakano

73 NMF の改良拡張モデル Kameoka Raczynski Vincent Mysore Dhillon Ozerov Hoyer Kompass Kameoka Schmidt Cemgil Févotte Nakano Nakano

74 β ダイバージェンス規準 NMF [Nakano2010] すべての β で収束性が保証された乗法更新アルゴリズム補助関数の設計方針 Jensen 不等式接線不等式凸 / 凹凸関数凹関数凸 / 凹凸関数項の上限を凸不等式, 凹関数項の上限を接線不等式を使って設計し, 補助関数を設計 [Kameoka2006] M. Nakano, H. Kameoka, J. Le Roux, Y. Kitano, N. Ono, S. Sagayama, Convergence-guaranteed multiplicative algorithms for non-negative matrix factorization with beta-divergence, In Proc. MLSP 2010, in CD-ROM, 2010.

75 NMF の改良拡張モデル Kameoka Raczynski Vincent Mysore Dhillon Ozerov Hoyer Kompass Kameoka Schmidt Cemgil Févotte Nakano Nakano

76 NMF の改良拡張モデル Kameoka Raczynski Hoffman Vincent Mysore Dhillon Ozerov Nakano Hoyer Kompass Kameoka Schmidt Cemgil Févotte Nakano Nakano

77 ノンパラメトリックベイズ NMF [Hoffman2011, Nakano2011] NMF における基底数をデータから推論できるようにしたい Gamma Process (GaP) NMF [Hoffman2011] スペクトログラムの生成モデルが大きいほど急峻になるの意味をスパースにする = 不要なコンポーネントはできるだけ使わないここがポイント! FévotteのIS-NMF 方式状態遷移 NMF におけるコンポーネント数と状態数をデータから推論できるようにしたい Infinite Factorial infinite Hidden Markov Model (ifihmm) [Nakano2011]

78 まとめ 1. 非負値行列因子分解 (NMF) とは何に使えるのか ( 音響信号処理を題材として ) どのような性質があるのかどのように求めるのか統計モデルとしての解釈 2. NMF の改良拡張モデルスパース NMF, NMFD, NMF2D, ソースフィルタ NMF, アクティベーション連続性規準入り NMF, ハーモニック NMF, 板倉齋藤距離規準 NMF, 複素 NMF, 状態遷移 NMF, ノンパラメトリックベイズ NMF, etc

79 参考文献 [1] D. D. Lee and H. S. Seung, Learning the parts of objects with nonnegative matrix factorization, Nature, vol. 401, pp , [2] P. Paatero and U. Tapper, Positive matrix factorization: A non-negative factor model with optimal utilization of error estimates of data values, Environmetrics 5: , [3] P. and J. C. Brown, Non-negative matrix factorization for music transcription, Proc. WASPAA 2003, pp , [4] D. D. Lee and H. S. Seung, Algorithms for nonnegative matrix factorization, in Adv. NIPS 2000, pp , [5] P., B. Raj and M.V. Shashanka, Supervised and semi-supervised separation of sounds from single-channel mixtures," in Proc. ICA 2007, pp , [6] P. and B. Raj, Example-driven bandwidth expansion, in Proc. WASPAA 2007, pp , [7] P. O. Hoyer, Non-negative matrix factorization with sparseness constraints, J. Mach. Learning Res., vol. 5, pp , [8] P., Non-negative matrix factor deconvolution; extraction of multiple sound sources from monophonic inputs, in Proc. ICA 2004, pp , [9] L. M. Bregman, The relaxation method of finding the common points of convex sets and its application to the solution of problems in convex programming, USSR Computational Mathematics and Mathematical Physics 7: pp , 1967.

80 参考文献 [10] M. N. Schmidt and M. Mørup, Nonnegative matrix factor 2-D deconvolution for blind single channel source separation, in Proc. ICA 2006, pp , [11] T. and A. Klapuri, Analysis of polyphonic audio using source-filter model and nonnegative matrix factorization, in Adv. NIPS 2006, [12] S. Eguchi and Y. Kano, Robustifying maximum likelihood estimation, Technical report, Institute of Statistical Mathematics, Research Memo. 802, [13] R. Kompass, A generalized divergence measure for nonnegative matrix factorization, Neural Computation, vol. 19, no. 3, pp , [14] T., Monaural sound source separation by nonnegative matrix factorization with temporal continuity and sparseness criteria, IEEE Trans. on Audio, Speech and Language Processing, vol. 15, no. 3, pp , [15] S. A. Raczynski, N. Ono and S. Sagayama, Multipitch analisys with harmonic nonnegative matrix approximation, in Proc. of ISMIR 2007, pp , [16] E. Vincent, N. Bertin and R. Badeau, Harmonic and inharmonic nonnegative matrix factorization for polyphonic pitch transcription, in Proc. ICASSP 2008, pp , [17] A. T. Cemgil, Bayesian inference for nonnegative matrix factorization models, Technical Report CUED/F-INFENG/TR.609, University of Cambridge, [18] C. Févotte, N. Bertin and J.-L. Durrieu, Nonnegative matrix factorization with the Itakura- Saito divergence. With application to music analysis, Neural Computation, vol. 21, no. 3, pp , [19] 亀岡, 小野, 柏野, 嵯峨山, 複素 NMF: 新しいスパース信号分解表現と基底系学習アルゴリズム, 日本音響学会 2008 年秋季研究発表会講演論文集, , pp , 2008.

81 参考文献 [20] 亀岡, ルルー, 大石, 柏野, "Music Factorizer: 音楽音響信号をノート単位で編集できるインタフェース," 情報処理学会研究報告, 2009-MUS-81-9, [21] Z. Ghahramani and M. I. Jordan, Factorial hidden Markov models, Machine Learning, vol. 29, pp , [22] A. Ozerov, C. Févotte and M. Charbit, Factorial scaled hidden Markov model for polyphonic audio representation and source separation, in Proc. WASPAA 2009, pp , [23] 中野, 北野, ルルー, 亀岡, 小野, 嵯峨山, " 可変基底 NMF に基づく音楽音響信号の解析," 情報処理学会研究報告, 2010-MUS-84-10, [24] G. J. Mysore, P. and B. Raj, Non-negative hidden Markov modeling of audio with application to source separation, in Proc. LVA/ICA pp , [25] 亀岡, 後藤, 嵯峨山, スペクトル制御エンベロープによる混合音中の周期および非周期成分の選択的イコライザ, 情報処理学会研究報告, 2006-MUS-66-13, pp , [26] M. Nakano, H. Kameoka, J. Le Roux, Y. Kitano, N. Ono and S. Sagayama, Convergenceguaranteed multiplicative algorithms for non-negative matrix factorization with betadivergence, In Proc. MLSP 2010, pp , [27] M. Hoffman, D. Blei and P. Cook, Bayesian nonparametric matrix factorization for recorded music, in Proc. ICML, pp , [28] 中野, ルルー, 亀岡, 中村, 小野, 嵯峨山, スペクトログラムのベイジアンノンパラメトリックモデリングに基づく音楽信号の解析, 情報処理学会研究報告, 2011-MUS-91-6, 2011.

SAP11_03

SAP11_03 第 3 回音声音響信号処理 ( 線形予測分析と自己回帰モデル ) 亀岡弘和東京大学大学院情報理工学系研究科日本電信電話株式会社 NTT コミュニケーション科学基礎研究所講義内容 ( キーワード ) 信号処理符号化標準化の実用システム例の紹介情報通信の基本 ( 誤り検出訂正符号変調 IP) 符号化技術の基本 ( 量子化予測変換圧縮 ) 音声分析合成認識強調音楽信号処理統計的信号処理の基礎