音声分野におけるMATLABの利用と先端研究

Size: px

Start display at page:

Download "音声分野におけるMATLABの利用と先端研究"

えつとたておか
5 years ago
Views:

1 音声分野における MATLAB の利用と先端研究紹介埼玉大学大学院理工学研究科教授島村徹也

2 Outline 自己紹介 MATLAB と音声処理音声強調骨伝導最後に

3 1986 年慶應義塾大学理工学部電気工学科卒高橋浜田研究室 ( 回路と信号処理 ) 1988 年同大学院修士課程修了 1991 年同博士課程修了工学博士同年埼玉大学工学部助手現在同大学院理工学研究科教授

4 MATLAB について 1990 年頃 IEEE ICASSP 1990 で MATLAB デモ日本ではほとんど出回っていなかった

5 MATLAB について ( 続き ) 制御分野でより早く Control System Toolbox System Identification Toolbox これまではいったい何だったんだ?

6 埼玉大学で (1991 年 ) MATLABについて ( 続き ) 日本では大阪大学が早かった日本語解説書はなかった

7 MATLAB の利用拡大制御信号処理通信音声音声分野は出遅れたユーザは増大している未だに専用ツールを用いる場合も多い

8 MATLAB による音声処理サイト MATLAB による音声信号処理入門 Web 資料早稲田大学宮澤幸希 /tool1202/ MATLAB 音声信号処理

9 関連図書

10 音響信号全般を扱うツール WaveSurfer( 編集や可視化 ) Audacity ( 編集や可視化 ) Ardour ( 編集や可視化 ) HTK( 隠れマルコフモデルを利用するキット ) Weka( 機械学習用でデータマイニングソフト ) MATLAB 後藤, 緒方, 音楽音声の音響信号の認識理解研究の動向コンピュータソフトウェア, 2009

11 専用ツールによる音声処理音声工房 NTT アドバンステクノロジ株式会社アコースティックコア株式会社アルカディア

12 音声強調

13 音声強調処理のイメージ雑音の混入した音声から音声のみを強調して聞き取りやすくする多分野に応用可能音声認識音声符号化特徴抽出など雑音 + 音声強調音声音声強調処理

14 入力音声 ( 約 10 秒 ) Time 出力音声フレーム処理短時間 (20~50 ミリ秒程度 ) のフレームに分割 1 フレームずつ取り出して処理するフレームごとの結果を繋げて出力信号を構築 Time

15 くし形フィルタ原理的に魅力的な手法基本周期抽出フィルタくし形フィルタで雑音を抑圧する音声 + 雑音有声 / 無声判別 + 音声係数無声音は減衰させて出力する J.Lim, A.Oppenheim, L.Braida(1978)

16 音声パワースペクトル 1 P( k) X ( k) N X ( k) 2

17 くし形フィルタとは? X ( k) 1 Frequency

18 スペクトル引き算法広く用いられている手法雑音窓 FFT + + ー音声 + 雑音窓 FFT 1/ 位相情報 IFFT 音声

19 スペクトル引き算法の原理 ) ( ) ( ) ( n w n x n y 時間領域 : 周波数領域 : : 雑音信号 : 音声信号 : 雑音混入音声信号 ) ( ) ( ) ( n w n x n y ) ( ) ( ) ( f W f X f Y ) ( ~ ) ( ) ( ~ f W f Y f X

20 スペクトル引き算法のブロック図 1 つのフレーム内での処理 Y( f ) ~ X ( f ) Y( f ) ~ W( f )

21 2 の場合パワースペクトル引き算 2 Y( f ) W( f ~ 2 のとき ) ~ 2 2 ~ X ( f ) Y( f ) W( f ) 2 それ以外のとき ~ X ( f ) の場合 : Boll(1979) が検討 2,1,1/ 2,1/ 4 を比較検討 : Lim(1978)

22 Power 残留雑音問題雑音推定誤差により引き去りきれない雑音成分が残る不快な成分が含まれることがしばしばあるミュージカルノイズ短時間分析フレームごとの変化が激しい ( スペクトル振幅イメージ図 ) 孤立したピーク不快感 Freq. 実際の雑音推定雑音残留雑音

23 最近の動向スペクトル引き算法の改善スペクトル引き算法 Musical Noise たいへん聞きざわりいかにこれを抑圧するか? 非定常雑音環境対策の必要性いかに雑音を追跡するか?

24 スペクトル引き算法の一般化表現 ~ のとき Y( f ) W( f ) ~ ~ X ( f ) Y( f ) W( f ) トレードオフ大 SN 比改善大明瞭度低下 (Musical Noise 大 ) 小 SN 比改善小明瞭度向上 (Musical Noise 小 ) 大小 Musical Noise 低減大スペクトル引きすぎ Musical Noise 低減小スペクトル引きすぎなし

25 適当なスペクトル引き算の後の事後処理が有効スペクトログラム上で音声部分と Musical Noise 部分を見分ける音声スペクトルを保持し Musical Noise 部分を抑圧する Goh(1998) スペクトル引き算を反復的に処理する緒方 (2005)

26 反復スペクトル引き算 y( n) x( n) w( n) スペクトル引き算 xˆ ( n) 反復

27 Noise Estimation Method Noise Estimation Using Low Frequency Regions *Human speech information mostly exists between 50Hz and 3.5KHz *At 0Hz~50Hz, noisy speech spectra have only noise information W Low k Low ( f ) Y ( f Track the variance of noise spectra by using the low frequency regions k ) Yamashita(2005)

28 Long-term Spectrum (Male Speech) Use this region

29 Proposed Method otherwise b f W f Y a b a f Y f Y f W f Y f X f D f Y k k k k k k k k f Low f Low k k ) : ( ), ( ~ ) ( ) : ( ) ( 0 ) ( ) ( ) ( ) ( ~ ) ( ) ( ~ ) ( ˆ ) ( 事前雑音推定

30 Behavior of the Proposed Method

31 Parameters for Experiments Speaker : Japanese male and female Speech Length : about 10 seconds Sampling Rate : 10KHz (except for Yamauchi s Method) Band Limitation : 3.4KHz(except for Yamauchi s Method) Noise : 3 kinds of noise *For Yamauchi s Method : 30KHz sampling No band limitation

32 Noise Characteristics Time -Varying White Noise Train Noise at Railroad Crossing Babble Noise

33 Improved Segmental SNR

34 いくつかのデモ

35 各種マイクの性質咽喉マイク使用例トランスデューサ周波数特性接話マイク平坦骨導マイク LPF 的イヤマイク LPF 的咽喉マイク LPF 的

36 骨伝導とは? 気導音 ( 空気伝導による音 ) 骨導音 ( 骨伝導による音 )

37 発声経路耳を塞いで発声しても音が聞こえる

38 骨導音声空気を介さず声帯の振動が骨を伝わりその振動が直接聴覚器官に伝達される高騒音環境における通信に利用可能骨導音声は気導音声に比べ自然性了解性に欠ける

39 音声導出のブロック図骨導音声フィルタ復元音声

40 Normal Speech and Bone-Conducted Speech

41 Speech Production and Bone Conduction Model d(n) B(z) Bone Conduction e(n) Vocal Tract V (z) s(n)

42 Transforming Bone-Conducted Speech into Normal Speech d(n) 1 B( z) V (z) s(n) H (z)

43 Reconstruction Filtering d(n) H ˆ ( z ) sˆ ( n) Direct design of H(z) is difficult

44 Filter Design Direct design of H(z) is difficult Long-term spectrum of s(n) Hˆ ( f ) S ( f ) D( f ) Long-term spectrum of d(n)

45 音声収録の手続き 20 歳前後の男性 2 名 (A,B) 女性 2 名 (C,D) 5 母音,5 つの文気導音声収録用マイク骨導音声収録用マイク ( パナソニック RP-VK25) ( テムコ HG-17 ヘッドギア ) サンプリング周波数 44.1kHz で収録し kHz までダウンサンプリングして実験に使用量子化ビット数 16bit

46 骨導マイク骨などを介して音声波形信号が伝わる Body vibration をピックアップする特殊マイクテムコ HG-17 ヘッドギア

47 実験の様子

48 試聴実験概要試聴者評価対象評価基準評価方法評価値 20 名無処理の骨導音声と 3 種類の導出音声明瞭度一対比較法どちらが気導音声の明瞭度に近いか近い方を選択 3 文の選択率を平均化し評価

49 試聴実験結果 ( サーストン心理尺度 ) 話者 A 話者 B 話者 C 話者 D : 骨導 : 同一 : 母音 : 長文明瞭度試験結果

50 いくつかのデモ

51 最後に MATLAB を利用した音声処理の進展複雑な関数を簡単にプログラミング

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション音響学入門ペディア Q. 様々な音響特徴量それぞれの使い方や意味を教えて下さい千葉祐弥東北大学大学院工学研究科博士後期課程 2 年マスター特徴量って何に使うものタイトルの書式設定? 統計的分析人間が音を聞く仕組みを解明する ( 方向高さ大きさ音色の知覚 ) データの符号化圧縮への応用など機械学習パターン認識音声認識音声インターフェースの作成楽曲のジャンル推定楽曲検索推薦等への応用など