スライド 1

Size: px

Start display at page:

Download "スライド 1"

あいねあざみ
4 years ago
Views:

1 スペクトル変化量のピーク間隔 F0 MFCC を用いた歌声と朗読音声の自動識別システム阿曽慎平 ( 京大 ), 齋藤毅 ( 金沢大 ), 後藤真孝 ( 産総研 ), 糸山克寿, 高橋徹, 尾形哲也, 奥乃博 ( 京大 ) サウンドテスト

2 人 : 歌声話声 ( 朗読音声含む ) 聞き分け応答奥乃研音楽情報処理グループの日常天気悪いなぁ雨降るらしいでアイウォンチュ ~ アイウォンチュ ~ I want you!! 何言うてんの? 阿曽 2

3 機械 ( 計算機 ) 上も聞き分け応答してほしい多様な音声サービス東京の天気 Google 音声検索など 3

4 機械 ( 計算機 ) 上も聞き分け応答してほしい多様な音声サービス歌声検索サービス SoundHound Shazam midomi 4

5 機械 ( 計算機 ) 上も聞き分け応答してほしい多様な音声サービス東京の天気 Google 音声検索など手動切替歌声検索サービス SoundHound Shazam midomi 違う音声なので自動的に判断してほしい 5

6 歌声朗読音声自動識別により達成可能一般の音声サービス : 朗読音声 or 歌声自動識別で利便性増常時起動させておけば手作業無し朗読音声 or 歌声発話機械による自動識別振り分け Google 音声検索など SoundHound midomi Shazam 6

7 難しさ : 歌声と朗読音声の間は連続的変化歌声? 朗読音声? 判断してください歌舞伎 ( 女形 ) 音声データベース日本語を歌唄謡うからお経白隠禅師坐禅和讃赤ちゃん (4カ月) youtube 投稿動画スキャット楽曲 Scatmanから歌声朗読音声は2 値で決定不可本報告 : 連続値表現できる識別器開発連続値ができれば2 値もできる 7

8 自動識別 2つの課題 1. 特徴量設計識別に有効な特徴量を ( 複数 ) 選択する抽出手法の制約 : 実時間動作 2. 識別器設計連続値表現できる枠組み実時間動作 8

9 人の弁別に基づいた特徴量設計人が識別に利用する特徴量音の高さ ( 基本周波数 ):ΔF0 ΔlogF0 - 音階は対数周波数上に並ぶ - Δは時間変化音色 ( 短時間のスペクトル特徴 ): MFCC, ΔMFCC 音素を伸ばす時間 ( 音素継続時間 ): アクセント ( スペクトル変化量 ) ピーク間隔 9

10 ΔlogF0 MFCC ΔMFCC 抽出方法 F0:10 ミリ秒毎に推定 [yegnanarayana, 08] を利用周波数実時間で抽出可 MFCC:10 ミリ秒毎に算出,12 次元時間 Δ 成分 :5 フレームの回帰係数 10

11 アクセントピーク間隔の抽出アクセントピーク間隔右図のの長さ音素継続時間に関連実時間抽出可能抽出方法周波数スペクトログラム時間軸縦の破線はアクセントピーク 11

12 アクセントピーク間隔の抽出アクセントピーク間隔右図のの長さ音素継続時間に関連実時間抽出可能抽出方法 1. スペクトル変化量をアクセント [Klapuriら, 06] として算出 2. ピークピッキング 3. 隣り合うピークの時間間隔周波数強さスペクトログラムアクセント時間軸 12

13 アクセントピーク間隔の抽出アクセントピーク間隔右図のの長さ音素継続時間に関連実時間抽出可能抽出方法 1. スペクトル変化量をアクセント [Klapuriら, 06] として算出 2. ピークピッキング 3. 隣り合うピークの時間間隔周波数強さスペクトログラムアクセント時間軸 13

14 アクセントピーク間隔の抽出アクセントピーク間隔右図のの長さ音素継続時間に関連実時間抽出可能抽出方法 1. スペクトル変化量をアクセント [Klapuriら, 06] として算出 2. ピークピッキング 3. 隣り合うピークの時間間隔周波数強さスペクトログラムアクセント時間軸 14

15 識別器の設計 1. 特徴量毎に識別器を構成 ( 単独特徴量識別器と呼ぶ ) 2. 出力尤度に対し重み付けで統合シンプルで強力 3. 重みは音声長に応じて可変短時間長時間で効く特徴量は異なると予測最適な重み : 学習データから推定 15

16 単独特徴量識別機音声長本自動識別システム概念図切り出された音声 MFCC 識別機 ΔMFCC 識別機 ΔlogF0 識別機アクセントピーク間隔識別機朗読音声歌声の尤度音声長に応じた重み付け和による統合結果 16

17 単独特徴量識別機の構築 1/2 歌声データベース 1. 学習概念図 EM アルゴリズム朗読音声データベース特徴量抽出, 分布を出力特徴量毎に歌声, 朗読音声それぞれパラメータ学習 ( プロファイルデータ作成 ) 歌声 GMM パラメタ朗読音声 GMM パラメタ 17

18 単独特徴量識別機の構築 2/2 2. 構築入力音声データ特徴量抽出学習データから識別器構築 GMM 歌声 GMMパラメタ GMM 朗読音声 GMM パラメタ内部情報として以下を持つ歌声度合い ( 尤度 ) 朗読音声度合い ( 尤度 ) 歌声尤度話声尤度出力尤度差 18

19 学習用データ大量の歌声朗読音声から学習 AISTハミングデータベース7500 音男声 37 名, 女声 38 名分歌声 3750 音, 歌詞の朗読音声 3750 音 19

20 本統合法 : 重み付け和入力音声 ΔlogF0 識別器 MFCC 識別器 ΔMFCC 識別器アクセントピーク間隔識別器入力音声長に応じた重みづけ和出力尤度差 20

21 統合重みの推定法学習データに対する識別精度が最も高くなる重みの組み合わせを全空間探索重みは0から10までの11 段階探索空間は11^4 通り最も精度の高い組み合わせ選択重みの総和が1となるよう正規化 21

22 本手法の評価 22

23 本手法と従来法 [ 大石ら,06] の比較本手法本特徴量 1. MFCC 2. ΔMFCC 3. ΔlogF0 4. アクセントピーク間隔本統合法 : 時間長に応じた重み付けによる統合従来法従来特徴量 1. MFCC 2. ΔMFCC 3. ΔlogF0 従来統合法 : ベクトル結合 23

24 評価の目的 1. 新たに導入した ΔF0 アクセントピーク間隔の有効性従来特徴量との比較 2. 本手法の総合的な有効性 1. 従来統合法との比較 2. 従来特徴量との比較評価方法 :7500 音声の 15 クロスバリデーション 24

25 1-1 アクセントピーク間隔の効果識別精度 [%] ΔMFCC( 音色時間変化 ) が primary ΔlogF0( 音高時間変化 ) が secondary アクセントピーク間隔は長時間音声向け単独特徴量識別機の識別精度評価音声長 [ ミリ秒 ] ΔF0 MFCC ΔMFCC ピーク間隔 ΔlogF0 25

26 2-1 本統合法により精度向上単独特徴量識別器より高い精度識別精度 [%] 識別精度評価音声長 [ ミリ秒 ] ΔF0 MFCC ΔMFCC ピーク間隔 ΔlogF0 本特徴本統合 26

27 2-2,3 本統合法と従来統合法の比較特徴量選択, 統合方法いずれも精度向上従来特徴従来統合従来特徴本統合本特徴本統合平均精度 86.2% 88.4%( 2.2) 88.9% ( 2.7)

28 推定された統合重み ΔlogF0:1500~2000 ミリ秒で重要な役割 ΔMFCC,ΔlogF0 が重要 ( 重みの 8 割 ) 重み係数単独特徴量識別機の統合時の重みピーク間隔 ΔlogF0 MFCC ΔMFCC 評価音声長 [ ミリ秒 ] 28

29 デモ : 歌声朗読音声自動識別システムゼロ交差数に基づく音声切り出し歌声? 朗読音声? 我々の解答歌舞伎 ( 女形 ) 音声データベース日本語を歌唄謡うからお経白隠禅師坐禅和讃赤ちゃん (4カ月) youtube 投稿動画スキャット楽曲 Scatman から 29

30 今後の課題 1. 音声検索 (Google 音声検索等 ) と歌声検索 (SoundHound,midomi 等 ) の自動切り替えを行うアプリケーション尤度差が小やり直し 2. 人への発話と機械への発話を識別必要な時だけ駆動する朗読音声自由発話識別が一つの方法では機械への話声 : 朗読音声に近い人同士の話声 : 自由発話 30

31 むすびのことば切り出された音声に対してΔlogF0 MFCC ΔMFCC アクセントピーク間隔に基づく単独特徴量識別器の尤度に, 時間長に応じた重み付け統合することで, 歌声と朗読音声を連続的に識別するシステムを開発した 31

IPSJ-SLP

IPSJ-SLP F0 MFCC 1 2 3 1 1 1 1 MFCCF0 1 86.7% 90.2% A System for Automatic Discrimination between Singing and Speaking Voices on the Basis of Peak Interval of Spectral Change, F0, and MFCC Shimpei Aso, 1 Takeshi