PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

さみえいさか
4 years ago
Views:

1 2017 年 9 月 21 日日本心理学会第 81 久留米シティプラザ WORLD チュートリアル山梨大学大学院総合研究部准教授森勢将雅 (Twitter)

2 本日の概要音声分析合成システム WORLD の紹介基礎的な説明と利用例について WORLD の導入と簡単な使い方 ( デモ ) Windows 環境での導入例いくつかの音声分析, 音声加工の実例本資料では公開用に一部の情報を制限しています 1

3 音声の構成要素スペクトル包絡基本周期声帯振動時間周波数声帯振動の揺らぎや雑音混入による影響非周期性指標 2

4 WORLD の構成 F0( 高さ ) スペクトル包絡入力非周期性指標合成音分析合成音声を構成する 3 つの要素を抽出し再合成各要素は独立して制御可能 3

5 STRAIGHT と WORLD STRAIGHT 世界中で使われている最先端の技術特許の扱いが面倒で商用利用は困難 WORLD STRAIGHT 以上の品質を達成完全フリー ( プログラムも修正 BSD) 商用利用も可能 4

6 WORLD の特色 47 の派生プログラム論文のデータを再現可能なプログラムを GitHub 上に修正 BSD ライセンスで公開 WORLD を提案した論文は出版後 1 年で自己引用を除き 25 件の引用 5

7 WORLD の利用実績 ( 学術利用 ) Neural parametric singing synthesizer ( ポンペウファブラ大学 ) The Merlin toolkit( エジンバラ大学 ) Voice Synthesis for in-the-wild Speakers (Facebook AI research) 6

8 WORLD の利用実績 ( 製品利用 ) VoiceText(HOYA 株式会社 ) CeVIO( 株式会社テクノスピーチ ) 7

WORLD の利用実績 ( 個人利用 ) VocalShifter http://ackiesound.ifdef.jp/download.html#vs エレクトロ音楽ユニット macaroom https://www.

9 WORLD の利用実績 ( 個人利用 ) VocalShifter エレクトロ音楽ユニット macaroom コンテンツ中に 2 名の歌手の歌声を混ぜるモーフィング技術を利用徴音梅林 ( 台湾のプロジェクト ) 8

10 WORLD の導入

11 導入方法について START Ex. 1 MATLAB 使用言語? C++ Linux OS? Mac Windows GitHub GitHub 開発環境? その他 Visual Studio GitHub Ex. 2 本日は初心者を対象に Ex. 1, 2 をサポート 10

12 MATLAB 版の導入手順 MATLAB はインストール済みとします. Downloadから赤丸をクリックでダウンロードフォルダを解凍し任意の場所に設置 (MATLAB のインストールフォルダなど, 頻繁に動かさない場所を推奨 ) 11

13 パスを設定する MATLAB の設定設置したフォルダを参照して設定設定後には必ず保存を押す 12

14 動作チェック MATLABのコマンドラインで >> TestWORLD; >> soundsc(x, fs); % 入力音声の再生 >> soundsc(y, fs); % 合成音声の再生合成音が再生されれば導入は完了 Signal Processing Toolbox 必須のため注意 13

15 Windows での導入手順 Visual studio を利用恐らく Viaual Studio Community エディションで OK 本資料は,Visual Studio 2015 でチェック済み Visual studio community エディションで検索してインストール WORLD そのものはインストール不要 14

16 音声分析変換合成の例

17 MATLAB 版で必要なファイルをダウンロード可能作業フォルダにファイルを配置 ( あるいは WORLD のフォルダにおいても OK) >> Help WorldSynthesizer で書式を確認 >> WorldSynthesizer( vaiueo2d.wav, output.wav, 1, 1, 1); 順番に入力ファイル名出力ファイル名 F0 の変化率フォルマントの変化率発話時間の変化率 16

18 C++ 版赤丸のアイコンをダブルクリックで起動 Release x64 にして F7 でコンパイル現フォルダに x64 フォルダができるのでその下の Release に.exe が作成 17

19 実行方法 (1/3) コマンドプロンプトを開くコマンドプロンプトの実行画面コマンドまで入れれば出る 18

20 アドレスを選択して右クリック実行方法 (2/3) アドレスをコピー cd まで打ち右クリックでペースト最後にを打って Enter を押す 19

21 実行方法 (3/3) 書式は MATLAB と同じだがファイル名をで囲む必要がない分析音声のデータが表示される簡単な音声変換はこのコマンドで実現可能! 20

22 音声の基本周波数分析の例 ~ バッチ処理による一括分析 ~

23 利用方法 f0analysis.exe と analysis_all.bat を分析したいファイルのあるフォルダに置くこの状態で analysis_all.bat をダブルクリック自動的にフォルダ内の全ファイルを解析 22

24 分析結果の読み込み Excel で読み込み可能全てのファイル 23

25 読み込み時の注意点下にチェック次へをクリック完了をクリック 1 列目は分析時刻,2 列目が F0 無声音の場合は 0 が入っている 24

26 WORLD の特徴分析に失敗する場合パラメータ調整が可能音声モーフィングなどさらに高度な加工も可能合成分析の精度は世界最高でありながら, 特許がないため誰でも自由に利用可能開発者が現役かつ日本人なので, 日本語での問い合わせが可能 ( いつでもご連絡ください ) 25

27 おわりに

28 意見募集実験で使うにあたりどのようなソフトウェアが好ましいかの意見を募集しています望ましい分析パラメータ ( フォルマントなど ) についても同様に募集しています様々な分野で利用可能なツールの開発を目指して今後も研究開発を進めていきます 27

29 参考文献 1 WORLD 本体について ([2] は非周期性指標推定法です ). WORLD [1] (D4C edition [2]) と引用してください. [1] M. Morise, F. Yokomori, and K. Ozawa: WORLD: a vocoder-based high-quality speech synthesis system for real-time applications, IEICE transactions on information and systems, vol. E99-D, no. 7, pp , [2] M. Morise: D4C, a band-aperiodicity estimator for highquality speech synthesis, Speech Communication, vol. 84, pp , Nov

30 参考文献 2 スペクトル包絡推定法 [3] M. Morise: CheapTrick, a spectral envelope estimator for high-quality speech synthesis, Speech Communication, vol. 67, pp. 1-7, March [4] M. Morise: Error evaluation of an F0-adaptive spectral envelope estimator in robustness against the additive noise and F0 error, IEICE transactions on information and systems, vol. E98-D, no. 7, pp , July

31 参考文献 3 基本周波数推定法 Harvest [5] M. Morise: Harvest: A high-performance fundamental frequency estimator from speech signals, in Proc. INTERSPEECH 2017, pp ,

32 31

Maple 12 Windows版シングルユーザ/ネットワークライセンス

Maple 12 Windows版シングルユーザ/ネットワークライセンス Maple インストールアンインストール手順書スタンドアロン版更新日 2017/09/27 はじめにこの手順書は Windows 32bit Windows 64bit Mac OS Linux に対応しております詳しい動作環境についてはこちらをご参照ください http://www.cybernet.co.jp/maple/product/system/maple.html この手順書の説明画面は