VB 資料電脳梁山泊烏賊塾音声認識 System.Speech の利用 System.Speech に依るディクテーション ( 音声を文字列化 ).NetFramework3.0 以上 (Visual Studio 2010 以降 ) では標準で System.Speech が用意されて居るの

Size: px

Start display at page:

Download "VB 資料電脳梁山泊烏賊塾音声認識 System.Speech の利用 System.Speech に依るディクテーション ( 音声を文字列化 ).NetFramework3.0 以上 (Visual Studio 2010 以降 ) では標準で System.Speech が用意されて居るの"

せとかつくとの
4 years ago
Views:

1 音声認識 System.Speech の利用 System.Speech に依るディクテーション ( 音声を文字列化 ).NetFramework3.0 以上 (Visual Studio 2010 以降 ) では標準で System.Speech が用意されて居るので此れを利用して音声認識を行うサンプルを紹介する下記の様な Windows フォームアプリケーションを作成するエディタを起動すると System.Speech の参照を追加する -1-

2 下記はマイクに向かって話すと其れを文字列化するコードで有る Visual Basic 2010 Imports System.Speech.Recognition Public Class Dictation Private Rec As SpeechRecognitionEngine = New SpeechRecognitionEngine() ' フォームが読み込まれた時の処理 Private Sub Dictation_Load(ByVal sender As System.Object, ByVal e As System.EventArgs) _ Handles MyBase.Load ' 音声認識が認識処理を終えた時のイベントハンドラの設定 AddHandler Rec.SpeechRecognized, AddressOf Rec_SpeechRecognized ' 音声認識が推定処理を終えた時のイベントハンドラの設定 AddHandler Rec.SpeechHypothesized, AddressOf Rec_SpeechHypothesized ' DictationGrammar( ディクテーション用の辞書 ) の追加する ' SystemSpeech を利用したディクテーションを行う場合には必要 Rec.LoadGrammar(New DictationGrammar()) ' 実行環境の標準の入力を音声認識エンジンの入力に設定 Rec.SetInputToDefaultAudioDevice() ' 非同期の認識を継続して実行する様にして音声認識を開始 Rec.RecognizeAsync(RecognizeMode.Multiple) ' フォームが閉じられる時の処理 Private Sub Dictation_FormClosing(ByVal sender As Object, _ ByVal e As System.Windows.Forms.FormClosingEventArgs) Handles Me.FormClosing Rec.Dispose() ' ボタンをクリックした時の処理 Private Sub btnclear_click(byval sender As System.Object, ByVal e As System.EventArgs) _ Handles btnclear.click lstdisp.items.clear() ' 推定時の処理 Private Sub Rec_SpeechHypothesized(ByVal sender As System.Object, _ ByVal e As SpeechHypothesizedEventArgs) lstdisp.items.add(" " & e.result.text & "(" & e.result.confidence & ")") ' 認識時の処理 Private Sub Rec_SpeechRecognized(ByVal sender As System.Object, _ ByVal e As SpeechRecognizedEventArgs) lstdisp.items.add(" " & e.result.text & "(" & e.result.confidence & ")") End Class -2-

3 Visual C# 2010 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using System.Speech.Recognition; namespace Dictation public partial class Dictation : Form SpeechRecognitionEngine rec = new SpeechRecognitionEngine(); public Dictation() InitializeComponent(); // フォームが読み込まれた時の処理 private void Dictation_Load(object sender, EventArgs e) // 音声認識が認識処理を終えた時のイベントハンドラの設定 rec.speechrecognized += rec_speechrecognized; // 音声認識が推定処理を終えた時のイベントハンドラの設定 rec.speechhypothesized += rec_speechhypothesized; // DictationGrammar( ディクテーション用の辞書 ) の追加する // SystemSpeech を利用したディクテーションを行う場合には必要 rec.loadgrammar(new DictationGrammar()); // 実行環境の標準の入力を音声認識エンジンの入力に設定 rec.setinputtodefaultaudiodevice(); // 非同期の認識を継続して実行する様にして音声認識を開始 rec.recognizeasync(recognizemode.multiple); //' フォームが閉じられる時の処理 private void Dictation_FormClosing(object sender, FormClosingEventArgs e) rec.dispose(); // ボタンをクリックした時の処理 private void btnclear_click(object sender, EventArgs e) lstdisp.items.clear(); -3-

4 // 推定時の処理 void rec_speechhypothesized(object sender, SpeechHypothesizedEventArgs e) lstdisp.items.add(" " + e.result.text + "(" + e.result.confidence + ")"); // 認識時の処理 void rec_speechrecognized(object sender, SpeechRecognizedEventArgs e) lstdisp.items.add(" " + e.result.text + "(" + e.result.confidence + ")"); 音声認識処理をする為には一般に下記の手順が必要で有る 1. 音声認識エンジンを用意する 2. 音声認識エンジンに認識させる語句を追加する 3. 音声認識エンジンに入力する音声ストリームを指定する 4. 音声認識エンジンが認識処理を実行した時の処理を設定する 5. 音声認識処理を開始する上記 2 の認識させる語句とはディクテーション処理専用の語句を収録した辞書の事で通常音声認識は特定の語句が発せられたか何うかを識別する識別処理を行う為に行われる事が多い為特定の語句が収録された辞書を登録する事が多い但し前記のプログラムの様に話した言葉を其の儘文字列化する場合は識別出来る総ての語句を識別する必要が有る為利用者が任意に指定する語句ではなく自由形式テキストディクテーションに使用する音声認識文法を使用して居る猶特定の語句が発せられたか何うかを識別するレコグニションの処理を行う場合使用する特定の語句を収録した辞書を作成すると格段に認識の制度が上がる其の例を下記に示す -4-

5 下記はマイクに向かって烏賊さん蛸さん鮃さんと呼び掛けると返事をし続けて綺麗だね可愛いねか不細工だね醜いねと謂うと其れに対する返事をするコードで有る猶推定処理はを認識処理はを返事にはを行頭に付けて居る Visual Basic 2010 Imports System.Speech.Recognition Public Class Dictation Private Engine1 As SpeechRecognitionEngine Private Engine2 As SpeechRecognitionEngine Private AwakeWord() As String = " 烏賊さん ", " 蛸さん ", " 鮃さん " Private Praise() As String = " 綺麗だね ", " 可愛いね " Private Dispraise() As String = " 不細工だね ", " 醜いね " ' フォームが読み込まれた時の処理 Private Sub Dictation_Load(ByVal sender As System.Object, ByVal e As System.EventArgs) _ Handles MyBase.Load Dim Awake As Choices = New Choices(AwakeWord) Engine1 = New SpeechRecognitionEngine() ' 音声認識が認識処理を終えた時のイベントハンドラの設定 AddHandler Engine1.SpeechRecognized, AddressOf Rec_SpeechRecognized ' 音声認識が推定処理を終えた時のイベントハンドラの設定 AddHandler Engine1.SpeechHypothesized, AddressOf Rec_SpeechHypothesized ' 独自の文法を導入 Engine1.LoadGrammar(New Grammar(New GrammarBuilder(Awake))) ' 実行環境の標準の入力を音声認識エンジンの入力に設定 Engine1.SetInputToDefaultAudioDevice() ' 非同期の認識を継続して実行する様にして音声認識を開始 Engine1.RecognizeAsync(RecognizeMode.Multiple) Dim Actions As Choices = New Choices() Actions.Add(Praise) Actions.Add(Dispraise) Dim Gb As GrammarBuilder = New GrammarBuilder() Gb.Append(Awake) Gb.Append(Actions) Engine2 = New SpeechRecognitionEngine() ' 音声認識が認識処理を終えた時のイベントハンドラの設定 AddHandler Engine2.SpeechRecognized, AddressOf Rec_SpeechRecognized ' 音声認識が推定処理を終えた時のイベントハンドラの設定 AddHandler Engine2.SpeechHypothesized, AddressOf Rec_SpeechHypothesized ' 独自の文法を導入 Engine2.LoadGrammar(New Grammar(Gb)) ' 実行環境の標準の入力を音声認識エンジンの入力に設定 Engine2.SetInputToDefaultAudioDevice() ' 非同期の認識を継続して実行する様にして音声認識を開始 Engine2.RecognizeAsync(RecognizeMode.Multiple) ' フォームが閉じられる時の処理 Private Sub Dictation_FormClosing(ByVal sender As Object, _ -5-

6 ByVal e As System.Windows.Forms.FormClosingEventArgs) Handles Me.FormClosing Engine1.Dispose() Engine2.Dispose() ' ボタンをクリックした時の処理 Private Sub btnclear_click(byval sender As System.Object, ByVal e As System.EventArgs) _ Handles btnclear.click lstdisp.items.clear() ' 推定時の処理 Private Sub Rec_SpeechHypothesized(ByVal sender As System.Object, _ ByVal e As SpeechHypothesizedEventArgs) lstdisp.items.add(" " & e.result.text & "(" & e.result.confidence & ")") ' 認識時の処理 Private Sub Rec_SpeechRecognized(ByVal sender As System.Object, _ ByVal e As SpeechRecognizedEventArgs) lstdisp.items.add(" " & e.result.text & "(" & e.result.confidence & ")") ' 処理を分ける Dim isok As Boolean = False 'praise.any(x => e.result.text.contains(x)); Dim isng As Boolean = False 'dispraise.any(x => e.result.text.contains(x)); For I As Integer = 0 To (Praise.Length - 1) If e.result.text.contains(praise(i)) Then isok = True : Exit For End If Next For I As Integer = 0 To (Dispraise.Length - 1) If e.result.text.contains(dispraise(i)) Then isng = True : Exit For End If Next If isok Then lstdisp.items.add(" ありがとう ") ElseIf isng Then lstdisp.items.add(" フン!") Else lstdisp.items.add(" は ~ い!") End If End Class Visual C# 2010 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using System.Speech.Recognition; -6-

7 namespace Dictation public partial class Dictation : Form private SpeechRecognitionEngine engine1; private SpeechRecognitionEngine engine2; private string[] AwakeWord = new string[] " 烏賊さん ", " 蛸さん ", " 鮃さん " ; private string[] praise = new string[] " 綺麗だね ", " 可愛いね " ; private string[] dispraise = new string[] " 不細工だね ", " 醜いね " ; public Dictation() InitializeComponent(); // フォームが読み込まれた時の処理 private void Dictation_Load(object sender, EventArgs e) Choices awake = new Choices(AwakeWord); engine1 = new SpeechRecognitionEngine(); // 音声認識が認識処理を終えた時のイベントハンドラの設定 engine1.speechrecognized += rec_speechrecognized; // 音声認識が推定処理を終えた時のイベントハンドラの設定 engine1.speechhypothesized += rec_speechhypothesized; // SystemSpeech を利用したディクテーションを行う場合には engine1.loadgrammar(new Grammar(new GrammarBuilder(awake))); // 実行環境の標準の入力を音声認識エンジンの入力に設定 engine1.setinputtodefaultaudiodevice(); // 非同期の認識を継続して実行する様にして音声認識を開始 engine1.recognizeasync(recognizemode.multiple); Choices actions = new Choices(); actions.add(praise); actions.add(dispraise); GrammarBuilder gb = new GrammarBuilder(); gb.append(awake); gb.append(actions); engine2 = new SpeechRecognitionEngine(); // 音声認識が認識処理を終えた時のイベントハンドラの設定 engine2.speechrecognized += rec_speechrecognized; // 音声認識が推定処理を終えた時のイベントハンドラの設定 engine2.speechhypothesized += rec_speechhypothesized; // SystemSpeech を利用したディクテーションを行う場合には engine2.loadgrammar(new Grammar(gb)); // 実行環境の標準の入力を音声認識エンジンの入力に設定 engine2.setinputtodefaultaudiodevice(); // 非同期の認識を継続して実行する様にして音声認識を開始 engine2.recognizeasync(recognizemode.multiple); // フォームが閉じられる時の処理 private void Dictation_FormClosing(object sender, FormClosingEventArgs e) -7-

8 engine1.dispose(); engine2.dispose(); // ボタンをクリックした時の処理 private void btnclear_click(object sender, EventArgs e) lstdisp.items.clear(); // 推定時の処理 private void rec_speechhypothesized(object sender, SpeechHypothesizedEventArgs e) lstdisp.items.add(" " + e.result.text + "(" + e.result.confidence + ")"); // 認識時の処理 private void rec_speechrecognized(object sender, SpeechRecognizedEventArgs e) lstdisp.items.add(" " + e.result.text + "(" + e.result.confidence + ")"); // 処理を分ける bool isok = praise.any(x => e.result.text.contains(x)); bool isng = dispraise.any(x => e.result.text.contains(x)); if (isok) lstdisp.items.add(" ありがとう "); else if (isng) lstdisp.items.add(" フン!"); else lstdisp.items.add(" は ~ い!"); -8-

LogisticaTRUCKServer-Ⅱ距離計算ｻｰﾊﾞ/Active-Xｺﾝﾄﾛｰﾙ/ｸﾗｲｱﾝﾄ　概略　　

LogisticaTRUCKServer-Ⅱ距離計算ｻｰﾊﾞ/Active-Xｺﾝﾄﾛｰﾙ/ｸﾗｲｱﾝﾄ　概略　　 - LogisticaTRUCKServer-Ⅱ(SQLServer 版 ) 距離計算サーハ API.NET DLL WindowsForm サンフルフロクラム - 1 - LogisticaTRUCKServer-Ⅱ 距離計算サーハ.NET DLL WindowsForm VisualBasic での利用方法 LogisticaTRUCKServer-Ⅱ 距離計算.NET DLLのサンプルプログラムの参照サンフ

VB 資料 電脳梁山泊烏賊塾 音声認識 System.Speech の利用 System.Speech に依るディクテーション ( 音声を文字列化 ).NetFramework3.0 以上 (Visual Studio 2010 以降 ) では 標準で System.Speech が用意されて居るの

VB 資料電脳梁山泊烏賊塾音声認識 System.Speech の利用 System.Speech に依るディクテーション ( 音声を文字列化 ).NetFramework3.0 以上 (Visual Studio 2010 以降 ) では標準で System.Speech が用意されて居るの