多言語音声翻訳d

Size: px

Start display at page:

Download "多言語音声翻訳d"

ありあみやのじょう
4 years ago
Views:

1 世界の言葉の壁をなくす多言語音声翻訳技術とその社会展開先進的音声翻訳研究開発推進センター内元清貴 2019/6/22 1

2 多言語音声翻訳アプリ VoiceTra( ボイストラ ) NICT が研究開発した音声翻訳技術の実証実験として公開利用無料 31 言語間の翻訳に対応短文の旅行会話が得意入力した文翻訳結果逆翻訳結果 ( 翻訳結果を自分の言語で確認! ) 2019/6/22 3

3 3,495,533 件 ( 時点 ) ミャンマーで話題に VoiceTra Tweet で話題に読売テレビあさパラ! で紹介 NHK おはよう日本で紹介 E テレニュースで英会話で紹介 NHK おはよう首都圏等で紹介 2019/6/22 4

4 多言語音声翻訳技術 2019/6/22 5

5 ネットワーク型多言語音声翻訳の仕組み翻訳アプリ VoiceTra 駅はどこですかネットワーク上のサーバへ入力された音声を送信ネットワーク上のサーバから翻訳された音声が戻ってくる Where is the Station? 音声認識機械翻訳音声合成音声を文字に変換日本語を英語に翻訳文字を音声に変換駅はどこですか Where is the station? 深層学習日本語の音声文字コーパス深層学習日本語と英語の対訳コーパス深層学習英語の音声コーパスサーバ内の処理 2019/6/22 6

声認識で 3 年連続の世界 1 位国際会議 IWSLT2012,2013,2014 英語の講演音声を対象として音声認識の能力を競うコンペ < 単語誤り率 (%) による評価 > 参加組織 2012の評価 2013の評価 2014の評価 NICT 12.1 13.5 8.4 EU-BRIDGE( 欧州 ) - - 9.

6 声認識で 3 年連続の世界 1 位国際会議 IWSLT2012,2013,2014 英語の講演音声を対象として音声認識の能力を競うコンペ < 単語誤り率 (%) による評価 > 参加組織 2012の評価 2013の評価 2014の評価 NICT EU-BRIDGE( 欧州 ) MITLL-AFRL( 米国 ) EU-BRIDGE:RWTH & UEDIN - & KIT & FBK KIT( 欧州 ) MITLL-AFRL: マサチューセッツ工科大学 FBK( 欧州 ) LIUM( 欧州 ) (Facebookに採用された - CMUのエンジンと同等 - ) 12.3 UEDIN( 英国 ) IOIT( アジア ) UEDIN: エディンバラ大学 - ( イギリス ) RWTH( 欧州 ) NAIST( アジア ) /6/22 リンカーン研究所空軍研究所 ( アメリカ ) KIT: カールスルーエ工科大学 ( ドイツ ) FBK: ブルーノケスラー財団 - 研究所 ( イタリア ) LIUM: メーヌ大学 ( フランス ) IOIT: ベトナム科学技術アカデミー情報技術研究所 ( ベトナム ) RWTH: アーヘン工科大学 ( ドイツ ) NAIST: 奈良先端科学技術大学院大学 ( 日本 ) NICT が 3 年連続で 1 位を獲得 NICT の勝因 l 優れた人工知能技術 l 拍手笑い声などの抑圧技術 7

タクシー買物防災改善例 VoiceTra の日本語英語間のニューラル機械翻訳 (NMT) 単語や文の意味を抽出し意訳のような翻訳を実現原文従来 NMT 原文従来 NMT 原文従来 NMT Yes, you can't take a reserved taxi or a pickup taxi.

電子マネーカードは使えないものでも受け付けている店も増えていますクレジットカードが使えなくても電子マネーを使える店は増えてきています This area is the area where inundation has been assumed in the Great Kanto Earthquake type.

7 タクシー買物防災改善例 VoiceTra の日本語英語間のニューラル機械翻訳 (NMT) 単語や文の意味を抽出し意訳のような翻訳を実現原文従来 NMT 原文従来 NMT 原文従来 NMT Yes, you can't take a reserved taxi or a pickup taxi. はい貸切タクシーの送迎タクシーに乗ることはできませんかはい貸切タクシーや送迎タクシーはご利用いただけません There are more and more shops which accept electronic money even though credit cards are not acceptable. 電子マネーカードは使えないものでも受け付けている店も増えていますクレジットカードが使えなくても電子マネーを使える店は増えてきています This area is the area where inundation has been assumed in the Great Kanto Earthquake type. この地域は浸水想定地域は関東大震災のタイプですこの地域は関東大震災型で浸水が想定されている地域です翻訳性能評価 (NICT 調べ ) 86.8% 87.4% 94.4% n 訪日客対応で想定されるタクシー買物防災等の各分野の計 300 文でテストを実施翻訳精度 ( 意味が通じる割合 ) が大幅に改善 2019/6/22 8

8 苦節30年で実験室からフィールドへそしてさらなる次のフェーズへシフトパラダイムルールベース (If-Then-Else) 特定話者文節発声定型文静かな室内会議室予約ニューラルネット化深層学習コーパスベース (統計モデル機械学習) 特定の分野では不特定話者人間の能力を超える丁寧な自発発話展示会会場でもOK (マイクの近くで話せば) 2014 グローバルコミュニケーション GC 計画開始 2019/6/22 オリンピックパラリンピック競技会パラダイム社会還元加速プロジェクト音声翻訳の研究開始 2020 シフト言語の壁のない世界へ全国5観光地域での大規模実証実験世界初の N/W型音声翻訳スマホアプリ VoiceTra 大量の実利用ログで精度向上画像は koho01_ htmlより引用

9 2020 年の利用イメージ目標 :2020 年にショッピング交通医療ホテルなどで普通の ICT 機器として活用される 1Apakah Anda memiliki warna lain? 3 お調べします赤色がありますグローバルコミュニケーション計画 1 お客様の鞄は品川駅で預かっています 2 色違いはありますか? 4Saya cari dulu. Ada yang merah. 1 我肚子疼 2おなかが痛いインドネシア語ショッピング医療中国語開発推進協議会英語交通ホテルベトナム語山手線 2Your bag is being kept at Shinagawa station. 2 眺めのよい部屋に変えてもらえますか? 3 平时吃的药吃完了 4 いつも飲んでいる薬がなくなってしまいました対応言語 (10 言語 ) 日英中韓スペインフランスタイインドネシアベトナムミャンマー 1Có thể đổi cho tôi phòng có tầm nhìn đẹp được không? 2019/6/22 10

10 社会展開 2019/6/22 11

11 NICT多言語音声翻訳技術の社会展開例電話利用工場 IPテレフォニー向け多語声翻訳ソフトウェア情報通信エンジニアリング多語業務向けシステム住友ゴム業(ATR-Trek) プラットフォームタクシー飲食宿泊などみらい翻訳プラットフォーム声翻訳APIサービス mimi クラウドAPIサービスみらい翻訳フェアリーデバイセズ多語声APIサービス本電気病院ショッピング飲食など TOTTRA 取県ハイヤータクシー協会 (フェアリーデバイセズ) 医療機関向けハンズフリー多語声翻訳システム富通自治体学校医療通訳タブレットMELON コニカミノルタ観光施設宿泊など接客声翻訳三菱地所(凸版印刷 SmaLingualシリーズスマートカルチャーゲートウェイ果てぬ夢[IP Dream] ili インバウンドログバー東京 TOKYO VoiceBiz(ボイスビズ) 凸版印刷 Fairy I/O Tumbler T-01 フェアリーデバイセズはなして翻訳 NTTドコモ対ホンヤクパナソニック NEC翻訳本電気郵便多語翻訳アプリ本郵便(凸版印刷しゃべって翻訳for A ATR-Trek TabiTra 凸版印刷観光地などおてぽん! 声翻訳リクルートコミュニケーションズ警察消防 mimi 声翻訳 powered by NICT フェアリーデバイセズ POCKETALK W ソースネクスト ili(イリー) ログバーどこでも翻訳フィート PIT/スマホと腕時計型端末岡県警 VoiceTra 道府県警(NICT) 実証実験中鉄道駅コンシェルソリューションズテクノロジー救急ボイストラ消防庁 ( 鉄道向け多機能翻訳アプリ京急 NICT ブリックス G 実証実験時 13

12 救急ボイストラ全国の消防本部への導入消防研究センターと共同で救急隊用の多言語音声翻訳アプリ救急ボイストラを開発し平成 29 年 4 月 18 日より全国の消防本部に対して提供を開始平成 31 年 4 月現在 392 消防本部 ( 半数超 ) で利用開始約 3,780 台規模の端末を導入予定対応言語 (15 言語 ) 英語中国語韓国語スペイン語フランス語タイ語インドネシア語ベトナム語ミャンマー語台湾華語マレー語ロシア語ドイツ語ネパール語ブラジルポルトガル語出典 : 報道発表資料 (H29/4/18) 開発のポイント 1. 救急現場で必要となる辞書 / 対訳例文の充実 2. 救急現場で使用頻度が高い会話内容を定型文として登録(15 言語 ) 3. 定型文での質問 / 確認に対して外国人傷病者が返答できるユーザインタフェースを追加 2019/6/22 15

13 NICT の多言語音声翻訳技術に関連した報道発表掲載数 (2014 年 12 月年度 ) 年度別合計報道発表掲載数 ( 件 ) 2018 年度 1, 年度年度年度年 12 月 4 報道発表数および新聞雑誌 WEB など掲載数テレビラジオなど報道数 ( 件 ) ( 情報通信研究機構 ASTREC 企画室調べ 2019 年 3 月 31 日時点 ) 2014 年年度 12 ~ 月 5 月 6 月 7 月 8 月 9 月 10 月 11 月 12 月 1 月 2 月 3 月有年度 2017 年度 2016 年度 2015 年度 2019/6/22 23

14 今後の技術展開 2019/6/22 24

15 言語識別技術話された言葉が何語かを自動判別短い発話 (1.5 秒程度 ) に対応 8 言語 ( 日英中韓タイミャンマーベトナムインドネシア ) 対応 90% 以上の精度で識別言語識別に要する計算時間は 0.15 秒これまで何語なのかわからないよこれから言語識別技術の導入 ดอกซาก ระบานถ งเม 1อไหร คร บ? ดอกซาก ระบานถ งเม 1อไหร คร บ? タイ語桜はいつまで咲いていますか? 2019/6/22 25

16 リアルタイム多言語字幕付与システム ( 同時通訳システム ) 2019/6/22 27

17 処理方式の違い今後の課題文脈マルチモーダル情報の考慮 2019/6/22 28

18 さらなる普及発展に向けて 2019/6/22 31

多言語音声翻訳コンテスト音声翻訳技術の社会実装に向けて音声翻訳技術の応用に係るコンテストを実施 n

コンテストウェブサイトイメージアプリシステムユーザアプリシステム開発者 ( 企業 / 個人 )

NICT 製音声認識 API NICT 製機械翻訳音声翻訳サーバ NICT 製音声合成サンドボックスサーバ平成

19 多言語音声翻訳コンテスト音声翻訳技術の社会実装に向けて音声翻訳技術の応用に係るコンテストを実施 n サンドボックスサーバの開放 n 応用アイデアの発掘と調査 Ø アイデアコンテスト Ø PoC( 試作品 ) コンテストウェブサイトイメージアプリシステムユーザアプリシステム開発者 ( 企業 / 個人 ) 音声翻訳アプリ音声翻訳アプリ音声翻訳システムアイデア PoC コンテストの対象部分提供会社 NICT NICT 製音声認識 API NICT 製機械翻訳音声翻訳サーバ NICT 製音声合成サンドボックスサーバ平成 30 年 10 月 ~ 平成 31 年 3 月に内閣府 PRISM( 官民研究開発投資拡大プログラム ) 予算を活用して実施 2019/6/22 32

20 翻訳バンクプロジェクト総務省と NICT の共同プレスリリース 4 年で 10 倍の増量スピードを目指す翻訳データの拠出と高精度自動翻訳エンジンの提供のポジティブループの促進 2019/6/22 34

21 2019/6/22 35

2 機器等サービス名 ili ( イリー ) 提供会社 ( 株 ) ログバーサービス開始時期 2017 年 6 月 ~ 概要 ili ( イリー ) は旅行に特化したワンフレーズ音声翻訳デバイスですインターネットは不要日英中の言語に対応しています法人向けサービス ili for Gue

2 機器等サービス名 ili ( イリー ) 提供会社 ( 株 ) ログバーサービス開始時期 2017 年 6 月 ~ 概要 ili ( イリー ) は旅行に特化したワンフレーズ音声翻訳デバイスですインターネットは不要日英中の言語に対応しています法人向けサービス ili for Gue 1 アプリサービス名どこでも翻訳提供会社 ( 株 ) フィートサービス開始時期 2016 年 2 月 ~ 概要ネットワーク接続を必要とせずにスマートフォンのみで動作するサーバーレス型 ( スタンドアローン型 ) の音声翻訳アプリですインターネットに接続できない環境でも音声翻訳機能を利用することができます利用環境 : オフライン対応言語 : 日英日中日韓の 3 タイプ想定シーン