INFOPRO2017tabataA32

Size: px

Start display at page:

Download "INFOPRO2017tabataA32"

きみとしのあき
5 years ago
Views:

1 A32 INFOPRO ニューラル翻訳を用いた中国特許機械翻訳精度の検証 : 中国特許の日本語及び英語への機械翻訳精度の検証富士フイルム ( 株 ) 田畑文也 1

2 発表内容目次 1. はじめに 2. 機械翻訳精度評価に用いたシステム 3. 機械翻訳精度評価方法 4. 機械翻訳精度評価結果と考察 5. まとめ ( 注 ) 本発表は 2017 年度アジア特許情報研究会の WG 活動の一環です 2

3 1. はじめに 1.1 AI とニューラル翻訳 AI( 人工知能 ) の急激な進化で人間の脳を模倣したニューラルネットワークを用いた手法で自然言語に関する処理技術も進みこの手法を用いたニューラル ( 機械 ) 翻訳 (NMT: Neural Machine Translation) が登場! 3

4 1.2 機械翻訳のトレンドルールベース ( 機械 ) 翻訳 (RBMT: Rule-Based Machine Translation) 統計 ( 的機械 ) 翻訳 (SMT: Statistical Machine Translation) ) ニューラル ( 機械 ) 翻訳 (NMT: Neural Machine Translation) ( 注 : トレンドと翻訳精度は一致する訳ではない ) 4

5 1.3 機械翻訳のアルゴリズム翻訳方法名ルールベース翻訳 (RBMT) 統計翻訳 (SMT) ニューラル翻訳 (NMT) 翻訳のアルゴリズムルールに基いて翻訳する方法大量の対訳データを解析しその統計結果から適した訳し方を割り出す翻訳方法機械学習を用いたディープニューラルネットを使用し単語の意味だけでなく接頭辞や語幹単語の位置なども考慮し自然な文の流れを分析して翻訳する方法表 1. 機械翻訳のアルゴリズム 5

6 1.4 NMT( ニューラル翻訳 ) 対応例 ( 例 )Google 翻訳 SMT NMT へ英語日本語 2016 年 11 月頃中国語日本語 2017 年 8 月下旬頃ただし 2017 年 8 月時点で NMT に対応した中日翻訳システムは非常に少ないのが現状である図 1.Google 翻訳システム例 ( 注 : Google 翻訳は上記図 1 と Web ページ翻訳等では翻訳アルゴリズムが異なること有り本報告では上記図 1 に表示されるものを用いた ) 6

7 1.5 今回の評価の目的実務で困っている中国特許の機械翻訳レベルの把握のため NMTの翻訳精度を従来のアルゴリズムと比較しレベル確認する NMT 特有の問題がないかまたその問題レベルを確認するを実施したなお中日の NMT に対応したシステムが非常に少ないので中英も合わせて評価した 7

8 2. 機械翻訳精度評価に用いたシステム 2.1 評価に用いたシステム ( 中日 ) 中国語日本語 ( 無料で一般公開されているものから選択 ) システム URL 中国語日本語翻訳アルゴリズム Google 翻訳 NMT( 推定 ) MS 翻訳 om/neural NMT および SMT JPO 中韓文献 RBMT 表 2. 中国語から日本語への機械翻訳システム注 1: Google 翻訳については 2017 年 8 月以前の SMT のデータも一部残っておりこれも使用した 8

2.2 Google 翻訳中日英のアルゴリズムは NMT( 推定 ) 図.2 Google 翻訳 URL: https://translate.

9 2.2 Google 翻訳中日英のアルゴリズムは NMT( 推定 ) 図.2 Google 翻訳 URL: ( 注 )Google 翻訳についてはマウスオーバーした時単語でなく文がハイライトされると翻訳アルゴリズムが NMT とのこと 9

10 2.3 MS 翻訳 NMT と SMT の両方に対応 URL: microsoft.com/n eural 一つのシステム上で NMT と SMT に対応しており同じシステム上で比較できる図.3 MS 翻訳 10

11 2.4 JPO 中韓文献翻訳検索システム RBMT で機械翻訳された文を提供するシステム図.4 JPO 中韓文献翻訳検索システム URL: 11

12 2.5 評価に用いたシステム ( 中英 ) 中国語英語 ( 無料で一般公開されているものから選択 ) システム Google 翻訳 MS 翻訳 WIPO 翻訳百度翻訳 URL ogle.co.jp/ icrosoft.com/neural ranslate.jsf?interfac elanguage=en om/ 中国語英語翻訳アルゴリズム NMT 表 3. 中国語から英語への機械翻訳システム NMT および SMT NMT および従来型 ( 非公表 ) NMT( 推定 ) 12

13 2.6 WIPO 翻訳中英 NMT と従来型 ( 非公表 ) で翻訳 URL: ipo.int/translate/transl ate.jsf?interfacelang uage=en ( 注 : 中国語日本語への翻訳には対応していない ) 図 5. WIPO 翻訳 13

14 2.7 百度翻訳中英の翻訳は NMT ( 推定 ) を使用図 6. 百度翻訳 URL: 百度翻訳は中国人の方がよく使われている機械翻訳システムです 14

15 3. 機械翻訳精度評価方法 3.1 評価方法基準特許庁情報技術統括室, 特許文献機械翻訳の品質評価手順 Ver1.0 (2014 年 6 月 ) を参考に (1) 単語としての評価 (2) 文としての評価を中日 (4~5 システム ) 中英 ( 単語評価のみ 6 システム ) について中国語を理解できる日本人評価者 1 名で実施した 15

16 3.2 単語としての評価基準ランクレベル点数 A( 適訳語 ) 人手翻訳に照らし技術的に同義かつ一般的に用いられる訳語である B( 可訳語 ) 技術用語として一般的に用いられる訳語ではないが意味はおおむね正しい C( 誤訳語 ) 誤訳である 0 D( 不訳語 ) 未知語訳漏れである 0 表 4. 技術単語用語の評価基準

17 3.3 文としての評価基準 1 内容伝達レベルの評価基準レベル 5: すべての重要情報が正確に伝達されている (100%) 4: ほとんどの重要情報は正確に伝達されている (80%~) 3: 半分以上の重要情報は正確に伝達されている (50%~) 2: いくつかの重要情報は正確に伝達されている (20%~) 1: 文意がわからないもしくは正確に伝達されている重要情報はほとんどない (~20%) 点数表 5. 内容伝達レベルの評価基準 17

18 3.4 文としての評価基準 2 流暢さの評価基準レベル点数 5: 文意が明解で人間が書いた日本語文に近い 5 4: 日本語文として不自然な箇所を若干含むが文意は明解である 3: 日本語文として不自然な箇所があり文意がわかりにくい 2: 日本語文法規則に反する表現をかなり含む文意がわからない : 日本語文として成立していない 1 表 6. 流暢さの評価基準 18

19 3.5 単語として評価した技術用語日本語中国語意図ポリエチレンテレフタレート (PET) 聚对苯二甲酸乙二酯確立された汎用用語シェールガス页岩气比較的新しい用語クラッシュボックス ( 衝撃吸収ボックス ) 碰撞吸能盒業界専門用語的であまり一般用語ではないもの表 7. 単語として評価した技術用語 19

20 3.6 評価内容一覧評価単位技術用語評価対象部分対象システム単語文ポリエチレンテレフタレートシェールガスクラッシュボックス発明の名称 (3 用語各 N=10 計 30 種 ) 要約部分 (3 系統各 N=3 計 9 種 ) 中日 5 システム中英 6 システム中日 4 システム表 8. 評価内容一覧 ( 注 ) 文の評価としては要約のうち着目した技術用語を含む部分の文を評価した 20

4. 機械翻訳精度評価結果と考察 4.1 中日の単語としての翻訳精度評価日本語への機械翻訳評価単語翻訳スコア 2.5 2.0 1.5 1.0 0.

21 4. 機械翻訳精度評価結果と考察 4.1 中日の単語としての翻訳精度評価日本語への機械翻訳評価単語翻訳スコア PET シェールガスクラッシュボックス翻訳アルゴリズムがRBMT のJPO 中韓文献が最も単語として翻訳精度良く従来の翻訳アルゴリズムのものよりむしろNMT 方が翻訳精度悪い結果である 0.0 MS 翻訳 (SMT) MS 翻訳 (NNT) Google 翻訳 (SMT) Google 翻訳 (NNT) システム - 用語 JPO 中韓文献 (RBMT) 図 7. 中国語から日本語への単語翻訳精度評価 21

22 4.2 中日単語訳の表記例碰撞吸能盒 ( クラッシュボックス ) の翻訳例本例では Google 翻訳 (NMT) の誤訳が顕著であることがわかる能にはできるとエネルギーの二つの意味があり誤訳が生じたと考える図 8. クラッシュボックスの単語翻訳例 22

4.3 中英の単語としての翻訳精度評価英語への機械翻訳評価 2.5 単語翻訳スココア 2.0 1.5 1.

23 4.3 中英の単語としての翻訳精度評価英語への機械翻訳評価 2.5 単語翻訳スココア PET シェールガスクラッシュボックス中国語から英語への単語としての機械翻訳精度は全体的に日本語への機械翻訳よりレベルが高く翻訳アルゴリズムの差よりシステムの差の方が顕著である MS 翻訳 (SMT) MS 翻訳 (NMT) Google 翻訳 (NMT) WIPO 翻訳 ( 従来型 ) システム - 用語 WIPO 翻訳 (NMT) 百度翻訳 (NMT) 図 9. 中国語から英語への単語翻訳精度評価 23

24 4.4 中日の文としての翻訳精度評価文としてての翻訳スコア文としての機械翻訳評価 ( 中国語日本語 ) 内容伝達レベル流暢さ単語での翻訳精度と異なり全体的にNMT の方が精度良く特に流暢さについてその傾向が強い 0 システム / 評価内容図 10. 中国語から日本語への文としての翻訳精度評価 24

25 4.4 文としての翻訳例原文 & 人間翻訳従来型 NMT CN A [ 原文 ] 通过本发明的采收方 [JPO 中韓文献 ] RBMT 本発明の回収法によって有効率の地獲得 [Google 翻訳 NMT] 本発明の回収方法によればシェールガス法, 可以有效率地采收シェールガス頁岩油なシェールオイル等を効页岩气页岩油等ど ( 動詞の訳抜け ) 率良く回収することができる [ 人間翻訳 ] 本発明の採取方法によって効率的にシェールガスやシェールオイル等を採取できる [MS 翻訳 SMT] ( 訳抜け : 本発明の ) 収穫によるはシェールガスシェールオイルが効率的に収穫することができます [MS 翻訳 NMT] ( 訳抜け : 本発明の ) 収穫の方法を通じてシェールガスやシェールオイルを効率的に収穫できる表 9. 文としての翻訳例 NMT の文としての流暢さが顕著にわかる 25

4.5 NMT の訳抜け例跡形もなく訳抜けが生じる原文 & 人間翻訳 [JPO 中韓文献 ] RBMT [Google 翻訳 ] NMT CN102414261A [ 原文 ] 本発明は太陽電池用二軸延伸ポ本発明は

人間翻訳 ] はチタン化合物を重縮合触媒のポ延伸ポリエステルフィルムであって本発明は太陽電池用二軸延伸ポリエステルリエチレンテレフタラート組成物組が ( 訳抜け : 太陽電池用 ) なった二軸延伸ポリエステル膜と

26 4.5 NMT の訳抜け例跡形もなく訳抜けが生じる原文 & 人間翻訳 [JPO 中韓文献 ] RBMT [Google 翻訳 ] NMT CN A [ 原文 ] 本発明は太陽電池用二軸延伸ポ本発明は重縮合触媒としてアンチモン化本发明提供太阳能电池リエステル膜を提供しそれは理合物及び / 又はチタン化合物を含有するポリ用双轴拉伸聚酯膜, 由としてアンチモン化合物及び / 又エチレンテレフタレート組成物からなる二軸 [ 人間翻訳 ] はチタン化合物を重縮合触媒のポ延伸ポリエステルフィルムであって本発明は太陽電池用二軸延伸ポリエステルリエチレンテレフタラート組成物組が ( 訳抜け : 太陽電池用 ) なった二軸延伸ポリエステル膜とフィルムを提供しし表 10. NMT 訳抜け例 NMT は流来型機械翻訳に比べ流暢に訳されており一見誤訳が無いように感じやすいが訳抜けが散見され注意が必要と考える文は滑らかだが太陽電池用の部分に訳抜けがあり対象に関する判断ミスを起こしかねない 26

4.6 NMT の訳語の非統一例碰撞吸能盒 ( クラッシュボックス ) の訳の統一性について原文 [JPO 中韓文献 ] RBMT [Google 翻訳 ] NMT CN100500495C 本発明は自動車車体

和插入在纵衝突クラッシュボックス (4) 収ボックスとを有する自動車梁 (2) 中的碰撞吸能盒 (4), 在がありメンバー (2) と離間車体に関し衝撃吸収ボッ与纵梁 (2) 相分离的状态下碰

7,7 ' の間の空間より窄, 由此可以将碰撞吸能盒も狭くクラッシュボックス4 (4) を 2 個の対向壁 (7,7 ) の間のピッチが狭い状態でこれによって衝突してクラッシュボックス (4)

27 4.6 NMT の訳語の非統一例碰撞吸能盒 ( クラッシュボックス ) の訳の統一性について原文 [JPO 中韓文献 ] RBMT [Google 翻訳 ] NMT CN C 本発明は自動車車体 (1) に本発明は長手方向のビー [ 原文 ] 本发明涉及一种汽车车身関しそれはメンバー (2) とメンバー (2) 中に挿入するムと長手方向のビームに挿入された衝撃エネルギー吸 (1), 其有纵梁 (2) 和插入在纵衝突クラッシュボックス (4) 収ボックスとを有する自動車梁 (2) 中的碰撞吸能盒 (4), 在がありメンバー (2) と離間車体に関し衝撃吸収ボッ与纵梁 (2) 相分离的状态下碰して衝突クラッシュボックスクスはエネルギーボック撞吸能盒 (4) 比纵梁 (2) 的两个 (4) が比べたメンバー (2) のス 4 はサイド部材 2 の 2 つの対相对壁 (7,7 ) 之间的间距向する壁 7,7 ' の間の空間より窄, 由此可以将碰撞吸能盒も狭くクラッシュボックス4 (4) を 2 個の対向壁 (7,7 ) の間のピッチが狭い状態でこれによって衝突してクラッシュボックス (4) 簡便のようにメンバー (2) 中に挿入することができる取り付けた後衝突クラッシュボックス (4) 訳の重複も有り ( 同じ訳語が二度出現 ) 表 11. NMT の訳語の非統一例 NMT では同じ語についての訳語の非統一が散見される 27

28 4.7 実務としての NMT 利用訳抜け等対策方法例 NMTを用いた機械翻訳が現時点で読みやすいと考えるが文が滑らかで訳抜け等の誤訳に気づきにくいことも考えられる当面査読時には単語が決まった訳に設定されやすいRBMTなども併用するなどの対策も有効と考える原文 NMT RBMT,SMT ( 内容理解用 ) ( 誤訳確認用 ) 図 11. 査読時のイメージ 28

29 5. まとめ 5.1 まとめ 1 中国特許について日本語及び英語への機械翻訳精度について調べた結果 (1) 日本語への翻訳精度は単語としては NMT より従来型翻訳の方が精度良い傾向であるただし文としてはNMT の方が精度良く特に流暢に訳され読みやすい傾向にある (2) 英語への単語の翻訳精度は全体的に日本語への翻訳より精度良く翻訳アルゴリズムよりむしろシステム間の差が顕著な傾向であった 29

30 NMT の翻訳について 5.2 まとめ 2 従来型機械翻訳に比べ流暢で読みやすい傾向にあるが (1) 訳抜け (2) 訳語の非統一が散見されるただし文が滑らかで誤訳に気づきにくい翻訳文を読む際には従来の観点とは異なる注意 ( 例 :RBMT と並べて確認するなど ) が必要と考える今後の NMT の精度向上に期待したい 30

31 ご清聴ありがとうございました! 谢谢大家! 31

第14回情報プロフェッショナルシンポジウム予稿集

第14回情報プロフェッショナルシンポジウム予稿集ニューラル翻訳を用いた中国特許機械翻訳精度の検証 : 中国特許の日本語及び英語への機械翻訳精度の検証田畑文也 1) 富士フイルム ( 株 ) 1) 421-0396 静岡県榛原郡吉田町川尻 4000 E-mail: fumiya.tabata@fujifilm.com Study of Neural Machine Translation accuracy of Chinese Patents: