THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE

Size: px

Start display at page:

Download "THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE"

たみえもちやま
4 years ago
Views:

1 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS TECHNICAL REPORT OF IEICE mine@gavo.t.u-tokyo.ac.jp OJAD (Online Japanese Accent Dictionary) [1] Development of an online accent dictionary and a reading tutor to support teaching and learning of Japanese prosody N. MINEMATSU, I. NAKAMURA, M. SUZUKI, H. HIRANO, C. NAKAGAWA, N. NAKAMURA, Y. TAGAWA, K. HIROSE, and H. HASHIMOTO The University of Tokyo, 7 3 1, Hongo, Bunkyo-ku, Tokyo, Japan Northeast Normal University, No.2555 Jingyue St, Changchun, Jilin, China Waseda University, 1 6 1, Nishi-Waseda, Shinjuku-ku, Tokyo, Japan Keio Univeristy, , Mita, Minato-ku, Tokyo, Japan mine@gavo.t.u-tokyo.ac.jp Abstract Through tight collaboration with teachers of Japanese, an online accent dictionary and a reading tutor are developed to support teaching and learning of Japanese prosody. In this development, techniques of natural language processing and spoken language processing are effectively applied. What makes teaching and learning of Japanese accent difficult is the fact that word accent of Japanese often changes due to its context. In this paper, firstly, we focus on verbs and adjectives because their accent changes are relatively systematic. A web-based dictionary system of presenting their accent changes visually, auditorily, and comprehensively is developed. Then, another tutoring system of displaying the pitch pattern and the accent nucleus locations of an any given sentence is developed for teaching and learning of Japanese intonation. Objective and/or subjective evaluation experiments are done for these systems by using teachers and students of Japanese as subjects. The results show very high educational effectiveness of the systems. Currently, the systems are freely available in public under the name of OJAD (Online Japanese Accent Dictionary) and they are effectively used in Japanese classes all over the world. Key words Japanese pronunciation teaching, accent, intonation, verb and adjective, speech synthesis, accent estimation, evaluation experiment 1

2 1. [2] public speaking TV [3] [4] [5] 1 NHK [7] 1 [6] dyslexia にほんごのべんきょうは / むずかしいですが / だいすきです 1 3 [8] Text-to-Speech TTS Web TTS [9] [10] [11] 1 1) 2) [10] % 2 2

3 TTS TTS [12] [13], [14] public speaking TA MeCab v0.993 UniDic v UniDic IPADIC MeCab [15] 99.1% 98.7% 97.7% CaboCha v ) 2) [16] CRF CRF++ v0.57 [16] 97.4% 90.5% 94.7% 3. 3 [17] OJAD ON , web ,000 42, / 200msec [18] web MySQL v CakePHP v ) 2) 3) 3) 4) ON/OFF 3 3

2 後続語検索システム 1 種類の教科書を取り上げ動詞その後続語を全て抽出した動詞に続く後続語系列たかったのでなどとして約 320 種類が得られた後続語検索システムは動詞複雑な後続語系列楽しみそうになったことがあるなどをクエリとして入力しアクセント核位置を呈示するシステムであるクエリとして入力された動詞後続語系列を形態素解析し動詞を抽出する

4 入力動詞楽しむ起伏式 1 グループ動詞に対して作る起伏式 1 グループ動詞遊ぶ平板式 1 グループ動詞も常に示している図4 後続語検索の例上完全一致下不完全一致図 2 単語検索システムの検索表示条件図 5 3 種類のピッチパターンと核位置表示 5. 韻律読み上げチューターの開発フレージングポージングに基づく発声訓練法 [10] に準拠し任意の文に対してアクセント核位置やピッチパターンを呈示する韻律読み上げチューターを設計した [10] ではフレーズを意味の区切り呼気の区切りなどによって形成される一息図3 単語検索結果の例 4. 2 後続語検索システム 1 種類の教科書を取り上げ動詞その後続語を全て抽出した動詞に続く後続語系列たかったのでなどとして約 320 種類が得られた後続語検索システムは動詞複雑な後続語系列楽しみそうになったことがあるなどをクエリとして入力しアクセント核位置を呈示するシステムであるクエリとして入力された動詞後続語系列を形態素解析し動詞を抽出する次にその動詞を起伏型平板型 1 グループ 2 グループ 3 グループ注 3 と 6 種類のいずれであるかを自動分類するこの 6 カテゴリの何れかが分れば 320 種類の後続語系列が接続された時のアクセント型は一意に定まる各後続語系列接続時のアクセント型は 6 カテゴリの動詞を各々一つ用意し各後続語系列を実際に接続した句を 4. 1 節同様自動処理しそれを人手で修正することで確定した結果出力例を図 4 に示す単語検索システムと異なり入力結果に対する形態素解析処理を行なうため必ずしも精度は 100%ではないと思われるしかし入力表現から動詞を検出し得られた言語属性から 6 カテゴリの何れかと判定する処理のみが自動処理であるため実用上の問題は起きていない 320 種類の後続語系列以外の語句がクエリとして入力される場合があるこの場合クエリを平仮名表記したものと 320 種類の平仮名表記された動詞後続語系列を先頭から比較し最長一致となるものを代案として表示している完全一致の場合は結果を赤枠で代案呈示の場合はピンク枠で呈示し情報の不確実性についてもユーザーに明示している図 4 にその様子を示すなお検出結果のみならず関連する表現のアクセントについても示している図参照で発声される単語系列と定義している読み上げチューターはフレーズ区切り / が与えられた日本語テキストに対して各フレーズにアクセント核位置を必要な箇所呈示するとの方針をとったなお文中に含まれる句読点とそれに準ずる記号及び改行は自動的にフレーズ区切りと解釈しているフレーズを単位として形態素解析を行ないアクセント句境界検出を行なうと通常複数のアクセント句が出力されるつまりフレーズの中には複数のアクセント核が観測されることが多いしかし全てのアクセント核を常時呈示するのは学習者の負担も大きいため上級者モードでは全てのアクセント核を初級者モードでは第一アクセント核及び頭高型アクセントに対する知覚的敏感性 [19] を考慮し 3 モーラ以上の頭高型アクセント句の核のみを示すこととした更に [10] では山フレーズと丘フレーズという概念を導入している前者はアクセント核を有するフレーズのピッチパターンであり後者は有さないフレーズのピッチパターンを意図している前者はアクセント核によるピッチの急速な下落を実現するために後者に比べ事前により大きなピッチの立ち上がりを形成することを意図しておりこれを山と表現している後者はそれが無いため丘となるこれはアクセント核の位置は正しく把握できていないがアクセント核があることだけは分っている学習者が発声する場合に高低差のより大きいへの字を描くように発声指導することが効果的であるという教育経験から生まれた実用的な便法である図 1 参照以上の検討に基づきフレーズを単位としたアクセント核表示について 3 種類のモードを用意した図 6 には午後三時に東京駅前の駐車場でを一フレーズとして入力した場合の処理を示している実際の出力結果を図 5 に示すなおフレーズが長すぎて一息で発声困難な場合はフレーズ境界記号 / を挿入して 2 フレーズとして解析すればよい山丘ピッチパ注 3 日本語教育では五段動詞を 1 グループ動詞上一段下一段動詞を 2 グループ動詞不規則動詞すると来るを 3 グループ動詞と呼んでいるターン表示の際のスムージング処理は基本周波数パターン生成過程モデルの制御パラメータの値を変更して実装している 4

5 午後三時に東京駅前の駐車場で形態素解析アクセント句境界推定アクセント核位置推定ごごさんじにとうきょうえきまえのちゅうしゃじょうでごごさんじにとうきょうえきまえのちゅうしゃじょうでアクセント句接続規則 HL HLLL LHHHHHHLL LHHHHH ( 上級者用モーラ別 H/L 値 ) HL HLLL LLLLLLLL LLLLLL ( 初級者用モーラ別 H/L 値 ) 基本周波数パターン生成過程モデル基本周波数パターン生成過程モデルスムージング上級者用ピッチパターン初級者用ピッチパターン山丘ピッチパターン % a) b) % a) b) % a) b) OJAD 2/ % Public speaking a)pc NHK b) c) HOYA SAYAKA [9] a) b), c) 1) 2) PC web PC PC 7 web

回答数正答率 (%) 80 60 40 20 0 100 80 60 40 20 0 7 アクセント辞典のみ辞典 + 音声合成器辞典 + スズキクン 5 10 15 20 25 30 5 10 15 20 25 30 経過時間 ( 分 ) 8 6. 2. 3 0 68.2% 10 61.6% 2. 1 93.

jp/ojad/ [2] D. Crystal, English as a global language, Cambridge University Press, New York, 1995. [3] 18 45 51, 2009. [4] SP2009-151 19 24 2010. [5] ( (B))18320082 [6] S.

Eskenazi, Speech Communication, 51, 832 844, 2009. [13] A. Black, Proc. SLaTE, CD-ROM, 2007. [14] Z. Handley, et al., Language Learning & Technology, 9, 3, 99 120, 2005.

6 回答数正答率 (%) アクセント辞典のみ辞典 + 音声合成器辞典 + スズキクン経過時間 ( 分 ) % % % x / 8 1% c) a) b) 1% a) a)73.1% b)73.9% c)84.8% % 91.3% c) a)37.5%, b)30.0%, c)82.5% [1] OJAD, [2] D. Crystal, English as a global language, Cambridge University Press, New York, [3] , [4] SP [5] ( (B)) [6] S. Kato, et al., Proc. Speech Prosody, , [7] NHK NHK [8] , [9] [10] [11] [12] M. Eskenazi, Speech Communication, 51, , [13] A. Black, Proc. SLaTE, CD-ROM, [14] Z. Handley, et al., Language Learning & Technology, 9, 3, , [15] MeCab trunk/mecab/doc/feature.html [16] vol.j96-d no [17] [18] (A) [19] N. Minematsu et al., J. ASJ(E), 16, 5, ,

1 2013 400 Jenkins 2009 Pinet 2010 public speaking 2014 2009 2013, OJAD 2015a 16 12 public speaking Online Japanese Accent Dictionary (OJAD) 2012 8 20

1 2013 400 Jenkins 2009 Pinet 2010 public speaking 2014 2009 2013, OJAD 2015a 16 12 public speaking Online Japanese Accent Dictionary (OJAD) 2012 8 20 15 Development of an online infrastructure for teaching Japanese prosody based on information processing of speech and text corpora (Private Edition) Nobuaki MINEMATSU (Professor, Graduate School of Engineering,