聴覚障害学生のための授業雰囲気の視覚化

Size: px

Start display at page:

Download "聴覚障害学生のための授業雰囲気の視覚化"

はすなふしはら
5 years ago
Views:

1 聴覚障害学生のための授業雰囲気の視覚化 - 教員の口調と教室内のざわめき瀬戸就一南保秀孝新井浩杉森公一下村有子川辺弘之 1 金城大学短期大学部,{seto, arahiro}@kinjo.ac.jp 2 金沢大学,nambo@ec.t.kanazawa-u.ac.jp 3 金城大学,{sugimori, shimo, kawabe}@kinjo.ac.jp 概要. 一般的に聴覚障害学生はノートテイクのサポートを受けることが多いノートテイクは学生の雑談話者の声の大きさや抑揚などの非言語情報を伝えることができないその結果聴覚障害学生は教室内のざわついた雰囲気や教員の口調などを感じ取ることが困難となる本研究では聴覚障害学生に教室の雰囲気を伝えるシステムを開発しているシステムはマンガの表現技法を用い吹き出しと漫符オノマトペ我々が考案した臨場感フォントを利用する我々が構築したシステムによって聴覚障害学生はテキスト情報だけではなく非言語情報を知ることができ授業や教室内の雰囲気がより分かりやすくなるキーワード : 聴覚障害学生非言語情報支援システムオノマトペ 1. はじめに近年聴覚障害者はボランティアのサポートを受け大学で学んでいるノートテイキングもそのサポートの一つで教員の発話をテキストに起こす作業であるノートテイキングはスピーディかつ正確に行うことが要求されるためにトレーニングが必要であるそのため ITC 技術でノートテイキングを行うシステムがいくつも提案されているしかしこの方法では教員が話した言葉は分かるが授業の雰囲気や教員の口調は伝わらない授業の雰囲気は教室内の物音教員の口調や動作学生教員の視線によっても大きく変化するそれらによって何一つ音のしない緊張感が発生したり笑いが起こったり和やかな授業になったりするもしこれらの情報が伝えられれば聴覚障害者が授業の雰囲気を感じ取ったり教員の熱意を理解し授業に参加する意欲の向上や講義の要点を理解しやすくなると思われる我々はここに注目し話者の声の調子を伝えるために臨場感フォントを作り出した臨場感フォントのアンケートでは健常者と聴覚障害者ともに良好な結果を得ることができた [1]-[3] 本研究は授業の雰囲気を伝えるためのシステムを構築することである我々は授業の雰囲気生成のためにマンガの表現技法である吹き出しや漫符オノマトペ ( 擬音語 ) を用いることで教室の臨場感や教員の熱意などの非言語情報を視覚化することを試みたこのシステムについて述べる 2. マンガの表現技法について日本のマンガは様々な特徴を持っている例えば会話中のキャラクタの感情や場の雰囲気を視覚化する多くのテクニックがある [4] そのためテキストが少なく記号や図が多い

図 1 は色々な種類やサイズのフォントで書かれている大きい声や強い感情に対しては大きく太いフォントが使われる一方小さい声や柔らかい感情に対しては小さく細いフォントが使われるしかし読者はこの違いをあまり意識しないこれらの表現は視覚的な言語として見なし読者はこれらの表現から受ける感覚を共有している図 1 マンガの視覚表現さらに感情や雰囲気を伝える技法として図 2

2 図 1 は色々な種類やサイズのフォントで書かれている大きい声や強い感情に対しては大きく太いフォントが使われる一方小さい声や柔らかい感情に対しては小さく細いフォントが使われるしかし読者はこの違いをあまり意識しないこれらの表現は視覚的な言語として見なし読者はこれらの表現から受ける感覚を共有している図 1 マンガの視覚表現さらに感情や雰囲気を伝える技法として図 2 で示すように吹き出しやマンガで用いられている記号 ( 漫符 ) 手書きやオノマトペがある吹き出しの形は話者の状況や声の調子を表す漫符は感情や感覚の視覚化である手書き表現は環境音やノイズ雰囲気の視覚化に用いられるこれらの技法は教員の感情や教室の雰囲気を聴覚障害者に伝えるのに有効であると考える吹き出し漫符図 2 吹き出しと漫符の例 3. 口調の視覚化本研究では聴覚障害者に教室の雰囲気を伝えるシステムを提案するシステムは 3 つのシステム ( 臨場感フォントシステム吹き出し漫符システムオノマトペシステム ) から成り立っている臨場感フォントシステムは教室内の臨場感を表現するこの臨場感フォントは話者の声の大きさや速さなどのパラメータから生成する音が大きいときは図 3 のようにフォントは大きくなり図 4 のように話す口調が速いときはフォントの幅が狭くなる吹き出し漫符システムは話者の声の特徴に適した吹き出しと漫符を選択し出力するものである話者の言葉は臨場感フォントを用いて吹き出しの中に表示する吹き出しの形状や漫符の数は状況によって変化するオノマトペシステムはオノマトペを生成し出力するこのシステムは教室内の音から適切なオノマトペを生成するオノマトペの大きさは教室内音の大きさで決めるこのシステムは学生のおしゃべりやノイズなどの教室内の雰囲気を理解する手助けとなる

3 驚れぇたぁ驚れぇたぁおれの名を呼んでるじゃねぇかおれの名を呼んでるじゃねぇか図 3 普通の話し声大きい / 小さい話し声どうしたもこうしたもねぇやどうしたもこうしたもねぇやありがとよありがとよ図 4 普通の口調速い口調遅い口調 4. 提案システムの概要 4.1 処理の流れ提案システムは臨場感フォントシステム吹き出し漫符システムオノマトペシステムの 3 つの部分からなる入力される音は 2 つである一つは教室内の音や学生の話し声などである教室内の音はオノマトペシステムで解析されオノマトペが出力されるもう一つは教員の音声であるこの音声は音声認識システムで処理されテキストが出力される同時に音声は臨場感フォントと吹き出し漫符を生成する声の大きさ高さ速さなどのパラメータが音声より抽出され臨場感フォントシステムと吹き出し漫符システムに転送される臨場感フォントシステムでは臨場感フォントを生成し吹き出し漫符システムでは吹き出しと漫符を生成する最後に認識されたテキストが臨場感フォントを用いて吹き出しと漫符オノマトペとともに表示される以下に各システムの詳細を述べる 4.2 臨場感フォントシステム臨場感フォントシステムでは音声認識で入手したテキストは教員の声の雰囲気を反映させた臨場感フォントで表示されるまず入力された音声は順次 Julius[5] によってデータ処理される Julius は音声を文章やフレーズに自動的に分離し音声認識処理を行うそしてシステムは Julius より文節情報と口調の速さや声の大きさの情報を取得するために Julius を改変した文節情報は認識した語開始終了時間語の音節数である口調の速さと声の大きさ情報は各認識語の情報であるシステムはこれらの情報からフォントを生成し認識した語を生成したフォントを用いて表示する生成したフォントつまり臨場感フォントは以下の 2 つの要素で決定される 1) フォントのサイズ : 対応する語の平均の声の大きさ 2) フォント間の空白の長さ : 発話時間と語の音節数フォントのサイズは声の大きさに比例する文字間の空白は口調が速いときには文字間の空白は少なくなり口調が遅いときには文字間の空白が多くなる

4 教員の音声教室内音不要音声処理音声処理システム文字付加情報臨場感フォントシステム吹き出し漫符システムオノマトペシステム授業の雰囲気生成システム表示図 5 全体システム Julius ( 音声認識システム ) 音量ピッチ情報文節情報吹き出し漫符データ吹き出し漫符選択フォント生成認識テキスト用の吹き出しと漫符臨場感フォントによる認識テキスト図 6 臨場感フォント / 吹き出し漫符システムの処理の流れ

5 4.3 吹き出し漫符システム吹き出し漫符システムは口調の感情を表現するために声の大きさや口調の速さから吹き出しと漫符を出力するシステムは Julius から口調の速さと声の大きさの情報を得るそして事前に登録されている吹き出しや漫符のデータベースから感情に適した吹き出しと漫符を選択し臨場感フォントに重ねて出力する事前登録された吹き出しと漫符はマンガの専門家のアドバイスによって決めている図 7 はデータベース中の吹き出しや漫符を示す図 7 吹き出しと漫符の例 4.4 オノマトペの生成と出力オノマトペシステムは教室内音からオノマトペを出力するシステムの処理の流れを図 8 に示すオノマトペを生成するために前もってオノマトペの特徴を学習する世の中には多くの種類の音とオノマトペがあるため教室内のオノマトペはアンケートによって調査した [6] 被験者は約 100 人の学生であり表 1 は調査の結果であるこの結果からプロトタイプ用の 4 つのオノマトペを決めたわいわいがやがやひそひそしーんの 4 つである最初の 3 つはアンケート結果の上位のオノマトペである最後のしーんは何も音がない状態を表しているそしてオノマトペに対応した音の特徴を学習するためオノマトペに対応した音を含んでいる音声信号を解析した音声信号の 1024 サンプル点に対してパワースペクトルを計算しその 0-20KHz を 20 分割した各バンド幅は 1KHz であるそして各バンドのパワースペクトルの平均の集合を対象とするオノマトペの特徴量としたこの特徴量は音声信号の 1024 サンプル点毎に計算されるつまり 1 つの音声データから複数の特徴量が抽出される最後にこれらの特徴量とオノマトペの間の関係をオノマトペデータベースに記録する教室内音からオノマトペを生成する際には学習の時と同様に入力された音声の特徴量つまりパワースペクトルの平均の集合を計算するそしてこの特徴量とデータベース中のオノマトペの特徴量と比較するそして最も類似した特徴量を持つオノマトペを出力する類似度はユークリッド距離を用いて求める 4.5 提案システムの出力例図 9 は提案システムの出力例であるシステムの出力画面は 4 つの部分からなる下部中央がシステムの中心部分でありここに臨場感フォント吹き出し漫符が表示される中心部分の左右にはオノマトペが表示される中心部分の上には今までに表示したテキストやオノマトペが通常のフォントで表示される

6 学習処理教室内音オノマトペを含む音声特徴抽出 ( パワースペクトル ) 特徴抽出 ( パワースペクトル ) オノマトペの特徴データベース比較と選択オノマトペの出力図 8 オノマトペシステムの処理の流れ表 1 オノマトペのアンケート結果順位オノマトペ票数 1 位わいわい 11 2 位ひそひそ 8 2 位ぺちゃぺちゃ 8 4 位こそこそ 6 5 位ざわざわ 4 5 位そわそわ 4 7 位がたがた 3 7 位カチカチ 3 7 位カリカリ 3 7 位しーん 3 7 位ふむふむ 3 7 位ぺらぺら 3

7 認識結果のテキストとオノマトペの履歴最新のオノマトペ表示臨場感フォントによる認識テキストと吹き出し漫符図 9 提案システムの出力例 5. まとめ本研究では聴覚障害者のために教室の雰囲気を表現するシステムを提案した雰囲気を表現するために日本のマンガで使われるテクニックを利用したこれらのテクニックを用いて教室内の様々な種類の雰囲気をシステムによって表現できた我々の提案システムは聴覚障害者がより授業を理解し他の学生との会話を増やすことに貢献すると考える謝辞本研究は文部科学省平成 22 年度科研費 < 基盤研究 (C) 課題番号 > の援助を受けて行われている感謝の意を表する参考文献 [1] 瀬戸就一, 新井浩, 杉森公一, 下村有子, 川辺弘之, 聴覚障害学生に授業の臨場感を伝える感情フォントの提案, 情報処理学会第 73 回全国大会 (2011) [2] Shuichi Seto, Hiroshi Arai, Kimikazu Sugimori, Yuko Shimomura and Hiroyuki Kawabe, Subtitle system visualizing non-verbal expressions in voice for hearing impaired --- Ambient Font ---, Proceeding of the 10th Asia-Pacific Industrial Engineering and Management Systems Conference 2010 (2010) [3] 瀬戸就一, 新井浩, 杉森公一, 下村有子, 川辺弘之, 聴覚障害者に臨場感を伝える文字表現技法の提案 - 臨場感フォント -, ヒューマンインタフェースシンポジウム (2010) [4] 竹内オサム, マンガ表現学入門, 筑摩書房, [5] 大語彙連続音声認識エンジン Julius, [6] Shuichi Seto, Hiroshi Arai, Kimikazu Sugimori, Yuko Shimomura and Hiroyuki Kawabe, Visualization of Non-verbal Expressions in Voice by using Manga technique -Ambient Font for Hearing Impaired Student-, 11th European Conference for the Advance-ment of Assistive Technology (2011)

研究計画書

研究計画書研究概要報告書サウンド技術振興部門 ( / ) 研究題目音声のフィードバックがボイストレーニング効果に与える影響に関する研究報告書作成者長谷川光司研究従事者長谷川光司, 鹿島田千帆, 宮田守音声は, 人間同士のコミュニケーション手段として重要なツールの一つであり, 相手に聞き取りやすい音声で伝えることによって, より正確に情報を伝達することができる. 音声の聞き取りやすさは, 話し手側の声質や話し方,