<4D F736F F D E382E32372E979B82D982A98C7697CA8D918CEA8A77975C8D658F575F93FC8D6594C52E646F6378>

Size: px

Start display at page:

Download "<4D F736F F D E382E32372E979B82D982A98C7697CA8D918CEA8A77975C8D658F575F93FC8D6594C52E646F6378>"

ふみなすえがら
5 years ago
Views:

1 日本語学習者の発話量と言語テストの得点の関連性について李在鎬 ( 筑波大学 ), 村田裕美子 ( ミュンヘン大学 ) 小林典子 ( 元筑波大学 ), 酒井たか子 ( 筑波大学 ) 1. 研究背景学習者コーパスとは, 言語学習者の産出データを格納したデータベースのことである一般的には, 学習言語の熟達度 (proficiency) の差が言語使用にどのようなバイアスを与えるかを調査する目的で使用するそのため, 学習者コーパスの開発者は何らかの方法で学習者の ( 学習言語に対する ) 熟達度を判断し, アノテーション情報として公開している熟達度を判断する方法としては,2つの方法が利用される 1つ目は, 産出データそのものに対して, 直接的に熟達度を判断する方法,2つ目は, 言語テストを使用し, 産出データとは独立して熟達度を判断する方法である 1つ目の方法については,ACTFL OPI(oral proficiency interview; 以下 OPI) の枠組みがよく利用されるそして,2つ目の方法については,SPOT(Simple Performance-Oriented Test; 以下 SPOT, 詳細は小林 2014,2015 参照 ) がよく利用される 1つ目の方法を利用したコーパスとしては, 鎌田修氏と山内博之氏による KY コーパスが広く知られている 2つ目の方法を利用したコーパスとしては, 伊集院郁子氏が構築した日本韓国台湾の大学生による日本語意見文データベースおよび金澤 (2014) の YNU 書き言葉コーパスがあげられるなお, 本研究が利用するドイツ語話者日本語学習者話し言葉コーパス (Spoken Corpus of German Learners of Japanese; 以下, GLJ コーパス ) は OPI と SPOT をともに利用しているコーパスである点で, ハイブリット的データベースと言える (OPI と SPOT の関連については岩崎 2002 参照 ) 本研究では, GLJ コーパスを用いて, 言語テスト SPOT が日本語学習者の発話データをどの程度, 説明できるかを調査する具体的には重回帰分析と分散分析を行い,SPOT の得点と発話量の関連を考察する 2. データと分析方法 2.1. データ1:GLJ コーパス GLJ コーパスとは, 村田李 (2015) によって開発されている学習者コーパスで, ドイツ語母語話者 45 名の発話データを収録した学習者コーパスであるコーパスの基本設計において, KY コーパスと同様に,OPI を用いて熟達度を判断しているコーパスの中には, テスターと学習者による 2 者の対話データが文字化されているが,OPI の判定ルールに基づいて, 初級学習者, 中級学習者, 上級学習者にカテゴリー化されている各集団の学習者数およびコーパスサイズを表 1 に示す GLJ コーパスの特徴として, すべての学習者はテスターと対話を行ったあとに, インターネット日本語テストである SPOT ( を受けており, コーパスデータ ( 話し言葉データ ) と言語テストの得点が比較できるように構成されている

2 表 1. GLJ コーパスのサイズ熟達度区分学習者数延べ語数 * 初級学習者 15 名 67,751 中級学習者 15 名 83,107 上級学習者 15 名 95,837 総計 45 名 246,695 * 延べ語数は,UniDic+Mecab の解析結果に基づいて計算 2.2. データ2:SPOT 本研究では,GLJ コーパスの発話量と言語テストの関連を捉えるため,SPOT の得点データを利用するここでは,SPOT について述べる SPOT は, 日本語の客観テストの一つであり, 以下の特徴を持っている ( 小林 2015) (1) 言語運用能力を間接的客観的に測定するテストである (2) 短時間で実施できるテストである (3) 能力差が比較的大きな集団を 2~4 段階程度の能力別グループに分けるテストである SPOT は自然な速度で読み上げられる文を 1 文ずつ聞きながら,1 カ所の空欄に平仮名 1 文字を挿入するという形式の問題である今回は WEB 版 SPOT を使っており, 図 1 のテスト項目が音声とともにディスプレイ上に表示される図 1. SPOT90 の問題提示画面 SPOT にはいくつかのバージョンがあるが, 本研究では SPOT90 を利用した SPOT90 は 30 問ずつの SPOT90-1 SPOT90-2 SPOT90-3 で構成されており, それぞれのテストセットの難易度は次のように設定されているまず, SPOT90-1 は初級向けで, 日本語能力試験の N4-N5 レベルの学習者を対象にしている SPOT90-1 の音声は声優による明瞭な

3 ものを使用している次に, SPOT90-2 は初級後半から上級前半向けで, 日本語能力試験の N2-N4 レベルの学習者を対象にしている SPOT90-2 の音声は日本語教師のやや不明瞭なものを使用している最後に, SPOT90-3 は上級向けで, 日本語能力試験の N1-N2 レベルの学習者を対象にしている 2.3. 分析方法本研究では, 言語テストの成績と学習者の発話量の関連を明らかにする目的で, 以下の分析を行った分析 1)GLJ コーパスの学習者の発話特徴量を独立変数,SPOT の得点を従属変数にして, 重回帰分析を行った分析 2)GLJ コーパスにおける熟達度による集団間で,SPOT の得点および回答時間にどのような差があるかを分散分析で検討した分析 1) では SPOT の得点の違いが発話量にどのような関連を持っているか調査する分析 2) では SPOT の得点と日本語の熟達度がどのような関連を持つか調査するなお, 学習者の発話特徴量を抽出するため, 全文字データを形態素解析エンジンの MeCab と解析辞書の UniDic で解析し, 李ほか (2014) で有効とされた変数を利用し, 発話特徴量を抽出した具体的には, 語種別の使用頻度 ( 和語, 漢語, 外来語, 混種語 ), 品詞の比率 ( 助詞率, 名詞率, 動詞率 ), 平均文長である 3. 結果 3.1 重回帰分析の結果重回帰分析では, SPOT90 の合計得点を従属変数, 発話特徴量を独立変数にして, ステップワイズ法で分析をしてみた分析の結果, 助詞率と平均文長による回帰モデルが得られ, 高い予測力を持つことが明らかになった (R 2 =.807) SPOT90 の得点 = 助詞率 * 平均文長 * の回帰式が得られたこの結果を受け, 平均文長と助詞率の散布図を作成してみた ( 図 2) 図 2 の数値は SPOT の得点であるが, 左下に 30~40 点前後の学習者が分布しており, 右上に進むにつれ,50 点,60 点, さらには 70 点前後の学習者が分布しているこれにより, 助詞率と平均文長が言語テストの得点に対して強い予測力を持つことが明らかになったこのことを踏まえ,2 つの変量は, 言語能力の差を反映する変数である可能性があると考え, より詳細に分析してみた図 3 の横軸は,GLJ コーパスに付与されている学習者の熟達度であり, 縦軸は変量を表す左の図は平均文長であり, 右の図は助詞率である平均文長の場合, 初級では,16 語程度の長さで構成されているが, 中級では,23 語, 上級では 29 語で構成されている次に助詞率で言えば, 初級は 14%, 中級では 17%, 上級では 20% 程度が助詞である

による調査結果として,SPOT90-1,SPOT90-2,SPOT90-3のいずれにおいても, 有意差があった

4 図 2. 平均文長と助詞率の散布図図 3. 平均文長と助詞率の箱ひげ図 3.2 分散分析の結果 2 つの方法で分散分析を行った方法 1)SPOT90の得点を独立変数,GLJコーパスの熟達度を従属変数にして平均値に差があるか調査した方法 2)SPOT90の回答時間を独立変数,GLJコーパスの熟達度を従属変数にして平均値に差があるか調査した方法 1) による調査結果として,SPOT90-1,SPOT90-2,SPOT90-3のいずれにおいても, 有意差があった (SPOT90-1はF(2,42)=51.422, p<.001,spot90-2はf(2,42)=74.004, p<.001,spot90-3はf(2,42)=68.505, p<.001,spot90 全体はF(2,42)=99.080, p<.001)( 得点分布は図 4 参照 )

図 4. SPOT90 の箱ひげ図初級向け SPOT である SPOT90-1 の場合, 初級においてはかなり幅があるが, 中央値は 17 点であった中級は 27

初級の幅が大きいことは,SPOT90-1 と同じであったが, 中級と上級の間に中央値で言えば,5 点ほど差がついた上級向け SPOT である SPOT90-3

つの熟達度で十分な得点差が見られる SPOT は, 即時応答的な問題形式を使って, 言語運用力を測るという目的で作られたテストであるこのことを検討すべく, 方法 2)

レベルによる回答時間の差に統計的有意が認められる結果となった ( 図 5) SPOT90-3 については, 有意である可能性が見られた (F(2,42)=2.

5 図 4. SPOT90 の箱ひげ図初級向け SPOT である SPOT90-1 の場合, 初級においてはかなり幅があるが, 中央値は 17 点であった中級は 27 点であるが, 上級は 29 点となり, 中上級に関しては初級に比べ, 差が小さい中級向け SPOT である SPOT90-2 では, 初級の幅が大きいことは,SPOT90-1 と同じであったが, 中級と上級の間に中央値で言えば,5 点ほど差がついた上級向け SPOT である SPOT90-3 では上級と中級と初級でほぼ等間隔の差がついており, 能力の差を適確に捉えられていると考えられる SPOT90 合計では初級の幅が非常に大きいものの,3 つの熟達度で十分な得点差が見られる SPOT は, 即時応答的な問題形式を使って, 言語運用力を測るという目的で作られたテストであるこのことを検討すべく, 方法 2) として, 回答時間と OPI レベルの関連を調べてみた方法 2) による調査の結果,SPOT90-1 と SPOT90-2 で OPI レベルによる回答時間の差に統計的有意が認められる結果となった ( 図 5) SPOT90-3 については, 有意である可能性が見られた (F(2,42)=2.948, p=0.063) SPOT90-3 は SPOT 全体においてもっとも難しいものであり, 非母語話者全体において時間を要している可能性があるこれについては矢崎 (2006) の考察を参考に, 母語話者と非母語話者の差という視点から, 今後, さらに調査する必要がある

6 (F(2,42)=9.564, p<.001) (F(2,42)=13.725, p<.001) 図 5. OPI レベルによる SPOT90-1 と 90-2 の回答時間 4. まとめ発話データの産出量で SPOT の得点を予測させると 80% 以上, 妥当な結果が得られるため, SPOT は会話の産出力を測定するテストであると言えるまた, 産出能力を測った OPI レベルと言語テストの能力を示す SPOT の得点の関連を分析した結果,OPI レベルによって, すべてのテストセットの得点に統計的な有意差が観察されたそして,SPOT の回答時間においては, 初級向けの SPOT90-1 と中級向けの SPOT90-2 において,p<.001 水準で差があることが明らかになった以上の分析結果により,GLJ コーパスの収録データにおける言語能力の差を SPOT は正確に捉えていると結論づけられる参考資料矢崎彩, 李海南, ウォンサミンスリーラット, 高橋美野梨, 酒井たか子, 小林典子 (2006) 上級日本語学習者向け SPOT(Simple Performance-Oriented Test) の開発日本語教育方法研究会誌 13(1), 岩崎典子 (2002) 日本語能力試験(SPOT) の得点と ACTFL 口頭能力評価 (OPI) のレベルの関係について日本語教育 114 号, 小林典子フォード順子山元啓史 (1996) 日本語能力の新しい測定法 SPOT 世界の日本語教育 6 号, 小林典子 (2014) SPOT について月刊日本語学 2014 年 10 月号, 小林典子 (2015) SPOT 日本語教育のための言語テストガイドブック , くろしお出版村田裕美子李在鎬 (2015) ドイツ語母語話者の話し言葉コーパスの開発 (Japanologentag LMU München) 李在鎬宮岡弥生林炫情 (2013) 学習者コーパスと言語テスト言語テストの得点と作文のテキスト情報量の関連性言語教育評価研究 (AELE) 2 号,

添付エクセルデータに関する注記

添付エクセルデータに関する注記日本韓国台湾の大学生による日本語意見文データベースご使用に際して本データベースは日本語を母語とする大学生 (134 名 ) と日本語を学ぶ大学生 ( 台湾 57 名韓国 55 名 ) が日本語で執筆した意見文を収録したもので教育及び研究目的で利用可能な資料として公開しました日本語学習者データには作文執筆者本人による母語への翻訳 ( 意訳 ) も含まれますデータの収集に際しては国立国語研究所