Microsoft PowerPoint - 日本テスト学会受賞講演ホーム頁用

Size: px

Start display at page:

Download "Microsoft PowerPoint - 日本テスト学会受賞講演ホーム頁用"

みそらやなぎしま
5 years ago
Views:

1 第 5 回日本テスト学会賞受賞講演於 : 成蹊大学外国語能力試験を改定するための基礎研究野口裕之 ( 名古屋大学 ) 1

2 はじめにこのたびは第 5 回日本テスト学会賞をいただきまたこのような講演をする機会をいただき有難うございます今回の受賞はテスト理論をテストの現場に普及し現場で活かすことに努力したことが評価されたということです従ってこの賞はこれまで一緒によりよいテスト国際標準を目指したテストの開発をめざして一緒に頑張って来たみなさま方とともにいただいたものだと思っています

3 本日は私が関係したテストの改定に関わる基礎研究を紹介しますがそこで一緒に研究しお名前を挙げた方々との協同作業の結果であることを特にここで申し上げておきたいと思いますまたお名前は挙げていませんがテスト開発過程では多くの方々の努力の成果がありますみんなでいただいた賞であることを忘れることなく今後もテスト理論をテストの現場に活かす努力を続けたいと思います

4 この講演の構成は 1 外国語試験の紹介 2 日本語能力試験の紹介 3 日本語能力試験の因子分析的検討 4 日本語能力試験の級間共通尺度の構成 5 日本語能力試験における解釈規準開発の試みです 3,4,5が改定のための基礎研究になります

5 おことわり本日の話の中には日本語能力試験に関わる現状や研究成果が出て来ますがこれらは日本語能力試験の開発実施主体となる機関 ( 国際交流基金日本語試験センター ) や各委員会の正式な見解ではなく私個人や研究に関しては連名発表者の個人研究者としての見解ですまたテストに関する機密保持のためご質問によってはお答えできないこともありますすみません

6 外国語試験について外国語試験の例英語ケンブリッジ英検 IELTS TOEFL 仏語 DELF-DALF, TCF 独語ゲーテ独語検定中国語漢語水平考試韓国語韓国語能力試験 Cambridge ESOL ETS CIEP Goethe-Institut 北京語言大学 HSKセンター国立国際教育院 (NIIED)

7 最近の傾向コミュニケーション能力を測定する知識から技能へ IRTベースの得点化 ( が多い ) 得点の時期間等化を実現する測定結果の解釈規準に ~ができるという Can-do statements を用いる CEFRとの関連づけを行なうなど

8 外国語試験の改定 ( 訂 ) 応用言語学の理論的発展テスト理論の進化情報技術の発展外国語教育現場のニーズの変化などを踏まえて常に改定される必要がある

9 例えば TOEFLでは Paper based test Computer based test Internet based test Listening, Structure, Reading, (Writing) Listening, Reading, Speaking, Writing ケンブリッジ英検では改定の根拠や過程が Weir,C. and Milanovic, M. (Eds.) (2003). Continuity and Innovation: Revising the Cambridge Proficiency in English Examination , Cambridge University Press. にまとめられている

10 日本語能力試験の場合は改定前レベル 4 級 ( 初級前半 ) 3 級 ( 初級後半 ) 2 級 ( 中級 ) 1 級 ( 上級 ) 類と満点文字語彙 (100 点 ) 聴解 (100 点 ) 読解文法 (200 点 ) 実施回数年 1 回得点の年度間等化は実施していない

11 改定後レベル N1 = 旧 1 級 N2 = 旧 2 級 N3 新設 N4 = 旧 3 級 N5 = 旧 4 級

12 得点区分と得点範囲 N1,N2,N3 言語知識 ( 文字語彙文法 ) 読解聴解すべて [ 0, 60 ] N4,N5 言語知識 ( 文字語彙文法 ) 読解 [ 0, 120] 聴解 [ 0, 60 ] すべてに基準点が設定されこの点に達しない区分があった場合には総合得点によらず不合格となる

13 実施回数年 2 回得点は時期間で等化されている

14 参考までに The numbers of learners of Japanese and examinees of the JLPT in 2009 (Top 5) 2009 # of learners # of examinees % Korea 964, , China 827, , Indonesia 716,353 8, Australia 275,710 1, Taiwan 247,641 17,

15 15

16 Research 1 Ⅰ 日本語能力試験の因子分析的検討 16

17 This research was presented at AILA2008 Noguchi, H., Kumagai,R., Osumi, A., & Wakita, T. (2008). Comparing factor structures of the Japanese Language Proficiency Test : differences in factor structure with increasing language proficiency by native language. 15th World Congress of Applied Linguistics (AILA 2008), Essen, Germany. 17

18 この研究の目的は 1 日本語能力試験 ( 改定前 ) がどのような因子構造を持つか確認する 2 日本語能力試験 ( 改定前 ) の受験者を母語グループ別に分けた時に因子構造に違いがあるかどうかを確認する 18

19 何故母語グループを問題にするのか? Japanese Language notation system Kanji ( 漢字, Chinese ideograms) + Hiragana ( ひらがな, Japanese phonograms) Katakana ( カタカナ, Japanese phonograms) 19

20 受験者の母語における漢字表記システムの違いが JLPT の因子構造の違いとして反映するかもしれない漢字表記システム (Kanji notation system) Chinese almost all notation Korean rarely Others don t use Japanese 20

21 テスト : JLPT 2001, 2002, 2003 母語グループ : 中国語韓国語その他分析に用いた受験者数 (JLPT2003) レベル中国語韓国語その他 1 級級級級

22 日本語能力試験の因子構造は 2003 年度 1 級受験者名のデータを全項目を合わせて因子分析スクリープロットから 2 因子構造因子負荷をプロットすると因子負荷をプロットすると座標平面の第 Ⅰ 象限にほぼすべての項目が存在右下部分に文字項目左上部分に聴解項目その中間に読解語彙文法項目が集まってまとまりを形成している

23 日本語能力試験の因子分析結果ー 2003 年度 1 級ー文字語彙聴解読解文法

24 2 つの因子軸に対して問題項目は文字読解語彙文法聴解の 3 クラスター ( まとまり ) を形成している

25 2 つの因子は 1) 漢字がもたらす情報を検索処理する能力を表す因子 ( 漢字情報処理因子 ) 2) 文脈を活用して理解を構築する能力を表す因子 ( 文脈情報処理因子 )

26 漢字情報処理因子日本語能力試験では文字( 漢字 ) の能力を単なる形態的知識として測定しているのではなく部首偏旁などの字形音意味語彙性文法性その他の情報を利用して適切な漢字および語彙を検索する高度な情報処理過程を測定していることの反映

27 言い換えると文字 ( 漢字 ) は言語知識という側面もあるが言語処理の側面が強いと言える

28 そうだとすると日本語能力試験における漢字力の定義を明確にする必要がある CEFR などの言語能力基準に JLPT を関係づける際には欧州系の言語にはない漢字情報処理因子に注意する必要がある補助尺度の必要性?

29 中国語との関係同じく漢字を用いる中国語との関係を考えると中国語はすべて漢字で表記日本語は漢字かな混じりで表記この点で文字 ( 漢字 ) の言語処理的な側面が異なり情報処理過程を反映した異なる能力基準が想定される可能性もある

30 受験者を母語グループ別に因子分析すると JLPT2001,2002,2003 に共通して中国語韓国語その他 1 級 1 因子 2 因子 2 因子 2 級級級 1 1 1

31 すなわち各母語グループは日本語能力のレベルに対して独自の因子構造の変化を示す初級前半 (4 級 ) : 各母語グループともに共通の1 因子性を示す初級後半 (3 級 ): その他グループが中国語韓国語グループと異なり 2 因子性を示す 31

32 中級 (2 級 ): 初級後半 (3 級 ) と同じくその他グループが中国語韓国語グループと異なり 2 因子性を示す上級 (1 級 ): その他グループに加えて韓国語グループも 2 因子性を示す中国語グループは 4 つのレベルを通して 1 因子性を示す 32

33 この研究で得られたことは CEFRなどの言語能力基準にJLPTを関係づける際には欧州系の言語にはない漢字情報処理因子に注意する必要がある補助尺度の必要性を検討する JLPTの改定にあたって中国語韓国語以外の言語を母語とする日本語学習者の因子構造の発達的変化に配慮する必要がある 33

34 34

35 Research 2 Ⅱ 日本語能力試験の級間共通尺度の構成 35

36 この研究は下記の学会誌および学会で発表したものです野口裕之熊谷龍一大隅敦子 (2007). 日本語能力試験における級間共通尺度構成の試み日本語教育, 135, 野口裕之熊谷龍一大隅敦子石毛順子 (2006). 日本語能力試験における級間共通尺度構成の試み日本語教育学会 2006 年度秋期大会予稿集. 36

37 研究の背景改定前の日本語能力試験では毎年分析報告書が刊行されて来た ( ) が 4つの級が独立に分析された結果が報告されていた従って異なる級間で項目の識別力や困難度を比較することが出来なかったまた異なる級を受験した学習者の得点を相互に比較することができなかった 37

38 一方日本語教育界で言われてきた重要な疑問 3 級合格から 2 級合格までの間に大きなギャップがあるがあり特に海外の非漢字圏でよく言われて来た大学学部の日本語専攻の学生でも 1 年間日本へ留学しないと 2 級に合格できない 38

39 3 級と 2 級との間に大きなギャップがあるか? Yes? Level 1 No? Level 2 Level 4 Level 3 39

40 そこで改定後の JLPT で新しいレベルを入れるかどうかが重要な決定事項になったそのことに対して根拠のある (evidence based) 解答を出すために級間共通尺度を構成しその上に 4 つの級の試験を位置づけることを試みた Vertical scaling 40

41 Vertical scaling Level 1 Level 2 Level 3 Level 4 Common scale 41

42 この研究の目的は JLPT の 4 つの級間に共通尺度を構成することにより 1) 異なる級間で項目の困難度を比較する 2) 各級の合否分割点間の距離を確認する 3) 3 級と 2 級との間にギャップがあるのか否かを確認するそしてその結果を改定後の JLPT のレベル構成に反映させる 42

43 方法 1 1) 共通尺度を構成するためにアンカーテストデザイン anchor-test design を採用し 3つのモニターテストmonitor testsを構成した 2001 年度 JLPTで実際に使われた項目を用いて Monitor Test A 1 級および2 級 B 2 級および3 級 C 3 級および4 級ここで各モニターテストが級間のアンカーテストになっている 43

44 モニターテストの項目を選択するに際しては項目困難度が適度に散らばるように項目の内容および形式がもとの JLPT を反映するように配慮した分量はもとの 60~100% この結果から 2001 年度の 1 級から 4 級のすべての問題項目の困難度および受験者の特性尺度値 ( 能力 ) が共通尺度上で相互に比較できるようになる 44

45 方法 2 2) モニターテストは 2006 年 3 月に日本国内で実施したこの実験の協力者は 2005 年 12 月に実施された JLPT の受験者の中から募集し母語のバランスがJLPTとほぼ同じになるように配慮して依頼した 45

46 モニター試験の実施概要 2006 年 3 月国内で実施 2005 年度受験者の中から受験者を募集モニター 2005 年度試験受験級人数 A 1,2 級 326 名 B 2,3 級 380 名 C 3,4 級 362 名

47 母語別比率母語別人数比率中国語話者 393 人 36.8% 韓国語話者 132 人 12.4% インドネシア語話者 127 人 11.9% その他 416 人 39.0% 合計 1068 人 100.0%

48 方法 3 3) 共通尺度を構成するためにまず各級各類毎に2001 年度 JLPT 受験者データから IRT (2-Parameter Logistic Model) scale を構成した全部で 4 水準 3 類 12 の IRT 尺度この段階では項目パラメタの値は相互に比較できない 48

49 方法 4 4) 次にモニターテストの結果を用いて等化係数 equating coefficients を推定する 1 級を 2 級に等化 Monitor test A 3 級を 2 級に等化 B 4 級を 3 級に等化 C 等化係数の推定には the mean-sigma method (Marco, 1977) を用いた 49

50 方法 5 5) 最後にこれらの等化係数推定値を用いて J LPT2001 の全ての項目を類 (section) 毎に共通尺度上に位置づけた * 共通尺度の原点と単位は 2 級の原点と単位に合わせたすなわち各項目の識別力パラメタと困難度パラメタを各類毎に共通尺度上の値に変換して表わした 50

51 結果 1 1) 項目困難度の分布状況を文字語彙聴解読解文法の各類毎に見ると 51

52 H1 文字語彙文字語彙項目困難度分布 4 級級 2 級 3 級 4 級特性尺度値 52

53 スライド 52 H1 HiroNoguchi, 2011/12/06

54 文字語彙級間の項目困難度分布に適度の重なりがあり困難度が段階的に推移している 53

55 聴解聴解項目困難度分布 4 級級 2 級 3 級 4 級特性尺度値 54

56 聴解 4 級と 3 級の間での重なりが少なく 3 級はほとんどの項目が 2 級と重なっている 2 級と 1 級もほとんど重なっているしかしながら全体としては困難度が段階的に推移している傾向が見られる 55

57 読解文法読解文法項目困難度分布 4 級級 2 級 3 級 4 級特性尺度値 56

58 読解文法 4 級が 3 級に 2 級が 1 級にそれぞれ含まれ 4,3 級と 2,1 級の 2 群に分かれており段階的な推移とはいいにくいまた類を分けた場合読解項目のみを取り出した場合 ( 次のスライド ) には 3 級と 2 級との間で重なりがほとんど見られないのに対して文法文字語彙項目のみを取り出した場合は文字語彙の場合と同様に級間の項目困難度分布に適度の重なりがあり困難度が段階的に推移していた 57

59 読解項目のみ取り出した場合読解項目困難度分布 4 級級 2 級 3 級 4 級特性尺度値 58

60 結果 2 2) 総合尺度得点と JLPTの総点との対応関係は次のスライドに示す通りである図中の4 本の曲線は級別に当該総合尺度得点を示す受験者のJLPT 総点の平均値を結んだものである 59

61 総合尺度得点 (X-axis) と JLPT 総合得点 (Y-axis) の関係テスト得点ほぼ等間隔 1 級 2 級 3 級 4 級尺度得点 60

62 合否分割点総合尺度得点合否分割点総合尺度得点 1 級級級級ほぼ等間隔! 61

63 以上のことからいわゆる 1,2 級と 3,4 級との間のギャップは JLPT 受験者集団全体としては見られなかった 62

64 結果 3 3) 2001 年度 JLPT の各類特性尺度値の分布状況を母語別 ( 中国語韓国語その他 ) に見ると 63

65 Trait scale values by native language ( 文字語彙 ) native l# of examinees languaglevel 2 Level 3 Kanji-Vocabulary Level 2 Level 3 difference Chinese 28,718 25,506 Chinese Mean S.D. Korean 20,268 18,264 Korean Others 9,058 13,699 Others

66 文字語彙では中国語の差が 1.71 韓国語の差が 1.48 に比べその他での差は

67 Trait scale values by native language ( 聴解 ) native # of examinees Listening languaglevel 2 Level 3 Level 2 Level 3 difference Chinese 28,718 25,506 Chinese Mean S.D. Korean 20,268 18,264 Korean Others 9,058 13,699 Others

68 聴解に関しては中国語で差が 1.27 韓国語で差が 1.38 その他で差が 1.32 でグループの能力の平均値の 2-3 級間の差は 1.3 前後でほぼ等しい 67

69 Trait scale values by native language ( 読解文法 ) native # of examinees Readinr and Grammar languaglevel 2 Level 3 Level 2 Level 3 difference Chinese 28,718 25,506 Chinese Mean S.D. Korean 20,268 18,264 Korean Others 9,058 13,699 Others

70 読解文法では中国語で差が 1.49 韓国語で差が 1.93 であるのに比べその他では差が 0.88 と相対的に小さい 69

71 その他グループが代表する非漢字圏日本語学習者が文字語彙読解文法において 3 級受験者の能力水準から 2 級受験者の能力水準に達するためには中国語韓国語グループに比べてより長い期間を要するということが示唆された 70

72 まとめると 1)JLPTでは異なる級の間で項目の困難度が重なりを持っていること 2) 級別の合否分割点の距離は共通尺度上でほぼ等間隔であること 3) いわゆる 2-3 級の差に関しては共通尺度上における合否分割点の距離が反映したものではなく非漢字圏学習者の類別尺度得点分布における3 級平均値と 2 級平均値との差が文字語彙読解文法で漢字圏学習者に比べて相対的に小さく 3 級水準から2 級水準へ学習が進行する速度が漢字圏学習者に比べて緩やかである可能性が反映したものであることが明らかになった 71

73 改定後の JLPT では以上の結果を踏まえてその他の言語を母語とする日本語学習者が日本語に対する学習意欲を失わないで学習を続けられるように新しいレベルが加えられた 72

74 before 2009 after 級 Level 1 2 級 Level 2 Level 3 3 級 Level 4 4 級 Level 5 73

75 74

76 Research 3 Ⅲ 日本語能力試験における解釈規準開発の試み 75

77 この研究は下記の学会で発表したものです野口裕之熊谷龍一大隅敦子石毛順子長沼君主 2006 日本語能力試験 can-do-statements ( 試行版 ) のIRT 尺度化と日本語能力試験の得点段階との対応付けの試み, 5 th International J-OPI-Symposium Berlin 大隅敦子野口裕之熊谷龍一石毛順子長沼君主和田晃子伊東祐郎 (2006), 日本語能力試験 can-do statementsとcefr-dialangとの対応付けの試み, 5th International J-OPI- Symposium Berlin 2006.

78 ここでは最初に言語テストの解釈規準をめぐる最近の話題をお話しして次に改定前の日本語能力試験に対して Can-do statements による解釈規準をつける試みについてお話しします

79 テストの解釈規準テストの結果を受験者 ( 学習者 ) や利用者が活用するためにはテスト得点やレベルに対する合否情報のみではなくテスト結果を解釈するための規準が必要

80 最近の大規模言語テストでは得点の解釈規準を Can-do statements による内容規準で表わしているものが増えている例えば日本国内での受験者が多い大規模英語試験の実用英語技能検定 ( 略称英検 ) の場合は各級の技能毎に英検合格者の実際の英語使用に対する自信の度合いを具体的に表わすのに Can-do statements による解釈規準が示されている 79

81 日本語の場合日本語 Can-do-statements が日本語能力試験の妥当性検討のための外的基準の1つとして用いられることを意図して開発され ( 島田ほか,2006) BJT 日本語ビジネステストでは受験者の自己評価を CAN- DOレポートとして公表しているまたとよた日本語学習支援システムでは学習者の自己評価のためにCan-do-statementsを用意している ( 80

82 Can-do statements とは外国語の学習者や外国語試験の受験者がその言語を実際に使用する言語行動場面で具体的にどんなことができるかを記述した能力記述文の集合のこと Can-do statements を利用して外国語能力のレベルを記述したり学習者による自己評定や教師による評定により外国語学習者の言語能力を評価したりする 81

83 ALTE Can-do statements ALTE(The Association of Language Testers in Europe) では The ALTE levels として ALTE に加盟するテスト開発機関の外国語テストを Can-do statements で記述される 6 つの水準のいずれかに位置づけて表わしている (ALTE, 2008) Social Moderation ( North, 2000 ) このことにより ALTE 加盟各国で開発された外国語テストの測定結果の解釈規準が利用者に分かりやすく示されている欧州各言語テストに共通する解釈規準この6つの水準は CEFRで設定されている言語能力の6つの水準 (Council of Europe, 2001) に対応づけて設定されている 82

84 CEFR(Common European Framework of Reference for Languages: Learning, teaching, assessment) 欧州域内で国言語の違いを超えて言語教育専門家 ( テスト開発機関や行政担当官を含む ) 等が言語学習教授法そして評価法に関する相互理解およびコミュニケーションを促進するための基盤となる枠組みを提示した文書のこと欧州評議会 (Council of Europe) が1997 年に開始した言語教育プロジェクトの成果として 2001 年に英語版が出版された 83

85 1つの欧州を目指す欧州評議会の理念を受けて CEFRには 1) 欧州市民の相互理解促進のために市民が母語以外の言語も必要に応じて使用できるようになるという複言語主義と母語話者並みを必ずしも目標とはせずに必要な能力を身につける部分的能力の許容 2) 学校教育終了後も自律的に学習でき生涯学習を続けられる学習者支援 3) 欧州域内での移動に対する言語学習の継続性確保 4) 教師中心主義ではなく学習者中心主義の立場 5) 行動中心主義 ( ができる) の言語教育観などの特徴がある 84

86 また具体的な言語能力水準を共通参照レベルとして A: 基礎段階の言語使用者 (Basic User) B: 独立した言語使用者 (Independent User) C: 熟達した言語使用者 (Proficient User) の3レベルに設定し更に各レベルを2つずつ全部で6 段階に設定している A1:Breakthrough A2: Waystage B1:Threshold B2:Vantage C1:Effective Operational Proficiency C2:Mastery 85

87 この 6 段階のそれぞれについて全体的な尺度および聞くこと読むこと話すこと ( やりとり ) 話すこと ( 表現 ) 書くこと等の言語行動の諸側面を組み合わせ格子状に配列しそれぞれのセルに具体的にできる言語行動を能力記述文で例示している 86

88 例えば話すこと ( やりとり ) のB2レベルでは自分の興味関心のある分野に関連する限り幅広い話題について明瞭で詳細な説明をすることができるなど書くことの A2 レベルでは直接必要のある領域での事柄なら簡単に短いメモやメッセージを書くことができるなど言語能力は通常 4 技能で表わされることが多いが話すことを話す ( やりとり ) と話す ( 表現 ) に分けている点が特徴的である 87

89 JLPT 改定前の解釈規準得点解釈規準は用意されていない認定基準は例えば 1 級では高度の文法漢字(2000 字程度 ) 語彙(10000 語程度 ) を習得し社会生活をする上で必要な総合的な日本語能力 ( 日本語を900 時間程度学習したレベル ) 日本語で具体的にできることがわからない試験結果の利用者にとって不便な状態にある

90 改定後の得点解釈規準の作成新しい日本語能力試験では課題遂行能力とそのためのコミュニケーション能力とそれに必要な言語構造に関する運用能力を測定する得点の解釈規準 ( 基準 ) はができるという can-do statements により解釈規準を表示する

91 例えば話す能力では学校や職場などで専門的な話題に関して意見を述べたり発表したりすることができる話し相手や状況に応じて敬語を使って話をすることができる手順や操作道順などについて説明することができるなど

92 日本語能力試験 can-do statements 試行版について 2006 年段階では試行版予備的研究段階改定前の日本語能力試験との対応づけの方法および対応関係について検討した ( 野口熊谷大隅石毛長沼,2006 参照 )

93 JLPT-CDS 能力記述文作成 (1) 2004 年 CEFR-DIALANG をもとに作成開始 4 技能 20 項目 = 80 項目ほかに Europe Language Portfolio(ELP), ACTFL- OPI,TOEIC なども参照 92

94 聞く話すモノローク説明ニュースモノローク描写意見講義タイアロークスピーチ会話議論タイアローク通常会話行動会話テレビ長沼君主氏 ( 東京外国語大学 ) 作成 93

95 読む書く情報検索日常的文章機能系描写説明意見理解論説文媒体系自己物語文伝達手紙客観長沼君主氏 ( 東京外国語大 ) 作成 94

96 JLPT-CDS と CEFR-DIALANG: 能力記述文の比較開発チームに属する複数の日本語教育専門家が双方を比較し総合的に同一レベルにあると見られる能力記述文を選択した聞く読む書く 6 項目 /20 項目中 9 項目 /20 項目中 10 項目 /20 項目中 95

97 受験者アンケート (Can-do statements) 調査時間割文字語彙聴解読解文法アンケート 10:30 11:30 13:30 15:00 11:10 12:30 14:40 16:00 解答時間 30 分 30 分 -45 分 60 分 60 分モニター試験とアンケート調査受験者は Ⅱ 日本語能力試験の級間共通尺度の構成と同一 96

98 調査用紙質問項目例 N O 質問経験したことがありますか? どの位できますか? 経験したことがない人も想像して答えてください 2 乗換えや道順手順や操作などの説明を聞いて理解できる Yes No 全然できなかった問題なくできた全然できないと思う問題なくできると思う

99 受験者アンケート調査母語別人数母語別人数比率中国語話者 393 人 36.8% 韓国語話者 132 人 12.4% インドネシア語話者 127 人 11.9% その他 416 人 39.0% 合計 1068 人 100.0% 98

100 CDS 項目の尺度化日本語能力試験 can-do statements を多値型 IRT モデルのひとつである一般化部分得点モデル (Generalized Partial Credit Model) を用いて CDS 各 statement の困難度を推定したモデルの location parameter 推定値を当該項目の困難度としたその結果 Can-do statements の尺度上での順序をつけることができた

101 CEFR-DIALANG の能力記述文との順序の比較日本語能力試験 Can-do statements の尺度上での順序と CEFR-DIALANGの能力記述文の順序を両者に共通な ( 近似した ) 能力記述文については比較することができるすなわち聞く 6 項目読む 9 項目書く10 項目について比較した

102 聞く (6 項目 ) の順序の比較易日常生活 : 店レストラン郵便局銀行駅などでの日常的な場面 A2 電器店やデパート : 説明が長くなる B1 様々な文体話題細かい内容専門的討論や議論 C1 難 101

103 易読む (9 項目 ) の順序の比較知人友人からきたメールやハカキ A2 公の標示ホスター A2 学校職場地域の掲示 A2 公衆電話や券売機 A2 ヘアトライヤ - や掃除機 B1 短いメモ年賀状 A1 商品旅行のハンフ B1 難新聞にはさまれている広告チラシ A2 携帯電話やテシタルカメラ C1 102

104 易書く (10 項目 ) の順序の比較自分身近なこと日常生活決まりきった感情表現氏名や住所等メールやはがきメモ伝言 A1 A2 具体的な例示による意見述べ思いがけない出来事や状況本や映画のあらすじ B1 難学業仕事の分野複数の情報から構成のある文章 B2 C2 103

105 読むでは CEFR-DIALANG の順序性との一貫した対応が見られない JLPT 易難例えば商品や旅行などのパンフレットを読んで必要な情報が取れる新聞にはさまれている広告やチラシなどを見て必要な情報が取れる携帯電話やデジタルカメラなど操作が複雑な電化製品についての取り扱い説明書を読んで理解できる大隅野口熊谷石毛長沼和田伊東,2006 参照 CEFR B1 A2 C1

106 JLPT と CDS 能力記述文の対応付け本研究における受験者 1068 名に関しては JLPT 級間共通尺度上での能力尺度値 JLPT CDS 尺度上での特性尺度値とが得られている両者の同時分布から JLPT 級間共通尺度推定値のJLPT CDS 特性尺度推定値に対する回帰直線を求めこの直線をもってCDS と日本語能力試験共通尺度との関係を表わすことができる

107 回帰直線を利用して CDS 各 statementの困難度をjlpt 級間共通尺度上に対応づけた両者の相関係数は.625と比較的高く回帰直線の係数は0.943 切片は-0.08 CDS 各 statement の日本語能力試験 IRT 共通尺度上に対応づけられた値を各級の合否分割点 (4 級が級が級が0.0 1 級が 1.6) と比較したその結果 CDS80 項目中で4 級合格水準が7 項目 3 級が47 項目 2 級が26 項目で1 級合格水準の項目はなかった

108 6 4 J L P T θ CDSθ 図 1 各モニター調査協力者の日本語能力試験 can-do-statements 尺度上の推定値と日本語能力試験 IRT 共通尺度上の推定尺度値

109 書く読む話す聞く JLPT 共通尺度値図 2 日本語能力試験 can-do-statements の各項目を日本語能力試験 IRT 共通尺度に対応付けた結果

110 まとめ 1. この分析において JLPT-CDSおよびCEFR- DIALANGは特に聞く書くにおいて順序性の一致が見られた 2. CEFR-DIALANGを外在基準として眺めた時順序性という観点からは聞く書くを中心に JLPT-CDS には一定の妥当性が認められたと考えられる 3. 日本語の場合欧州系言語との共通性の度合いが低いそのため CEFRに対応づけられる能力記述とそうでない能力記述とがある特に読む書くの能力に関して文字 ( 漢字 ) の能力をどう位置づけるかが問題

111 4. 今後の課題として適用したIRTモデルが適切であったか CDS 特性尺度と日本語能力試験共通尺度との対応づけの方法は適切であったか日本語能力試験の得点段階を大きくとって各級の合否分割点で段階を区切ったが実際の日本語能力試験の受験者や利用者にとってこの区切りが利用しやすいものであるかどうかなどを検討する必要がある

112 本研究の今後の課題本研究は改定前の日本語能力試験の枠組みで検討を進めたものであるが改定後の日本語能力試験の仕様 (specification) に沿った方向で CDS の改訂が進められているまた CDS を介して他の言語テストとの能力基準の共通化および独自性の明確化を図る必要がある

113 112

114 おわりに 113

115 おわりにテスト特に言語テストは世界の潮流をきちんと見る必要があるしかし時流に流されてはいけないテスト開発は決してテスト理論の発展だけでテスト開発は決してテスト理論の発展だけではうまく行かない測定対象の理論的な変化もきちんと把握しておく必要があるしかし現実の世界を見る眼をもつことがもっと大切なこと

116 新しい理論技術道具を活用することは大切なことであるが濫用に陥ってはいけないテスト開発は極めてヒトに集約されたプロジェクトであるいいいテスト開発にはいい人材の養成が不可欠テストのことを総合的に考えられる人材を養成するシステムが必要言語テストは国家レベルの国際戦略にも位置づけられる国際貢献のための言語政策の中に言語テストを位置づけることが必要

117 どうもありがとうございます! 116

第3章

第3章 3 (Common Reference Levels) 3.1 (descriptor) CEF (Descriptive Scheme) CEF CEF (descriptor) CEF (context-free) CEF (context-relevant) (based on theories) (user-friendly)(practitioners) (measurement) CEF