英検 Can-do リストによる Writing 技能に関する妥当性の検証【共同研究】

Size: px

Start display at page:

Download "英検 Can-do リストによる Writing 技能に関する妥当性の検証【共同研究】"

しゅんすけかみこ
5 years ago
Views:

1 第20回研究助成 D. 委託研究部門報告Ⅱ 英検 Can-do リストに関する研究英検 Can-do リストによる Writing 技能に関する妥当性の検証準 2 級と 3 級のリストを用いて代表者北海道函館工業高等専門学校教授概要共同研究竹村雅史本研究は 2006年に英検が発表した英 Europe から発表され到達度レベルで何ができる検 Can-do リストに基づき英検取得かを示した客観的な基準作りが Can-do プロジェク者がそのリストに挙げられた項目に即したタスクに答えてもらうことで英検 Can-do リストの妥当性を検証するものである調査対象は 3 級準 2 級の取得者で書く技能のリストに挙げられた項目に対するライティントとして研究されてきた日本では英検が2003年 5 月から約 3 年の歳月をかけ延べ20,000人を超える 1 級から 5 級の合格者に対し大規模なアンケート調査を実施しその結果を Can-do リストとしてまとめたこのリストグタスクに答えてもらった調査方法として本は具体的に英語運用能力を測って数値化したもの調査に入る前にパイロット調査を実施しリストにではないが英語使用に対する自信の度合いを挙げられたタスクを精選し本調査のタスクを作級別に 4 技能別にまとめたものである成したまた自信の度合いも見るために英検 Can-do リストに基づくアンケート調査も行ったこれによって英検合格者が具体的な場面を想定して英語をどこまで使えるかを予想することが可能採点方法は 2 人の日本人が採点者になり同時になったと言えるまた級が上がるにつれて具期に 1 つの答案を検討し採点者間の信頼性を保っ体的な学習目標が明確になり学習の連続性によったまた英語母国語話者にも比較参考資料のためて英語の 4 技能で何ができるかがより細かくわか採点に加わってもらったるようになった結果はその級で挙げられているリスト項目に関英検 Can-do リストはあくまでも合格者のして自信がある場合には実際にある程度のライ自信の度合いを調べたものであり直接その能力をティングの performance を発揮できることがわかっ確認したものではないしたがってこれまで英検たが項目によっては発揮できないものもあった合格者に実際にリスト項目に基づいたタスクに答え 1 てもらったデータはない英検の級取得者がどの程はじめに英語が世界共通語として受け入られるに従い近年国内外で英語運用能力を測定するさまざまな試験度リスト項目に基づいたタスクに答えることができるかを示す検証がどうしても必要となる 2 調査目的が実施されているとりわけ EU では共通言語としての英語が見直され各国の英語教育政策の推進が求められているその運用能力の到達レベルのガ本研究は英検級取得者に英検 Can-do リストに挙げられたリスト項目に基づいたタスクを実際にイドラインとして Common European Framework 答えてもらいそのリストの妥当性を検証すること of Reference for Languages CEFR が Council of が目的である 251

2 4 writing 調査対象調査方法 4.1 パイロット調査 1 Can - do :10 16:00 Can-do 1 A 2 B タスク作成 ( パイロット調査 ) Can-do 3 2 writing Can-do statement 1 2 表 1: 英検 Can-do リスト ( 3 級 ) 英検合格者の実際の英語使用に対する自信の度合い書く自分のことについて簡単な文章を書くことができる 1 3 Ken called at 3 p.m. 表 2: 英検 Can-do リスト ( 準 2 級 ) 英検合格者の実際の英語使用に対する自信の度合い書く興味関心のあることについて簡単な文章を書くことができる E Meet Yoko at the station at ten / Go shopping with Jill Can-do statement 2 performance

3 第 20 回研究助成 D. 委託研究部門報告 Ⅱ 英検 Can-do リストによる Writing 技能に関する妥当性の検証 3 prompt performance 表 3: 本調査のタスク 3 級タスク 1 Can-do 4 3 タスク 2 Can-do 1 タスク 3 Can-do 準 2 級タスク 1 Can-do タスク 2 Can-do 1 3 タスク 3 Can-do ALT H 本調査の時間配分 A B performance 評価方法と評価基準の確定 performance holistic scoringanalytic scoring primary trait scoring Can-do statement task completionaccuracy 2 253

4 scoring rubric 表 4: 採点基準 ( タスク完成度 ) 採点スケール 5 採点ポイント採点者間の信頼性の確保 6 2 A 表 6: 採点者間の信頼性問 1(TC) 問 1(Acc) 問 2(TC) 問 2(Acc) TC: Task Completion Acc: Accuracy TC inter-rater reliability 本調査表 5: 採点基準 ( 正確さ ) 採点スケール 5 採点ポイント Can-do 評価 inter-rater reliability performance 254

5 第 20 回研究助成 D. 委託研究部門報告 Ⅱ 英検 Can-do リストによる Writing 技能に関する妥当性の検証 Sample 1 My name is I m from Sapporo. I have mother, father, older sister, older brother. I live in Hakodate now but my family lives in Sapporo. Task Completion: 3 Accuracy: 4 Sample 2 My name is My favorite subject is English. I live in Hokuto city. My family is father, mother, brother and sister. I like listening to music. I have two dogs. they are very cute. I will study very hard and have a good time. Task Completion: 4 Accuracy: 4 Sample 3 My name is I live in Ueno. Task Completion: 2 Accuracy: 調査対象者の精査 performance A D A 表 7:3 級取得者の受験年度 ( 実施回 ) 別人数とタスク別平均点実施年平均回 3 回 2 回 1 回 3 回 2 回 1 回 3 回 3 回人数 ( 人 ) タスクタスクタスク区分 A B C D 10 表 8: 準 2 級取得者の受験年度 ( 実施回 ) 別人数とタスク別平均点実施年平均回 2 回 1 回 3 回 2 回 1 回 3 回 2 回 1 回 3 回 2 回 1 回人数 ( 人 ) タスクタスクタスク区分 A B C D E

6 E F 3, 61 = 2.76, p =.68 2 F 3, 61 = 2.75, p =.87 3 F 3, 61 = 2.76, p = F 4, 55 = 2.54, p =.99 2 F 4, 55 = 2.54, p =.19 3 F 4, 55 = 2.54, p = A B C D 65 2 A B C D E 60 6 結果と考察 6.1 Can-do アンケートと自信の度合い performance Can-do statement Can-do Can-do statement E E 図 1: 3 級取得者の Can-do アンケート集計結果

7 第 20 回研究助成 D. 委託研究部門報告 Ⅱ 英検 Can-do リストによる Writing 技能に関する妥当性の検証 E 図 2 準 2 級取得者の Can-do アンケート集計結果 ⑤ よくできると思う 60 ④ だいたいできると思う 50 ③ ある程度できると思う ② 少しできると思う 40 ① ほとんどできないと思う自己紹介 2 趣味 3 好き嫌い 4 日記 5 カード 6 伝言 7 夢や希望はがき 6.2 英検 Can-do statement の妥当性検証 8 お気に入り 9 手紙 10 お知らせ 11 予定手帳を書くことができる物ごとの好き嫌いとその理由を書くことができる短い日記を書く英検 Can-do リストは英検合格者の実際の英語使用に対する自信の度合いを表しているあ表 9 3 級準 2 級のタスク別平均点と合計点 3 級 n = 65 くまで自信の度合いでありその能力があるかどうかは実際に試してみなければ定かではない英検準 2 級 n = 60 平均標準偏差平均標準偏差 Can-do リストの妥当性とは Can-do リストタスクが英検合格者のライティング能力の一部を言いタスクタスク当てているかどうかであるつまり英検合格者が本当にそのリストどおりのことができる能力があるかどうかということであるそこで 4.1.3で述べた評価方法の下で 1 つのタスクに対して合格したタスク完成度 3 以上かつ正確さ 3 以上調査対象者の割合が80 以上であればそのタスクに対する Can-do 表現 statement は妥当性があると考えた 6.3 結果各級のタスク別平均点とその合計は次のとおりである表 9 注各タスク 10 点満点表 10 3 級の取得年度別タスク達成率と平均点 3級 A タスク 1 タスク 2 タスク B C D 注各タスク 10 点満点表 11 準 2 級の取得年度別タスク達成率と平均点タスク 1 タスク 2 タスク 3 A 達成率とは 6.2で述べたとおりである表10 11 B タスクに対してタスク完成度 3 以上かつ正 C 確さ 3 以上を取った合格者の人数の割合である D 級に関しては 3 つのタスクすべてが80 以上 E また各級のタスクにおける達成率は次のとおりの達成率であることから簡単な自己紹介の文章準2級注各タスク 10 点満点 257

8 Can-do statement Can-do statement statement Can-do 3 2 Can-do statement まとめ Cando Can-do performance Can-do Can-do Can-do 謝辞 Andre Parsons 258

9 第 20 回研究助成 D. 委託研究部門報告 Ⅱ 英検 Can-do リストによる Writing 技能に関する妥当性の検証参考文献 Alderson, J.C., Clapham, C., & Wall, D.(1996). Language Test Construction and Evaluation. Cambridge, UK: Cambridge University Press. ( ).(2003). ( ).. :. Council of Europe.(2006). Common European Framework of Reference for Languages. Cambridge: Cambridge University Press. Ellis, R. & Barkhuizen, G.(2005). Analysing Learner Language. Oxford. Heaton, J.B.(1995). Writing English Language Tests. Essex, UK: Longman. Hedge, T.(1988). Writing. Oxford: Oxford University Press. ( ).(2003).. :. ( ).(2001).. :. Madsen, H.S.(1983). Techniques in Testing. New York: Oxford University Press..(2006). Can-do. Shaw, D.S. & Weir, C.J.(2007). Examining Writing. Cambridge: Cambridge University Press. Weigle, S.C.(2002). Assessing Writing. Cambridge: Cambridge University Press. 資料資料 1 :Can-do アンケート ( パイロット調査 ) 書く (Writing) 技能に関して Ken called at 3 p.m E Meet Yoko at the station at ten / Go shopping with Jill 資料 2 : ライティングタスク A( パイロット調査 )

10 2 E Hi! How is the weather there? Thank you very much for your . Your friend 資料 3: ライティングタスク B( パイロット調査 ) Show & Tell 5 資料 4:Can-do アンケート ( 本調査 ) Can-do 書く (Writing) 技能に関して Ken called at 3 p.m E Meet Yoko at the station at ten / Go shopping with Jill

11 第 20 回研究助成 D. 委託研究部門報告 Ⅱ 英検 Can-do リストによる Writing 技能に関する妥当性の検証資料 5: 3 級ライティングタスク ( 本調査 ) H 1 資料 7: 準 2 級タスク 3 の回答サンプル ( 本調査 ) 資料 6: 準 2 級ライティングタスク ( 本調査 ) Sample 1 Dear, Mr HNCT will hold a school festival in October 20th Saturday and 21th Sunday. Task Completion: 2 Accuracy: 3 Sample 2 Hello. How are you? My school will take festival in Octover 21th to 21th in H National College of Technology. Best shop I think is Okonomiyaki shop. That s very delicious! Task Completion: 3 Accuracy: 3 Sample 3 A festival of my school will be opened in Nobember 20th on Saturday and 21th on Sunday. My school is H College of Technology. Please come to the festival. There are many of the food. I think all of the food in festival is very good. I wish to see you. Task Completion: 4 Accuracy: 3 Sample 4 School festival hold in H Nationall College of Technology. Daytime is 10/20 (sat) 10/21 (sun). I think interesting things, Music festival, Miss. contest, Karaoke. It is very exited! Task Completion: 3 Accuracy: 2 Sample 5 I hope come on my school festival. Festival is data October 20th and 21th, on Saturday and Sunday. In H National College of Technology. Task Completion: 2 Accuracy: 2 3 ALT 261

教育実践上の諸問題

教育実践上の諸問題 I go school by bus. I ll give this book Mary. () () Please tell me the way the station. ( ) : Oh. : Uh, is MISUIKAN your favorite onsen? : O.K. Why? : You said to eat ice cream after onsen. What kind