第 1 章 測 定 と 評 価 pp1-14 1-1 統 計 分 析 を 行 う 前 に 1-1-1 測 定 と 評 価 のための 統 計 分 析 仮 説 検 証 型 (hypothesis testing)の 研 究 仮 説 を 立 てる その 仮 説 が 正 しいかどうかを 検 証 例 ) 社 交 性 とスピーキング 力 の 関 連 性 仮 説 社 交 的 な 学 生 ほど 海 外 留 学 による 英 語 のスピーキング 力 の 伸 びが 大 きい 検 証 留 学 前 に 社 交 性 に 関 する 質 問 紙 を 用 いて 各 学 生 の 社 交 性 の 度 合 いを 調 査 留 学 前 後 に 英 語 のスピーキングテストを 実 施 し 伸 びを 測 定 測 定 した 社 交 性 とスピーキング 力 の 関 係 を 分 析 し 仮 説 が 成 立 するかを 統 計 分 析 を 用 いて 検 証 社 交 性 スピーキング 力 : 目 に 見 えない 人 間 の 特 性 や 能 力 正 しく 評 価 (evaluate)するために 質 問 紙 やテストなどの 尺 度 (scale)を 使 わなければならない 1-1-2 測 定 の 二 大 要 素 : 妥 当 性 と 信 頼 性 妥 当 性 :その 尺 度 が 測 定 すべきものを 測 定 しているかの 概 念 信 頼 性 : 測 定 が 安 定 していて 正 確 であるかの 概 念 測 定 においては 妥 当 性 (validity)のある 尺 度 を 使 って 信 頼 性 (reliability)の 高 いデータを 得 ることが 大 切 例 ) 英 作 文 の 能 力 を 測 定 するテスト 妥 当 性 を 高 めるために: 実 際 に 英 語 を 書 かせる 明 確 な 採 点 基 準 を 設 ける 信 頼 性 の 向 上 ダーツのアナロジー 的 の 中 心 を 射 ているか= 妥 当 性 誤 差 ぶれがないか= 信 頼 性 1-2 妥 当 性 の 捉 え 方 と 検 証 法 1-2-1 伝 統 的 観 点 から 見 た 妥 当 性 の 分 類 妥 当 性 の 種 類 定 義 検 証 法 1
内 容 的 妥 当 性 (content validity) 基 準 関 連 妥 当 性 (criterion-related validity) 1. 併 存 的 妥 当 性 (concurrent validity) 項 目 が どの 程 度 全 体 を 偏 りなく 代 表 しているか 外 部 の 基 準 とどの 程 度 関 連 がある か その 分 野 の 専 門 家 に 判 断 してもら う 同 時 期 に 得 た 基 準 との 相 関 を 検 証 する 2. 予 測 的 妥 当 性 (predictive validity) 構 成 概 念 妥 当 性 (construct validity) その 尺 度 の 実 施 以 降 の 変 化 などを どの 程 度 適 切 に 予 測 しているか 測 定 しようとする 構 成 概 念 をどの 程 度 適 切 に 反 映 しているか 尺 度 の 得 点 とモデルや 理 論 との 整 合 性 がどの 程 度 あるか 尺 度 の 得 点 とその 後 の 基 準 との 相 関 を 検 証 する 信 頼 できる 基 準 との 相 関 や 因 子 分 析 MTMM( 収 束 的 弁 別 的 妥 当 性 )などによって 検 証 する 構 成 概 念 妥 当 性 = 基 準 関 連 妥 当 性 + 内 容 的 妥 当 性 妥 当 性 の 検 証 = 構 成 概 念 妥 当 性 の 検 証 単 一 の 概 念 1-2-2 新 しい 妥 当 性 の 定 義 :Messick の 分 類 妥 当 性 テスト 得 点 を 用 いたある 特 定 の 推 論 が 適 切 であるか 意 味 があるか 有 用 であるかを 示 すこ と テストの 妥 当 化 その 推 論 を 裏 付 けるための 推 論 を 累 積 するプロセス 構 成 概 念 妥 当 性 の 6 つの 側 面 妥 当 性 の 側 面 妥 当 性 の 証 拠 具 体 的 な 情 報 の 収 集 法 内 容 的 側 面 (content aspect) 項 目 の 内 容 が 設 定 したドメインの 内 容 に 対 応 しているか 十 分 にドメイン を 代 表 しているかを 示 す 証 拠 カリキュラム 分 析 タスク 分 析 談 話 分 析 など 専 門 家 や 尺 度 のユーザーによる 判 断 本 質 的 側 面 (substantive aspect) 項 目 やタスクなどの 反 応 ( 回 答 )プロ セスが 心 理 学 的 に 理 論 的 根 拠 がある という 証 拠 タスク 中 の 発 話 プロトコルやタスク 後 の 再 生 目 の 動 きや 反 応 時 間 などの 観 察 質 問 紙 インタビュー 構 造 的 側 面 (structural aspect) 尺 度 内 の 項 目 間 の 関 係 が 理 論 的 構 造 に 一 致 していることを 示 す 証 拠 尺 度 の 次 元 性 や 応 答 パターンが 心 理 測 定 モデルに 合 うという 証 拠 得 点 化 手 続 きの 適 切 性 の 診 断 相 関 分 析 因 子 分 析 や 構 造 方 程 式 モデリング 項 目 応 答 理 論 一 般 化 可 能 性 の 側 面 当 該 データの 理 論 的 特 性 ( 平 均 や 標 準 一 般 化 可 能 性 理 論 2
(generalizability aspect) 外 的 側 面 (external aspect) 結 果 的 側 面 (consequential aspect) 偏 差 項 目 間 の 相 関 構 造 など)が 一 貫 しており 且 つ 他 の 集 団 実 施 場 面 実 施 時 期 同 様 の 項 目 セットに 対 して も 不 変 であるという 証 拠 当 該 尺 度 と 他 の 尺 度 に 理 論 上 想 定 さ れる 相 関 パターンが 示 される 問 う 証 拠 その 尺 度 を 使 用 することの 適 切 さ 短 期 的 長 期 的 な 悪 影 響 が 理 論 的 経 験 的 に 生 じない 予 期 されないという 証 拠 再 検 査 信 頼 性 ( 再 テスト 信 頼 性 ) 代 替 検 査 信 頼 性 ( 同 等 フォーム) アルファ 係 数 相 関 分 析 や MTMM 構 造 方 程 式 モデリング 観 察 質 問 紙 インタビューによる 波 及 効 果 の 分 析 事 前 事 後 テストの 分 析 1-2-3 多 特 性 多 方 法 行 列 分 析 法 (MTMM) MTMM (multi-trait multi-method analysis) 収 束 的 妥 当 性 (convergent validity)と 弁 別 的 妥 当 性 (discriminant/divergent validity)を 使 って 構 成 概 念 妥 当 性 を 検 証 する 方 法 収 束 的 妥 当 性 (convergent validity) 同 じ 特 性 を 異 なる 方 法 で 測 定 した 尺 度 間 の 相 関 ( 同 一 特 性 異 方 法 相 関 :monotrait-heteromethod correction, MH)で 表 す 弁 別 的 妥 当 性 (discriminant/divergent validity) 異 なる 特 性 を 同 じ 方 法 で 測 定 したテスト 間 の 相 関 ( 異 特 性 同 一 方 法 相 関 :heterotrait-monomethod correlation,hm)と 異 なる 特 性 を 異 なる 方 法 で 測 定 した 尺 度 間 の 相 関 ( 異 特 性 異 方 法 相 関 : heterotrait-heteromethod correlation,hh)の 2 つによって 表 す 1-2-4 波 及 効 果 波 及 効 果 (washback/ backwash effect) 結 果 的 側 面 の 中 でテストなどが 学 習 に 与 える 影 響 インパクト(impact) テストが 教 育 組 織 や 社 会 に 与 える 影 響 1-3 テストの 信 頼 性 1-3-1 信 頼 性 の 定 義 信 頼 性 : 尺 度 が 測 定 している 構 成 概 念 をどの 程 度 高 い 精 度 で 測 定 しているかという 得 点 の 安 定 性 ある いは 一 貫 性 3
信 頼 性 係 数 古 典 的 テスト 理 論 (classical test theory) < 観 測 値 = 真 値 + 誤 差 > 真 値 = 対 象 とする 能 力 を 示 す 真 の 得 点 誤 差 = 真 の 得 点 からのズレ * 仮 定 * 1 誤 差 はランダムに 生 ずる つまり 真 値 との 相 関 はゼロである 2 誤 差 はプラス マイナスどちらの 値 をとることもありその 平 均 値 はゼロである 3 誤 差 どうしの 相 関 はゼロである 1の 場 合 < 観 測 値 の 分 散 = 真 値 の 分 散 + 誤 差 分 散 > 分 散 (variance):それぞれのデータの 平 均 値 からの 距 離 を2 乗 した 値 < 信 頼 性 係 数 ρ(ロー)= 真 値 の 分 散 / 観 測 値 の 分 散 = 真 値 の 分 散 / 真 値 の 分 散 + 誤 差 の 分 散 > 観 測 値 の 誤 差 分 散 が 大 きいほど 信 頼 性 が 低 くなる 信 頼 性 係 数 は0から1の 間 の 値 をとる( 信 頼 性 係 数 0.80 以 上 信 頼 性 が 高 いデータ) 1-3-2 信 頼 性 係 数 の 推 定 方 法 (1) 再 テスト 法 (2) 同 等 フォーム 法 (3) 内 的 一 貫 性 (4) 評 価 者 信 頼 性 (1) 再 テスト 法 同 内 容 のテストや 質 問 紙 を 同 一 被 験 者 に 二 回 実 施 し 得 点 の 相 関 係 数 を 求 める 特 性 がすぐに 変 わらない 心 理 検 査 などで 実 施 可 能 (2) 同 等 フォーム 法 ( 平 行 フォーム 法 ) 同 一 被 験 者 に 同 じ 形 式 の 二 つのテストを 実 施 し 得 点 の 相 関 で 信 頼 性 を 推 定 同 等 のテスト 作 成 が 難 しく 実 用 的 ではない (3) 内 的 一 貫 性 ( 内 的 整 合 性 ) 同 じ 構 成 概 念 を 測 定 する 尺 度 内 で 受 験 者 の 項 目 得 点 の 一 貫 性 をみる 1 折 半 法 テスト 項 目 を 半 分 に 分 け それぞれの 合 計 点 の 相 関 を 示 したのち 全 体 の 信 頼 性 係 数 をスピアマン ブラウン 公 式 (Spearman-Brown prophecy formula)を 用 いて 算 出 高 い 信 頼 性 係 数 を 算 出 するにあたっての 項 目 の 増 減 を 検 討 可 問 題 点 :テスト 項 目 の 分 け 方 によって 結 果 が 変 動 する 4
2アルファ 係 数 (α 係 数 :クロンバック アルファ) 折 半 法 の 問 題 点 を 克 服 すべての 折 半 方 法 によって 推 定 した 信 頼 性 の 平 均 値 を 統 計 的 に 算 出 最 もよく 用 いられる 3キューダー リチャードソン20(KR20) 2 値 データをアルファ 係 数 で 求 めた 場 合 4キューダー リチャードソン21(KR21) 内 的 一 貫 法 の 中 でも 信 頼 性 係 数 が 低 く 推 定 され 過 小 評 価 される 傾 向 (4) 評 価 者 信 頼 性 被 験 者 のパフォーマンス 評 価 において 評 価 側 の 判 断 への 主 観 性 の 介 入 を 考 慮 ( 評 価 者 の 採 点 の 一 致 度 ) 複 数 人 で 被 験 者 を 評 価 した 場 合 評 価 者 間 で 採 点 が 一 貫 していたかという 評 価 者 間 信 頼 性 (inter-rater reliability) 複 数 の 評 価 を 一 人 で 行 った 場 合 同 一 評 価 者 が 一 貫 して 評 価 したかどうかという 評 価 者 内 信 頼 性 (intra-rater reliability) 2 名 の 評 価 者 の 採 点 の 一 致 度 を 求 める 場 合 は 相 関 分 析 (7 章 )やカッパ 係 数 (7 章 )を 3 名 以 上 の 場 合 はアルファ 係 数 を 用 いて 算 出 その 他 にも 一 般 化 可 能 性 理 論 ( 高 信 頼 性 を 得 るために 必 要 な 評 価 者 数 や 項 目 数 を 検 討 可 能 )や 項 目 応 答 理 論 (それぞれの 被 験 者 の 能 力 及 び 評 価 者 の 厳 しさや 一 貫 性 を 同 時 に 分 析 可 能 )を 用 いる 方 法 もある 5