私 達 が 調 査 手 法 を 研 究 した 背 景 リクルートワークス 研 究 所 ワーキングパーソン 調 査 (2000 年 ~ 隔 年 実 施 ) 首 都 圏 在 住 の18~59 歳 で 働 く 個 人 6,500 人 ( )を 対 象 に 就 業 実 態 意 識 を 調 査 調 査 実 施

インターネットモニター 調 査 は どのように 偏 っているのか 従 来 型 調 査 手 法 に 代 替 する 調 査 手 法 の 模 索 2014.9.4 リクルートワークス 研 究 所 研 究 員 萩 原 牧 子 1

私 達 が 調 査 手 法 を 研 究 した 背 景 リクルートワークス 研 究 所 ワーキングパーソン 調 査 (2000 年 ~ 隔 年 実 施 ) 首 都 圏 在 住 の18~59 歳 で 働 く 個 人 6,500 人 ( )を 対 象 に 就 業 実 態 意 識 を 調 査 調 査 実 施 年 度 末 には 東 京 大 学 社 会 科 学 研 究 所 の データアーカイブにデータ 寄 託 学 生 研 究 者 は 誰 でも 活 用 可 能 調 査 手 法 性 別 年 齢 5 歳 階 級 正 社 員 とそれ 以 外 に 割 付 ( 就 調 より) エリアサンプリング 訪 問 留 置 法 2

調 査 環 境 の 変 化 住 民 台 帳 からの 無 作 為 抽 出 した 者 への 訪 問 留 置 き 法 2006 年 住 民 台 帳 利 用 の 閲 覧 禁 止 訪 問 調 査 の 回 収 率 低 下 個 人 情 報 保 護 への 関 心 高 まり 女 性 の 社 会 進 出 による 不 在 世 帯 増 加 オートロック 式 マンション 増 加 代 表 性 は 失 われつつある 従 来 型 調 査 手 法 の 危 機 代 替 する 信 頼 性 のある 調 査 手 法 の 確 立 が 求 められる 3

調 査 環 境 の 変 化 インターネットモニター 調 査 手 間 少 なく 短 時 間 安 価 1 調 査 対 象 者 が 目 標 母 集 団 を 代 表 しない インターネットモニターである 2 回 答 が 紙 ではなく インターネット 画 面 で 行 われる 4

問 題 意 識 同 じ 設 問 で 複 数 の 手 法 による 比 較 調 査 多 くの 先 行 研 究 はインターネットモニター 調 査 のほうに 偏 りがあることを 前 提 に 相 対 比 較 従 来 型 調 査 の 回 答 を 正 しい 値 として 比 較 する 5

研 究 プロジェクト 手 段 と 目 的 ( 東 京 大 学 社 会 学 研 究 所 委 託 研 究 ) 第 一 期 :2007 年 度 郵 送 ランダム1 郵 送 モニター2 インターネットモニター(345) の5つの 実 験 調 査 を 実 施 測 定 法 を 自 記 式 に 揃 えた 上 での サンプリングバイアスに 注 目 第 二 期 :2008 年 度 従 来 型 調 査 (エリアサンプリング+ 訪 問 留 置 6)と インターネットモニター7 調 査 を 並 行 実 施 分 析 1: 正 しいデータとの 比 較 個 人 属 性 を 代 表 性 の 高 い 就 業 構 造 基 本 調 査 や 国 勢 調 査 と 比 較 両 調 査 の 回 答 の 偏 りを 検 証 分 析 2: 設 問 の 種 類 により 差 がないものがあるのか 検 証 6

誤 差 を 整 理 する 枠 組 み 発 生 要 因 1サンプリングバイアス 目 標 母 集 団 と 回 収 標 本 の 体 系 的 な 誤 差 無 作 為 抽 出 VS 有 作 為 抽 出 2 測 定 法 誤 差 他 記 式 ( 他 人 が 記 入 電 話 や 面 接 ) VS 自 記 式 ( 自 分 で 記 入 ) 質 問 紙 VS インターネット 画 面 出 所 : 本 多 則 惠 本 川 明 (2005) インターネット 調 査 は 社 会 調 査 に 利 用 できるか 実 験 調 査 による 検 証 結 果 労 働 政 策 研 究 報 告 書 No.17 労 働 政 策 研 究 研 修 機 構 7

調 査 設 計 測 定 法 誤 差 ( 他 記 式 紙 ( 参 考 ) 就 業 構 造 基 本 調 査 ( 訪 問 面 接 無 作 為 抽 出 ) ( 参 考 ) 国 勢 調 査 ( 訪 問 留 め 置 き 悉 皆 調 査 ) 7 訪 問 留 め 置 きエリアサンプリング 自 記 式 W E B ) 1 郵 送 ランダム 2 郵 送 モニター 3456WEBモニター サンプリングバイアス( 無 作 為 抽 出 有 作 為 抽 出 ) 8

第 一 期 実 験 調 査 の 概 要 第 一 期 以 下 5つの 実 験 調 査 を 実 施 生 活 と 社 会 意 識 に 関 する 調 査 実 験 調 査 2007 年 1 郵 送 ランダム( 選 挙 人 名 簿 から 無 作 為 抽 出 した 者 への 郵 送 調 査 ) 2 郵 送 モニター( 郵 送 モニター 登 録 者 への 郵 送 調 査 ) 3WEBモニターA(WEBモニター 登 録 者 へのインターネット 調 査 ) 4WEBモニターB(WEBモニター 登 録 者 のインターネット 調 査 ) 5WEBモニターC( 懸 賞 メーリングリスト 登 録 者 へのインターネット 調 査 ) 3 社 のWEBモニターは 運 営 会 社 が 異 なる 抽 出 方 法 と 割 付 調 査 エリア ポイント 特 筆 事 項 1は 層 化 2 段 無 作 為 抽 出 2~4は 層 化 後 各 層 の 人 口 規 模 により10 歳 刻 みの 男 女 で 割 付 東 京 都 ( 首 都 圏 50キロ 圏 内 ) 代 表 性 が 高 い 比 較 基 準 となる 調 査 として1を 設 定 特 に サンプリングバイアスに 焦 点 をあて 回 収 率 を 上 げるため 極 力 少 ない 設 問 数 (A3 用 紙 1 枚 の 表 裏 に 収 まる) 以 下 の 従 来 型 調 査 から 既 存 設 問 を 抜 粋 し 比 較 可 能 にした 就 業 労 働 実 態 調 査 ( 住 民 台 帳 より 無 作 為 抽 出 訪 問 面 接 法 ) ワーキングパーソン 調 査 2006(エリアサンプリング 訪 問 留 置 き 法 ) 回 収 率 は121.5% 282.7% 345.0% 473.4% 57.0% 9

第 一 期 調 査 からの 知 見 ( 抜 粋 ) 5つの 実 験 調 査 間 では 属 性 意 識 ともに 差 がある モニター 調 査 の 学 歴 が 高 く インターネットモニター 調 査 の 未 婚 率 が 高 い 意 識 設 問 は 郵 送 ランダムがポジティブで 郵 送 モニター インターネットモニター 調 査 の 順 にネガ ティブになる 傾 向 がある( 萩 原 2009) 留 め 置 き 調 査 を 加 え 回 答 分 布 を 比 較 したところ 留 め 置 き 調 査 とインターネットモニター 調 査 が 対 極 その 間 に 郵 送 が 位 置 する( 三 輪 2009) 調 査 手 法 より 回 答 者 が 異 なる 可 能 性 がある 実 験 調 査 間 で 調 査 手 法 への 協 力 意 向 に 差 が ある モニター 回 答 者 は 従 来 型 の 調 査 手 法 の 協 力 意 向 度 が 低 く 従 来 型 調 査 で 取 り 込 めていな い 可 能 性 がある( 萩 原 2009) どの 調 査 手 法 を 選 好 するかは 回 答 傾 向 を 規 定 する 訪 問 面 接 調 査 に 協 力 意 向 あり と 訪 問 留 め 置 き 調 査 に 協 力 意 向 あり の 回 答 傾 向 が 似 ていて また インターネット 調 査 に 協 力 意 向 あ り と どれにも 協 力 したくない の 回 答 傾 向 が 似 ている かつ この 両 グループが 対 極 で その 間 に 郵 送 調 査 電 話 調 査 が 位 置 する また どれにも 協 力 したくないひとは 学 歴 収 入 がともに 低 く 非 正 規 が 多 いという 特 徴 がある( 本 多 2009) 苦 労 してランダム 抽 出 しても 代 表 性 が 高 い 調 査 になるかは 別 の 話 である 回 収 率 が 低 い 郵 送 ランダム 調 査 は 回 答 傾 向 がモニター 調 査 に 近 づく( 前 田 2009 三 輪 2009) 測 定 法 を 自 記 式 に 統 一 してでもなお 発 生 する 調 査 間 の 回 答 の 差 は 調 査 手 法 により 回 答 者 がそもそも 異 なること( 属 性 も 意 識 も)により 発 生 している サンプリングバイアスの 影 響 が 大 きい 10

研 究 プロジェクト 手 段 と 目 的 ( 東 京 大 学 社 会 学 研 究 所 委 託 研 究 ) 第 二 期 :2008 年 度 従 来 型 調 査 (エリアサンプリング+ 訪 問 留 置 )と インターネットモニター 調 査 を 並 行 実 施 分 析 1: 正 しいデータとの 比 較 個 人 属 性 を 代 表 性 の 高 い 就 業 構 造 基 本 調 査 や 国 勢 調 査 と 比 較 両 調 査 の 回 答 の 偏 りを 検 証 分 析 2: 設 問 の 種 類 により 差 がないものがあるのか 検 証 11

第 二 期 実 験 調 査 の 概 要 第 二 期 実 験 調 査 以 下 2つの 実 験 調 査 を 実 施 ワーキングパーソン 調 査 2008 2008 年 6 訪 問 留 置 調 査 エリアサンプリング 7WEBモニター 調 査 (WEBモニター 登 録 者 へのインターネット 調 査 ) 抽 出 方 法 と 割 付 調 査 エリア ポイント 67ともに 男 女 別 5 歳 刻 みで 正 社 員 と 非 正 規 社 員 での 割 付 6は 地 点 を 抽 出 後 エリアサンプリング 7は 対 象 エリアのモニターに 調 査 首 都 圏 ( 首 都 圏 50キロ 圏 内 ) 大 量 サンプリング( 各 6500) 大 量 設 問 ( 質 問 紙 で16ページ) 12

分 析 1 個 人 属 性 の 偏 り 配 布 論 文 p.7 参 照 1 年 収 ( 先 行 研 究 )インターネットモニター 調 査 が 少 し 高 め 差 がない 就 業 構 造 基 本 調 査 とのポイント 差 30 20 10 0 WEB( 正 社 員 ) 留 置 ( 正 社 員 ) WEB(パートアルバイ ト) 留 置 (パートアルバイ ト) WEB( 正 社 員 ) 留 置 ( 正 社 員 ) WEB(パートアルバイ ト) 留 置 (パートアルバイ ト) -10-20 -30-40 男 性 女 性 200 万 円 未 満 200~400 万 円 未 満 400~700 万 円 未 満 700 万 以 上 両 調 査 とも 高 所 得 者 層 が 多 すぎる 13

分 析 1 個 人 属 性 の 偏 り 配 布 論 文 p.7 参 照 2 配 偶 者 ( 先 行 研 究 )インターネットモニター 調 査 は 既 婚 率 が 低 い 就 業 構 造 基 本 調 査 とのポイント 差 20 15 10 5 0-5 WEB( 正 社 員 ) 男 性 女 性 ( 年 代 別 ) 20 留 置 ( 正 社 員 ) WEB( 非 正 社 員 ) 留 置 ( 非 正 社 員 ) 10 0-10 -20-30 -40 WEB( 正 社 員 ) 男 性 女 性 配 偶 者 が いる WEB( 正 社 員 ) 0 留 置 ( 正 社 員 ) 18 WEB( 非 正 社 員 ) -2 留 置 ( 非 正 社 員 ) 1 TOTAL 20 代 30 代 WEB( 正 社 員 ) -13-1 -11 留 置 ( 正 社 員 ) 3 0 8 WEB( 非 正 社 員 ) -10 6-13 留 置 ( 非 正 社 員 ) 5 12 14 留 置 ( 正 社 員 ) WEB( 非 正 社 員 ) 女 性 TOTAL 20 代 30 代 40 代 留 置 ( 非 正 社 員 ) 男 性 は インターネットモニターの 偏 りは 小 さい 男 女 とも 訪 問 留 置 き 調 査 の 既 婚 率 が 高 すぎる 女 性 は インターネットモニター 調 査 の 既 婚 率 が 低 い 14

分 析 1 個 人 属 性 の 偏 り 配 布 論 文 p.7 参 照 4 学 歴 ( 先 行 研 究 )インターネットモニター 調 査 は 学 歴 が 高 い 就 業 構 造 基 本 調 査 とのポイント 差 ( 大 学 卒 ) 30 20 10 0-10 -20 WEB 留 置 WEB 留 置 男 性 女 性 TOTAL 20 代 30 代 40 代 50 代 インターネットは 高 すぎて 訪 問 留 め 置 きは 逆 に 低 すぎる 15

分 析 1 個 人 属 性 の 偏 り 配 布 論 文 p.7 参 照 5 住 居 形 態 国 勢 調 査 とのポイント 差 ( 一 戸 建 て) 45 40 35 30 25 20 15 10 5 0 WEB 留 置 WEB 留 置 男 性 一 戸 女 性 一 戸 建 て 高 すぎるが インターネットモニター( 男 性 )は 偏 り 少 ない 16

分 析 1 個 人 属 性 の 偏 り まとめ 配 布 論 文 p.7 参 照 インターネットモニ ター 調 査 訪 問 留 め 置 き 調 査 特 筆 事 項 平 均 年 収 高 い ( 男 ) 高 い ( 女 ) 真 ん 中 集 中 両 調 査 低 所 得 層 不 足 学 歴 大 卒 多 い 高 卒 多 い 若 年 ほど 偏 り 大 有 配 偶 率 ( 男 ) 偏 り 少 ない ( 女 ) 低 い 高 い 両 調 査 ( 女 ) 年 齢 が 高 いほど 偏 り 大 職 種 専 門 的 技 術 職 多 い サービス 職 多 い 両 調 査 生 産 工 程 労 務 職 不 足 住 居 形 態 ( 男 ) 偏 り 少 ない ( 女 ) 一 戸 建 て 多 い 一 戸 建 て 多 い 回 答 者 の 偏 りは インターネットモニター 調 査 だけの 問 題 ではない 訪 問 調 査 が 調 査 環 境 の 制 限 により 回 答 者 が 偏 っているようす 17

分 析 2 調 査 設 問 タイプによる 差 論 文 p.10,11 参 照 検 定 1 全 データ 就 業 実 態 状 態 業 種 (Q6) 従 業 員 規 模 (Q7) 週 労 働 日 数 (Q9) 週 労 働 時 間 (Q9) 職 種 (Q10) 一 生 の 仕 事 を 決 めている(Q15) 仕 事 の 段 階 (Q16) 初 職 就 業 形 態 (Q27) 初 職 業 種 (Q28) 役 職 (Q29) 転 職 前 年 収 (Q42) 転 職 後 年 収 (Q43) 転 職 後 年 収 (Q43) 能 力 自 己 評 価 (Q49) 学 び 行 動 (Q51 52) 経 験 退 職 経 験 (Q33) 退 職 回 数 (Q33) 転 職 情 報 源 (Q36) 理 由 勤 務 先 選 択 理 由 (Q4) 退 職 理 由 (Q34) 転 職 阻 害 要 因 (Q44) 副 業 意 向 理 由 (Q 47) 意 向 意 識 就 業 形 態 満 足 (Q2) 仕 事 をする 意 欲 (Q3) 職 場 満 足 (Q8) 勤 務 先 満 足 (Q11 仕 事 満 足 (Q12) 成 長 実 感 (Q13) 困 難 に 対 する 強 い 意 志 (Q14) 転 職 意 向 (Q 43) 地 方 転 職 希 望 (Q45) 独 立 意 向 (Q46) 生 活 満 足 (F12) 人 の 信 頼 (F13) 18

分 析 2 調 査 設 問 タイプによる 差 検 定 2 正 社 員 非 正 社 員 別 論 文 p.10,11 参 照 就 業 実 態 状 態 業 種 (Q6) 従 業 員 規 模 (Q7) 週 労 働 日 数 (Q9) 週 労 働 時 間 (Q9) 職 種 (Q10) 一 生 の 仕 事 を 決 めている(Q15) 仕 事 の 段 階 (Q16) 初 職 就 業 形 態 (Q27) 初 職 業 種 (Q28) 役 職 (Q29) 転 職 前 年 収 (Q42) 転 職 後 年 収 (Q43) 転 職 後 年 収 (Q43) 能 力 自 己 評 価 (Q49) 学 び 行 動 (Q51 52) 経 験 退 職 経 験 (Q33) 退 職 回 数 (Q33) 転 職 情 報 源 (Q36) 理 由 勤 務 先 選 択 理 由 (Q4) 退 職 理 由 (Q34) 転 職 阻 害 要 因 (Q44) 副 業 意 向 理 由 (Q 47) 意 向 意 識 就 業 形 態 満 足 (Q2) 仕 事 をする 意 欲 (Q3) 職 場 満 足 (Q8) 勤 務 先 満 足 (Q11 仕 事 満 足 (Q12) 成 長 実 感 (Q13) 困 難 に 対 する 強 い 意 志 (Q14) 転 職 意 向 (Q 43) 地 方 転 職 希 望 (Q45) 独 立 意 向 (Q46) 生 活 満 足 (F12) 人 の 信 頼 (F13) 19

分 析 2 調 査 設 問 タイプによる 差 論 文 p.10,11 参 照 検 定 3 大 卒 以 上 それ 以 外 別 就 業 実 態 状 態 業 種 (Q6) 従 業 員 規 模 (Q7) 週 労 働 日 数 (Q9) 週 労 働 時 間 (Q9) 職 種 (Q10) 一 生 の 仕 事 を 決 めている(Q15) 仕 事 の 段 階 (Q16) 初 職 就 業 形 態 (Q27) 初 職 業 種 (Q28) 役 職 (Q29) 転 職 前 年 収 (Q42) 転 職 後 年 収 (Q43) 転 職 後 年 収 (Q43) 能 力 自 己 評 価 (Q49) 学 び 行 動 (Q51 52) 経 験 退 職 経 験 (Q33) 退 職 回 数 (Q33) 転 職 情 報 源 (Q36) 理 由 勤 務 先 選 択 理 由 (Q4) 退 職 理 由 (Q34) 転 職 阻 害 要 因 (Q44) 副 業 意 向 理 由 (Q 47) 意 向 意 識 就 業 形 態 満 足 (Q2) 仕 事 をする 意 欲 (Q3) 職 場 満 足 (Q8) 勤 務 先 満 足 (Q11 仕 事 満 足 (Q12) 成 長 実 感 (Q13) 困 難 に 対 する 強 い 意 志 (Q14) 転 職 意 向 (Q 43) 地 方 転 職 希 望 (Q45) 独 立 意 向 (Q46) 生 活 満 足 (F12) 人 の 信 頼 (F13) 20

検 証 の 結 果 インターネットモニター 調 査 は 偏 っているが 訪 問 調 査 も 偏 っている 配 偶 者 の 有 無 住 宅 形 態 など 調 査 実 施 時 に 影 響 を 受 けやすい 属 性 は 訪 問 調 査 に 偏 り 大 きい 実 態 状 態 経 験 理 由 に 関 する 設 問 は 調 査 間 で 差 はない 基 本 的 な 属 性 の 割 付 ( 性 別 5 歳 刻 み 正 規 と 非 正 規 )を 継 続 したうえで インタネットモニター 調 査 に 移 行 ( + 学 歴 配 偶 率 の 割 付 は 調 査 実 施 可 能 性 から 断 念 ) 手 法 移 行 前 と その 後 のデータ 比 較 は( 極 力 )しない 属 性 に 大 きく 影 響 を 受 けそうな 設 問 については 全 体 平 均 よりも 属 性 に 分 けてデータをよむ 意 識 調 査 設 問 は 調 査 手 法 の 特 徴 を 踏 まえて 解 釈 代 表 的 な 調 査 との 比 較 を 継 続 (サンプリングバイアスを 確 認 ) 調 査 実 施 主 体 者 の 責 任 として 調 査 手 法 を 明 記 21

その 後 のデータ 推 移 ( 全 体 平 均 ) 訪 問 留 置 WEBモニター 2008 年 2008WEB 2010 年 2012 年 大 卒 率 28.5 44.4 50.1 50.8 有 配 偶 率 64.9 54.4 55.4 56.4 転 職 経 験 63.9 65.0 61.3 61.8 転 職 回 数 ( 経 験 者 ベース): 平 均 2.2 2.5 2.4 2.6 年 収 : 平 均 408.0 463.7 449.2 445.2 週 労 働 時 間 : 平 均 41.6 41.4 39.4 40.1 仕 事 満 足 ( 満 足 : 計 ) 74.9 66.1 47.9 47.8 成 長 実 感 ( 持 っている: 計 ) 59.4 49.3 47.9 44.0 転 職 意 向 ( 現 在 転 職 したい: 計 ) 17.4 25.4 27.2 22.7 22