クラウドソーシングにおける 統計的品質管理理 手法の研究動向 馬場雪乃 国 立立情報学研究所 ERATO 河原林林巨 大グラフプロジェクト 2014 年年 7 月4 日 ( 情報処理理学会第 217 回 自然 言語処理理研究会 )

Transcription

1 クラウドソーシングにおける 統計的品質管理理 手法の研究動向 馬場雪乃 国 立立情報学研究所 ERATO 河原林林巨 大グラフプロジェクト 2014 年年 7 月4 日 ( 情報処理理学会第 217 回 自然 言語処理理研究会 )

2 自 己紹介 国 立立情報学研究所でデータマイニングや ヒューマンコンピュテーションの研究をしています 馬場雪乃 略略歴 2012 年年東京 大学情報理理 工学系研究科博 士課程修了了 2012 年年 ~ 2014 年年東京 大学情報理理 工学系研究科数理理情報学専攻特任研究員 2014 年年 ~国 立立情報学研究所および 研究 JST, ERATO, 河原林林巨 大グラフプロジェクト特任助教 データマイニング ヒューマンコンピュテーション 2

3 概要 クラウドソーシング研究における重要トピック 統計的品質管理理 手法 を ( 広く浅く ) 紹介 自然 言語処理理研究においてもクラウドソーシングが活 用されるようになってきた クラウドソーシングの利利便便性向上のための研究も様々 行行われている クラウドソーシングにおける重要トピック 統計的品質管理理 手法 を紹介 色々な種類のタスクに適 用するため 研究が進められている 3

4 1. 自然 言語処理理研究における クラウドソーシング利利 用の動向 データ収集 人を組み込んだアプリケーション構築 2. クラウドソーシングにおける 統計的品質管理理 手法の研究動向 定型出 力力タスク 非定型出 力力タスクでの品質管理理 3. クラウドソーシング上の品質管理理に関する 発展的な話題 タスク割り当て フローチャート制御

5 1. 自然 言語処理理研究における クラウドソーシング利利 用の動向 データ収集 人を組み込んだアプリケーション構築 2. クラウドソーシングにおける 統計的品質管理理 手法の研究動向 定型出 力力タスク 非定型出 力力タスクでの品質管理理 3. クラウドソーシング上の品質管理理に関する 発展的な話題 タスク割り当て フローチャート制御

6 クラウドソーシングは インターネット上で不不特定多 数の 人々に仕事を発注する仕組み クラウドソーシングは インターネット上で不不特定多数の 人々に 仕事を発注する仕組み 例例 :Amazon Mechanical Turk (MTurk) インターネット上で取引が完結するため いつでもどこでも発注可能 作業可能 リクエスタ 仕事を発注 報酬 支払い を依頼 クラウド ソーシング サービス 仕事を割り当て 成果物を提出 ワーカ 6

7 自然 言語処理理研究では まずはクラウドソーシングの実 用性確認が 行行われた 2008 年年頃から 自然 言語処理理分野におけるクラウドソーシングの実 用性が確認され始める アノテーションの質 [Snow et al., 08] o 複数 人のアノテーションを統合すると専 門家に匹敵 翻訳評価の質 [Callison- Burch, ʻ 09] 機械翻訳 音声認識識 用コーパス構築における 実 用性 [Zbib et al., 13] [Novotney et al., 10] 7

8 2010 年年 クラウドソーシングによるデータ収集を対象 にしたワークショップが NAACL 併設で開催 Creating Speech and Language Data With Amazon s Mechanical Turk 参加者に $100 分の MTurk 利利 用権を提供し 音声 言語に関するデータセット構築を依頼 構築されたデータセットの例例 : o ツイート中の固有表現 o アラビア語の 人名ニックネーム o 英 文 音声のなまりの強さ 8

9 データ収集でも広く活 用されている ( データの拡充 特殊なデータセットの構築 ) さまざまな種類のデータを集めるのにクラウドソーシングが使われるようになってきた データの拡充 o パラフレージングデータセット [Chen et al., 11]» 動画を複数ワーカに 見見せ 一 文で内容を書かせる o 含意関係コーパス [Negri et al., 11]» 非専 門家が作業できるようタスクを分割 特殊なデータセットの構築 o 偽クチコミのデータセット [Ott et al., 11] 9

10 データ収集でも広く活 用されている ( テキスト分類のための特徴獲得 ) 人間の認知能 力力を利利 用した特徴の獲得 テキスト分類のための特徴 [Søgaard et al., ʻ 13] o あるクラスの 文章を特徴づける とびとびの単語列列 ( 例例 : been.*more.*flavorful ) を獲得したい o ワーカに 文中の重要語をマークさせ重要語間を.* で埋める Not too impressed with the chicken curry either; could've been less watery and more flavorful if you ask me. (*) been.*more.*flavorful (*) hrid=mavyl0k79uvcstqaletcda ( Frank S.) 10

11 データ収集でも広く活 用されている ( エンティティ推定のための単語重みづけ ) 人間の認知能 力力を利利 用した特徴の獲得 ( 続き ) エンティティ推定のための単語重みづけ [Boyd-Graber et al., 13] o 例例 : 大学卒業後この作家はジャズ喫茶茶を経営し という 文が 村上春樹 を表すと推定したい o クイズを設計 : 文章を頭から読ませ ピンポン を押し回答させる o 各単語付近でピンポンが押された回数を重みとする After losing a race for the Senate, this politician edited the Omaha World-Herald. This man resigned from one of his posts when the President sent a letter to Germany protesting the Lusitania sinking, and he advocated coining silver at a 16 元論論 文Fig. 1より 一部引 用 濃い 色の単語ほど付近で押された回数が多い 11

12 クラウドソーシングを組み込んだアプリケーションも 提案されている ( リアルタイム 文書校正 ) クラウドソーシングによるリアルタイム校正を導 入したエディタ :Soylent [Bernstein et al., 10] Find-Fix-Verify の 3 段階で校正 o Find: 問題がある箇所の検出 o Fix: 校正 o Verify: 校正誤りの検出 元論論 文 Fig. 2 より引 用 12

13 クラウドソーシングを組み込んだアプリケーションも 提案されている ( 翻訳 ) クラウドソーシング翻訳システムがいくつか提案されている 良良い翻訳 のモデルを学習 複数の訳 文から適切切なものを選択 [Zaidan et al., 11] 翻訳 編集の 二段階化 複数の訳 文 編集案の中から適切切なものを選択 [Yan et al., 14] 弱バイリンガルとモノリンガルを段階的に活 用 [Ambati et al., 12] 13

14 1. 自然 言語処理理研究における クラウドソーシング利利 用の動向 データ収集 人を組み込んだアプリケーション構築 2. クラウドソーシングにおける 統計的品質管理理 手法の研究動向 定型出 力力タスク 非定型出 力力タスクでの品質管理理 3. クラウドソーシング上の品質管理理に関する 発展的な話題 タスク割り当て フローチャート制御

15 クラウドソーシングには解決すべき課題が多数あるが ( 現状での ) 重要課題は品質管理理 クラウドソーシングの 研究課題はさまざま タスク分割 タスク割り当て 報酬設計 協調作業 支援 国際会議 HCOMP も昨年年開始 発注者視点での重要課題は 品質管理理 [Kittur et al., 13] Fig. 2 より引 用 15

16 クラウドソーシングの品質管理理 手法 ワーカの事前選択 作業中選択 発注の冗 長化 モチベーション : 検品せずに 高品質の成果物 を獲得したい 大きく 3 種類の 手法 作業開始前にワーカを選択 o 属性でのフィルタリング 事前テスト実施 作業結果に応じてワーカを選択 o 正解がわかっている問題を混ぜ成績を測る 発注の冗 長化 o 同じタスクを複数 人に発注し多数決等で統合 16

17 統計的品質管理理 手法 同じタスクでの複数ワーカの回答から 正解 を推定 多数決よりも 賢く 回答を統合するのが 統計的品質管理理 手法 複数の回答から 正解 を推定する問題として 定式化 ポイントは能 力力のモデル化 写真に 鳥が 写っているか? FALSE TRUE TRUE 正解は? TRUE? FALSE? 17

18 真偽型出 力力タスクに対する品質管理理 手法 (1) ワーカーの能 力力を考慮し正解推定 ワーカ タスク 写真に 鳥が 写っているか TRUE TRUE 能 力力を考慮 正解? TRUE TRUE? TRUE FALSE TRUE? FALSE TRUE ワーカが複数タスクに回答することを利利 用して 能 力力を推定 正解推定に利利 用 [Dawid&Skene, 79] 18

19 真偽型出 力力タスクに対する品質管理理 手法 (1) ワーカーの能 力力を考慮し正解推定 各ワーカの能 力力 ( 回答傾向 ) を2つのパラメータでモデル化 正解 (1) j (0) j : 正解が TRUE の時の正答確率率率 正解がわかれば能 力力が推定できる 能 力力がわかれば正解を推定できる 正解を潜在変数とした EM アルゴリズムで 交互に推定 回答 TRUE FALSE TRUE FALSE : 正解が FALSE の時の正答確率率率 (0) (1) j j 19

20 真偽型出 力力タスクに対する品質管理理 手法 (2) ワーカーの能 力力とタスクの難易易度度を考慮し正解推定 ワーカ 能 力力を考慮 正解 タスク 難易易度度も考慮 TRUE TRUE? TRUE FALSE? TRUE FALSE TRUE? TRUE FALSE タスクに正解する確率率率が ワーカの能 力力 タスクの難易易度度 に依存するモデルを提案 [Whitehill et al., 09] 20

21 真偽型出 力力タスクに対する品質管理理 手法 (2) ワーカーの能 力力とタスクの難易易度度を考慮し正解推定 ワーカとタスクのパラメータを導 入 各ワーカの能 力力 : 各タスクの簡単さ : ワーカがタスクに正答する確率率率をモデル化 : 1 1+exp( w j x i ) w j (, + ) x i [0, + ) 能 力力が 0 and/or タスクの簡単さが 0 だと正答確率率率 0.5 能 力力 簡単さが 大きいほど正答確率率率が 1 に近づく 21

22 真偽型出 力力タスクに対する品質管理理 手法 (3) ワーカーとタスクの相性を考慮し正解推定 ワーカによってタスクの難易易度度は異異なるはず ワーカとタスクの相性を考慮 [Welinder et al., ʼ 10] 正解に応じて決まるタスクの潜在特徴 各ワーカの判断傾向 回答 行行動をモデル化 : w j 閾値 x i > j w j を考慮し x i と ならワーカは TRUE と回答 22

23 真偽型出 力力タスクに対する品質管理理 手法 (4) ワーカーに聞いた 確信度度 を利利 用 確信度度の回答も正解推定に利利 用 [Oyama et al., 13] 回答 確信度度 TRUE TRUE TRUE TRUE FALSE TRUE TRUE FALSE FALSE FALSE FALSE TRUE TRUE FALSE TRUE TRUE TRUE TRUE 自信過 小 過剰度度合いを表す確信パラメータを Dawid&Skeneのモデルに追加 (j) 10: 正解が TRUE 回答が FALSE のときに 確信がある 確率率率 (= 自信過剰 ) 回答 TRUE FALSE 正解 TRUE (j) 11 (j) 10 FALSE (j) 01 (j) 00 23

24 さまざまな出 力力 方式のタスクに対して 統計的品質管理理 手法が提案されている 真偽型出 力力以外のタスクについても 統計的品質管理理 手法が提案されている 成果物の 種類 定型 非定型 真偽型 系列列型 順序型 数値型 自由回答 成果物の統合 方法 統合が容易易 多数決 平均 統合が 困難 タスク例例 写真中の 特定物の 有無判定 時系列列に 並んだ写真中の 特定物有無判定 写真の 並び 替え 写真中の 特定物の 数え上げ デザイン 文章作成 24

25 系列列型出 力力タスクに対する品質管理理 手法 ワーカの能 力力モデルを導 入しCRFを拡張 タスク 1 各フレームに 鳥が 写っているか ワーカ 正解 アイテム タスク2 (*) TRUE TRUE FALSE TRUE TRUE FALSE FALSE TRUE TRUE FALSE TRUE FALSE???? 系列列型に対する回答モデルを提案 [Wu et al., 12] ワーカの能 力力 Dawid&Skene と同じく 正解に応じた回答確率率率 アイテム間の関係は考えない 正解を決めるモデル CRF アイテム間の関係を考慮 (*) ( JCVdude) 25

26 順序型出 力力タスクに対する品質管理理 手法 一対 比較時のワーカの能 力力をモデル化 A B C D E 一対 比較 A>B 2 位 5 位 1 位 3 位 4 位 順序を得る B<D 各アイテムのスコアを推定 一対 比較時の回答モデルを提案 [Chen et al., 13] ワーカの能 力力 : 正しく 一対 比較を 行行う確率率率 ワーカが A>B と答える確率率率: j Pr [A B] + (1 j)pr[b A] 正しく A>B と回答 誤って A>B と回答 Pr [A B] =e s A / (e s A +e s B ) j s: アイテムのスコア 26

27 数値型出 力力タスクに対する品質管理理 手法 誤答傾向を Chinese Restaurant Process で表現 タスク例例 : What is the largest odd number that is a factor of 860? 正解 誤答ワーカー Chinese Restaurant Process: 人が多いテーブルに 人が集まりやすい傾向 をモデル化 数値型は回答候補が無限 間違え 方の偏りを Chinese Restaurant Process で表現 [Lin et al., 12] 3 種類の回答 行行動をそれぞれモデル化 (1) 正答, (2) 既出の誤答を選択, (3) 未出の誤答をする 27

28 非定型出 力力のタスクでは成果物の統合が困難 デザイン 文章作成の 非定型出 力力の成果物では 統合が難しいため別の 方針の品質管理理 手法が必要 成果物の 種類 定型 非定型 真偽型 系列列型 順序型 数値型 自由回答 成果物の統合 方法 統合が容易易 多数決 平均 統合が 困難 タスク例例 写真中の 特定物の 有無判定 時系列列に 並んだ写真中の 特定物有無判定 写真の 並び 替え 写真中の 特定物の 数え上げ デザイン 文章作成 28

29 非定型出 力力タスクでの品質管理理 [Baba&Kashima, 13] 品質を推定できれば 良良い成果物 を選べる A silver tabby cat is howling with his mouth wide open 推定品質 4.7 写真の説明 文を英語で書いてください A sleeping cat 1.2 (*) Dreaming of becoming a lion 2.6 (*) ( Selnadeem) 29

30 品質推定のアプローチ ロゴや翻訳 文等の品質の統計的推定 手法を提案 品質? 30

31 品質推定のアプローチ 評価 もクラウドソーシングで発注する ロゴや翻訳 文等の品質の統計的推定 手法を提案 クラウドソーシングで成果物を評価するプロセスを追加し評価結果を利利 用して品質を推定 成果物作成者と評価者の能 力力パラメータを導 入 品質推定に利利 用 成果物 評価者 品質

32 問題設定 採点ラベル集合を使って成果物の品質を推定する A?silver?tabby?cat? is?howling?with?his? mouth?wide?open? A?sleeping?cat? Dreaming?of? becoming?a?lion? 32

33 成果物作成者と評価者の能 力力を考慮したモデルを構築 成果物作成者 (author) のパラメータ 基本能 力力 µ a : 平均的に発揮する能 力力 分散 : 得意不不得意などによる 能 力力の分散 a 評価者 (reviewer) のパラメータ バイアス r : ゼロに近いほど正確 正だと評価が 甘め 分散 : 好き嫌いなどによる評価の分散 r 33

34 2 段階 生成モデル (1) ある品質の成果物が 生成される過程をモデル化 µ a v t,a v t,a N (v t,a 0, 1/ a ) q t,a = µ a + v t,a 24? 34

35 2 段階 生成モデル (2) 採点ラベルの 生成過程をモデル化 w (r) t,a N w (r) q t,a s (r) t,a = q t,a + r + w (r) r w (r) t,a t,a t,a 0, 1/ r 25 35

36 2 段階 生成モデル (2) 採点ラベルの 生成過程をモデル化 s (r) g (r) t,a t,a GRM g (r) t,a = d s (r) t,a 26?

37 1. 自然 言語処理理研究における クラウドソーシング利利 用の動向 データ収集 人を組み込んだアプリケーション構築 2. クラウドソーシングにおける 統計的品質管理理 手法の研究動向 定型出 力力タスク 非定型出 力力タスクでの品質管理理 3. クラウドソーシング上の品質管理理に関する 発展的な話題 タスク割り当て フローチャート制御

38 発展的な話題 発注回数を減らすためのタスク割り当て フロー制御 クラウドソーシングでは発注の度度お 金金が掛かる これまで 見見てきた統計的品質管理理 手法は 発注費 用を考慮していない 費 用と品質のバランスを取るための 発注ワークフローが必要 タスク割り当て : 発注先ワーカを決めて費 用を有効活 用 フロー制御 : 追加発注すべきか決める 38

39 タスク割り当て 良良いワーカの 探索索 と 活 用 のバランスを取る 良良いワーカ集団を早い段階で 見見つけ その 人達だけに発注したい その際 探索索と活 用のバランスを取りたい タスク正答率率率の信頼区間の上限が 高いワーカだけに発注する 手法 IEThresh [Donmez et al., 09] ワーカ A ワーカ B ワーカ C 0% 見見積もった正答率率率 100% ワーカ A, C に優先的に発注 A: 探索索が 十分 行行われ 良良いワーカ だと判明 活 用 C: 探索索が不不 十分なワーカ 探索索 39

40 タスク割り当て (2) 難しいタスク を 良良いワーカ に割り当てる ラベル付けにクラウドソーシングを使う能動学習 サンプルとワーカ両 方を選択する [Yan et al., 11] 二値分類器構築が 目的 能動学習 : 不不確実性の 高いサンプルに ラベル追加 分類器更更新 そのサンプルでの正答確率率率が 高いワーカ に発注 正答確率率率 : 1 1+exp( w j x i ) ワーカの判断傾向 サンプルの特徴量量 40

41 フロー制御 ある成果物をさらに改善するべきか判断 直列列ワークフロー : あるワーカの成果物を別のワーカが改善する 直列列ワークフローの 自動制御 手法 TURKONTROL [Dai et al., 10] 状態を 改善前後の品質 行行動を 評価 用投票追加 改善 完了了 とした部分マルコフ決定過程 品質と費 用からなる効 用関数に従って 行行動を決定 行行動 1. どちらが良良いか決めるため投票を追加 行行動 2. 質が 高い 方をさらに改善 改善前 改善後 行行動 3. 質が 高い 方を採 用をして完了了 41

42 まとめと今後の展望 まとめ 自然 言語処理理研究ではデータ収集や 人を組み込んだ アプリケーション構築でクラウドソーシングを活 用 統計的品質管理理 : ワーカの能 力力をモデル化し回答統合 成果物選択 今後の展望 より細やかなワーカのスキル推定 o スキルの可視化はワーカ育成にも役 立立つ より柔軟に 人を組み込んだシステム o 例例 : 機械翻訳しやすいように 人に 文章を変換させる 42