概要協調フィルタリング Start-up問題利用者が少ないとうまくいかない集団協調フィルタリング複数サイトの情報をマルチタスク学習を利用して集める広域ネットワーク上に分散通信量を抑制個人情報の保護個人嗜好データは局所サイト内でのみ保持各サイトの個性の保持個別の推薦モデルの獲得実

Size: px

Start display at page:

Download "概要協調フィルタリング Start-up問題利用者が少ないとうまくいかない集団協調フィルタリング複数サイトの情報をマルチタスク学習を利用して集める広域ネットワーク上に分散通信量を抑制個人情報の保護個人嗜好データは局所サイト内でのみ保持各サイトの個性の保持個別の推薦モデルの獲得実"

きよたつたかぎ
5 years ago
Views:

1 転移学習を利用した集団協調フィルタリング神嶌敏弘赤穂昭太郎産業技術総合研究所 2009年度人工知能学会全国大会 (2009/6/17-19) 開始 1

2 概要協調フィルタリング Start-up問題利用者が少ないとうまくいかない集団協調フィルタリング複数サイトの情報をマルチタスク学習を利用して集める広域ネットワーク上に分散通信量を抑制個人情報の保護個人嗜好データは局所サイト内でのみ保持各サイトの個性の保持個別の推薦モデルの獲得実現のアイデア分散環境での階層モデルの提案実験結果は良くなかった 2

3 推薦システム情報過多膨大な情報の集積情報があるのに利用できない欲しい情報が埋もれている or 必要な情報を具体化できない推薦システム利用者が必要としていると思われる情報を選び出す内容ベースフィルタリング協調フィルタリング Content-Based Filtering Collaborative Filtering アイテムの特徴を利用他人の意見を利用 3

4 協調フィルタリング他人の意見を利用した口コミによる推薦嗜好が似ている人が好きなものを推薦するラーメンの嗜好が似ている人たちどさんこは美味しかったおいしいラーメンは札幌ラーメンどさんこはいいどさんこへ行こうどさんこが好き協調フィルタリングについてはあとで詳しく 4

5 協調フィルタリングと利用者数協調フィルタリングは利用者数が少ないと稼働しない協調フィルタリングシステムの運用を始めると start-up問題負のフィードバックループ利用者数が少ない利用者数増えないよい推薦ができないデータベース中にはあっても誰にも評価されていないアイテムは推薦されない嗜好パターンが少数派の利用者には嗜好パターンが類似している標本利用者がいない 5

6 利用者数を増やすには評価付けにインセンティブサイトで商品が買える商品券や現金を配布するシステムの利用にポイントが必要で評価付けでポイントを配布 [Melamed 2007] 複数のシステムを統合分散協調フィルタリング複数の計算機を使って協調フィルタリングを実行目的計算の高速化 & プライバシーの確保集団協調フィルタリング利用者数を増やす目的で複数の協調フィルタリングシステムのデータをまとめて扱う 6

7 サイト適応型集団協調フィルタリングプライバシーの保持個人嗜好データはそれを復元できない形で中心サイトに送る要約情報確率モデルの十分統計量だけを送信する疎な分散環境データはクラスタ環境のようなLANではなく各サイトは広域ネットワークで接続されている中心サイトに小規模のデータを集めて計算参加サイトの個性の考慮参加しているサイトの利用者グループには独自の特徴があり一つの推薦モデルではそれらに十分には対応できない個別のサイトに適応させたモデルを構築 7

8 plsaによる協調フィルタリング plsa (probabilistic Latent Semantic Analysis) 自然言語処理用の次元削減法 [Hoﬀmann UAI99] を協調フィルタリングにも適用 [Hoﬀman+ IJCAI99] aspectモデルともいう未評価と否定的評価の区別がなくても適用しやすい購入していないは知らなくて買っていないのか嫌いだから買っていないのか分からないモデルの複雑さが利用者数やアイテム数に対して線形にしか増加しないアイテム数が多いときには履歴条件型より特に有利並列計算が容易 plsaの解法であるemアルゴリズムの特長 8

9 plsaモデルのイメージ潜在変数典型的な好みのパターンラブコメ好き J.デップファンヒット作だけ弱い関連強い関連利用者アイテム 9

10 plsa (1) 生成モデル z が与えられたとき x や y は条件付独立 Pr[x z] Pr[y z] Pr[z] 同時分布 Pr[x, y] = z Z 利用者 x {1,..., n} アイテム y {1,..., m} 潜在変数 z {1,..., l} (嗜好パターン) 嗜好パターン Pr[z] 嗜好パターンとアイテムの関係の強さ Pr[y z] アイテム y z 嗜好パターンと利用者の関係の強さ Pr[x z] x 利用者 10

11 plsa (2) plsaのemアルゴリズムによる最尤推定対数尤度関数を最大化して同時確率 Pr[x, y] を推定推定すべきパラメータ θ = ({Pr[x z]}, {Pr[y z]}, {Pr[z]}) Eステップ現在のパラメータが与えられたときの潜在変数の事後確率 Pr[z] Pr[x z] Pr[y z] Pr[z x, y] = ] Pr[x z ] Pr[y z ] Pr[z z Mステップ現在の潜在変数の分布の下でのパラメータの値 P 訓練データ中である利用者 x y #(x,y) Pr[z x,y] P Pr[x z] = がアイテム y を購入閲覧 x,y #(x,y) Pr[z x,y] P する回数 x #(x,y) Pr[z x,y] P Pr[y z] = x,y #(x,y ) Pr[z x,y ] x は1 n y は 1 m P x,y #(x,y) Pr[z x,y] の範囲で計算 Pr[z] = N 尤度関数が収束するまで EステップとMステップを交互に反復 11

12 plsa 推薦 x = i のときの事後確率を最大化するアイテム y = arg 同時分布 max y {1,...,m} Pr[y x = i] Pr[x, y] = 事後確率分布関数で x=i を代入 Pr[x z] Pr[y z] Pr[z] z Z 学習したパラメータ Pr[x, y] 事後確率分布 Pr[y x] = y Pr[x, y] 12

13 \# \# 並列pLSA 利用者のデータを二つのサイトで分割して保持サイト1 X1 = {1,..., n1 } サイト2 X2 = {n1 + 1,..., n} サイト1での値のMステップの計算 Pr[x z] = P #(x,y) Pr[z x,y] y P,y) Pr[z x,y] #(x x,y x X2 の利用者については #(x, y) の値は未知 Pr[x z] = P x X1 P n(x,y) Pr[z x,y] P,y) Pr[z x,y] #(x,y) Pr[z x,y]+ #(x,y x ı#x,y y サイト2からサイト1に送信 2 [Das+ WWW07] 13

14 plsaとプライバシー保護 semi-honest 個人情報を明かすほどには信用はできないが計算のプロトコルは順守することぐらいは信用できる集団協調フィルタリングでは参加サイトは団体社会的手段によって semi-honest を保証できると仮定個人情報かどうか? Pr[z] と Pr[y z] は共に x とは無関係なので個人情報ではない Pr[x z]は個人の嗜好パターンの記述個人情報 14

15 参加サイトの個性の考慮個性の異なるサイトのデータを集める中心サイト 20代向けサイト 50代向けサイト中心サイト画一的なモデル 20代向けサイト 50代向けサイト日本酒いらない脂っこい食事サイトの利用者の偏りが推薦に反映されない 15

16 サイトの個性実験映画の推薦MovieLensデータ 5段階のうち4か5の評価なら映画を肯定的に評価アイテム訓練利用者の全ての評価とテスト用利用者の半分の評価を訓練データ(赤枠) 訓練用利用者利用者利用者を訓練用とテスト用に分ける plsa (潜在変数 l=10) を適用しテスト利用者が肯定的に評テスト用利用者価したた残りのアイテムに割り当てられた確率質量の利用者ごとの総和の全テスト利用者の総和全アイテムを評価していて予測が完全なら最大値

17 サイトの個性結果他の年代のデータから各年代の利用者の嗜好を予測テスト集合平均確率人数全体歳未満歳代歳代歳代歳以上少数派集団への予測精度は悪い 17

18 広域分散環境下でのpLSA 並列pLSAを広域ネットで実行 EMアルゴリズムの各反復での十分統計量の計算は各データについての統計量の和なので容易に並列化可能広域ネットワークで各反復ごとに同期は難しいクラスタ構成のマシンより通信量の制約は強いデータを中心サイトに集めて計算 18

19 転移学習 (transfer learning) 元ドメイン知識データ source domain 目標ドメイン target domain 解きたい問題と似てはいるが解きたい問題ではないこれから解きたい問題解くためのデータや知識は十分解くためのデータや知識は不十分関連したドメインの知識やデータを転移して目標ドメインの問題をより高精度で解くマルチタスク学習目標ドメインと元ドメインの区別がなくお互いマルチタスク学習に別のドメインの知識を導入してそれぞれ精度を上げる 19

20 w z 1 z 2 Pr 1 [y 1 z 1 ] Pr 2 [y 2 z 2 ] y 1 y 2 Pr 1 [y 1 z 1 ] n 1 (y) Pr 2 [y 2 z 2 ] n 2 (y) z 1 z 2 x 1 y 1 x 2 y 2 20

21 計算方法サイト1で評価されたアイテム Pr[y1 ] = Pr1 [y1 z1 ] Pr[z1 w] z1,w 潜在変数が分かった場合の対数尤度 " # log L1 = n1 (y1 ) log Pr1 [y1 z1 ] Pr[z1 w] Pr[w] y1 z1,w log L1 + log L2 を最大化して大域パラメータを求めるパラメータの一部が固定されている経験ベイズ局所サイトの事前分布を返す new Pr [zk ] = Pr[zk w] Pr[w] w 21

22 実験結果 30歳で上下に分けさらにそれぞれ二つに分割合計4グループ嗜好パターンのパターン数も変えた 30未満サイトA 30未満サイトB 30以上サイトA 30以上サイトB 元元元元元個別に各サイト独立に計算した場合 2 4 嗜好パターンのパターン数 w を2 4に変えて適用結果が良くない今後の計画 Pr[z] だけの改善では全体に与える影響が小さいサイト間で同じアイテムに関する嗜好パターンの情報が共有されていないこの情報を使って Pr[ y w ] を改善する 22

23 まとめサイト適応型集団協調フィルタリング広域ネットワーク上に分散各サイトで個別に学習したパラメータだけを中心サイトに送る計算が終わるまでサイト間の通信は不要個人情報の保護個人の嗜好データである分布パラメータ Pr[x z] は外部に送信せず Pr[y z] や Pr[z] だけを中心サイトに送る各サイトに適応させた推薦モデルを獲得する分散環境での階層モデルの提案結果は良くなかった今後の予定モデルの改良による予測精度の改善 23

Microsoft PowerPoint - NC12-2.pptx

Microsoft PowerPoint - NC12-2.pptx 演習問題の解答ネットワークコンピューティング (2) 情報推薦関西学院大学理工学部情報科学科北村泰彦ベクトル空間モデルの例において,d 3 の文書を得ようとして, Genes and Genomes を検索質問文として検索を行った. 1. 類似度 0.85 以上の文書を検索結果とするときの, 再現率と適合率を求めよ. 再現率 =0/1=0%, 適合率 =0/1=0% 2. 類似度 0.8 以上の文書を検索結果とするときの,