パターン分析を利用した動画リコメンド仮説

Size: px

Start display at page:

Download "パターン分析を利用した動画リコメンド仮説"

ゆきひらみしま
7 years ago
Views:

1 大阪府立大学経済学部経営学科 4 年生片岡弘貴

2 本報告では, レコメンデーションコンテスト 2009 より提供された, ある動画視聴サイトの視聴およびお気に入り登録データを用いて, あるユーザに対するお気に入りに入ると予想される動画を推奨する方法を提案する. 分析では, 様々な問題から既存手法の適用が困難であるため, 動画タイトルを TMS を利用して工夫することでユーザが求める分野の動画を絞り込むとともに, お気に入りの既存の登録履歴のパターンを VMS によって計算し, この 2 つの観点から新たなレコメンド手法を提案する. 与えられているデータから, 計算結果によって, 提案手法の有効性を確認する

3 動画視聴サイトサグールテレビにおけるユーザーに対してより好むと思われる動画を推薦することユーザーに対して常におすすめする動画の一覧が表示されるデータ提供元 :

4 レコメンデーションコンテスト 2009* より提供されたデータは 2008/1/29~2009/5/8 の間に各ユーザーが登録したお気に入りの動画の情報と 2009/2/7~2009/5/8 におけるユーザーの行動履歴 ' 動画の視聴や検索履歴 ( となります課題!! お気に入りに動画を登録している数が 20 個以上のユーザーのお気に入りデータからユーザー毎にランダムに動画情報が 10 個削除されていますその削除された 10 個が何かを推測すること! * レコメンデーションコンテスト 2009:

動画マスターデータ '1,780,463 件 ( 動画識別 ID 動画 URL 動画の時間削除されているかサンプル mid title url turl sec site delete uname 100 AAA http: http:--- 300 youtube 0 name 動画タイトルサムネイル URL 動画掲載サイトアップロード者の名前お気に入り登録データ

5 動画マスターデータ '1,780,463 件 ( 動画識別 ID 動画 URL 動画の時間削除されているかサンプル mid title url turl sec site delete uname 100 AAA http: youtube 0 name 動画タイトルサムネイル URL 動画掲載サイトアップロード者の名前お気に入り登録データサンプルユーザー識別 ID uid mid cdate 登録日お気に入り登録数 20 個以上のユーザーのデータ '32,083 件 ( お気に入り登録数 20 個未満のユーザーのデータ '7,881 件 ( 448 人 2,016 人注!! これ以降出てくるお気に入り登録データという言葉は基本的に推奨すべき登録数 20 個以上のユーザーデータを指します

動画再生履歴データサンプルユーザーのセッション ID 再生日 + 時刻 uid sid ip mid date 1 ***** ***** 100 20090101120000 動画検索履歴データ検索ワード uid keyword cnt 1 A 10 ユーザー IP アドレスの MD5 ハッシュ動画中断履歴データサンプル検索回数中断日 + 時刻経過時間 ( 秒 ) uid

6 動画再生履歴データサンプルユーザーのセッション ID 再生日 + 時刻 uid sid ip mid date 1 ***** ***** 動画検索履歴データ検索ワード uid keyword cnt 1 A 10 ユーザー IP アドレスの MD5 ハッシュ動画中断履歴データサンプル検索回数中断日 + 時刻経過時間 ( 秒 ) uid sid ip mid date sec 1 ***** ***** 動画完了履歴データ再生完了日 + 時刻 uid sid ip mid date 1 ***** ***** お気に入り登録数に関係なくすべてのユーザー分のファイル先のお気に入り登録データ同様に登録数 20 個以上のユーザーのファイルと 20 個未満のファイルとに分かれているまた各ユーザーごとにお気に入りから削除された動画に関する行動履歴は削除されている

7 お気に入り登録動画数 20 個以上のユーザー 448 人に対して抜かれたであろう動画を各ユーザーに対して 10 個ずつ列挙する注 : 抜かれた動画は必ず動画マスターデータに存在するものである単純に動画マスターデータからランダムに列挙すると 10/1,780,463= 約 % この確率をいかにして上げるかが問題である

8 1. 行動履歴データ期間の問題お気に入り登録データと行動履歴データの期間の違い上記に起因する可能性のある行動履歴データが存在しないユーザーの問題 2. サイト独自のリコメンドシステムの問題サイト特有の方法に起因する問題 3. 評価値が存在しない問題サイト固有の問題ではないがすべてのユーザーに存在するお気に入り登録データは登録有無を示す 1,0 のデータのため評価値を想定したような協調フィルタリングには不向き

9 データの記録期間が異なるため, 行動履歴データを十分に使えないお気入り登録期間は 2008/1/28~2009/5/8 行動履歴データなし行動履歴データあり行動履歴は 2009/2/7~2009/5/8 実際に動画を推奨するべき 448 人の中で行動履歴のデータを持つ人は約 200 人 * である * 行動履歴データの種類によってデータ人数が変わるためまったく行動履歴のないユーザーも存在するのでそれを入力とする決定方法は難しい

10 サグールテレビのサイトではブラウザ上で動画再生部分と動画検索部分が独立しており動画を視聴しつつ動画を検索できるユーザーは視聴したい動画を再生画面にドラッグ & ドロップすることで視聴予定の動画を溜めることができる ( 現在視聴動画が終了次第次が再生される ) 視聴予定の動画がなかった場合自動的にサイトがリコメンドする動画が再生されるこのサイト独自のシステムによって再生された動画がユーザーが自身で再生予定に入れた動画なのかサイトが自動的にリコメンドした動画なのか判断ができない!!

11 協調フィルタリングを使うことなく別の方法を考案するこの際データのないユーザーが存在する行動履歴データよりも全員のデータが存在するお気に入り登録データをメインで使用する動画を推奨すべきユーザーのお気に入り登録データの分析を行う

12 ユーザー数 448 人データ件数 32,082 件ユーザーあたり平均動画登録数 71.6 件ユーザー毎の登録数ヒストグラムユーザー数登録数

13 単語頻度解析お気に入りに登録されている動画のタイトルで単語頻度解析を行ってみると比較的音楽に関するワードの件数が多いことがわかる単語品詞頻度ちる動詞 482 PV 名詞名詞名詞 314 Live 名詞 235 いる動詞 138 live 名詞 134 初音ミク名詞 115 LIVE 名詞 111 母名詞 110 腐る動詞 106 放る動詞 106 坂本真綾名詞 100 Perfume 名詞 97 椎名林檎名詞 94 木村名詞 92 恋名詞 80 花名詞 78 愛名詞 76 尾崎豊名詞 76

14 TextMiningStudio にある話題分析ことばネットワークを用いて共起関係にある言葉の抽出をする右図の数値設定で解析しジャンルごとに言葉を分類する

16 カラオケ JOYSOUND * に登録されている約 2 万種類のアーティスト名を動画マスターデータのタイトルから検索しその検索に合致したものを音楽系動画と定義するこれを音楽系動画とする 466,979 件の動画を検索同様に TV お笑い系アニメ系その他と分類した今回は単語頻度解析ことばネットワークともに最も多く検出された音楽系のジャンルに絞って動画を推奨する *JOYSOUND:

17 お気に入りに登録 YES NO 音楽系動画であるか YES 15,099 件 451,880 件 NO 16,983 件 1,296,501 件仮説 ( 音楽動画かそれ以外かとお気に入りに入るか入らないかには関連がない (χ2 乗値 = ) 棄却ユーザーは音楽系動画をお気に入りに登録しやすい傾向がある!!

18 音楽系動画がお気に入りに登録されやすいことはわかったがユーザーごとに好みがあるはずなのでさらにアーティスト名ごとに分析をする JOYSOUND に登録されているアーティストは 20,266 件あるがコラボ企画などで一つのアーティスト名に複数のアーティスト名が入っているケースがある例 :EXILE& 倖田來未などお気に入りに関連しユニークなアーティスト名一覧を作成 '7,198 アーティスト (

19 音楽系動画に関心のあるユーザーを選択する各ユーザーがお気に入りに登録している動画のうち音楽系動画の占める割合が動画マスターデータにおける音楽系動画の割合 (26.23%) よりも高いユーザーを選択する 448 人 348 人この 348 人に対して音楽系動画を推奨したい!!

20 ユーザーがお気に入り登録してる音楽系動画におけるアーティストの割合アーティスト名が含まれる動画全体におけるお気に入りに登録された割合ユーザーごとに推奨アーティスト数とその動画の数を変更アーティストベースのパターン分析による類似ユーザーの可能性

21 ユーザーがお気に入りに登録している音楽系動画に何アーティストを含むかはユーザー次第である登録している動画に対して割合の高いアーティストの動画を優先して推奨するアーティスト名で動画マスターから検索したときに検索される動画に対してお気に入りに登録される割合を計算する割合が高いほど推奨する際の選択肢が減ることになる

22 基準 1 で計算した割合からドント方式で 10 個を割り当てるただし複数の中から一つを選択する際は基準 2 で計算した割合の高いアーティストを優先して割り当てる以下のサンプルの場合 A から 2 個 B から 2 個 C~H までは 1 個ずつ動画を選択するサンプル決定順序アーティスト名 A B C D E F G H I J K 動画件数基準注 : 各アーティストの基準 2 の値はアルファベットが若いほど高いとする

23 各アーティストの推奨動画の個数を決定した後の動画の決定に際してアイテムベースのアソシエーション分析を行うことで類似ユーザー群を見つけ出しそのユーザー群の中でお気に入りに入れられている同一アーティストの動画を優先的に選択するなぜ他ユーザーの登録している動画を優先するのか?

24 今回お気に入り登録データは動画を推奨すべき 448 人のデータの他にお気に入り登録 20 個未満のユーザーのデータがあるこの二つの登録データの共通動画の個数を見ると以下のようになる共通 :1,463 件 ' その他の 20.3%) 推奨すべきユーザーのお気に入り動画の種類 27,662 件その他ユーザーのお気に入り動画の種類 7199 件しかしその他ユーザーのお気に入り登録データには動画登録件数が 1 件のユーザーを多く含む

25 その他ユーザーお気に入り登録数 5 件以上の場合 1,112 件 (22.1%) その他ユーザーお気に入り登録数 10 件以上の場合 766 件 (25.2%) 27,662 件 5033 件 27,662 件 3035 件以上よりお気に入り動画登録件数が多いと他のユーザーと同じものを登録する確率が上昇する (χ2 乗値 =10.48)

26 キー列アーティスト名ベースでのアソシエーション分析を行い共起されやすいユーザー ID を見つけそのパターンを類似ユーザーのグループとするデータ形式対象列パラメータ設定を以下の数値にする

27 リフト値で降順にソートする前提結論信頼度サポート Lift Convic ルール. 前提. 数結論. 数 tion 数 uid-5361+uid-1961 uid uid-7+uid-1909+uid-5361 uid uid-6439+uid-1 uid uid-6439+uid-405 uid uid-421+uid-746 uid uid-405+uid-38 uid uid-5361+uid-1244 uid uid-421+uid-1244 uid uid-6439+uid-24 uid uid-5361+uid-6439 uid uid uid-38 uid uid-3174+uid-38 uid uid-1909+uid-5361 uid uid-5361+uid-405 uid uid-1708+uid-1909+uid uid uid-7+uid-421+uid-5361 uid uid-1708+uid uid uid uid-7+uid uid-1909 uid uid-1909+uid-54 uid uid-3174+uid-1973+uid uid キー. 数この結果含め 759 パターンを列挙

28 スタート基準 1: 登録している音楽動画におけるアーティストごとの割合基準 2: アーティストの動画におけるお気に入りに登録されている割合基準 1 の計算アソシエーション分析で類似ユーザーの列挙繰返しの開始アーティスト一覧を基準 2 の降順にソートリフト値の降順でソート基準 1 を降順にソート推奨アーティスト決定の優先度とする結論部のユーザー ID が一つのパターンを選ぶ基準 1 の最大値が一つ Yes 最大値のアーティストを一つ推薦優先度の高いものを一つ推薦選択したアーティストの基準 1 を推薦した回数 + 1 で割る 10 回繰り返す No 推奨するアーティストと動画数を決定推奨するユーザー ID が結論部と一致 Yes 推薦終了推奨するアーティストが前提部のユーザーも登録している Yes No No No 推奨するユーザーの登録していない動画である Yes 次のパターンへ移行 No Yes No 推薦する動画数を満たす

29 1 アソシエーション分析の結果出てきたパターンの前提部と結論部にあるユーザー IDを一つのグループと考えリフト値で降順に並べた際にユーザー IDを上から検索し IDのあったグループをユーザーとの類似グループとする 2 推奨する動画はグループ内にいる他のユーザーがお気に入りに登録している同アーティストの動画かつ推奨するユーザーが登録していないものを選択する 3 所属するグループに推奨する個数以上に動画があった場合ユーザー全体でお気に入りに登録されている数が多い順に選択する 4 所属するグループに推奨するアーティストの動画が含まれない場合は次にリフト値の高いグループに移り同様に推奨アーティストの動画を検索する 5 どのグループにも所属していないもしくはどのユーザーが所属するグループから動画が見つからなかった場合は推奨するアーティストの動画をお気に入り登録数の降順に並べ上から必要数選択する

30 お気に入り登録 20 個未満のユーザーのうち 19 個を登録しているユーザーからランダムに 9 個を抜き出した後に同様の手順で動画を 9 つ選択した場合いくつ当てることができるかで検証する今回は 19 個登録しているユーザーからランダムで 5 人を選び提案した手法で動画の推薦を行ってみた

31 ランダムで抜き出した 9 件 5 人合計 45 件のうち抜き出した動画を当てたのは 2 件であった動画マスターのデータからランダムに選ぶよりは確率は高くなっているが当たっていると自信を持って言える数値ではない改善の余地あり!!

32 今回は音楽系の動画のみに絞っての推奨であったが TMS のことばネットワークで見られる分類のように他のジャンルで同様の推奨方法が可能なのかそれともまったく別の方法を提案するか吟味する必要があるまた今回一件でも当てたユーザーとそうでなかったユーザーの違いを見つけ今後の分析に利用していきたい

NN _JP.fm

NN _JP.fm 使ってみようパーソナルエージェントのログオンページ 1. Web ブラウザを起動します 2. Web ブラウザからパーソナルエージェントの URL を入力します ( サービスプロバイダまたはシステム管理者から提供されます ) 3. キーボードの [Enter] キーを押しますパーソナルエージェントログイン画面が表示されます 4. ユーザー名とパスワードを入力してください 5. [ ログイン ]

パターン分析を利用した 動画リコメンド仮説

パターン分析を利用した動画リコメンド仮説