(Microsoft PowerPoint _\215s\223\256\214v\227\312\212w\211\357\224\255\225\\\201iALBERT\227\336\216\227\223x\201j.ppt)

Size: px

Start display at page:

Download "(Microsoft PowerPoint _\215s\223\256\214v\227\312\212w\211\357\224\255\225\\\201iALBERT\227\336\216\227\223x\201j.ppt)"

みいかかみいしづ
5 years ago
Views:

1 本動計量学会第 41 回大会 ( 於 : 東邦大学 ) 特別セッション : ビッグデータ時代におけるマーケティング (1) スパースな量購買データで顧客クラスタリングをなうための顧客類似度計算法の研究 2013 年 9 月 4 日 ( 水 ) 山川義介大堀あゆみ

2 目次 1. はじめに 2. 従来方法への疑問 3. 新しいクラスター分析手法 4.ALBERT 類似度をいた事例 1

3 1. はじめに 2

4 1-1. 研究の背景 1. ビッグデータ時代の到来量購買データをいた真の One to one 実現ニーズ 2. スパースなデータへの対応従来の分析手法への疑問 3. クラスター分析の迷路問題計算法や最適クラスターを決める基準がない 3

5 1-2. ビッグデータとは明確な定義はないその特徴については様々語られている 3V=Volume/Variety/Velocity 4V=Volume/Variety/Velocity/Veracity 4V=Volume/Variety/Velocity/Value Volume( 容量のきさ ) ビッグデータの第の特徴はその名前の通り容量がきいことです企業に限らず情報技術の進化により黙っていてもどんどんデータが集まるようになりデータ量はテラバイトからペタバイトオーダーにもなっていますデータ量がきいことだけがビッグデータの特徴だと思われがちですが他にも以下のようなポイントがあります Variety( 多様性種類 ) ビッグデータは通常表計算などで扱っているように数値化され関連づけをされたデータ ( 構造化データ ) であるとは限りませんテキスト音声画像動画などのさまざまな構造化されていないデータ ( 非構造化データ ) もありこれらのデータをテキストマイニングや声画像解析などをない構造化しビジネスに活する動きが広まっています Velocity( スピード頻度 ) サーバーのアクセスログや東京ゲートブリッジ橋梁モニタリングシステムなどものすごい頻度スピードでインターネット上やセンサーからデータが成され取得蓄積されています変化の著しい現代社会ではこれらのデータをリアルタイムに処理し対応することが求められています Veracity( 正確さ ) 従来はサンプリングによって部のデータで全体を推測する法が主流でしたそれに対しビッグデータは全てのデータを取得することも不可能ではないので正確であり推測による曖昧さや不正確さなどを排除して本当に信頼できるデータによる意思決定が可能になります Value( 価値 ) ビッグデータは容量のきさや多様性スピードに価値があるのではありません得られたデータを分析し有な知識や知恵を導出しモデル構築検証し課題解決をすることが本質的なビッグデータの価値です 4

6 1-3. スパースでないデータとはアンケートデータのイメージ 5

7 1-4. スパースなデータとは購買データのイメージ 6

8 1-5. クラスター分析の迷路 1 計算法のバリエーションが多すぎるともかくメジャーな解法に従う 2 最適クラスターを決める基準がないクロス集計で決着をつける 3どうやったらクラスターにアクセスできのかわからないクラスターとデモグラフィック変数との対応をつけるビッグデータは全員分析するのでアクセスできる朝野熙彦 (2000) 門多変量解析の実際第 2 版講談社. 7

9 2. 従来方法への疑問 8

10 2-1. 類似度の指標の例ピアソンの相関係数 = コサイン類似度 9

11 2-2. 相関係数 COS 距離の妥当性 casea caseb casec の類似度は同じなのだろうか? casea P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 s cos 距離 s 相関係数 caseb P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 s cos 距離 s 相関係数 casec P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 s cos 距離 s 相関係数 cased casee では cased の類似度のほうがいのだろうか? cased P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 s cos 距離 s 相関係数 casee P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 s cos 距離 s 相関係数 10

12 3. 新しいクラスター分析手法 11

13 3-1. クラスター分析の目的顧客に 5 つの商品をレコメンドすることを考えます極その顧客が買いそうな商品 ( カテゴリ ) を予測しお薦めしたいそのために顧客の過去の購買履歴を元に顧客をいくつかのクラスターに分けクラスター毎に買いそうなカテゴリの商品をお薦めする 12

3-2. クラスタープロファイル例以下は各クラスターの購入カテゴリを降順に並べたパレート図です例えばこの産後ママクラスターは 240 カテゴリある中のマタニティ _ マタニティ下着パジャマベビー服ベビー用品 _ ベビー服

が期待できることを意味しています 13 19.93% 18.17% 14.54% 7.28% 3.92% 3.04% 2.39% 1.27% 1.02% 0.97% 0.75% 0.66% 0.65% 0.48% 0.46% 0.46% 0.44% 0.

0% マタニティマタニティ下着パジャマベビー服ベビー品ベビー服マタニティマタニティウェアマタニティ産後リフォームインナー授乳下着マタニティ授乳服産後ウェアベビー服ベビー品ベビーシューズファッション物ベビー服

品マタニティ & ベビー品マタニティインナー下着ストッキングマタニティ & ベビー品産後授乳インナーベビー服ベビー品メモリアルグッズおもちゃ節句品レディースファッションワンピースチュニックレディースファッション

14 3-2. クラスタープロファイル例以下は各クラスターの購入カテゴリを降順に並べたパレート図です例えばこの産後ママクラスターは 240 カテゴリある中のマタニティ _ マタニティ下着パジャマベビー服ベビー用品 _ ベビー服マタニティ _ マタニティウエアなどの 7 カテゴリだけで売上の 70% 以上を占めていますすなわちこのクラスターのユーザーは全カテゴリをお薦めした時と比較するとこの 7 カテゴリの商品のお薦めで 70% 以上の確率で購が期待できることを意味しています % 18.17% 14.54% 7.28% 3.92% 3.04% 2.39% 1.27% 1.02% 0.97% 0.75% 0.66% 0.65% 0.48% 0.46% 0.46% 0.44% 0.41% 0.40% 0.39% 0.0% 2.0% 4.0% 6.0% 8.0% 10.0% 12.0% 14.0% 16.0% 18.0% 20.0% マタニティマタニティ下着パジャマベビー服ベビー品ベビー服マタニティマタニティウェアマタニティ産後リフォームインナー授乳下着マタニティ授乳服産後ウェアベビー服ベビー品ベビーシューズファッション物ベビー服ベビー品ベビー肌着マタニティマタニティママ品ベビー服ベビー品ベビーおでかけ品ベビー服ベビー品ベビー寝具家具マタニティ & ベビー品マタニティウエアベビー服ベビー品ベビーケア品おむつお風呂品マタニティ & ベビー品マタニティインナー下着ストッキングマタニティ & ベビー品産後授乳インナーベビー服ベビー品メモリアルグッズおもちゃ節句品レディースファッションワンピースチュニックレディースファッションパンツマタニティ & ベビー品ベビー服マタニティ & ベビー品マタニティパジャマ部屋着ベビー服ベビー品授乳離乳品 0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 産後ママ産後ママ産後ママ産後ママクラスターの例クラスターの例クラスターの例クラスターの例購入するカテゴリ

15 3-3. 最適クラスターの定義よいクラスターとは極サンプル数の分散がさく各クラスターの累積 70% 到達カテゴリ数が総じて小さいものとする一部のクラスターに人数が集中しそのクラスターの70% 到達カテゴリ数が大きければよいクラスターとはいわない従って 70% 到達カテゴリ数に各クラスターの数率を乗じた総和をクラスター数で割った値 α( ( 重み付け平均 70% 到達カテゴリ数 ) をクラスタのKPIとし αが小さいほどよいクラスターであると定義しました α= Σ(70% 到達カテゴリ数クラスター数率 ) 14

16 3-4.ALBERT 類似度の考え 1. 同じカテゴリを同数購入していても購数によって類似度に重み付けをする 2. 同じカテゴリを異なる数購している場合その差によって類似度に重み付けをする 3. 一方しか購入していないカテゴリに関して非類似度の概念を導する 4. 双方が購入していない場合は評価しない 5. 類似度非類似度はその寄与度をチューニングできるようパラメータ化する 15

17 3-5.ALBERT 類似度計算式特許出願準備中のため配布資料には提していません 16

18 3-6.ALBERT 類似度計算例特許出願準備中のため配布資料には提していません 17

19 4.ALBERT 類似度をいた分析事例 18

4-1. 検証に用いたデータデータの期間 2009/12/01 2012/10/04 用いたデータ某通販会社購買履歴データ商品カテゴリ数 97 カテゴリ検証するに使用するために用いた元データは 498,889

20 4-1. 検証に用いたデータデータの期間 2009/12/ /10/04 用いたデータ某通販会社購買履歴データ商品カテゴリ数 97 カテゴリ検証するに使用するために用いた元データは 498,889 レコードありましたが円滑に検証をうため元データの 10% である 49,889 レコードにランダムサンプリングをい検証に用いました使用ツール :Visual Mining Studio( 株式会社 NTT データ数理システム ) 19

21 4-2. 購入カテゴリ数のパレート図 1/3 の顧客が 1 カテゴリしか購入していない 80% の顧客が 6 カテゴリ以下しか購入していない 32.7%:16,297 人 20

22 4-3. 検証データ - カテゴリ別購入者数売れるカテゴリと売れないカテゴリの差が極めて大きいこの様に購入カテゴリに大きな偏りがある場合従来のクラスター分析ではよい結果が得られないと考えられる No.1 No.2 No.3 No.4 No.5 Top5 ストレイジ用品ケア用品キッチン用品ハウスキーピングテーブル用品 21

23 4-4. クラスター分析画面 (K-means 法 cosine 距離 ) 標準仕様 22

24 4-5. クラスター分析画面 (K-means 法 ALBERT 類似度 ) ALBERT 仕様 23

25 4-6.ALBERT 類似度をいた 2 段階クラスター分析 ( 人 ) 購入カテゴリ数にばらつきが大きいためクラスター分析は 2 段階でなった Step1: 70% 到達カテゴリ数が最小になる類似度 / 非類似度パラメータを探索ここでは購入カテゴリ数が大きい顧客がクラスタ 12 に偏在した ( 人 ) クラスター 12 を展開 Step2: 顧客数の多いクラスタの顧客のみ抽出しさらに 70% 到達カテゴリ数が最になる類似度 / 非類似度パラメータを探索購カテゴリ数が多い場合はパラメータ設定を Step1 と幅に変更する必要がある ( 人 ) ALBERT 類似度 ( 比較 )cosine 距離 24

26 4-7.ALBERT 類似度をいた 70% 到達度分析結果重み付け平均 70% 到達カテゴリ数の比較 α COSINE 距離 ALBERT 類似度 (25 25% の改善 ) 25

27 4-8. 今後の課題様々な購買データでの検証クラスター数の最適化初期値問題類似度/ 非類似度の最適解を求める法の検討キャンペーンマネージメントシステムへの搭載効果検証のためのPDCA 新規顧客対応 26

28 ご静聴ありがとうございましたお問い合わせはこちら 27

29 自己紹介山川義介横浜国学学部卒業 TDK 株式会社記録メディア事業部門にて研究開発商品企画に従事の後株式会社マルマンに転じ常務取締役家電事業部マーケティング部などを歴任 1995 年株式会社エムアンドシーを設し代表取締役に就任 2000 年株式会社インタースコープ ( マーケティングリサーチ & コンサルティング ) を設し取締役副社に就任 2001 年 6 月株式会社インタースコープ代表取締役社に就任 2002 年 EOY JAPAN セミファイナリスト ( スタートアップ部門 ) 2005 年 7 インタースコープ取締役会に就任 2005 年 7 月株式会社 ALBERT を設し代表取締役会に就任 2007 年 2 月インタースコープをヤフー株式会社に売却 ( 後にインフォプラントと合併ヤフーバリューインサイトと社名変更 2010 年マクロミルと経営統合 ) 2007 年 4 月より関東学院大学人間環境研究所客員研究員 2008 年 9 月より明治大学大学院グローバルビジネス研究科 (MBA) 非常勤講師 [CRM( データマイニング )] japan.internet.com の Web マーケティングコラム One to one マーケティングの本質を探る連載大堀あゆみ 2013 年 3 月多摩大学経営情報学部マネジメントデザイン学科卒業豊田裕貴ゼミ同年 4 月株式会社 ALBERT 入社データ分析部に配属 28

30 会社概要会社概要事業概要社名設資本株主株式会社 ALBERT 2005 年 7 月 1 日 3 億 3,900 万円デジタルアドバタイジングコンソーシアム株式会社 IVP Incubator, L.P オリックスキャピタル株式会社株式会社ジャフコバーチャレクスコンサルティング株式会社三生キャピタル株式会社東洋キャピタル株式会社ニューフロンティアパートナーズ株式会社 SMBC ベンチャーキャピタル株式会社信キャピタル株式会社 PE&HR 株式会社大和企業投資株式会社株式会社シーエーモバイル役員および従業員役員代表取締役会山川義介代表取締役社上村崇取締役徳久昭彦 (DAC 取締役 CTO) 執役員安達章浩木野英明佐藤めぐみ平原昭次監査役谷本篤彦非常勤監査役保月英機事業内容 CRM ソリューションの開発提供分析コンサルティングデータマイニングソフトウェアマルチチャネル One to one マーケティングソリューション動ターゲティング広告システムの開発提供レコメンド特化型 DSP 広告配信の最適化広告クリエイティブの最適化レコメンドエンジンの開発提供 Web レコメンドエンジンモバイルレコメンドエンジン感性検索システム 2005 年 7 設事業コンセプトは分析をコアとするマーケティングソリューションカンパニー度な CRM ソリューションをカジュアルに提供するテクノロジーとして統計解析データマイニングテキスト解析マーケティングリサーチに加え画像解析豊富な導実績に裏付けられた信頼の Web モバイル IT インフラ技術を保有これらのキーテクノロジーをベースに独自開発のビッグデータ対応データマイニングソフトウェア smartica! データマイニングエンジンやクラウド型キャンペーンマネージメントシステム smartica! キャンペーンマネージメント動履歴を使ったレコメンドエンジンおまかせ! ログレコメンダー対話型意思決定システム Bull's eye さらにレコメンド特化型 DSP ADreco 広告配信の最適化を実現する i-effect など分析を強みとしたマーケティングソリューションを提供しています 29

スライド 1

スライド 1 2013 年 9 月 4 日日本行動計量学会第 41 回大会ベイジアンネットワークを用いたデジタル広告大量配信データからの各媒体貢献度の定量的把握手法 (アトリビューションアナリシス) 安達章浩伊藤徹郎目次 1 インターネット広告の歴史と背景 2 アトリビューション分析の経緯 3 ベイジアンネットワークとアトリビューション