E-commerce 企業におけるビッグデータへの挑戦と課題機械学習への期待について Rakuten Inc. RIT. Masaya Mori Nov. 7 th, 2012

Size: px

Start display at page:

Download "E-commerce 企業におけるビッグデータへの挑戦と課題機械学習への期待について Rakuten Inc. RIT. Masaya Mori Nov. 7 th, 2012"

るるみかいじ
5 years ago
Views:

1 E-commerce 企業におけるビッグデータへの挑戦と課題機械学習への期待について Rakuten Inc. RIT. Masaya Mori Nov. 7 th, 2012

2 アカデミックへの貢献 Rakuten Open Data 楽天の様々なデータを大学公的研究機関に公開楽天技術研究所 - 楽天データ公開目的 : - 先進的 IT 企業として学術的な分野での技術の発展に寄与 - 産学の交流連携をはかりインターネット技術分野の進歩のサイクルを加速 - 楽天研究開発シンポジウムの開催を通じて独創的な研究を促進これによりアカデミアの世界に対して楽天が貢献できると共にこれらの研究を通じて外部の方により楽天に興味を持って頂くことも期待されます < 商品データ > < レビュー > < 宿泊評価 > < ゴルフ場データ > 2

3 BigData の時代へ情報爆発 Introduction 機械学習の活用データ活用 SuperDB Introduction 3

4 森正弥 ( もりまさや ) 楽天株式会社執行役員 Introduction 開発アーキテクチャ部部長ビッグデータ部副部長楽天技術研究所所長職掌開発部署のマネジメント研究開発の推進統括 Masaya Mori 4

5 BigData の時代へ情報爆発 Rakuten Group 機械学習の活用データ活用 SuperDB Introduction 5

億円 (2011 年度 ) n 連結営業利益 756 億円 (2011 年度 )

6 楽天株式会社会社概要 n 代表取締役会長兼社長三木谷浩史 n 従業員数単体 3,209 人グループ7,615 人 n 設立日 1997 年 2 月 17 日 n IPO 2000 年 4 月 19 日 ( ジャスダック ) n 資本金 1,079 億円 (2011 年 12 月末現在 ) n 連結売上高 3,799 億円 (2011 年度 ) n 連結営業利益 756 億円 (2011 年度 ) 楽天市場 (e コマース事業 ) を中核とした, 総合インターネットサービス企業 6

7 13 か国にてサービスを展開マレーシアにて,EC 事業に参入海外拠点 & 楽天技術研究所楽天技術研究所は,2 拠点 (Tokyo, New York) 7 Free Cause(USA) Linkshare(USA) Tradoria(Germany)

8 理論的側面を支える楽天技術研究所技術の理論面を担う R&D 組織コンセプト Next Reality - 来るべき豊かなリアリティを - Tokyo & NY ミッション今後大きく成長する技術のシーズからインターネットを活用した人々の生活 ( リアリティ ) を豊かにする新しいサービス事業の可能性を創出する 8

9 (working on) Data Mining, NLP, Semantic Web Personalize Platform Recommender Engine Search Tech [ recommender logic ] Collaborative filter retargeting basket Recommender Platform! SPDB purchase history item DB user DB DB page - view history DB Global Catalogue Creation Noise Detection Next E-Commerce Platform 9

10 BigData の時代へ情報爆発企業におけるデータの活用機械学習の活用データ活用 SuperDB Introduction 10

11 企業における情報の活用情報の活用例 Amazon, 楽天協調フィルタリングの典型的な適用その価値の発見 Pandora Radio ユーザデータに加え, 曲の旋律, 歌詞, 声質, 楽器, 拍子, コード進行等を細かく解析ユーザの評価を組み合わせ, よりよい曲を提供 1 億人以上のユーザを持ち, 成長を続ける情報解析のビジネス価値の発見インターネット企業においてはデータ活用は主たる基幹機能データ分析の結果をオンラインサービスに直接反映レスポンスをすぐにうけ短い PDCA で改善ができるビジネスのコア 11

12 BigData の時代へ情報爆発 SuperDB 機械学習の活用データ活用 SuperDB Introduction 12

13 E-Commerce 楽天グループ ( 国内 ) のサービス Portal and Media Securities Banking Travel Credit Card Telecommunications Professional Sports E-money 13

データ活用への取り組み楽天にある大量のデータ 78,000,000+ 会員 800,000,000+ 購買情報 68,000,000+ レビュー口コミ 3,000,000+ 1

14 データ活用への取り組み楽天にある大量のデータ 78,000,000+ 会員 800,000,000+ 購買情報 68,000,000+ レビュー口コミ 3,000, ヶ月あたりの宿泊情報 37,000+ 市場出店店舗 60,000+ 登録ホテル銀行クレジットカード情報. 莫大な量のサーチワード 1 日あたり数百ギガバイト以上の Access Log etc 14

15 ー店舗間関連全体像 15

16 スーパー DB DWH Rakuten has tons of businesses, and so have many kinds of business data. It s diversified. We aggregate such data into one big dataware house. 多様なビジネスデータ Rakuten Super DB 16 That is our important core generating revenue.

17 全体像会員属性購入履歴アンケートカード情報スーハーホイント楽天クーホンログイン外部データ (Mosaic 等 ) 集約楽天スーパー DB データ提供アプリケーションファイル加工集計分析デモグラフィック ( 基本属性 ) ジオグラフィック ( 地理情報 ) ビヘイビア ( 行動 ) サイコグラフィック ( 心理的属性 ) パーソナライズリコメンデーション行動ターケティンク広告営業支援利用 17

18 顧客クラスタリング顧客クラスタリングの考え方顧客の属性データや購買履歴を利用し顧客をいくつかのグループに分類する楽天会員全員をクラスタリング I A E C H F B D G J 家事はお任せ I A E 本 CD ゲーム家でじっくり派グルメ大好き C H お手軽ビューティー F B D G J おしゃれメンズ 18

19 活用と効果 ( パーソナライズ ) パーソナライズ ( バナー ) 顧客をセグメント化し適切なバナーを出し分け効果 : よりきめ細かいセグメント作成をもとにしたバナーの出しわけを自動化したことにより手動で作成していた時に比べ平均 CVR が約 1% 向上大幅アップ 19

20 TOHO レコメンデーションプラットフォームビジネス要件から見た場合のデータ品質レコメンド品質の課題各種サービスにカスタマイズ可能な統合レコメンドプラットフォームで解決スーパー DB 製品情報 Recommender Platform 各種サービスへ展開ユーザー情報購入履歴閲覧履歴ビジネス各種アルゴリズム協調フィルタリングリターゲティングバスケット分析グループ関連度コンテンツベース DB for service 20

21 レコメンデーションエンジン楽天市場 DVD レンタルブックスダウンロード 21

22 BigData の時代へ情報爆発機械学習の活用機械学習の活用データ活用 SuperDB Introduction 22

23 スーパー DB からの機械学習の活用多種多様なビジネスデータを格納したスーパー DB の活用より楽天においてはデータ分析活用のシーンは幅広く見られるようになったその中では機械学習の活用も主にマーケティングの部署や楽天技術研究所において広まってきている 23

( 教師なし学習 ) を行うのは当たり前統計や NLP の活用分野も多く教師ありも多い

24 活用コンピュータが過去のデータから情報処理方法を学習未知の問題解決を行うデータに対するアプローチや基本姿勢として業務の現場において実践量的なあるいは時系列的なデータの分布からクラスタリング ( 教師なし学習 ) を行うのは当たり前統計や NLP の活用分野も多く教師ありも多い統計の回帰はいたるところで広く用いられておりこれも機械学習の一種と言えば一種スーパー DB のクラスタリング Global Catalogue Creation Noise Detection 24

25 活用学習させ例えば分類器を作って PDCA サイクルにのせる全体やトレンドの理解未知の事実の発見をしたりした結果をフィードバックとしてビジネス施策やサービスアプリケーションに実装結果ユーザの反応がダイレクトに得られ PDCA サイクルによる継続的な改善活動を短期間で回すことができるインターネットサービスの大きな特徴であり醍醐味 Plan (Hypothesis) Do (Learning) Action (Prediction) Check (Understanding) 25

26 BigData の時代へ情報爆発機械学習活用事例機械学習の活用データ活用 SuperDB Introduction 26

27 商品のクラスタリングレコメンデーションでの活用 K-Means plsi ( ソフトクラスタリングの一種 ) 嗜好の似たユーザーかどうかの分析で LSH (Locally Sensitive Hash) Collaborative Filtering Basket Analysis Text Matching Clustering Cluster Coefficient 27

28 販売量の予測季節性イベント等を加味した商品販売量の予測教師あり学習 ( 非線形回帰 ) 全体の販売量を被説明変数週月キャンペーン月末連休温度等を説明変数に在庫価格の最適検討に関するインプットに 28

29 カタログデータの作成ノイズの発見系列ラベリング問題として捉え CRF( 条件付確率場 ) で解くブートストラップ法 ( 半教師 : 少量教師 + 大量教師なし ) での生成 29

30 ( 参考 ) 日本の小売の特徴日本はロングテール地方毎に特産品があるコアな趣味を持つ人が多い販売者もロングテール購入者もロングテール常識ではかれないものが飛ぶように売れるじゃばらドリンクじゃばら 30

31 カタログデータの作成ノイズの発見系列ラベリング問題として捉え CRF( 条件付確率場 ) で解くブートストラップ法 ( 半教師 : 少量教師 + 大量教師なし ) での生成 1. タイトル中にある商品関連用語の抽出楽天市場マルコスエグーレンタカムラワイン 3. クラスタリングハウス商品情報 2. ページ中にある属性属性値の抽出色味わいブドウ品種産地白ワイン辛口アイレン 60% マカベオ 40% スペイン 4. カタログとの紐紐つけ CatID: ぶどう品種ブドウ品種葡萄品種品種セパージュ産地生産地原産地地方地区 5. 属性名の同義性の発見見 6. ノイズページの発見見 31

32 ログインアタックの検知教師なし : ログインアタックの検知の際に, どのようなアタックパターンがあるのかを検知するためにクラスタリングを利用教師あり :IP, 検索語の長さ検索を行ったサービス国等を素性としてモデルに学習させて分類機を作成 (SVM/ Passive aggressive を使用 ) 32

33 系画像の発見 SNS サービスにおける系画像を抽出するフィルタの作成 SOM( 教師なし自己組織化マップ ) で分類しようとしたら時間かかりすぎ画像の色に関する分布を EM アルゴリズム ( 教師なし ) で楕円フィッティングニューラルネットワークで抽出したパラメーターと画像の OK/NG 対応の学習教師あり : FFNN( フィードフォワード ) 多層パーセプトロン No Image 33

34 電力使用量の予測 RSGP ( 楽天スマートグリーンプロジェクト ) センサーをつけ計測過去データより学習し電力使用量の予測も単純な回帰シーズナリティにいきたいが 34

35 機械学習の活用何も高度な技術を適用していない何 ( データログ ) を対象とするかどう適用するかデータログ収集基礎集計の戦略変数に入れるためのデータの加工の仕方データログの標準化統一化あるいはそもそもの仮説の立て方それらこそが重要その基本を外さないことこそが機械学習活用において肝要 35

36 BigData の時代へ情報爆発情報爆発 BigData 機械学習の活用データ活用 SuperDB Introduction 36

37 情報爆発 37 Along with this, we are increasingly getting difficulty of processing data.

38 Big Data It s getting more and more difficult to handle with it. 38

39 大規模基盤の活用構築大規模基盤の活用構築クラウドの普及技術のコモディティ化を踏まえパブリッククラウドの活用プライベートの構築 Hadoop クラスターの構築 NoSQL の活用構築レコメンドターゲティング広告検索改善ログ解析での活用 OSS の活用貢献開発が進む 39

40 楽天プロダクトランキング処理内容ランキングデータ集計製品ページ用データ生成サーチエンジン購買履歴製品マスタ DB データ量 1 日 /1 億レコード 1 日 /300GB 検索ワードレビュー価格商品件数売上件数売上率売上高購買時間帯製品名スペック製品コード発売日 M/R 処理時間 1 時間半ノード数 70 台 RAN DB Calculate 40 Rakuten Product

検索での関連語提示や辞書構築での活用 n クラスターから検索解析用の Hive に " n 関連語の提示や辞書構築等での活用日次 300GB のデータを解析 suggest batch server Batch Suggest Index Shared Hadoop Cluster Batch

41 検索での関連語提示や辞書構築での活用 n クラスターから検索解析用の Hive に " n 関連語の提示や辞書構築等での活用日次 300GB のデータを解析 suggest batch server Batch Suggest Index Shared Hadoop Cluster Batch NGS Hive NGS common platform for hive sync analyzed data dictionary batch Server Batch update search index 検索エンジン Dictionary Index update search index 41

42 ビッグデータの時代へ機械学習の知識は企業におけるデータ活用において重要な位置を占めつつある今後はデータが大規模化機械学習の知識に加え大量データ処理の技術分散プログラミングの技術もあわせて必要そのため今後はそのような他のスキルや知識を踏まえた人材が要求されるしかし大事なことは機械学習の知識の活用機会というのはますます広がりつつあるということ 42

43 BigData の時代へ情報爆発 For closing 機械学習の活用データ活用 SuperDB Introduction 43

44 アカデミックへの貢献 Rakuten Open Data 楽天の様々なデータを大学公的研究機関に公開楽天技術研究所 - 楽天データ公開目的 : - 先進的 IT 企業として学術的な分野での技術の発展に寄与 - 産学の交流連携をはかりインターネット技術分野の進歩のサイクルを加速 - 楽天研究開発シンポジウムの開催を通じて独創的な研究を促進これによりアカデミアの世界に対して楽天が貢献できると共にこれらの研究を通じて外部の方により楽天に興味を持って頂くことも期待されます < 商品データ > < レビュー > < 宿泊評価 > < ゴルフ場データ > 44

45 E-commerce 企業におけるビッグデータへの挑戦と課題機械学習への期待について Rakuten Inc. RIT. Masaya Mori Nov. 7 th, 2012

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション楽天におけるOSS 活用開発の意義とビジネスへの貢献楽天株式会社楽天技術研究所森正弥 2013 年 03 月 26 日自己紹介森正弥 (もりまさや) 楽天株式会社執行役員開発アーキテクチャ部部長ビッグデータ部副部長楽天技術研究所所長職掌開発部署のマネジメント

E-commerce 企業における ビッグデータへの挑戦と課題 機械学習への期待について Rakuten Inc. RIT. Masaya Mori Nov. 7 th, 2012

E-commerce 企業におけるビッグデータへの挑戦と課題機械学習への期待について Rakuten Inc. RIT. Masaya Mori Nov. 7 th, 2012