PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

ゆきよどぎみ
7 years ago
Views:

1 株式会社数理システムユーザーコンファレンス 2012 基調講演ビッグデータ時代の企業内におけるデータ解析とは ~ 一現場分析者の考察 ~ 株式会社リクルートテクノロジーズビッグデータグループ西郷彰

2 本日のアジェンダリクルートグループのご紹介ビッグデータ活用と分析取組事例データ分析者の方に向けて西郷彰株式会社リクルートテクノロジーズ ITソリューション部ビッグデータグループシニアアナリスト

3 演者紹介氏名西郷彰所属略歴学歴株式会社リクルートテクノロジーズ IT ソリューション部ビッグデータグループ大手飲料メーカーマーケティングリサーチ会社を経て分析サービス会社の設立その後リクルートに入社全社インターネット部署にて分析全般やマーケティング施策の開発分析組織提案等に従事大阪大学工学部筑波大学大学院ビジネス科学研究科 (MBA) 趣味 etc データ解析コンペティション - レコメンデーションアルゴリズム - ベイジアンアプローチスノーボード ( インストラクター資格有 ) 最近の週末は一日中子供と遊んでます

4 演者紹介ネットマーケのデータ分析行動ログが手に入る URLから正規化して使うことができるさらにデータ加工によりいかようにもなる非構造のデータを使い出す企業も増えてきているマーケティング施策に直接接続できる正規化データ重要

5 演者紹介ネットマーケのデータ分析 id thedatetime url {000C0324} 2012/9/26 12: {000C0324} 2012/9/26 12:52 op_ga1_sa&ei=utf-8&aq=0&oq=i iphone 5 まさにビッグデータ {000C0324} 2012/9/26 12:52 %B6%E6%B3%81&aq=1&oq=iphone+5+zaiko+&ei=UTF-8&fr=top_ga1_sa&x=wrt 5 在庫状況 {000C0324} 時代になった /9/26 12:52 7%8A%B6%E6%B3%81%20au&rs=1&aq=1&oq=iphone+5+zaiko+&ei=UTF- 5 在庫状況 8&fr=top_ga1_sa {000C0324} 2012/9/26 12:53 {000C0324} 2012/9/26 12:53 {000C0324} 2012/9/26 12:53 {000C0324} 2012/9/26 12:54

6 自分と同じような思いを持った人に伝えたい

7 リクルートグループの紹介

8 リクルートグループのご紹介 ~ リクルートについてライフイベント領域車購入ライフスタイル領域旅行住宅購入転職出産 / 育児結婚お稽古時事ファッション飲食就職進学選択意思決定行動を支援する情報サービスの提供

9 リクルートグループのご紹介カスタマーとクライアントを新しい接点で結びまだここにない出会いの場を創造するカスタマー ( ユーザー ) クライアント

10 リクルートグループのご紹介リクルートグループについて創業 1960年3月31日資本金 30億264万円売上高 3,720億57百万円 2011年4月1日 2012年3月31日連結売上高 8,066億61百万円 2011年4月1日 2012年3月31日グループ従業員数 22,368名 2012年3月末時点代表者代表取締役社長峰岸真澄 2012年10月会社分割を行い 7事業会社 3機能会社のグループ体制となりました

11 リクルートグループのご紹介事業会社 ( 株 ) リクルートキャリア ( 株 ) リクルートジョブズ ( 株 ) リクルートスタッフィング ( 株 ) リクルートホールディングス ( 株 ) リクルート住まいカンパニー ( 株 ) リクルートライフスタイル ( 株 ) リクルートマーケティングパートナーズ ( 株 ) スタッフサービスホールディングス機能会社 ( 株 ) リクルートアドミニストレーション ( 株 ) リクルートコミュニケーションズ ( 株 ) リクルートテクノロジーズ

12 リクルートグループのご紹介

13 リクルートグループのご紹介大きいだけでなく多種で複雑なデータ Web サイトアイテムセッション pageview 営業情報エリア UU クライアント会員店舗情報

14 ビッグデータ活用と分析取組事例

データマイニングや機械学習を行った結果をもとにユーザーの行動特性など一定の規則性を見出し提供サービスの品質向上に努めるスキル知識 Hadoop

15 ビッグデータ活用と分析取組事例ビッグデータに対峙する２種類のアナリスト役割事業の抱える課題解決に向けた仮説を立て大量データをマイニングし具体的な解決案を提案する現場に近いところで超具体的な方針を示すスキル知識分析力論理的思考力仮説力統計/マーケティング知識 SQL Rなど役割データマイニングや機械学習を行った結果をもとにユーザーの行動特性など一定の規則性を見出し提供サービスの品質向上に努めるスキル知識 Hadoop MapReduce Mahout Java R 統計解析時系列解析データマイニング機械学習自然言語処理など出展

16 ビッグデータ活用と分析取組事例エンジニア型アナリストビッグデータ関連技術の活用方法を技術力インフラ基盤と共に提供し新たな施策を事業とともに考え実装していくアルゴリズムを実装する組み合わせる事業担当者事業の状況を背景とした新たな施策の検討期待する成果目的の設定エンジニア型アナリスト技術で実現できることを背景としたソリューションの紹介技術力インフラ基盤の提供活用方法の事例展開や新たな用途開発など

17 ビッグデータ活用と分析取組事例コンサル型アナリストツールを駆使してデータを分析するどんなマーケティング施策を打てばビジネスにプラスになるか事業と共に考え意思決定の手助けをする最適なアルゴリズムロジックを見つけるコンサル型アナリスト例えば需要予測何にどのタイミングで広告宣伝費をかけるのが一番効率的か某メディアでは年間の広告宣伝費を3億削減レコメンドどのようなロジックにするとアクション率が向上するか事業担当者

18 ビッグデータ活用と分析取組事例 ( コンサル型エンジニア型 ) マーケターコンサル型事業担当者マーケターエンジニア型 R-techの守備範囲コンサル型 + エンジニア型の異なるアナリストとマーケターの三位一体で最適なデータ活用を実現

19 ビッグデータ活用と分析取組事例 R-tech A 部 B 部 IT ソリューション部 C 部 BDG

20 ビッグデータ活用と分析取組事例リクルートでもビッグデータ活用がバブルに見えますが実は

21 ビッグデータ活用と分析取組事例システム構成概要リサーチ段階実験検証第1世代環境 20台 120台 3 4台プライベートクラウド実験機ラボ環境部分的な環境融合第2世代環境 40台今後拡大プライベートクラウド完全なる環境融合 Webサイトのﾊﾞｯﾁ処理移植など処理性能の評価研究システム移行などで余ったハードウェアを再利用商用利用が可能な設計セキュリティなど非機能面を施した環境プライベートクラウド環境との融合を進めた環境イマココ 21

22 ビッグデータ活用と分析取組事例多くの失敗と少しの成功の積み重ねだった

23 ビッグデータ活用と分析取組事例集計モニタリングのお手伝い CRM 分析予測モデルレコメンデーションのアルゴリズム開発 etc

24 ビッグデータ活用と分析取組事例ある調査会社の説明では 8 割の会社が情報活用を失敗するリクルートも同じく失敗でも自分をはじめとする現場の人間は向き合っていたボトムアップ型のビッグデータ活用

25 ビッグデータ活用と分析取組事例投資が通らないこともあった 2009年 2012年ビッグデータの相場は未成熟ボトムアップでやり続けることによって相場観があう&言葉があう ROIがわかるようになり投資が可能になってくるいくらくらいかければどのくらいできるかがわかってくる

26 ビッグデータ活用と分析取組事例そうこうしている間に成果が出てきた

27 ビッグデータ活用と分析取組事例具体的な事例アソシエーションルールによるレコメンドエリアの算出下まで閲覧するとレコメンドバナー表出１週間分のログをデータマイニングツールでレコメンド計算処理が１０倍 CVRは１.６倍に１年半分約２万人にレコメンド約２０万人にレコメンドでレコメンド計算

ビッグデータ活用と分析取組事例アルゴリズム実装ＦＳ&運用 G. Linden, B. Smith, and J. York. Amazon.com recommendations: item-to-item collaborative ltering. IEEE Internet Computing, 7(1):76{80, January 2003.

28 ビッグデータ活用と分析取組事例アルゴリズム実装ＦＳ&運用 G. Linden, B. Smith, and J. York. Amazon.com recommendations: item-to-item collaborative ltering. IEEE Internet Computing, 7(1):76{80, January Item to Item アイテムベースフィルタリング User to Item 協調フィルタリングアルゴリズムモノとモノの類似度を計算して推薦アソシエーションピアソン相関係数ヒトとヒトの類似度を計算して似ている人の購入アイテムを推薦コサイン類似度ピアソン相関係数適用これを買った人はこれも買っていますチェックも同様パーソナライズあなたにおすすめの商品要件定義アルゴリズムの作成実装サイトでの FS 運用

29 ビッグデータ活用と分析取組事例? 予測需要予測をやる意義 ( 一般 ) 将来の需要量をできるだけ精度高く見立てることで適切な投資 ( ヒトモノカネ ) を行い最大の利益を上げたい

30 ビッグデータ活用と分析取組事例統計モデルによる集客構造の数式化ごく単純な例 ) CV数寄与度 0.25 Listing Cost 0.63 Banner Cost リスティングによる CV バナーによる CV 0.50 Display Cost ディスプレイ広告による CV Error 誤差項寄与度 : 各コストの CV 数に対する影響度を表しますデータから計算 ( 統計的に推定 ) します統計モデルなので誤差項 ( 予測できない部分 ) を含みます

領域間クロス UU ｶｽﾀﾏｰﾌﾟﾛﾌｧｲﾙ KPIモニタリングメールﾚコメンド集客モニタリング商材分析アクション数予測事業Ｊ価格分析ﾚコメンド事業Ｋレコメンド事業Ｌレコメンド事業Ｍ

31 ビッグデータ活用と分析取組事例事業Ａ事業Ｂ事業Ｃ事業Ｄサイト間クロスUU 調査サイト横断モニタリング指標１３事業に対しメルマガ施策施策シェア分析リスティング分析レコメンド KWD LP分析予約分析ＢＩ年間１００件超の Why データ利活用メール通数分析現行応募相関ステータス分析自然語解析行動ﾀｰｹﾞﾃｨﾝｸﾞ LPO 事業Ｆレコメンドログ分析事業Ｇ事業Ｉ自然語解析領域間クロス UU ｶｽﾀﾏｰﾌﾟﾛﾌｧｲﾙ KPIモニタリングメールﾚコメンド集客モニタリング商材分析アクション数予測事業Ｊ価格分析ﾚコメンド事業Ｋレコメンド事業Ｌレコメンド事業Ｍ効果見立て分析事業Ｅ事業Ｈクチコミ分析 KPIモニタリング需要予測クレンジング需要予測レコメンドｸﾗｲｱﾝﾄHP分析ｶｽﾀﾏｰﾄﾗｯｷﾝｸﾞ共通バナー効果集計クラスタリングクチコミ分析を展開中 31

32 ビッグデータ活用と分析取組事例大切にしていること分析を分析で終わらせない間接寄与 5 50 ほぼ直接寄与売り上げ寄与億円キャンペーン集客施策の方針決定サイト改善施策施策アルゴリズムルール意思決定事業プランナーモニタリング/集計分析結果ユーザー分析分析組織 CRM 事業プランナーレコメンド需要予測/広告最適化分析各種モデリング組織

33 データ分析者の方に向けて

34 データ分析者の方に向けて専門性が高く業務範囲が広いデータ加工データストレージ事業データクリーニング一次加工二次加工統計解析機械学習 File_server Hadoop HDFS Hadoop アクセスログ外部データコスト etc モデリングアルゴリズム集計分析 RDB Appliance server RDB インフラやDBの知識プログラムを用いたデータ処理業務が必要 Copyright RECRUIT TECHNOLOGIES.,LTD. BI 予測 Model モデリングアルゴリズム Algorithm モニタリング時系列データユーザーデータマーケティングや事業知識 34 コンサルティング力や課題を解決能力も

35 データ分析者の方に向けて Facebook のデータサイエンティスト募集要項定量的アプローチを用いて分析的な課題を解決した豊富な経験多様なソースからの複雑で大量かつ高次元のデータを容易に操作し分析できること Python,PHP など少なくとも 1 つのスクリプト言語を自由に扱えること RDB と SQL に精通していること R,MATLLAB,SAS のような分析ツールについて専門知識を有すること大量のデータセットを扱った経験 MapReduce,Hadoop,Hive などの分散コンピューティングツールを使用した経験データサイエンティストに必要な資質コミュニケーション能力 : データ分析の知識に乏しいビジネス部門側のスタッフや経営層にも結果を効果的に伝えらえるアントレプレナーシップ : データ中心の新しいサービスを生み出そうとする起業家精神も好奇心 : 芸術技術医療自然科学などの特定の分野にとらわれずあらゆる分野に好奇心が旺盛城田真琴ビッグデータの衝撃 2012, 東洋経済新報社より抜粋 5 年前は BIGDATA について誰も議論してなかった 5 年後は当り前になってるかもしれない

36 データ分析者の方に向けてビッグデータ時代の分析者に必要とされるケイパビジネス課題から情報活用を企画する力ビジネスの特徴をモデルや数式数理最適化に落とし込む分析設計力統計解析 / データマイニングなどプログラミング /IT 技術課題解決の具体的な出口に接続する施策接続力

中心としたＯＪＴが必要エンジニア&アナリスト分析スキルだけでなくテクノロジースキルも必要また

37 データ分析者の方に向けて何か一つの能力の高さではなく面積なのでは分析スキルＰＪ管理能力マーケティングビジネススキルテクノロジースキルＲ社員を育成する場合は分析スキルを中心としたＯＪＴが必要エンジニア&アナリスト分析スキルだけでなくテクノロジースキルも必要また施策接続や結果の活用意志決定支援のためマーケティングや事業のビジネスに対する理解コンサルティング PJ管理能力も必要

38 ご清聴ありがとうございましたご質問等はこちらまで

自己紹介氏名牧允皓 (まきよしひろ) 略歴新卒でソーシャルゲームの会社に入社データサイエンティストとして4年間勤務アクセスログの分析施策の効果検証異常検知システムの構築などを経験 2017年にリクルートテクノロジーズに入社し機械学習のソリューションを開発運用するグループに所属

自己紹介氏名牧允皓 (まきよしひろ) 略歴新卒でソーシャルゲームの会社に入社データサイエンティストとして4年間勤務アクセスログの分析施策の効果検証異常検知システムの構築などを経験 2017年にリクルートテクノロジーズに入社し機械学習のソリューションを開発運用するグループに所属機械翻訳の応用分野 : SQL 生成技術の紹介数理システムユーザーコンファレンス 2018 リクルートテクノロジーズデータテクノロジーラボ部牧允皓 2018 年 11 月 22 日自己紹介氏名牧允皓 (まきよしひろ) 略歴新卒でソーシャルゲームの会社に入社データサイエンティストとして4年間勤務アクセスログの分析施策の効果検証異常検知システムの構築などを経験 2017年にリクルートテクノロジーズに入社し