楽 天 におけるOSS 活 用 開 発 の 意 義 とビジネスへの 貢 献 楽 天 株 式 会 社 楽 天 技 術 研 究 所 森 正 弥 2013 年 03 月 26 日
自 己 紹 介 森 正 弥 (もり まさや) 楽 天 株 式 会 社 執 行 役 員 開 発 アーキテクチャ 部 部 長 ビッグデータ 部 副 部 長 楽 天 技 術 研 究 所 所 長 職 掌 開 発 部 署 のマネジメント 研 究 開 発 の 推 進 統 括 Masaya Mori Twitter: @emasha 2
楽 天 グループ 3
楽 天 株 式 会 社 会 社 概 要 代 表 取 締 役 会 長 兼 社 長 三 木 谷 浩 史 従 業 員 数 単 体 3,209 人 グループ7,615 人 設 立 日 1997 年 2 月 17 日 IPO 2000 年 4 月 19 日 (ジャスダック) 資 本 金 1,079 億 円 (2011 年 12 月 末 現 在 ) 連 結 売 上 高 3,799 億 円 (2011 年 度 ) 連 結 営 業 利 益 756 億 円 (2011 年 度 ) 楽 天 市 場 (eコマース 事 業 )を 中 核 とした, 総 合 インターネットサービス 企 業 4
( 単 位 : 十 億 円 ) 3,500 3,000 国 内 グループ 流 通 総 額 推 移 (カード 電 子 マネー 含 む) 2,693 3,294 国 内 グループ 流 通 総 額 +22.3% YoY 2,500 2,000 1,859 1,268 1,642 *1 Edy 及 び クレジットカード +29.5% YoY *2 1,500 1,000 500 1,154 355 220 579 1,473 482 260 730 657 305 896 366 1,059 420 1,232 *3 トラベル +14.9% YoY *4 国 内 EC +16.4% YoY 0 2007 年 2008 年 2009 年 2010 年 2011 年 *1: Edy 決 済 取 扱 高 = 電 子 マネーEdyにより 決 済 された 金 額 (モバイル(おサイフケータイ) 及 びカード)10/1Q~ *2: クレジットカード ショッピング 取 扱 高 =クレジットカードのショッピング 取 扱 高 ( 楽 天 グループのサービス 利 用 を 含 む) *3: トラベル 予 約 流 通 総 額 = 予 約 受 付 時 に 対 する 流 通 総 額 (キャンセル 前 税 別 料 金 に 換 算 ) = 国 内 / 海 外 施 設 予 約 海 外 航 空 券 楽 天 バスサービス 国 内 / 海 外 ダイナミックパッケージ レンタカー *4: 国 内 EC 流 通 総 額 =モール( 通 常 購 入 共 同 購 入 ) モバイル オークション( 旧 フリマ 含 む) ブックス GORA ビジネス ダウンロード チケット ネットスーパー チェックアウト 楽 天 競 馬 toto ShowTime メディアレンタル
日 本 は ロングテール 日 本 の 小 売 の 特 徴 地 方 毎 に 特 産 品 がある コアな 趣 味 を 持 つ 人 が 多 い 販 売 者 もロングテール 購 入 者 もロングテール 常 識 ではかれないものが 飛 ぶように 売 れる じゃばらドリンク じゃばら 多 様 なものを 受 け 入 れるため 独 自 のシステムが 必 要 6
ワイン Cheap Less cost than real shop Good selection Thousands of items No stock cost Easy price comparison Rich explanation Long story of products Searchable From rich text information Not good for food or fashion? Difficult to search, but
城
データ 活 用 への 取 り 組 み 楽 天 にある 大 量 のデータ 78,000,000+ 会 員 107,000,000+ 商 品 情 報 800,000,000+ 購 買 情 報 86,800,000+ レビュー 口 コミ 3,000,000+ 1ヶ 月 あたりの 宿 泊 情 報 37,000+ 市 場 出 店 店 舗 60,000+ 登 録 ホテル 銀 行 クレジットカード 情 報. 莫 大 な 量 のサーチワード 1 日 あたり 数 百 ギガバイト 以 上 のAccess Log etc 9
全 体 像 会 員 属 性 購 入 履 歴 アンケート カード 情 報 スーハ ーホ イント 楽 天 クーホ ン ログイン 外 部 データ (Mosaic 等 ) 集 約 楽 天 スーパーDB データ 提 供 アプリケーション ファイル 加 工 集 計 分 析 デモグラフィック ( 基 本 属 性 ) ジオグラフィック ( 地 理 情 報 ) ビヘイビア ( 行 動 ) サイコグラフィック ( 心 理 的 属 性 ) パーソナライズ リコメンデーション 行 動 ターケ ティンク 広 告 マーケティングリサーチ 利 用 10
レコメンド エンジン 楽 天 グループへ 横 展 開 楽 天 市 場 楽 天 レンタル 楽 天 ブックス 楽 天 ダウンロード 11
TOHO レコメンデーションプラットフォーム 各 種 サービスにカスタマイズ 可 能 な 統 合 レコメンドプラットフォームで 解 決 Lucene, Solr 等 各 種 OSSを 組 み 合 わせて 構 築 スーパーDB 製 品 情 報 Recommender Platform 各 種 サービスへ 展 開 ユーザー 情 報 購 入 履 歴 閲 覧 履 歴 ビジネス 各 種 アルゴリズム 協 調 フィルタリング リターゲティング バスケット 分 析 グループ 関 連 度 コンテンツベース DB for service データ 活 用 は 独 自 チューニングが 大 事 だから OSSで 構 築 12
情 報 爆 発 BigData 13
情 報 爆 発 14
ビッグデータ 関 連 部 署 グループ コアサービス 部 ID, Mail, Checkout 会 員 データマーケティング スーパーDB 商 用 技 術 構 造 化 データ ビッグデータ 部 サーチ レコメンド ランキング 広 告 Hadoop, Cassandra, etc. OSS 非 構 造 化 データ 楽 天 技 術 研 究 所 データマイニング NLP 分 散 処 理 基 盤 O2O Next Reality 独 自 技 術 理 論 的 側 面 を 支 える 15
大 規 模 基 盤 の 活 用 構 築 大 規 模 基 盤 の 活 用 構 築 クラウドの 普 及 技 術 のコモディティ 化 を 踏 まえ パブリッククラウドの 活 用 プライベートの 構 築 Hadoopクラスターの 構 築 NoSQLの 活 用 構 築 レコメンド ターゲティング 広 告 検 索 改 善 ログ 解 析 での 活 用 OSSの 活 用 貢 献 開 発 が 進 む 16
なぜOSSを 使 うのか 多 様 性 を 受 け 入 れ 今 に 挑 む 開 発 包 容 力 と 多 様 さとスピードとコミュニケーション 変 化 の 最 前 線 インターネットとは 変 化 の 最 前 線 = 問 題 の 最 前 線 クラウドしかり ビッグデータしかり スマホしかり 新 しい 問 題 に 今 まさに 進 行 形 で 挑 むのは オープンソース 不 具 合 率 は 同 じ インターネットの 世 界 だと 商 用 もOSSもバグがでる 何 が 来 るかわからない スパイクする 世 界 のため 開 発 スタイル インターネットサービスでのアプリ 開 発 のスタイルがOSS のスタイルに 似 ている
ビッグデータ: OSS 活 用 がトレンド OSS 活 用 使 うだけでなく 開 発 に 貢 献 自 社 でも 作 るが OSS 化 18
ROMA Rubyによる 分 散 キーバリューストア 既 に 楽 天 内 での20 以 上 のサービスの 裏 側 で 基 盤 として 活 用 Key-Value Store: キーとそれに 関 連 したバリュー( 値 )を 格 納 巨 大 なハッシュテーブルを 生 成 し 管 理 データベースに 比 べて 高 速 なアクセスを 実 現 可 能 ROMA (key-value store) 19
PC 楽 天 トラベルでの 活 用 : 2009 年 Browsing Info Sharing data by using Rakuten ID Mobile You can see your browsing history on both PC and mobile. We retarget end users and keep their interest. 20
Recommendation Targeting 21
BigData -> Storage 22
LeoFS: オリジナル 分 散 ファイルシステム Request from Web Application(s) Load Balancer LeoFS-Manager S3-API LeoFS-Gateway w/cache Server REST over HTTP RPC LeoFS-Storage RPC SNMP Storage Engine/Router Storage Engine/Router Storage Engine/Router WEB Console META Object Store META Object Store META Object Store 23
LeoFS: the DATA-HUB 24
Cloud 時 代 のストレージへ 25
OSSによる 基 盤 構 築 と 活 用 26
ビッグデータへの 取 り 組 み 非 構 造 化, 半 構 造 化 データの 活 用 検 討 アクセスログ サーチログやビヘイビアな どのデータはHadoop 上 に 集 積 集 約 連 携 方 法 を 検 討 会 員 情 報 や 購 買 情 報 などのUser Profile に 紐 づくデータはスーパーDB 上 に 集 約 Rakuten Super DB Hadoop 上 のデータをどのように 集 約 し 連 携 するか? スーパーDBでどのように 価 値 あるデータを 作 るか? 27
楽 天 プロダクトランキング 処 理 内 容 ランキングデータ 集 計 製 品 ページ 用 データ 生 成 サーチエンジン 購 買 履 歴 製 品 マスタDB データ 量 1 日 /1 億 レコード 1 日 /300GB 検 索 ワード レビュー 価 格 商 品 件 数 売 上 件 数 売 上 率 売 上 高 購 買 時 間 帯 製 品 名 スペック 製 品 コード 発 売 日 M/R 処 理 時 間 1 時 間 半 ノード 数 70 台 RAN DB Calculate 28 楽 天 プロダクト
検 索 での 関 連 語 提 示 や 辞 書 構 築 での 活 用 クラスターから 検 索 解 析 用 のHiveに 関 連 語 の 提 示 や 辞 書 構 築 等 での 活 用 日 次 数 百 GBの データを 解 析 suggest batch server Batch Suggest Index Shared Hadoop Cluster Batch NGS Hive NGS common platform for hive sync analyzed data dictionary batch Server Batch update search index 検 索 エンジン Dictionary Index update search index 29
もしかして 検 索 提 示 動 作 例 (1) 成 果 漢 字 ミス 省 略 などに 対 し 候 補 を 提 示 不 要 な 提 示 なし 漢 字 誤 り 思 い 違 い 変 換 ミス 変 換 中! これらの 例 は 実 際 に 検 索 窓 に 入 力 されていたキーワードです 30
もしかして 検 索 提 示 動 作 例 (2) 成 果 漢 字 ミス 省 略 などに 対 し 候 補 を 提 示 不 要 な 提 示 なし 1. 省 略 系 2. 変 換 ミス 3. 入 力 違 い 4. 不 要 提 示 なし 31
検 索 ログの 解 析 Autocomplete with related categories Directory specifying keyword and product category Directory specifying keyword and category 32
Next Step スーパーDBとの 連 携 基 盤 の 検 討 Hadoop 基 盤 とスーパーDBの 連 携 方 法 および 環 境 検 討 に 着 手 User Profile, Transaction Behavior Member Purchase Card Point Service Access Log Search Log Docs, PDFs Images/videos 集 約 ロ ー ド フ ァ イ ル コ ピ ー Rakuten Super DB Data Matching extract, transform 透 過 的 な ユ ー ザ イ ン タ フ ェ ー ス User Marketer Administrator Developer 33
GEAP - グローバルイベント 解 析 プラットフォーム 楽 天 が 運 用 している 様 々なサービスから 生 成 される 多 種 多 様 な 大 規 模 ログを 収 集 蓄 積 し 解 析 するプラットフォーム データの 多 種 多 様 性 を 吸 収 多 彩 な 解 析 が 可 能 国 外 のデータも 対 象 楽 天 内 の 開 発 環 境 (RPaaS) のアプリケーションログの 解 析 基 盤 としても Apache Flume 34
RPaaS Rakuten PaaS has started!! Powered by Derek Rakuten New Service Runs on RPaaS 35
今 後 36
スマートフォンの 普 及 O2O, BYOD 2013 年 には ケータイの 約 30%にまで 浸 透 と 予 測 (MM 総 研 ) 別 の 調 査 では 2011 年 と2012 年 で 倍 増 していると 分 析 ( 日 経 BP) O2O や BYOD のトレンドへ 参 考 フィーチャーフォンの 普 及 グラフ 30%を 超 えると 爆 発 的 に 増 加 MM 総 研 調 べ 37
O2O により 差 別 化 付 加 価 値 を 実 現 米 国 を 中 心 とした 海 外 では 実 店 舗 の 差 別 化 を 目 的 として 実 空 間 からネットへの 誘 導 を 行 い クーポンやディスカウント 等 と 組 み 合 わせて 付 加 価 値 を 提 供 するサービスが 増 えつつあります TESCO ShopSavvy ShopKick Amazon A9 Flow CheckPoints 38
典 型 的 モデル Ubira: Rakuten O2O 楽 天 においても Ubira (ユビラ) という 名 称 で O2O 型 のサービス モデルを 考 案 しています 実 店 舗 (パートナー 様 )と 協 業 し ネットでのクーポンやポイントプロ グラムと 連 携 ショッピングの 付 加 価 値 を 高 めていくサービスです Collaborate w/ shop Check-in Coupon / Point Barcode scan Affiliate 39
AR-HITOKE: データ 集 合 知 拡 張 現 実 他 にも AR-HITOKE という 拡 張 現 実 型 の 集 合 知 サービスも 開 発 し ています これは 実 店 舗 にある 商 品 をスマートフォンで 覗 くことで 人 気 商 品 かどうか 他 の 顧 客 や 友 人 の 評 判 はどうなのかを 視 覚 的 に 確 認 することができ 他 のSNSサービスとも 連 携 しながら ショッ ピングを 支 援 するサービスです 商 品 を 覗 くと どれだけ 人 気 があるか 評 判 はどうかを 視 覚 的 に 確 認 できる 40
おわりに 41
なぜOSSを 使 うのか 多 様 性 を 受 け 入 れ 今 に 挑 む 開 発 包 容 力 と 多 様 さとスピードとコミュニケーション 変 化 の 最 前 線 インターネットとは 変 化 の 最 前 線 = 問 題 の 最 前 線 クラウドしかり ビッグデータしかり スマホしかり 新 しい 問 題 に 今 まさに 進 行 形 で 挑 むのは オープンソース 不 具 合 率 は 同 じ インターネットの 世 界 だと 商 用 もOSSもバグがでる 何 が 来 るかわからない スパイクする 世 界 のため 開 発 スタイル インターネットサービスでのアプリ 開 発 のスタイルがOSS のスタイルに 似 ている
楽 天 におけるOSS 活 用 開 発 の 意 義 とビジネスへの 貢 献 楽 天 株 式 会 社 楽 天 技 術 研 究 所 森 正 弥 2013 年 03 月 26 日