ＸＸＸＸＸ

Size: px

Start display at page:

Download "ＸＸＸＸＸ"

こうじまるこ
5 years ago
Views:

1 クラウド基盤技術の活用事例楽天技術研究所森正弥年 7 月 2 6 日 1

2 2

3 Introduction 3

Introduction 森正弥 ( もりまさや ) Twitter: @emasha (http://twitter.

4 Introduction 森正弥 ( もりまさや ) ( 楽天株式会社楽天技術研究所職掌研究開発組織の推進統括 IT 戦略の企画実行前職はコンサルタント製造業官公庁にて IT 戦略立案基幹系システム構築等を担当 4

5 ウェブ大変化パワーシフトの始まりデバイス環境の多様化 (ipad) インフラ環境の大規模化 ( クラウド ) 知と我々自身の変化 ( ツイッター ) 5

6 楽天市場日本最大日本最大のインターネットショッピングモール世界でも独特のビジネスモデル店舗数 : 約 33,000 店商品数 : 約 5,800 万点会員数 :6,400 万人流通総額 :8,000 億円 (2009) 6

7 楽天グループの国際展開インターネットショッピングモールビジネストラベルビジネスパフォーマンスマーケティングビジネスヨーロッパ本社アメリカ PriceMinister TARAD.com アジア Rakuten Ichiba Taiwan Buy.com Indonesia インターネットショッピングモールビジネス [ 台湾 ] 台北 [ タイランド ] バンコク [ 中国 ] 北京 [ 米国 ] カルフォルニア [ インドネシア ] ジャカルタ [ フランス ] パリ 8

8 楽天の人材規模感グループ 7000 人 7 つの事業セグメント各事業開発部 1200 人基本内製の体制エンジニアプロデューサー研究所 30 人アルゴリズムや理論の研究博士企業研究者中心 9

9 Rakuten Cloud 10

10 楽天におけるクラウド的なもの 3 つ従来サービスがそもそもクラウド的 RMS WebAPI Checkout クラウド基盤技術の開発 MW 仮想化基盤 (TOHO ROMA) 社内クラウド基盤の拡大楽天ジャングル 11

11 楽天におけるクラウド的なもの 3 つ従来サービスがそもそもクラウド的 RMS WebAPI Checkout クラウド基盤技術の開発 MW 仮想化基盤 (TOHO ROMA) 社内クラウド基盤の拡大楽天ジャングル創業からクラウド的にビジネスモデルを展開 12

12 楽天のコンセプト日本を元気に中小企業をエンパワーする全国のお客様を相手に商売を展開可能にエンパワーされた日本全国の店長地方の中小企業から超大型店舗までサポート 13

13 楽天市場のサービスモデル約 3 万店の出店楽天市場店舗 Users 店舗 E-Commerce Platform 店舗 14

14 店舗に対する SaaS&PaaS のクラウド Rakuten Merchant Server Sales Operation 15

15 楽天経済圏 ( エコシステム ) 共通 ID 楽天スーパーポイント Business Application EC 顧客流入ショッピングモールオークション広告ストリーミング配信ダウンロード人材マリッジポータル / Business Application コンテンツ Business Application トラベル楽天会員 ID データベース Business Application カード Business Application 銀行クレジットカード決済個人ローン宿泊施設の予約航空券の予約ダイナミックパッケージ Business Application 通信固定 IP 電話モバイル IP 電話 Business Application 証券株式債券投信 FX 16

16 楽天ウェブサービス楽天市場ブックスオークショントラベルダイナミック Ad 各種データを提供する外部 API 公開サービス 17

17 あんしん支払サービス 18

18 楽天準経済圏の拡大会員 ID を使った決済 ( チェックアウト ) 機能楽天あんしん支払いサービスを外部サイトへ提供開始導入サイトは楽天に出店せずに楽天会員の顧客基盤を活用可 OnGen (USEN) 等に提供中楽天準経済圏導入サイト導入サイト導入サイト Business Application EC 導入サイト導入サイト Business Application クレジット楽天経済圏 Business Application トラベル導入サイト会員データベース導入サイトポータル Business / コ Application ンテンツ Business Application 証券導入サイト導入サイト Business Application 通信導入サイト 19

19 楽天経済圏の拡大非常に広範囲の E コマース準 SaaS PaaS 基盤へパートナー日曜プログラマ開発ツール Business Application EC ニッチサイトマッシュアップサイト日曜プログラマ開発ツール Business Application クレジット楽天経済圏 Business Application トラベルニッチサイトマッシュアップサイトポータル / Business Application コンテンツ会員データベース Business Application 証券日曜プログラマ開発ツール Business Application 金融ニッチサイト日曜プログラマ開発ツールパートナーマッシュアップサイト 20

20 楽天におけるクラウド的なもの 3 つ従来サービスがそもそもクラウド的 RMS WebAPI Checkout クラウド基盤技術の開発 MW 仮想化基盤 (TOHO ROMA) 社内クラウド基盤の拡大楽天ジャングルビジネスアプリケーションを支えるミドルウェアを仮想化 21

21 スーパー DB 堅牢強固な DWH データの集約楽天には多様なビジネスがあり様々なデータがある堅牢強固な DWH に集約しサービス向上に役立てているデータの分析利用商品サービスDB 顧客属性 DB 購買履歴 DB 閲覧履歴 DB 楽天スーパー DB リコメンデーションパーソナライズ購買予測 K P I モニタリング 22

22 レコメンデーション顧客満足向上楽天技術研究所が開発したレコメンデーションエンジンと前述のスーパー DB を掛け合わせ顧客満足度の高いレコメンデーションを実現自社レコメンデーションエンジン開発楽天スーパー DB レコメンデーション / パーソナライゼーションされたコンテンツの提供により顧客満足度の向上実現 23

23 レコメンデーションプラットフォーム TOHO TOHO サービス特性毎にリコメンドロジックをカスタマイズ可能な楽天経済圏のレコメンデーションプラットフォーム各種レコメンドロジック協調フィルタリングリターゲティングバスケット画像処理レコメンデーションプラットフォームスーパー DB 商品サービス DB 顧客属性 DB 購買履歴 DB 閲覧履歴 DB 24

24 大きな課題情報爆発 2000 年 6.2EB 45 倍 2007 年 281EB 6 倍 ZB( ゼッタバイト ) ,000,000,000,000,000,000, 年 1.8ZB 25

2007 年 2 月 2007 年 5 月 2007 年 8 月インターネット接続回線合計トラフィック楽天のシステム規模 : トラフィック楽天のデータ量の増大 10000 9000 8000 5 年間で 50 倍に増加 8.

25 2002 年 2 月 2002 年 5 月 2002 年 8 月 2002 年 11 月 2003 年 2 月 2003 年 5 月 2003 年 8 月 2003 年 11 月 2004 年 2 月 2004 年 5 月 2004 年 8 月 2004 年 11 月 2005 年 2 月 2005 年 5 月 2005 年 8 月 2005 年 11 月 2006 年 2 月 2006 年 5 月 2006 年 8 月 2006 年 11 月 2007 年 2 月 2007 年 5 月 2007 年 8 月インターネット接続回線合計トラフィック楽天のシステム規模 : トラフィック楽天のデータ量の増大年間で 50 倍に増加 8.6Gbps 6000 万会員 Mbps ギザギザはデータ集計上の問題楽天トラベル及び一部の Infoseek 系サービスを除く 12 流通日商 40 億 26

26 施策ストレージサービスのクラウド化 Storage-as-a-service for media files. Reduce Cost, Install Quickly, Scale Fast Share files between multi services image video image video DMC Service API Admin API B 写 B Any service can use by calling API. 27

27 各社の開発 MapReduce 等は分散並列処理基盤 GFS/BigTable 等は分散データストレージ KVS 処理の分散 MapReduce データの分散 GFS/BigTable Dynamo MapReduce の Java 実装 Windows Azure SQL Data Services fairy ROMA 28

28 ROMA 29

29 参考 Key-Value-Store( キーバリューストア ) Key-Value-Store はデータを効率的に分散保存させる仕組み従来のデータベースはエクセルのようなテーブル構造でデータを管理 Key-Value-Store はキーとバリュー ( データ ) のペアでデータを管理従来のデータベース (RDB) Key-Value-Store (DHT) 便利な構造でデータを保存できるがデータを単純に分割するのが難しく分割の仕方が悪いと性能が落ちる正規化すると A さんの TEL はすぐには分からない! α β Key Value 1 A 2 B 3 C 4 D 5 E データを分割しやすくデータがどこにあるかを探すのも簡単! Key: 3 HASH β ID NAME TEL 1 A B C 333 ID TEL ID NAME 1 A 2 B 3 C Key α β γ Value Key Value Key Value 4 D D 1 A 3 C 5 E 5 E E 2 B 4 D 30

30 ROMA = Key-Value Store (KVS) 応答性能の高いデータストア Key と Value のペアを高速に PUT/GET できる基盤 RDB よりも高速でアクセス方法も単純スケールアウト可能 ROMA サーバを増やせば動的にデータ領域やレスポンス性能が向上障害耐性が高い SET session_id リクエスト GET session_id エンドユーザ Web ( アプリケーション ) サーバ KVS 31

31 ROMA 複数のサーバを使ってデータベースを作るので障害耐性拡張性保守性が高い追加自動切り離し障害発生 32

32 8 月 27 日最近見た宿 (PC モバイル共有 ) 機能 PC モバイル閲覧履歴楽天 ID でデータを共有商品の閲覧履歴を表示エンドユーザの購買活動の動機付けの時間を長くする機能 33

33 今後の展開 TOHO と ROMA を連携させ更なる強力な基盤へと進化利用サービス足跡データを利用したレコメンデーション ROMA にユーザーの足跡 ( 閲覧履歴 ) データを格納レコメンデーションプラットフォーム ROMA 格納データを取得 ROMA とレコメンデーションプラットフォームが連携 MW 仮想化プラットフォーム 34

34 fairy 35

35 fairy = 分散処理フレームワーク分散処理を簡単に実現するミドルウェア複数サーバーで並列処理を高速実行既存プログラムの並列化にも利用可能複数サーバーに散らばったデータを効率よく処理データ変換したり集計したり Ruby の優れた表現力で柔軟な処理 MapReduce 以上の表現力を実現分散環境をほとんど意識しないで拡張性の高い分散処理プログラムを開発可能 36

36 fairy の特徴簡単に複数のマシンを連携した複雑なプログラムを開発することができる分散処理の動き.vf input fairy platform smap input group_by smap master client smap output.vf group_by smap output input group_by smap node input group_by smap input group_by smap smap output smap output smap output 37 28

37 fairy バッチ処理並列化高速化の事例技研事例技研内の試験導入の事例では短期で既存のバッチ処理を並列化高速化 13 倍高速化画像解析処理数十万の画像を解析する処理 fairy を利用し 6 台のサーバーでバッチ処理を並列化既存のプログラムにはほとんど手を加えず並列化する部分のみ処理を追加工数 2 人日 1 ヶ月 2.5 日 FASTER 0 既存プログラム fairy で並列化 38

38 参考分散ストレージアーキテクチャ Load Balancer Gateway Apache Apache Apache Apache Apache Dispatcher Dispatcher Dispatcher Dispatcher Dispatcher Dispatcher < > < > Name Node Cache' Squid [Tran, Access, Bucket] Manager Squid Squid ROMA ROMA ROMA Storage Server Storage Server Storage Server <Data Node> Name Node, 各種情報管理 Storage Server Storage Server Storage Server Storage Server 39

39 利用事例 : レコメンデーション購買データ 2 億件程度 10GB 楽天市場購買データ商品間の類似度データ Hadoop 複数のステップの Map Reduce を行い商品間の類似度を算出 40

40 楽天におけるクラウド的なもの 3 つ従来サービスがそもそもクラウド的 RMS WebAPI Checkout クラウド基盤技術の開発 MW 仮想化基盤 (TOHO ROMA) 社内クラウド基盤の拡大楽天ジャングルイノベーションテストベッドとしてサーバリソース仮想化 41

41 ジャングル自由な開発を行なうことができる社内クラウド誰でも利用可能な自由な開発環境の企画提供技研技術一部データも利用可能パワーシフトイノベーションの醸成実際の利用例学習による自己研鑽新しいサービスの開発社内生産性向上のためのツールのテスト開発 42

42 クラウドの基盤技術は誰でも手に入る各社技術のほとんどは論文が公開されていたりオープンソース優秀な技術者がいれば誰もが大規模分散技術を手にすることが可能 Google MapReduce, GFS, BigTable IBM Object Grid KLAB repcached Yahoo 他 Hadoop, HDFS, hbase Microsoft Velocity, SDS ミクシィ Tokyo Cabinet, Tokyo Tyrant 他 JBoss Cache, Skynet, Starfish Amazon Dynamo Oracle Coherence グリー Flare 43

43 ANIMOTO Amazon EC2 を利用 Facebook のアプリとなり 3 日でユーザー数が 2 万 5000 人 25 万人 Server 50 台 5000 台に増強させていますが EC2 を利用しているがゆえの拡張性 44

44 Questetra 日本発世界で戦うベンチャー Workflow からBPMに至るWeb based service Google App とシームレスに統合 Amazon EC2を利用することにより世界でユーザーを拡大することができた 45

45 Amazon Elastic MapReduce 46

46 よって誰もが巨大知を操る 47

47 フラット化する世界世界はヒエラルキーから平らに企業の時代は終わりグローバルに個人同士がつながる時代へいかに個人の力を引き出させるかが今後の企業の鍵 48

48 Issues & Strategy 49

49 楽天におけるクラウド的なもの 3 つ従来サービスがそもそもクラウド的 RMS WebAPI Checkout クラウド基盤技術の開発 MW 仮想化基盤 (TOHO ROMA) 社内クラウド基盤の拡大楽天ジャングル 50

50 それぞれの中心テーマ法人決済顧客保護日本の商習慣反映 RMS WebAPI Checkout サービスに直結する競争力ある基盤構築 MW 仮想化基盤 (TOHO ROMA) プロビジョニング自動化個人へのパワーシフト楽天ジャングル 51

51 それぞれの中心テーマ法人決済顧客保護日本の商習慣反映 RMS WebAPI Checkout サービスに直結する競争力ある基盤構築 MW 仮想化基盤 (TOHO ROMA) プロビジョニング自動化個人へのパワーシフト楽天ジャングル収益の源泉内部にてクラウドを構築するべきもの 52

52 それぞれの中心テーマ法人決済顧客保護日本の商習慣反映 RMS WebAPI Checkout サービスに直結する競争力ある基盤構築 MW 仮想化基盤 (TOHO ROMA) プロビジョニング自動化個人へのパワーシフト楽天ジャングル今後の競争力の源泉どんな手段でも構築すべきもの 53

53 54

Introduction

Introduction R&D More Than Web - - 3 R&D Vision Fusion Interaction Collaboration 3 6 Client Server Platform Client Server Platform Client Client Server Platform Server Client Server Platform Platform