AWS Deck Template

Transcription

1 ビッグデータの 3 つの V と 4 つのプロセスを支える AWS 活用法 アマゾンデータサービスジャパンソリューションアーキテクト大谷晋平 (ohtani@amazon.co.jp)

2 WIFI およびハッシュタグ WiFi access Network:awssummit Password:awstokyo # hashtag #AWSTokyo

3 自己紹介 大谷晋平 ( おおたにしんぺい ) アマゾンデータサービスジャパン お客様が AWS クラウドを最適に使えるように お手伝いをするお仕事をしています ソリューションアーキテクト ソーシャルネットワーク ( 連絡先 ) Facebook: facebook.com/shot6 Mail: ohtani@amazon.co.jp

4 自己紹介 ( 続き ) 経歴 金融エンジニア ITアーキテクト ソリューションアーキテクト ( イマココ) 執筆

5 アジェンダ AWSのおさらいビッグデータとは何か? 事例に学ぶビッグデータ活用ビッグデータアーキテクチャまとめ

6 AWS のおさらい

7

8 ビッグデータとは 何か?

9 amazon.co.jp, today

10 amazon.co.jp, today

11 ビッグデータ?

12 ビッグデータ = データ量??

13 ビッグデータ =3 つの V

14 1 つ目の V Volume ( データ量 )

15 そもそもデータ量はなぜ増えるか? デバイス数の増加 高機能化 パーソナライゼーション 各ユーザ毎の動向 リコメンデーション ビジネスメトリクスの確保 低価格 Web ストレージの出現 桁違いの量の補完が実現可能に

16 ビッグデータの成長速度 そもそもコンシューマが扱うデバイスの大容量化 2012 年で 2.7 ゼタバイトのデータ (PB の上 ) そのほとんどが構造化されていないデータ

17 ビッグデータを支える Amazon S3 リージョン S3 S3 データを自動複製 1 S3 サーバ データは3つ以上のデータセンターに自動複製設計上のデータ耐久性は % 容量は無制限で従量課金 初期費用ゼロ 約 11 円 /GB スタート Web サイトホスティングも可能に

18 Amazon S3のコンセプト 堅牢 高速 常時利用可能 スケーラブル 安全 安心 シンプル EASY! 従量課金 低価格

19 2 つ目の V Velocity ( データ到達速度 )

20 エンドユーザはデバイスの多様化 高機能化によって あらゆるシーンにおいて IT を利用 マシンが直接生成するデータも増加 = データの生成速度があがった = データがビジネスのライフライン

21 Velocity AmazonのWebサーバ移行 あらゆるデバイスからの膨大なリクエスト EC2+オートスケールで自在にスケール Amazon.com AWS アベイラビリティゾーンA Load Balancer EC2 www 1 EC2 www n 他サービス VPC DB アベイラビリティゾーンN EC2 www 1 EC2 www n

22 3 つ目の V Variety ( データの種類 )

23

24 Variety への対応 DynamoDB テーブル : 発注データ リレーショナル DB: 顧客マスターデータ リレーショナル DB: ターゲット情報の抽出

25 Variety への対応 (2) DynamoDB テーブル : 発注データ リレーショナル DB: 顧客マスターデータ S3 上のクリックログデータ サードパーティ製品で抽出したソーシャルメディアのデータ リレーショナル DB: ターゲット情報の抽出

26 Variety への対応 (3) S3 に週次レポートを抽出 s3://weekly-trend-data/ CSV 形式 S3 に月次レポートを抽出 s3://weekly-trend-data/ CSV 形式

27 事実 :AWS ではビッグデータに対応する様々なインフラストラクチャサービスを展開しています Dynamo DB S3 RDS EMR のクラスタ EC2 上のデータウェアハウス サードパーティのデータセット インフラやアプリケーション監視

28 BIG DATA 4つのプロセス 1. 収集 2. 保存 3. 分析 4. 共有

29 AWS を使うとシンプルに実現可能 Glacier S3 分析クラスタ EC2 Dynamo DB RDS Amazon EMR EC2+BI データ収集 データ保存 データ解析 結果の共有 ビジュアライズ

30 データサイズ 構造との AWS サービス対応 大きい 構造化 データ構造 非構造化 S3 Glacier データサイズ 小さい RDS EMR Dynamo DB データサイズ 構造によらず AWSクラウドでは幅広くカバーできる

31 事例に学ぶ ビッグデータ活用

32 リクルート様

33 リクルート様の課題 Suumo でのビジネスニーズの追及 ユーザの行動分析をすぐにやりたい 利用者 800 万ユニークユーザ ユーザへのレコメンドもすぐにやりたい スピード最優先で進めたい

34 ソリューション EMR+S3で分析基盤を構築 AWSクラウド オンプレミス 一部クラウド ログ転送 基礎データ 分析環境 モジュール モジュール モジュール レコメンド アプリケーション 施策環境

35 リクルート様での効果 物件情報のリコメンド この物件見た方はこちらも見ています RDBMSで構築した場合 1 日以上 EMRで30 分 Web サイトでのユーザ行動分析 統計専門家がすぐ開始 リードタイムの劇的短縮 ターゲッティングメルマガコンバージョン数集計 月次集計おすすめメンバのリコメンド

36 Sonet 様

37 Sonet 様の課題 広告分析基盤の構築 データ量は増え続ける 初期費用がかかりすぎる データ量が増えても スケールさせたい人材は自社メンバだけでやりたい

38 ソリューション : S3+EMR+SQS と SFDC の連携 AWS+SalesForce のクラウド連携 SFDC は表示部分のみ AWS はビッグデータ処理部分全て

39 Sonet 様での効果 広告配信ログの分析 1 日平均 10GB 年間 3.65TB 以上 1 年分 5TBをS3アップロードしてEMRで解析 コスト効果 オンプレミス試算 : 初期費用で数千万円単位 AWSの価格 : 毎月 50 万円 ( 年間 600 万円 ) 価格差は 20 分の 1 EC2 スポットインスタンスで アドホック分析 更にコストを 50% 削減

40 アンデルセンサービス様

41 アンデルセンサービス様の課題 原材料からの原価計算バッチが 4 時間かかっている BOM 展開 原価積み上げ 組み合わせ爆発 原価計算をもっと頻度高く行いたい 想定データではなく 実際の数字で 何回も実施し 原価への影響をみたい

42 ソリューション: VPC上での原価計算バッチ処理 原価計算バッチ環境(EC2) EMRに移行し より簡単に利用しやすく Hadoop 監視 Master Hadoop Slave EMR Hadoopでバッチ処理して 終了後クラスタは停止する VPN経由で データ送信 バッチサーバ 基幹DB VPN ユーザ

43 アンデルセンサービス様での効果 夜間バッチからの解放 業務変革 データ量は多くないが 組み合わせが膨大 時間的制約からの解放より新しいチャレンジへ運用コストの大幅削減既存データベースの負荷軽減

44 アンデルセンサービス様での効果 実行時間が大幅短縮 何度も試行可能に 4 時間 20 分 Cluster の起動データの転送原価計算 データの受信 Cluster の停止 バッチ処理時間

45 Netflix 様

46 2500 万人以上のストリーミング会員

47 500 億以上のイベント

48 Netflix 様の課題 複数の箇所で発生するフォーマットのデータを受けきるデータハブの構築 大量に発生するイベントデータの処理 複数の分析方法でどれが良いかをもっと安価に試したい

49 Netflix 様の課題 複数の箇所で発生するフォーマットのデータを受けきるデータハブの構築 大量に発生するイベントデータの処理 複数の分析方法でどれが良いかをもっと安価に試したい

50 Netflix様でのデータ収集 Netflix Web Services (Honu) S3 1日に8TBのイベントデータを収集

51 S3 レガシーデータ Data Center オンプレミスデータセンターからのレガシーデータも S3 へアップロード DWH RDBMS Netflix Data Center

52 NoSQL データベース上の顧客データも S3 へエクスポート DWH RDBMS

53 事実 :Netflix では 1PB 以上のデータを Amazon S3 に保存しています S3

54 Netflix 様の課題 複数の箇所で発生するフォーマットのデータを受けきるデータハブの構築 大量に発生するイベントデータの処理 複数の分析方法でどれが良いかをもっと安価に試したい

55 Netflix様でのデータ解析 S3 Prod Cluster EMRクラスタ (EMR) EMR HDFS EMRを活用して データはすべてS3から提供

56 Netflix様でのデータ解析 S3 Prod Cluster EMRクラスタ (EMR) EMR 結果はS3へ書き戻す HDFS

57 Netflix様でのデータ解析 リコメンデーション S3 アドホック 分析 パーソナライゼーション Prod Cluster EMRクラスタ (EMR) EMR EMRで生成したデータは 様々な用途で利用

58 EMR クラスタのリサイズ Netflix では土日の夜がピーク EMR はクラスタのサイズが変更可能 ジョブの再起動なしに ピークに合わせて300から 400ノード以上に変更 Job Flow Job Flow Job Flow 平日 平日夜 土日夜

59 Netflix 様の課題 複数の箇所で発生するフォーマットのデータを受けきるデータハブの構築 大量に発生するイベントデータの処理 複数の分析方法でどれが良いかをもっと安価に試したい

60 Netflix本番クラスタ構成 Prod Cluster 本番クラスタ (EMR) S3 EMR アドホック Query Cluster 分析用 (EMR) EMR

61 各分析毎にクラスタを構築できる Prod Cluster (EMR) 本番クラスタ S3 EMR 各分析毎にクラスタ Query Cluster (を柔軟に構築 EMR) EMR EMR EMR EMR

62 Yelp 様の事例

63 スペルミスの自動修正 検索ワードの自動補完 リコメンデーション

64 どこで AWS クラウドが動いているか? 必要なデータ スペルミスの自動修正 月間のユーザ毎の履歴 一般的な間違いのデータ Westen Wistin Westan Whestin

65 YelpのWebサイトログは全てS3で保管 Amazon S3 月間のユーザ検索データ 検索用語 ミススペルデータ クリックデータ

66 Elastic MapReduce で 200 ノードの Hadoop クラスターを起動 Amazon S3 Hadoop Cluster Amazon EMR

67 200 ノードのクラスタ同時に 一般的なスペルミスを検索する Amazon S3 Hadoop Cluster Westen Wistin Westan Amazon EMR 検索 解析は数時間で処理される

68 検索した一般的なスペルミスは再度 S3 上でデータ保存し アプリケーションから利用する Amazon S3 Hadoop Cluster Westen Wistin Westan Amazon EMR 検索 解析は数時間で処理される

69 EMR クラスターは処理完了後シャットダウン Yelp は利用した分のみの支払い Amazon S3 Hadoop Cluster Amazon EMR

70 での効果 Yelp のエンジニアで ビッグデータ処理は日常になった いつでも 好きな時に 制限なく利用可能 1 日 400GB のログは S3 に保存 月間 5000 万 PV 1800 万レビューデータ データを捨てる必要もない 毎週平均 250 台のクラスターを利用

71 ビッグデータ アーキテクチャ

72 標準的なアーキテクチャ SQS や他ミドルウェア データの収集 データの保存 ログを蓄積 Amazon S3 データの共有 分析結果 ELB Web/AP サーバ Amazon EC2 ワーカー データの分析 Hadoop クラスタ EMR

73 BI ツールとの連携アーキテクチャ アナリスト EMR S3 Karmasphere Analyst BI ツールで GUI で利用 VPN 経由 Oracle RDS 外部の広告データなどをエクスポート エンジニア SQL でそのまま利用

74 データ中心アーキテクチャ データを中心にコンピュート処理は データ集約 変換 S3 データ可視化レポーティング 柔軟に状況に応じて 処理の仕方 量を変動させる =クラウドがベストフィット 高速バッチ処理 ビッグデータ処理部分は いつでも実施可能 いつでもリサイズ可能 いつでも複製可能 揮発 長期どちらも可能 パーソナライゼーションリコメンデーション

75 まとめ

76 ビジネス編まとめ AWS クラウド x ビッグデータ = 革新 3つのV(Volume, Velocity, Variety) 4つのプロセス ( 収集 保存 分析 共有 ) AWSクラウドがベストフィット 従量課金 低コスト スケール ビッグデータ処理自体も普及期へ バズワードからの脱却

77 技術編まとめ 3 つの V(Volume, Velocity, Variety) Volume:S3 のスケーラビリティ Velocity:EC2+AutoScaling Variety:S3 RDS DynamoDB 4 つのプロセス ( 収集 保存 分析 共有 ) AWS では 4 プロセスを全方位カバー S3 EC2 EMR RDS 等 柔軟に選択可能ビッグデータ処理のアーキテクチャが 確立しつつある

78 次のアクションは? AWS の始め方 AWS クラウドサービス活用 お問い合わせ まで

79 ビッグデータビジネスでぜひAWSクラウドをご活用ください! Meet the SAコーナーでお待ちしています質問 疑問等ありましたらお気軽にどうぞ!

80 ご静聴ありがとう ございました!