Speed matters - Amazon Kinesis が実現するストリーミングデータのリアルタイム分析

Transcription

1 ストリーミングデータのリアルタイム分析 Kinesis とは? Roger Barga, General Manager, Kinesis, Web Services, Inc. Roy Ben-Alta, Principal Business Development Manager, Web Services, Inc 年 6 月 1 日 2017, Web Services, Inc. or its Affiliates. All rights reserved.

2 本セッションのアジェンダ ストリーミングデータのリアルタイム分析 なぜ 今? Kinesis の概要 新機能 ( ロードマップ ) ベストプラクティスと顧客事例 ライブデモ Selfie ストリームダッシュボード まとめ

3 ほとんどのデータは持続的に生成される [Wed Oct 11 14:32: ] [error] [client ] client denied by server configuration: /export/home/live/ap/htdo cs/test モバイルアプリケーション Web クリックストリーム アプリケーションログ メーターリングレコード IoT センサー スマートビルディング

4 あなたの意思決定のレイテンシーは? それとも

5 データの価値は時間の経過とともに減少する 新しいデータほど意思決定における価値が高い 遅滞なくアクションが起こせるのであれば Perishable Insights (M. Gualtieri, Forrester) 新しいデータと古いデータを組み合わせれば より価値があるデータとなる 両方を組み合わせる方法があれば

6 リアルタイムのストリーミングデータ処理 収集変換分析 アクショ ン 蓄積 主要な要件は? 耐久性 継続性 高速 正確性 反応性 信頼性

7 各業界におけるストリーミングデータの活用シナリオ シナリオ / 業界 加速された収集 - 変換 - ロード 継続的なメトリック集計 機械学習すぐに使える洞察 デジタル広告テクノロジー / マーケティング 出版社 入札者データ集約 カバレッジ イールド 購買率など広告のメトリクス 広告へのユーザーエンゲイジメント 最適化された入札 購買エンジン IoT センサー デバイステレメトリデータ収集 操作メトリクスダッシュボード デバイス操作のインテリジェンスとアラート ゲーム オンラインデータ集計 ( 例 : トップ 10 プレイヤー ) 超多重オンラインゲーム (MMOG) ライブダッシュボード リーダーボードの構築 プレイヤーのスキルマッチング コンシューマーオンライン クリックストリーム分析 インプレッションやページビューなどのメトリクス レコメンデーションエンジン プロアクティブな対応 オペレーションセキュリティ DevOps ツール VPCFlowLogs 取込 CloudwatchLogs 購読 リアルタイムログ分析 異常検知

8 Kinesis Kinesis Streams Kinesis Analytics Kinesis Firehose Platform for streaming data on AWS

9 Kinesis Kinesis Streams Kinesis Analytics Kinesis Firehose Capture Process Deliver

10 Kinesis Kinesis Streams For Technical Developers カスタムアプリを自身で構築 ストリーミングデータを処理 分析 Kinesis Analytics Process Kinesis Firehose Deliver

11 Kinesis Kinesis Streams For Technical Developers カスタムアプリを自身で構築 ストリーミングデータを処理 分析 Kinesis Analytics For All Developers, Data Scientists, Business Analysts 標準 SQL クエリでストリーミングデータを簡単に分析 Kinesis Firehose Deliver

12 Kinesis Kinesis Streams For Technical Developers カスタムアプリを自身で構築 ストリーミングデータを処理 分析 Kinesis Analytics For All Developers, Data Scientists, Business Analysts 標準 SQL クエリでストリーミングデータを簡単に分析 Kinesis Firehose For All Developers S3 Redshift Elasticsearch に大量のストリーミングデータを簡単にロード また Lambda 連携によるデータ整形

13 Kinesis 代表的な導入事例 毎秒 200 万以上のネットワークイベントデータを取集 接続されたデバイスから毎週 10 億ものイベントデータを収集 (IoT) シーズンあたり 17 PB のゲームデータを収集 ( エンターテインメント ) 1 日あたり 800 億の広告インプレッションを収集 レスポンスタイムは 30 ミリ秒 ( アドテク ) 250 以上のサイトから 1 日あたり 100 GB のクリックストリームデータを収集 ( エンタープライズ ) 1 日あたり 500 億の広告インプレッションを収集 レスポンスタイムは約 50 ミリ秒 ( アドテク ) 1 日あたり 1,000 万のイベント ( リテール ) 全てのプロダクションイベントを Kinesis で収集

14 なぜお客様が Kinesis を選んでいるのか? 低コスト より俊敏 簡単かつ高性能 セキュアかつわかり易い 伸縮自在 プラグ & プレイ

15 Kinesis Streams 独自のデータストリーミングアプリケーションを構築 容易な管理 : 新しいストリームを簡単に構築 シャード数を指定することで データスループットレートとボリュームを調整可能 リアルタイムアプリケーションを構築 : Kinesis Client Library (KCL), Kinesis Analytics, Apache Spark/Storm, AWS Lambda 等を使用してストリーミングのビックデータを連続処理 低コスト : あらゆるスケールのワークロードで高いコスト効率を実現

16 Kinesis Stream データをキャプチャし 格納する管理能力 シャードで構成されたストリーム 各シャードのデータ取込みは 最大 1MB/ 秒 & 1000 TPS 各シャードのデータ出力は最大 2MB/ 秒 データ保持は 最大 24 X 7 まで拡張可 シャードの分割 統合で Kinesis streams をスケーリング 24 X 7( 最大保持期限 ) でデータを 時間をもとに検索 再利用可能

17 Kinesis Stream の料金シンプル 従量課金制 前払金なし ディメンション 料金 シャード時間 $0.015 PUT ペイロードユニット (1,000,000 ユニット毎 ) 拡張データ保持期限 ( 最長 7 日間 ) シャード時間ごと $0.014 $0.020 上記価格は米国東部 ( バージニア北部 / オハイオ ) 米国西部 ( オレゴン ) の価格となります

18 各業界におけるストリーミングデータの活用シナリオ シナリオ / 業界 加速された収集 - 変換 - ロード 継続的なメトリック集計 機械学習すぐに使える洞察 デジタル広告テクノロジー / マーケティング 出版社 入札者データ集約 カバレッジ イールド 購買率など広告のメトリクス 広告へのユーザーエンゲイジメント 最適化された入札 購買エンジン IoT センサー デバイステレメトリデータ収集 操作メトリクスダッシュボード デバイス操作のインテリジェンスとアラート ゲーム オンラインデータ集計 ( 例 : トップ 10 プレイヤー ) 超多重オンラインゲーム (MMOG) ライブダッシュボード リーダーボードの構築 プレイヤーのスキルマッチング コンシューマーオンライン クリックストリーム分析 インプレッションやページビューなどのメトリクス レコメンデーションエンジン プロアクティブな対応 オペレーションセキュリティ DevOps ツール VPCFlowLogs 取込 CloudwatchLogs 購読 リアルタイムログ分析 異常検知

19 Kinesis Firehose S3 Redshift Elasticsearchに大容量ストリーミングデータをロード ストリーミングデータを キャプチャ 送信 Firehose は S3 Redshift Elasticsearchにストリーミングデータを連続ロード お好きな BI ツールで ストリーミングデータ を分析 管理不要: アプリケーションの書き込みやインフラ管理なしで ストリーミングデータをキャプチャし S3, Redshift その他の送信先に配信 直接データを保存 統合:わずか60秒の簡単な設定で ストリーミングデータをバッチ処理 圧縮 暗号化し データ送信先に配信 伸縮自在: データスループットにあわせてスケーリング AWS Lambda活用したサーバーレスETL - FirehoseからLambdaをキックして受信するソースデータを 変換可能

20 IT アプリログ デバイス センサーデータ等をキャプチャ既存のツールでリアルタイムに近い分析が可能に AWS プラットフォーム SDKs モバイル SDKs Kinesis Agent AWS IoT IT インフラ モバイル機器 センサー等からデータ送信 AWS SDK エージェント AWS IoT と統合 Kinesis Firehose ストリーミングデータをキャプチャする完全なマネージドサービス リソースのプロビジョニングなしに伸縮自在 従量課金制 : 2.9 セント / GB 転送 ロード前にバッチ処理 圧縮 暗号化 コピーコマンドで Redshift テーブルにデータをロード Elasticsearch S3 Redshift

21 Kinesis Firehose 料金シンプル 従量課金制 前払金なし ディメンション 料金 取り込みデータ 1 GB あたり $ *$0.020 *Tier 料金 上記価格は米国東部 ( バージニア北部 ) 米国西部 ( オレゴン ) の価格となります

22 Kinesis Firehose それとも Kinesis Streams?

23 Kinesis Firehose vs Kinesis Streams Kinesis Streams は カスタム処理が必要 受信レコードあたり 約 1 秒の処理レイテンシー ストリーム処理フレームワークは選択可能 Kinesis Firehose は 管理不要 S3 Redshift Elasticsearch をベースとした既存アナリティクスを使用可能 60 秒 + のレイテンシー

24 各業界におけるストリーミングデータの活用シナリオ シナリオ / 業界 加速された収集 - 変換 - ロード 継続的なメトリック集計 機械学習すぐに使える洞察 デジタル広告テクノロジー / マーケティング 出版社 入札者データ集約 カバレッジ イールド 購買率など広告のメトリクス 広告へのユーザーエンゲイジメント 最適化された入札 購買エンジン IoT センサー デバイステレメトリデータ収集 操作メトリクスダッシュボード デバイス操作のインテリジェンスとアラート ゲーム オンラインデータ集計 ( 例 : トップ 10 プレイヤー ) 超多重オンラインゲーム (MMOG) ライブダッシュボード リーダーボードの構築 プレイヤーのスキルマッチング コンシューマーオンライン クリックストリーム分析 インプレッションやページビューなどのメトリクス レコメンデーションエンジン プロアクティブな対応 オペレーションセキュリティ DevOps ツール VPCFlowLogs 取込 CloudwatchLogs 購読 リアルタイムログ分析 異常検知

25 Kinesis Analytics Connect to Kinesis streams, Firehose delivery streams Run standard SQL queries against data streams Kinesis Analytics can send processed data to analytics tools so you can create alerts and respond in real-time ストリームに標準SQLクエリを適用: Kinesis Stream Firehose Delivery Stream に容易に接続 SQL スキルを活用可能 リアルタイムアプリケーション構築: ストリーミングビックデータの連続処理 を実行 約1秒の処理レイテンシー 容易な伸縮性: データスループットに合わせて伸縮自在にスケーリング

26 リアルタイムアプリケーションの構築に SQL を使用 ストリーミングソースに接続 ストリーミングコードを処理する SQL を容易に書き込み 継続的な SQL 結果の配信

27 Coming Soon

28 Kinesis Streams 今後リリース予定の新機能 VPCe Encryption at Rest

29 Kinesis Firehose 今後リリース予定の新機能 VPCe: RedShift ElasticSearch Parquet Format Kafka Connector AWS Regions Asia Pacific Tokyo, July 2017

30 Kinesis Analytics 今後リリース予定の新機能 Lambda Integration QuickSight Destination Improved Auto-scaling

31 ベストプラクティスと 顧客事例

32 事例 1 秒あたり 1 億イベントを処理

33 Kinesis のジャーニー AWS メーターリングサービス 1 秒あたり何億もの請求書レコード 1 時間あたりテラバイト ++ 何十万ものソース 各お客様向けに : 全メーターリングレコードを収集し 月次請求書を計算 監査人は月末に 100% の正確性を保証 バッチを走らせても全く問題ないとも思えるが リアルタイムのプレッシャーは大きい データウェアハウスへのローディング 毎日数千の ETL(extract-transform-load ) ジョブ ロードサイクルあたり数十万のファイル 数千のデイリーユーザー 1 時間あたり 数百のクエリ 要求の厳しいリアルタイムの洞察

34 我々のジャーニー AWS メータリングサービス 1 秒あたり何億もの請求書レコード 1 時間あたり Terabytes ++ 何十万ものソース 各お客様向けに : 全メーターリングレコードを収集し 月次請求書を計算 監査人は月末に 100% の正確性を保証 その他のサービスチーム 同様の要件 CloudWatch ログおよび CloudWatch Metrics CloudFront API logging 社内データセンターハードウェアメトリクスを つかみ取る

35 Kinesis でデータの価値をすべて捉える 収集加工レスポンス蓄積 Kinesis Streams Kinesis 対応アプリ QuickSight S3 Kinesis Firehose Kinesis Analytics AWS Lambda Redshift 0 ミリ秒 200 ミリ秒 1-2 秒

36 サーバーレスアナレティクス ゼロオペコストで可能に 収集 ストリーミング ETL 蓄積 分析 Kinesis Firehose AWS Lambda S3 Athena Kinesis Streams Kinesis Analytics Redshift Elasticsearch Redshift Spectrum 0 ミリ秒秒 < 5 分

37 Demo

38 Demo: リアルタイムダッシュボード amzn.to/takepicture

39 全体のアーキテクチャー Cognito Rekognition SELECT STREAM COUNT(*) AS MUSTACH_COUNT, STEP(ROWTIME BY INTERVAL '1' SECOND) FROM SOURCE_STREAM WHERE HAS_MUSTACH = TRUE; JavaScript SDK Kinesis Stream Kinesis Analytics Kinesis Stream Lambda DynamoDB S3 Kinesis Firehose S3

40 Kinesis Firehose にデータを入れる AWS SDK PutRecord() PutRecordBatch() Kinesis Agent ファイルを監視し 新しいデータレコードを配信ストリームに送信 ファイルのロテーション チェックポイント 失敗時の再試行を処理 フォーマット変換 ログ分析等の前処理 モニタリングやトラブルシューティングの AWS CloudWatch メトリクスを出力

41 Kinesis Data Generator on GitHub

42 EMR との統合の一般的パターンタンブリングウィンドウレポート ストリーミング入力 Kinesis Streams タンブリング / 固定ウィンドウアグリゲーション 定期的な出力 EMR EMR からコピー Redshift

43 Kinesis Firehose から S3 データソース ソースレコード Firehose 配信ストリーム 変換されたレコード 送信先 S3 バケット 変換失敗 バックアップ S3 バケット ソースレコード

44 Kinesis Firehose から Redshift データソース ソースレコード Firehose 配信ストリーム 変換されたレコード 変換失敗 配信失敗 中間 S3 バケット 変換されたレコード Redshift cluster ソースレコード バックアップ S3 バケット

45 Kinesis Firehose から Elasticsearch データソース ソースレコード Firehose 配信ストリーム 変換されたレコード Elasticsearch cluster 変換失敗 配信失敗 バックアップ S3 バケット ソースレコード

46 Kinesis Streams と AWS Lambda

47 Kinesis AWS Lambda EMR でユーザーストリーミングパイプラインを構築

48 顧客事例

49 Kinesis Customer Base Diversity Kinesis as Databus - Migrate from Kafka to Kinesis Enterprise 1 billion events/wk from connected devices IoT 17 PB of game data per season Entertainment 80 billion ad impressions/day, 30 ms response time Ad Tech 100 GB/day click streams from 250+ sites Enterprise 50 billion ad impressions/day sub-50 ms responses Ad Tech 10 million events/day Retail Funnel all production events Netflix がKinesis Streamsを使用してどのようにリアル through Kinesis タイムで何十億ものネットワークトラフィックフローを分析しているか

50 Kaiten Sushiro Story

51 回転寿司スシロー 回転寿司チェーン店 店舗運営改善のため スシローでは回転寿司システムからセンサーデータを直接 Kinesis に収集している

52 回転寿司スシローのデータフロー

53 まとめ Kinesis が提供するもの : アプリケーション構築 ストリーミングデータ取込み 継続的処理を実行するマネージドサービス Producer Library を使用してアグリゲーションデータを取込み Connector Library とオープンソースコネクターを使用してデータ処理 パーティションキーのストラテジーを決定 Kinesis を でトライ Building Streaming Analytics Pipeline

54 Thank you!