PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

よしじろうとみもと
5 years ago
Views:

Manager Amazon Redshift July 5, 2017 2017, Amazon

1 Introduction to Amazon Redshift Spectrum Michalis Petropoulos ミカリスピタポリス Senior Software Development Manager Amazon Redshift July 5, , Amazon Web Services, Inc. or its Affiliates. All rights reserved.

2 What is Big Data? 取り扱うデータセットが非常に膨大かつ多様なフォーマットになっているのであれば Innovating を始めることが必要どのように収集蓄積処理加工分析共有を行うのか?

3 ビッグデータの取り扱いにおける課題 Generate AWS ご利用企業では 1 日あたり 1 ペタバイト以上のデータが生成されているケースもあります Collect & Store Analyze Collaborate & Act

4 Amazon S3 にあらゆるデータを収集 & 蓄積 Generate AWS ご利用企業では 1 日あたり 1 ペタバイト以上のデータが生成されているケースもあります Collect & Store Analyze Amazon S3 にペタバイトエクサバイト級のデータを蓄積 Collaborate & Act

5 収集 & 蓄積後どのようにそのデータを分析するのか? Generate AWS ご利用企業では 1 日あたり 1 ペタバイト以上のデータが生成されているケースもあります Collect & Store Analyze Collaborate & Act Amazon S3にペタバイトエクサバイト級のデータを蓄積ここの制約が大きいと分析できないデータが増加していく

6 現在の課題ダークデータ問題生成された多くのデータが分析されない Data データ量 Volume Generated 生成されたデータ Data Available 分析可能なデータ for Analysis 年 Year Sources: Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011 IDC: Worldwide Business Analytics Software Forecast and 2011 Vendor Shares

7 あえて OR で比較すると Amazon EMR Amazon Redshift S3 へのダイレクトアクセス数千ノードへのスケールアウトローカルディスクに対する超高速なパフォーマンス洗練されたクエリー最適化機能オープンなデータフォーマットジョインしやすいデータフォーマットポピュラーなフレームワーク標準 SQL によるクエリー思い付きとコードで何でも可能データウェアハウス用途に最適化

8 だけど自分で選びたくない自分が選ばなきゃいけないなんておかしい全部できるものが欲しい!

9 私が欲しいのは洗練されたクエリー最適化機能 and スケールアウトな処理超高速なパフォーマンス and オープンフォーマットのサポートローカルディスクに対するスループット and S3のスケール

10 全部欲しい! ひとつのデータ処理エンジンからすべてのデータ処理エンジンから自分のデータへアクセスしたい今も未来も

11 Amazon Redshift Spectrum

12 Amazon Redshift Spectrum 大規模スケールアウトの処理層を使い S3 上のデータに対して SQL を実行スケールアウトでエクサバイト級に対応伸縮自在 & 高可用性オンデマンドクエリ毎の費用大規模な同時検索の並列実行複数クラスターから同じデータへアクセス S3 ETL 処理は不要データを移動させずにクエリ SQL フルマネージド標準 SQL をサポート

13 Life of a query JDBC/ODBC 1 クエリーを投入 SELECT COUNT(*) FROM S3.EXT_TABLE GROUP BY Amazon Redshift N... Amazon S3 Exabyte-scale object storage Data Catalog Apache Hive Metastore

14 Life of a query Amazon Redshift JDBC/ODBC 2 クエリーはリーダーノード上でオプティマイズされコンパイルどのデータをローカルストレージから得てどれを Spectrum 層にリクエストするかを決定 N... Amazon S3 Exabyte-scale object storage Data Catalog Apache Hive Metastore

Life of a query JDBC/ODBC Amazon Redshift 3 クエリープランを全コンピュートノードに送信 1 2 3 4 N.

15 Life of a query JDBC/ODBC Amazon Redshift 3 クエリープランを全コンピュートノードに送信 N... Amazon S3 Exabyte-scale object storage Data Catalog Apache Hive Metastore

16 Life of a query JDBC/ODBC Amazon Redshift 4 コンピュートノードは Data Catalog からパーティション情報を取得 (Dynamically prune partitions) N... Amazon S3 Exabyte-scale object storage Data Catalog Apache Hive Metastore

17 Life of a query JDBC/ODBC Amazon Redshift N... 5 各コンピュートノードは Amazon Redshift Spectrum 層に対して複数のリクエストを送信 Amazon S3 Exabyte-scale object storage Data Catalog Apache Hive Metastore

18 Life of a query JDBC/ODBC Amazon Redshift N... 6 Amazon Redshift Spectrum 層のノードが S3 のデータをスキャン Amazon S3 Exabyte-scale object storage Data Catalog Apache Hive Metastore

19 Life of a query JDBC/ODBC Amazon Redshift 7 Amazon Redshift Spectrum 層でデータの射影フィルタジョインアグリゲーションを実行 Amazon S3 Exabyte-scale object storage N... Data Catalog Apache Hive Metastore

20 Life of a query JDBC/ODBC Amazon Redshift 8 Redshift クラスター内でローカルディスク上とのジョインや最終的なアグリゲーションが実行される N... Amazon S3 Exabyte-scale object storage Data Catalog Apache Hive Metastore

21 Life of a query JDBC/ODBC 9 結果がクライアントに戻される Amazon Redshift N... Amazon S3 Exabyte-scale object storage Data Catalog Apache Hive Metastore

22 S3 上のエクサバイト級のデータに対して分析クエリーを投入

23 分析クエリーを作ってみよう - #1 著者は彼女の人気シリーズで 8 冊目の書籍をリリースしていますシアトル地域のために何冊注文すればよいでしょうか? 最初の数日間での販売実績は? 彼女の以前の書籍についてみてみましょう 1 Table 2 Filters SELECT P.ASIN, P.TITLE FROM products P WHERE P.TITLE LIKE %POTTER% AND P.AUTHOR = J. K. Rowling

24 分析クエリーを作ってみよう - #2 著者は彼女の人気シリーズで 8 冊目の本をリリースしていますシアトル地域のために何個注文すればよいでしょうか? 最初の数日間での販売実績は? このシリーズでこれまでに書かれた書籍の売上を計算し上位 20 の値を取得します 2 Tables (1 S3, 1 local) 2 Filters 1 Join 2 Group By columns 1 Order By 1 Limit 1 Aggregation SELECT P.ASIN, P.TITLE, SUM(D.QUANTITY * D.OUR_PRICE) AS SALES_sum FROM s3.d_customer_order_item_details D, products P WHERE D.ASIN = P.ASIN AND P.TITLE LIKE '%Potter%' AND P.AUTHOR = 'J. K. Rowling' GROUP BY P.ASIN, P.TITLE ORDER BY SALES_sum DESC LIMIT 20;

25 分析クエリーを作ってみよう - #3 著者は彼女の人気シリーズで 8 冊目の本をリリースしていますシアトル地域のために何個注文すればよいでしょうか? 最初の数日間での販売実績は? このシリーズでこれまでに書かれた書籍の売上を計算し初版の販売実績に関して最初の 3 日間における上位 20 の値を取得します 3 Tables (1 S3, 2 local) 5 Filters 2 Joins 3 Group By columns 1 Order By 1 Limit 1 Aggregation 1 Function 2 Casts SELECT P.ASIN, P.TITLE, P.RELEASE_DATE, SUM(D.QUANTITY * D.OUR_PRICE) AS SALES_sum FROM s3.d_customer_order_item_details D, asin_attributes A, products P WHERE D.ASIN = P.ASIN AND P.ASIN = A.ASIN AND A.EDITION LIKE '%FIRST%' AND P.TITLE LIKE '%Potter%' AND P.AUTHOR = 'J. K. Rowling' AND D.ORDER_DAY :: DATE >= P.RELEASE_DATE AND D.ORDER_DAY :: DATE < dateadd(day, 3, P.RELEASE_DATE) GROUP BY P.ASIN, P.TITLE, P.RELEASE_DATE ORDER BY SALES_sum DESC LIMIT 20;

26 分析クエリーを作ってみよう - #4 著者は彼女の人気シリーズで 8 冊目の本をリリースしていますシアトル地域のために何個注文すればよいでしょうか? 最初の数日間での販売実績は? このシリーズでこれまでに書かれた書籍の売上を計算し米国ワシントン州シアトル市における初版の販売実績に関して最初の 3 日間における上位 20 の値を取得します 4 Tables (1 S3, 3 local) 8 Filters 3 Joins 4 Group By columns 1 Order By 1 Limit 1 Aggregation 1 Function 2 Casts SELECT P.ASIN, P.TITLE, R.POSTAL_CODE, P.RELEASE_DATE, SUM(D.QUANTITY * D.OUR_PRICE) AS SALES_sum FROM s3.d_customer_order_item_details D, asin_attributes A, products P, regions R WHERE D.ASIN = P.ASIN AND P.ASIN = A.ASIN AND D.REGION_ID = R.REGION_ID AND A.EDITION LIKE '%FIRST%' AND P.TITLE LIKE '%Potter%' AND P.AUTHOR = 'J. K. Rowling' AND R.COUNTRY_CODE = US AND R.CITY = Seattle AND R.STATE = WA AND D.ORDER_DAY :: DATE >= P.RELEASE_DATE AND D.ORDER_DAY :: DATE < dateadd(day, 3, P.RELEASE_DATE) GROUP BY P.ASIN, P.TITLE, R.POSTAL_CODE, P.RELEASE_DATE ORDER BY SALES_sum DESC LIMIT 20;

S3 上のエクサバイト級のデータに対して分析クエリーを投入日次カスタマーアイテムオーダー詳細レコード : 約 140TB/ 日 ( 過去 20 年間分 ) S3 上の 15,000 のパーティション 1 億 9,000 万ファイル (1 パーティション :1 日あたりの米国およびその他の地域 ) 処理されるデータの 10 億倍規模の削減が必要 1000 ノードの Hive

27 S3 上のエクサバイト級のデータに対して分析クエリーを投入日次カスタマーアイテムオーダー詳細レコード : 約 140TB/ 日 ( 過去 20 年間分 ) S3 上の 15,000 のパーティション 1 億 9,000 万ファイル (1 パーティション :1 日あたりの米国およびその他の地域 ) 処理されるデータの 10 億倍規模の削減が必要 1000 ノードの Hive クラスタを使用してこのクエリを実行すると 5 年以上かかる * Compression 5X Columnar file format..10x Scanning with 2500 nodes..2500x Static partition elimination..2x Dynamic partition elimination...350x Redshift s query optimizer 40X Total reduction...3.5b X * 20 ノードの Hive クラスタ /1.4TB を使用して試算 ( リニアにスケールと想定 ) * クエリは 20 ノード dc1.8xlarge の Amazon Redshift クラスタを使用 * 実際の販売データではなく Amazon Retail で使用されるデータフォーマットに基づいてこのデモ用に生成

28 Amazon Redshift Spectrum: 高速な処理 Amazon Redshiftのコストベースオプティマイザを活用述部をプッシュダウンしアグリゲーションやジョインを削減 Dynamic partition elimination により処理対象データを削減 S3データへのクエリ実行を自動的にパラレル化 Amazon Redshiftクラスター内での効率的なジョイン処理

29 Amazon Redshift Spectrum: 高い費用対効果 Amazon Redshift クラスターの料金 + S3 データの 1TB スキャンあたり $5 各クエリは 1000 台もの Spectrum 層コンピュートノードのパワーを活用課金対象となるスキャンデータ容量の削減およびクエリーパフォーマンスの向上が可能パーティションカラムナフォーマットデータの圧縮

30 Amazon Redshift Spectrum: セキュア End-to-end SSE と AWS KMS を利用し S3 上のデータを暗号化すべての API コールは AWS CloudTrail にて記録 data encryption KMS AWS CloudHSM またはオンプレミスの HSM を使用し Amazon Redshift 上のデータをすべて暗号化 Audit logging すべての SQL ステートメントは Amazon Redshift に記録 ECDHE を使用した完全な先行暗号化で SSL を実行 Virtual private cloud Amazon Redshift リーダーノードコンピュートノードおよびスペクトラムノードは VPC 内に配置 State 保存は無し Certifications & compliance SOC1/2/3 HIPAA/BAA Alerts & notifications イベント特有の通知を電子メールテキストメッセージまたは Amazon SNS にて連携 FedRAMP PCI/DSS

31 Amazon Redshift Spectrum: 標準 SQL Redshift Spectrum は既存の SQL や BI アプリケーションとシームレスに連携複雑なジョインネストクエリーウィンドウ関数をサポート任意のキーで S3 上のパーティションをサポート Date, Time and any other custom keys e.g., Year, Month, Day, Hour

32 外部スキーマの定義とテーブルの作成 Amazon Athena データカタログまたは独自の Apache Hive Metastore を使用して Amazon Redshift で外部スキーマを定義 CREATE EXTERNAL SCHEMA <schema_name> 右記にて外部データへクエリー <schema_name>.<table_name> Athena Hive Metastore クライアントまたは Amazon Redshift CREATE EXTERNAL TABLE syntax を使用して外部テーブルを登録 CREATE EXTERNAL TABLE <table_name> [PARTITIONED BY <column_name, data_type, >] STORED AS file_format LOCATION s3_location [TABLE PROPERTIES property_name=property_value, ];

33 Amazon Redshift Spectrum サポート対象ファイルフォーマット圧縮暗号化 Parquet CSV Sequence RCFile Avro (coming soon) ORC (coming soon) RegEx/Grok (coming soon) Gzip Snappy Lzo (coming soon) Bz2 SSE with AES256 SSE KMS with default key カラム Numeric: soon)) bigint, int, smallint, float, double and decimal Char/varchar/string Timestamp Boolean DATE type can be used only as a partitioning key テーブル Non-partitioned table (s3://mybucket/orders/..) Partitioned table (s3://mybucket/orders/date=yyyy-mm- DD/..)

34 Amazon EMR を活用した Parquet および ORC への変換 You can use Hive CREATE TABLE AS SELECT to convert data CREATE TABLE data_converted STORED AS PARQUET AS SELECT col_1, col2, col3 FROM data_source Or use Spark - 20 lines of Pyspark code, running on Amazon EMR 1TB of text data reduced to 130 GB in Parquet format with snappy compression Total cost of EMR job to do this: $5

35 エクサバイト級のデータが無い場合でも Amazon Redshift Spectrum は便利? データ容量は増え続けます平均的に DWH おけるデータ量は 5 年ごとに 10 倍に増加 Amazon Redshift をご利用のお客さまにおいては平均 1 年ごとに 2 倍のペースで増加 Amazon Redshift Spectrum はデータ分析をよりシンプルにします ETL パイプライン無くデータへアクセス可能 Amazon EMR Athena Redshift を利用しているチーム間で同じデータレイク ( データ ) を活用可能 Amazon Redshift Spectrum により可用性および同時検索実行性が向上します共通のデータに対して複数の Amazon Redshift クラスターがアクセス可能厳しい SLA が求められるジョブをアドホッククエリーから隔離可能

36 The Emerging Analytics Architecture ストレージ Amazon S3 Exabyte-scale Object Storage AWS Glue Data Catalog Hive-compatible Metastore サーバーレスコンピュート Amazon Kinesis Firehose Real-Time Data Streaming AWS Glue ETL & Data Catalog Amazon Redshift Spectrum AWS Lambda Exabyte scale Trigger-based Code Execution データ処理加工 Amazon EMR Managed Hadoop Applications Amazon Redshift Petabyte-scale Data Warehousing Amazon Athena Athena Interactive Query

37 20 を超えるお客さまに Amazon Redshift Spectrum プレビューにご参加いただきフィードバックを頂きました!

38 Thank you! Questions?

PowerPoint Presentation

PowerPoint Presentation AWS AWS AWS AWS AWS AWS AWS オンプレミスデータセンター AWS Storage Gateway Amazon Kinesis Firehose EFS File Sync S3 Transfer Acceleration AWS Direct Connect Amazon Macie AWS QuickSight AWS Lambda AWS CloudFormation