A bridge to the Cloud Damien Contreras ダミアン コントレラ Customer Engineer Specialist, Data Analytics, Google Cloud

Transcription

1 A bridge to the Cloud Damien Contreras ダミアン コントレラ Customer Engineer Specialist, Data Analytics, Google Cloud

2 アジェンダ はじめに 移行する前の準備 DWH の移行について GCP と連動 データの表示

3 はじめに 01

4 移行する前に データウェアハウスの欠点 コスト データ増加 データ形式対応外 リアルタイムの負担は受けられない セルフサービス分析が難しい ベンダーロックインの心配 スタースキーマとディメン表ションとファクト表に合わせる

5 移行する前に データレイクの欠点 コスト クラスターのリソースのバランス バージョンアップ 複数のデータレイクが構築される パートナー 人材採用が困難

6 移行する前に Google Cloud の価値 コストパフォーマンスが良い 弾力性のある構 セキュリティー サイロはない サーバーレスで No-ops ANSI SQL-2011

7 02 移行をする前に考えること

8 移行する前に 社内にスキルはない場合 グーグルの支援 パートナーと Google リソースが協力し合う BigQuery のスターターパック s/?hl=ja

9 移行する前に TCO & ROI アンケートを記入するだけで 総所有コストのも計算

10 移行する前に クラウドで構築 サイロ化になっているデータセット 1 2 データと関連データの発見 Proof of Concept 3 基盤を構築 誰でも ML を使えれるように 機械学習 ソースデータを移行 周りのシステムと通信用のツールの構築

11 03 DWH の移行について

12 移行する前に DWH 移行対応 t n r m h o s v b? Teradata IBM Netezza AWS Redshift Azure SQL Hadoop Oracle Snowflake Vertica SAP BW その他 BigQuery

13 IBM Netezza から 13

14 IBM Netezza アーキテクチャ FPGA CPU FPGA メモリー メモリー CPU Host (Linux サーバ ) NZSQL コマンド :DML, データダンプ JDBC コネクター :SQL クエリ FPGA メモリー CPU Symmetric Multiprocessing (SMP) 複数のマイクロプロセッサ Disk Enclosure S-Blade AMPP Architecture Network fabric Massively Parallel Processing (MPP) 大量な並行処理

15 IBM Netezza データタイプ IBM Netezza の 31 タイプを全部 BigQuery でマッピングが出来ます IBM Netezza VARCHAR BOOLEAN また BOOL TIME / TIMETZ / TIME_WITH_TI ME_ZONE BigQuery STRING BOOL TIME ARRAY BigQuery : TRUE / FALSE Netezza : True / False, 1 / 0, yes / no, on / off BigQuery : の TIME でタイムゾーンはない Netezza : VARCHAR のデータタイプに保存

16 IBM Netezza それ以外の違い IBM Netezza BigQuery 拡張性 テラバイトのスケールまで : TwinFin (all N2001) また Striper (all N2001); 最大 : 320 Terabytes ペタバイト データモデル Relational DBMS - 圧縮比 :1:3 Distributed Columnar Database - 圧縮比 :1:10 SQL SQL-92 と SQL-99 のエクステンション SQL-2011 処理エンジン MapReduce Dremel UDF C++ Javascript ストアドプロシージャ フィールド名 NZPLSQL 日本語対応, 最大 :128 バイト BigQuery の SQL でストアドプロシージャを書く alpha になります A-z, A-Z, 0-9 また underscore _ 最大 :128 文字

17 IBM Netezza チェックリスト IBM Netezza のデータタイプを BigQuery のデータタイプにマッピング フィールド名のマッピング IBM Netezza の SQL からに使用されてるクエリを ANSI SQL-2011 に切り替えます C++ の UDF を BigQuery の UDF に書き直すストアドプロシージャを他の仕組みで対応 データソースのと連携ツールを選択する 最初のデータ移動方法 定期的なデータ更新方法 ( 差分管理 )

18 IBM Netezza カバレッジ データ量 ペタバイト対応 データ形式 マッピング可能 UDF C++ Javascript SQL クエリ 書き直し可能 ストアドプロシージャ BigQuery の SQL でストアドプロシージャ (alpha) データ通信 JDBC コネクターコマンドラインでデータダンプ

19 Teradata から

20 Teradata アーキテクチャ CPU CPU メモリー O S Dual BYNET Interconne cts BTEQ コマンド :DML, データダンプ, 複数のインスタンスからデータクエリ CPU CPU メモリー O S JDBC コネクター :SQL クエリ Server Management CPU メモリー SMP Nodes CPU Teradata MPP Architecture O S Massively Parallel Processing (MPP) 大量な並行処理 最大 :1024 ノード

21 Teradata データタイプ Teradata の全てのタイプを BigQuery に Teradata VARCHAR INTERVAL_HOUR, INTERVAL_MINUTE, INTERVAL_SECOND, INTERVAL_DAY, INTERVAL_MONTH, INTERVAL_YEAR PERIOD(DATE), PERIOD(TIMESTAMP_ WITH_TIME_ZONE), PERIOD(TIMESTAMP), PERIOD(TIME) BigQuery STRING INT64 STRING BigQuery: 期間のデータタイプない BigQuery: 期間のデータタイプない

22 Teradata それ以外の違い Teradata BigQuery 拡張性テラバイトペタバイト データモデル Relational DBMS - 圧縮比 : 最大 :1:10 Distributed Columnar Database - 圧縮比 :1:10 SQL 処理エンジン Teradata SQL 一部 SQL-2011 ベース ( 書き直すことは出来ます ) ANSI SQL-2011 Dremel UDF SQL Javascript ストアドプロシージャ フィールド名 SQL A-z, A-Z, 0-9 またアンダースコアー _, ドル $, シャープ # 最大 :30 文字 BigQuery の SQL でストアドプロシージャを書く alpha になります A-z, A-Z, 0-9 またアンダースコアー _ 最大 :128 文字

23 Teradata カバレッジ データ量 ペタバイト対応 データ形式 マッピング可能 UDF SQL Javascript SQL クエリ 書き直し可能 ストアドプロシージャ BigQuery の SQL でストアドプロシージャ (alpha) データ通信 JDBC コネクターコマンドラインでダンプ

24 Hadoop から 24

25 Hadoop アーキテクチャ CPU メモリー CPU メモリー CPU メモリー CPU メモリー CPU メモリー ハードウェアスタック O S O S O S O S O S w o r k e r N o d e m a s t e r N o d e Network s q o o p n i f i Phoenix Spark Hive Hbase Kafka Tez Slider Yarn: リソース管理 HDFS : ファイルシステム 専用の API JDBC コネクター :SQL クエリ データウエアハウス キーバリューデータベス ハードウエアー ソフトエアースタック 専用の API メッセージブローカ Z o o k e e p e r

26 Hadoop GCP Dataproc フルマネージド Hadoop / Spark カスタマイズ可能なマシン 90 秒以内で立ち上げて エフェメラル またオンデマンドのクラスター秒単位の 請求 データの暗号化

27 Hadoop GCP Dataproc 一時的なクラスター ジョブ データ クラスター作成 Cluster 1 Cloud Dataproc 処理の結果書込み BigQuery クラスター削除 削除 Cloud Dataproc Bucket Cloud Storage Logging & monitoring Stack driver

28 Hadoop マイグレション選択マトリクス データウェアハウスの処理 アドホッククエリまたインタラクティブクエリを起動 (Hive, Impala, Kudu, Drill, Druid, AtScale MaprDB, ) クエリーを書き直しても大丈夫ですか いいえ Cloud Dataproc NoSQL を使ってます HBase を使ってますか はい Phoenix を使ってますか NoSQL を使ってますか はい Accumulo を使って 移行がしたくないのでそのまま使いたい はい いいえ はい はい BigQuery いいえ Cloud Bigtable BigQuery また Cloud Dataproc

29 Hadoop チェックリスト Hive データタイプを BigQuery のデータタイプにマッピング Hive の UDF また SerDe を移行計画 Hive に使用されている HQLクエリを ANSI SQL に切り替えます HDFS に保存されてるバイナリーファイルの処理プロセスを移行の計画 Spark, MapReduce また Pig script のデータ処理の移動計画 HBase のデータ移行の計画 Zeppelin ノートブックの移行計画 Kafka が使われているフローの移行計画 Sqoop のスクリプトを基づいて データソースのと連携ツールを選択する 最初のデータ移動方法 定期的のデータ更新方法 ( 差分管理 )

30 Hadoop カバレッジ データ量 ペタバイト対応 データ形式 マッピング可能 UDF & Serde SQL / Java Javascript SQL クエリ 書き直し可能 データ処理 書き直し可能 Dataproc に起動 BigQuery の SQL でストアドプロシージャ (alpha) データ通信 JDBC コネクター HDFS のダンプ対応専用の API

31 GCP との連動 04

32 GCP のサービスを紹介 32

33 ELT を SQL で GCP Data pipeline 全体図 データソース ETL/ESB ランディング ゾー加工 / 処理蓄積 / DWH 分析ン 活用 ストリーミング 公開データセット Pub/Sub パートナーのツール / Datafusion / Data Transfer Service バッチ ETL 処理 Legacy EDW 他社のツール Cloud storage BigQuery

34 GCP Cloud Storage 耐久性と高可用性を両立させた BLOB ストレージ ( オブジェクトストレージ ) 安全で耐久性のあるデータ保管 容量管理が不要 転送中のデータと保存データの暗号化 パフォーマンスとコストバランスの取れたストレージクラス BigQuery や Dataflow, Dataproc などの分析サービスとの統合 34

35 GCP Cloud Pub/Sub 信頼性の高いリアルタイムメッセージングサービス グローバルに設計された高い可用性 プロビジョニングが不要で自動処理 At Least Once 配信 多彩なパターンで利用が可能 35

36 連携パターン

37 GCP データパイプラインの連携ツール選択 Hadoop ソース ETL/ESB ESB / ETL ランディング ゾーン 加工 / 処理 蓄積 / DWH r e n t S3 Bucket DWH RedShift Exadata Netezza Teradata... RDBMS Cloud Pub/Sub Cloud Storage Cloud Dataflow Cloud Dataproc Data Fusion Cloud Dataprep Bq load BigQuery Data Transfer Service

38 GCP データパイプラインの連携ツール選択 今現在 データ連携のツールがすでにありますか (ESB, ETL)? いいえ GCP から ( プル ) それぞれのデータソースに接続したい? いいえ bq load GCP API はい GCP に行く時にデータパイプライン ( データ通信またデータ処理 ) を GCP で最適に再構築? いいえ はい はい カスタムロジックまた複雑なデータパイプラインを Java また No Python で書いてコントロールしたい? いいえ はい Cloud Dataflow Informati ca Intelligen t Cloud Services クラウドネーティブ Talend Sqoop / NiFi + Spark また MR ジョブズ Cloud Dataproc パートナーの ETL ツール その他の ETL ツール カスタムロジックまた複雑なデータフローをビジュアルツールで作りたい? いいえ データ整理だけが必要 ビジュアルデータ探索したい ルールベースで構築したい いいえ 程的にデータをデータソースからシンクしたい場合 はいはいはいいいえ Data Fusion Dataprep Data Transfer Service

39 GCP BQ Load 向いている場面 バッチで ファイルの構 でデータ送る 構 化データの場合 オンプレミスのスケジューラーの対応 データをオンプレミスからプッシュする時

40 GCP BQ Load 事例 ソース ETL/ESB ランディング ゾー加工蓄積 / DWH 分析 Analyze ン 活用 Visualize gsutil cp Cloud Storage bq load BigQuery 1 GCS を経由 スケジューラー bq load BigQuery 2 直接の書き込み スケジューラー

41 GCP BQ Load 詳細 コマンドライン Java, C#, Python, PHP, Ruby, Node.js, Go ローカルディスクからロードをしたい時 制限 : コマンド毎 10MB 以下また 16,000 のレコード フォルダまた Wildcard は使えない

42 GCP Data fusion 向いている場面 バッチもしくはストリーミング対応 データフローをマージー データ変換 データマッピング : 複雑なデータフローを構築する時 マネージドサービス

43 GCP Data fusion 事例 Data Warehouse ETL/ESB ランディング ゾー加工蓄積 / DWH 分析 Analyze ン 活用 Visualize n Netezza Data Fusion BigQuery 1 バッチ Cloud Pub/Sub Data Fusion Cloud Storage 1 ストリーミング

44 GCP Data fusion 詳細 No-ops のデータパイプラインの構築と管理のための統合サービス Beta フルマネージド型のデータ統合また処理 統一されたバッチとストリーミング GUI でグラフの形で (DAG) フローの流れをビジュアルで作れる エラー管理 メインのデータベースとデータウェアハウスと連携 :IBM Netezza, Oracle 12c, Redshift, Kudu, MySQL, MS SQL Server, IBM DB2...

45 GCP Dataflow 向いている場面 バッチ & ストリーミング コードで複雑な処理を描きたい GCP のサービスと連携したい時 テンプレートを使いたい場合

46 GCP Dataflow 事例 Data Warehouse ETL/ESB Landing 加工蓄積 / DWH 分析 Analyze 活用 Visualize Cloud Pub/Sub Cloud Dataflow BigQuery

47 GCP Dataflow 詳細 オープンソースのプログラミングモデル サーバーレスでフルマネージド型のデータ処理 何百万もの QPS に合わせた自動最適化 Python また Java で使い慣れた言語で 統一されたバッチとストリーミング 47

48 GCP Data Transfer Service 向いている場面 BigQuery へのデータの移動を自動化するマネージドサービス, コネクターが Teradata, S3, redshift さまざまなソースから 信頼性の高いデータ取り込み ( アップタイム SLA と データ配信 SLA) データ配信のスケーリング

49 GCP Data Transfer Service 事例 Data Warehouse ETL/ESB Landing 加工蓄積 / DWH 分析 Analyze 活用 Visualize S3 Bucket Data Transfer Service BigQuery

50 GCP Data Transfer Service Data Transfer Service 様々なソースから (AWS S3, AWS Redshift, Redshift, ) 数クリックで設定はできます スケジューラー 通知の機能も

51 Partner Informatica 向いている場面 今すでに使われている場合 データをオンプレミスからクラウドへ ビジュアルでフロー構築 データ周りの完全管理 :data Catalog, MDM

52 Partner Informatica Informatica PowerCenter - use your ETL to integrate Data Warehouse ETL/ESB Landing 加工蓄積 / DWH 分析 活用 O Hadoop Oracle RDBMS Informatica PowerCenter BigQuery 1 オンプレミス Informatica PowerCenter O Hadoop Oracle RDBMS Informatica Cloud Informatica Cloud BigQuery 2 クラウド Informatica intelligent Cloud Services

53 Partner Informatica ChangeDataCapture 対応 (Oracle, Db2, SQL Server, MySQL) GUI で出来る : データマッピングスキーママッピングフロー構築 ログファイルの構 解析 データウエアハウスマイグレション対応 : Netezza, Teradata また Hadoop のコネクター すでにある Tier で GCP 対応 : Tier C で標準で GCS のコネクター Tier D で直接の BigQuery コネクター

54 GCP データ連携のパートナー partners

55 04 05 データを表示する BI ツール

56 BI ツール Google スプレッドシート スプレッドショート直で BigQuery のデータを SQL が書けなくってもデータにアクセスできる データが見れるから簡単にすぐ理解はできる

57 BI ツール データポータル GUI でダッシュボード作れる データソースがまとまってなくても様々なデータソースを Join できる テンプレートで簡単にダッシュボード作れる カスタムグラフを D3.js を使って Javascript で作る

58 BI ツール Looker BigQuery と統合 クラウドなのでスケーラブル どこでもからアクセスは出来る 50 以上のデータベース直接接続

59 GCP パートナー partners

60 Thank you