ウェビナー資料 - PDF Free Download

Data Factory とは? Microsoft が提供するパブリッククラウド環境上で利用できるフルマネージドのデータ統合 (ETL) サービスオンプレミスクラウドと環境を問わない各種データソースからのデータロード加工出力を管理できデータ統合を支援するツール 2018 年 6 月末に Version 2 が GA となった Copyright 2017-2020 System Support Inc. All rights reserved. 6

V1 時代の困りごと ( 注 : 筆者の個人的感想 ) アクティビティ失敗時の制御ができない! 繰り返し処理や条件分岐等の細やかな制御ができない! スケジュール実行即時実行しか対応していない! データ加工するためには HDInsight か C# でカスタムするしかない! GUI が使いづらいしパイプラインのデバッグがしずらい!!!!! Copyright 2017-2020 System Support Inc. All rights reserved. 8

Data Factory を理解するためのキーワード統合ランタイムリンクされたサービスデータセットアクティビティパイプライントリガー - Integration Runtime - LinkedService - DataSet - Activity - Pipeline - Trigger Copyright 2017-2020 System Support Inc. All rights reserved. 9

セルフホステッド統合ランタイムオンプレ環境上のデータに接続する統合ランタイム Windows 環境上で起動するサービス V1で言うところの Data Management Gateway 複数ノードを関連付けてスケールアウトすることが可能 On-Premises Srv フラットファイル Storage SQL Database DB Blob ファイル Copyright 2017-2020 System Support Inc. All rights reserved. 11

-SSIS 統合ランタイム SQL Server Integration Services( 以後 SSIS) パッケージ実行専用ランタイム SSIS パッケージ実行専用の VM スケールアップスケールアウトが可能 On-Premises Srv フラットファイル Storage SQL Database DB Blob ファイル Copyright 2017-2020 System Support Inc. All rights reserved. 12

アクティビティ (Activity) データに対して実行するアクションの定義データ移動アクティビティオンプレミスにあるデータストアやクラウド内のデータストアの間でデータコピーを実施データ変換アクティビティ HDInsight クラスターや Batch などのコンピューティング環境を利用してデータセットの変換および処理を実施オンデマンドの HDInsight Spark クラスターの作成がサポートされた SSIS を利用したデータ変換処理が可能となった制御アクティビティパイプライン内の繰り返し制御カスタム REST エンドポイントを呼び出し任意データのメタデータ取得条件分岐等を制御する Copyright 2017-2020 System Support Inc. All rights reserved. 18

制御アクティビティ繰り返し処理条件分岐メタデータデータ取得 ForEach, do-until 構文のようにパイプライン内の繰り返し制御を定義可能指定条件の評価 (true/false) を判定し後続アクティビティを実行入力データセットの各種メタ情報データ内容を読み取り後続に引き渡す Web パイプライン実行待機処理カスタム REST エンドポイントを呼びだし他サービスと連携が可能パイプラインから別のパイプラインの呼び出しが可能指定した期間待った後後続のアクティビティの実行を続行 Copyright 2017-2020 System Support Inc. All rights reserved. 19

アクティビティ例 1 データコピーオンプレ環境上の各データを BlobStorage に転送セルフホステッド IR を中継してオンプレ環境上のファイルシステムに格納されたフラットファイル DB のテーブルに格納されたデータを BlobStorage に転送する On-Premises Srv フラットファイル Storage SQL Database DB Blob ファイルオンプレ to データコピーデータ変換 To DWH データコピー Copyright 2017-2020 System Support Inc. All rights reserved. 20

アクティビティ例 2 データ変換 BlobStorage に転送されたデータを変換加工 -SSIS 統合ランタイムにあらかじめデプロイ済みの SSIS パッケージを実行し指定のファイルをデータ変換加工 On-Premises Srv フラットファイル Storage SQL Database DB Blob ファイルオンプレ to データコピーデータ変換 To DWH データコピー Copyright 2017-2020 System Support Inc. All rights reserved. 21

アクティビティ例 3 データコピー (EventTrigger 利用 ) BlobStorage 上のデータを SQL Database に転送統合ランタイムを介してデータ加工済みの各ファイルを SQL Database の指定テーブルにインポート EventTrigger を利用し Blob ファイル追加時にパイプラインが起動するよう設定 On-Premises Srv フラットファイル指定コンテナに Blob が追加されたことを検知 Storage SQL Database DB Blob ファイルオンプレ to データコピーデータ変換 To DWH データコピー Copyright 2017-2020 System Support Inc. All rights reserved. 22

アクティビティ例 4 制御 (WEB アクティビティによるメール送信 ) データコピーに失敗した場合エラー情報をメール通知 WEB アクティビティよりメール送信 API を利用してエラー情報をメール送信する On-Premises Srv フラットファイル Storage データコピー失敗 SQL Database DB Blob ファイルオンプレ to データコピーデータ変換 To DWH データコピー Copyright 2017-2020 System Support Inc. All rights reserved. 23

パイプライン (Pipeline) 複数のタスクを連携して実行するアクティビティの論理的グループ今回のデモでは 2 種類のパイプラインを作成 1. オンプレ環境の各種データをBlobストレージにコピーしデータ加工 2. 加工済ファイルをSQLDatabaseに格納する ( 失敗時はメール通知 ) On-Premises Srv フラットファイル Storage DB Blob ファイルオンプレ to データコピーデータ変換 To DWH データコピー Copyright 2017-2020 System Support Inc. All rights reserved. 25

パイプライン (Pipeline) 複数のタスクを連携して実行するアクティビティの論理的グループ今回のデモでは2 種類のパイプラインを作成 1. オンプレ環境の各種データをBlobストレージにコピーしデータ加工 2. 加工済ファイルをSQLDatabaseに格納する ( 失敗時はメール通知 ) On-Premises Srv フラットファイル Storage データコピー失敗 SQL Database DB Blob ファイルオンプレ to データコピーデータ変換 To DWH データコピー Copyright 2017-2020 System Support Inc. All rights reserved. 26

トリガーパイプラインの実行をいつ開始する必要があるかを決定する処理単位スケジュール実時間のスケジュールによってパイプラインを起動するトリガー定期的および特定の日時曜日 ( 例 : 月曜日午後 5 時と木曜日午後 9 時 ) にパイプラインを実行したい際に使用タンブリングウィンドウ状態を保持しながら定期的に実行されるトリガー一定間隔 ( 例 :15 分間隔 ) でパイプラインを実行したい際に使用イベントベースイベントに応答するトリガー Blob Storage 上へのファイル追加 / 削除イベントに応答してパイプラインを実行したい際に使用 Copyright 2017-2020 System Support Inc. All rights reserved. 28

V1 V2 アップデートアクティビティ失敗時の制御ができない! アクティビティ成功 / 失敗 / 完了 / スキップ時の分岐制御追加繰り返し処理や条件分岐等細やかな制御ができない! 制御フローアクティビティの追加スケジュール実行即時実行しか対応していない! EventTrigger の追加データ加工するためには HDInsight か C# でカスタムするしかない! SSIS パッケージ実行アクティビティの追加 GUI が使いづらいしパイプラインのデバッグがしずらい!!!!! GUI の改善パイプラインデバッグ機能の追加 Copyright 2017-2020 System Support Inc. All rights reserved. 33

アクティビティ一覧分類アクティビティ名概要 Batch Service Custom 指定スクリプト (shell, exe 等 ) を Batch プール上で実行する Databricks Notebook DatabricksワークスペースでDatabricks Notebookを実行する Databricks Jar DatabricksクラスターでSpark Jarを実行する Databricks Python DatabricksクラスターでPythonファイルを実行する Data Transformation Copy Data 入力データソースを出力先データソースにファイル転送する Data Lake Analytics U-SQL Data Lake Analytics コンピューティングリンクサービスで U-SQL スクリプトを実行する General Execute Pipeline 指定パイプラインを実行する General Get Metadata 入力データセットのメタデータを取得する General Lookup 入力データソースの構成ファイルやテーブルの内容を読み取る General Execute SSIS Package SSISパッケージを実行する General Stored Procedure 指定 DBのストアドプロシージャを実行する General Web カスタム REST エンドポイントを呼び出す (GET, POST, PUT, DELETEが実行可能 ) General Wait 指定時間待機する HDInsight Hive HDInsightクラスターでHiveクエリを実行する HDInsight MapReduce HDInsightクラスターでMapReduceプログラムを実行する HDInsight Pig HDInsightクラスターでPigクエリを実行する HDInsight Spark HDInsightクラスターでSparkプログラムを実行する HDInsight Streaming HDInsightクラスターでHadoop Streaming プログラムを実行する Iteration & Conditionals Filter 入力データセットに対してフィルター処理を行う Iteration & Conditionals ForEach 入力データセットに対して繰り返し処理 (forループ) を行う Iteration & Conditionals If Condition 入力データセットに対して条件分岐処理を行う Iteration & Conditionals Until 入力データセットに対して繰り返し処理 (do-untilループ) を行う Machine Learning ML Batch Execution ML Web サービスを呼び出してデータの予測を実施する Machine Learning ML Update Resource スコア付け Web サービス (Web サービスとして公開した予測実験 ) を新しくトレーニングを行ったモデルで更新する Copyright 2017-2020 System Support Inc. All rights reserved. 35

各種制限 Resource 既定の制限上限サブスクリプション内の Data Factory 50 サポート問合せデータファクトリ内のエンティティ ( パイプラインデータセットトリガーリンクされたサービス統合ランタイム ) の合計数 5,000 サポート問合せ 1 つのサブスクリプションでの -SSIS Integration Runtime の CPU コアの合計 128 サポート問合せパイプラインあたりの同時実行パイプラインの実行数 100 サポート問合せデータファクトリあたりの同時実行パイプラインの実行数 10,000 サポート問合せパイプラインあたりの最大アクティビティ数 ( コンテナーの内部アクティビティを含む ) 40 40 パイプラインあたりの最大パラメーター数 50 50 ForEach 項目数 100,000 100,000 ForEach 並列処理 20 50 式ごとの文字数 8,192 8,192 最小タンブリングウィンドウトリガー間隔 15 分 15 分パイプラインのアクティビティ実行の最大タイムアウト 7 日 7 日パイプラインオブジェクトのオブジェクトあたりのバイト数 1 200 KB 200 KB データセットとリンクされたサービスオブジェクトのオブジェクトあたりのバイト数 1 100 KB 2,000 KB コピーアクティビティの実行 1 回あたりのデータ統合単位 3 256 サポート問合せ API 呼び出しの書き込み 2,500/ 時サポート問合せ API 呼び出しの読み取り 12,500/ 時サポート問合せ https://docs.microsoft.com/ja-jp/azure/azure-subscription-service-limits#data-factory-limits Copyright 2017-2020 System Support Inc. All rights reserved. 36

接続可能データソース一覧 (2018 年 8 月時点 ) DB NoSQL ファイル汎用プロトコルサービスとアプリ Blob Storage Amazon Redshift Cassandra Amazon S3 汎用 HTTP Amazon Marketplace Web Service ( プレビュー ) Cosmos DB DB2 Couchbase ( プレビュー ) ファイルシステム汎用 OData Common Data Service for Apps Data Lake Storage Gen1 Drill ( プレビュー ) MongoDB FTP 汎用 ODBC Concur ( プレビュー ) Data Lake Storage Gen2 ( プレビュー ) Google BigQuery HDFS Dynamics 365 Database for MySQL Greenplum SFTP Dynamics CRM Database for PostgreSQL HBase GE Historian File Storage Hive HubSpot ( プレビュー ) SQL Database Apache Impala ( プレビュー ) Jira ( プレビュー ) SQL Data Warehouse Informix Magento ( プレビュー ) Search インデックス MariaDB Marketo ( プレビュー ) Table Storage Microsoft Access Oracle Eloqua ( プレビュー ) MySQL Oracle Responsys ( プレビュー ) Netezza Paypal ( プレビュー ) Oracle QuickBooks ( プレビュー ) Phoenix Salesforce PostgreSQL Salesforce Service Cloud Presto ( プレビュー ) Salesforce Marketing Cloud ( プレビュー ) SAP Business Warehouse SAP Cloud for Customer (C4C) SAP HANA SAP ECC Spark ServiceNow SQL Server Shopify ( プレビュー ) Sybase Square ( プレビュー ) Teradata Web テーブル (HTML テーブル ) Vertica Xero ( プレビュー ) Zoho ( プレビュー ) https://docs.microsoft.com/ja-jp/azure/data-factory/copy-activity-overview#supported-data-stores-and-formats Copyright 2017-2020 System Support Inc. All rights reserved. 37