アジェンダ Amazon SWFのメカニズム AWS Flow Framework SWFのさまざまな機能まとめ

Size: px

Start display at page:

Download "アジェンダ Amazon SWFのメカニズム AWS Flow Framework SWFのさまざまな機能まとめ"

さやなすみだ
5 years ago
Views:

1 Amazon Simple Workflow Service(SWF) AWS Black Belt Tech Webinar 2014 アマゾンデータサービスジャパン株式会社技術本部エンタープライズソリューション部部長 / ソリューションアーキテクト片山暁雄

2 アジェンダ Amazon SWFのメカニズム AWS Flow Framework SWFのさまざまな機能まとめ

3 アジェンダ Amazon SWFのメカニズム AWS Flow Framework SWFのさまざまな機能まとめ

4 Amazon SWF とは Amazon SWF は処理のステート管理とタスク間のコーディネートを行うためのフルマネージドサービス Amazon SWF はシステム構築における以下の問題を解消スケーラビリティアベイラビリティ並列処理の制御ネットワーク /FW 越しの連携

5 例えば : 動画の処理元動画の保存不正動画検出ユーザーが動画をアップロードエンコード処理 ( スマホ向け ) サムネイルの作成エンコード処理 (PC 向け ) メタデータ埋め込みサイト公開ユーザー情報の更新動画インデックスの更新

6 例えば : 動画の処理 ( アーキテクチャその 1) 元動画の保存不正動画検出ユーザーが動画をアップロードエンコード処理 ( スマホ向け ) サムネイルの作成エンコード処理 (PC 向け ) メタデータ埋め込みサイト公開ユーザー情報の更新動画インデックスの更新

7 動画の処理 ( アーキテクチャその 1) 1 つのアプリケーションで逐次処理を実装すればシステムとしての作りは簡単ただし全体の処理が長くなる性能向上はスケールアップしかない途中でエラーになった場合にリカバリできない

8 例えば : 動画の処理 ( アーキテクチャその 2) キュー元動画の保存不正動画検出ユーザーが動画をアップロードエンコード処理 ( スマホ向け ) サムネイルの作成エンコード処理 (PC 向け ) メタデータ埋め込みサイト公開ユーザー情報の更新動画インデックスの更新

9 動画の処理 ( アーキテクチャその 2) 各タスクをアプリ分割してキューでつなぐ途中でプロセスエラーになっても落ちてもプロセス復帰後は直前のキューまで戻れる各タスクを別のサーバに乗せることが可能スケールアウトと冗長化エンコード処理 ( スマホ向け ) EC2 ただし全体の処理は長いまま各タスクが次のタスクを意識しないといけないエンコード処理 ( スマホ向け ) EC2

10 例えば : 動画の処理 ( アーキテクチャその 3) キューユーザーが動画をアップロードタスクの制御元動画の保存エンコード処理 ( スマホ向け ) エンコード処理 (PC 向け ) サムネイルの作成ユーザー情報の更新不正動画検出メタデータ埋め込み動画インデックスの更新サイト公開

11 動画の処理 ( アーキテクチャその3) タスクの制御処理を導入タスク実行の順序をこの処理に集めることでタスク間を疎結合にこの処理が状態管理をすることでタスクの並列実行が可能にタスクの戻り値で次のタスクを変えたりできる処理の履歴を記録できるただし状態管理や処理履歴記録など複雑な実装が必要タスクの制御処理自体が SPOF でかつスケーラビリティに欠ける

12 例えば : 動画の処理 ( アーキテクチャその 4) キューユーザーが動画をアップロードコーディネーター次のタスクを決める元動画の保存エンコード処理 ( スマホ向け ) エンコード処理 (PC 向け ) サムネイルの作成ユーザー情報の更新不正動画検出メタデータ埋め込み動画インデックスの更新サイト公開

13 動画の処理 ( アーキテクチャその 4) タスクの制御を分割するタスクの制御のうちでも汎用的な処理をコーディネーターとして切り出す状態管理次タスクへのキューイングタスク終了の補足実行履歴の記録エラーの補足 etc 汎用的でない部分はタスク化して状態を持たないようにする毎回キューに入ってくる実行履歴をもとに次のタスクを決めるところだけに専念コーディネーター = Amazon SWF

14 SWFアーキテクチャと用語デサイダードメインポーリングワークフロースターターユーザーが動画をアップロードワークフローワークフローエグゼキューションワークフローエグゼキューションエグゼキューション次のタスクを次のタスクを決める次のタスクを決める決めるデシジョンタスクリストアクティビティタスクリストアクティビティポーリングエンコード処理エンコード処理エンコード処理 (スマホ向け (スマホ向け (スマホ向け

15 SWF 用語ワークフロースターターワークフローをキックするプログラムキックするたびにワークフローエグゼキューションが作成されるワークフローエグゼキューションワークフローのインスタンス各ワークフローエグゼキューションごとに以下のような情報を保持 WorkflowID: ユーザー採番の任意 ID 決済番号や請求書番号などを設定 ( 重複時はエラー ) RunID: 自動生成 IDされるユニークID ワークフローヒストリー : 入出力情報含むタスクの実行履歴開始時間タイムアウト設定

16 SWF 用語ドメインこの区分ごとにワークフローエグゼキューションやタスクリストが管理されるプログラム言語でいうネームスペースのような概念タスクリストデサイダー / アクティビティがポーリングをするためのキューデサイダーとアクティビティごとにキューを設定タスクリストに入った 1 つのタスクは 1 つのデサイダー / アクティビティしか取得しないことを保証タスクリストはドメイン内で共有異なるワークフロースターターから始まる処理にも利用可能

17 タスクリストの使い方動画タスク画像タスクユーザーが動画をアップロードワークフローエグゼキューションユーザー認証ユーザーが画像をアップロードワークフローエグゼキューション共通処理無料ユーザー課金ユーザーエンコード処理エンコード処理エンコード処理エンコード処理エンコード処理

18 SWF 用語デサイダー次のタスクを決めるタスクタスクリストをポーリングしてタスクがあった場合に次に実行するアクティビティを指定アクティビティワークフロー内の個別のタスクの処理デサイダーと同様タスクリストをポーリングするためオンプレミスや既存 DC での動作も可能人手を介する処理でも OK

19 ここまでのまとめ Amazon SWF はデサイダーとアクティビティのコーディネートとステート管理を行うサービス SWF のアーキテクチャでシステムを構築すると以下の問題が解決できるスケーラビリティアベイラビリティ並列処理の制御ネットワーク /FW 越しの連携

20 SWF 実行までの流れアプリケーションやワークフローの設計必要なアクティビティの洗い出しアクティビティの実装デサイダーやアクティビティワーカーのデプロイと実行ドメインの作成デサイダーの実装ワークフロースターターの実行ワークフローとアクティビティタイプの登録ワークフロースターターの実装ワークフローエグゼキューション設計開発実行

21 アジェンダ Amazon SWFのメカニズム AWS Flow Framework SWFのさまざまな機能まとめ

22 AWS Flow Framework ワークフロー開始の呼び出しタスクリストのポーリング分岐処理の実行など SWF の各種 API を隠ぺいしてハイレベルなプログラミングを提供するクライアントフレームワーク Java,Ruby で提供その他言語は AWS SDK を使用 Flow Framework Flow Framework Flow Framework

23 AWS Flow Framework for Ruby AWS Flow Framework for Ruby アクティビティデサイダー実装のための親クラスを提供その他有用なユーティリティを提供 AWS SDK for Ruby を使用セットアップ Ruby(1.9 以上 ) をセットアップ AWS SDK for Ruby をインストール gem install aws-sdk AWS Flow Framework for Ruby をインストール gem install aws-flow

HelloWorld WorkflowWorker AWS::Flow:: WorkflowWorker HelloWorldActivity

24 クラス構成と実装順アクティビティの実装デサイダーの実装ワーカー / ワークフロースターターの実装 AWS::Flow::Activities AWS::Flow::Workflows HelloWorld ActivityWorker AWS::Flow:: ActivityWorker extend extend HelloWorld WorkflowWorker AWS::Flow:: WorkflowWorker HelloWorldActivity HelloWorldWorkflow HelloWorldflow Starter AWS::Simple Workflow 認証情報実装する部分生成される部分 SDK 提供部分利用 AWS::Flow:: workflow_client

25 アクティビティの実装 Activities クラスを継承してアクティビティを実装アクティビティオプションの設定ビジネスロジックをここに記述

26 デサイダーの実装 Workflows クラスを継承してデサイダーを実装デサイダーの設定デジションコーディング用のスタブを生成処理フローを実装

27 ワーカー / ワークフロースターターの実装ワーカーを実装 AWS::Flow::ActivityWorker.new(SWF のクライアント, ドメイン, activity_tasklist, HelloWorldActivity).start AWS::Flow::WorkflowWorker.new(SWF のクライアント, ドメイン, workflow_tasklist, HelloWorldWorkflow).start サンプルでは HelloWorldActivity,HelloWorldWorkflow に内包ワークフロースターターを実装 AWS::Flow::workflow_client( SWF のクライアント, ドメイン,{from_class: "HelloWorldWorkflow }).start_execution( World")

28 デサイダーの実装方法デサイダーはワークフローのフローロジックの要逐次処理並列処理フォーク / ジョインはデサイダーで実装並列処理やフォーク / ジョインは用意されたメソッドを用いて実装 send_async wait_for_any, wait_for_all などのメソッドで並列処理や処理待ちを実装

デサイダーの実装例逐次処理並列処理並列処理を待つ client.activity1 client.activity2 client.activity3 client.activity1 client.send_async(:activity2) client.send_async(:activity3) first_future = client.

29 デサイダーの実装例逐次処理並列処理並列処理を待つ client.activity1 client.activity2 client.activity3 client.activity1 client.send_async(:activity2) client.send_async(:activity3) first_future = client.send_async(:activity1) second_future = client.send_async(:activity2) wait_for_all(first_future, second_future) client.activity3 結果による分岐 decision_value = client.activity1 if (predicate_function(decision_value)) client.activity2 else client.activity3 end 1 つが実行済みなら続行 first_future = client.send_async(:activity1) second_future = client.send_async(:activity2) wait_for_any(first_future, second_future) client.activity3

30 さらに詳しいデサイダーの実装例 Recipes ecipes.html 以下のレシピを実装付きで公開単一アクティビティの繰り返し実行複数アクティビティの繰り返し実行条件によるワークフローロジックの実行手動操作によるアクティビティタスクの完了非同期コードからスローされた例外のハンドリング方法非同期コード実行失敗時のリトライ子ワークフローの呼び出しワークフローへのシグナル

31 Flow Framework の実装サンプル各種サンプル実装 Hello World やファイル処理デプロイメント cron 処理など有用なサンプルが多数このサンプルに先出のレシピの実装ファイルも同梱

32 AWS Flow Framework AWS Flow Framework for Java アクティビティのロジック実装から SWF 固有処理を分離デサイダーのロジック実装から非同期処理の実装を分離 Java の APT 機能を使用して各種スタブコードを生成 JUnit を使用したテストのサポート機能 AWS SDK for Java を使用セットアップ JDK をセットアップ Eclipse の場合下記 URL を参照その他 IDE の場合 AWS SDK for Java を入手 (Flow Framework も内包 ) 上記 URL を参考にプロジェクトの APT と JRE の AspectJ 設定を実施

AmazonSimple Workflow MyWorkflowImpl APT MyWorkflowClient External APT MyWorkflowClient ExternalFactory

33 クラス構成と実装順アクティビティの実装 MyActivity MyActivityImpl APT MyActivityClient ワーカー/ワークフロースターターの実装デサイダーの実装 MyWorkflow MyActivityWorker ActivityWorker MyWorkflowWorker WorkflowWorker MyWorkflow Starter AmazonSimple Workflow MyWorkflowImpl APT MyWorkflowClient External APT MyWorkflowClient ExternalFactory 認証情報実装する部分利用 MyActivity ClientImpl MyWorkflowClien texternalimpl MyWorkflowClient ExternalFactory Impl 生成される部分 SDK提供部分

アクティビティの実装アクティビティのインターフェースを定義 @Activities(version = "1.

34 アクティビティの実装 = defaulttasklist = MyActivityTaskList, defaulttaskscheduletostarttimeoutseconds = 30, defaulttaskstarttoclosetimeoutseconds = 30) public interface MyActivity { String activity1(); } アクティビティの設定インターフェースを実装 public class MyActivityImpl implements MyActivity public String activity1() { return a1 ; } } ビジネスロジックを記述

35 defaulttasklist = Constants.DECIDER_TASK_LIST, defaultexecutionstarttoclosetimeoutseconds = 300, defaulttaskstarttoclosetimeoutseconds = 100) public interface = "1.0") void execute(); } デサイダーの設定インターフェースを実装 public class MyWorkflowImpl implements MyWorkflow { private MyActivityClient client = new MyActivityClientImpl();// public void execute() { client.activity1(); } 処理フローを実装 }

ワーカー/ワークフロースターターの実装ワーカーを実装 public class MyActivityWorker { public static void main(string[] args) throws Exception { AmazonSimpleWorkflow swfclient = Helper.

DOMAIN; フレームワーク提供のクラス ActivityWorker worker = new ActivityWorker(swfClient, domain, ACTIVITY_TASK_LIST ); MyActivityImpl ac = new MyActivityImpl(); worker.

36 ワーカー/ワークフロースターターの実装ワーカーを実装 public class MyActivityWorker { public static void main(string[] args) throws Exception { AmazonSimpleWorkflow swfclient = Helper.createClient(); String domain = CreateDomain.DOMAIN; フレームワーク提供のクラス ActivityWorker worker = new ActivityWorker(swfClient, domain, ACTIVITY_TASK_LIST ); MyActivityImpl ac = new MyActivityImpl(); worker.addactivitiesimplementation(ac); ポーリングを開始 } worker.start(); } アクティビティクラスのインスタンスを登録 public class MyWorkflowWorker { public static void main(string[] args) throws Exception { AmazonSimpleWorkflow swfclient = Helper.createClient(); String domain = CreateDomain.DOMAIN; WorkflowWorker worker = new WorkflowWorker(swfClient, DECIDER_TASKLIST ); worker.addworkflowimplementationtype(myworkflowimpl.class); worker.start(); ポーリング } を開始 } フレームワーク提供のクラスデサイダークラスを登録

ワーカー / ワークフロースターターの実装ワークフロースターターを実装 public class MyWorkflowStarter { public static void main(string[] args) throws Exception { AmazonSimpleWorkflow swfclient

DOMAIN; MyDeciderClientExternalFactory factory = new MyDeciderClientExternalFactoryImpl(swfClient, domain); フレームワークで生成されるクラス String workflowid = DEMO + new

37 ワーカー / ワークフロースターターの実装ワークフロースターターを実装 public class MyWorkflowStarter { public static void main(string[] args) throws Exception { AmazonSimpleWorkflow swfclient = Helper.createClient(); String domain = CreateDomain.DOMAIN; MyDeciderClientExternalFactory factory = new MyDeciderClientExternalFactoryImpl(swfClient, domain); フレームワークで生成されるクラス String workflowid = DEMO + new SimpleDateFormat("yyyy-MM-dd-hh-mm-ss").format(new Date()); MyDeciderClientExternal client = factory.getclient(workflowid); StartWorkflowOptions options = new StartWorkflowOptions(); options.settasklist(constants.decider_task_list); client.execute(); } } ワークフロー開始 ID を生成

38 デサイダーの実装方法デサイダーはワークフローのフローロジックの要逐次処理並列処理フォーク / ジョインはデサイダーで実装 Promise<> が処理フロー実装の基本 ActivityClient のメソッドのついたメソッドに Promise<> を渡すとその Promise<> の状態が Ready になるまで処理が実行されない逐次処理をしたい場合は直前の処理の戻り値 (Promise<>) を次の処理の引数にする並行処理の場合は戻り値を渡さない MyWorkflow MyActivityClient MyWorkflowImpl MyActivity ClientImpl

39 processstart サンプルワークフロー filetransfer dataprocessinga dataprocessingb dataprocessingc dataprocessingd combinresult showreport

40 デサイダー実装例 Jpl, aws は生成された ActivetyClient public void processstart(final String srcimagepath) { Promise<String> s3imagepath = jpl.filetransfer(srcimagepath); //3 分岐の処理 Promise<ProcessingResultA> resulta = aws.dataprocessinga(s3imagepath); Promise<ProcessingResultB> resultb = aws.dataprocessingb(s3imagepath); Promise<ProcessingResultC> resultc = aws.dataprocessingc(s3imagepath); //dataprocessingc の終了後に D を実行 Promise<ProcessingResultD> resultd = aws.dataprocessingd(resultc); // 全ての dataprocessiong を待つ Promise<CombineResult> combineresult = jpl.combineresult(resulta, resultb, resultd); } Promise<Void> endresult = jpl.showresult(combineresult);

41 デサイダーの実装例 AWS Flow Framework Recipes 以下のレシピを実装付きで公開単一アクティビティの繰り返し実行複数アクティビティの繰り返し実行条件によるワークフローロジックの実行手動操作によるアクティビティタスクの完了非同期コードからスローされた例外のハンドリング方法非同期コード実行失敗時のリトライワークフローへのシグナル

42 実装サンプル各種サンプル実装は AWS SDK for Java に同梱 Samplesフォルダ内のAwsFlowFramework Hello World やファイル処理デプロイメント cron 処理など有用なサンプルが多数

43 デサイダーの実装 Tips 分岐処理を実装するためのクラスやアノテーションを活用 AndPromise<>,OrPromise<> クラス Settable<> Taskクラス TryCatch TryFinally

44 Flow Framework 利用の Tips 処理の細分化を検討処理を細分化しておき処理同士を疎結合にすることで処理の再利用やワークフロー間での共通利用が可能細分化することで特定のタスクだけサーバ台数を増やしてパフォーマンスを向上させることが可能ステートレスを心がけるデサイダーやアクティビティを作る際データをローカルに持たないように設計する例えば画像処理の場合画像データは S3 などに入れ各アクティビティが処理時に S3 から取得するようにしておく

45 デサイダーアクティビティの実行場所デサイダーアクティビティはEC2でもオンプレでもどこでもよい EC2であれば認証情報はIAMロールを利用ステートレスに作ることでインスタンスごと生成 / 破棄できる AutoScaling, Beanstalk や OpsWorks と相性がよい

46 Flow Framework のまとめ Flow Framework を利用することで最小 / 平易な実装で複雑なワークフロー処理の記述が可能 Flow Framework を利用しないと使えない ( 使うのが難しい ) 機能もあるためまずは利用を検討

47 アジェンダ Amazon SWFのメカニズム AWS Flow Framework SWFのさまざまな機能まとめ

48 Amazon SWF の機能デサイダー / アクティビティへのタスクルーティングデサイダー / アクティビティ間のデータ受け渡しワークフローエグゼキューションの実行履歴保持どのようなアクティビティが呼ばれたかの履歴を保持渡された値や戻り値の情報も保持統計情報の取得実行中のタスク数終了タスク数実行履歴マニュアル実行のアクティビティのサポートメールでの承認作業や発送処理などの手作業が入る場合

49 Amazon SWF の機能 (cont) 実行時間の長いアクティビティのサポート定期的なハートビートの実行子プロセスサポートワークフロー実行中にサブワークフローを実行シグナルワークフロー処理への割り込み実行中のワークフローのキャンセルマーカーデサイダー実行時任意の情報を履歴に入れることができるタグワークフローエグゼキューションにタグを付与 (5 つまで )

50 さまざまなタイムアウト設定デサイダー/アクティビティ共通アクティビティで利用ハートビート用

51 Amazon SWF の利用料金 ( 東京リージョン ) 1 ワークフローエグゼキューションごとに $ 初回 1,000 回は無料 1 ワークフローエグゼキューションの実行時間 24 時間ごとに $ ただし最初の 30,000 回 24 時間までは無料完了した 1 ワークフローの実行履歴を残すのに 1 日当たり $ ただし最初の 30,000 回 24 時間までは無料 1 タスクマーカータイマーシグナルごとに $ 最初の 10,000 回は無料金

52 各種 Limit test/developerguide/swf-dg-limits.html 特に API Call 数については要チェック上限解除申請フォーム数が多い場合は解除申請もしくはサポート /ADSJ までご連絡を!

53 アジェンダ Amazon SWFのメカニズム AWS Flow Framework SWFのさまざまな機能まとめ

54 まとめ Amazon SWF はデサイダーとアクティビティのコーディネートとステート管理を行うサービス Flow Framework を使うことで実装が容易にワークフローと考えるよりもステートレス処理をつなげるインフラと考えて幅広い範囲での利用を!

55 Appendix 参考資料 Amazon Simple Workflow Service AWS Flow Framework AWS Flow Framework Recipes AWS Flow Framework samples for Amazon SWF Getting Started with AWS Flow Framework for Ruby

intra-mart Accel Platform — イベントナビゲータ開発ガイド初版

intra-mart Accel Platform — イベントナビゲータ開発ガイド初版 Copyright 2013 NTT DATA INTRAMART CORPORATION 1 Top 目次 intra-mart Accel Platform イベントナビゲータ開発ガイド初版 2013-07-01 改訂情報概要イベントフローの作成更新削除をハンドリングするイベントフローを非表示にする回答を非表示にするリンクを非表示にするタイトルコメントを動的に変更するリンク情報を動的に変更するナビゲート結果のリンクにステータスを表示する

アジェンダ Amazon SWFのメカニズム AWS Flow Framework SWFのさまざまな機能 まとめ

アジェンダ Amazon SWFのメカニズム AWS Flow Framework SWFのさまざまな機能まとめ