Asakusa Test Driver

Size: px

Start display at page:

Download "Asakusa Test Driver"

てるえおえづか
5 years ago
Views:

1 Asakusa ソースコードリーディング #4 Asakusa Test Driver 2011/08/26 川口章

2 本日の内容 A Brief History of Asaksa Test Driver TestDriver が誕生するまで (~ver 0.1) TestDriver のリアーキテクト (~ver 0.2) TestDriver のこれから Asakusa CI on AWS Source Code Reading TestDriver ver 0.2 API Asakusaソースコードリーディング #4 2

自己紹介川口章 (@apirakun) Asakusa Framework の活動 Asakusa Test Driverの設計 / 実装 CI 環境のメンテナンス (Jenkins) ソースリポジトリ管理 (GitHub) ビルド

3 自己紹介川口章 Asakusa Framework の活動 Asakusa Test Driverの設計 / 実装 CI 環境のメンテナンス (Jenkins) ソースリポジトリ管理 (GitHub) ビルドリリース管理 (Maven) ドキュメントの公開 (Sphinx) 開発環境デプロイ周り (misc.) 普段の仕事 SI:Web 系の自動テストツール開発流通ミドルウェアの技術サポート Asakusa ソースコードリーディング #4 3

4 リソース Source Code (branch:0.2-develop) e/0.2-develop asakusa-test-driver asakusa-test-modelator asakusa-test-data-provider asakusa-thundergate-test-modelator Documents ( アプリケーションのテスト ) nts/0.2/release/ja/html/testing/index.html Asakusaソースコードリーディング #4 4

5 Hadoop で基幹バッチに耐え得るテストフレームワークとして TestDriver が誕生するまで (~ver 0.1) Asakusaソースコードリーディング #4 5

6 Review Asakusa Framework の構成各種 DSL を起点とした構成 Asakusa DSL バッチ構造データフロープロセス DSL コンパイラワークフロー定義外部連携プログラム Map Reduce プログラムデータモデル定義 DMDL コンパイラデータモデル Java クラス Asakusaソースコードリーディング #4 6

Review 各種 DSL の構造層ごとに書くべきことが異なる Batch DSL Flow DSL Operator DSL UoW #2 UoW #1 UoW #4 UoW #3 1.

7 Review 各種 DSL の構造層ごとに書くべきことが異なる Batch DSL Flow DSL Operator DSL UoW #2 UoW #1 UoW #4 UoW # a Batch Dataflow Dataflow Part Process Asakusaソースコードリーディング #4 7

8 DSL に対するテスト戦略各 DSL 毎のテスト方法を提供 Operator FlowPart JobFlow Batch テストデータの作成方法を提供データモデル定義をベースにする複雑なデータモデルに対応する Asakusa ソースコードリーディング #4 8

9 DSL 毎のテスト方針 <1/2> Operator のテスト通常の Java クラスに対するテスト少数の Model に対する入力 / 検証 FlowPart のテスト DSL をコンパイルして生成される MapReduce Job に対するテスト入出力データの実体は SequenceFile 多数の Model に対する入力 / 検証 Asakusa ソースコードリーディング #4 9

10 DSL 毎のテスト方針 <2/2> JobFlow のテスト外部インターフェース機能 (ThunderGate) と連携したテスト Batch のテストワークフローエンジン連携機能と連携したテスト試験的ワークフロー実行機能 (experimental.sh) と連携したテスト Asakusa ソースコードリーディング #4 10

11 テストデータの作成方法 <1/2> Model 自動生成機能との連携 Model と乖離しないテストデータの Template を作成多数の複雑な Model に対する入出力の定義いろいろ議論があったが Excel で緻密なテスト検証方法を提供テーブル毎 / カラム毎に対する検査条件の指定 DB の定義とは別に検査用のキーカラムを指定 DBUnit でやろうとすると大変なことを簡単に Asakusa ソースコードリーディング #4 11

12 テストデータの作成方法 <2/2> DB 以外のテストデータ生成検証 Hadoop のシーケンスファイルテスト実装者にはデータ実体の違いを隠蔽したい Asakusa ソースコードリーディング #4 12

13 テスタビリティの追求 <1/5> テストが自動化出来る CI に乗せることを前提とした方式検討必要な機能はなにか何を自動化するのかテストデータの生成セットアップバッチコンパイルデプロイ ThunderGate HadoopJob の実行 CI Server との連携方式過剰な機能はなにか何を自動化しないのか迅速なフィードバックとテストの価値を天秤にかける Asakusa ソースコードリーディング #4 13

14 テスタビリティの追求 <2/5> 同じ方法でテスト出来る各種 DSLの仕組みの違いを出来るだけ隠蔽 FlowPartとJobFlow のデータ入出力 SequencFile/DB 上のテーブル JobFlow と Batch のテスト対象の実行方法 hadoop コマンド /experimental.sh Asakusa ソースコードリーディング #4 14

15 テスタビリティの追求 <3/5> テスト実装を迷わせないテスト用 API の設計シンプルなAPI 強い制約ある程度の汎用性は犠牲に Asakusa ソースコードリーディング #4 15

16 テスタビリティの追求 <4/5> 通常の Java 開発と同様にテスト出来る Eclipse 上でテストも書ける JUnit 上でテストが実行出来る Asakusa ソースコードリーディング #4 16

17 テスタビリティの追求 <5/5> ローカルでテストが出来る当初はあきらめていた CI 環境でのみ疑似分散モード前提 Windows 上で Hadoop が動作しない Linux 開発環境 (AsakusaSDK) を提供疑似分散モードはフィードバックが遅いスタンドアロンモード対応 Asakusa ソースコードリーディング #4 17

18 Asakusa Test Driver (0.1) TestDriver(0.1) が提供するもの testdriver.xxxtestdriver FlowPart-/JobFlow-/Batch- 特徴 Ashigel Compiler/HadoopJob/ThunderGate の実行を隠蔽 ModelGenerator から緻密なテストデータ定義が可能なテストデータの Template(Excel) を生成各種 DSL で同じようにテスト出来るシンプルな API テストが自動化出来るスタンドアロンモードで動作本資料ではパッケージ名の com.asakusafw は省略 Asakusa ソースコードリーディング #4 18

19 TestDriver のさらなる成長を目指して TestDriver のリアーキテクト Asakusaソースコードリーディング #4 19

20 TestDriver(0.1) が出来ないこと汎用性がない ThunderGate 決め打ち :ThunderGate 以外の外部連携を使った場合のテスト手段を提供出来ない Excel 決め打ち :Excel 以外でテストデータを定義する手段を提供していない 0.1 の実装上に拡張を行うのは困難 0.1 の良いところを維持しつつ TestDriver の内部を拡張可能にするためにリファクタリング ( リアーキテクト ) することに Asakusa ソースコードリーディング #4 20

21 Asakusa Test Driver (0.2) NewAPI の提供 testdriver.xxxtester FlowPart-/JobFlow-/Batch- 特徴 ThunderGate 以外の外部連携に対応ファイルインターフェース Excel 以外のテストデータ入出力に対応デフォルトは JSON と Excel を提供 Excel フォーマットも 0.1 細かく改善 (Calc も使える ) SPI で拡張可能 Ashigel Compiler に似た拡張戦略 Asakusa ソースコードリーディング #4 21

22 TestDriver(0.2) のテスト実装例ジョブフローのテスト実装例 Asakusa ソースコードリーディング #4 22

23 TestDriver(0.2) のテストデータ定義テストデータ定義シート例 Asakusa ソースコードリーディング #4 23

24 TestDriver(0.2) のアーキテクチャ概要 Asakusa DSL Compiler Batch Compile Input Resource Preparator Import Resource Import Tgt Import M/R Job Expected Resource Executor Execute M/R Job Verify Resource Test Data Inspector TestDriver Export Resource Export Tgt M/R Job Export Batch App Asakusa ソースコードリーディング #4 24

25 さらなる進化に向けてこれからの TestDriver Asakusaソースコードリーディング #4 25

26 テストを短時間で終了させる Distributed Testing 複数のマシンでテストを並列実行させてテストを短時間で終了させる Cloud Testing AWS と連携 Asakusa ソースコードリーディング #4 26

27 検証機能の強化 Define the relationship between input and output データの移動が発生するだけの項目はこの項目は入力モデルのこれと等しいというように定義したい MOVE 文のテストテストデータの定義から仕様 ( テストの観点 ) を追いやすくする Asakusa ソースコードリーディング #4 27

28 テストデータ作成の自動化テストデータパターンを定義するテストデータ定義にテストデータパターンを記述しパターンから生成されたテストデータに対してテストドライバを流す Asakusa ソースコードリーディング #4 28

29 Asakusa Framework の CI 環境 Asakusa CI on AWS Asakusaソースコードリーディング #4 29

30 Asakusa Framework の CI 環境 AWS(EC2/S3) 上に CI 環境を構築しています 1.compute.amazonaws.com/jenkins/ Asakusa ソースコードリーディング #4 30

31 Asakusa CI 環境の構成 <Service Hooks> Post Receive URLs GitHub Jenkins Master Maven Archetype Catalog git push Development Environment <Amazon EC2 Plugin> distributed build tweet Jenkins Slave deploy copy Maven Repository Documents Twitter Amazon EC2 Amazon S3 Asakusa ソースコードリーディング #4 31

32 Master と Slave Jenkins Master マイクロインスタンスを常に稼働させておく Jenkins の Web フロントエンドとしてのみ使用 Jenkins Slave 主要なビルド処理はすべてここで実行 High-CPU ミディアムインスタンスを実行時に起動スモールインスタンスのほぼ半分の時間でビルドが完了 Amazon EC2 Plugin Jenkins スレーブを EC2 の AMI として起動する Idle が 30 分続くと自動的に停止 CI サーバのランニングコスト : 月々 1,000 円 ~2,000 円 Asakusa ソースコードリーディング #4 32

33 Jenkins Amazon EC2 Plugin Jenkins Slave として起動する AMI を指定 Asakusa ソースコードリーディング #4 33

34 GitHub と Jenkins の連携 GitHub から Jenkins へ push 通知 GitHub の Post Receive URLs を利用 git push を受けると即時に Jenkins に対して get git push したブランチだけをビルドする Post Receive URLs は Request URL が固定特定の Jenkins Job を起動することしか出来ない窓口用の Job で受けて下流の Job にビルドする可能性があるブランチを定義した Job をすべて紐付けこれで一応出来るがムダなビルドが多数発生 Jenkins の Downstream-Ext Plugin を利用リポジトリに変更がない場合ビルドを中止出来る Asakusa ソースコードリーディング #4 34

35 Build Pipeline ビルドからリリースまでの処理を多段のジョブで実行 Jenkins Master Jenkins Slave GitHub get request push-hook buildkicker build-main archetype examples deploy buildreport Asakusa ソースコードリーディング #4 35

36 ビルド結果のフィードバック Twitter Asakusa ソースコードリーディング #4 36

37 拡張ポイントを中心に Asakusa Test Driver Source Code Reading Asakusaソースコードリーディング #4 37

38 TestDriver(0.2) のアーキテクチャ概要 ( 再掲 ) Asakusa DSL Compiler Batch Compile Input Resource Preparator Import Resource Import Tgt Import M/R Job Expected Resource Executor Execute M/R Job Verify Resource Test Data Inspector TestDriver Export Resource Export Tgt M/R Job Export Batch App Asakusa ソースコードリーディング #4 38

39 Compiler を詳しくテスト対象の DSL をバッチコンパイル Ashigel Compiler の呼出 DirectFlowCompiler DirectBatchCompiler Asakusa ソースコードリーディング #1 を参照 TestDriver では簡易実行計画を扱うステージの実行計画をトポロジカルソート逐次実行 Asakusa ソースコードリーディング #4 39

40 Preparator を詳しく Asakusa DSL Importer Description Object の生成 Input Resource Source Provider Importer Preparator TestData の流れ SPI DataModel Source Model (Reflection) Model ModelOutput Output Import Resource Import Tgt Test Data Asakusa ソースコードリーディング #4 40

41 SPI で拡張可能な部品 testdriver.core.sourceprovider URI に対応する Model のデータソース (DataModelSource) を提供 ver0.2.1 時点では以下の実装を提供 testdriver.json.jsonsourceprovider testdriver.excel.excelsheetsourceprovider Asakusa ソースコードリーディング #4 41

42 SPI で拡張可能な部品 testdriver.core.importerpreparator Import 対象に対応したモデル出力オブジェクト (ModelOutput) を提供 ver0.2.1 時点では以下の実装を提供 testdriver.file.fileimporterpreparator testdriver.bulkloader.bulkloaderimporterpreparat or Asakusa ソースコードリーディング #4 42

43 ThunderGate/Excel データの場合 Asakusa DSL BulkloaderImpor terdescription Object の生成 Exeel Sheet ExcelSheetSou Source rceprovider BulkloaderImpor terpreparator TestData の流れ SPI ExcelSheetDat DataModel amodelsource Model (Reflection) Table ModelOutput Output MySQL Import Tgt Test Data Asakusa ソースコードリーディング #4 43

44 Executor を詳しくステージに対応するコマンドを順次実行 JobflowInfo ExternalIoCommandProvider ver0.2.1 時点では OS(Linux) 依存のコマンドを出力 Asakusa ソースコードリーディング #4 44

45 Asakusa DSL Inspector を詳しく Exporter Description Object の生成 Expected Resource Source Provider Exporter Retriever TestData の流れ SPI DataModel Source DataModel Source Export Resource Verify Resource Model (Reflection) Model (Reflection) Export Tgt Test Data VerifyRule Provider DataModel Verify Source Rule Asakusa ソースコードリーディング #4 45

46 SPI で拡張可能な部品 testdriver.core.exporterretriever Export 対象に対応した Model のデータソース (DataModelSource) を提供 ver0.2.1 時点では以下の実装を提供 testdriver.file.fileexporterretriever testdriver.bulkloader.bulkloaderexporterretriever Asakusa ソースコードリーディング #4 46

47 SPI で拡張可能な部品 testdriver.core.verifyruleprovider URI に対応する検証ルール解析オブジェクト (VerifyRule) を提供 ver0.2.1 時点では以下の実装を提供 testdriver.excel.excelsheetruleprovider 検証ルールを Java で記述することも可能 testdriver.core.modelverifier Asakusa ソースコードリーディング #4 47

48 拡張してみる例 : 期待値をデータベースに定義するモチベーション Excel のレコード数の上限を超える既存システムのテーブルデータをそのままテストデータに活用ツールでテストデータを作りやすいかも Asakusa ソースコードリーディング #4 48

49 Asakusa DSL SourceProvider を追加 Exporter Description Object の生成 DataBase Table Excel Sheet Source Provider DataModel Source Model (Reflection) DBのTableを扱う Exporter SourceProvider Retriever を追加する DataModel Source Model (Reflection) TestData の流れ SPI Export Resource Export Tgt Test Data VerifyRule Provider DataModel Verify Source Rule Asakusa ソースコードリーディング #4 49

50 実はあります Issue#64:Enable to input expect data from database table. 修正内容 TableSourceProvider を追加 testdriver.bulkloader.tablesourceprovider SPI の定義ファイルを追加 src/main/resources/meta- INF/services/com.asakusafw.testdriver.core.SourceProvider 使い方 URI に以下の文字列を指定 bulkloader:<target_name>:<table_name> 例 : bulkloader:asakusa:order Asakusa ソースコードリーディング #4 50

Asakusa DSL

Asakusa ソースコードリーデゖング #1 - Ashigel Compiler 2011/05/25 あらかわ (@ashigeru) 趣旨コンパラの中身を説明どこに何があるかどんな流れか Asakusa DSL については省略 http://www.slideshare.net/ashigeru/insideof-asakusa-dsl Asakusa ソースコードリーデゖング #1