システム操作インターフェイス最適化によるテスト自動化ROI向上

Size: px

Start display at page:

Download "システム操作インターフェイス最適化によるテスト自動化ROI向上"

あきみしんまつ
4 years ago
Views:

1 SQiP2014 システム操作インターフェイス最適化によるテスト自動化 ROI 向上 Improvement in test automation ROI by system manipulation interface optimization 石川達也株式会社 Codeer 発表要旨 : 本発表ではシステムテストを自動化する際にアプリケーションをテストプログラムから操作するインターフェイスを最適化する手法とそれにより得られる効果を述べる一般的にシステムテストの自動化はフロントエンドのアプリケーションの GUI 入力をエミュレートすることが多いしかし GUI は人間用に設計されておりプログラムからの操作に適していない実際に問題になった点を挙げる不安定なテストになる ( タイミング依存で成否が変わる ) 技術的にブラックボックス性が高く失敗理由の解析が困難プロダクト変更時のメンテコストが高いテストシナリオの可読性が悪い操作不可能なケースも多々ある問題が積み重なると解消するためのコストが増大する逆にこれらの問題が発生しないインターフェイスが用意できれば十分な ROI を確保できるといえる本発表では操作用インターフェイスとして GUI だけでなく API も利用する方法とその際ユーザー操作とは異なるインターフェイスを使うことに関してのトレードオフを実例を交え紹介するまたテストシナリオから使うインターフェイスを洗練させる手法としてアプリケーションドライバ (Web でいうところの PageObject) も合わせて紹介するキーワード : システムテスト自動化テストプログラム設計アプリケーションドライバシステム公開 API 想定している聴衆システムテスト自動化に興味を持つ人 Windows アプリ開発関係者発表者の紹介株式会社 Codeer 代表取締役 Microsoft MVP for C# Windows アプリテスト自動化歴 9 年 Windows アプリ操作用ライブラリ Friendly 開発者

2 システム操作インターフェイス最適化によるテスト自動化 ROI 向上株式会社 Codeer 石川達也

3 ご相談を受けた企業様の悩みで多いものシステムテスト自動化やったことあるんだけど効果が出なくて

4 作業と ROI 要素を分析仕様変更等でメンテ作成成功指定のケースではデグレがなかったという情報を取得できた! エラー! 実行 BugFix テストの作りが悪くて不安定結果解析が運用コストとなる

5 課題 1 自動実行不安定仕様変更等でメンテ作成運用コストが想定以上に発生している回帰テストなのでランニングコスト化成功指定のケースではデグレがなかったという情報を取得できた! エラー! 実行モチベーション低下テストに対する不信感も BugFix テストの作りが悪くて不安定結果解析が運用コストとなる

6 課題 2 自動化テストケース数が少ない仕様変更等でメンテ成功指定のケースではデグレがなかったという情報を取得できた! でも実行技術工数の都合で作れるケースに限界があるテスト成功時の情報の価値が低いエラー! デグレ検出できないケースが多い成功しても次のアクションに繋げづらい BugFix ( リファクタリングリリース判断等 ) テストの作りが悪くて不安定結果解析が運用コストとなる

7 課題 12 の共通問題対象アプリ操作インターフェイスココ簡単に思い通りに操作するためのインターフェイスがあれば多くのテストケースを自動化できるまた安定して動作させることも可能 Friendly を導入

Friendly 紹介基本機能内部メソッドを実行させる DLL インジェクション public partial class MainForm : Form { string Func(int string Func(int value){} value) { } } // テストプロセス public void Test() { //

8 Friendly 紹介基本機能内部メソッドを実行させる DLL インジェクション public partial class MainForm : Form { string Func(int string Func(int value){} value) { } } // テストプロセス public void Test() { // 呼び出し form.func(3); } //Dll インジェクション! WindowsAppExpander. LoadAssembly(app,GetType().Assembly); 内部メソッドを呼び出せるので操作自由度が高い単体テストのようにプロダクトコードを変更してテスタビリティーを向上させる ( 操作性を向上させる ) ことが可能

9 Friendly の上位ライブラリ紹介 GUI 操作ライブラリ Win32 WinForms WPF 記述性 UP PinInterface 基本内部メソッド操作 DLL インジェクション Friendly.Windows.NativeStandardControls Friendly.FormsStandardControls Friendly.WPFStandardControls Friendly.PinInterface 安定性した操作が可能高い拡張性がある

10 対策 GUI 操作を Friendly の上位ライブラリに変更操作対象メリットデメリット技術 1OS 層 (Key,Mouse) 2GUI コントロール層ある意味万能ユーザー操作に最も近い安定高速リッチなインターフェイス不安定低速 Key,Mouse との結合はカバーしない提供されていないコントロールもある SendInput Friendly UIAutomation 一部の Win32API テストの主目的は OS と各 GUI ライブラリの結合ではない安定性実装容易性を重視課題 12 へ効果

11 対策操作可能な GUI を増やした Friendly 上位ライブラリがサポートしていないコントロールに関して ( サードパーティー提供コントロール自作コントロール ) 通常のプログラムに使用するインターフェイスと Friendly を使って操作ライブラリを作成各プロジェクトのコントロール使用状況プロジェクトA 全て標準プロジェクトB 表に関してサードパーティーのコントロールを使用プロジェクトC 9 割以上の画面にサードパーティーもしくは自作のコントロールがあった B C ではこれにより安定した操作を簡単に実装できるようになった課題 12 へ効果

12 対策自動化困難で効果の低い部分の分離 // ここの結合は不安が少ない void Event(object sender, EventArgs e) { EventCore(PointToClient(Control. MousePosition)); } // これを Friendly で呼び出す void EventCore(Point mouseposclient) { // ここから先のロジックをテストしたい } キーマウス直接参照 D&D OS 提供の GUI etc プロダクトを変更効果の高い部分のみ呼び出せるようにした課題 2 へ効果

13 対策ユーザー実装による不安定の対応原因タイミング依存の不具合タイマ非同期処理描画イベントを利用した実装対応不具合修正テスト時は同期にする確実に同期がとれる情報を参照する例 ) 不安定な処理の周辺のテストを 86 ケース投入してから安定するまでテストにも問題があり 3 日目に気づいて修正エラー数 CI 環境投入前に単体では全ケース成功することを確認しているプロダクト自体タイミング依存の不具合があったので修正テストも安定性を考慮した記述方法に変更 4 日目からはこのテストの運用コストは発生していない 1 日目にプロダクトの不具合を突き止め修正課題 1 へ効果

14 対策実装工数が大きいものは GUI 操作を省略コアなロジックサーバーと通信分析の結果この範囲のテストを自動化できたら十分効果アリと判断例 ) システムテスト自動化を実施したいが GUI 操作で実行するには困難で諦めていたしかし分析の結果品質を確認したい部分は GUI ではなかったので内部メソッドを利用約 5 千ケースが自動化された課題 2 へ効果

15 対策実行時間がかかりすぎるものは GUI 操作を省略例 ) 文字列のパースをする処理がありそれはアプリの様々な設定によりパース結果が変わるしかもレガシーコード ( 単体化が困難 ) 求められるテストケースは 15 万ケース設定 A 設定 B 設定 C 入力種類実行平均時間合計手動 30 秒 1250 時間自動 GUI 操作 2 秒 83 時間自動内部メソッド 10ミリ秒 24 分 Dailyで回帰化可能な時間に! 時間がかかりすぎると Daily の回帰環境に組み込めない分散させることも可能実際そうしたケースもあるただ分散には大がかりな仕組みが必要になるシンプルに速くなれば開発者のローカル PC でも実行可能課題 2 へ効果

$課題 3 テスト作成に内部仕様の知識が必要いくつかテストケースを実装した段階で気づきがあった class InputWindow : Window { TextBox _name; DatePicker _founding; DataGrid _member; Button _ok; public void Func() { } } // テストコード // 変数名を知っている必要がある$

16 課題 3 テスト作成に内部仕様の知識が必要いくつかテストケースを実装した段階で気づきがあった class InputWindow : Window { TextBox _name; DatePicker _founding; DataGrid _member; Button _ok; public void Func() { } } // テストコード // 変数名を知っている必要がある var _name = new WPFTextBox(window._name); var _founding = new WPFDatePicker(window._founding); var _member = new WPFDataGrid(window._ member); var _ok = new WPFButtonBase(window._ok); // 内部メソッドを知っている必要がある Window.Func();

17 対策アプリケーションドライバを導入テストプロセス 1 アプリケーションドライバ.dll 2 テストシナリオ.dll 1 のインターフェイスは技術的要素がどうしても入るまた内部仕様も現れるそういったものはテストシナリオからは使いたくないアプリケーションドライバテストシナリオ記述すること内部仕様に依存する処理複雑な処理テストケース ( できるだけシンプルに ) 実装に必要な知識内部仕様 C# 基本的なプログラム設計能力外部仕様基本的なC# の知識書籍継続的デリバリー参照

18 対策アプリケーションドライバを導入テストケース作成プロダクト開発者以外に負荷を分散できるようになった結果テストケース開発効率が上がったまたケース追加時に安定化された操作を容易に使いまわせるようになったテストケースメンテ仕様変更内部実装変更時の対応箇所が最小化されたコード量が減った行数で約 35% 減テストシナリオの可読性 Up 課題 123 へ効果

19 A 社改善の成果テスト不安定によるエラー発生数 ( 異なる期間で 3 カ月 ) Before After 課題 1 に対して改善前はほぼ毎日結果を解析してプロダクトに問題がないことを確認する必要があった ( 半自動 ) 改善後は不安定なテストが混入することはあるが即座に対応して安定化させることができた自動化ケース数課題 2 に対してテストケース数を増やすことに成功部分的にリリースリファクタリング実行の判断に使うことができるようになった最終に実施する手動テスト数も減らすことに成功 Before After

20 まとめ対象アプリ操作インターフェイス目的に応じて最適な操作方法を選ぶことにより運用コストを下げることができたまた操作の幅が広がりテストケース数も増やすことができたアプリケーションドラバ自動化はテストプログラムの作成であるそのため設計実装の品質により作成メンテコストは変わるアプリケーションドライバを利用することによりテストプログラムの品質を上げテストケース追加メンテコストを抑えることができたまた作成可能なメンバーが増えたので結果としてテストケース数増加にもつながった

システム操作インターフェイス最適化によるテスト自動化ROI向上

システム操作インターフェイス最適化によるテスト自動化ROI向上システム操作インターフェイス最適化によるテスト自動化 ROI 向上株式会社 Codeer 石川達也 e-mail:ishikawa-tatsuya@codeer.co.jp ご相談を受けた企業様の悩みで多いものシステムテスト自動化やったことあるんだけど効果が出なくて作業と ROI 要素を分析仕様変更等でメンテ作成成功指定のケースではデグレがなかったという情報を取得できた! エラー!