GUI 操作自動化ツールを用いたテスト効率化手法 2016 年 3 月 8 日 /3 月 9 日株式会社富士通コンピュータテクノロジーズ TMP 事業部第二開発部菅野正行 Copyright 2016 FUJITSU COMPUTER TECHNOLOGIES LIMITED

Size: px

Start display at page:

ひろじありの
5 years ago
Views:

1 GUI 操作自動化ツールを用いたテスト効率化手法 2016 年 3 月 8 日 /3 月 9 日株式会社富士通コンピュータテクノロジーズ TMP 事業部第二開発部菅野正行

2 テストツール導入の是非テストにおけるQCDの関係テストツール導入のメリットテストツール導入の実態テストツール導入に向けて 1

3 テストにおける QCD の関係観点目指す方向施策他観点への影響 Quality 対象装置の品質向上テスト内容 / 量の増強テスト設備 / 作業者のレベル, 数の増強テストに要する期間の伸長 ( Delivery 悪化 ) テストに伴う費用の上昇 ( Cost 悪化 ) Cost テストに伴う費用の削減テスト内容 / 量の縮小テスト設備 / 作業者のレベル, 数の縮小障害流出リスクの上昇 ( Quality 悪化 ) テストに要する期間の伸長 ( Delivery 悪化 ) Delivery テストに要する期間短縮テスト内容 / 量の縮小テスト設備 / 作業者のレベル, 数の増強障害流出リスクの上昇 ( Quality 悪化 ) テストに伴う費用の上昇 ( Cost 悪化 ) QCD は相反関係同時達成に向けて施策が必要 2

4 テストツール導入のメリットテストカバレッジ (Q) 条件網羅によるカバレッジ拡大 (Q 向上 ) テストツール適用人手作業のみ自動化による効率化 (D 短縮 C 削減 ) テスト期間 (D) / 工数 (C) テストツール導入は QCD 達成の一助となる 3

5 テストツール導入の実態システムテストのツール導入率システムテストツール未導入理由分からない (14.1%) 導入している (12.9%) 導入コストが高い (35.6%) 手作業の方が早い (30.7%) 導入していない (73.0%) ツールの存在知らず (30.5%) 有効回答 :1204 複数回答有効回答 :1648 出典 : 日経 SYSTEMS(ITpro) 開発支援ツール徹底調査 2011 テスト編テスト自動化における問題点自動化を計画する時間が不足 (63%) 自動化ツール / スクリプトの実行の信頼性 (50%) テストスクリプトの保守コストが高い (44%) 有効回答 :183 複数回答出典 :Dorothy Graham 2014 Test Automation Problems Survey results テストツールの効果を見出せておらず問題点も多い 4

6 テストツール導入に向けてテストツールの導入はメリットがあるものの簡単では無い本発表で導入に向けたポイントを紹介したい 5

7 キャプチャ & リプレイツールとテスト効率化のポイントテストツールの種別キャプチャ & リプレイツール GUI 開発の特徴テスト効率化のポイント 6

8 テストツールの種別静的テストレビューソースコード解析構造解析ツール静的解析ツール動的テストテスト分析テスト設計テスト実装テスト実行要件管理ツール状態遷移ツールスタブユニットテストツール組合せ支援ツールシミュレータ性能テストツール原因結果グラフカバレッジ計測ツールデータジェネレータセキュリティテストツールキャプチャ & リプレイツールテスト管理構成管理ツールテスト結果管理 / レポートツールインシデント管理ツール今回の対象はキャプチャ & リプレイツール 7

9 キャプチャ & リプレイツールスクリプトツールツールツール人手操作 ( キャプチャ ) 自動操作 ( リプレイ ) 自動操作 ( リプレイ ) 人手操作 ( クリック, キー入力 ) をスクリプト化し操作や表示内容確認を自動化ログ機能によりテスト結果のエビデンス取得が可能各種ツールが存在し操作対象のGUIオブジェクトの認識方式が異なる繰返し使用することで効率化が見込める 8

10 GUI 開発の特徴ユーザの要望 ( 使い勝手 ) により頻繁に変更が生じるユーザビリティテスト機能テスト変更した部分変更していない部分機能テスト ( リグレッション ) 多種プラットフォーム (OS ブラウザ等 ) で動作する必要あり PF #1 PF #2 PF #3 新 PF 互換性テスト同じ手順のテストを実施する機会が多い ( キャプチャ & リプレイツールの効果が期待出来る ) 9

11 テスト効率化のポイント如何にしてキャプチャ & リプレイツールを繰返し使用するかを考える 1. 自動化の適用計画立案と活動推進繰返し使用のためには妥当な目標と途中で頓挫しない粘り強さが重要 2. 自動化要件の把握とツールの選定繰返し使用のためにはやりたい事とツールの特徴が合致することが重要 3. テストスクリプト作成の工夫繰返し使用のためにはテストスクリプトの汎用性保守性の向上が重要 10

12 ポイント 1 自動化の適用計画立案と活動推進 11

13 自動化の適用計画立案と活動推進 (1/4) 課題を抽出し自動化の目的を明確にするやり切れていない RT を実施する人依存の作業品質を均一化する...etc 自動化を適用する対象を決めるテストの頻度処理の重要度自動化のしやすさ ( プロジェクトソフトテストの特徴 ) 最初から 100% を求めず小さく始める苦戦した際の軌道修正が容易 100% で無くても効果は得られる効果 30% 100% 自動化率先ずは自動化の目的と対象を決める 12

14 自動化の適用計画立案と活動推進 (2/4) 自動化の向き / 不向き向いている向いていないプロジェクトの特徴仕様が安定仕様が未確定仕様変更が多発ソフトの特徴シンプルな画面操作複雑な画面操作 ( 条件分岐が多い ) テストの特徴リグレッションテスト同一操作を繰返すテスト複数端末で同時に同一操作するテスト ( サーバ負荷テストなど ) 1 度だけ実施するテスト探索的テスト自動化に向いている部分を対象とする 13

15 自動化の適用計画立案と活動推進 (3/4) 投資対効果 (ROI) の算出損益分岐点自動化に要する費目ツール購入費用教育費用スクリプト作成費用保守費用費用 ( 人 H 換算 ) 手作業自動化 0 初回繰返し回数効果を得るための繰返し回数を把握する 14

16 自動化の適用計画立案と活動推進 (4/4) 推進役を設定する適用するツールについて理解しテストスクリプト作成に長けている改善に対して強い想いがあり粘り強く行動出来るツール使用に関するノウハウのドキュメント化とメンバーの教育初回導入の障壁を低減するツール使用をプロセスに定義効果測定とその結果をチームで共有効果や改善点をチーム全員で実感することで継続使用に向けて意思統一自動化をチーム全体の活動へと昇華する 15

17 ポイント 2 自動化要件の把握とツールの選定自動化ツール選定時の検討項目各種自動化ツールの特徴 16

18 自動化ツール選定時の検討項目 (1/2) 自動化するソフトの特徴 [ 例 ] プログラム実装 (Webアプリネイティブアプリ ) カテゴリー ( ビジネスアプリコンシューマアプリ組込みアプリ ) 動作 OS (Windows Linux ios) 動作ハード (PC スマートフォン/ タブレット一般家電 ) 自動化するテスト内容の要件 [ 例 ] 複数環境に対する確認 (OS/ ブラウザの種別や版数 ) 画面の見た目についての確認 17

19 自動化ツール選定時の検討項目 (2/2) ツール使用環境の要件 [ 例 ] ツール自体の動作諸元や性能対象環境へのツールインストール可否 ( リモート環境ローカル環境 ) 他ツールとの連携 (CIツールタスクスケジューラ) その他 [ 例 ] プログラミング技術が無くてもテストスクリプトを作成したい保守サポートや関連情報が充実したツールを使用したい ( 商用 OSS) 既存資産の活用可否ツール選定に際しては複数項目を多角的に検討する 18

20 各種自動化ツールの特徴 (1/2) GUI オブジェクトの操作方式における差異座標方式プロパティ方式 OCR/ 画像方式 y 正常終了 x OK OK オブジェクト ID 名前パス情報...etc OCR OK 画像正常終了 OK 画面上の位置情報 (x,y) に基づきオブジェクトを操作取得したプロパティ情報に基づき該当オブジェクトを認識 / 操作文字列や画像の一致により該当オブジェクトを認識 / 操作 19

21 各種自動化ツールの特徴 (2/2) 操作方式の違いによるメリット / デメリット操作方式主なメリット / デメリット座標方式実行速度が高速テスト対象の変更でオブジェクト位置がズレた場合操作出来ない操作の成否チェックが困難プロパティ方式 OCR/ 画像方式テスト対象の変更でオブジェクト位置がズレても操作可能異なるプラットフォームでも同一のテストスクリプトが動作可能動作可否が対象ソフトの実装方法に依存するリモート先のソフトは操作出来ないリモート先のソフトを操作可能オブジェクトの位置ズレも対応可オブジェクトの見た目のチェックが可能実行速度が遅い (OCR) OS/ ブラウザのテーマ変更に伴い認識出来ない可能性あり ( 画像 ) 自分達の自動化要件を満たすツールを採用する 20

22 ポイント 3 テストスクリプト作成の工夫 21

23 テストスクリプト作成の工夫 (1/3) 自動化の取組みを継続するにあたりスクリプトが重要となる対象ソフト改版サポートプラットフォーム拡充テストケースの追加 / 削除に伴いスクリプトのメンテナンスが発生自動化の取組みが途中で頓挫する主要因はスクリプトのメンテナンスの停滞テストスクリプトの作成技術は一般的なプログラミング技術に通ずるリニアスクリプトデータ駆動構造化部品化 / 共有スクリプト作成者 / 保守者はプログラミング技術を有することが理想メンテナンスし易いテストスクリプトを作成する 22

24 テストスクリプト作成の工夫 (2/3) データ駆動スクリプト A アプリ起動 C: Application に移動 TestCase.doc を保存スクリプトB スクリプト C アプリ起動ディレクトリファイル 1 C: Application TestCase.doc 2 D: user Result.doc 3 4 テストデータ新規テストケース追加可能アプリ終了アプリ起動 D: user に移動 Result.doc を保存ディレクトリに移動ファイルを保存アプリ終了アプリ終了複数テストケースを同一スクリプトで実現テストケースの追加 / 削除の容易化が見込める 23

25 テストスクリプト作成の工夫 (3/3) Loop 命令 IF 命令による構造化手順 A C: user に移動 C: user に移動 100 回繰り返し手順 A... 手順 A Loop (100 回 ) 手順 A XXXX.doc を保存アプリ終了上書きの場合動作が途中停止 XXXX.doc を保存 IF ( 上書きしますか? ) OKを押下アプリ終了部品化複数テストでの共有テストA 操作テストB 操作スクリプトA スクリプトB ログイン手順 1 手順 2 ログイン手順 3 手順 4 部品化テストA 操作ログインスクリプトログインスクリプトログイン手順ログイン 1スクリプト共有手順手順 2スクリプト 1 手順手順 3スクリプト 2 手順 1スクリプト手順 3スクリプト手順手順 4スクリプト 3 手順修正箇所の局所化汎用性向上が見込めるテストB 操作ログインスクリプトログイン手順 1 手順 3 24

26 GENEST の適用事例 FUJITSU Embedded System QualityPartner GENEST GENEST の特長 GENEST の適用事例 GENEST に御興味がある方へ 25

GENEST の特長 (1/2) 文字認識 (OCR) 画像解析座標方式で自動化を実現 1.

リプレイ時 ) 文字認識 (OCR) 画像解析表示文字の画面仕様を確認 GENEST で自動化できます

多様な OS/ ブラウザ環境に対し同一のテストスクリプトが動作可能一つのテストスクリプト Windows

27 GENEST の特長 (1/2) 文字認識 (OCR) 画像解析座標方式で自動化を実現 1. 人間と同等に操作位置や表示内容良否の判断が可能表示位置の変更に追随して操作確認 ( キャプチャ時 ) ( リプレイ時 ) 文字認識 (OCR) 画像解析表示文字の画面仕様を確認 GENEST で自動化できます文字の欠け予期しない文字折返し画像の埋め込み文字 2. 多様な OS/ ブラウザ環境に対し同一のテストスクリプトが動作可能一つのテストスクリプト Windows 7 + Firefox GENEST Windows Internet Explorer 9 Windows Internet Explorer 10 26

28 GENEST の特長 (2/2) 3. ターゲットにツールをインストールせずリモート端末上で自動化が可能 GENEST リモートデスクトップエミュレータ自動化ターゲット 4. 結果レポートを実行エビデンス生成手順書作成に活用可能マウス操作キーイベント毎に画面キャプチャ 27

29 GENEST の適用事例ストレージ装置の GUI のリグレッションテストを効率化既存ツールで自動化出来なかった項目を自動化年間の作業日数を大幅低減仮想化インフラの統合管理ツールのテスト準備を効率化既存ツールと比較しスクリプト作成が容易で汎用性が高い複数テスト環境のスクリプト作成 / 修正の工数削減小型監視サーバのシステムテストを効率化 27.4 日既存ツールユーザ操作の繰返しテストに即時適用し工程遅延を挽回 14.8 人月既存ツール 94 % 削減 2.4 日 GENEST 30 % 削減 10.4 人月 GENEST 28

30 GENEST に御興味がある方へ御興味がある方は富士通ブースで詳しい説明いたします無料トライアル版も用意しております FUJITSU Embedded System QualityPartner GENEST 富士通自動化ツール製品紹介 URL 29

31 最後に本発表で紹介したテスト効率化のポイント 1. 自動化の適用計画立案と活動推進 2. 自動化要件の把握とツールの選定 3. テストスクリプト作成の工夫テストの自動化は自動的には成されない人間による計画, 準備, 実践, 改善があってこそテストの自動化は成され効果を上げる本資料に記載されている製品名などの固有名詞は各社の商標または登録商標です 30

D5-2_S _003.pptx

D5-2_S _003.pptx JaSST 14 Tokyo セッション D5-2 10:30~11:00(30 分 ) キーワード駆動テストを用いた GUI テスト自動化による工期短縮実現への取り組み 2014 年 3 月 8 日株式会社 NTT データ技術開発本部プロアクティブテスティング COE 小林由依 0. 自己紹介 n 氏名 Ø 小林由依 n 所属 Ø 株式会社 NTT データ技術開発本部プロジェクトマネジメント

GUI 操作自動化ツールを用いた テスト効率化手法 2016 年 3 月 8 日 /3 月 9 日株式会社富士通コンピュータテクノロジーズ TMP 事業部第二開発部菅野正行 Copyright 2016 FUJITSU COMPUTER TECHNOLOGIES LIMITED

GUI 操作自動化ツールを用いたテスト効率化手法 2016 年 3 月 8 日 /3 月 9 日株式会社富士通コンピュータテクノロジーズ TMP 事業部第二開発部菅野正行 Copyright 2016 FUJITSU COMPUTER TECHNOLOGIES LIMITED