テストの自動化を見極める

Size: px

Start display at page:

Download "テストの自動化を見極める"

たつやうづき
5 years ago
Views:

1 テストの自動化を見極める Joe Fernandes(Oracle) Alex Di Fonzo(Synchronoss Technologies)

2 テストの自動化にまつわる 3 つの誤った定説 1. テストを自動化するとかならずソフトウェア品質が向上する 2. すべてのアプリケーション開発プロジェクトまたはテストチームにおいて自動化されたテストツールの使用が可能となる 3. 自動テストとは全テストを実施するかまったく実施しないかのどちらかである

3 テストの自動化についての 3 つの現実 1. テストの自動化には高額な初期投資が必要となるが一方で ROI の向上を実現できる 2. 自動テストツールを使いこなすにはスキルとトレーニングが必要である 3. 自動テストを実行している会社でも一部は手動テストをおこなっている

4 テストに関する実際のデータ業界の調査によるとすべての機能テストのうち 75% はまだ手動で実行されている

5 質問 1: 現在でも手動テストへの依存度が高い会社が多いのはなぜですか

6 なぜ手動テストなのか時間 : テストチームが手動テストの代替手段について調べたりツールの使用方法やスクリプトの構築 / 管理方法を学んだりする時間を確保できないアプリケーションの複雑性 : アプリケーションによってはテストの自動化に適していない場合や複雑すぎて自動テストに適していない場合があるスキルセット : テスト実施者 ( ビジネスアナリストなど ) の中にはテスト自動化ツールを使いこなすために必要なスキルを持っていない場合があるコスト : 会社が自動テストツールを所有していなく予算不足でツールに投資できないジョブセキュリティ : テスト実施者または品質保証 (QA) 部門が手動テストに慣れていて十分満足しており自動化を進めることに不安を感じている認識 : 組織自体に自動で実行可能なテストがあるという認識が欠けている

7 質問 2: 手動テストが自動テストよりも適しているのはどのような場合ですか

8 手動テストが適切な場合主観的な検証 : 操作性やルックアンドフィールなど人が主観的に検証する必要があるアプリケーション機能については手動テストが唯一の選択肢となる場合が多い新規機能 / 変更機能 : 開発中の新規アプリケーション機能や頻繁にバージョンアップや変更がおこなわれる機能の場合自動スクリプトの作成は時間の無駄となる可能性がある戦略的開発 : テスト実施者の特別な注意を必要とする戦略的なアプリケーション機能については常に手動でテストを実施したほうがよい場合がある複雑な機能 : とくに複雑なアプリケーション機能の場合テストの自動化には大きな課題が伴う可能性が高い ( 時間およびコスト面での投資が利益を上回る )

9 質問 3: 手動テストの代わりに自動テストをおこなったほうがよいのはどのような場合ですか

10 自動テストが適切な場合リグレッションテスト : 新規バージョンに引き継がれる既存のアプリケーション機能を再テストする場合 ( アプリケーションがまったく新しいものである場合を除き通常は大半が該当 ) スモークテスト : ビルドの品質に関する高水準の評価を迅速に取得しより詳細なテストの実施 / 中止の決定をおこなう場合静的なテストと繰返しテスト : 繰返しが多くテストサイクルごとの変更が比較的少ないテストのタスクを自動化する場合データ駆動型テスト : アプリケーション機能のテストにおいて同一の機能に対して多様な入力や大規模なデータセット ( ログイン検索など ) を使用して検証をおこなう必要がある場合負荷テストとパフォーマンステスト : 代わりに実行できる手動テストがない場合

Oracle Application Quality Management: 品質に対するライフサイクル

Applications 手動テストケースと自動テストスクリプトの開発 Oracle Load

11 Oracle Application Quality Management: 品質に対するライフサイクルアプローチアプリケーション要件に基づくテスト計画の設計 Oracle Test Manager for Web Applications 手動テストケースと自動テストスクリプトの開発 Oracle Load Testing for Web Applications 設計設計設計開発開発開発 Oracle Functional Testing for Web Applications チューニングチューニングチューニングテストテストテスト負荷テストの実行と機能テストの実行によるアプリケーションパフォーマンスアプリケーション要件ののチューニング検証

12 Test Manager for Web Applications テストプロセス管理一元化された Web ベースコンソールからのテストプロセスの管理テスト要件の定義手動 / 自動テストケースの開発欠陥に関する文書化と追跡レポートの作成

13 Functional Testing for Web Applications 機能テスト / リグレッションテスト Web アプリケーションと Web サービスのトランザクションの自動化綿密な機能テストケースの実行自動リグレッションテストスイートの作成機能的なアプリケーション障害の特定と関連レポートの作成機能テストスクリプトの再利用による負荷テストの実施および 24 時間 365 日の監視

14 Load Testing for Web Applications 負荷テスト / パフォーマンステストおよびチューニングエンドユーザーの動作をシミュレートする現実的な負荷テストシナリオの作成何千もの同時ユーザーへの対応が可能なスケーラビリティ機能的なコンテンツ検証の負荷条件下での実行サーバー側のパフォーマンスの監視とエンドユーザーの応答時間との関連づけパフォーマンスボトルネックの特定と解決

15 Synchronoss Technologies

16 著者プロフィール :Alex Di Fonzo Synchronoss Technologies, Inc. で 15 年間にわたり品質保証管理者を務めてきたソフトウェアテスト業界におけるベテラン販売の自動化およびトランザクション管理のシステムに関する幅広い経験を備えている現在とその前のポジションの両方で品質保証部門の開設に携わりゼロから築きあげた経歴をもつ

17 議題 Synchronoss Technologiesの概要会社概要 Synchronoss Technologiesの品質保証 (QA) プロセス / サイクル自動テストか手動テストかを見極める評価プロセス自動化 : 成功のポイント e-testerによる自動化 ROIの自動化 ( コスト対利益 ) まとめ

18 Synchronoss Technologies の概要 Synchronoss Technologies は世界トップランクの通信サービスプロバイダに対してオンデマンドのトランザクション管理ソフトウェアを提供している業界屈指の企業です同社では既存のネットワークを介した高度な有線 / 無線サービスおよび IP サービスの電子サービス開発および管理の自動化同期そして簡易化を実現できるソフトウェアプラットフォームを提供していますニュージャージー州 Bridgewater に本社を置きペンシルベニア州 Bethlehem バージニア州 Herndon ワシントン州 Bellevue にオフィスを構えています

19 Synchronoss Technologies の品質保証 (QA) プロセス / サイクルアプリケーション : 外部と内部の両方で使用簡単な説明トランザクション管理頻繁な機能変更テストプロセス : アジャイルからエクストリームまでプロジェクトクライアントおよびアプリケーション別のテストサイクルわずか6 週間のソフトウェア開発ライフサイクル ( 要件開発テスト ) 2ヵ月に1 度 3 週間のテスト実施

20 自動テストか手動テストかを見極める評価プロセス新機能 - テストケース - 手動テスト - 作業 / 許可 - リリース - リグレッション用自動スクリプト作成自動化機能の評価はプロジェクトチーム全体で担当し全ソフトウェア開発ライフサイクル (SDLC) をとおして実行する必要がある Functional Testing for Web Applications( 旧 e-tester) の使用にかかわらずビルドおよびスクリプト作成を自動ユニットテストを含めて毎晩実施することでビルドファイル DB 構成 GUI の検証が可能

21 自動テストか手動テストかを見極める評価プロセス要件の確認対象機能の自動化が可能かどうか開発に必要なものがある場合それは何かテストケース作成の時期対象機能の自動化が可能かどうか可能な場合はスクリプト作成の簡易化を図るためにテストケースを作成 ( ステップごと ) テスト実行時テストケースが明確で正確かどうか結果は予測可能か期待する結果を得るためにテストを何度も実行する必要があるか

22 自動テストか手動テストかを見極める評価プロセス考慮事項プラスの側面生産性は向上するかテストカバレージは改善されるかテストの正確性は向上するかテストに対して多量のデータ入力が必要か操作はGUI 中心かどうかマイナスの側面人的な介入が必要サードパーティのシステムが必要テストの結果を予測できない機能変更の頻度はどの程度か

23 自動化 : 成功のポイント教訓 80% 安定して変更されない機能を自動化する開発時にはコントロールとフィールドに一意の名前を使用するリグレッションテストをサポートするためのバルクデータロードを見逃さないスクリプトの管理を忘れずに評価に組み込むできる限り一般的なスクリプトを作成する URL ユーザー ID およびパスワード用の制御ファイルを使用する経営陣は常にリグレッションは 100% 自動化すべきであると考えているが達成可能なことを適切に予測するなかでこうした考えをコントロールしていく必要がある

24 Functional Testing for Web Applications ( 旧 e-tester) による自動化必要な要素すべてのコントロールとフィールドに一意の名前がつけられているテストハーネス QA のみが管理をおこなっている安定性の高い環境定評のあるアプリケーション常にデータのロードについて考慮すること - Synchronoss Technologies ではリグレッションテストに使用するデータのロードを自動化することで手動リグレッションテストの生産性を 28% 向上させることに成功機能が変更されたりスクリプト更新が必要となったりするため将来的なテストの評価にはスクリプトの管理を含めること

25 Functional Testing for Web Applications ( 旧 e-tester) による自動化スクリプト管理プロジェクトごとに専用の e-tester デスクトップを使用する自動化に携わるメンバーはプロジェクトチームと協力しあい安定性が高く変更の少ないアプリケーション領域で作業をおこない生産性向上を図れるようにするスクリプト用のネーミング規則を作成しその規則を遵守するスモークテストについては迅速かつ確実に実現できるスクリプトを夜間実行し結果を翌朝確認することで問題の開発について提案をより迅速に実行できる

26 ROI の自動化 ROI 計算時に考慮する項目ツールへの投資習熟期間ツールアプリケーション従業員の仕事に対する満足度実現できること : 夜間のテスト電子メールによるテストレポートの送信それまでと同一または少ない時間でより広範囲のテストカバレージに対応再利用性の高いテストより高速なテストカバレージ実現できないこと : 上記すべての即時実行自動化に対する予測と実際の導入については注意深くコントロールする必要がある

27 まとめ実行すべきことこの文書をガイドラインとして使用し各自のプロセスに合わせて変更する自動化に対する予測をコントロールする QAZone( 現在はOTNからアクセス可 ) を使用してヒントや操作方法情報などを取得する実行すべきでないこと開発チームのサポートなしで自動化を試行したり実際に自動化を実施したりする自動化できることについて過大評価する第三者に自動化に関する予測を設定させる

28 ご清聴ありがとうございました

29 付録

30 追加情報 search.oracle.com または oracle.com

Oracle SQL Developerの移行機能を使用したOracle Databaseへの移行

Oracle SQL Developerの移行機能を使用したOracle Databaseへの移行 < ここに画像を挿入 > Oracle SQL Developer の移行機能を使用した Oracle Database への移行以下の事項は弊社の一般的な製品の方向性に関する概要を説明するものですまた情報提供を唯一の目的とするものでありいかなる契約にも組み込むことはできません以下の事項はマテリアルやコード機能を提供することをコミットメント ( 確約 ) するものではないため購買決定を行う際の判断材料になさらないで下さい