自己紹介熊川一平 ( くまがわいっぺい ) 株式会社 NTTデータ技術革新統括本部システム技術本部生産技術部プロジェクトマネジメントソリューションセンタ課長代理テスト品質保証に関する技術支援研究開発テスト自動化ツールの適用検討など社内案件の支援に従事執筆講演歴 ITPro( 日経 BP

Size: px

Start display at page:

Download "自己紹介熊川一平 ( くまがわいっぺい ) 株式会社 NTTデータ技術革新統括本部システム技術本部生産技術部プロジェクトマネジメントソリューションセンタ課長代理テスト品質保証に関する技術支援研究開発テスト自動化ツールの適用検討など社内案件の支援に従事執筆講演歴 ITPro( 日経 BP"

やすもりあいきょう
5 years ago
Views:

1 Session Based Test Management による探索的テストの実践株式会社 NTT データ技術革新統括本部生産技術部熊川一平 2017 NTT DATA Corporation

2 自己紹介熊川一平 ( くまがわいっぺい ) 株式会社 NTTデータ技術革新統括本部システム技術本部生産技術部プロジェクトマネジメントソリューションセンタ課長代理テスト品質保証に関する技術支援研究開発テスト自動化ツールの適用検討など社内案件の支援に従事執筆講演歴 ITPro( 日経 BP 社 ) 実践! テスト自動化の勘所 ~ 実装実行の自動化 Micro Focus テストソリューションカンファレンステストツールを使ったプロセス改善のコツ NTT データが教えます Borland ソリューションカンファレンステスト自動化を成功させるには? ~NTT データの事例 ~ JaSST 14 Tokyo ベストスピーカー賞探索的テストを活用したシステム開発手法ソフトウェア品質シンポジウム 2017 SQiP Best Report Effective Award Session Based Test Management による探索的テストの実践弊社コラムイマ旬への掲載多数 NTT DATA Corporation 2

3 そもそも探索的テストって? 2017 NTT DATA Corporation 3

4 探索的テストとは? Exploratory testing is simultaneous learning, test design, and test execution. (James Bach) 探索的テストは学習テスト設計テスト実行を並行して実施するものである 2017 NTT DATA Corporation 4

5 探索的テストとは? 単体テスト負荷テストホワイトボックステストベータテストスモークテストユーザビリティテストユニットテスト機能テスト受入テストテストという言葉はセキュリティテストビッグバンテストブラックボックステストシステムテスト山ほど存在する境界値テスト性能テスト総合テスト結合テスト探索的テスト組合せテストアドホックテスト回帰テスト非機能テストモンキーテスト 2017 NTT DATA Corporation 5

6 探索的テストと探索的テストに似ているもの Ad-hoc Testing アドホック (ad hoc) は特定の目的のための限定目的のなどといった意味のラテン語の語句である (wikipedia より ) その場で思い付いた項目を実行するだけでテスト計画なしに行われるソフトウェアテストのこと経験あるテスト技術者によるアドホックテストは計画的なテストが行き詰っている場合に有益なテストとみなされることがあるこれは伝統的にはエラー推測近年では探索的テストとも呼ばれる (ITmedia より ) Monkey Testing プログラムのテスト方法の一つで猿に実機を渡して無茶苦茶にイベントを発生させ装置が問題なく動くかどうかを確認するストレステストアドホックテストともいう ( 通信用語の基礎知識より ) Exploratory Testing テスト対象として与えられたソフトウェアにおいて起こりそうなバグを推測してそれを検出するテストケースを設計すること経験ベースのテスト技法に分類される (ITmedia より ) 2017 NTT DATA Corporation 6

7 バグを探索するということ探索的テストのモデル ( 探索的テスト研究会 ) 2017 NTT DATA Corporation 7

8 バグを探索するということ猿のように何も考えず打鍵するのではない考えて頭の中でテストケースを設計してテストを行うのが探索的テストだモンキーテスト探索的テストのモデル ( 探索的テスト研究会 ) 2017 NTT DATA Corporation 8

9 バグを探索するということその場で思いついたことをやるだけではない実行した結果を観察してさらに思考を深めてテストを実行していくのが探索的テストだアドホックテスト探索的テストのモデル ( 探索的テスト研究会 ) 2017 NTT DATA Corporation 9

10 例 : 探索するということ乗り換え案内出発日時 : 出発地目的地 _ 検索出発日時が自由入力できる存在しない日付を入れてみたらどうなるだろう? 2017 NTT DATA Corporation 10

11 例 : 探索するということ _ _ 乗り換え案内乗り換え案内出発日時 : 2017/13/32 システムエラーが発生しました! 出発地目的地検索検索ボタンを押して数秒後 java.xxxx.dateformatexception :line 28 :line 127 TOP ページに戻るやった! バグ発見!! 2017 NTT DATA Corporation 11

12 例 : 探索するということ _ _ 乗り換え案内出発日時 : 2017/13/32 乗り換え案内システムエラーが発生しました! 出発地目的地ここで終わるのが検索ボタンを押して数秒後検索 java.xxxx.dateformatexception :line 28 :line 127 TOP ページに戻るアドホックテストだと思うやった! バグ発見!! 2017 NTT DATA Corporation 12

13 例 : 探索するということ他にシステムエラーを起こせないか? 他の FormatException はないか? 妙に処理時間が長い無駄な処理をしている? 例外のログからセキュリティホールをつけないか? システムエラーの後 TOP ページに戻ると状態が変わっていないか? 存在しない出発地や目的地だとどうなる? 2017 NTT DATA Corporation 13

14 例 : 探索するということテスト実行後のふるまいを観察し他にシステムエラーを起こせないか? 他のFormatException はないか? て更なるテストにつなげて妙に処理時間が長い無駄な処理をしている? バグを探索する例外のログからセキュリティホールをつけないか? システムエラーの後 TOP ページに戻ると状態が変わっていないか? 存在しない出発地や目的地だとどうなる? 2017 NTT DATA Corporation 14

15 問題定義 2017 NTT DATA Corporation 15

16 IT サービス業界における SIer の役割 IT コンサル IT ノウハウの支援要求条件発注者完成責任システムインテグレーター (SIer) ( 全体のコーディネイト ) ハードウエアパッケージソフトウエアソフトウエア開発ネットワークハードベンダー各社パッケージソフト会社ソフトハウス各社通信会社 2017 NTT DATA Corporation 16

17 当社における探索的テストの利用方法 Verification の役割を担う両者を組み合わせたテストプロセス Validation の役割を担う両者を上手に組み合わせることでシステムの不具合を抽出することを狙っている 2017 NTT DATA Corporation 17

18 当社における探索的テスト適用の課題 ( 一例 ) テスト結果報告書報告テストケース表進捗報告資料結果や状況が監査可能な状態で残らない? 報告 2017 NTT DATA Corporation 18

19 SIer におけるテストプロセスの特徴 SIer のテストではテストに可監査性客観性が強く求められる結果や状況が報告されないテスト管理されていないテストは SIer の業務では受け入れられがたい投資者利用者責任期間 SI 他人なことが多い他人なことが多い大きい長いことが多い自社開発自分自分 / 他人大きい長い日曜プログラマ自分自分小さい短い 2017 NTT DATA Corporation 19

20 探索的テストのテスト管理を改善するテスト管理のカテゴリ (JSTQB Foundation Level シラバスより ) 探索的テスト実施時のテスト管理上の問題点テスト計画作業と見積もりテストの内容や作業量はテスターに依存しておりテストの総量がわからないテスト進捗のモニタリングとコントロール総量が不明確なためテストの進捗状況を把握することができないテストの実施内容がテスターに依存しており不透明になっているテスト組織テスター任せになっており明確な役割 ( ロール ) が存在しない構成管理どのバージョンのアプリケーションに対してどの程度テストを行ったかわからないリスクとテストテストの実施順序や優先度はテスター任せであるインシデント管理テストに関する記録がなく軽微なインシデントや改善項目の報告が開発者の混乱を産んでいる改善目標事前にリソース割り当てを計画できること作業量の見積もりができることテストの開始 / 終了基準が明確にできること進捗状況をメトリクスで確認できることテストレポートが残されることテストの結果やレポートによって方向性をコントロールできることテストに関わる担当者の役割 ( ロール ) が明確にできることテスト対象アプリケーションのバージョンごとにテストを行った総量が確認できることテストの優先度が設定できることリスクの再評価が可能であること開発担当者や関係者に必要に応じて問題の特定抽出解決に向けたフィードバックができること 2017 NTT DATA Corporation 20

21 ソリューション提案 2017 NTT DATA Corporation 21

22 セッションの単位を導入してテストを管理するこのような問題に対し当社では Session-based Test Management(*1) を用いた探索的テストの管理手法を実践しています Session-based Test Management ではテストをセッションと呼ばれる時間枠 (2 時間未満ぐらい ) で管理します記述式テスト探索的テスト事前に定義したテストケースを使って管理するセッション 1 セッション 2 セッション 3 セッションと呼ばれる時間の枠を使って管理するこうした管理単位を持つことが管理の一助になります例えば見積もりや進捗ではセッションを単位とした報告が可能となります ( 例 ) セッション単位で見積もりと進捗管理を行うことができるセッション単位でテストの指示とレポートを行うことができる (*1) Session-Based Test Management,Jonathan Bach, first published in Software Testing and Quality Engineering magazine, 11/ NTT DATA Corporation 22

23 セッション単位で見積もりと進捗管理を行うテスターが 1 日に実施するセッション数の上限を定義することでセッション数の見積もりや進捗の状況を把握できるようになる 2017 NTT DATA Corporation 23

24 セッションシートを使ってテストの指示とレポートを行うセッションではセッションシートと呼ばれるアイテムを利用しますテスト管理者はセッションシートを用いてテスターへ指示を行うことができますまたテスターはテスト結果をセッションシートに記入することができます 2017 NTT DATA Corporation 24

25 チャーター部の記入内容完全にテスター任せにすると管理されたテストにはならない事前にテスト内容を決めすぎると記述式テストに近づいて行ってしまう曖昧テスト仕様の明文化度合い厳格チャーターミッション探索的テストらしさを失わずかつ管理可能なちょうどいいレベルでチャーターを書くためにツアー (*2) の概念を導入何をテストするか? どんなバグを見つけたいか? そのためにどんなアイテムを使うか? 購入取り消し業務取り消しに失敗してしまうバグユーザーマニュアルツアー利用するツアー名ガイドブックツアー (*2) James A.Whittaker, Exploratory Software Testing,Addison-Wesley Professional, NTT DATA Corporation 25

26 レポート部の記入内容レポートテスター名実施時間チャーター適合率 (%) 豊洲太郎探索以外のことに時間をとられていないか確認するために時間を記入する ( 超概算 ) バグの探索とテスト実行 ( 分 ) 40 バグの調査とレポーティング ( 分 ) 10 テストの準備やセッションシートの執筆 ( 分 ) 20 80% テスト中の気付きテスト中に遭遇した課題見つけたバグの数 ( 個 ) バグの概要いきなりバグ票を書かない管理者が一次受けを担当する取り消しボタン押下後のレスポンスが遅い購入取り消し画面に行く方法がわかりづらい商品データベースの更新に時間が掛かってしまうテスト環境に関する問い合わせが多くテストが中断されがちになっている次のテストのヒントにするために気付いたことは何でも書けるようにしておく 1. 同じ商品の購入取り消しを複数回実施すると出力される帳票の区別がつかなくなってしまいオペレーターの業務に支障が出る可能性がある 2. エンドユーザーが商品購入手続きを行っている最中にオペレーターが別の商品の購入を取り消すとエラーが発生して購入取り消しができない 2017 NTT DATA Corporation 26 チャーター部の狙いが遂行されたか確認するため適合率を記入する ( 超概算 ) 2

27 テストの結果を分析する探索的テストにセッションという単位を持ち込むことで結果の集計 / 分析が可能になる機能一覧ガイドブックツアーマネーツアーランドマークツアーテスト対象ツアーのマトリクスを書き実施したセッション数を集計することでテストの偏りを確認することが出来る登録機能照会機能削除機能テスト対象ごとのバグ摘出数と完了セッション数を対比することでバグ発生源の偏りを確認することができる登録機能照会機能削除機能完了セッション数バグ摘出数 2017 NTT DATA Corporation 27

28 テストの方向性を制御する前述のようなテスト結果の分析やセッションシート ( レポート部 ) からのフィードバックを日次で確認することによって新たなリスクへの対応をタイムリーにとることが出来る 2017 NTT DATA Corporation 28

29 テスター間の情報共有日次で分析するために全テスター + テスト管理者で報告会を開催する前頁のテストの方向性を見直す材料を引き出せるだけでなくテスター間の情報共有 & 教育を行うことができる報告会の 5 つの観点 (PROOF) P(Past) R(Result) O(Obstacles) O(Outlook) F(Feeling) セッション中に起きたことセッションで達成できたことテストを実施する上で邪魔になっていること次に実施することまたは継続して実施することテスト中に感じたことテスト管理者は上記の 5 つの観点を引き出せるように報告会を運営するまたテストの方向性を制御する以外にもテスターがバグを探索する上での阻害要因を特定し排除するように活動する責務を負う 2017 NTT DATA Corporation 29

30 情報共有はテスターを育てるドメイン知識を育てる製品や機能の使い方 / 目的ユーザの目線 / 感じ方製品や機能の一貫性バグへの嗅覚を育てる他のテスターがどんなことを考えてテストをしているかどんなバグが実際に見つかっているかどんなことから怪しさを感じているか他のテスターがやっていないことは何か 2017 NTT DATA Corporation 30

31 探索的テストにおける結果検証 _ _ 乗り換え案内乗り換え案内出発日時 : 出発地目的地 2017/3/10 豊洲飯田橋検索豊洲有楽町東京飯田橋有楽町線山手線中央線豊洲から有楽町線で 1 本で行けるはず! おかしい! バグだ! 2017 NTT DATA Corporation 31

32 探索的テストにおける結果検証 _ _ 乗り換え案内乗り換え案内出発日時 : 出発地目的地 2017/3/10 飯田橋飯田橋飯田橋徒歩検索出発地を省略したら目的地だけで検索されたこれはいいのか? 2017 NTT DATA Corporation 32

33 探索的テストにおける結果検証 _ _ 乗り換え案内乗り換え案内出発日時 : 出発地目的地 2017/3/10 飯田橋飯田橋徒歩バグに気付くかどうか飯田橋検索非常に難しい出発地を省略したら目的地だけで検索されたこれはいいのか? 2017 NTT DATA Corporation 33

34 メンタルモデルとの比較探索的テストでは仕様書からテスト項目を作らないので期待結果が必ず仕様書にあるとは限らないそれに仕様書通りだからといって顧客の要求通りとは限らない ( 仕様バグがすり抜けてしまう ) 探索的テストの結果検証ではメンタルモデルとの比較を行いましょうメンタルモデル (Wikipedia より ) メンタルモデルは外界の現実を仮説的に説明するべく構築された内的な記号または表現であり認識と意思決定において重要な役割を果たすメンタルモデルが構築されると時間とエネルギーを節約する手段として慎重に考慮された分析を置換する 2017 NTT DATA Corporation 34

35 メンタルモデル人が無意識にその対象に期待していること振る舞いのモデル無意識的に期待していることを裏切られた = 不具合という形で利用する例えばライオンは怖い野生のライオンに遭遇したら逃げるべきだボタンを押したらウィンドウは閉じるはずだ申請ボタンを連続して押しても 1 回しか処理されないべきだ注文した商品の履歴は注文履歴ページで確認できるべきだシンプルなパスワード (1111,password,aaaaa) は設定できないべきだエラー画面ではどんなエラーが起きたか通知すべきだ 2017 NTT DATA Corporation 35

36 メンタルモデルの学習と成長人によって持っているメンタルモデルは異なるので当然結果は異なるそもそも仕様書に書かれていないのでそれを不具合と捉えるかどうかは慎重な判断が必要である但し人のメンタルモデルは成長させることができるテストを続ける中で観察を続けテスト対象の知識や経験を蓄積できるペアテストは学習スピードを上げる 2017 NTT DATA Corporation 36

37 メンタルモデルの学習と成長人によって持っているメンタルモデルは異なるので当然結果は異なるそもそも仕様書に書かれていないのでそれを不具合と捉えるかどうかは慎重な判断が必要である但し人のメンタルモデルは成長させることができる探索的テストでバグが見つかるかどうかは人に依存するテストを続ける中で観察を続けテスト対象の知識や経験を蓄積できるが人も成長させることはできる情報共有は人を育てるペアテストは学習スピードを上げる 2017 NTT DATA Corporation 37

38 実績 2017 NTT DATA Corporation 38

39 改善結果テスト管理のカテゴリ (JSTQB Foundation Level シラバスより ) テスト計画作業と見積もりテスト進捗のモニタリングとコントロール改善目標事前にリソース割り当てを計画できること作業量の見積もりができることテストの開始 / 終了基準が明確にできること進捗状況をメトリクスで確認できることテストレポートが残されることテストの結果やレポートによって方向性をコントロールできることテスト組織テストに関わる担当者の役割 ( ロール ) が明確にできること構成管理テスト対象アプリケーションのバージョンごとにテストを行った総量が確認できることリスクとテストテストの優先度が設定できることリスクの再評価が可能であることインシデント管理開発担当者や関係者に必要に応じて問題の特定抽出解決に向けたフィードバックができること 2017 NTT DATA Corporation 39 実施結果セッションシートを使うことで事前にリソースの割り当てができた 1 日あたりの目標セッション数を定義することで総セッション数 ( テストの終了基準 ) を明確にし作業量の見積もりをすることが出来たセッションシートの消化状況をメトリクスとして進捗状況を把握できるようになったセッションシートのレポート内容に次に実施すべきテストの内容を検討しセッションシートを追加することでより効率的にバグを見つけられるようテストの方向性をコントロールすることができたテスト管理者とテスターを明確に分けることができたセッションシートのレポート部にテスト対象のバージョン番号などを記載することでセッション実施数を把握することができたセッションシートごとに優先度を設定できたリスクの再評価に応じて優先度の見直しができたセッションシートに記録することで問題のフィードバックが可能となったまたテスト管理者が問題の一次受けをすることで開発者に多量のフィードバックが一度にわたらないようコントロールすることができた

40 適用事例 : 某団体向け基幹システム更改プロジェクトテスト管理者 1 名テスター 5 名の体制で探索的テストを実施 Session-based Test Management を導入し 1 日 3 セッション / 人を目標値に設定した上でテスト管理を実行実際の進捗報告資料 ( 一部抜粋 ) 若干の遅れが出ており実施期間の見直しなどが指示された 2017 NTT DATA Corporation 40

41 適用事例 : 某団体向け基幹システム更改プロジェクト実際の結果分析資料 ( 一部抜粋 ) 機能 D にバグが集中していることから機能 D に対して追加のセッションを計画また機能 D の記述式テストの内容について再確認が指示された最終的に数百件のバグを抽出これまでの社内適用実績に比べてより効率的にバグが抽出できたことがわかった 2017 NTT DATA Corporation 41

報告する立場としてはセッション数という区切りがあったのがよかった上位層もセッションという内容もわかっていた

42 テスター / 管理者の声思っていたよりもテスト管理者の負荷が高かったが責務がハッキリしていてやりやすかったセッションという定量的な見方ができてその日のノルマが見えるようになり実施量をキープできた報告する立場としてはセッション数という区切りがあったのがよかった上位層もセッションという内容もわかっていた見つかったバグから記述式テストのテスト設計に使う観点を追加することが出来たのは良かったテスト管理者 A さん 2017 NTT DATA Corporation 42

43 テスター / 管理者の声セッションシートで指示を受けることや結果報告をするのがやりやすかった 2 時間やってもまだ叩き足りない機能があったそういう場合はセッションの追加をお願いした 1 日にやるのは 3 セッションが限界 4 セッション以降は集中力が持続しないテスター B さんバグのほかに気になったことを報告する欄が用意されているのがよかった判断に悩む必要がなかったし他のテスターの考え方を知ることができて勉強になった 2017 NTT DATA Corporation 43

44 振り返り 2017 NTT DATA Corporation 44

45 まとめ Keep Session-based Test Management の概念を利用したテスト管理手法を適用することで探索的テストの利点を損なうことなくテスト管理面の改善に寄与することがわかった JSTQB のシラバスだけではなく TPI NEXT のキーエリアとのマッピングなど他の基準から評価していくことも検討したい Problem テストの完了条件については現時点では実行可能セッション数を軸とした条件のみでありテストの十分性やリスクの低減度合いを評価できているわけではなく課題が残っているテスト管理のカテゴリ (JSTQB Foundation Level シラバスより ) テスト計画作業と見積もり改善目標事前にリソース割り当てを計画できること作業量の見積もりができることテストの開始 / 終了基準が明確にできること 2017 NTT DATA Corporation 45

46 今後に向けてどこまでテストをすれば十分か? は永遠の課題それでも探索的テストの完了条件とその合意プロセスについて継続してよりよい手法を検討したいクオリティゲートとして責任を持つ者が何セッションか確認をするとか? 最後はみんなでモブテストをやってバグが見つからなければ終わりとか? 2017 NTT DATA Corporation 46

47 2017 NTT DATA Corporation

索的テスト特有の不透明さが受け入れられ難いこのような探索的テストにおけるテスト管理の問題を JSTQB Foundation Level のシラバスに従いテスト管理のカテゴリごとに整理すると表 88-1 のようになる [2] 表 88-1 探索的テストにおけるテスト管理の現状テスト管理のカテゴリ

索的テスト特有の不透明さが受け入れられ難いこのような探索的テストにおけるテスト管理の問題を JSTQB Foundation Level のシラバスに従いテスト管理のカテゴリごとに整理すると表 88-1 のようになる [2] 表 88-1 探索的テストにおけるテスト管理の現状テスト管理のカテゴリ先進的な設計検証技術の適用事例報告書 2017 年度版 SEC-2017-88-01 88 Session Based Test Management による探索的テストの実践 1 ~ 受託開発でも探索的テストを管理し活用できる ~ 1. 概要当社はシステムインテグレーターとして多くの顧客に対してシステムの受託開発を行っている昨今はビジネス環境の変化に伴いシステム開発に対して開発スピードの向上とコストの低減がこれまでより強く求められるようになっている