Microsoft PowerPoint - Tsuzuki.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - Tsuzuki.ppt"

つづるおいもり
5 years ago
Views:

1 探索的テストの適用事例 - まずは探索的テストをやろまい!! - 三菱電機メカトロニクスソフトウエア株式会社都築将夫 0/19 アジェンダ現状分析改善策立案探索的テストの特徴弱みの克服探索的テストの強みを生かす成果 & 効果今後の課題 1/19

2 現状担当製品のソフトウェア規模 : 肥大 ( ライン数 : 数 10KL 数 100KL) 構造 : 複雑 ( サイクロマティック複雑度 :10 程度数 100 程度 ) 差分開発第 2 世代の完了時点で母体開発からの潜在バグが残存作り込み作り込み作り込みテストテストテスト 2/19 分析なぜ潜在バグが残ってしまうのか? ハードウェア資源の解放ミスなど時間軸でのタイミングなど潜在バグの検出 : 困難テスト条件の記述 : 困難バグ検出ができない潜在バグとして残存 ( ムダに細かい ) テストケースを選定選定したテストケース : 不適切選定基準は人によってバラバラ 3/19

3 改善策立案全ケースをテスト実行 : ムリしかし潜在バグが存在すると思われるところはテストすべき手順に従ってテスト実行スクリプトテストで可能な限り潜在バグの検出スクリプトテストでは困難な潜在バグを見つけたいテストの限界を超えたい想像力を働かせるテストを失敗を恐れずやらまいか! 覚悟完了探索的テストをやろまい!! 4/19 探索的テストの特徴強み 1. テスト仕様の記述工数が軽減 2. 少ない手数で多くのテストケースを実行可能 3. テスト実行時のマンネリ感が解消弱み 1. テスト実行の網羅性に欠ける 2. テスト実行内容がアドホックになりがち 3. テスト内容の記述に迷う ( 記述の粒度をどの程度書くべきか ) 5/19

弱みの克服弱み網羅性アドホック記述 1-1 1-3 1-4 2-1 2-2 2-3 3-1 3-2 実施した施策テスト実行モデルを整理 1-2 テスト仕様の5 要素洗い出しテストテスト実行マトリクスの作成分析テスト実行マトリクスの最適化製品自体の弱点を特定羅針盤によるアドホック抑止テスト結果の記録テスト仕様の記載項目を定型化 [ ][ 設定 ][ 構成 ]: 共通事項に

4 弱みの克服弱み網羅性アドホック記述実施した施策テスト実行モデルを整理 1-2 テスト仕様の5 要素洗い出しテストテスト実行マトリクスの作成分析テスト実行マトリクスの最適化製品自体の弱点を特定羅針盤によるアドホック抑止テスト結果の記録テスト仕様の記載項目を定型化 [ ][ 設定 ][ 構成 ]: 共通事項にフェーズテスト設計テスト実装 6/19 テスト実行モデルを整理 ( 施策 1-1) 弱み : 網羅性 [ ][ ]: テスト実行の網羅性を確保 [ 設定 ][ 構成 ]: テスト条件の見落とし防止 [ ] : 確認項目の見落とし防止構成 / 設定 ( テスト環境 ) ( ソフトウェア内部処理 ) / 外乱 ( に含む ) ( テスト実行 / 異常 & 異常環境 ) ( テスト表示結果 ) 7/19

5 テスト実行マトリクスの作成テスト仕様の 5 要素洗い出し ( 施策 1-2) テストの着眼点を明確にするため外部仕様書 ( 詳細仕様書 ) マニュアルテスト仕様書から機能に対する [ ][ ][ ][ 設定 ][ 構成 ] の要素を整理機能設定構成データ転送スイッチ押下データ保護完了ランプ ( 該当なし ) モード弱み : 網羅性エラー復帰リセットボタン押下再起動エラーランプエラー復帰有効 ( 該当なし ) 8/19 ( 施策 1-3) [ ][ ] の要素を機械的に展開機能要素データ転送スイッチ押下データ保護完了ランプ ( 該当なし ) モードエラー復帰リセットボタン押下再起動エラーランプエラー復帰有効 ( 該当なし ) 機能設定構成通信開始定期通信イベント発生時通信相手機器 R メモリ通信経路断線検出 9/19 弱み : 網羅性 [ ] の要素を縦に展開[ ] の要素を横に展開 R メモリ

6 テスト実行マトリクスの最適化 ( 施策 1-4) [ ][ ] の要素をコンパクトに整理機グルーピングする器と ( 例 : 通信 H/W ) 定期通信イベント発生時通信相手機器 R メモリ通信経路断線検出相手通通信信開終始了 R テスト実行できん! メモリテストケースが膨大で限られた時間内に重複を解消マトリクスの最適化定期通信イベント発生時通信相手機器 H/W 通信経路断線検出通信開始 ( 例 :R メモリメモリ ) 弱み : 網羅性通信状態表示通信テスト通信履歴表示限られた時間内にテスト実行可能だがね! メモリ 10/19 製品自体の弱点を特定 ( 施策 2-1) BT に登録された過去のインシデントレポートを把握過去のテスト報告書を把握定期通信イベント発生時通信相手機器 H/W 通信経路断線検出通信開始メモリ 11/19 弱み : アドホック製品自体の弱点をテスト実行候補として選定

7 テスト仕様の記載項目を定型化 ( 施策 3-1) 従来 : テスターによってまちまち ( 数 10~ 数 100 枚 ) 今回 : シンプルに記述できた!(1 枚で収まった ) 1 - の組み合わせ H/W vs 日付 11'/11/11 名前都築将夫 H/W 機能のピンを (1) 番地のメモリ短絡させる (2) エラー LED 点灯状態弱み : 記述通信開始メモリ構成 / 設定送信データ : 応答データ : 構成設定結果定期通信イベント発生時通信相手機器 H/W 通信経路断線検出構成パターン構成図パターン ZZ 復帰モード設定設定値 / 設定内容 α β γ 通信モード - X Y Z Δ 備考 (/W ver. など ) 12/19 [ ][ 設定 ][ 構成 ]: 共通事項に ( 施策 3-2) [ ][ 設定 ][ 構成 ] の要素一覧を各テストケースの共通事項とするテストケースの作成 & メンテナンス効率の改善を考慮した < 一覧 > 設定 < 一覧 > 稼働 LED エラー LED 通信開始信号 X 通信停止信号 Y 信号 Z エラー復帰完了信号 ζ 復帰モード設定テストケース < 共通事項 > 値 / 状態消灯点滅 - 点灯消灯点滅 - 点灯 0000h 開始前 0001h 開始指示 0011h 開始準備中 h 通信開始 0000h 停止前 0001h 停止指示 0011h 停止準備中 h 停止完了 0000h 終了前 0001h 終了指示 0011h 終了準備中 h 0000h 復帰前 h 復帰準備中 h 復帰完了設定値 / 設定内容 α β γ 通信モード - X Y Z 13/19 Δ 構成パターン構成 < 一覧 > 弱み : 記述構成図パターン ZZ

8 55羅針盤によるアドホック抑止 ( 施策 2-2) テスト実行マトリクスからテスト実行候補を選定しテストチャータとして機能通インシデントレポートから信開製品自体の弱点と判定始テストケース No.31 定期通信イベント発生時通信相手機器 H/W 通信経路断線検出メモリ /19 テストの目的を明記したものテスト実施法のアイデアを含む場合もある引用元 :TQB テスト技術者資格制度用語集日本語版 Version 2.0.J02 スクリプトテスト実施済みで半年以上市場バグ無しテスト実行しないセルの数値はテストケースの通し番号弱み : アドホックテスト結果の記録 ( 施策 2-3) テスト結果を記録しテスト実行のトレーサビリティを確保定期通信イベント発生時通信相手機器 H/W 通信経路断線検出通信開始通信終了故障検出メモリ 1 - の組み合わせ 31 H/W vs 日付 11'/11/11 名前都築将夫 H/W 機能のピンを (1) 番地のメモリ短絡させる (2) エラー LED 点灯状態構成 / 設定 + 送信データ : 応答データ : 構成弱み : アドホック設定 + 結果 (1) 送信データ : を送信中にのピンを短絡後番地に (h) エラーが格納された (2) エラー LEDが赤色で点滅した (3) 応答データがテスト結果をではなくと並びが逆になった (N) 記録備考 (/W ver. など ) Ver. 15/19

9 探索的テストの強みを活かす毎朝のブリーフィングでテスト実行順を決定 [ 第 1 段階 ] [ 第 3 段階 ] 定期通信イベント発生時通信バグ発生時のリスクが相手機器 H/W 大きいものからテスト実行通信経路断線検出通信開始相手機器第 2 段階の結果から同じを他のでテストと通信 [ 第 2 段階 ] 第 1 段階でバグが出たを他のでテスト [1] /19 メモリ [3] [2] 成果 6.0 バグ密度では [1] [2] 派生第 1 世代派生第 2 世代今回 ( 開発中 ) バグ検出効率では [ バグ密度 ] =[ バグ件数 ]/[ 規模 ] 微増 ( 1.2 倍程度 ) 品質自体に変化なし [1] と [2] を比較倍!! [1] [2] 潜在バグ 7 件検出!! 派生第 1 世代派生第 2 世代今回 ( 開発中 ) [ バグ検出効率 ] =[ バグ件数 ]/[ テスト工数 ] 5 倍向上効果 : 大幅に!! 17/19

10 効果定量的効果 1. テスト仕様の記述を改善テスト仕様 1 件が数 10~ 数 100 枚が 1 枚に収まった!! 2. バグ検出効率の改善 5 倍バグ検出能力!! 定性的効果 3. テスターとしての勘 ( バグの嗅覚 ) が鋭くなるテストに関するノウハウの継承によりテスターのテスト力向上!! 18/19 今後の課題探索的テストのバグ検出効果を他プロジェクトで確認する他の製品にも探索的テストを水平展開するプロジェクトリーダに提言するどの現場でも探索的テストを適用できるようさらにシンプルな方法を考え実践する探索的テストガイドラインとしてまとめる 19/19

11 < ご清聴ありがとうございました > 20/19