テスト設計コンテスト掲示資料_あまがさきてすとくらぶ

Size: px

Start display at page:

Download "テスト設計コンテスト掲示資料_あまがさきてすとくらぶ"

えりかひがき
5 years ago
Views:

テスト設計コンテスト ~ コンセプトシートチーム名 : あまがさきてすとくらぶチーム紹介関西あまがさきからやってきました!

! JaSST 11 東海への出場も含めた今までのチームで勉強した歩みを以下にまとめておきますテスト技法勉強会 by ソフトウェアテスト技法ドリル JaSST 11 東海テスト設計コンテスト出場! テスト設計にあたって話題沸騰ポット 3 色ボールペンゆもつよメソッド勉強 by ソフトウェアテストプレス vol10 JaSST 12 東京テスト設計コンテスト出場!

検討を設計文書にフィードバックしてテストに役立てる! 開発担当者がメンバーに多いのでテストの考え方で開発にも役立つ手法や考え方を仕様へ展開しようと考えました! 1. 品質目標を定めテストの興味を集める Ⅱ に記載仕様から品質目標をチームで考え付箋をその内容からテストに対する興味を用いて思いつく限り考えましたブレスト 2.

1 テスト設計コンテスト ~ コンセプトシートチーム名 : あまがさきてすとくらぶチーム紹介関西あまがさきからやってきました! 設計を 7 割テストを 3 割程度考える業務を行っている某電機メーカのソフトウェア設計担当課メンバーになります昨年からソフトウェアテストについての勉強会を行っております JaSST2012 東京のテスト設計コンテストを参考に勉強を進めておりましたので今回の参加により学びを深めたいです学習の過程と意気込み東海代表としてがんばります!! JaSST 11 東海への出場も含めた今までのチームで勉強した歩みを以下にまとめておきますテスト技法勉強会 by ソフトウェアテスト技法ドリル JaSST 11 東海テスト設計コンテスト出場! テスト設計にあたって話題沸騰ポット 3 色ボールペンゆもつよメソッド勉強 by ソフトウェアテストプレス vol10 JaSST 12 東京テスト設計コンテスト出場! 今回行うようなテストプロセスを業務では完全には適用出来ていないですが今回得られた知見をもとに課題や利点などを明確に把握することで実際の業務への適用を出来るようにしたいと考えておりますまた文献に書かれているような手法や技法を実際にいろいろ試してみたいと考えております! 設計思想アピールポイントテストに対する興味を洗い出し設計とテストを考える! 検討を設計文書にフィードバックしてテストに役立てる! 開発担当者がメンバーに多いのでテストの考え方で開発にも役立つ手法や考え方を仕様へ展開しようと考えました! 1. 品質目標を定めテストの興味を集める Ⅱ に記載仕様から品質目標をチームで考え付箋をその内容からテストに対する興味を用いて思いつく限り考えましたブレスト 2. 設計として必要な情報を整理し仕様へ反映 Ⅳ に記載テストの興味毎に設計にも存在していると良い情報を整理し仕様へ反映しインプット資料を強化しました 3. 設計書からテストまでのトレーサビリティを確保 Ⅰ に記載 2. に記載の仕様構成の修正を行うことで仕様上の ID からテスト設計で抽出される試験項目 ID を通してのトレーサビリティ及び仕様改修時のテスト保守性を確保をする方法を考えました今回のロールプレイ今回のポット仕様書をシステム開発会社が受け付けたというロールプレイを行います開発会社は開発部とテスト部に分かれており要求に応じた機能仕様の検討を終えたところという想定です胡麻印要求 USDM を用いた仕様書を作成開発部テスト部今回のロールプレイ : W 字モデルで要求仕様にテスト視点の検討が反映できるタイミング

2 テストの興味を抽出してテスト方針と仕様の修正項目を明確化した! そこからトレーサビリティ保守性を確保したテスト詳細設計へ全体プロセス PFD (Process Flow Diagram) プロセスは 4 つの構成 1 テスト要求分析 2テストアーキテクチャ 3 仕様修正追加検討テストの興味から < 全体を考える > あまがさきてすとくらぶ 4 テスト詳細設計ポイント : テストの興味を洗い出す 1/7 1テスト要求分析 : テストにおける必要事項を全て洗い出す 2テストアーキテクチャ設計 : 組合せによってテスト方針を確定 3 仕様修正追加検討 : テスト視点で仕様書の不足項目を追加検討 4テスト詳細設計 : 分析結果をテスト項目へ整理する < 要求仕様書 01> 話題沸騰ポット要求仕様書第 7 版品質目標の定義仕様書分析 3 色ボールペン法 3 色ボールペンマインドマップ指摘表テストの興味全てを考える分類するテストの興味事項すべて ( テスト対象テストカテゴリ分類込み ) テスト方針を検討するテスト対象テストカテゴリ組合せ表 2 テストアーキテクチャ設計 ~ 方針決定詳細は Ⅱ と Ⅲ に記載テスト方針表マトリクス試験状態遷移試験競合試験テスト詳細分析を実施する 4 テスト詳細設計テスト技法検討詳細は Ⅵ と Ⅶ に記載テスト分析マトリクス仕様要求シナリオテスト集約とテスト技法による検討を実施するテスト技法検討結果デシジョンテーブル N スイッチマトリクス品質目標見た方が良いものテストの興味検討ポイント : 品質目標を設定しテスト方針へ繋げる付箋を用いて検討見た方が良いもの 1 テスト要求分析詳細は Ⅱ に記載メリット ( 今回のプロセスの利点 ) 仕様に不足している情報で追加すべきものシナリオ定義書を作成する *< 要求仕様書 01> 話題沸騰ポット要求仕様書第 7 版ロジックと状態遷移競合を検討仕様書を改訂する CEGTest 分析結果状態遷移表競合表 3 仕様の修正追加検討詳細は Ⅳ に記載テスト全体を品質目標から辿って考えることが出来るインプットとなる仕様に対して不足点を明確にしてフィードバック出来る仕様に対しての試験トレーサビリティ試験設計の保守性が確保できる A: 仕様記載の ID からテスト ID が決まる B: 仕様の差分をそのままテスト側へ反映できる < 要求仕様書 02> 話題沸騰ポット要求仕様書第 8 版話題沸騰ポットシナリオ定義書テスト詳細方針表状態遷移試験競合確認試験テスト集約表テスト設計書を作成するポイント : 仕様へのフィードバックテスト設計書 ( 最終アウトプット ) 各ページにプロセス詳細を記載 Ⅱ Ⅲ の数値は説明スライドのページ No と対応 ID による仕様 - テストのトレーサビリティ保守性仕様 ID Pot Pot 220 Ex1( 追加 ) 要求仕様書仕様 XX XX 試験 ID Pot Test01 Pot 220 Ex1 Test01 テスト設計書項目名 XX XX

3 品質目標からテストに対する興味事項全体を明らかにするテスト対象とテストカテゴリに整理することでテスト全体の方針が決まる! 検討の流れ ( テストに対する興味事項 ~ 方針 ) 要求仕様書 A) 品質目標を明確にした品質目標安全性ユーザにとっての使用性長期使用可能な耐久性量産における品質安定性仕様適合 ( 当たり前品質 ) 3 色ボールペンマインドマップ B) 見た方が良いものを考え各品質目標に対するテストに対する興味事項を洗い出す品質目標見た方が良いものテストに対する興味事項競合怪我をしないことタイミング変化安全性やけどをしないこと環境 ( 電圧温度振動衝撃 ) 使用性レスポンス H/W 性能耐久性レスポンス H/W 性能検討方法 : 品質目標から興味事項へ ( 例 : 安全性 ) 1. 見た方が良いものを考える怪我や火傷をするリスクを最小限にするから連想 2. 発生する要因を考える H/W 故障によるもの人為的なものを階層的に抽出 3. それぞれに対してテストでの対策を考える故障対策のロジック確認タイミング変化を確認など 4. テストに対する興味事項として整理する入力に対するもの振舞い出力に対するもの H/W 依存の可能性を考慮範囲内 ( 規格 ) に収まること H/W 基本的機能電圧温度振動衝撃仕様適合恒温槽を用いた加速劣化試験連続タイミング変化特性 / 精度環境負荷時仕様適合負荷時性能分かりやすさ水質水温変化の規定外観テストカテゴリ個別検証テストの興味全体対象カテゴリ整理対象要求仕様に書かれるものシナリオ ( シーン ) 要求 H/W ポットとしてのシステム興味事項の分類結果テストに対する興味事項分類ポットとしてのシステム全体要求仕様 / 機能 H/W レスポンス H/W 性能ロジック状態遷移競合シナリオ ( シーン ) 仕様適合連続タイミング変化意地悪特性 / 精度環境負荷時仕様適合負荷時性能分かりやすさ外観恒温槽を用いた加速劣化試験水質水温変化の規定品質目標から < テスト方針へ > C) テストに対する興味事項全体についてテスト対象とテストカテゴリに分類仕様 / 機能レスポンス H/W 性能ロジック状態遷移競合ガワ ( 機構部 ) センサボタン表示パネル LED ヒータポンプ給湯開始 / 供給 / 停止蓋 / 貯水部保温性表示部明るさ消費電力正常系 / 準正常系テスト対象 ( 元仕様から抜粋可能 ) テスト対象 ( 仕様に追加 ) テスト対象 ( 新規作成 ) テストカテゴリ個別検証あまがさきてすとくらぶ仕様適合連続タイミング変化特性 / 精度環境負荷時仕様適合 2/7 D) マトリクスにてテスト対象とテストカテゴリの組合せを考えテスト方針を決定した! 負荷時性能分かりやすさ外観要求仕様に記載されるもの要求マトリクス試験マトリクス試験 - ( 要求 ) ( 要求 ) テストカテゴリ仕様 / 機能マトリクス試験マトリクス試験マトリクス試験 - - H/W マトリクス試験マトリクス試験 - 基本機能試験レスポンスマトリクス試験 H/W 性能マトリクス試験マトリクス試験 - 基本機能試験ロジックマトリクス試験セル交点で必要なテスト方針状態遷移状態遷移試験 - 状態遷移試験競合競合確認試験 - 競合確認試験 - を抽出し整理した - 要求仕様に記載されないものテスト対象シナリオ ( シーン ) マトリクス試験マトリクス試験マトリクス試験 Ⅲ. マトリクス試験テスト方針に詳細を記載マトリクス試験マトリクス試験 - 連続試験ポットとしての基本機能恒温槽を用いたユーザビリティ検査基準 : - システム全体確認試験加速劣化試験テスト外観検査テストの方針タスクが決定! に決定事項を記載仕様の不足改修方針を明確化要求仕様書を改訂追記する箇所を決定に記載シナリオ定義書追加作成決定に記載テストに対する興味事項から方針決定! テストカテゴリは ISO9126 と比較して不足項目の確認を実施に記載個別の試験項目を抽出組合せ検討をしない試験を別途管理に記載

4 テスト方針で <具体的に見える化 > あまがさきてすとくらぶテストアーキテクチャ設計で決定した組合せを具体化検討して方針を決める対象とカテゴリの組合せでまとめ方を検討した結果 12 の試験の詳細方針を導き出した 3/7 対象とカテゴリの組合せ検討テスト方針決定テスト分析マトリクスとそれ以外のまとめ方を組合せで抽出テストカテゴリ 2 つのまとめ方針 4 分類 12 試験テスト詳細方針 1 テスト分析マトリクス ( 詳細マトリクス試験 ) 仕様要求シナリオの 3 つの対象毎にカテゴリの組合せを絞り込んで 3 種のテスト分析マトリクス作成テスト対象組合せから大きくマトリクス含め 4 分類 12 の試験項目を導出テストカテゴリのベリファイ ISO9126: 品質特性に基づき検討抜けが無いか確認ホシとり表で観点抜けをチェック量産を想定した検討量産を想定して試験毎に個別 / 全数試験を検討対象( 詳細 ) VS カテゴリのマトリクス試験を検討テスト分析マトリクスはテスト内容のまとめ方以下はテスト分析マトリクス以外がまとめやすいと考え個別に検討テスト詳細方針表としてまとめた! 2 状態 / 競合試験仕様として追加した状態 / 競合タイミングずれを考慮した試験の実施状態遷移表 (N スイッチ含む ) 競合表 3 回帰 / 基本機能試験自動試験 / 全数試験を想定した項目抜粋自動試験化を想定 (Ⅷ で詳細記載 ) 4 個別試験検討過程で個別に試験を行った方が良い内容を具体化ユーザビリティ加速劣化水質水温制御外観

試験で必要になる自動販売機は同時押しは左押し機能としてあるものもある沸騰し続けるか? 全部押しはどうなる? 上下さかさまだとどうなるのか? H/W とのすみわけは? 音量は? 試験方法はどうする? 使用の環境条件が記載ない繋いだ直後をどうやって知るのか? 初期のパネル表示は大丈夫か? 連続押し操作パネル水量外気温などによってテーブル入れ替えは不要?

5 試験で必要になる自動販売機は同時押しは左押し機能としてあるものもある沸騰し続けるか? 全部押しはどうなる? 上下さかさまだとどうなるのか? H/W とのすみわけは? 音量は? 試験方法はどうする? 使用の環境条件が記載ない繋いだ直後をどうやって知るのか? 初期のパネル表示は大丈夫か? 連続押し操作パネル水量外気温などによってテーブル入れ替えは不要? 外観片手で操作できることテーブルの固定値妥当性は? H/W レベルの個体差をパラメータで吸収 PID の制御量を予めテーブル化して使用 ( 温度制御テーブル方式 ) 3.1 沸騰行為沸騰ランプ点灯保温ランプ消灯表示窓にはサーミスタの温度目標温度 ON/OFF 方式沸騰行為をやめる 3 条件保温行為をやめる 4 条件保温ボタンがない試験方法操作量 0 ハーセント温度測定が困難治具などが必要コンセントを繋いですぐアイドルになるまでの性能要求アイドル中止判断 4 章参照かな? なぜ表示しない? 四捨五入で整数パネル表示の桁数? 三桁だよね? 温度のムラはないか? サーミスタの場所方法は適切化? すべての水位センサOFF 条件は 1つの水位センサが ONになった場合に満足されない危険!! 沸騰行為を止めたあとの繊維先が不明確どこいくねん! 保温行為を止めたあとの繊維先が不明確どこいくねん! 特にミルクモードへの遷移が致命的蓋を閉じて温度測定が必要制御実施状態を確認が必要水位センサについては不要か? 3 分間加熱中の過熱停止条件一度沸騰しないとこのモードに遷移しない上限は?100 以上もありうる? この方式を確認する方法を確立しなければいけない? 一旦沸騰してから保温温度に調整するのはどうなのか? ( ユーザの待ち時間の観点 ) デフォルト値 (H /W) の記載がある! 最終的に加熱をやめたことの確認は? どうする? 誤ってお湯が出ないようにするロック / ロック解除機能 on/offの2 値満水センササーミスタ100 さらに3 分加熱コンセント接続直後 of fにする条件の記載がない初期値最初はロックのほうが安全では? 沸点が100 でない場所では永遠と加熱が終わらない? ロック解除デフォルトonでどのタイミングで offにするのか? 状態でとる? ユーザーがわからない? ボタンにブザーがないボタンを押して解除 / ロック 2.5 解除ボタン on/offの 2 値第 n 位水位センサ 3 分間の根拠は? 給湯中の定義が不明満水センサが onで第 n 位センサoffの場合どう扱うのか? 周期時間? 給湯していないとき有効給湯状態 2. 6よりボタンを押している間 on/offの 2 値ボタン有効の条件蓋センサエッジでとるのか? 状態でとるのか? 起動時蓋がしまっているといつまでも沸騰しないのでは? カルキ抜き完了沸騰行為終了保温 ONのとき有効蓋センサ沸騰までの時間保温までの時間 ( 性能要求が必要 ) -10~150 境界は含むのか? おそらく含むボタンを押している間のみポンプを作動内部構成水温ボタンを押すことで給湯このポットは手で注ぐことはできないのか? 温度の振れ幅に規格はあるステップ値は分解能?? 保温ランプ点灯沸騰ランプ消灯話題沸騰ポットユーザがわからず故障扱いにならないかロック解除以外にお湯が出ない条件がある 2. 操作要求仕様 1.H/W 構成ブザー音 khz 音は固定? 1~2 章ロック解除水量適正 ( 異常ではない ) 蓋センサON 制御周期の分解能は? 操作量は周期時間中のヒータON 時間の割合を % で示す制御方式共通上限は?100 以上もありうる? S/Wで検知するのか? S/W p.1 2 ボタン有効条件ヒータ電源 ON 温度エラー検知無し保温行為中 2.6 給湯ボタンヒーターヒータ異常四捨五入で整数異常の判定は? 水量異常ヒータ電源 OFF 温度エラー検知途中でポンプ停止給湯有効の条件沸騰後の3 分 ( カルキ抜き ) の根拠は? 表示窓にはサーミスタ温度パネル表示の桁数? 三桁だよね? 電動制御? 給湯中に蓋をあけることができる? ポンプどのくらいの量を出す? 作動できない条件ポンプ停止条件沸騰行為はON/OFF 制御保温行為は PID 制御温度のムラはないか? サーミスタの場所方法は適切化? 最低水位は? 沸騰中でも無視して給湯するのでは? 保温中のみ給湯どのケースでどの制御方式を適用する H/W 故障検知はど? うするのか記載がない 0~ 60 分テーブル方式は未使用? この方式を確認する方法を確立しなければいけない? 上下限値は? それ以外? カップラーメンを作るときの時間測定を想定温度表示整数値? 沸かすためのタイマではない目的温度の単位は? 話題沸騰ポット単位? 4. 温度制御方式 3. 温度制御行為温度の精度を記載してあるほうがよい残り時間の表示でもない操作パネル部色表示? 100% と0% のみ使用ユーザ観点 3~4 章デフォルト表示? PID 制御方式保温モード変更時に対象のモード温度に変更するか? 0:00 デフォルト値お湯が空になったときにアラーム? 音? 安全設計あるのか? 温度が低ければ100% 高ければ0% 目標温度 ON/OFF 方式タイマ停止 1 分ずつ加算タイマボタンを100msec 押す 3.2 保温行為 4 章での記載が不足目標温度に達しない場合永遠に制御し続ける? 設定値の表示どれくらいの時間でモード移行するか? 残念なことにならないか!? 60 分設定のために 10 0 ms ec 押す N 回容量の記載がない必要なスペックの記載がないため要求仕様書へ反映が必要!!!!! セット方法リセットボタンがないと困るのでは? 長押しで 10 分単位で飛ばしながら設定できないの? 各係数をきちんと定義 ( 可変の場合は条件も ) 制御式でその周期の制御量 M(%) を算出して使用 PID 制御方式 10 分くらいなら我慢できるかもすべての水位センサOFF 条件は 1つの水位センサが ONになった場合に満足されない危険!! 違和感 S/ W 仕様として大丈夫か? 以上? 未満? 押下間隔押しっぱなし 0~ 60 分セット完了後 1 秒後コンセントのデフォルト値は? 異常時以外 ( 正常時 ) 瞬断はどうなる? 3se c 経過後にも水面が波打っていた場合は考慮されていない最悪あけたまま沸騰してしまう? 1sec 以下の開閉はどうなる? 総合試験では必要になる同時押しはどうなる? 定義がない S/W が温度を見張りながらやる? 気圧高いところは? ボタン節約の定義が曖昧 S/W は何をすれば節約を保証できるのか? 無効になる条件はこれだけなのか? 無効になっていることがわかるのか? 無反応? 蓋を開けたときは全ボタン無効? 3 秒以上センサの数との対応??? センサの数は変更されるどう試験する? 音の種類が必要繋いだ直後とは? どれぐらい直後? 4:01 でセットすると 6:00 になるほかは音を鳴らした後に処理起動されるがここはタイマセットの後にブザー競合他の機能と競合しても 1 秒後なのか? 蓋センサ off 開閉間隔 3 秒未満では? 異常って何? 3sec 同時イベント発生時は? セット時の音タイマボタンの有効無効の条件 3 秒経過で判定満水時の表示温度の分解能ブザー音設定範囲タイムアップ水位センサー水位表示 3s ec 斜め設置はどうなるのか? 水量が適正異常とは何? 保温行為はだれが実施する? 分単位切りあげブザー音蓋センサ 1s ec 以上 off 0 分? 保温設定ボタン温度が低下する際の制御は? 何もしない? 表示上はある点滅速度早くない? 空の表示と区別しにくい空の表示は最下位インジケータのみ点滅のほうが良い両方押せる気圧低いところは? 空の表示コンセント温度の制御は誰がやってるの? ずっとながおしタイマ起動タイマ表示時間 100msec 10 0 リセットインジケータ 4 段階蓋センサー 1s ec ロックとは? 2.1 コンセント 2.2 蓋 2.3 沸騰ボタン 2.4 保温設定ボタン 2.7 タイマボタン 2. 8 水位メータどうやって試験する? 3.3 アイドル表示窓さらに蓋を閉じている状態だと思うのではじめの状態を明確に沸騰状態になってもすぐ中止するのか? 他状態へ遷移する条件が蓋センサ on だけだが他には? エラー状態からの復帰はどのようにするのか? 蓋 ON 沸騰状態 ( 温度表示 ) 水位センサ全て OFF アイドルへの遷移 ( 温度表示せず ) を繰り返す状態が発生する温度表示が点滅するが? テスト視点の < 仕様検討 > あまがさきてすとくらぶテスト視点で得られた設計不足点を仕様書へフィードバック改訂第 8 版を作成あわせてシナリオ定義書でユーザの使用シナリオを定義した検討の流れ ( 仕様修正 ) 7 第 7 版の仕様を元に検討 3 色ボールペン法分析結果 ( マインドマップで整理 ) 指摘表回答入力済みテスト興味事項一覧から検討された仕様修正項目 ( Ⅱ 参考 ) 3 色ボールペン法とは? 仕様書に以下の方針でメモを取りながら読み込む方法赤客観的に見て, 最も重要な箇所引用 : 青客観的に見て, まあ重要な箇所ソフトウェアテストPRESS 緑主観的に見て, おもしろい / おかしいと感じた箇所 Vol.2( 技術評論社 ) 仕様修正の元となるネタ仕様修正追加項目 ( 大項目のみ ) 1 H/W 性能 ( 給湯の水量等 ) 2レスポンス ( ボタンの反応等 ) 試験が可能となるように対象の仕様項目に定義追加 3 ロジック CEGTest でドメイン分析を実施 ( Ⅶ に記載 ) 4 状態遷移 UML の状態遷移図と表で整理 ( Ⅶ に記載 ) 5 競合競合表を用いて定義を実施 ( 下記に説明記載 ) 6 曖昧さのフィードバック 3 色ボールペン法仕様分析にて発生した指摘に要求元をロールプレイした回答検討を行いフィードバック別途検討資料を追加したもの 7 シナリオ ( シーン ) シナリオ定義書 ( 下記に説明 ) を作成 4/7 テスト視点を取り入れた第 8 版を一部の試験ではそのままテスト対象とする検討結果をフィードバックして第 8 版完成シナリオ定義書シナリオ定義書ユースケースを抽出し組合せることで想定される運用シナリオ ( シーン ) を作成ユーザーと関連したユースケースの抽出 No. ユースケースアクター正常シナリオ準正常シナリオ U01 沸かすユーザー N-1 前提条件保温中かつ給湯中でないこと 1. ユーザーは沸騰ボタンを押す 2. ユーザーはランプ ( 沸騰 ) を確認するランプ ( 沸騰 ) が点灯するユースケースを組合せシナリオ ( シーン ) を構築 U01 U02 U03 U04 U05 SN-1 前提条件適切な水量かつ蓋が開いていること 1. ユーザーは蓋を閉じる 2. ユーザーはランプ ( 沸騰 ) を確認するランプ ( 沸騰 ) が点灯する競合表列見出し : 状態とタイミングを階層化記載行見出し : ユーザの操作システム内部のイベント外乱で分類特にユーザのボタン操作はボタン押下押す/ 離すに分解して記載仕様上のタイミング境界をもとにして遷移の途中状態を1 状態として抽出

6 Ⅴ. テスト計画 IEEE829 基準の < 計画書へ整理 > あまがさきてすとくらぶテスト要求分析 ~ テストアーキテクチャ設計における検討結果を文書化 IEEE829 テストプランテンプレートに対応させて記載 5/7 IEEE829 ベースの章立て 1. 概要 2. 参考文献 3. 用語集 4. テストアイテム 5. テスト分析 ( テストする機能しない機能 ) 6. アプローチ 7. テスト項目の合否及び中止判断基準 8. テスト成果物 9. テストタスク 10. 環境条件 11. スケジュール 12. リスクと対策 13. 承認コンポーネントテスト統合テストシステムテスト品質目標 (Ⅱ 参照 ) と各レベルにおける誤り数目安を記載各テストフェーズでの実施内容を定義試験フェーズ試験ドキュメント量 [ 頁 /KL] 試験項目数 [ 項目 /KL] 検出誤り率 [ 件 /KL] カバレッジコンポーネントテスト C0/C1 カバレッジ 100% 統合テスト S0/S1 カバレッジ 100% システムテストテストは要求仕様書シナリオ定義書 (Ⅳ 参照 ) を対象とするおよびを文書化したものテスト詳細設計へ向けた検討結果を記載テスト分析マトリクス (Ⅲ/Ⅵ 参照 ) 競合試験 / 状態遷移試験その他 H/W: 温度計 / 気圧計等の測定治具 S/W: 自動測定 / 制御ツール等製品の機能 / 性能 / 不具合に対するリスク : 人の怪我火傷にかかわるような機能 = リスク大主要機能 / 性能項目 = リスク中補助機能 / 保守用機能項目 = リスク小ポイント 4 に記載の部分回帰試験の自動化が可能な環境を考慮して記載プロセス管理上のリスク : 指標値以上の不具合検出率必須機能 / 性能の未達 etc.= リスク大開発工程遅れテスト工数 / コストの圧迫 etc.= リスク中試験用機能の不足部品単位での品質不足 etc.= リスク小

7 Ⅵ. テスト詳細設計テスト全体と < 集約を考える > あまがさきてすとくらぶ詳細マトリクス分析を活用しテスト全体を漏れなく検討抽出発散された項目は集約管理表を利用してテスト項目へ集約させるテスト分析マトリクス検討結果詳細マトリクス分析で発散させたテスト検討をテスト設計書では集約させる集約管理表集約管理表を用いた検討を行うことで検討しやすくトレーサビリティを確保するテスト設計書試験対象機能 / 試験 ID 2.8 水位メータ pot280 全体 pot280-test01 正常水位メータ 2 テスト設計書へ反映する 6/7 試験項目名試験概要合否判定基準テスト構成 / テスト環境参考手順使用技法ース : 入力 / 出備考状態遷移テスト水位メータのインジケータ表示の各状態遷移を確認する状態を遷移させるために注水給湯を実施する pot 水量異常の判断の詳細は 8.3 水位判定を参照とすること仕様仕様 ID 仕様適合特性 / 精度 5.2 エラー検知仕様 / 仕様 ID 使用技法テスト設計書 ID 5.2 エラー検知 pot 項目 A 項目 B pot Test01 pot pot 項目 A 項目 B 1 試験手順ベースで集約可能な複数の試験項目をまとめる <IEEE 829 ベース / 設計書とテストケース仕様書を統合したテンプレート > 満水空故障 n 水位の各インジケータ表示が状態遷移表に従って状態遷移すること実機構成を使用する分析マトリクステストカテゴリ要求仕様適合タイミング変化特性 / 精度連続意地悪 / 準正常環境負荷時仕様適合負荷時性能各状態に遷移するよう注水給湯を実施する仕様マトリクス分析でのカテゴリ対応表適応カテゴリに状態遷移表テストケース仕様書 XX を参考シナリオ前提条件 :XX の試験が完了していること pot 水量が異常でなければ onになっている第 nセンサに対応したインジケータセルのランプを点灯して水位を表示する pot test01 正常正常水位表示確認満水状態でなくまた空状態でない場合に水位が正常と判断し正常な水位をセルランプに表示できることを確認する確認は第 1,2,3,4 水位で行う正常水位 ( 第 n 水位 ) がインジケータセルランプに表示することを確認する実機構成を使用する第 1,2,3,4 水位を表示するよう注水給湯を実施するドメイン分析境界値分析

exit / ヒータを OFF にする < 効率よく試験を実施テスト技法による検討を仕様修正時の追加検討とテストケース作成時に実施また回帰試験の自動化や H/W を含めた特殊試験を考える > あまがさきてすとくらぶ 7/7 ドメイン分析 :CEGTest( 原因結果グラフ ) 1 システムの入出力を組み合わせの論理回路として表現 2 作成した原因結果グラフからデシジョンテーブルを作成

保温ランプを点灯し沸騰ランプを消灯するサーミスタの温度を表示する [ 高温モード ] 高温モード : 保温 [ 節約モード ] 保温ボタン押下保温行為停止条件の発生条件 2 沸騰ボタン押下もしくは 5 章 : エラー検知参照節約モード : 保温状態から状態への遷移経路を複数試験可能給湯中保温ボタン押下保温ボタン押下 [ ミルクモード ] ミルクモード : 保温

アップデート時のリグレッション試験にも使用する競合テストタイミングのズレをランダム変更しつつ競合表を網羅する 100 V 2 制御 / 測定 4 スクリプトによる試験手順記述 ( 例 ): CtrlPower("ON", 100); // 電源 ON MeasCur(iVal); // 電流測定 ChkVal(iVal,iMin,iMax); // 規格判定基本機能確認

8 exit / ヒータを OFF にする < 効率よく試験を実施テスト技法による検討を仕様修正時の追加検討とテストケース作成時に実施また回帰試験の自動化や H/W を含めた特殊試験を考える > あまがさきてすとくらぶ 7/7 ドメイン分析 :CEGTest( 原因結果グラフ ) 1 システムの入出力を組み合わせの論理回路として表現 2 作成した原因結果グラフからデシジョンテーブルを作成仕様に追記ロジックを明確化状態遷移 ( N スイッチ / 状態遷移図表 ) 状態遷移図 1UML 状態遷移図を作成し仕様の明確化 21 をもとに状態遷移表の作成 N スイッチ 1 遷移前 / 遷移後状態を行 / 列に配置した表を作成 2 行 / 列の交点に遷移するためのイベントを記載 31 を一つの行列として行列積 (N-1 回 ) を計算 = 保温行為 entry / 保温ランプを点灯し沸騰ランプを消灯するサーミスタの温度を表示する [ 高温モード ] 高温モード : 保温 [ 節約モード ] 保温ボタン押下保温行為停止条件の発生条件 2 沸騰ボタン押下もしくは 5 章 : エラー検知参照節約モード : 保温状態から状態への遷移経路を複数試験可能給湯中保温ボタン押下保温ボタン押下 [ ミルクモード ] ミルクモード : 保温給湯の状態遷移参照回帰試験の自動化自動化方法 : 1 内部 1リモート制御用状態取得ケーブルを経由しポット内部の状態を取得 / 変更 2GP-IB 等で測定器を制御 3 測定器にて温度電気特性計測 4 テストスクリプト記述による自動制御 OK/NG 判定試験結果集計 3 測定自動化対象試験項目 : シナリオテストユーザーが多用する基本機能を中心としたテストの繰り返し本内容はアップデート時のリグレッション試験にも使用する競合テストタイミングのズレをランダム変更しつつ競合表を網羅する 100 V 2 制御 / 測定 4 スクリプトによる試験手順記述 ( 例 ): CtrlPower("ON", 100); // 電源 ON MeasCur(iVal); // 電流測定 ChkVal(iVal,iMin,iMax); // 規格判定基本機能確認タイミングを網羅した試験を自動実行その他試験 (H/W を含めた確認など ) ポット特有の要素確認ユーザの分かりやすさなどの確認を別途実施試験項目試験目的試験方法加速劣化試験ポットの保障期間内のH/W 寿命を検証する電圧 / 温度サイクル変化を定周期で実施ユーザビリティテストユーザにとっての理解 / 操作性を確認するマニュアル無しで使ってもらいアンケート水質検査カルキ抜き処理後の水質を確認するカルキミル ( 残留塩素測定試薬 ) による検証水質検査はカルキミルやヒヤシンスの成長等で確認

テスト設計コンテスト

テスト設計コンテスト 17 話題沸騰ポット (GOMA-1015 型 ) テスト設計目次 Page 2/25 1. はじめにチーム紹介チームの立ち位置テスト設計の流れ 2. テスト要求分析テスト要求分析の流れ仕様把握と機能要求分析非機能要求分析因子水準表 3. テストアーキテクチャ設計アーキテクチャ設計の流れテストアーキテクチャ全体俯瞰図機能アーキテクチャ非機能アーキテクチャシステム全体俯瞰図 4.