テスト設計コンテスト ~ コンセプトシート チーム名 : あまがさきてすとくらぶ チーム紹介 関西 あまがさきからやってきました! 設計を 7 割 テストを 3 割程度考える業務を行っている 某電機メーカのソフトウェア設計担当課メンバーになります 昨年からソフトウェアテストについての勉強会を行っております JaSST2012 東京のテスト設計コンテストを参考に勉強を進めておりましたので 今回の参加により学びを深めたいです 学習の過程と意気込み 東海代表としてがんばります!! JaSST 11 東海への出場も含めた今までのチームで勉強した歩みを以下にまとめておきます テスト技法勉強会 by ソフトウェアテスト技法ドリル JaSST 11 東海テスト設計コンテスト出場! テスト設計にあたって 話題沸騰ポット 3 色ボールペン ゆもつよメソッド勉強 by ソフトウェア テストプレス vol10 JaSST 12 東京テスト設計コンテスト出場! 今回行うようなテストプロセスを業務では完全には適用出来ていないですが 今回得られた知見をもとに課題や利点などを明確に把握することで 実際の業務への適用を出来るようにしたいと考えております また 文献に書かれているような手法や技法を実際にいろいろ試してみたいと考えております! 設計思想 アピールポイント テストに対する興味を洗い出し設計とテストを考える! 検討を設計文書にフィードバックしてテストに役立てる! 開発担当者がメンバーに多いので テストの考え方で開発にも役立つ手法や考え方を仕様へ展開しようと考えました! 1. 品質目標 を定め テストの 興味 を集める Ⅱ に記載仕様から 品質目標 をチームで考え 付箋をその内容から テストに対する興味 を用いて思いつく限り考えました ブレスト 2. 設計として必要な情報を整理し仕様へ反映 Ⅳ に記載テストの 興味 毎に 設計にも存在していると良い情報を整理し 仕様へ反映し インプット資料を強化しました 3. 設計書からテストまでのトレーサビリティを確保 Ⅰ に記載 2. に記載の仕様構成の修正を行うことで 仕様上の ID から テスト設計で抽出される試験項目 ID を通してのトレーサビリティ 及び仕様改修時のテスト保守性を確保をする方法を考えました 今回のロールプレイ 今回のポット仕様書を システム開発会社が受け付けたというロールプレイを行います 開発会社は 開発部 と テスト部 に分かれており 要求に応じた機能仕様の検討を終えたところという想定です 胡麻印要求 USDM を用いた仕様書を作成 開発部 テスト部 今回のロールプレイ : W 字モデルで 要求仕様にテスト視点の検討が反映できるタイミング
テストの興味 を抽出して テスト方針 と 仕様の修正項目 を明確化した! そこから トレーサビリティ 保守性を確保したテスト詳細設計へ 全体プロセス PFD (Process Flow Diagram) プロセスは 4 つの構成 1 テスト要求分析 2テストアーキテクチャ 3 仕様修正追加検討 テストの興味から < 全体を考える > あまがさきてすとくらぶ 4 テスト詳細設計 ポイント : テストの興味 を洗い出す 1/7 1テスト要求分析 : テストにおける必要事項を全て洗い出す 2テストアーキテクチャ設計 : 組合せによって テスト方針を確定 3 仕様修正 追加検討 : テスト視点で仕様書の不足項目を追加検討 4テスト詳細設計 : 分析結果をテスト項目へ整理する < 要求仕様書 01> 話題沸騰ポット要求仕様書 第 7 版 品質目標の定義 仕様書分析 3 色ボールペン法 3 色ボールペンマインドマップ 指摘表 テストの興味全てを考える 分類する テストの興味事項すべて ( テスト対象 テストカテゴリ分類込み ) テスト方針を検討する テスト対象 テストカテゴリ組合せ表 2 テストアーキテクチャ設計 ~ 方針決定 詳細は Ⅱ と Ⅲ に記載 テスト方針表 マトリクス試験 状態遷移試験 競合試験 テスト詳細分析を実施する 4 テスト詳細設計 テスト技法検討 詳細は Ⅵ と Ⅶ に記載 テスト分析マトリクス 仕様 要求 シナリオ テスト集約とテスト技法による検討を実施する テスト技法検討結果 デシジョンテーブル N スイッチマトリクス 品質目標 見た方が良いもの テストの興味検討 ポイント : 品質目標 を設定しテスト方針へ繋げる 付箋を用いて検討 見た方が良いもの 1 テスト要求分析 詳細は Ⅱ に記載 メリット ( 今回のプロセスの利点 ) 仕様に不足している情報で追加すべきもの シナリオ定義書を作成する *< 要求仕様書 01> 話題沸騰ポット要求仕様書 第 7 版 ロジックと状態遷移 競合を検討 仕様書を改訂する CEGTest 分析結果状態遷移表競合表 3 仕様の修正 追加検討 詳細は Ⅳ に記載 テスト全体を 品質目標 から辿って考えることが出来る インプットとなる仕様に対して不足点を明確にして フィードバック出来る 仕様に対しての試験トレーサビリティ 試験設計の保守性が確保できる A: 仕様記載の ID から テスト ID が決まる B: 仕様の差分をそのままテスト側へ反映できる < 要求仕様書 02> 話題沸騰ポット要求仕様書 第 8 版 話題沸騰ポットシナリオ定義書 テスト詳細方針表 状態遷移試験 競合確認試験 テスト集約表 テスト設計書を作成する ポイント : 仕様へのフィードバック テスト設計書 ( 最終アウトプット ) 各ページにプロセス詳細を記載 Ⅱ Ⅲ の数値は 説明スライドのページ No と対応 ID による仕様 - テストのトレーサビリティ 保守性 仕様 ID Pot 220 11 Pot 220 Ex1( 追加 ) 要求仕様書 仕様 XX XX 試験 ID Pot 220 11 Test01 Pot 220 Ex1 Test01 テスト設計書 項目名 XX XX
品質目標から テストに対する興味事項 全体を明らかにする テスト対象とテストカテゴリに整理することで テスト全体の方針が決まる! 検討の流れ ( テストに対する興味事項 ~ 方針 ) 要求仕様書 A) 品質目標 を明確にした 品質目標安全性ユーザにとっての使用性長期使用可能な耐久性量産における品質安定性仕様適合 ( 当たり前品質 ) 3 色ボールペンマインドマップ B) 見た方が良いものを考え 各品質目標に対する テストに対する興味事項 を洗い出す 品質目標見た方が良いものテストに対する興味事項競合怪我をしないことタイミング変化安全性やけどをしないこと環境 ( 電圧 温度 振動 衝撃 ) 使用性 レスポンス H/W 性能 耐久性 レスポンス H/W 性能 検討方法 : 品質目標から興味事項へ ( 例 : 安全性 ) 1. 見た方が良いもの を考える 怪我や火傷をするリスクを最小限にする から連想 2. 発生する要因を考える H/W 故障によるもの 人為的なものを階層的に抽出 3. それぞれに対して テストでの対策を考える 故障対策のロジック確認 タイミング変化を確認など 4. テストに対する興味事項 として 整理する 入力に対するもの 振舞い 出力に対するもの H/W 依存の可能性を考慮 範囲内 ( 規格 ) に収まること H/W 基本的機能 電圧 温度 振動 衝撃 仕様適合 恒温槽を用いた加速劣化試験 連続 タイミング変化 特性 / 精度 環境 負荷時仕様適合 負荷時性能 分かりやすさ 水質 水温変化の規定 外観 テストカテゴリ 個別検証 テストの興味全体対象 カテゴリ整理 対象 要求仕様に書かれるもの シナリオ ( シーン ) 要求 H/W ポットとしてのシステム 興味事項の分類結果テストに対する興味事項分類ポットとしてのシステム全体要求仕様 / 機能 H/W レスポンス H/W 性能ロジック状態遷移競合シナリオ ( シーン ) 仕様適合連続タイミング変化意地悪特性 / 精度環境負荷時仕様適合負荷時性能分かりやすさ外観恒温槽を用いた加速劣化試験水質水温変化の規定 品質目標から < テスト方針へ > C) テストに対する興味事項全体について テスト対象 と テストカテゴリ に分類 仕様 / 機能 レスポンス H/W 性能 ロジック 状態遷移 競合 ガワ ( 機構部 ) センサ ボタン 表示パネル LED ヒータ ポンプ 給湯開始 / 供給 / 停止 蓋 / 貯水部保温性 表示部明るさ 消費電力 正常系 / 準正常系 テスト対象 ( 元仕様から抜粋可能 ) テスト対象 ( 仕様に追加 ) テスト対象 ( 新規作成 ) テストカテゴリ 個別検証 あまがさきてすとくらぶ 仕様適合 連続 タイミング変化 特性 / 精度 環境 負荷時仕様適合 2/7 D) マトリクスにて テスト対象 と テストカテゴリ の組合せを考え テスト方針を決定した! 負荷時性能分かりやすさ外観 要求仕様に記載されるもの要求マトリクス試験マトリクス試験 - ( 要求 ) ( 要求 ) テストカテゴリ仕様 / 機能マトリクス試験マトリクス試験マトリクス試験 - - H/W マトリクス試験マトリクス試験 - 基本機能試験レスポンスマトリクス試験 H/W 性能マトリクス試験マトリクス試験 - 基本機能試験ロジックマトリクス試験 セル交点で必要なテスト方針 状態遷移状態遷移試験 - 状態遷移試験 競合競合確認試験 - 競合確認試験 - を抽出し 整理した - 要求仕様に記載されないものテスト対象シナリオ ( シーン ) マトリクス試験マトリクス試験マトリクス試験 Ⅲ. マトリクス試験テスト方針 に詳細を記載マトリクス試験マトリクス試験 - 連続試験ポットとしての基本機能恒温槽を用いたユーザビリティ検査基準 : - システム全体確認試験加速劣化試験テスト外観検査 テストの方針 タスクが決定! に決定事項を記載 仕様の不足 改修方針を明確化要求仕様書を改訂 追記する箇所を決定 に記載 シナリオ定義書 追加作成決定 に記載 テストに対する興味事項から 方針決定! テストカテゴリは ISO9126 と比較して不足項目の確認を実施 に記載 個別の試験項目を抽出 組合せ検討をしない試験を別途管理 に記載
テスト方針で <具体的に見える化 > あまがさきてすとくらぶ テストアーキテクチャ設計で決定した組合せを具体化検討して 方針 を決める対象とカテゴリの組合せでまとめ方を検討した結果 12 の試験の詳細方針を導き出した 3/7 対象とカテゴリの組合せ検討 テスト方針決定 テスト分析マトリクスとそれ以外のまとめ方を組合せで抽出テストカテゴリ 2 つのまとめ方針 4 分類 12 試験 テスト詳細方針 1 テスト分析マトリクス ( 詳細マトリクス試験 ) 仕様 要求 シナリオの 3 つの対象毎にカテゴリの組合せを絞り込んで 3 種の テスト分析マトリクス 作成 テスト対象 組合せから大きくマトリクス含め 4 分類 12 の試験項目を導出 テストカテゴリのベリファイ ISO9126: 品質特性に基づき検討抜けが無いか確認 ホシとり表で観点抜けをチェック 量産を想定した検討 量産を想定して試験毎に個別 / 全数試験を検討 対象( 詳細 ) VS カテゴリ のマトリクス試験を検討 テスト分析マトリクス はテスト内容のまとめ方 以下は テスト分析マトリクス以外がまとめやすいと考え 個別に検討 テスト詳細方針表 としてまとめた! 2 状態 / 競合試験 仕様として追加した状態 / 競合 タイミングずれを考慮した試験の実施 状態遷移表 (N スイッチ含む ) 競合表 3 回帰 / 基本機能試験 自動試験 / 全数試験を想定した項目抜粋 自動試験化を想定 (Ⅷ で詳細記載 ) 4 個別試験 検討過程で個別に試験を行った方が良い内容を具体化 ユーザビリティ 加速劣化 水質 水温制御 外観
試験で必要になる 自動販売機は同時押しは左押し 機能としてあるものもある 沸騰し続けるか? 全部押しはどうなる? 上下さかさまだとどうなるのか? H/W とのすみわけは? 音量は? 試験方法はどうする? 使用の環境条件が記載ない 繋いだ直後をどうやって知るのか? 初期のパネル表示は大丈夫か? 連続押し 操作パネル 水量 外気温などによってテーブル入れ替えは不要? 外観 片手で操作できること テーブルの固定値妥当性は? H/W レベルの個体差をパラメータで吸収 PID の制御量を予めテーブル化して使用 ( 温度制御テーブル方式 ) 3.1 沸騰行為 沸騰ランプ点灯 保温ランプ消灯 表示窓にはサーミスタの温度 目標温度 ON/OFF 方式 沸騰行為をやめる 3 条件 保温行為をやめる 4 条件 保温ボタンがない 試験方法 操作量 0 ハ ーセント 温度測定が困難 治具などが必要 コンセントを繋いですぐ アイドルになるまでの性能要求 アイドル中止判断 4 章参照かな? なぜ表示しない? 四捨五入で整数 パネル表示の桁数? 三桁だよね? 温度のムラはないか? サーミスタの場所 方法は適切化? すべての水位センサOFF 条件は 1つの水位センサが ONになった場合に満足されない 危険!! 沸騰行為を止めたあとの繊維先が不明確 どこいくねん! 保温行為を止めたあとの繊維先が不明確 どこいくねん! 特にミルクモードへの遷移が致命的 蓋を閉じて温度測定が必要 制御実施状態を確認が必要 水位センサについては不要か? 3 分間加熱中の過熱停止条件 一度沸騰しないとこのモードに遷移しない 上限は?100 以上もありうる? この方式を確認する方法を確立しなければいけない? 一旦沸騰してから保温温度に調整するのはどうなのか? ( ユーザの待ち時間の観点 ) デフォルト値 (H /W) の記載がある! 最終的に加熱をやめたことの確認は? どうする? 誤ってお湯が出ないようにするロック / ロック解除機能 on/offの2 値満水センササーミスタ100 さらに3 分加熱コンセント接続直後 of fにする条件の記載がない初期値最初はロックのほうが安全では? 沸点が100 でない場所では永遠と加熱が終わらない? ロック解除デフォルトonで どのタイミングで offにするのか? 状態でとる? ユーザーがわからない? ボタンにブザーがないボタンを押して解除 / ロック 2.5 解除ボタン on/offの 2 値第 n 位水位センサ 3 分間の根拠は? 給湯中の定義が不明満水センサが onで 第 n 位センサoffの場合 どう扱うのか? 周期時間? 給湯していないとき有効給湯状態 2. 6よりボタンを押している間 on/offの 2 値ボタン有効の条件蓋センサエッジでとるのか? 状態でとるのか? 起動時 蓋がしまっているといつまでも沸騰しないのでは? カルキ抜き完了 沸騰行為終了 保温 ONのとき有効蓋センサ沸騰までの時間 保温までの時間 ( 性能要求が必要 ) -10~150 境界は含むのか? おそらく含むボタンを押している間のみポンプを作動内部構成水温ボタンを押すことで給湯このポットは手で注ぐことはできないのか? 温度の振れ幅に規格はあるステップ値は分解能?? 保温ランプ点灯 沸騰ランプ消灯話題沸騰ポットユーザがわからず故障扱いにならないかロック解除以外にお湯が出ない条件がある 2. 操作要求仕様 1.H/W 構成ブザー音 khz 音は固定? 1~2 章ロック解除 水量適正 ( 異常ではない ) 蓋センサON 制御周期の分解能は? 操作量は 周期時間中のヒータON 時間の割合を % で示す制御方式共通上限は?100 以上もありうる? S/Wで検知するのか? S/W p.1 2 ボタン有効条件ヒータ電源 ON 温度エラー検知無し 保温行為中 2.6 給湯ボタンヒーターヒータ異常四捨五入で整数異常の判定は? 水量異常 ヒータ電源 OFF 温度エラー検知途中でポンプ停止給湯有効の条件沸騰後の3 分 ( カルキ抜き ) の根拠は? 表示窓にはサーミスタ温度パネル表示の桁数? 三桁だよね? 電動制御? 給湯中に蓋をあけることができる? ポンプどのくらいの量を出す? 作動できない条件 ポンプ停止条件沸騰行為はON/OFF 制御 保温行為は PID 制御温度のムラはないか? サーミスタの場所 方法は適切化? 最低水位は? 沸騰中でも無視して給湯するのでは? 保温中のみ給湯どのケースでどの制御方式を適用する H/W 故障検知はど? うするのか記載がない 0~ 60 分テーブル方式は未使用? この方式を確認する方法を確立しなければいけない? 上下限値は? それ以外? カップラーメンを作るときの時間測定を想定温度表示整数値? 沸かすためのタイマではない 目的温度の単位は? 話題沸騰ポット単位? 4. 温度制御方式 3. 温度制御行為温度の精度を記載してあるほうがよい残り時間の表示でもない操作パネル部色表示? 100% と0% のみ使用 ユーザ観点 3~4 章デフォルト表示? PID 制御方式保温モード変更時に対象のモード温度に変更するか? 0:00 デフォルト値お湯が空になったときにアラーム? 音? 安全設計あるのか? 温度が低ければ100% 高ければ0% 目標温度 ON/OFF 方式タイマ停止 1 分ずつ加算タイマボタンを100msec 押す 3.2 保温行為 4 章での記載が不足目標温度に達しない場合 永遠に制御し続ける? 設定値の表示どれくらいの時間でモード移行するか? 残念なことにならないか!? 60 分設定のために 10 0 ms ec 押す N 回容量の記載がない必要なスペックの記載がないため 要求仕様書へ反映が必要!!!!! セット方法リセットボタンがないと困るのでは? 長押しで 10 分単位で飛ばしながら設定できないの? 各係数をきちんと定義 ( 可変の場合は条件も ) 制御式で その周期の制御量 M(%) を算出して使用 PID 制御方式 10 分くらいなら我慢できるかもすべての水位センサOFF 条件は 1つの水位センサが ONになった場合に満足されない 危険!! 違和感 S/ W 仕様として大丈夫か? 以上? 未満? 押下間隔 押しっぱなし 0~ 60 分 セット完了後 1 秒後 コンセントのデフォルト値は? 異常時以外 ( 正常時 ) 瞬断はどうなる? 3se c 経過後にも 水面が波打っていた場合は考慮されていない 最悪 あけたまま沸騰してしまう? 1sec 以下の開閉はどうなる? 総合試験では必要になる 同時押しはどうなる? 定義がない S/W が温度を見張りながらやる? 気圧高いところは? ボタン 節約の定義が曖昧 S/W は何をすれば節約を保証できるのか? 無効になる条件はこれだけなのか? 無効になっていることがわかるのか? 無反応? 蓋を開けたときは全ボタン無効? 3 秒以上 センサの数との対応??? センサの数は変更される どう試験する? 音の種類が必要 繋いだ直後とは? どれぐらい直後? 4:01 でセットすると 6:00 になる ほかは音を鳴らした後に 処理起動されるが ここはタイマセットの後にブザー 競合 他の機能と競合しても 1 秒後なのか? 蓋センサ off 開閉間隔 3 秒未満では? 異常って何? 3sec 同時イベント発生時は? セット時の音 タイマボタンの有効無効の条件 3 秒経過で判定 満水時の表示 温度の分解能 ブザー音 設定範囲 タイムアップ 水位センサー 水位表示 3s ec 斜め設置はどうなるのか? 水量が適正 異常とは何? 保温行為はだれが実施する? 分単位切りあげ ブザー音 蓋センサ 1s ec 以上 off 0 分? 保温設定ボタン 温度が低下する際の制御は? 何もしない? 表示上はある 点滅速度早くない? 空の表示と区別しにくい 空の表示は最下位インジケータのみ点滅のほうが良い 両方押せる 気圧低いところは? 空の表示 コンセント 温度の制御は誰がやってるの? ずっとながおし タイマ起動タイマ表示 時間 100msec 10 0 リセット インジケータ 4 段階 蓋センサー 1s ec ロックとは? 2.1 コンセント 2.2 蓋 2.3 沸騰ボタン 2.4 保温設定ボタン 2.7 タイマボタン 2. 8 水位メータ どうやって試験する? 3.3 アイドル 表示窓 さらに蓋を閉じている状態だと思うのではじめの状態を明確に 沸騰状態になってもすぐ中止するのか? 他状態へ遷移する条件が蓋センサ on だけだが他には? エラー状態からの復帰はどのようにするのか? 蓋 ON 沸騰状態 ( 温度表示 ) 水位センサ全て OFF アイドルへの遷移 ( 温度表示せず ) を繰り返す状態が発生する 温度表示が点滅するが? テスト視点の < 仕様検討 > あまがさきてすとくらぶ テスト視点で得られた設計不足点を仕様書へフィードバック 改訂第 8 版を作成あわせて シナリオ定義書 でユーザの使用シナリオを定義した 検討の流れ ( 仕様修正 ) 7 第 7 版 の仕様を元に検討 3 色ボールペン法分析結果 ( マインドマップで整理 ) 指摘表 回答入力済み テスト興味事項一覧から検討された仕様修正項目 ( Ⅱ 参考 ) 3 色ボールペン法とは? 仕様書に以下の方針でメモを取りながら読み込む方法 赤 客観的に見て, 最も重要な箇所 引用 : 青 客観的に見て, まあ重要な箇所ソフトウェアテストPRESS 緑 主観的に見て, おもしろい / おかしいと感じた箇所 Vol.2( 技術評論社 ) 仕様修正の元となるネタ 仕様修正 追加項目 ( 大項目のみ ) 1 H/W 性能 ( 給湯の水量等 ) 2レスポンス ( ボタンの反応等 ) 試験が可能となるように 対象の仕様項目に定義追加 3 ロジック CEGTest でドメイン分析を実施 ( Ⅶ に記載 ) 4 状態遷移 UML の状態遷移図と表で整理 ( Ⅶ に記載 ) 5 競合 競合表を用いて定義を実施 ( 下記に説明記載 ) 6 曖昧さのフィードバック 3 色ボールペン法仕様分析にて発生した指摘に 要求元をロールプレイした回答検討を行いフィードバック 別途検討資料を追加したもの 7 シナリオ ( シーン ) シナリオ定義書 ( 下記に説明 ) を作成 4/7 テスト視点を取り入れた 第 8 版 を一部の試験では そのままテスト対象 とする 検討結果をフィードバックして 第 8 版 完成 シナリオ定義書 シナリオ定義書 ユースケースを抽出し 組合せることで想定される運用シナリオ ( シーン ) を作成 ユーザーと関連したユースケースの抽出 No. ユースケースアクター正常シナリオ準正常シナリオ U01 沸かすユーザー N-1 前提条件 保温中かつ給湯中でないこと 1. ユーザーは沸騰ボタンを押す 2. ユーザーはランプ ( 沸騰 ) を確認する ランプ ( 沸騰 ) が点灯する ユースケースを組合せ シナリオ ( シーン ) を構築 U01 U02 U03 U04 U05 SN-1 前提条件 適切な水量かつ蓋が開いていること 1. ユーザーは蓋を閉じる 2. ユーザーはランプ ( 沸騰 ) を確認する ランプ ( 沸騰 ) が点灯する 競合表 列見出し : 状態とタイミングを階層化記載行見出し : ユーザの操作 システム内部のイベント 外乱 で分類 特にユーザのボタン操作は ボタン押下 押す/ 離す に分解して記載 仕様上の タイミング境界 をもとにして 遷移の 途中状態 を1 状態として抽出
Ⅴ. テスト計画 IEEE829 基準の < 計画書へ整理 > あまがさきてすとくらぶ テスト要求分析 ~ テストアーキテクチャ設計における検討結果を文書化 IEEE829 テストプランテンプレートに対応させて記載 5/7 IEEE829 ベースの章立て 1. 概要 2. 参考文献 3. 用語集 4. テストアイテム 5. テスト分析 ( テストする機能 しない機能 ) 6. アプローチ 7. テスト項目の合否及び中止判断基準 8. テスト成果物 9. テストタスク 10. 環境条件 11. スケジュール 12. リスクと対策 13. 承認 コンポーネントテスト 統合テスト システムテスト 品質目標 (Ⅱ 参照 ) と各レベルにおける誤り数目安を記載 各テストフェーズでの実施内容を定義 試験フェーズ 試験ドキュメント量 [ 頁 /KL] 試験項目数 [ 項目 /KL] 検出誤り率 [ 件 /KL] カバレッジ コンポーネントテスト 5.5 80 2.5 C0/C1 カバレッジ 100% 統合テスト 6.0 30 1.0 S0/S1 カバレッジ 100% システムテスト 4.5 20 0.5 テストは要求仕様書 シナリオ定義書 (Ⅳ 参照 ) を対象とする および を文書化したもの テスト詳細設計へ向けた検討結果を記載 テスト分析マトリクス (Ⅲ/Ⅵ 参照 ) 競合試験 / 状態遷移試験 その他 H/W: 温度計 / 気圧計等の測定治具 S/W: 自動測定 / 制御ツール等 製品の機能 / 性能 / 不具合に対するリスク : 人の怪我 火傷にかかわるような機能 = リスク大主要機能 / 性能項目 = リスク中補助機能 / 保守用機能項目 = リスク小 ポイント 4 に記載の部分 回帰試験の自動化が可能な環境を考慮して記載 プロセス管理上のリスク : 指標値以上の不具合検出率 必須機能 / 性能の未達 etc.= リスク大開発工程遅れ テスト工数 / コストの圧迫 etc.= リスク中試験用機能の不足 部品単位での品質不足 etc.= リスク小
Ⅵ. テスト詳細設計 テスト全体と < 集約を考える > あまがさきてすとくらぶ 詳細マトリクス分析を活用し テスト全体を漏れなく検討抽出 発散された項目は 集約管理表を利用してテスト項目へ集約させる テスト分析マトリクス検討結果 詳細マトリクス分析で発散させたテスト検討を テスト設計書では集約させる 集約管理表 集約管理表 を用いた検討を行うことで 検討しやすく トレーサビリティを確保する テスト設計書 試験対象機能 / 試験 ID 2.8 水位メータ pot280 全体 pot280-test01 正常 水位メータ 2 テスト設計書へ反映する 6/7 試験項目名試験概要合否判定基準テスト構成 / テスト環境参考手順使用技法ース : 入力 / 出備考 状態遷移テスト 水位メータのインジケータ表示の各状態遷移を確認する 状態を遷移させるために 注水 給湯を実施する pot280-11 水量異常の判断の詳細は 8.3 水位判定を参照とすること 仕様仕様 ID 仕様適合特性 / 精度 5.2 エラー検知 仕様 / 仕様 ID 使用技法 テスト設計書 ID 5.2 エラー検知 pot 520 11 項目 A 項目 B pot 520 11 Test01 pot 280 22 pot 520 11 項目 A 項目 B 1 試験手順ベースで集約可能な複数の試験項目をまとめる <IEEE 829 ベース / 設計書とテストケース仕様書を統合したテンプレート > 満水 空 故障 n 水位の各インジケータ表示が 状態遷移表に従って状態遷移すること 実機構成を使用する 分析マトリクステストカテゴリ 要求 仕様適合 タイミング変化 特性 / 精度 連続意地悪 / 準正常 環境 負荷時仕様適合 負荷時性能 各状態に遷移するよう 注水 給湯を実施する 仕様 マトリクス分析でのカテゴリ対応表 適応カテゴリに 状態遷移表テストケース仕様書 XX を参考 シナリオ 前提条件 :XX の試験が完了していること pot-280-21 水量が異常でなければ onになっている第 nセンサに対応したインジケータセルのランプを点灯して 水位を表示する pot-280-21-test01 正常 正常水位表示確認 満水状態でなく また 空状態でない場合に 水位が正常と判断し 正常な水位をセルランプに表示できることを確認する 確認は 第 1,2,3,4 水位で行う 正常水位 ( 第 n 水位 ) が インジケータセルランプに表示することを確認する 実機構成を使用する 第 1,2,3,4 水位を表示するよう 注水 給湯を実施する ドメイン分析境界値分析
exit / ヒータを OFF にする < 効率よく試験を実施 テスト技法による検討を仕様修正時の追加検討と テストケース作成時に実施また 回帰試験の自動化や H/W を含めた特殊試験を考える > あまがさきてすとくらぶ 7/7 ドメイン分析 :CEGTest( 原因結果グラフ ) 1 システムの入出力を組み合わせの論理回路として表現 2 作成した原因結果グラフからデシジョンテーブルを作成 仕様に追記 ロジックを明確化 状態遷移 ( N スイッチ / 状態遷移図 表 ) 状態遷移図 1UML 状態遷移図を作成し仕様の明確化 21 をもとに状態遷移表の作成 N スイッチ 1 遷移前 / 遷移後状態を 行 / 列に配置した表を作成 2 行 / 列の交点に 遷移するためのイベントを記載 31 を一つの行列として 行列積 (N-1 回 ) を計算 = 保温行為 entry / 保温ランプを点灯し 沸騰ランプを消灯する サーミスタの温度を表示する [ 高温モード ] 高温モード : 保温 [ 節約モード ] 保温ボタン押下 保温行為停止条件の発生 条件 2 沸騰ボタン押下もしくは 5 章 : エラー検知 参照 節約モード : 保温 状態から状態への遷移経路を複数試験可能 給湯中 保温ボタン押下 保温ボタン押下 [ ミルクモード ] ミルクモード : 保温 給湯の状態遷移参照 回帰試験の自動化 自動化方法 : 1 内部 1リモート制御用状態取得ケーブルを経由しポット内部の状態を取得 / 変更 2GP-IB 等で測定器を制御 3 測定器にて温度 電気特性計測 4 テストスクリプト記述による自動制御 OK/NG 判定 試験結果集計 3 測定 自動化対象試験項目 : シナリオテスト ユーザーが多用する基本機能を中心としたテストの繰り返し 本内容は アップデート時のリグレッション試験にも使用する 競合テスト タイミングのズレをランダム変更しつつ競合表を網羅する 100 V 2 制御 / 測定 4 スクリプトによる試験手順記述 ( 例 ): CtrlPower("ON", 100); // 電源 ON MeasCur(iVal); // 電流測定 ChkVal(iVal,iMin,iMax); // 規格判定 基本機能確認 タイミングを網羅した試験を自動実行 その他試験 (H/W を含めた確認など ) ポット特有の要素確認 ユーザの分かりやすさなどの確認を別途実施 試験項目 試験目的 試験方法 加速劣化試験 ポットの保障期間内のH/W 寿命を検証する 電圧 / 温度サイクル変化を定周期で実施 ユーザビリティテスト ユーザにとっての 理解 / 操作性 を確認する マニュアル無しで使ってもらい アンケート 水質検査 カルキ抜き処理後の水質を確認する カルキミル ( 残留塩素測定試薬 ) による検証 水質検査は カルキミルやヒヤシンスの成長等で確認