差分テストのためのイテレーションとテストケース選択

Size: px

Start display at page:

Download "差分テストのためのイテレーションとテストケース選択"

たみじろうほうねん
5 years ago
Views:

1 FMEA によるテストケース選択大日本スクリーン製造株式会社ソフトウエアテンナインカンパニー粕渕清孝

2 Agenda 1. 4 点法 FMEA とは 2. 背景課題 3. 適用結果 4. 考察 5. まとめ

3 会社紹介大日本スクリーン製造株式会社京都府京都市 1943 年 10 月 11 日設立事業半導体製造装置液晶有機 EL 製造装置プリント配線板製造装置印刷製版機器 IT 関連機器ソフトウエアテンナインカンパニー社内ソフトウェアの開発開発管理ツール, ビジュアル検索ツール, デジタルフォントの開発販売半導体製造装置 LeafThrough ヒラギノフォント

4 1. 4 点法 FMEA とは 2. 背景課題 3. 適用結果 4. 考察 5. まとめ

段階でぶれにくい評価の速度遅い速い対策の要否判定経済的考慮症状の重さをランキングする要否が不明確なため,

5 4 点法 FMEA [1] とは QS 9000 / TS16949 FMEA [2] (10 点法 ) との違い 10 点法 4 点法評価の段階数相対順位のため多い絶対評価のため尐ない評価の安定性評価者でぶれやすい 4 段階でぶれにくい評価の速度遅い速い対策の要否判定経済的考慮症状の重さをランキングする要否が不明確なため, 不要な処置を講じたり必要な対策を怠る可能性がある評価と対策を同時に行う小対策改善の加算ができ, 最適信頼性を得ることができる

6 故障, 故障モードと発生メカニズム発生メカニズム故障モード ( システム破壊 ) 故障 ( 機能障害 ) 階段で転んで足の骨折歩けない品目故障故障モード発生メカニズム PFAチューブ漏れ割れ ( クラック ), 折損, 緩み, 磨耗, 腐食, 結露など屈曲繰り返し動作で熱サイクルで耐薬品性に劣る材質を使って塩ビ槽処理不可処理槽変形耐熱性を超える温度の温水が逆流して処理槽内雰囲気温度が上昇してシリンダ動作しないシャフトの錆び薬液の飛沫で徐々に腐食して取り付けエリア雰囲気によって

7 Risk Index 4 段階で評価がぶれにくい. 評価に時間を要さない! RI(Risk Index)= 影響度発生頻度事前検知度の 3 乗根トータルコスト = 製造原価 + 整備関係費最適信頼性は経済的合理性を考慮し, トータルコストが低い RI=2.0~2.3 と定義する. 2.3 より高ければ対策を講じ,RI を下げていくことによって最適信頼性を得る. 評価しながら, 対策が検討可能. すべての評価を待つ必要性なし!

8 1. 4 点法 FMEA とは 2. 背景課題 3. 適用結果 4. 考察 5. まとめ

9 背景課題 2004 年装置開発プロジェクトで FMEA 試験導入 10 点法 FMEA 試験導入. ソフトウェア部門もブレーンストーミングやなぜなぜ分析に参加したが, 労力の割に効果を実感できなかった. 工程 FMEA 故障モードはレビュー漏れやインスペクション手順間違い等の規定違反. ソフトウェア開発にも適用可能年装置開発プロジェクトで 4 点法 FMEA 導入ハードウェア部門が先行して導入. ソフトウェアを含む全関係部署に説明会実施. 設計 FMEA ソフトウェアに経年変化はない. ソフトウェアでは故障モードに該当するものはないと考えるのが普通. ソフトウェアへの適用 : Risk Index による障害優先順位づけから検討エンピリカル ( 実証的 ) なアプローチ不良, 故障の違いを理解しつつ,4 点法 FMEA の RI はテストケース選択に活用できると考えた.

10 1. 4 点法 FMEA とは 2. 背景課題 3. 適用結果 4. 考察課題 5. まとめ

11 適用障害対応 RI によるテストケース選択 1. 障害発生分類 RI 数値要対策 RI>2.3 4.RI 再設定 2.RI 評価 ( 障害調査時 ) 保留合格 2.0<RI 2.3 RI 要対策障害を修正発生したソフトウェア障害を RI(Risk Index) で評価. RI>2.3 の障害については他障害の評価を待たずに修正を行う. 対策後のリスクを RI に反映. RI 値にもとづいてテストの優先順位づけを行う. 対策前の RI 値を使用し, テスト計画作成変更時にテストケースを選択抽出する. リスクベースドテストとも言えると考える.

結果あるソフトウェアに 4 点法 FMEA を適用し改善状況を測定システムテストの障害件数とその Risk Index を測定 1 回目 : 機能テスト,2 回目 : 回帰テストが中心であった 1 回目 2 回目実施テスト数 1050 498 見送りテスト数 536

12 結果あるソフトウェアに 4 点法 FMEA を適用し改善状況を測定システムテストの障害件数とその Risk Index を測定 1 回目 : 機能テスト,2 回目 : 回帰テストが中心であった 1 回目 2 回目実施テスト数見送りテスト数障害総数要対策数 28 7 要対策数 / 障害数 49% 58% 既知障害 - 0 要対策の割合減ってない ( 要対策数 / 障害数 ) 重大障害割合は逆に増加ただし, 要対策 (RI>2.3) の既知障害の再発は皆無 1 回目システムテスト 2 回目システムテスト

13 1. 4 点法 FMEA とは 2. 背景課題 3. 適用結果 4. 考察 5. まとめ

14 考察要対策障害要対策既知障害の再発は防止できている. 要対策障害割合はほぼ一定の割合で発生していた. 測定残件 2 回の規模相違 ( 機能数,LOC) テストケース選択についての効果測定はこれから. サンプルが尐ないため, 効果まで導きだせなかった. 格段に効率品質が向上するわけではなく, リスクベースドテストの 1 パラメータという感触 FMEA をソフトウェアへ適用するための Tips 特性要因図はマインドマップで代用可能 QC 工程表は CMMI や SPI のプロジェクト計画書やプロセスフローに相当

15 今後の課題 1 障害対応 1. 障害発生取り組み, 仕組みともに不十分であった. 今後はこちらにも注力. 設計改善 1. 障害調査 4.RI 再設定 2.RI 評価 ( 障害調査時 ) + 4. 設計フィードバック 2. 故障モード評価 3. 要対策障害を修正 3. データ蓄積両輪でまわしていく

16 今後の課題 2 設計改善の仕組みとツール設計改善のためのデータ蓄積の仕組みとツールを構築する. 構成管理と障害管理の連携ソフトウェアバージョン分岐が多数発生するプロジェクトでは, バージョン毎の FMEA RI 管理が必要である. 工程 FMEA( 開発プロセス ) へフィードバック影響と発生メカニズムの評価結果 ( 厳しさ頻度検知度 ) を活用できれば,ROI を大きくできるのでは.

17 1. 4 点法 FMEA とは 2. 背景課題 3. 適用結果 4. 考察 5. まとめ

18 まとめ 4 点法 FMEA Risk Index による障害評価リスクベースドテストへの応用効率化と高品質を実現

= ソフトウェア障害 fault フォールト defect 参照 problem 問題 defect 参照 failure 故障コンポーネントやシステムが期待した機能, サービス,

19 用語整理 [5][6] 英語日本語意味 anomaly defect 不正欠陥 [IEEE1044] 要件仕様, 設計ドキュメント, ユ - ザドキュメント, 標準などから期待する事象, 直感, 経験から逸脱するあらゆる状態コンポーネント, システムの不備, 実行中に欠陥に遭遇するとコンポーネント, システムの故障を引き起こす. = ソフトウェア障害 fault フォールト defect 参照 problem 問題 defect 参照 failure 故障コンポーネントやシステムが期待した機能, サービス, 結果を提供できないこと incident インシデント発生した事象中で, 調査が必要なもの deviation デヴィエーション逸脱 incident 参照 error エラー間違った結果を生み出す人間の行為 mistake 誤り error 参照

参考文献 [1] 鵜沼崇郎, 客観的品質管理 QC TQM FMEA FTA, http://www.geocities.jp/takaro_u/ [2] 石川忠幸,FMEA FTA 故障解析入門講座 No.

20 参考文献 [1] 鵜沼崇郎, 客観的品質管理 QC TQM FMEA FTA, [2] 石川忠幸,FMEA FTA 故障解析入門講座 No.2 FMEA の手順と活用法を身につけよう,2005, 工学研究社 [3] Rex Black, 基本から学ぶテストプロセス管理, テスト技術者交流会訳,P26,2004, 日経 BP 社 [4] Rex Black, ソフトウェアテスト 12 の必勝プロセス, テスト技術者交流会訳,P30,2005, 日経 BP 社 [5] ISTQB, テスト技術者資格制度 Foundation Level シラバス日本語版 Ver1.01,JSTQB 訳,2005 [6] ISTQB, ソフトウェアテスト標準用語集 ( 日本語版 )Ver1.1, Erik van Veenendaal 編,JSTQB 技術委員会訳,2006

差分テストのためのイテレーションとテストケース選択大日本スクリーン製造株式会社ソフトウエアテンナインカンパニー粕渕清孝 Agenda ツールの開発経緯テスト計画の課題イテレーションと差分テスト協調開発のための工夫まとめ 1

差分テストのためのイテレーションとテストケース選択大日本スクリーン製造株式会社ソフトウエアテンナインカンパニー粕渕清孝 Agenda ツールの開発経緯テスト計画の課題イテレーションと差分テスト協調開発のための工夫まとめ 1 差分テストのためのイテレーションとテストケース選択大日本スクリーン製造株式会社ソフトウエアテンナインカンパニー粕渕清孝 Agenda 1. 1. ツールの開発経緯 2. 2. テスト計画の課題 3. 3. イテレーションと差分テスト 4. 4. 協調開発のための工夫 5. 5. まとめ 1 自己紹介大日本スクリーン製造 ( 株 ) 京都府京都市 1943 年 10 月 11 日設立事業半導体製造装置液晶