PPTVIEW

Size: px

Start display at page:

Download "PPTVIEW"

あいねひのと
5 years ago
Views:

テストに関するデータテスト自動化 : ソースコードから要求デザインモデルから Software

テスト担当者によるテスト時間がその 50% 開発者の 50% の時間がユニットテストに ( 全体の 25%)

良いテストをデザインするツールが少ないテストそのものの開発やそのテストにも時間が費やされる (

Research Associates Limited LDRA Ltd 開発期間の 25% テストの 75% を削減

Provider of test tools & solutions コーディングルールや複雑度の解析可読性

Consultancy, support & training 動的テストカバレッジ LDRA on the 自動車

1 テストに関するデータテスト自動化 : ソースコードから要求デザインモデルから Software Technology We Cover All Boundaries 企業はテストに 75% もの時間を費やしているテスト担当者によるテスト時間がその 50% 開発者の 50% の時間がユニットテストに ( 全体の 25%) システムが複雑になるにつれ欠陥の検出は一層困難にテストの開発に相当な費用がかさんでいる良いテストをデザインするツールが少ないテストそのものの開発やそのテストにも時間が費やされる ( テスト期間の半分はテストスクリプトのデバッグ ) Copyright 2005 Liverpool Data Research Associates Limited LDRA Ltd 開発期間の 25% テストの 75% を削減 Liverpool Data Research Associates ソースコードの静的解析 Founded 1975 Provider of test tools & solutions コーディングルールや複雑度の解析可読性メンテナンステストの容易性 Metrics Pioneer テストハーネスドライバスタブ生成 Consultancy, support & training 動的テストカバレッジ LDRA on the 自動車 LDRA in the 航空 Click for customers LDRA - Helping to get through the Test Click for customers Click for customers

2 LDRA on 鉄道 LDRA in 通信機器 LDRA - Testing along the right lines LDRA - Sound Testing Practice LDRA at 船舶 LDRA in the 金融システム LDRA Testing the Water LDRA Testing to Bank on LDRA in 電力システム LDRA in 宇宙機器 LDRA - Power Tools LDRA Expanding the Frontiers of Testing

LDRA in 医療機器 LDRA Tool Suite Languages LDRA Testbed Languages: Assemblers: Software health check C C++ C# Ada 83 / Ada 95 Java Visual Basic 6 Visual Basic.

& IA-64 Itanium) VAX VMS MVS z/os Unisys A/ClearPath/MCP os 2200 Unix Linux Sun Solaris Digital AIX SGI IRIX HP-UX Development Tools Ashling Vitra, Pathfinder & aside

Emulators TASKING TI CodeComposer WIND RIVER Tornado & Diab Processors ARM ARM7/ARM9 Infineon TriCore Intel 8051, 80C196 & others MIPS SmartMIPS, HiPerSmart, 4K(x)

コード生成 1 9% ドキュメント化 6% テストとデバッグ 28% Figure 1: How Developers Spend Their Time Source: Software Quality: Producing Practical, Consistent Software Mordecai Ben-Menarche &

3 LDRA in 医療機器 LDRA Tool Suite Languages LDRA Testbed Languages: Assemblers: Software health check C C++ C# Ada 83 / Ada 95 Java Visual Basic 6 Visual Basic.net Cobol Coral66 Fortran Pascal PL/Mx86 PL/1 Algol LDRA Tool Suite Host Platforms LDRA Tool Suite for Embedded System Testing Windows 9x/NT/2000/XP HP OpenVMS (Alpha & IA-64 Itanium) VAX VMS MVS z/os Unisys A/ClearPath/MCP os 2200 Unix Linux Sun Solaris Digital AIX SGI IRIX HP-UX Development Tools Ashling Vitra, Pathfinder & aside AONIX ObjectAda ARM ARMulator / Jumpstart Cosmic ZAP Green Hills MULTI & INTEGRITY Hitex ICE IAR KEIL Lauterbach ICE Metrowerks CodeWarrior Microtec XRAY Nohau Emulators TASKING TI CodeComposer WIND RIVER Tornado & Diab Processors ARM ARM7/ARM9 Infineon TriCore Intel 8051, 80C196 & others MIPS SmartMIPS, HiPerSmart, 4K(x) Motorola MC68K, MPC5xx & 6xx TI TMS320Cxx PowerPC 603, 603E, 604 & others & many more LDRA によるテストの自動化 LDRA 開発ライフサイクルにおける自動化促進開発期間の 81% をサポート Code Review コードの解析 47% コード生成 1 9% ドキュメント化 6% テストとデバッグ 28% Figure 1: How Developers Spend Their Time Source: Software Quality: Producing Practical, Consistent Software Mordecai Ben-Menarche & Garry S. Marliss, Thomson Computer Press 1998 Quality Quality Review Review Design Design Review Review? LDRA LDRA tool suite Unit Test Test Test Manager Manager Test Test Verification Verification

多くのスタンダードガイドラインをサポート静的解析 : コードレビュー機能 DO-178B (Levels A, B & C) DEF

IEC 61508 (SIL 4 1) CENELEC 50128 BS EN ISO 9000 / 9001:2000 NUREG

を完全に対応コールグラフによるコード構成のグラフィカル表示 MISRA C / MISRA-C:2004 スタンダード解析

アプリケーションとシステムファンクションの階層を表示赤はアプリケーション緑はアプリにコールされるシステムファンクション

4 多くのスタンダードガイドラインをサポート静的解析 : コードレビュー機能 DO-178B (Levels A, B & C) DEF STAN (Static & Dynamic) MISRA C / MISRA-C:2004 DERA C BS 7925 IEC (SIL 4 1) CENELEC BS EN ISO 9000 / 9001:2000 NUREG 6501 プログラミングスタンダードコードレビューのレポートコード構成のグラフィカル表示 MISRA C / MISRA-C:2004 を完全に対応コールグラフによるコード構成のグラフィカル表示 MISRA C / MISRA-C:2004 スタンダード解析 LDRAはMISRA C 委員会のキーメンバーでありソフトウエアテストとそのツールのエキスパートとして広く認知されているアプリケーションとシステムファンクションの階層を表示赤はアプリケーション緑はアプリにコールされるシステムファンクションフローグラフによるコントロールフローのグラフィカル表示各デシジョンノードごとのソースコード解析表示データフロー解析スタンダード違反プログラムブロックとコントロールフローのグラフィカル表示

クオリティーレビュー機能複雑度解析 : グラフ表示複雑度解析リファクタリングサポート LCSAJs パス解析品質レポートより良く構造化されて複雑すぎないか?

直感的なグラフ表示で解析複雑度解析 : 各種メトリクスの統計複雑度解析はプロシジャーごとに解析されその構造をレポートする各種複雑度のメトリクスはプロシジャーファイル

SPV 本質的な複雑さを明示リファクタリングを促進 Structured Programming Verification (SPV) により

LCSAJs パス解析品質の概要表示 : 各メトリクス結果を統合して LCSAJs 各コード行が持っている実行パスを解析コードのメンテナンス性の重要なメトリクス

5 クオリティーレビュー機能複雑度解析 : グラフ表示複雑度解析リファクタリングサポート LCSAJs パス解析品質レポートより良く構造化されて複雑すぎないか? メンテナンスは容易であるか? 問題が起こり得そうな場所は? 直感的なグラフ表示で解析複雑度解析 : 各種メトリクスの統計複雑度解析はプロシジャーごとに解析されその構造をレポートする各種複雑度のメトリクスはプロシジャーファイルシステム全体等に対して評価解析される. SPV 本質的な複雑さを明示リファクタリングを促進 Structured Programming Verification (SPV) により複雑度とノットメトリクスは適性に評価される本質的に複雑である箇所の特定グラフィカルに解析本質的に複雑である箇所の特定をし不適切に構造化された箇所のリファクタリングを促進 LCSAJs パス解析品質の概要表示 : 各メトリクス結果を統合して LCSAJs 各コード行が持っている実行パスを解析コードのメンテナンス性の重要なメトリクステスト不可能なパスも特定コードの読み易さ How easy is your system to understand? 最も包括的なパスカバレッジ ( テストカバレッジとの融合 ) Mandated for European safety critical military avionics projects メンテナンスしやすさ How easy is it to maintain your software? テストの容易さ How much effort is needed to test your system?

6 品質の概要表示 ( 各メトリクス結果を統合 ) デザインレビュー A representation of bounds tested quality metrics. Bounds can be user defined or industry standard. インターフェイス解析コードのプロファイルデータフロー異常解析ユニットテストユニットテスト自動化機能 : 静的解析の情報を基に System テストハーネス自動生成スタブコードの自動生成 Stubs Stubs Unit グローバル変数の解決ソースの無いシステムコールもプロトタイプ化できるリグレッションテストをサポート動的テストカバレッジ解析コールグラフとテストカバレッジの融合カバレッジ解析テストプランニングダイナミックコールグラフダイナミックフローグラフレポート表示ハイパーリンクでフローグラフへデータセットプロファイルプロシジャー / ファンクションコール間のテストカバレッジグラフィカルに表示

7 フローグラフとテストカバレッジの融合ソースコード表示によるテストの評価テストされていないコードを特定各種レポートによる詳細情報注釈による分岐ポイントの明示テストカバレッジのグラフィカル表示青 : 未実行赤 : 済みレポート機能によるテストカバレッジの概要テスト管理機能ソフトウエア変更箇所の検出リグレッションテストの管理テスト結果のドキュメント化ソフトウエア変更箇所の検出リグレッションテストの管理静的解析からソースコードの変更箇所を見出しテストへの影響を評価テスト ( スクリプト ) とその結果は記録され関連するコードやテストバージョンコントロールシステムと合わせて管理されるユニットのリグレッションテストはビルドとテストの繰り返しサイクルの一環として自動化される

メトリクスなどを高度に統合し概要を表示するが各項目ごとへの詳細へ掘り下げた結果表示も可能ソースコードの品質を向上静的解析静的解析, ユニットテスト,

ユニットテストリグレッション等の自動化テストカバレッジ結果 We Cover All Boundaries ソースコードに対するテストの深い洞察と

TAF: テスト自動化のフレームワーク要求仕様とテストのリンク DOORS Test Vectors 要求仕様書や T-VEC (TTM)

System LDRA 3 要求仕様を表でモデル表記曖昧な要素を形式的モデルに変換 Requirements/Design Capture Captured

8 テスト結果のドキュメント化静的解析のみ?? : 従来のケース完全なドキュメントによるレポートで開発者テスト担当者保守 QA 担当者全てに監査の為のデータを提供レポートは品質メトリクスなどを高度に統合し概要を表示するが各項目ごとへの詳細へ掘り下げた結果表示も可能ソースコードの品質を向上静的解析静的解析, ユニットテスト, 動カバレッジツールの融合静的解析要求仕様デザインモデル検証による自動テスト生成実行ツールソースコードの品質を向上テスト結果のグラフィカル解析ユニットテストリグレッション等の自動化テストカバレッジ結果 We Cover All Boundaries ソースコードに対するテストの深い洞察と開発サイクルにわたるテスト自動化を促進 T-VEC Technologies, Inc. TAF: テスト自動化のフレームワーク要求仕様とテストのリンク DOORS Test Vectors 要求仕様書や T-VEC (TTM) 要件管理ツール要求仕様を (DOORS など ) 表でモデル表記 Simulink Stateflow T-VEC Test Vector Generation System LDRA 3 要求仕様を表でモデル表記曖昧な要素を形式的モデルに変換 Requirements/Design Capture Captured Model Translation デザインモデルシミュレーション自動コード生成 Simulink Tester GUI コードカバレッジ (MCDCなど) 静的解析モデル検証 (MISRA など ) テストベクタ生成モデルテストカバレッジテストドライバー生成テスト結果解析 1 2 要求仕様 ~ Simulink モデル ~ テストへのトレーサビリティ - ロッキードマーチン社による JSF 開発事例 TTM

Simulink モデルとテストのリンクモデルベース検証と自動テストの利点 Model-Based Verification モデル検証 : モデル上の矛盾不一致ドメインエラーゼロ割りなどの欠陥を検出モデルベーステスト : ( モデル検証の副次的な利点 ) テストベクタ生成モデルテストカバレッジテストドライバー生成テスト実行テスト結果解析テストレポート生成テストケース生成

9 Simulink モデルとテストのリンクモデルベース検証と自動テストの利点 Model-Based Verification モデル検証 : モデル上の矛盾不一致ドメインエラーゼロ割りなどの欠陥を検出モデルベーステスト : ( モデル検証の副次的な利点 ) テストベクタ生成モデルテストカバレッジテストドライバー生成テスト実行テスト結果解析テストレポート生成テストケース生成期待出力値の判定等のマニュアル作業を排除テストスクリプト ( ホスト上ターゲット上 ) の記述を自動化要求仕様やモデルに対するテストカバレッジの解析モデルをバリデーションする為のシミュレーションデータの供給 Verification and Validation の自動化テストベクタ生成モデル検証モデル上の欠陥や入力値範囲の見込み違いを発見モデル検証からテストを生成モデル上の全論理パスに対してテスト入力と予測出力値のベクタテストシーケンスベクタはマルチサイクルな実行にわたるテスト入力と予測出力値テストドライバーを生成テストベクタやシーケンスベクタを基にテストドライバの自動生成ソースコードへのテストドライバーの実行によりモデル対アプリケーションの検証モデルの実証およびモデルに対するテストベクタ生成を検証するための MATLAB シミュレーション用テストドライバーテストドライバーは如何なる環境へも対応ユニットインテグレーションシステムレベルテストテストベクタはテスト入力期待出力値及びモデルへのトレーサビリティを含む Simulink モデルへの依存性なく予測出力値が生成されるテストカバレッジ ~MCDC レベル Default - covers explicit paths (if, switch) Path - covers all paths (implicit and explicit) Condition - covers all conditions (MC/DC) モデル上の動的な振舞いの為のテストシーケンスベクタテストベクタ生成 ( 続き ) テストドライバー生成モデル上の全コントロールパスを認識各パスごとの収束条件が解析されるテストは収束される領域に沿って選択されるテストケースは入力領域に対するパス上の収束条件を加味して選択追加の収束条件は更なる特性の解析実証などテストドライバー生成用テンプレートはいかなる言語スクリプト実行環境に対応またコードカバレッジツールなど他のツールとも柔軟に統合 Included templates: C test drivers for RTW GRT and ERT code generator Simulation scripts for Matlab/Simulink Test Vectors Simulation T-VEC Driver Generator Host Test Driver Templates Target

Early Defect Identification and Prevention Model-based Analysis Finds Hidden Defects Rate of Discovery Finding and fixing defects early produces costs savings When defects are found early, budgets

SCRtool Analysis 6 TAF 1.0/ T-VEC 2 Offutt Tool 25 TAF 2.

10 Early Defect Identification and Prevention Model-based Analysis Finds Hidden Defects Rate of Discovery Finding and fixing defects early produces costs savings When defects are found early, budgets and schedules can stay intact With T-VEC Defects Defect Prevention Defects Old Late Defect Discovery Results in Significant Rework Model Analysis Technique/Tool Unique Defects 33 Inspections 27 SCRtool Analysis 6 TAF 1.0/ T-VEC 2 Offutt Tool 25 TAF 2.0/ T-VEC Requirements Writing Design & Build Release to Test 100X Decrease in Cost of Removing Defects Source: Ed Safford, Lockheed Martin, Software Technology Conference, Release to Field Time FGS Textual Requirements FGS CoRE Text-based Model 1995 FGS SCR Model V Approx. 9 Revisions 1998 FGS SCR Model V9 Rockwell Collins Pilot: Flight Guidance System (FGS) - Flight Critical Embedded System 火星探査機に於ける事例 Mars Lander Descent Path 5 KM TDM_started = TRUE 火星探査機 (Mars Polar Lander) の欠陥を 24 時間以内に検出 ($160,000,000 program failed due to software bug) Executive Touchdown Monitor (TDM) Textual Requirements 追加 : LDRA 社解析ツール TTM 要求モデル Simulink モデルモデル変換 T-VEC モデル検証テストベクタ生成 CMD_disable_enable TDM_started TDM Module 自動生成されたコード LDRA Testbed テスト実行環境テストドライバー生成実行 40 Meters CMD_disable_enable = enable Mars Surface Sensor Value for Each of Three Legs Leg Sensors マニュアル生成されたコード静的解析 (e.g. MISRA) 動的テストカバレッジ (e.g. MC/DC stats) 解析データテスト結果まとめありがとうございました Simulink モデルや要求仕様モデルとは独立してモデル上の欠陥を解析しテストベクタ及びシーケンスベクタを自動生成生成されるテストドライバーはモデルが正しくコード化されたかの検証テストベクタはモデル上の各要素の検証テストシーケンスベクタはモデル上の動的特性の検証に使用されうる要求エンジニア要求仕様書と要求モデルデザインコーディングシステム静的解析 LDRA Testbed 動的テストカバレッジ Software Technology We Cover All Boundaries Simulink デザインモデル Interfaces テスト結果 TTM TAF T-VEC テストベクタテストエンジニアによる要求のモデル化モデル検証テストドライバー要求仕様 -モデル-テストのトレーサビリティを実現富士設備工業株式会社電子機器事業部 info@fuji-setsu.co.jp

XJTAG

XJTAG LDRA/ T-VEC/ MetaEdit+ Domain Specific Modeling Ashling/Jtag ARC SmartCards LAUTERBACH /Jtag ARM PowerPC K MIPS XJTAG HW Domain-Specific Modeling Domain-Specific Modeling Software Technology 30 Copyright