カバレッジマスター winams JaSST2007 テクノロジーセッション JaSST2007C3-1 テクノロジーセッション組込み開発向けモジュール単体テストソリューション C0/C1 カバレッジテストデータ生成機能を搭載カバレッジマスター winams ガイオテクノロジー ( 株 ) 営

JaSST2007 テクノロジーセッション JaSST2007C3-1 テクノロジーセッション組込み開発向けモジュール単体テストソリューション C0/C1 カバレッジテストデータ生成機能を搭載ガイオテクノロジー ( 株 ) 営業部 1

最初に : ガイオテクノロジーご紹介 25 年来の組込みツールメーカー自社に受託開発部隊もあり VAX/VMS 対応の汎用クロス開発ツールでツールビジネスに参入以後 EWS~PCのダウンサイジングを経て 8000インストールベースの実績近年はプロトタイピングツールやシミュレーション検証ツールなどを中心にビジネス展開ガイオテクノロジー株式会社 GAIO TECHNOLOGY CO., LTD. 東京日本橋愛媛松山横浜本社設立資本金従業員本社 : 事業所 : 子会社 : 1980 年 2 億 9800 万円 80 名横浜東京松山九州 GAIO INC(USA) 九州 : 2

組込みのあらゆるツールを提供するメーカーガイオテクノロジーの開発ツール & ソリューション統合開発環境クロスコンパイラシステムシミュレータ (MATLAB/Simulink 連携含む ) 単体テストツール ( マイコンシミュレータ使用 ) 実機自動テストシステム HMI プロトタイピングドキュメント生成ソース解析 SoC プロトタイピング 3

単体テストを自動化する 4

ガイオ特長組み込みソフトの単体テストに特化した評価ツールマイコンシミュレータ (ISS) を使用して実装 ROM コードをテスト実際のマイコンの組み込みオブジェクトコードで単体テストを実行対象の評価ソースコードの書き換えは一切不要テストデータ ( 関数変数名 ) は全て CSV ファイルで入出力実行後のパスカバレッジ結果を自動レポートテストデータ結果マイコンシミュレータ (ISS) winams ユニット ( 仮想テスト装置 ) 入出力データ実機マイコン動作と等価なテスト環境内部連携パスカバレッジ評価対象の組み込みオブジェクトコード ( 実装 ROM コード ) を実行テストデータ (CSV) 入出力カバレッジ結果の作成 5

関数への入出力テスト方法 ( 仕組み ) モジュール単体入出力テストクロスコンパイルした組み込みオブジェクトをそのまま使用関数名変数名テストデータを CSVで入出力期待値との照合結果を自動レポートテスト入力データ CSV 試験対象のソースコード base(int a, int b, int c) { if (a == 1) { if (b == 1) { idx = 0; // data[0] if (c == 1) pos = 0; // data[0].str[0] : : } // 結果の設定 data[idx].c = data[idx].str[pos]; value = data[idx].str[pos]; //- 1; } マイコンシミュレータ winams ユニット対象の関数名入力変数名 & 入力データ出力変数名 & 期待値テスト結果出力 CSV 組み込みソースをそのまま使用コンパイラも現在お使いのものを利用可能バッチ処理で自動テストパッケージ出力変数名 & 変数結果出力期待値との比較結果 (OK or NG) 6

C0/C1 カバレッジ自動レポート C0/C1 カバレッジ結果を自動レポート条件分岐によるコードパスの網羅テストで品質を保証 winams によりテスト実行後に実行したソース行を色表示組み込みソフトの C0/C1 カバレッジの自動テストを実現 winams シミュレータ C0/C1 カバレッジ結果表示実行後入出力 CSV データクリックしたテストデータによる実行ソース行を色表示 7

呼び出し関数 STUB 作成機能 STUB 関数作成管理機能を装備元のソースコード修正なしで呼び出し関数の入れ替えが可能 HW アクセス部分システムコール永久ループ関数などテスト環境では実行できない部分を他の関数へ置き換え関数リスト上で STUB の ON/OFF を簡単に切り替え可能テスト対象の関数ソースコードは一切修正不要オブジェクト内の関数リストここで置き換える STUB 関数を作成切り替え STUB 関数のスケルトンコードを自動作成この中にテスト時の仮の関数を記述クロスコンパイラでコード化実際のアプリケーションコードとリンクして実行 8

ポインタ変数対応その他機能ポインタ変数引数にも対応変数の実体を伴わないポインタ変数引数の場合でもそのままテスト可能入力データ CSV の変数名に $ を付けるだけで実体を自動割り当て割り付けエリアは MPU のメモリモデルから自由に指定可能 $ int func1( char *data ) ポインタ変数の実体を作るための割り当てエリアを指定 CSV ファイルに ~ で期待値の範囲指定も可能 9

CSV テストデータ形式 ( 参考 ) 入力テストデータは資産化が可能マイコンに依存しない入力データフォーマットモジュールのテスト資産として再利用が容易一般的な CSV 形式でファイル保存が可能評価する関数名入力変数名 ( 関数名 @ は引数 ) 出力変数名 (@@ 関数名は戻り値 ) テスト関数サンプル // 入力データ char input; struct { char mode; int flag; } TAB; char array[3] = { 1, 2, 3 }; mod func コメント 4 2 // 結果データ input TAB.mode array[2] func@a func@@ output int output; 1 1-1 -1 1 2 // 評価対象の関数 func int func(int a) 12 43 56 78 1~8 0x4 { if (a == 1) { 0x10 0x23 0x66 0x11 if (b == 1) { 中略入力データ期待値データ ( 空でも可 ) } return 1; 10

テストデータ作成支援 C0/C1 入力データ自動作成機能 11

テストデータ管理実行ツール SSTManager テストデータ作成からテスト実行までを統合管理するツール単体テスト工程を統合管理テスト実行環境 (ISS) 設定 CSV テストデータ作成エディタ CSV テストデータ管理 STUB 関数作成管理シミュレータ起動テスト実行入出力結果レポート C0/C1 カバレッジ結果レポート V2.2 にてインタフェースを一新しました! 12

CasePlayer2 と連携したデータ作成支援ソース解析ツール CasePlayer2 と連携してテストデータ作成を支援テスト対象の関数が使用する変数を事前に解析コード解析により C1 カバレッジ入力データ作成を自動化 C1 カバレッジを満たす最小限のテスト入力データを自動生成ユーザーは生成された入力データに対する結果を関数仕様を元に確認するだけ評価関数変数のアクセス状況を事前解析データ作成を自動化解析データ読み込み変数解析結果ファイルソースコードフローチャート作成ソース解析ツール CasePlayer2 各種チャート連携変数ブラウジングテスト実行ツール SSTManager 入力データ CSV 作成 13

CasePlayer2 解析結果を利用 (1) 評価対象の関数が参照 / 代入している外部変数を自動検索入力条件となる変数 ( 引数外部変数 ) を自動検索しコード解析工数を省力化関数が参照している外部変数 ( 単体テストの入力変数 ) 関数が書き換えている外部変数 ( 単体テストの評価変数 ) 関数の引数リスト ( 単体テストの入力変数 ) 入出力変数リスト評価対象の関数を指定すると自動表示されるリストアップされた変数から評価に必要な変数をユーザーが選択指定 14

CasePlayer2 解析結果を利用 (2) C1 カバレッジを満たす入力データを自動生成関数内の条件文をリストアップして各関数の C1 全ケースを網羅するデータを生成 // C1 説明用サンプル int gb_a, gb_b, gb_c, gb_d, gb_out; char gb_unused1, gb_unused12; gb_b と gb_c の境界値 20 30 の ±1 の値をデータとして生成 int func_c1_01( int code ) { int return_value=false; } if( gb_a > 10 ) { if( gb_b > 20 && gb_c > 30 ) { gb_out = 0; } else { gb_out = -1; } return_value = FALSE; } else { switch( code ) { case 1: gb_out = 1; break; case 2: gb_out = 2; break; case 3: gb_out = 3; break; default: gb_out = -1; break; } return_value = FALSE; } return return_value; switch 文の変数 code の全ケースを生成条件文に関わる変数を自動検索 & ハイライト表示 15

最小限の組み合わせデータを生成条件文のネスト状態を解析して C1 を満たす重複の少ないデータを生成各条件文 (if,switch など ) に対して生成したデータの組み合わせを自動生成 C0 の観点から 1 度生成した分岐経路を通るデータは生成しない最適化を実施必要最小限のデータ組み合わせを生成前頁のソースサンプルではわずか 6 個のデータ ( ) で C0/C1 を満たすことが可能前頁サンプルで自動生成した入力データここは期待値欄 EXCEL の横桁データ数制限 (256 まで ) を排除した CSV データエディタを搭載 16

選択したテストデータを一斉自動実行管理ツール SSTManager で選択したデータを自動実行指定した CSVデータ ( 関数 ) を自動バッチ実行結果表示まで全て自動実行入出力テスト結果表示テストデータを選択 C0/C1 カバレッジ結果表示テスト開始ボタン自動テスト実行ダブルクリックで各結果詳細表示へ 17

C0/C1 カバレッジ入出力結果表示 C0/C1 カバレッジビューカバレッジ結果とテストデータを表示期待値と異なるデータセルを表示 100?(200) 期待値が 200 だが結果は 100 C0 を満たさない未実行行を表示 C1 を満たさない条件を明示各行を通過するデータを解析しで表示未実行行のデータを追加する際の解析に非常に役立つ機能 18

ソース解析に役立つチャートリンク機能 CasePlayer2 が生成した各種チャート変数参照リストへリンク面倒な設定やソースコードの修正追加なしで簡単にチャートを生成入出力データ作成時のロジック解析パス解析を効率化 CasePlayer2 のソースコード表示カバレッジマスターの変数設定画面リンク CasePlayer2 のフローチャート表示 19

カバレッジマスターの優位性と導入効果 20

ICE による手作業がどのように改善されるか ICE を使用して 1 関数 60 分で単体テストを行っている場合を例にとると作業時間の内訳はソース解析 & テストデータ作成 : 30 分 ICE による手作業でのテスト実行 : 30 分カバレッジマスターの導入により初回のテストにおいてはソース解析 & テストデータ作成 : 30 分同じ時間がかかるカバレッジマスターで自動実行 : 数秒テストは自動化され作業工数はゼロ 2 回目以降の反復テストではソース解析 & テストデータ作成テスト実行の作業工数もゼロになる ICE による手作業カバレッジマスター導入の初回導入後の反復テストではテストデータ作成 30 分 60 分テストデータ作成 30 分 30 分既存のテストデータを使用するためデータ作成工数はない作業工数はゼロ ICE によるテスト実行 30 分テスト実行は数秒 ( ほぼゼロ ) 50% 削減テスト実行は数秒 ( ほぼゼロ ) 21

他社 ISS を使用した場合との比較他社 ( 半導体メーカー純正 )ISS を使用した単体テストとは ISS( デバッガ ) がサポートするスクリプト言語を駆使して単体テストを行う方法関数の呼び出し指定変数に対するデータ設定を行うスクリプトを作成テスト実行後に実行ログファイルを解析して評価対象の変数の値を確認テスト結果を表に記入 ( 手作業 ) 期待値との比較判定 ( 手作業 ) カバレッジをとることは困難または膨大な手作業が必要ステップ実行毎にプリントしたソースコードをマーカーで塗りつぶす手作業となる純正 ISS を駆使した方法カバレッジマスターによる自動テストテストデータ表作成テストスクリプト作成テスト実行ログ解析手作業の大半を自動化テストデータ表作成テストスクリプト作成テスト実行ログ解析テスト結果を表に記入テスト結果を表に記入 50% 削減期待値との比較判定期待値との比較判定 22

単体テストツールの必要条件組込みモジュール単体テストのテストツール選定には以下の事項を満たす必要があります項目工数カバレッジ精度 / 信頼性ソース書き換えデータ資産化データ入力支援必要条件モジュール単体テストに必要な工数を低く抑えられるか網羅率を数値で正しく計測できるか実機コード ( コンパイラのバグも含む ) を対象としたテスト実施が可能か単体テスト用にソース修正作業が発生しないか同じモジュールをテストする場合テストデータの再利用が可能か膨大な工数が発生するテストデータを作成する際の支援機能があるか 23

カバレッジマスターのアドバンテージ従来の単体テストツールの問題点をクリア比較項目工数変数データ設定などの手作業カバレッジカバレッジトレース精度信頼性実機コードでのテストソース書き換え単体テスト用にソースコードを修正データの資産化再帰テストの自動化テストデータ入力支援テストデータ作成の支援機能全体的所見 ICE + デバッガ全て手作業事実上困難実機コード不要毎回手作業精度は高いが人海戦術的要素が多く多大な工数が発生するテストデータの資産化ができないため再帰テストの際には工数がそのまま n 倍必要になるカバレッジ計測には不向き純正 ISS + スクリプト実機コード不要メーカー毎に変更必要精度は高いが単体テスト用のスクリプト ( 仕掛け ) を作成する必要がある MPU 毎の汎用性がないカバレッジ計測には不向き Windows 系 ( オープン系 ) ツール C のロジックレベルテスト必要汎用性は高いがオブジェクトが 86 系で実行されるためロジックのみのテストになり最終 ROM コードでのテストにはならない NATIVE コンパイラでコンパイルするためのソース修正工数が発生する解析機能を利用して効率化自動レポート実機コード不要全マイコン共通の CSV 形式 C0/C1 テストデータ自動生成従来の単体テストツールの問題点をクリア 24

ロードマップカバレッジ機能テストデータ生成テスト管理など自動車業界からのご要求 Ver2 入出力テストカバレッジ結果レポート機能強化 Ver2.3 C0 カバレッジ C1 カバレッジ CasePlayer2 C++ 対応 MCDC カバレッジ C2 カバレッジ単体テスト管理機能強化など OA 機器業界他業界からのご要求 2006 2007 2008 25

テスト代行サービスについて 26

単体テスト代行サービスの概要ガイオの優位性を活かして単体テストを実施単体テストツールメーカとしてのツール知識の活用コンパイラメーカとしてのプログラム知見の活用お客様に代わってテスト業務を完全代行テスト作業のアウトソーシング第三者評価機関としての立場で品質評価コンパイラメーカ ( プログラム知見 ) テストツールメーカ ( ツール知見 ) テスト代行におけるガイオの優位性お客様ガイオお打ち合わせお客様のソース仕様書テスト指針ガイオテスト作業からレポート作成まで G G 27

単体テスト代行の流れ最終納品までの流れと各フェーズでの受け渡し書類お見積もりはご提供頂くソースコードドキュメントにより決定ファーストミーティングファーストミーティング機密保持締結機密保持締結ソースコード受領ソースコード受領見積書提出見積書提出テストの概要を打ち合わせテスト指針関数数納期テスト指針概要仕様書ソース開示のための機密保持契約機密保持契約書見積り作成用の対象ソースを受領ソースドキュメント見積書テスト指針詳細仕様書作業終了 / 納品作業終了 / 納品テスト再実行環境 ( 資産化できるデータ ) 作業開始作業開始契約契約ご発注ご発注モジュールテスト仕様書モジュールテスト報告書テスト実施環境作業進捗表 28

納品物 : テスト仕様書とテストデータテスト指針とテストデータの意図を明確化カバレッジ指針 (C0 C1 C2 など ) に従って分岐に対するテストデータを作成フローチャート上でどの分岐パスを通過するデータかを明確化納品後のお客様のレビューを容易にするためのドキュメントを作成フローチャート入力データどの実行パスを通過するデータか表示テストデータ毎の実行パスを表示カバレッジ指針に従ったテストデータの意味を色で識別 29

納品物 : テスト結果報告書単体テストの実行結果についてのドキュメントカバレッジデータ単体テスト結果入力データ期待値 a b c d e e 合否 1 1 0 0 10 1OK 1 1 1 0 10 1OK 1 1 1 0 10 1OK 1 1 2 0 10 1OK 1 1 255 1 10 1OK 1 1 1 0 10 1OK 1 1 0 1 10 1OK 1 1 1 1 10 1OK 1 1 1 2 10 1OK 1 1 1 255 10 1OK 1 1 0 0 10 1OK 1 1 2 0 10 1OK 1 1 255 0 10 1OK 1 1 1 0 10 1OK 1 1 1 2 10 1OK 1 1 1 255 10 1OK 関数名 : func4 所属ファイル名 : C: winams_cm1 target main.c 網羅率 : 100% カバレッジデータ出力日 : 2006 年 06 月 07 日 17 時 18 分 27 秒 ------ ----- ------ ----------------------------------------- 未実行実行回数 SOURCE ------ ----- ------ ----------------------------------------- int func4( int arg_flag ) 15 { static int default_val = -1; 15 if( arg_flag == 1 ) { 7 if( gb_input < 10 ) { 2 gb_output = gb_input+10; } 5 else if( gb_input < 20 ) { 3 gb_output = gb_input; } else { 2 gb_output = default_val; 2 return FALSE; } 5 } 8 else if( arg_flag == 2 ) { 7 if( gb_vala ) 1 gb_output = gb_input; else 6 gb_output = -gb_input; 7 } 12 return TRUE; 15 } 30

納品物 : 障害報告書単体テストで障害が発生した関数のドキュメント障害発生関数サマリ障害発生テスト結果報告書各関数毎の単体テスト結果を一覧表でレポート各関数毎の入出力結果 (OK or NG) 期待値との照合結果レポート 31