(Microsoft PowerPoint - \201yF3-1\201z\215\305\217Ijasst2010\215u\211\211\216\221\227\277.ppt)

Size: px

Start display at page:

Download "(Microsoft PowerPoint - \201yF3-1\201z\215\305\217Ijasst2010\215u\211\211\216\221\227\277.ppt)"

さやなおとじま
5 years ago
Views:

1 単体テスト設計手法要素分析と標準プロセス化ツールについて ~ 大規模開発向け単体テストツールユニットマスターの紹介 ~ 1

2 ガイオテクノロジーのプロフィール 2

3 ガイオテクノロジーとは? 組み込み開発ツールの開発および販売クロスコンパイラ / テストツール / 仮想検証ツール / プロトタイピングツール / 解析ツールテスト検証に関わるサービスやコンサルテーション受託開発ガイオテクノロジー株式会社 GAIO TECHNOLOGY CO., LTD. 東京日本橋愛媛松山横浜本社設立 1980 年資本金 2 億 9800 万円従業員 80 名本社 : 横浜事業所 : 東京松山子会社 : GAIO INC(USA) 2009 年度の事業計画で挙げた事業ドメイン 3

MISRA-C チェックしたい単体テスト代行サービス MC-Checker カバレッジ測定ツール仮想テストツール

1 システムシミュレータ仮想テスト装置を構築したいクロスコンパイラクロスコンパイラ

大規模ソフトウェアの単体テストを実現したい SW テストを効率的に実施したい経営視点の SW 品質改善診断第 3

単体テストを中心に導入効果をモデルベース開発に移行したいが担当がいない経営視点で示したい計測したい

HILS コストを低減したいプラントモデルと連携してシミュレーション ECU シミュレータ複数 ECU

デジタル電源制御のツールを導入したいデジタル電源開発の分野に参入したいガイオプロセッサコア廉価なマイコン IP

4 ガイオの商材 2009 New Ver.Up カバレッジマスターテストシナリオ品質向上 SW 品質指標が欲しい静的解析したいプログラムを可視化したい MISRA-C チェックしたい単体テスト代行サービス MC-Checker カバレッジ測定ツール仮想テストツール SCS No.1 システムシミュレータ仮想テスト装置を構築したいクロスコンパイラクロスコンパイラ搬送路メカの動きをビジュアルに見たいユニットマスター CasePlayer2 大規模ソフトウェアの単体テストを実現したい SW テストを効率的に実施したい経営視点の SW 品質改善診断第 3 者認証により品質を高めたい検証工数の確保リバースモデリング代行レガシーコードをモデルに移行したい単体テストを中心に導入効果をモデルベース開発に移行したいが担当がいない経営視点で示したい計測したい品質観点で単体テストの効果を明示したい MBD 開発サービスモデルとコードが一致しているか確認したい VECU-G HILS コストを低減したいプラントモデルと連携してシミュレーション ECU シミュレータ複数 ECU の連携ロジックを確認したい IGN オン時の振る舞いのデバッグ VMPF-G G-VPM デジタル制御電源向け開発ツールデジタル電源制御のツールを導入したいデジタル電源開発の分野に参入したいガイオプロセッサコア廉価なマイコン IP でコストを圧縮したい IP を使って FPGA ベースの開発をしたい検証を自動化したい ECU 間通信部の確認をしたい複数 ECUシミュレータ VSFS-G プリンターエンジン向けシミュレーション ASLS-G RtFT VESS-G システム全体 ( メカ / エレキ / ソフト ) をシミュレーションしたい MFSS-G ASIC の検証にマイコンの出力を使いたい実機を使った検証を自動化したい FlexRay シミュレータ 4

5 ガイオの単体テストツールとソリューションカバレッジマスターマイコンシミュレータ搭載型単体テスト自動化ツール単体テスト代行サービスカバレッジマスターをベースにした単体テスト委託サービス MC-Checker MATLAB/Simulink 連携型モデルベース開発 (MBD) 用単体テストツール単体テストセミナー単体テストスキル向上セミナー e ラーニング新単体テストツールユニットマスター大規模アプリ向け単体テスト標準化プロセスツール本日の講演のメイン製品 5

カバレッジマスター winams の導入実績 / 事例導入実績自動車業界鉄道デバイス関連通信機器空調関連

フェリカネットワーク ( 株 ) :2005/12 組込み情報誌ガイオ倶楽部記事にて発表アイシン精機 ( 株 )

組込みソフト単体テスト成功事例セミナーにて発表ソニー LSI デザイン ( 株 ) :2007/11 単体試験の賢い選択

6 カバレッジマスター winams の導入実績 / 事例導入実績自動車業界鉄道デバイス関連通信機器空調関連メカトロ機器プリンター複写機 FA 機器計器関連エネルギー関連交通機器関連等々多数のユーザ事例を発表フェリカネットワーク ( 株 ) :2005/12 組込み情報誌ガイオ倶楽部記事にて発表アイシン精機 ( 株 ) 日産自動車 ( 株 ) :2006/08 組込みソフト単体テスト成功事例セミナーにて発表 :2006/08 組込みソフト単体テスト成功事例セミナーにて発表ソニー LSI デザイン ( 株 ) :2007/11 単体試験の賢い選択活用セミナーにて発表パイオニア ( 株 ) パナソニック ( 株 ) :2008/02 組込み情報誌ガイオ倶楽部記事にて発表 :2009/06 ガイオ品質向上セミナーにて発表 6

7 winams の販売実績リリースからの販売伸び率と主な販売サイト自動車 ECU 空調デバイスガス機器計器医療機器鉄道交通 FA 機器プリンター自動車 ITS デジタル家電携帯電話エネルギー 2004 年 2005 年 2006 年 2007 年 2008 年 2004 年 ~2007 年と 2008 年以降の業界毎の販売比率 2004 年 ~2007 年 2008 年 ~ 現在自動車 ECU 48.3% 30.6% 自動車 ITS 4.5% 19.1% 鉄道 / 交通 3.7% 3.5% エネルギー 2.3% 4.7% デジタル家電 3.2% 22.6% 携帯電話 0.2% 1.2% 7

8 ガイオの単体テストの強みツール開発からテストサービスまでを提供可能な稀有なベンダーいろんな確度からソフトウェアの品質向上を見つめ直していますツール開発品質意識の高いユーザソフトウェア品質ノウハウテストサービスパートナー 8

9 単体テストとソフトウェア 9

モジュール単体テストは最初で最小コーディングしたソフトウェアの最初の品質確認テストコーディングしたソフトウェアの最小単位における品質確認テスト要求分析基本設計機能設計 V 字モデル受け入れテストシステムテスト結合テストハードウェアソフトウェア機能タスクモジュール単体テストのイメージ

10 モジュール単体テストは最初で最小コーディングしたソフトウェアの最初の品質確認テストコーディングしたソフトウェアの最小単位における品質確認テスト要求分析基本設計機能設計 V 字モデル受け入れテストシステムテスト結合テストハードウェアソフトウェア機能タスクモジュール単体テストのイメージ入力入力テストテストデータデータモジュールモジュール ( ( 関数関数 ) ) 詳細設計単体テストコーディングモジュールモジュール ( ( 関数関数 ) ) モジュールモジュール ( ( 関数関数 ) ) モジュールモジュール ( ( 関数関数 ) ) 出力出力テストテストデータデータ入出力テスト期待値との比較カバレッジテストの網羅性確認 10

11 単体テストの意味と目的検証の前倒しで手戻りの無い効率的な検証が実現可能後工程では発見困難な潜在不具合を無くすことができる定量的客観的な単体テストを実施しプログラマー個人依存部分を排除モジュール再利用時の品質確保を行うため最近の不具合傾向としてモジュールの再利用時部分修正で発生することが多い国際認証に向けたテストエビデンス ( カバレッジ基準 ) への対応単体テストは全てのコードを動作させることができる最初で最後の工程!!!! 11

12 ソフトウェア品質と単体品質の位置づけ V 字モデルの携わる開発者のスキルと人数について V 字モデルの下位層ほど携わる人が多い V 字モデルの下位層ほどスキルのバラツキが大きいその道のプロフェッショナルが力を発揮する ( 差別化をはかる ) 部位能力が不明確なたくさんの人がかかわる部位単体テストの成功には組織的取り組みとしての標準化というキーワードが必要 12

13 一般的な単体テストの課題 - コードカバレッジのみのテスト指針 - 13

14 単体テストで必要なテスト観点と検出可能な不具合機能性テストカバレッジテストコード不具合テストテスト観点仕様とソースの一致性テスト観点コード網羅性テストスペック的な要素大テスト観点モジュール構造的堅牢性静的解析ツール得意領域ブラック BOX 仕様不一致ホワイト BOX コーディング初歩的ミスデッドコード NULL ポインタ / ゼロ割キャストメモリリーク / 不正アクセスオーバアンダーフロー 14

15 単体テストとコードカバレッジ 100% 単体テストにおけるカバレッジ指標を手段では無く目的にしてしまい工数に見合った効果が出ていない入出力データは設計者 ( テスター ) まかせソースコード入力I/F 出力I/F 入力データ出力データとりあえず C1 カバレッジ 100% を目指そうとにかくコードカバレッジ 100% だけは遵守カバレッジが達成できていれば入出力データは重要視していない不具合を検出するためのテストデータの内容 ( 精度 ) については担当者任せコードカバレッジを 100% にして必ず発見できる不具合はデッドコードのみ単体テストに必要な組織的な標準化というキーワードとは縁遠いカバレッジ 100% だから OK 単体テストをしても不具合の検出ができないというユーザはこの傾向が強い 15

16 単体テスト品質を向上させるためにはテストデータの中身をカバレッジ重視型からモジュール品質確認重視型へ移行機能性 ( 仕様一致性 ) のテストカバレッジのテストコード不具合 ( モジュール構造的堅牢性 ) のテスト開発者スキルに依存させないためにテストデータ設計をプロセス化する 1 モジュール入出力要因の抽出 - 引数や参照変数リターン値などのモジュール入出力要因を抽出する 2 モジュール入出力要因への要素 ( 付与値 / 期待値 ) の洗い出し - ブラック / ホワイト BOX 視点におけるテスト付与値を漏れなく設定する 3 要素を組み合わせてモジュールテストパターンを作成 - モジュールやモジュール入出力要素の特性テスト観点や指針に応じて設定した各入出力要素の付与値を組み合わせてモジュールテスト用のデータを作成する単体テスト設計の各プロセスでのレビューを容易にする単体テスト設計手法要素分析を用いて実現!! 設計者依存になりがち 16

17 開発技術者のスキルに依存しない単体テスト設計を可能にする要素分析手法 17

18 要素分析とは? モジュールに対する入出力やテスト要素を漏れなく抽出して明確にすること入出力の種類ごとのテスト要因を漏れなく抽出することによって関数に対しての入出力データの不足をなくすことを目的とする単体テストに含めなければならない要素を明確にする単体テスト設計の内容を示す要素分析表を作成 1 引数外部変数戻り値などの入出力要因を抽出 2 入出力要因に対して与えるべき要素 ( 付与値 / 期待値 ) を抽出 3 要素を組み合わせてテストパターンを作成詳細設計書詳細設計書ソースコードソースコード洗い出し洗い出し要素分析表入力要素 ina inb 0 0 境界条件境界条件境界条件 150 境界条件最大値 255 最大値 0 最小値 0 最小値 75 代表値 75 代表値入出力要因の抽出と明示化入出力要素の抽出と明示化組み合わせ組み合わせテストパターン機能性確認のベクターカバレッジ観点のベクターコード不具合のベクター要素分析表から必要な観点毎のテストパターンを作成入出力要素を漏れなくテスト実施 18

19 ガイオの提案する要素分析手法のメリット設計時に見逃してしまう入力条件を確実にテストに含めるテスト担当者の判断によらないテスト設計が可能仕様に関わる不具合検出を容易にする例 : 誤って参照すべきグローバル変数とは違う変数を参照する不具合テスト担当者のスキルや判断に依存しないテストの標準化を実現するテスト設計指針書 ( データの設計方法 ) を明確に定めることができるテスト設計は指針書に従い機械的に行うことができる要素分析表を参照することでテストのレビューを容易にする実施した単体テストに含まれているテスト要因が明確になるテストの品質が客観的に判断するエビデンスとして利用できる 19

20 要素分析表を使ったテスト設計例 20

21 ( 参考 ) 単体テスト設計 : サンプル関数仕様とコード func5() 関数仕様入力仕様 : unsigned char 型引数 ina, inb 入力値レンジ 0~150 戻り値 unsigned char 型 : 2 入力 ina, inb の加算値条件 : 入力値がレンジ外の時は 0 加算値が 200 以上の時は 200 テスト対象関数 unsigned char func5( unsigned char ina, unsigned char inb ) { unsigned char tmp; // 入力範囲の確認 if( ina > 150 ) { return 0; // 入力レンジエラー } if( inb > 150 ) { return 0; // 入力レンジエラー } // 加算処理 tmp = ina + inb; } // 加算結果が 200 以上なら 200 を返す if( tmp >= 200 ) { return 200; } // それ以外は加算結果を返す return tmp; 21

22 ( 参考 ) 単体テスト設計例 : 入力分析表を作成入力変数に関するテスト指針の例変数が境界条件を持つ場合境界値に対して [ 境界値 -1], [ 境界値 ], [ 境界値 +1] の 3 値を付与すること変数の型に対して [ 最大値 ], [ 最小値 ] を付与すること同値分割により範囲が定められたときは有効なレンジの中心値を代表値として付与する変数レンジの下限値 0 への境界条件型が unsigned のため [ 境界値 -1] は設定しない変数レンジの上限値 150 への境界条件変数の型 (unsigned char) の最大最小値変数レンジの中間値入力要素 ina inb 0 0 境界条件境界条件境界条件 150 境界条件最大値 255 最大値 0 最小値 0 最小値 75 代表値 75 代表値 22

23 ( 参考 ) 単体テスト設計例 : 入力要素組み合わせ作成入力要素の組合せ方法はテスト指針書に従うどの様な組合せをテストに含めるかは指針書に明記する入力要素の組み合わせに関するテスト指針の例境界条件値は対象付与値の全数組み合わせを作成する全パスを網羅するため最大値最小値は対象付与値の全数組み合わせを作成する演算のデータカバレッジを網羅するため代表値がある場合は少なくとも 1 度はテストパターンに含まれるようにする入力要素 ina inb 0 0 境界条件 1 1 境界条件境界条件 150 境界条件最大値 255 最大値 0 最小値 0 最小値 75 代表値 75 代表値境界条件は全数組み合わせを作成最大最小値は全数組み合わせを作成代表値は少なくとも 1 度使われるように 23

24 ( 参考 ) 単体テスト設計例 : 出力分析表を作成出力として確認すべき期待値の表を作成期待値として確認しておくべき値を表にまとめておく例外条件として規定されている出力値特異な演算結果などこの期待値が組合せデータの期待値として得られるかを確認結果がこの期待値となるテストが行えるかを確認する組み合わせたテストデータから想定した期待値が得られるかを確認する条件 : 入力値がレンジ外の時は 0 加算値が 200 以上の時は 200 出力要素戻り値 0 下限値 200 上限値 24

25 ( 参考 ) 単体テスト設計例 : 組み合わせを作成テスト指針書に従って正しく組み合わせを作成 25

26 ( 参考 ) 単体テスト設計例 : 期待値設定出力要素確認組み合わせたテストベクターに対する期待値を設定期待値は関数仕様を元に設定 ( ソースコードから逆算してはならない ) 出力要素分析表の期待値が全て含まれていることを確認 26

27 ( 参考 ) 単体テスト設計例 : 実行後期待値比較を行うと 2 つの入力要因の最大値同士の組合せで期待値と異なる結果になる No14 のデータ [ina=149 inb=149] で結果が 200 にならない 27

28 ( 参考 ) 単体テスト設計例 : 潜在不具合が発見された! 最大値同士の組合せの入力要因がなければこの不具合は発見できないこの要因は技術者の判断でなくテスト指針により機械的に設計されているテスト設計者の判断やスキルに依存することなく不具合を検出できる unsigned char func5( unsigned char ina, unsigned char inb ) { unsigned char tmp; } // 入力範囲の確認 if( ina > 150 ) { return 0; // 入力レンジエラー } if( inb > 150 ) { return 0; // 入力レンジエラー } // 加算処理 tmp = ina + inb; // 加算結果が 200 以上なら 200 を返す if( tmp >= 200 ) { return 200; } // それ以外は加算結果を返す return tmp; 変数 tmp が unsigned char のため 255 以上の演算結果がオーバーフローしてしまう 28

29 ユニットマスターツール構成機能紹介 29

30 ユニットマスターは 3 つの機能を個別に提供 C/C++ コードの評価に対応した単体テストスイート設計実行結果の 3 つの工程を個別のアプリケーションとして提供個別に機能を導入可能データ設計作成機能 ( テストデータデザイナー ) 不具合検出目的のテスト設計プロセステスト設計レビューテスト実行 ( テストランチャー ) 汎用的 (PC アプリケーションシミュレータ実機等 ) な環境におけるテスト実行環境テスト結果 ( テストレポーター ) 単体テスト実行結果をテスト実施者と管理者が閲覧 / 管理できるビューを搭載テストデータデザイナーテストランチャーテストレポーターテスト設計テスト実行テスト結果テスト設計プロセステスト設計レビュー汎用的テスト実行環境テスト合否表示結果 / 進捗表示 30

31 ユニットマスター画面イメージ図統合化された環境で効率的な単体テスト作業が可能組込み以外のユーザー層のユースケースに合わせた GUI 構成にテスト結果テスト設計テスト実行 31

32 テストデータデザイナーとは開発者スキルに依存しない標準化されたテストデータ作成支援アプリ単体テストの品質を明確にするモジュール入出力表 ( 要素分析表 ) を利用テスト設計過程を記録し客観的なテストデータ設計を実現不具合検出のためのテスト観点を整理しデータ化仕様書情報からブラックボックス観点のテストデータを整理し設定ソースコードからホワイトボックス観点のテストデータを整理し設定組合せパターン ( テストベクター ) の生成と網羅性管理仕様情報仕様からの抽出定義モジュール入出力表組み合わせテストパターンソースコードソースからの抽出定義入出力要因テストデータ 32

33 テストデータデザイナー : モジュール入出力表のイメージモジュール ( 関数 ) への入出力変数に与えるテストデータの管理変数毎にテストの観点とテストデータを整理して設定境界条件値最大最小値オーバーフロー要因などその他不具合の要因テストの品質を客観的に示すエビデンスとなる変数名を整理入出力要因テスト観点によりテストデータを整理テストデータ 33

34 テストデータデザイナー : テストパターンの作成モジュール入出力表で設計したテストデータからテストパターンを生成総組み合わせデシジョンテーブル直交表最大値 / 最小値におけるアンダー / オーバフローの確認データカバレッジ網羅データ手動自動モジュール入出力表テストパターン 34

35 テストデータデザイナー : カバレッジ網羅データの作成支援ソースコードの解析によるモジュール入出力表作成の支援機能サポートモジュールの入出力要因を自動抽出ソースコードからテストデータをリバース作成ソースパス網羅 ( カバレッジ ) に着目したテストデータ作成を支援詳細設計書詳細設計書モジュール入出力表 ( 要素分析表 ) ブラックボックス観点要素カバレッジ網羅テストベクターソースコードソース解析情報ホワイトボックス観点入力要素カバレッジ観点組み合わせ 35

36 テストランチャーとは組込みプラットフォームに依存しない単体テスト実行を実現ネイティブアプリ WindowsCE エミュレーションカバレッジマスター等実機コードなどのテスト実行環境を汎用的にサポートソースコードベースのテスト環境を実現 Visual Studio などの開発プロジェクトからのビルド情報を取得テストドライバ自動作成機能ソースコードへのカバレッジ計測用等フックコードの自動埋め込み実行モジュールを作成テストパターンテストドライバビルド実行モジュールテスト結果 36

37 テストレポーターとはテスト実施者テスト管理者個別にテスト結果進捗を確認する機能出力結果の合否判定期待値と出力値をチェックして合否結果表示様々なアウトプット形式 HTML, SQLDB, XML, テキスト形式で出力可能差分結果の表示過去のテスト結果との差分表示期待値 5 に対して出力値が 4 の為エラーの結果が表示されている 37

38 テストレポーター : カバレッジ結果表示テストランチャーで取得したカバレッジ結果の表示 C0,C1,MC/DC のカバレッジ結果の表示複数モジュールのカバレッジ結果の表示も可能 38

39 テストレポーター : 管理者向け機能プロジェクト全体各テスト実施者の進捗テスト結果を集中管理リレーショナル DB をサポート複数の担当者が作成した情報を 1 箇所で集約しプロジェクト全体の管理業務をサポート可能全ての情報を RDB へ送信プロジェクト単位で保存進捗管理やテスト結果の収集に利用可能構成管理ツールでの管理が可能 39

40 ユニットマスターの全体図まとめテスト設計テスト設計スキルに依存しないテスト設計の実現ホワイトボックス観点 ( カバレッジ ) ( 危険コート ) テスト設計プロセステスト設計レビューブラックボックス観点 ( 仕様一致 ) 不具合検出目的のテスト設計テスト実行テスト実行プラットフォームに依存しない実行環境テストパターンテストパターン汎用的なテスト実行環境 PC アプリケーション実行 WinCE エミュレータマイコンシミュレータ ( カバレッジマスター winams 等 ) 実機テスト結果テスト結果テスト実行結果レポート ( エビデンス ) テスト管理テスト結果テスト結果テストビュー / 管理ビューテスト結果分析テスト結果結果レポートテスト進捗管理テストパターンテストパターンテスト結果テスト結果ツール連携 ( 構成管理ツール等 ) GUI マイコン知識やアセンブラスキルが不要なユーザビリティの実現 40

エンジニアリング・サービスから見たMBD導入の成功・失敗

エンジニアリング・サービスから見たMBD導入の成功・失敗 2014 年 12 月 18 日 ( 金 ) 16:40-16:55 JMAAB 中部コンファレンスエンジニアリングサービスから見た MBD 導入の成功失敗 COPYRIGHT (C) GAIO TECHNOLOGY ALL RIGHTS RESERVED 1 ガイオテクノロジーとは組み込み業界向け検証ツールメーカーコンパイラ検証テスト解析ツールプロトタイピングツールエンジニアリングサービス