ソフトウェア品質向上セミナーソースコード品質レビュー品質を改善するポイント株式会社富士通コンピュータテクノロジーズ 1328kc1 0 Copyright 2015 FUJITSU COMPUTER TECHONOGIES LIMITED

Size: px

Start display at page:

いっけいももき
5 years ago
Views:

1 ソフトウェア品質向上セミナーソースコード品質レビュー品質を改善するポイント株式会社富士通コンピュータテクノロジーズ 1328kc1 0

2 テストツール一覧アプリケーション開発における主な効率化ツール機能テストツール規定した機能を果たすかどうかを検証単体試験の一部カバレッジ測定ツールプログラムの制御構造を網羅するホワイトボックステスト技法を支援機能テストツール負荷生成ツール負荷生成ツールシステムの負荷を発生させアプリケーションの正常性可用性を検証性能測定ツールソフトウェアやハードウェアの応答性能を検証カバレッジ測定ツールテスト効率化ツール性能測定ツール GUI 操作自動化ツールキーボードやマウス操作を記録 ( キャプチャ ) しテストシナリオとして保存このシナリオを再生 ( リプレイ ) しテスト対象を記録時と同じ動作させるツール ( 主にリグレッションテストに使用 ) 操作自動化 ( キャプチャ & リプレイ ) ツールソースコード解析ツールソースコード解析ツール特定の欠陥や欠陥につながる可能性のあるソースコード上の特徴を自動的に発見するツール 1/ 24

3 アジェンダベンダー提供ツールによる静的コード検証を超える価値のご提案静的解析ツール選択のポイント静的解析ツールを使用したレビュー効率向上のポイントソースコード検証サービスのご紹介 2/ 24

4 ソフトウェア品質向上セミナー静的解析ツール選択のポイント静的テストと動的テストの違い静的解析ツールを使用するモチベーション様々なタイプの静的解析ツール静的解析ツールの選択スコープ 3/ 24

インスペクションを支援するツール静的テスト静的解析ツール 24: pdata = malloc(size); 25: if (pdata == NULL)

5 静的テストとは? 静的テストとはプログラムを動作させずにテストすることドキュメントソースコード等をレビューインスペクションすること静的解析ツールはレビューインスペクションを支援するツール静的テスト静的解析ツール 24: pdata = malloc(size); 25: if (pdata == NULL) { 26: return -1; 27: } 28: ret = bar(*pdata, *fname, size); 29: 30: if (ret!= 0) { 31: free(pdata); 32: } else { 33: return -1; コンパイルプログラムモジュール動的テスト 4/ 24

6 工程別の欠陥混入欠陥発見修正コストソフトウェアの欠陥を未然に発見することで修正に関わるトータルコストを削減できる ( Shift Left) % Defects introduced in this phase $16,000 % Defects found in this phase % Cost to repair defects In this phase $1,000 $25 $100 $250 Coding Unit Test Function Test Field Test Post Release Applied Software Measurement, Caper Jones 5/ 24

7 静的解析ツールとは静的解析ツールとはプログラムを実行せずにプログラムを評価するツール全般を表す ( 反対にプログラムを実行する場合は動的解析ツール ) 狭義な静的解析ツールソースコード上の欠陥を検出するツール Coverity Qulaity Advisor Klocwork Insight Fortiry SCA CodeSonar (C++test) PGRlief QAC/QAC++ LDRA anywarp CodeDirector 広義な静的解析ツールソフトウェアメトリクスやクローンコードを検出する静的解析ツール Understand Lattix ランタイムエラー検出ツール DevPartner Purify Insure++ 上記は C/C++ ソースコードを検証できる商用静的解析ツールの一部を抜粋したものです各社の静的解析ツールの名称社名等は各社の登録商標です 6/ 24

静的解析ツールの仕組み (1) パターンマッチタイプの静的解析ツールソースコードの記述方法に着目しスタイルやコーディング規約に沿った厳格なコーディングを実施する場合はパターンマッチタイプの静的解析ツールが有効である PGRelief QAC/QAC++ LDRA 01: #include <stdio.h> 02: #include <stdlib.

h> 04: 05: int bar(char *pdata, char * fname, int size) 06: { 07: FILE *fp; 08: 09: fp = fopen(fname, wb ); 10: if (fp == NULL) { 11: return -1; 12: } 13: memset(pdata, 0x20, size); 14: fwrite(pdata,

8 静的解析ツールの仕組み (1) パターンマッチタイプの静的解析ツールソースコードの記述方法に着目しスタイルやコーディング規約に沿った厳格なコーディングを実施する場合はパターンマッチタイプの静的解析ツールが有効である PGRelief QAC/QAC++ LDRA 01: #include <stdio.h> 02: #include <stdlib.h> 03: #include <memory.h> 04: 05: int bar(char *pdata, char * fname, int size) 06: { 07: FILE *fp; 08: 09: fp = fopen(fname, wb ); 10: if (fp == NULL) { 11: return -1; 12: } 13: memset(pdata, 0x20, size); 14: fwrite(pdata, size,1, fp); 15: fclose(fp); 16: return 0; 17: } 18: 19: int foo(char *fname, int size) 20: { 21: char *pdata; 22: int ret; 23: 24: pdata = malloc(size); 25: if (pdata == NULL) { 26: return -1; 27: } 28: ret = bar(*pdata, *fname, size); 29: 30: if (ret!= 0) { 31: free(pdata); 32: } else { 33: return -1; 34: } 35: return 0; 36: } 欠陥のパターンを多く持っているほど優秀な静的解析ツールと言えるしかし指摘の件数が増えるという欠点もある #include <stdio.h> #include <stdlib.h> #include <memory.h> int bar(char *pdata, char * fname, int size) { FILE *fp; } fp = fopen(fname, wb ); if (fp == NULL) { return -1; } memset(pdata, 0x20, size); fwrite(pdata, size,1, fp); fclose(fp); return 0; int foo(char *fname, int size) { char *pdata; int ret; } pdata = malloc(size); if (pdata == NULL) { return -1; } ret = bar(*pdata, *fname, size); if (ret!= 0) { free(pdata); } else { return -1; } return 0; FIO18-C FIO18-C (CERT) fwrite() が書き込み操作を null 文字で終了すると想定しないパターンマッチタイプの静的解析ツールは関数の内容を評価せずに一致した場合には指摘とする場合が多い 7/ 24

静的解析ツールの仕組み (2) ビルドキャプチャータイプの静的解析ツールプログラムの動作に着目し主に制御フローデータフロー解析を実行するタイプの静的解析ツールで実際の欠陥を検出したい場合に有効である Coverity Quality Advisor Klocwork

-1; 27: } 28: ret = bar(*pdata, *fname, size); 29: 30: if (ret!

9 静的解析ツールの仕組み (2) ビルドキャプチャータイプの静的解析ツールプログラムの動作に着目し主に制御フローデータフロー解析を実行するタイプの静的解析ツールで実際の欠陥を検出したい場合に有効である Coverity Quality Advisor Klocwork Insight Fortify SCA CodeSonar 静的解析ツールビルドキャプチャータイプの静的解析ツールは動的テストと同じ動作が可能 24: pdata = malloc(size); 25: if (pdata == NULL) { 26: return -1; 27: } 28: ret = bar(*pdata, *fname, size); 29: 30: if (ret!= 0) { 31: free(pdata); 32: } else { 33: return -1; 動的テスト ( ランタイムエラー検出 ) エラー検出 33: return -1; ビルドキャプチャコンパイルコンパイラ呼び出しランタイムライブラリに印加 24: pdata = malloc(size); 中間表現プログラムモジュール解析 ( シミュレーション ) テストデバック実機上でエミュレーション 8/ 24

10 静的解析ツールのスコープそれぞれのツールには対象となるスコープがあるためそれを理解して使用するツールを選択する必要がある PGRelief Fortify SCA Klocwork Coverity スタイルを含め厳格なコーディングを実施する必要がある場合ソースコード上のセキュリティ脆弱性を調査したい場合一つのツールで全ての範囲 ( コーディング ~ インテグレーション ) をカバーしたい場合ソースコード上の欠陥のみを検出し誤検知過検知を極力抑えたい場合開発規模 (Steps) 大規模 1M~ 中規模 100k~ 小規模コーディング中心の開発を行う場合 ( パターンマッチタイプ ) PGRelief コーディング Klocwork Insight Fortify SCA 流用や OSS 等を多用する場合また集約型の開発を行う場合 ( ビルドキャプチャータイプ ) Coverity Quality Advisor インテグレーション上記は弊社の調査結果です過検知は FCT 独自に使用している用語です静故的で障解はの析ビ発ツル見ードにルキ重をャ点使用プをしチ置てャいシーてスタいテイるムプのの FCT 9/ 24

11 ソースコードの品質そもそも何を検査 ( レビュー ) したいか? JIS-X0129(ISO 9126) 品質特性とソースコードの品質品質特性品質副特性ソースコードの品質 ( 例 ) 信頼性保守性成熟性ソースコードを使い込んだ時の欠陥の少なさ障害許容性欠陥への対処 ( 例外処理等が行われているか?) 解析性作ったソースコードは理解しやすいか? 変更性将来ソースコードを改版しやすいつくりになっているか? 安定性ソースコードを改版する際にプログラムへの影響が少ないつくりになっているか? C C P P P P 試験性テストやデバックがしやすいか? P 移植性環境適応性他の OS やアーキテクチャまたソフトウェアに移植しやすいソースコードになっているか? 効率性時間効率性適切なアルゴリズムを使用しているか? 資源効率性無駄なスタックやヒープ領域を使用していないか? C 機能性セキュリティセキュアなコーディングがされているか? [ 出典 ] 組み込みソフトウェア開発向けコーディング作法ガイド [C 言語版 ] 機能性 - セキュリティを追加している P PGRelief C Coverity 10/ 24

12 静的解析ツール選択のポイント開発スタイル開発規模に適した静的解析ツールを選択しましょう! その他静的解析ツールを選択する時の検討項目例静的解析ツールで検出したい事象遵守するべきコーディングルール ROI 11/ 24

13 ソフトウェア品質向上セミナー静的解析ツールを使用したレビュー効率向上のポイントソースコードに含まれる欠陥の考え方静的解析ツールで検出できるもの静的解析ツールの能力レビューの目標と分析 12/ 24

14 レビューの工数 5MStep(5,000,000Step) のソースコードをレビューする 1 人で1 行 /10 秒間レビューすると?: 579 日工数換算 (8 時間 /1 日 1 月 /20 日 ): 86 人月標準的なソースコード品質で Coverity Quality Advisor で解析をかけた場合件 ( おおよそ2 件 /Kstep 程度 ) 5 分 : 35 日工数換算 ( 8 時間 /1 日 1 月 /20 日 ) : 5 人月まだまだ現実的な工数には程遠いレビュー可能な件数に絞り込みたい 13/ 24

ソースコード上の欠陥についてソースコードには潜在化した欠陥も含まれているソースコード欠陥が顕在化したものが故障となる静的テスト欠陥欠陥動的テスト静的解析ツールは欠陥の可能性を検出欠陥動的解析ツールは故障を検出過検知指摘欠陥欠陥ではあるが修正は必要ない指摘指摘指摘指摘開発者が期待する静的解析ツールの指摘?

15 ソースコード上の欠陥についてソースコードには潜在化した欠陥も含まれているソースコード欠陥が顕在化したものが故障となる静的テスト欠陥欠陥動的テスト静的解析ツールは欠陥の可能性を検出欠陥動的解析ツールは故障を検出過検知指摘欠陥欠陥ではあるが修正は必要ない指摘指摘指摘指摘開発者が期待する静的解析ツールの指摘? 故障故障誤検知欠陥ではない指摘静的解析ツールの指摘実行時 ISO/IEC JIS X 0014 定義 Failure 故障要求された機能を遂行する機能単位の能力がなくなること Fault Error 欠陥障害誤差誤り要求された機能を遂行する機能単位の能力の縮退または喪失を引き起こす異常な状態計算観測若しくは測定された値または状態と真の指定された若しくは論理的に正しい値または状態との間の相違 Detect 指摘検知静的解析ツールの検出した指摘 14/ 24

16 ソースコード上の欠陥含有率ソースコード上に含まれる欠陥含有率は工程に応じて変化するレビューテストを実施する際また静的解析ツールを適用する際の指標が必要となる ( 下記は成功プロジェクトの平均参考値 ) Detect / KSteps 基本機能詳細実装単体結合統合 Schedule 15/ 24

17 静的解析ツールのポリシー各ツールベンダーによって解析結果やレビューに関するポリシー ( 考え方 ) が違うためその特性を理解してツールを選択する必要がある検出数に違いがある Positive ( 検出する ) 正検知過検知? 誤検知? Negative ( 検出しない ) Positive ( 検出する ) 正検知 Negative ( 検出しない ) 過検知? 誤検知? 一般的な静的解析ツール Coverity 社静的解析ツール解析結果レビュー一般的な静的解析ツール欠陥を確実に検出できることに重点を置く為誤検知過検知の可能性があっても検出する見逃し (Ture Negative) は後工程で開発者の負担となる Coverity 社静的解析ツール実際に発生する故障の検出に重点を置き誤検知過検知はなるべく排除する誤検知過検知のレビューは開発者の負担となる上記は弊社の調査結果です過検知は FCT 独自に使用している用語です 16/ 24

正しいソースコード間違ったソースコード欠陥含有率 4,989kStep 11 kstep 陰性 (Negative) True Negative ( 検知不要 ) 4985.

18 静的解析ツールの実力静的解析ツール Negative + Positive = 100% レビューの品質予測には静的解析ツールの実力を知ることが必要検知 (True Positive) を検出する能力 ( 誤ったソースコードを検出する能力 ) 誤検知 (False Positive) を検出しない能力 ( 正しいソースコードを検知しない能力 ) ソースコード ( 結合工程 ) 正しいソースコード間違ったソースコード欠陥含有率 4,989kStep 11 kstep 陰性 (Negative) True Negative ( 検知不要 ) kstep False Negative ( 未検知 ) 5.07kStep 陽性 (Positive) False Positive ( 誤検知 ) 3.39 kstep True Positive ( 検知 ) 5.93 kstep 17/ 24

19 正検知率誤検知率の算出結果プロプライエタリなソースコード (5M Step) の例 100% 正検知率 :53.90% T.N. 未検知 F.N. (5569 件?) 誤検知 F.P. 正検知 T.P 件誤検知率 :0.068% 3242 件 99.78% 0.22% 欠陥なし欠陥なし正しいソースコード欠陥 100% 欠陥あり欠陥を含むソースコード陰性 (Negative) % 46.10% 陽性 (Positive) 0.068% 53.90% 18/ 24

20 ベイズの定理応用例静的解析ツールを使用して解析結果が与えらとき斜線面積の広さが欠陥の発生する確率を示している 75% 71% 71% 80% 59% 58% 50% 33% (20%) (36%) (15%) 15% (3%) (11%) 0.02 (4%) (4%) (3%) 0.024(5%) UNINIT_CTOR クラス内での未初期化 31% 25% 13% 9% 8% 4% 3%... 1% RESOURCE_LEAK FORWARD_NULL UNINIT リーク STRING_OVERFLOW オーバフロー OVERRUN BAD_SIZEOF REVERSE_INULL USER_AFTER_FREE 解放後のアクセス DIVIDE_BY_ZEROゼロ除算 19/ 24

21 レビュー効率向上のポイント静的解析ツールは過検知誤検知があることを前提に目標を設定してからレビュー実施しましょう! その他レビュー効率向上の検討事項静的解析ツールの特色 ( ポリシー ) 静的解析ツールの検出能力レビューそのものの状況把握 20/ 24

22 ソフトウェア品質向上セミナーまとめ静的解析ツールの選択とレビューの効率化のポイントソースコード検証サービス 21/ 24

23 まとめ 1 静的解析ツールの選択ポイント開発スタイル開発規模に適した静的解析ツールを選択しましょう! 2 静的解析ツールを使用したレビュー効率向上のポイント静的解析ツールは過検知誤検知があることを前提に目標を設定してからレビュー実施しましょう! 22/ 24

サービスメニュー概要ソースコード品質レビュー品質を改善するサービスメニューコーディング規約

開発の状況に合わせて正しい指摘 ( 誤検知過検知の排除 ) とレビューの優先順位を

24 サービスメニュー概要ソースコード品質レビュー品質を改善するサービスメニューコーディング規約規約作成支援コード修正 P コーディングレビュー支援 A D 静的解析未検知分析レビュー C 解析結果傾向分析詳細分析弊社のサービスお客様のプロセス資産サービス概要静的解析傾向分析詳細分析未検知分析レビュー支援規約作成支援最先端の静的解析ツールを活用し通常の人的レビューでは発見できないコード上の潜在欠陥を検出します ( トライアル解析を無償で実施します ) 静的解析ツールの弱点である膨大な指摘の中から開発の状況に合わせて正しい指摘 ( 誤検知過検知の排除 ) とレビューの優先順位を弊社の分析技術を用いて抽出します弊社のエンジニアが静的解析の指摘を一件毎にレビューし欠陥のメカニズム影響度修正候補等を提示します複雑な構造の重大欠陥等汎用の静的解析ツールでは検出できない欠陥を静的解析ツールの機能や OSS をベースとしたツール等を活用して同一パターンを検出し欠陥見逃しを防ぎます静的解析の結果やレビュー後の修正状況を管理し第三者のチェックを行うことで重大欠陥の修正漏れや見逃しを防止します静的解析ツールの分析結果やレビュー支援状況からお客様の開発の効果のあるコーディング規約作成を支援します ( 特に信頼性やセキュリティの観点 ) 23/ 24

25 商標について Coverity および Coverity ロゴ Coverity Static Analysis Coverity Extend Coverity Prevent Coverity Audit は米国およびその他の国における Coverity, Inc. の商標または登録商標です Klocwork Insight は Klocwork 社の商標または登録商標です Fortify SCA は Fortify HP の商標または登録商標です CodeSonar は GammaTech 社の商標または登録商標です Windows および Visual Studio は米国およびその他の国における Microsoft Corp. の商標または登録商標です Linux は Linus Torvalds 氏の米国およびその他の国における登録商標あるいは商標です Sun / Solaris / Java に関連するすべての商標およびロゴマークは米国 Oracle, Inc. の米国およびその他の国における商標または登録商標です Eclipse は開発ツールプロバイダーのオープンコミュニティーである Eclipse Foundation, Inc. により構築された開発ツール統合のためのオープンプラットフォームです MISRA とそのロゴは MISRA コンソーシアムを代表して MISRA Ltd. の登録商標ですその他の会社名商品名は各社の商標または登録商標です 24/ 24

会社概要株式会社富士通コンピュータテクノロジーズ設立 1983 年事業所川崎本社豊橋事業所長野事業所事業内容サーバストレージモバイル端末車載 /FA 機器画像認識ハードウェアネットワーク検証ソリューション従業員数 536 名組込みソフトウェア開発組込みハードウェア開

会社概要株式会社富士通コンピュータテクノロジーズ設立 1983 年事業所川崎本社豊橋事業所長野事業所事業内容サーバストレージモバイル端末車載 /FA 機器画像認識ハードウェアネットワーク検証ソリューション従業員数 536 名組込みソフトウェア開発組込みハードウェア開組込みシステム開発技術展 (ESEC) 2014 年 5 月 14 日 ~16 日静的解析ツールの効果的活用方法株式会社富士通コンピュータテクノロジーズ TMP 事業部検証ソリューション部土屋 (14 15 日 ) 馬渕 (16 日 ) 1275kc1 会社概要株式会社富士通コンピュータテクノロジーズ設立 1983 年事業所川崎本社豊橋事業所長野事業所事業内容サーバストレージモバイル端末

ソフトウェア品質向上セミナー ソースコード品質 レビュー品質 を改善するポイント 株式会社富士通コンピュータテクノロジーズ 1328kc1 0 Copyright 2015 FUJITSU COMPUTER TECHONOGIES LIMITED

ソフトウェア品質向上セミナーソースコード品質レビュー品質を改善するポイント株式会社富士通コンピュータテクノロジーズ 1328kc1 0 Copyright 2015 FUJITSU COMPUTER TECHONOGIES LIMITED