SEC 先進事例応用セミナーソフトウェア品質事例最前線 ~ ソフトウェア品質シンポジウム AWARD 受賞者から学ぶ ~ 要因組み合わせによる大量のテスト項目実施における障害の早期検出および工数削減の取り組み 2018 年 1 月 30 日富士通株式会社共通ソフトウェア開発技術本部ソフトウェア検

Size: px

Start display at page:

Download "SEC 先進事例応用セミナーソフトウェア品質事例最前線 ~ ソフトウェア品質シンポジウム AWARD 受賞者から学ぶ ~ 要因組み合わせによる大量のテスト項目実施における障害の早期検出および工数削減の取り組み 2018 年 1 月 30 日富士通株式会社共通ソフトウェア開発技術本部ソフトウェア検"

ともみいくのや
5 years ago
Views:

1 SEC 先進事例応用セミナーソフトウェア品質事例最前線 ~ ソフトウェア品質シンポジウム AWARD 受賞者から学ぶ ~ 要因組み合わせによる大量の項目実施における障害の早期検出および工数削減の取り組み 2018 年 1 月 30 日富士通株式会社共通ソフトウェア開発技術本部ソフトウェア検証統括部百足勇人紅林竜也神野昌和興津直樹 mukade.yuto@jp.fujitsu.com 0

2 目次背景大量の項目実施について目次問題とそれに対する取り組み自動生成大量における2つの問題自動生成大量におけるありたい姿解決のための取り組みⅠ 取り組み A 実行順の動的な変更解決のための取り組み Ⅱ 取り組みB 同一原因によるの特定冗長な項目の排除取り組みC 結果比較でとなるプログラムの最小化結論今後の展開 1

3 背景 (1/2) 要因表からの組合せ手法要因表から少ない組合せで効率的にする手法直交表ペアワイズ法がよく知られている要因表統計的にバグの原因となるのは 2 因子 3 因子の組合せであり全ての組合せを網羅せずとも効率的なが可能例 2 因子網羅率 100% 3 因子網羅率 62.5% 因子水準 1 水準 2 A 0 1 B 0 1 C 0 1 ペアワイズ法項目因子 A B C 因子 3 因子間ごとの網羅率に着目し項目を減少因子数水準数全網羅数削減後数自社製組合せツールによる 2 因子網羅率 100%, 3 因子網羅率 70% の値 2

4 背景 (2/2) 既存の組合せ手法でが難しい例コンパイラにおける言語仕様の既存の言語仕様全てを組み合わせてしたい 4 因子以上の条件でバグが発生するケースも多く 2 3 因子網羅では不十分 for(i=0;i<10;i++){ a = a + b; 因子水準 1 水準 2 水準 3 水準 4 水準 5 水準 6 式の形 a + b a - b a * b a / b a % b a && b a の型 char short int long float double b の型 char short int long float double 初期値因子網羅 100% (= 全網羅 ) =1296 項目因子水準 1 水準 2 水準 3 水準 4 初期化 i = 0 i = 1 i = -1 i = x 継続条件 i < 10 i <= 10 i < y i <= y 更新 i++ i +=1 i +=2 i += x 第 1 行第 2 行 ~ 第 10 行プログラム 10 行に対し 1 行あたり 1296 項目項目! プログラム行数や式の組合せを拡大すると項目数はさらに増加現実的な時間でできない様々な組み合わせをしたいが既存の組合せ手法で絞り込みできない疑似乱数を用いて要因を組み合わせランダムに項目を生成しする 3

5 [ 続き ] コンパイラに対するプログラム自動生成による疑似乱数を用いて要因を組み合わせプログラムを生成しするツールを開発しを実施プログラムの生成実行判定を繰り返し自動で行う 1. 入力データ ( 文ブロック構文データパラメタ値式 ) を記号化 2. 記号化した入力データをランダムに組み合わせてプログラムを生成 3. 正解を事前準備できないため他コンパイラ旧版との結果比較で判定言語要素の抽出バリエーションの生成 TP 生成実行結果判定入力データの記号化文ブロック構文 for A while B if C データパラメタ int s = 0; 式情報設定 1a = b; 2c = d; 3a = a + b; 4d = a b; : 式の出現順序の決定ブロック A 始式 1 挿入ブロック B 始式 2 挿入ブロック B 終 : プログラムソース for { a = b; while { c = d; a = a + b; for { : 自社製品で翻訳 / 実行結果比較による自動判定他コンパイラ / 自社旧版で翻訳 / 実行本ツールを用い多くの障害を検出 2009 年から取り組み開始 :2017 年 4 月まで障害 35 件検出 4

6 問題とそれに対する取り組み背景問題とそれに対する取り組み結論今後の展開 5

7 自動生成大量における 2 つの問題問題 1 問題 2 品質リスクに応じた順番でできず早期の品質確保ができないたまたま早く実行された 076 も大量に検出されるが同一原因によるものかの確認は人手であり工数がかかる同一原因群 A 同一原因群 B 似ているが異なる原因のときもある完全にランダムな順番だとなかなか実行されないものも原因は数種類しかないが 1 つずつを調べないと分からない 6

8 自動生成大量におけるありたい姿問題 1 品質リスクに応じた順番でできず早期の品質確保ができない問題 2 も大量に検出されるが同一原因によるものかの確認は人手であり工数がかかる同一原因群 A 同一原因群 B 品質リスクの高いを先に実行し早期に品質確保同一原因の特定を効率化し調査工数を削減 7

9 解決のための取り組み Ⅰ A 372 問題 1 品質リスクに応じた順番でできず早期の品質確保ができない解決 A 共に A という弱点要因を含む完全ランダムでなく A を含むを優先的に組合せ実行取り組み A 実行順の動的な変更経験的にとなる項目に含まれる要因は対象の弱点弱点要因を優先的に組合せ早期のバグ検出をねらう 8

10 取り組み A 実行順の動的な変更 1 要因優先度の初期値を設定 A B C 2 検出! 要因 A, B に加点 3 要因 A, B を優先 294 A 4 検出! 要因 A に更に加点 5 要因 A をもっと優先 122 A B フィールド品質分析開発工程資料 076 A B 613 実行方式の概要 1 開発工程の品質不良部分フィールド品質分析から弱点となる要因の点数が高くなるよう点数の初期値を設定 2,4 検出したらその項目に含まれる要因にさらに加点 3,5 点数が高くなるよう組合せた項目を優先的に実行 ( この実行方式を優先実行と呼称 ) 評価特許登録済 : 特許第号この方法を使う場合と使わない場合の判明済み障害の検出傾向を比較して早期の障害検出ができることを確認 9

取り組みA 実行順の動的な変更 : 実施結果別原因障害検出数 9 8 7 6 5 4 3 2 1 0 1 4 7 10 13 16 19 22 25 28 31 34 37 40 90 万本従来方式優先実行方式 400 万本 230 万本実行本数 (10 万本 ) 6 件に共通の要因が重点的にされる別の要因を含むは後回し成果約

11 取り組みA 実行順の動的な変更 : 実施結果別原因障害検出数万本従来方式優先実行方式 400 万本 230 万本実行本数 (10 万本 ) 6 件に共通の要因が重点的にされる別の要因を含むは後回し成果約 1/3 の実行本数で障害の早期検出に成功適用しない場合 : 6 件検出まで 230 万本適用した場合 : 6 件検出まで 90 万本残課題検出障害と別の要因を含む項目の実行が後回しに 400 万本実行時従来方式優先実行方式で検出数は共に 8 件同じ要因を含む 6 件は早期検出したが別の要因を含む残り 2 件は後回しになり検出が停滞 10

12 自動生成大量におけるありたい姿問題 1 問題 2 品質リスクに応じた順番でできず早期の品質確保ができないも大量に検出されるが同一原因によるものかの確認は人手であり工数がかかる同一原因群 A 同一原因群 B 品質リスクの高いを先に実行し早期に品質確保同一原因の特定を効率化し調査工数を削減 11

13 解決のための取り組み Ⅱ 取り組み B 同じ原因のを特定冗長なものは実行しない原因箇所最小化最小化原因箇所同じ原因! 取り組み C 原因箇所がプログラムのどの部分か特定問題 2 も大量に検出されるが同一原因によるものかの確認は人手であり工数がかかる解決取り組み B 同一原因によるの特定冗長な項目の排除類似のを同一原因と判断して実行しない取り組み C 結果比較でとなるプログラムの最小化最小化により原因箇所を絞り込み同一原因の特定をしやすくする 12

14 取り組み B 同一原因によるの特定冗長な項目の排除因子水準 1 水準 2 水準 3 水準 4 水準 5 水準 6 型 char short int long float double 1int で検出要因表からパラメータを抽出 int char short 4 同一原因範囲の境界は赤線と判断 2 パラメータ変化させ再実行 char, short, long は long float double 3 パラメータ変化させ再実行 double, float は特定方式の概要検出時に自動で特定含まれる要因のパラメータを少しずつ変化させ同一原因でとなる範囲を特定今後生成される項目がその範囲にある場合は実施をスキップ評価特許登録済 : 特許第号この方法を使う場合と使わない場合で同一原因の検出数が減り原因特定工数が削減されることを確認 13

15 取り組み B 同一原因によるの特定冗長な項目の排除 : 実施結果同一原因 1 同一の言語データ式情報で約 1000 万本走行同一原因 2 同一原因 3 点線部はスキップ本検出取り組み B 適用前 5100 本取り組み B 適用後 4620 本同一原因 4 成果検出量を 1/10 に削減適用しない場合 : 約 5100 本適用した場合 : 約 480 本 ( 約 1000 万本実行時の検出数 ) 残課題完全な同一原因特定はできず削除後もまだ同一原因が残る残ったは取り組み C 適用により最小化してから調査 14

取り組み C 結果比較でとなるプログラムの最小化 a = a + 1 for{ while{ b = b + 2 for{ for{ b = b + 2 c = c + 3 1 2 A = A + 1 B = B + 2 C = C + 3 A = A +

16 取り組み C 結果比較でとなるプログラムの最小化 a = a + 1 for{ while{ b = b + 2 for{ for{ b = b + 2 c = c A = A + 1 B = B + 2 C = C + 3 A = A + 1 B = B + 2 C = C + 3 赤字を削除赤字を削除 3 4 A は消してもいい B = B + 2 C = C + 3 B = B + 2 C = C + 3 for{ b = b + 2 同じ原因 for{ b = b + 2 B は消しちゃダメ最小化完了! 最小化について自動生成で複雑なプログラムを生成しているが実際にに関係する部分は一部最小化 : に関係ない部分を削除しが起きる部分のみからなるプログラムを得る同一原因なら似た形に最小化され調査がしやすくなる既存の自動最小化手法 Delta-debugging が有名プログラムを小さくする変換 (1 行削除など ) を加えてを再実行しが発生する最小の形を特定する出典 : Delta Debugging 15

ループは始点と終点をまとめて消さないと構文エラー解決案言語要素の抽出入力データの記号化文ブロック構文 for A while B if C データパラメタ int s = 0; 式情報設定 1a = b; 2c = d; 3a = a + b;

17 取り組み C 結果比較でとなるプログラムの最小化実際のプログラム最小化時の留意点定義定義式式 loop1 始 loop2 始式 loop2 終式 loop3 始 loop4 始式 loop4 終式式 loop3 終 loop1 終表示 var x, y var a[10], b[10] exp1 exp2 loop1{ loop2{ exp3 exp4 loop3{ loop4{ exp5 exp6 exp7 print(x, y, a, b) 変数定義を消すと未定義参照が起きるループは始点と終点をまとめて消さないと構文エラー解決案言語要素の抽出入力データの記号化文ブロック構文 for A while B if C データパラメタ int s = 0; 式情報設定 1a = b; 2c = d; 3a = a + b; 4d = a b; : バリエーションの生成単純に 1 行ずつは消せない構文解析すれば解決するが高コスト式の出現順序の決定ブロック A 始式 1 挿入ブロック B 始式 2 挿入ブロック B 終 : 自動生成時の情報を再利用して削除! 自動生成ツールの概要から一部を抜粋 16

取り組みC 結果比較でとなるプログラムの最小化 : 実施結果自動生成時の情報を利用した最小化定義定義式式 loop1 始 loop2

var a[10], b[10] 消さない exp1 exp2 loop1{ loop2{ exp3 exp4 loop3{

var x, y var a[10], b[10] loop5{ exp2 loop6{ exp8 loop1{ exp4 loop3{

exp2 loop1{ loop3{ exp7 print(x, y, a, b) 成果 1 本 /1 分で70 行 30

18 取り組みC 結果比較でとなるプログラムの最小化 : 実施結果自動生成時の情報を利用した最小化定義定義式式 loop1 始 loop2 始式 loop2 終式 loop3 始 loop4 始式 loop4 終式式 loop3 終 loop1 終表示 var x, y var a[10], b[10] 消さない exp1 exp2 loop1{ loop2{ exp3 exp4 loop3{ loop4{ exp5 exp6 exp7 print(x, y, a, b) 1 行ずつ消す始点と終点をまとめて消す消さない var x, y var a[10], b[10] loop5{ exp2 loop6{ exp8 loop1{ exp4 loop3{ exp7 exp9 exp10 print(x, y, a, b) 最小化プログラム var x, y var a[10], b[10] exp2 loop1{ loop3{ exp7 print(x, y, a, b) 成果 1 本 /1 分で70 行 30 行に自動で最小化 1 プログラム平均して削除 & 翻訳実行を 60 回すると最小に翻訳実行 1 回あたり 1 秒人手では 1 本あたり 60 分工数を大幅に削減 17

19 結論背景問題とそれに対する取り組み結論今後の展開 18

20 結論問題 1 問題 2 品質リスクに応じた順番でできず早期の品質確保ができないも大量に検出されるが同一原因によるものかの確認は人手であり工数がかかる取り組み A 従来の 1/3 の本数で検出取り組み B 確認すべき個数を削減取り組み C 最小化で調査も楽に同一原因群 A 同一原因群 B 取り組み A 実行順の動的な変更により判明済みの障害 8 件のうち 75% の障害を従来の約 1/3 の実行本数で検出早期の品質確保に成功取り組み B 同一原因によるの特定冗長な項目の排除により確認すべきの本数を 1/10 に削減取り組み C 結果比較でとなるプログラムの最小化により縮小に掛かる時間を 1/60 にプログラム行数を半分以下に削減調査工数の削減に成功 19

21 今後の展開背景問題とそれに対する取り組み結論今後の展開 20

22 今後の展開 (1/3) 取り組み A の残課題について別原因障害検出数従来方式期待優先実行方式実行本数 (10 万本 ) 新原因が出ない別原因を見つける実行に切り替え取り組み A 実行順の動的な変更で一部早期検出されない障害あり (2 件 ) 解決案の残課題新原因検出の停滞を判定判定には取り組み B 同一原因特定技術を洗練して用いる取り組み B の洗練について次スライドで言及停滞を確認したら新原因を見付けるため実行方式を切り替え別原因を見つけたらその要因をベースに優先実行で早期検出方式を切り替えるタイミングおよび切り替え後の方式は現在検討中 SQiP シンポジウム 2018 で公開を目指す 21

23 今後の展開 (2/3) 取り組み B の残課題について 1. 範囲が狭くすべての同一原因を特定しきれず漏れが発生する別原因理想の同一原因範囲 2. 範囲が広く別原因も同一原因と判断してスキップしてしまう取り組み B の残課題完全な同一原因特定はできず削減後もまだ同一原因が残る解決に向けての現状把握同一原因特定技術が完全でないことによる悪影響は以下 2 つと考える 1. 範囲が狭くすべての同一原因を特定しきれず漏れが発生する取り組み B の結果から明らか 2. 範囲が広く別原因も同一原因と判断してスキップしてしまう可能性はあるが不明確これらの影響をより厳密に測定し特定技術を洗練することを検討中 22

多くのアプリケーションが右図のような構造データベース発行 Web サーバ送信 SQL, XML, JSON などの言語仕様でクエリデータを記述

24 今後の展開 (3/3) コンパイラ以外への本手法の展開 Ⅰ 本手法が展開可能な範囲基本的に言語仕様や多様なパラメータが存在し要因組み合わせによる大量のの実施が有効と思われる分野には展開可能と考える例ツールにより自動生成した SQL 文 Web API リクエストの現状多くのアプリケーションが右図のような構造データベース発行 Web サーバ送信 SQL, XML, JSON などの言語仕様でクエリデータを記述フロントエンドからの入力データに基づき複雑なデータを自動生成 SQL 文自動生成ユーザフロントエンド HTTP リクエスト自動生成自動生成大量で品質確保が有効 23

25 今後の展開 (3/3) コンパイラ以外への本手法の展開 Ⅱ 案 :Web API における HTTP リクエスト自動生成へ適用入力データの記号化フィールド出現順序の決定 HTTP リクエスト生成ブロック { A Tags : [ ] B : データパラメタメソッド : POST; バージョン :HTTP/1.1 : ヘッダ情報設定 1Host: example.com 2Content-Type: *** 3Authorization: *** 4Content-Length: ** ボディ情報設定 1 ID : * 2 Name : * 3 CreatedAt : * 4 Key : * 5 Value : * : メソッド URI バージョンヘッダ 1 挿入ヘッダ 3 挿入ヘッダ 2 挿入 ( 空行 ) { ボディ 2 挿入ボディ 3 挿入ボディ 1 挿入ブロック B 始ブロック A 始ボディ 4 挿入ボディ 5 挿入ブロック A 終 : ブロック B 終 : POST /records/r01.json HTTP/1.1 Host: example.com:443 Authorization: Basic **********= Content-Type: application/json { "Name": "LoopTest120", "CreatedAt": " ", "ID": "120", "Tags": [ { "Key": "words", "Value": ["for","while"],, { "Key": "threads", "Value": "2", { "Key": "steps", "Value": "73" ] リクエスト送信ステータスコードによる正常異常判定同一の枠組みでが可能なため今回の取り組みが展開できるはず優先実行による早期品質確保同一原因の特定および最小化による調査工数削減コンパイラ以外への手法の展開および効果測定を検討中 24

HIGIS 3/ﾌﾟﾚｾﾞﾝﾃｰｼｮﾝ資料/J_GrayA.ppt

HIGIS 3/ﾌﾟﾚｾﾞﾝﾃｰｼｮﾝ資料/J_GrayA.ppt 品質保証部における W モデル適用の検討と実践 2013/09/13 株式会社日立製作所情報通信システム社 IT プラットフォーム事業本部開発統括本部プラットフォーム QA 本部ソフト品質保証部富田貴仁, 秦泉寺貴文, 高山啓 0 品質保証部における W モデル適用の検討と実践 Contents 1. 章はじめに 2. 章現状の品質保証工程の分析 3. 章 Wモデルの適用の検討 4. 章実施と評価