テスト設計スキル評価方法の提案と実践事例

自己紹介町田欣史 ( まちだよしのぶ ) 所属株式会社 NTTデータ技術開発本部プロアクティブテスティングCOE - テストプロセステスト技法に関する研究開発技術支援 - テストツールの開発調査技術支援活動 - JSTQB( テスト技術者資格認定 ) 技術委員 - ASTER テストツールWGメンバ - 執筆講演歴ソフトウェアテスト PRESS Vol.1~Vol.4, Vol.6, Vol.10, 総集編 JSTQB 教科書 JSTQB 認定テスト技術者 Foundation Level 試験ソフトウェア品質知識体系ガイド SQuBOK Guide - 現場で使えるソフトウェアテスト Java 編 @IT Eclipseで使えるテストツールカタログ日経 ITpro 実践! テスト自動化の勘所ソフトウェアテストシンポジウム (JaSST) 2009 東京 2011 東京 2011 四国 ITpro EXPO 2008(X-over Development Conference) 第 19 回ソフトウェア開発環境展 (SODEC) など Copyright 2014 NTT DATA Corporation 2

3 組織の位置づけ NTT データグループ NTT データ技術開発本部プロアクティブテスティング COE テストプロセスの抜本的改革 IV&V 推進ソリューション第三者検証 NTT データ公共金融法人 NTT データグループ会社

本日の発表 1. テストにおける課題と対策テスト設計のスキルが低い社内教育の効果が出ないスキルを可視化して現場の意識を変える 2. 取り組み内容テスト設計スキル評価の開発評価項目の設定評価方法の決定評価レポートの作成 3. 適用事例と取り組みの評価スキル評価を行い仮説を検証経験に関係なく真の実力を評価実務での能力と相関今後の課題 4. まとめ評価結果の活用方法他のスキル評価施策との関係 Copyright 2014 NTT DATA Corporation 4

6 1.1 テストにおける問題とその原因テストの問題の原因の中から人に着目品質テストにおける 2 大問題生産性テストしてもバグが残るテストに時間工数がかかる手段プロセス人 ( スキル ) 原因マネジメント環境

7 1.2 対象とするスキルの決定テスト設計に関するテスト担当者のスキルに着目テスト担当者の主要作業テスト計画作業とコントロールテストベースを理解できないテストの分析と設計テストの実装と実行終了基準の評価とレポート終了作業テスト手順通りに実行できないテスト設計技法を使いこなせないテスト結果を正しく判断できないテストケースを正しく書けない正しいやり方を知らない人が多いヒューマンスキルによる部分も大きいテストの証跡をきちんと残せない

8 1.3 これまでの取り組みと結果テスト設計スキル向上のための施策も効果は限定的 2009 年 ~ テスト設計スキル向上のための取り組み 5 年経って現状開発現場でのテスト設計の実態テスト設計技法手順の標準化ガイドライン経験や勘に頼ったテスト設計社内研修設計書や仕様書をコピーするだけ

9 1.4 新たな取り組みテスト設計スキルの可視化によって開発現場の意識を改革開発現場の意識改革が必要現状のスキルレベルを把握してもらう今回の取り組みテスト設計スキルを定量的に示す

2.1 情報収集動向調査他の施策を参考にしつつ要件を整理して独自評価を開発これらは使えないのか? 名称テスト団体企業が提供する主なテストスキル評価施策主催自分たちが評価したいのは何か? JSTQB テスト技術者資格認定 JSTQB (Japan Software Testing Qualifications Board) IT 検証技術者認定試験 (IVEC) IT 検証産業協会 (IVIA) 組込みスキル標準 (ETSS) ITスキル標準 (ITSS) Test.SFF CAT 検定テスト設計コンテスト IPA 独立行政法人情報処理推進機構 NPO 法人ソフトウェアテスト技術振興協会 (ASTER) IT 検証産業協会 (IVIA) 株式会社シフト NPO 法人ソフトウェアテスト技術振興協会 (ASTER) Copyright 2014 NTT DATA Corporation 11

12 2.2 どのようなスキルを測りたいかテスト設計における問題から 5 つの評価項目を設定 1 テスト設計技法テスト設計技法を使いこなせるか 2 テストレベルテストレベルに合ったテスト設計ができるか 3 テストケースの記述テストケースに必要な情報を正しく書けるか 4 5 テストベースの問題検出バグ検出の経験知識直感テストベースに問題があることに気づけるか欠陥を検出しやすいテストケースを作れるか

13 2.3 どのようにスキルを測りたいか多肢選択式ではなく考え方まで分かる形式の試験 1 弊社の開発に近い題材を用いる業務知識を必要とせず比較的理解しやすい題材の簡易的なテストベースを設問に用いる例 ) ポータルサイトやネットショップなど 3 部分点を与える 2 解答は自由記述とする解答までたどり着かなくても考え方が合っていれば部分点を与えられるよう解答の過程が見えるようにするデシジョンテーブルなど各種テスト技法の形式で解答する問題もある

16 2.4 評価レポート弱点や対策が分かるような評価レポートを提供評価レポートの内容総合得点評価項目別の正答率評価項目別のコメントアドバイステスト設計技法別の正答率テスト工程別の正答率解答の傾向を基にアドバイスや取るべきアクションをコメントレーダーチャートで視覚的に分かりやすく

18 3.1 スキル評価結果に対する仮説経験年数能力評価と比較してスキル評価の正しさを検証 1 テストの経験年数とスコアの関係 1. 経験年数が長くても高い評価になるとは限らない 2. バグ検出の経験知識直感に関するスキルは経験年数が長いほうが高い仮説 2 マネージャ評価とスコアの関係経験が生かされることが期待される唯一の評価項目正しいテスト設計をしているとは限らないため実務で高いパフォーマンスを発揮する人はスコアが高いパフォーマンスを表す指標にマネージャの評価を用いる

19 3.2 スキル評価対象若手からベテランまで幅広い層が受験試験概要受験者の概要試験問題数試験時間大問 7 問小問 28 問 3 時間受験者数経験年数 101 名最長 25 年最短なし解答形式自由記述平均 5.4 年満点 200 点

20 3.3 スキル評価結果 1 テストの経験年数とスコアの関係経験に関係なく真の実力を評価できそう評価項目正答率 ( 平均 ) 正答率と経験年数との相関係数テスト設計技法 42% -0.06 テストレベル 39% -0.05 テストケースの記述 47% -0.09 1 テストベースの問題検出 29% -0.05 バグ検出の経験知識直感 37% 0.08 2 合計 39% -0.05 1 相関がない 2 相関がない経験によらないスキルを評価できている経験を要する設問でない or 採点基準が甘い

3.3 スキル評価結果 2 マネージャ評価とスコアの関係実務でのパフォーマンスに近い結果だが大きな差はない受験者のマネージャが評価した能力レベル別のテスト設計スキル評価結果レベルレベルの目安人数 A 作業および指導を任せられる 20 平均点 79.7 B 作業を一人でも任せられる 38 72.2 C 作業を一人で任せるには不安がある 12 64.2 Copyright 2014 NTT DATA Corporation マネージャから回答のあった一部の受験者のみが評価対象 21

23 4.1 取り組み結果と今後の課題スキル評価結果と実務での成果との関連の調査が必要達成できたことテスト設計スキル評価手法の開発と有効性の検証今後の課題受験者の実務での成果との相関の調査バグ検出能力や作成するテストケースの網羅率との相関などスキル評価結果を用いた適切な要員配置担当工程の振り分け高スキル者と低スキル者のペアなど

24 4.2 他の施策とのすみ分け他の施策と相互補完しながらテストスキル向上を目指す JSTQB (Foundation Level) 今回開発したスキル評価方法基礎的レベル実践的汎用的対象ドメインやや特化テスト全体評価対象領域テスト設計選択式評価方法記述式 JSTQB(Advanced Level) の資格種別テクニカルテストアナリストは重複する可能性があるので開始されたら確認が必要