目次 1. はじめに 2. 利用目的別メトリクス一覧表の仕組み 3. 検索機能の使い方 4. 利用シナリオ ( 事例 ) 5. おわりに Center 2

Size: px

Start display at page:

Download "目次 1. はじめに 2. 利用目的別メトリクス一覧表の仕組み 3. 検索機能の使い方 4. 利用シナリオ ( 事例 ) 5. おわりに Center 2"

たつぞうさだい
5 years ago
Views:

1 Software Engineering Center Information-technology Promotion Agency, Japan ~ 見える掴むメトリクス利用目的別メトリクス一覧表 ( 検索機能付き ) 利用ガイド 2012 年 03 月独立行政法人情報処理推進機構技術本部ソフトウェアエンジニアリングセンター Center

2 目次 1. はじめに 2. 利用目的別メトリクス一覧表の仕組み 3. 検索機能の使い方 4. 利用シナリオ ( 事例 ) 5. おわりに Center 2

3 1. はじめに利用目的別メトリクス一覧表 ( 検索機能付き ) とは利用目的別メトリクス一覧表はで検討された主なメトリクスを目的カテゴリや利用者工程などの管理項目によって分類したものですメトリクス名称目的カテゴリ利用者工程利用方法参照レビュー指摘密度品質管理開発部門設計フェーズ参照書籍 1 参照書籍 1 レビュー指摘件数品質利用者 2 YY フェーズ参照書籍 2 参照書籍 2 メトリクス N 目的 N 利用者 N ZZ フェーズ参照書籍 N3 参照書籍 N3 この表に検索機能を追加しましたこの表により利用者はのメトリクスに関して利用目的にあったメトリクスを簡単に見つけだすことができますフェーズや利用シーン目的などの検索の他に測定要素基本 / 導出測定量のようなボトムアップの検索も可能です本一覧表に自社のメトリクスを追加することもできます注 ) 目的別メトリクス一覧表はが 2010 年度実施した定量的管理基盤メトリクス分類表有効性調査報告書のメトリクス分類表をベースにしています Center 3

2. 利用目的別メトリクス一覧の仕組み課題 : 活動成果物の中でメトリクスやその活用例

? データ白書定量的品質予測のススメ見える化のメトリクスに関するノウハウ群どなたがどんな時に

4 2. 利用目的別メトリクス一覧の仕組み課題 : 活動成果物の中でメトリクスやその活用例ノウハウ等がありますがそれらを横並びに見たり直面している課題 ( 目的 ) に適したメトリクスを探し出すことは容易ではありません活動の成果物の中でメトリクスやその活用事例どんなものがあるのか?? データ白書定量的品質予測のススメ見える化のメトリクスに関するノウハウ群どなたがどんな時にどのような目的のために使いますか? それならばこの BOOKS のこのメトリクスを使った定量管理をされてはいかがですか? きちんと定量管理したいユーザ成果を熟知したコンサルタントならば Center 4

2. 利用目的別メトリクス一覧の仕組み検討結果 : どのように分類すれば欲しい情報にたどり着けるかをの成果物を整理しながら検討し下記 1 2 を実施利用目的別メトリクス一覧表として実現しました 1 様々な質問に対応できる分類項目の作成 2 のメトリクス関係書籍の主なメトリクスを整理 1 様々な質問に対応できる分類項目ができたメトリクス管理の基盤になる

5 2. 利用目的別メトリクス一覧の仕組み検討結果 : どのように分類すれば欲しい情報にたどり着けるかをの成果物を整理しながら検討し下記 1 2 を実施利用目的別メトリクス一覧表として実現しました 1 様々な質問に対応できる分類項目の作成 2 のメトリクス関係書籍の主なメトリクスを整理 1 様々な質問に対応できる分類項目ができたメトリクス管理の基盤になるメトリクス一覧表の管理項目をどうすれば欲しい情報にたどり着けるか将来現在はの成果物だけなので他団体にもコンテンツ提供のご協力をお願いして日本のメトリクス知見の基盤としたい利用目的別メトリクス一覧表 2 データ白書定量的品質予測見える化などの情報を整理ができたユーザ用約 90, ベンダ用約 210 行の利用シーン ( 利用シーンごと 1 行の形なので同じメトリクスが複数回現れることがあります ) Center 5

6 2. 利用目的別メトリクス一覧の仕組み 2.1 分類項目メトリクス一覧表の構造はプロセス, ステークホルダ, 利用シーン, メトリクス, 測定方法, 利用方法, 参照情報等からなります利用シーンに注目し目的と評価質問の記述ルールを定め目的の種別を追加することにより利用シーンの粒度を一定にし検索性を容易にする工夫を行いました利用目的別メトリクス一覧表の利用シーンは GQM パラダイムの考え方を取り入れています何を解決したいのか何を知りたいのかなどの目的を設定しその目的を遂行するための尺度を定義して初めて計測を行うという GQM のトップダウンのアプローチを一覧表という形式で整理しています利用シーンメトリクス GQM モデルを階層構造で示した一般的な例 Center 6

7 2. 利用目的別メトリクス一覧の仕組み利用目的別メトリクス一覧表の主な項目は以下のとおりですソフトウェアライフサイクルプロセス毎に記載されています利用シーンは GQM の Goal と Question の部分にあたります参照情報としてメトリクスの出典となっている BOOK の参照情報が記載されています項目 ( 大分類 ) ソフトウェアライフサイクルプロセスステークホルダ発注者 / 受注者利用シーン (Goal) (Question) メトリクス (Metrics) 基本測定量入手先測定フェーズ測定方法利用方法参照情報よく使われているメトリクス共通フレーム 2007 のアクティビティ説明メトリクスを利用する者発注者 : 経営層業務部門品質保証部門情報システム部門受注者 : 経営層管理部門開発部門利用目的とメトリクスを利用することで得られる評価に関する質問利用目的 : 目的概要目的詳細 ( 対象物着眼点目的 ( 動作 )) 種別 : 測定計画予測比較カテゴリ : メトリクスの分類 ( 規模工期工数コスト品質生産性その他 ) 評価質問 : 対象物対象属性比較対象理想状態要求状態適用方法 : 適用する上での概要導出式 : メトリクスの算出式と ( 基本 ) 測定量の説明定義と解釈 : メトリクス値が取りうる範囲判断基準又は解釈の仕方基本測定量の主な入手先基本測定量の測定フェーズ基本測定量の測定方法メトリクスの利用方法と備考 ( 利用上の留意点など ) メトリクスの出典となっている BOOKS 参照先定量的品質予測のススメから 13 メトリクスデータ白書のスタンドアロン型分析ツールから 11 パターン見える化総集編 ( 上流下流の重要項目 ) から抜粋基本測定量としては発注者受注者とも 10 数種類 Center 7

8 2. 利用目的別メトリクス一覧の仕組み 2.2 分類項目の工夫点 GQM の考え方を適用する際に粒度の均一化や網羅性の向上の為にテンプレートを用意いたしました目的の構成要素 (a) 対象 (b) 着眼点 (c) 目的 ( 動作 ) のをについてする利用シーン評価質問の構成要素 (a) 対象物 (b) 対象属性 (c) 比較対象 (d) 理想状態 (e) 要求状態のがに比 ( よう ) か? べてに目的 ( 概要 ) 目的の詳細化 (a,b,c) 目的の構成要素種別カテゴリ評価質問 (a,b,c,d, (a) 対象 (b) 着眼点 (c) 目的 ( 動作 ) e) 評価質問の構成要素 (a) 対象物 (b) 対象属性 (c) 比較対象 (d) 理想状態 (e) 要求状態供給者との契約の準備交渉を行いたい供給者から提示された規模の見積値の要件に対する妥当性を評価し発注者と供給者で合意する供給者から提示された見積規模要件に対する妥当性発注者と供給者で合意する計画規模供給者から提示された見積規模はあらかじめ見込んだ見積規模とどれくらい差があるか見積規模供給者から提示された規模の見積値あらかじめ見込んでいる数値同値差が小さい具体的には下記を実施しています目的詳細化評価質問に関しては構成要素に分解して記載方法を統一種別 ( 測定計画予測比較 ) カテゴリ ( 規模工数工期 etc.) などカテゴライズを実施 Center 8

9 3. 検索機能の使い方 (1/3) 1 発注者受注者各シートの左上部にある条件設定抽出ボタンを押下します検索ダイアログが表示されます検索対象は現在開いているシート ( 発注者受注者のいずれか ) です発注者シート検索ダイアログ ( 発注者用 ) * 選択肢は発注者受注者の各シートごとにデータを読み込んでおりステークホルダ基本測定量の選択肢は発注者用と受注者用で異なります 2 検索条件を入力します各項目間は And 条件各項目内の選択肢は Or 条件で結合されます条件指定されない項目についてはすべての選択肢が選択された場合と同様の条件となります Center 9

10 3. 検索機能の使い方 (2/3) 3 検索ボタンを押下します 4 検索結果シートが作成され入力した検索条件と条件に該当するメトリクスが表示されます入力した検索条件クリック検索条件に該当するメトリクス検索結果シート Center 10

11 3. 検索機能の使い方 (3/3) 5 検索結果シートのメトリクスの名称列のリンクをクリックすると該当するシート ( 発注者または受注者 ) の該当行へジャンプします該当行は背景色が水色に変わります検索結果シート発注者シート Center 11

12 4. 利用シナリオ利用目的別メトリクス一覧表の利用例を説明します 1 よく使われているメトリクスからの検索 2 要件定義フェーズでの利用 3 テストフェーズでの利用 Center 12

13 4. 利用シナリオ 1 よく使われているメトリクスからの検索よく使われているメトリクスを見る基本測定量に絞るフェーズを絞る導出測定量を見るメトリクスの詳細を調べるまずは目的やフェーズを特に限定せずどんなメトリクスがよく使われているのかを全般的に知りたいその中で自社のプロジェクトで使えそうなものを詳しく見ていこう発注者 1) よく使われているメトリクスに限定して検索にチェックを入れて検索 Center 13

14 4. 利用シナリオ 1 よく使われているメトリクスからの検索よく使われているメトリクスを見る基本測定量に絞るフェーズを絞る導出測定量を見るメトリクスの詳細を調べるたくさん出てきた! これらのメトリクスはどんな測定量が基本になっているんだろう何を測ればいいのか基本測定量にさらに限定して見てみようよく使われているメトリクスに限定して検索条件での検索結果基本測定量に絞る 2) よく使われているメトリクスに限定して検索と基本測定量にチェックを入れて検索 Center 14

15 4. 利用シナリオ 1 よく使われているメトリクスからの検索よく使われているメトリクスを見る基本測定量に絞るフェーズを絞る導出測定量を見るメトリクスの詳細を調べる基本測定量が同じでも測定フェーズが異なるものがある今度は自社でデータが測定しやすそうなテストフェーズに限定して見てみようよく使われているメトリクスに限定して検索かつ基本測定量条件での検索結果テストフェーズに絞る 3) よく使われているメトリクスに限定して検索と基本測定量にチェックを入れ基本測定量測定フェーズでテストを選択して検索 Center 15

16 4. 利用シナリオ 1 よく使われているメトリクスからの検索よく使われているメトリクスを見る基本測定量に絞るフェーズを絞る導出測定量を見るメトリクスの詳細を調べるテストフェーズでの測定量としては欠陥数やテスト項目数が自社で測定しやすそうだこの測定量を含む導出測定量を見てみようよく使われているメトリクスに限定して検索基本測定量基本測定量測定フェーズがテスト条件での検索結果欠陥数テスト項目数を含む導出測定量を見る 4) よく使われているメトリクスに限定して検索と導出測定量にチェックを入れ基本測定量測定フェーズでテストを選択基本測定量で欠陥数とテスト項目数を選択して検索 Center 16

よく使われているメトリクスに限定して検索導出測定量基本測定量測定フェーズがテスト基本測定量が欠陥数またはテスト項目数条件での検索結果検索結果の

17 4. 利用シナリオ 1 よく使われているメトリクスからの検索よく使われているメトリクスを見る基本測定量に絞るフェーズを絞る導出測定量を見るメトリクスの詳細を調べる欠陥数と実績規模を測定して欠陥密度を導き出せるんだなこのメトリクスは自社で使えそうだ参照されている書籍から詳細を見てみようよく使われているメトリクスに限定して検索導出測定量基本測定量測定フェーズがテスト基本測定量が欠陥数またはテスト項目数条件での検索結果検索結果のメトリクスの名称をクリックして元の表にジャンプ 5) BOOKS のリファレンス情報列に表示されている書籍 ( この例では定量的品質予測のススメ ) を参考にする Center 17

18 4. 利用シナリオ 2 要件定義フェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認測定評価の実装ステークホルダ : 発注者課題 : 要件定義のフェーズで確認しておくべきメトリクスにはどんなものがあるだろう? 過去の類似事例を比較に使えないだろうか? 比較要件定義過去の類似事例今回のプロジェクト発注者 Center 18

19 4. 利用シナリオ 2 要件定義フェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認測定評価の実装要件定義フェーズで確認しておくべきことは何? フェーズ : 要件定義発注者類似事例との比較を行いたい種別 : 比較 Center 19

20 4. 利用シナリオ 2 要件定義フェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認測定評価の実装よく使われているメトリクスに限定基本測定量測定フェーズ : 要件定義種別 : 比較検索結果例 : U-097 工数ー工期 ( 定量データ白書章 ) 測定方法 : 工数 : 開発 5 工程で要したベンダの総工数工期 : 開発 5 工程の工期 ( 月数 ) 端数は1ヶ月 30 日で按分適用方法 : 工数に対して工期が信頼幅のどこにあるか判定し予定通りに完了するか評価する Center 20

乗根に概ね比例 35 30 25 20 15 10 5 y(50%) y(95%) N=493 y(-50%) y(-95%) 例 ) 工期 = A ( 工数 )* * 0.

21 実績月数 ( 開発 5 工程 ) [ 月 ] 4. 利用シナリオ 2 要件定義フェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認 (1/2) 測定評価の実装 1 見積り : 工数と工期のデータの見方データの関係性新規開発 ( 開発 5 工程 ) 工期 ( 月数 ) は工数の 3 乗根に概ね比例 y(50%) y(95%) N=493 y(-50%) y(-95%) 例 ) 工期 = A ( 工数 )* * 0.31 (A は係数 ) , , , , , ,000 実績工数 ( 開発 5 工程 ) [ 人時 ] 信頼幅 95% の下限値より下にはプロジェクトがほとんどない工数に対する工期の実現可能性を考える目安出典 : BOOKS ソフトウェア開発データ白書 Copyright IPA 注 ) より詳しい活用方法はデータ白書の見方と定量データ活用ポイントを参照の事このメトリクスの出典となっているデータ白書を見て参考にする! Center 21

22 実績月数 ( 開発 5 工程 ) [ 月 ] 4. 利用シナリオ 2 要件定義フェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認 (2/2) 測定評価の実装工数と工期のデータの使い方例 ) 新規開発開発 5 工程工数が約 60,000 人時 ( 約 375 人月 ) の場合工期 ( 月数 ) の中央値は 12~13 ヶ月信頼幅 95% の下限値の工期 ( 月数 ) を見てみると約 5 ヶ月留意点工期短縮には限界がある , , , , , ,000 実績工数 ( 開発 5 工程 ) [ 人時 ] 12 ヶ月から工期短縮を目指しても 5 ヶ月以下にするのは難しいまた 50% の下限値は約 9 ヶ月であり目標の目安の一つ y(50%) y(95%) 出典 : BOOKS ソフトウェア開発データ白書注 ) より詳しい活用方法はデータ白書の見方と定量データ活用ポイントを参照の事 N=493 y(-50%) y(-95%) Copyright IPA Center 22

23 4. 利用シナリオ 2 要件定義フェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認測定評価の実装この手法を社内のプロセスに取り入れて工数工期の妥当性を判断するようにしよう! 過去の類似事例のデータを収集今回のプロジェクトデータと比較 ( ベンチマーキング ) 判断見積り修正実施実績評価 Center 23

24 4. 利用シナリオ 3 テストフェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認測定評価の実装ステークホルダ : 受注者課題 : 発注者に対してテストを十分に行ったことを説明して品質目標値について合意を得カットオーバー OK の判断を行うためにどんな指標を使えるだろうか? / 発注者が納得できる客観的な判断指標 ( 定量メトリクス ) 受注者発注者 Center 24

25 4. 利用シナリオ 3 テストフェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認測定評価の実装知りたいのはシステムの品質を判断する材料をどうやって測定するかということ種別 : 測定受注者システムの品質の良さを定量データを使って確認説明したいカテゴリ : 品質 Center 25

26 4. 利用シナリオ 3 テストフェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認測定評価の実装種別 : 測定カテゴリ : 品質検索結果例 : v-116 実績テスト項目数 ( 結合テスト総合テスト ( ベンダ側 )) / 実績規模 ( 定量データ白書章 ) 測定方法 : 開発後の FP 結合総合テスト項目数を測定する適用方法 : テスト密度の他代表的プロジェクトの作りこみ品質密度残存不良から品質確保を評価して品質改善方針を検討する Center 26

27 4. 利用シナリオ 3 テストフェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認測定評価の実装出典 : BOOKS ソフトウェア開発データ白書データ白書には FP 規模と SLOC 規模の両方での箱ひげ図が示されているな Center 27

28 4. 利用シナリオ 3 テストフェーズでの利用課題の特定課題の項目化課題に対応するメトリクスの検索メトリクスの詳細確認測定評価の実装見積り時にこのメトリクスにしたがって基準値を合意しておこう測定量の基準値をあらかじめ発注者との間で決定データ要素を測定測定結果と事前の契約内容を照らし合わせカットオーバーの判断を行う Center 28

29 5. 終わりに利用目的別メトリクス一覧表はこれからもコンテンツ等充実していく予定ですが利用上の以下の点にご留意ください利用目的別メトリクス一覧表 ( 検索機能付き ) はダウンロードして各利用者の環境で使用するものです下記の環境について動作確認をしております利用目的別メトリクス一覧表にはメトリクスを自由に追加できます所定の書式の記述方法に従って追加していただくと検索機能が維持できます導出測定量の追加の場合は少し作業が複雑になりますので詳細は利用目的別メトリクス一覧表のメトリクスの追加等シートに説明しています本一覧表の利用について詳細は利用許諾書を参考にしてください Center 29

実績月数 ( 開発 5 工程 ) [ 月 ] Copyright IPA 実績月数 ( 開発 5 工程 ) [ 月 ] 50 45 40 35 30 25 20 15 10 5 0 開発 5 工程の工数と工期 ( 新規開発 5 工程の工数と工期 ) N=185 ( 新規開発 ) N=185 50 y(95%) y(95%) y(50%) 45 y(50%) y(-50%) 40 y(-50%)

30 実績月数 ( 開発 5 工程 ) [ 月 ] Copyright IPA 実績月数 ( 開発 5 工程 ) [ 月 ] 開発 5 工程の工数と工期 ( 新規開発 5 工程の工数と工期 ) N=185 ( 新規開発 ) N= y(95%) y(95%) y(50%) 45 y(50%) y(-50%) 40 y(-50%) y(-95%) 開発 y(-95%) 5 工程の工数と工期 ( 新規開発 ) N= 実績値 50 実績値 y(95%) y(50%) y(-50%) y(-95%) 実績値 Copyright IPA Copyright IPA , , , , , , , , , , , 実績工数 ( 開発 5 工程 ) [ 人時 ] 実績工数 ( 開発 5 工程 ) [ 人時 ] 5 Copyright IPA , , , , , ,000 実績工数 ( 開発 5 工程 ) [ 人時 ] 実績月数 ( 開発 5 工程 ) [ 月 ] 実績月数 ( 開発 5 工程 ) [ 月 ] ソース規模 ( 行数 ) ソースコード規模推移モジュール A モジュール B モジュール C モジュール D 全体規模想定到達規模規模計画値 4W 平均生産性 ( 右目盛 ) 計画値開発終了遅れ予測終わりにでは様々な定量的な活動に取組んでいます関連セミナーも適宜実施しておりますのでぜひご活用ください詳しくは IPA/ のホームページ ( をご覧ください品質管理ノウハウプロジェクト診断支援ツール (IPA/Web サイト ) y(95%) y(50%) y(-50%) y(-95%) 実績値ベンチマークマネージメントノウハウ開発 5 工程の工数と工期 ( 新規開発 ) N= , , , , , ,000 実績工数 ( 開発 5 工程 ) [ 人時 ] データ白書のグラフと自社のデータを WEB 上で重ねて表示可能プロジェクト診断 ( 外部データとの対比 ) 一般利用者 ( 企業 ) メトリクス情報収集利用目的別メトリクス一覧表 BOOKS ノウハウ等参考が保持する定量関係のコンテンツプロジェクト診断 ( 自社デタ ) スタンドアロン型診断支援ツール白書の収集項目枠とデータ登録代表的な分析グラフを用意したEXCELのtool 自社蓄積データデータ出力簡易分析定量的プロジェクト管理ツールプロジェクト管理 ( 自社デタ ) ソース規模 WBS, 工数等収集自社蓄積データソース管理障害管理工数管理 Center 30

目次 1. はじめに 2. 利用目的別メトリクス一覧表の仕組み 3. 検索機能の使い方 4. 利用シナリオ 5. おわりに Center 1

目次 1. はじめに 2. 利用目的別メトリクス一覧表の仕組み 3. 検索機能の使い方 4. 利用シナリオ 5. おわりに Center 1 Software Engineering Center Information-technology Promotion Agency, Japan SODEC ブース内セミナー 2012 年 05 月 09 日 ~11 日 ~ 見える掴むメトリクス利用目的別メトリクス一覧表定量的ソフトウェア開発管理を推進するために独立行政法人情報処理推進機構技術本部ソフトウェアエンジニアリングセンター研究員