SPI Japan 2011 組 織 の 実 績 ベースライン および 改 善 活 動 の 効 果 の 検 定 手 順 の 確 立 2011 年 10 月 27 日 住 友 電 気 工 業 株 式 会 社 中 塚 康 介 中 村 伸 裕 情 報 システム 部
はじめに 高 成 熟 度 のプロセス 領 域 では 統 計 的 手 法 の 適 用 が 必 要 となる 組 織 のプロセス 実 績 の 分 布 を 検 定 する 各 プロジェクトの 品 質 改 善 活 動 の 効 果 を 検 定 する 統 計 的 手 法 適 用 における 問 題 種 々の 統 計 手 法 がそのまま 適 用 可 能 なプロセス 実 績 ベース ラインとなるとは 限 らない 統 計 的 な 検 定 は 数 学 的 な 知 識 が 必 要 となり 難 しい ととらえ られがち プロセス 実 績 ベースラインの 変 換 と 正 規 性 検 定 による 検 証 で 正 規 分 布 に 関 する 統 計 処 理 を 適 用 可 能 にする 検 定 を 手 順 化 ツール 化 し 容 易 に 利 用 できるようにする P.2/25
Agenda 改 善 の 体 制 プロセス 実 績 ベースラインの 検 定 各 プロジェクトの 品 質 改 善 活 動 の 検 定 検 定 のツール 化 標 準 化 P.3/25
背 景 : 改 善 の 体 制 品 質 改 善 活 動 のワーキンググループが 主 体 住 友 電 工 情 報 システム 株 式 会 社 ( 以 下 SIS) 品 質 改 善 推 進 グループ システム 開 発 部 隊 住 友 電 気 工 業 株 式 会 社 ( 以 下 住 友 電 工 ) システム 技 術 グループ 上 記 体 制 で2011 年 6 月 CMMI Ver 1.3 レベル5の 達 成 を 確 認 システム 技 術 グループで 統 計 的 分 析 手 法 の 調 査 統 計 的 分 析 を 実 施 ワーキンググループには2 名 参 加 統 計 の 専 門 ではない P.4/25
プログラム 本 数 背 景 : 組 織 の 実 績 値 の 収 集 自 社 開 発 の 文 書 作 成 構 成 管 理 定 量 管 理 ツールを 使 用 測 定 メトリクス 数 : 312 集 計 規 模 システム 数 :464システム 外 部 仕 様 書 :156,897ページ プログラム:16,727 本 全 社 実 績 リポジトリ 文 書 サーバ プロジェクト 測 定 値 文 書 単 位 行 数 あたりの 欠 陥 指 摘 数 集 計 分 析 中 塚 康 介 中 村 伸 裕 組 織 レ ベルの 開 発 実 績 収 集 分 析, SPI Japan 2009, 2009 isdoc P.5/25
プロセス 組 織 ベースライン プログラム 単 位 行 数 あたりの 作 り 込 み 欠 陥 の 分 布 組 織 の 品 質 目 標 達 成 のため プロジェクトが 品 質 計 画 品 質 の 監 視 と 制 御 に 使 用 この 分 布 をどう 扱 えば 良 いか? 例 : プロジェクトの 改 善 活 動 の 効 果 をどう 確 認? P.6/25
組 織 の 実 績 値 の 分 析 プログラム 単 位 行 数 あたりの 作 り 込 み 欠 陥 の 分 布 対 数 変 換 することで 正 規 分 布 に 近 い 形 と なっているようである 正 規 分 布 ならば 多 くの 統 計 手 法 が 適 用 可 能 正 規 分 布 であると 言 えるのか? P.7/25
プロセス 実 績 ベースラインの 正 規 性 検 定 正 規 分 布 であることを 示 すためには 正 規 性 検 定 を 行 う Kolmogorov-Smirnov 検 定 (KS 検 定 ) 正 規 性 に 関 する Shapiro-Wilk 検 定 Anderson-Darling 検 定 D Agostino- Pearson 検 定 (K2 検 定 ) 統 計 ツールには 正 規 性 検 定 が 実 装 されている 1. Excelなどから 統 計 ツールにデータをコピー 2. 正 規 性 検 定 を 実 行 3. 結 果 を 確 認 ( 基 本 的 には 値 の 大 小 で 判 定 できる) 検 定 手 法 によって 性 能 条 件 が 異 なるので 事 前 に 確 認 する 正 規 分 布 を 正 規 分 布 と 判 定 するか 正 規 分 布 でないものを 正 規 分 布 でないと 判 定 するか P.8/25
( 補 足 ) 検 定 について: 仮 説 仮 説 : 確 認 したいことを 統 計 的 に 表 現 したもの 例 プロセス 改 善 後 は 欠 陥 数 の 分 布 が 変 化 した 帰 無 仮 説 : 確 認 したい 仮 説 とは 逆 の 否 定 したい 仮 説 例 プロセス 改 善 後 は 欠 陥 数 の 分 布 が 変 化 していない 帰 無 仮 説 の 棄 却 : 統 計 的 に 帰 無 仮 説 が 起 こりえないことを 示 す 棄 却 されると 変 化 した と 主 張 できる 棄 却 されない 場 合 は 変 化 したとは 言 えない 変 化 していない P.9/25
( 補 足 ) 検 定 について: 採 択 棄 却 有 意 水 準 α : 帰 無 仮 説 の 棄 却 を 決 める 確 率 α =10% 5% 1%などを 利 用 棄 却 域 : 帰 無 仮 説 を 捨 てる 領 域 帰 無 仮 説 が 起 こりえない ことを 表 す 領 域 採 択 域 : 帰 無 仮 説 を 捨 てない 領 域 帰 無 仮 説 が 起 こりうる ことを 表 す 領 域 区 間 外 だと 帰 無 仮 説 を 捨 てる 両 側 検 定 α/2 α/2 ある 値 を 越 えると 帰 無 仮 説 を 捨 てる 片 側 検 定 α 棄 却 域 採 択 域 棄 却 域 採 択 域 棄 却 域 P.10/25
正 規 性 検 定 の 実 施 統 計 ツールとしてRを 使 用 オープンソースソ フトウェア KS 検 定 (ks.test) やShapiro-Wilk 検 定 (shapiro.test)と いった 正 規 性 検 定 が 実 装 されて いる GUIのツール Rcmdrがある P.11/25
正 規 性 検 定 の 実 行 結 果 例 > ks.test(dataset$ln, "pnorm", mean=mean(dataset$ln), sd=sd(dataset$ln)) One-sample Kolmogorov-Smirnov test data: Dataset$LN D = 0.0265, p-value = 0.1286 alternative hypothesis: two-sided プログラム 単 位 行 数 あたりの 作 り 込 み 欠 陥 の 対 数 値 をKS 検 定 データ 量 を 変 えながら 一 様 分 布 正 規 分 布 などを 用 いてKS 検 定 が 使 えることを 確 認 p 値 が0.05 未 満 であれば 正 規 分 布 に 従 うという 帰 無 仮 説 が 棄 却 される 0.05より 大 きければ 棄 却 されない(α =0.05) 注 :0.05より 大 きくても 正 規 分 布 でないかもしれない P.12/25
正 規 性 検 定 の 手 順 化 プロセス 実 績 ベースラインの 作 成 は 限 られている 年 間 数 回 品 質 改 善 のグループが 実 施 以 下 があれば 運 用 できる 統 計 ツールのインストール 利 用 手 順 住 友 電 工 SISではRを 利 用 データ 抽 出 方 法 測 定 リポジトリから 実 績 を 抽 出 するVIEWを 作 成 検 定 手 法 開 発 標 準 に 記 述 P.13/25
プロセス 実 績 ベースラインの 発 行 標 準 正 規 性 検 定 の 手 順 を 含 んだ 形 でプロセス 実 績 ベースラインの 発 行 標 準 を 作 成 正 規 性 検 定 の 手 順 を 含 んだ 作 成 手 順 この 標 準 を 元 に 6 月 と11 月 にプロセス 実 績 ベースラインが 発 行 される P.14/25
標 準 化 された 正 規 性 検 定 手 順 P.15/25
各 プロジェクトの 改 善 効 果 の 検 定 各 プロジェクトでは 作 り 込 み 欠 陥 を 減 らす 改 善 活 動 を 実 施 効 果 があるものを 組 織 に 展 開 効 果 がある とはどういうことか? プロセス 実 績 ベースラインとプロジェクトの 実 績 を 比 較 して 差 が あるか 差 があるとすれば 良 くなっているか 統 計 的 に 判 断 するため 検 定 を 行 う P.16/25
改 善 効 果 の 検 定 プロセス 実 績 ベースラインとプロジェクトの 実 績 に 差 があるか 2つの 分 布 の 平 均 値 に 差 があるかどうかを 調 べる 作 り 込 み 欠 陥 の 比 較 の 場 合 プロジェクト < プロセス 実 績 ベースラインであれば 改 善 されていると 言 える 1. 分 散 の 検 定 (F 検 定 )を 行 う 2. 分 散 が 等 しい 等 分 散 の 平 均 値 の 検 定 (Studentのt 検 定 ) 分 散 が 等 しくない 不 等 分 散 の 平 均 値 の 検 定 (Welchのt 検 定 ) 3. 平 均 値 に 差 があると 言 えない 改 善 されていると 言 えない 平 均 値 が 差 がある プロジェクトの 実 績 < 組 織 の 実 績 改 善 されている プロジェクトの 実 績 > 組 織 の 実 績 改 善 されていない P.17/25
改 善 効 果 の 検 定 の 手 順 化 改 善 活 動 は 各 プロジェクトで 行 われる 途 中 結 果 の 効 果 の 検 定 など 頻 繁 に 行 う 必 ずしも 統 計 に 詳 しいわけではなく 時 間 もない 簡 単 に 改 善 効 果 の 検 定 を 行 えるツールが 必 要 Excelで 実 装 ExcelにはF 検 定 (FTEST) t 検 定 (TTEST)がある 組 織 の 実 績 ベースラインを 埋 め 込 み P.18/25
改 善 効 果 検 定 Excelシート P.19/25
改 善 効 果 検 定 Excelシートの 利 用 (1) 1. プロジェクトの 実 績 値 をExcelシートにコピー 対 数 正 規 分 布 用 の 計 算 式 はシートに 記 述 済 み 2. シート 名 と 列 を 指 定 プロセス 実 績 ベースラインはシートに 含 まれ 選 択 するだけ P.20/25
改 善 効 果 検 定 Excelシートの 利 用 (2) 検 定 結 果 が 自 動 計 算 される 結 果 は 平 均 値 に 差 があると 言 えない 分 布 1の 方 が 大 きい 分 布 2の 方 が 大 きい の3 通 り 作 り 込 み 欠 陥 の 分 析 の 場 合 分 布 1(プロセス 実 績 ベースライン) > 分 布 2(プロジェクト) 改 善 されている P.21/25
改 善 効 果 の 検 定 の 事 例 各 プロジェクトで 行 われた 改 善 活 動 の 結 果 を 検 定 改 善 グループ A B C D 結 果 改 善 されていると 言 えない 改 善 されている 改 善 されている 改 善 されていると 言 えない B Cの 取 り 組 みをさらに 決 定 分 析 し 1つ(デシジョンテーブルの 利 用 )を 採 用 試 行 評 価 基 準 : 作 込 欠 陥 密 度 ( 平 均 最 頻 値 ) 不 良 率 ( 目 標 値 以 上 の 欠 陥 のある 割 合 ) 実 施 教 育 コスト アンケート 結 果 等 試 行 の 効 果 も 検 定 一 部 改 善 効 果 が 見 られないものがあったが さらなる 分 析 によりそれらはチーム 編 成 の 影 響 を 受 けていることが 判 明 P.22/25
検 定 の 標 準 化 各 プロジェクトで 改 善 効 果 の 検 定 が 行 えるよう 標 準 化 する 開 始 のための 条 件 検 定 手 法 の 説 明 検 定 Excelシートを 含 めたツールの 説 明 P.23/25
統 計 的 管 理 の 教 育 住 友 電 工 で 統 計 的 品 質 管 理 に 関 する 教 育 が 実 施 されている SQC 入 門 ( 主 として 工 場 の 品 質 管 理 向 け) SISにおいても 上 記 に 加 えて 以 下 を 実 施 ワーキンググループ 内 での 説 明 品 質 改 善 推 進 者 に 対 する 検 定 の 説 明 SIS 全 社 品 質 大 会 において プロセス 実 績 ベースライン 検 定 について 説 明 開 発 者 改 善 担 当 者 が 単 にツールとして 使 うだけでなく 背 景 と なる 統 計 知 識 についても 教 育 ツール 自 身 も 開 発 者 からの 提 案 で 改 善 されている P.24/25
まとめ 高 成 熟 度 のプロセス 領 域 では 統 計 的 な 検 定 が 必 要 となる 組 織 のプロセス 実 績 がどんな 傾 向 になるのか 各 プロジェクトの 品 質 改 善 活 動 は 効 果 があったのか 以 下 の 取 り 組 みを 実 施 プロセス 実 績 ベースラインの 分 布 の 推 定 と 検 定 正 規 分 布 を 仮 定 した 統 計 処 理 の 適 用 が 可 能 になった プロジェクトの 改 善 活 動 の 効 果 の 検 定 とツール 化 プロジェクトで 容 易 に 改 善 効 果 を 判 断 できるようになった 効 果 を 確 認 して 改 善 活 動 を 展 開 できるようになった P.25/25