テスト 自 動 化 を 現 場 に 普 及 する ための 組 織 的 な 取 り 組 み インテック 吉 田 麻 紀 SPI Japan 2013-2013 年 10 月 17 日
企 業 概 要 1 基 礎 データ 本 社 所 在 地 設 立 日 富 山 県 富 山 市 ( 本 社 ) 東 京 都 江 東 区 ( 東 京 本 社 ) 1964 年 1 月 11 日 資 本 金 208 億 30 百 万 円 (2013 年 4 月 1 日 現 在 ) 売 上 高 929 億 20 百 万 円 (2012 年 3 月 期 ) 経 常 利 益 35 億 80 百 万 円 (2012 年 3 月 期 ) 従 業 員 数 3,742 名 (2013 年 4 月 1 日 現 在 ) 代 表 取 締 役 社 長 滝 澤 光 樹 特 長 ITのトータルカンパニー (コンサルから 運 用 保 守 までのワンストップサービス) 安 心 のアウトソーシング ( 豊 富 なデータセンター ネットワーク 運 用 実 績 ) 完 全 マルチベンダー ( 独 立 系 企 業 の 強 みを 生 かした 自 由 度 の 高 いサービス) コンピュータ ユーティリティの 実 現 ( いつでも どこでも 誰 にでも を 目 指 して) 先 用 後 利 の 精 神 ( 富 山 の 薬 売 りから サービスが 先 利 益 は 後 )
組 織 の 紹 介 社 長 本 社 スタッフ 先 端 技 術 研 究 所 技 術 部 生 産 技 術 カテゴリ 公 共 ソリューション 事 業 本 部 第 一 金 融 ソリューション 事 業 本 部 金 融 ソリューションサービス 事 業 本 部 ビジネスソリューション 事 業 本 部 SI 事 業 本 部 ネットワーク&アウトソーシング 事 業 本 部 NSG 事 業 本 部 行 政 システム 事 業 本 部 首 都 圏 地 区 本 部 中 部 地 区 本 部 西 日 本 地 区 本 部 北 陸 地 区 本 部 札 幌 仙 台 新 潟 各 センター 技 術 戦 略 の 策 定 と 周 知 生 産 技 術 の 導 入 と 普 及 品 質 保 証 技 術 の 導 入 と 普 及 標 準 化 推 進 技 術 職 教 育 など ソフトウェア 生 産 技 術 の 研 究 開 発 事 業 別 地 区 別 2 インテック 上 海 武 漢 ほか 開 発 部 隊 を 保 有 する 本 部 のみ
本 日 のお 話 テスト 自 動 化 の 背 景 と 経 緯 テスト 自 動 化 の 導 入 普 及 を 阻 む 壁 や 罠 現 場 に 普 及 するための 組 織 的 な 取 り 組 み 成 果 と 課 題 対 象 フェーズ テストタイプ 構 造 テスト 機 能 テスト 非 機 能 性 能 テスト 脆 弱 性 単 体 テスト 結 合 テスト プロジェクト 判 断 xunit 静 的 解 析 など システム テスト 今 回 の 対 象 範 囲 負 荷 テストツール(SilkPerformer)の 標 準 ツール 化 (2005 年 ~) 脆 弱 性 検 証 ツール(FortifySCA)の 標 準 ツール 化 (2009 年 ~) アプリ 保 守 ( 回 帰 テスト) 3
背 景 :なぜテスト 自 動 化 なのか IT 技 術 の 進 化 と 多 様 化 によりテスト 工 数 負 荷 は 拡 大 スマートフォンやタブレット 型 端 末 など 様 々な 機 種 が 登 場 OSやブラウザの 組 合 せ バージョンアップ 頻 度 の 増 加 ビジネスや 技 術 革 新 のスピードの 加 速 高 速 開 発 デリバリと 品 質 確 保 の 両 立 短 期 間 に 相 当 量 の 回 帰 テストを 行 うためのテスト 生 産 性 向 上 人 為 的 なミスや 漏 れ 技 術 者 モチベーションの 低 下 テストの 操 作 や 結 果 検 証 が 属 人 的 になりがちでミスや 漏 れが 起 こり 易 い 単 調 で 時 間 がかかる 業 務 であり 技 術 者 のモチベーションが 低 下 しがち テスト 工 数 負 荷 は 急 拡 大 しており これまで 通 りの 手 動 テストでは 何 れ 対 応 が 困 難 になる テスト 自 動 化 技 術 を 多 くの 現 場 に 広 く 普 及 したい 4
テスト 自 動 化 の 取 り 組 みの 経 緯 2011 年 からテスト 自 動 化 の 研 究 開 発 および 試 行 実 施 - クラウドベースのテスト 自 動 化 環 境 TaaS の 研 究 開 発 - 社 内 情 報 システム 保 守 業 務 の 回 帰 テストの 自 動 化 試 行 - SIプロジェクトにおいてクロスブラウザテストの 自 動 化 試 行 試 行 振 り 返 りで 明 らかになった 課 題 に 対 応 社 内 展 開 中 2010 2011 2012 2013 5 自 動 化 ツール 導 入 検 討 現 状 診 断 活 動 連 携 社 内 システム 保 守 業 務 で 回 帰 テスト 試 行 テスト 設 計 の 標 準 化 テスト 設 計 ガイド テスト 管 理 ルール 研 修 教 材 自 動 テスト 環 境 TaaSの 研 究 開 発 ( 先 端 技 術 研 究 所 ) *Selenium 機 能 テストの 自 動 化 テスト 設 計 研 修 活 動 一 体 化 SI 案 件 の クロスブラウザ テストで 試 行 試 行 振 り 返 り 社 課 内 展 開 題 対 応 自 動 化 導 入 ガイド テストプロセス TaaSマニュアル 等 パッケージ サービス SI オンサイト TaaS 社 内 クラウド 化 本 番 利 用
振 り 返 り:テスト 自 動 化 がなぜ 進 まないのか テスト 自 動 化 の 導 入 展 開 フェーズ 自 動 化 の 導 入 判 断 自 動 化 準 備 自 動 化 導 入 自 動 化 実 行 社 内 展 開 知 識 や 経 験 の 壁 テスト 標 準 化 の 壁 テスト 設 計 の 曖 昧 さや 属 人 性 テストの 抜 け 漏 れ テスト 不 足 テスト 自 動 化 の 情 報 不 足 誤 解 過 度 な 期 待 ツールの 知 識 経 験 コスト 自 動 化 ツールの 罠 組 織 や 人 の 壁 組 織 の 技 術 レベルや 経 験 変 わることに 対 する 不 安 や 心 配 テストスクリプトの 作 業 負 荷 わかりにくさ 属 人 化 過 剰 な 自 動 化 テスト 自 動 化 の 導 入 普 及 を 阻 む 壁 と 罠 6
テスト 自 動 化 の 導 入 普 及 を 阻 む 壁 と 罠 知 識 と 経 験 の 壁 興 味 はあるが 何 から 始 めればよいか 分 からない! ツールが 高 い/ 難 しくて 手 が 出 せない! 必 要 なことはわかるがなかなか 踏 み 切 れない 使 ってみたいけど 自 分 達 だけで 導 入 するのは 難 しいなぁ 調 達 コストや 環 境 構 築 の 手 間 が なければ 導 入 しやすいんだけどなぁ 社 内 での 利 用 実 績 やノウハウが あるとさらにいいなぁ 7
テスト 自 動 化 の 導 入 普 及 を 阻 む 壁 と 罠 テスト 標 準 化 の 壁 テスト 設 計 が 曖 昧 属 人 的 で 自 動 化 するのに 手 間 がかかる - 実 施 手 順 テストデータ テスト 結 果 が 書 かれていない - テストケースの 粒 度 が 異 なる そもそもテスト 設 計 に 抜 け 漏 れや 重 複 が 多 い 担 当 者 毎 にテスト 仕 様 書 の 書 き 方 が バラバラで 必 要 な 情 報 も 書 かれていない テスト 設 計 を 見 直 したため 時 間 がかかった テスト 仕 様 書 テスト 実 施 手 順 テストデータ テスト 結 果 事 前 にテスト 設 計 の 観 点 や 粒 度 を 合 わせておく 必 要 があるな 8 テスト 粒 度
テスト 自 動 化 の 導 入 普 及 を 阻 む 壁 と 罠 自 動 化 ツールの 罠 スクリプト 作 成 のコツをつかむまで 時 間 がかかる スクリプトが 属 人 的 でレビューや 保 守 が 大 変 再 利 用 もできない なんでも 自 動 化 しすぎてかえって 時 間 がかかる スクリプトがわかりにくく メンテナンスに 時 間 がかかった 誰 でも 同 じようなスクリプト が 作 れるといいんだけど スクリプトの 学 習 / 作 成 工 数 をな んとか 減 らせないかなぁ スクリプトの 学 習 / 作 成 に 時 間 がかかり かえって 工 数 が 膨 らんでしまった 9
テスト 自 動 化 の 導 入 普 及 を 阻 む 壁 と 罠 組 織 や 人 の 壁 ( 技 術 やる 気 文 化 など) 組 織 の 技 術 レベルや 文 化 リーダの 改 善 意 欲 などさまざま 一 部 のプロジェクトで 上 手 くいっても 自 然 には 広 まらない 多 くは 従 来 のやり 方 からなかなか 抜 け 出 せない 良 いと 分 かっているけど 今 のやり 方 でも 問 題 ない 自 動 化 に 関 する 知 識 や 実 績 ノウハウが 全 社 的 に 浸 透 すれば 導 入 へのハードルが 下 がるんだ けどなぁ 上 長 の 理 解 が 得 られないと 導 入 も しづらい 1つのプロジェクトの 成 功 を 全 社 で 共 有 する 仕 組 みが 弱 い 10
問 題 点 と 解 決 策 ~ 現 場 普 及 のための 組 織 的 な 取 り 組 み 知 識 や 経 験 の 壁 テスト 標 準 化 の 壁 自 動 化 ツールの 罠 自 動 テスト 環 境 の 社 内 クラウド 化 全 国 各 拠 点 からいつでも 誰 でも 使 える プロジェクトのコスト 負 担 軽 減 テスト 自 動 化 プロセスの 標 準 化 テスト 仕 様 の 曖 昧 さや 属 人 性 の 排 除 テストスクリプトジェネレータの 有 効 活 用 11 組 織 や 人 の 壁 全 社 戦 略 に 基 づく 普 及 推 進 支 援 体 制 ( 技 術 やる 気 文 化 など) トップダウンによる 推 進 全 社 推 進 支 援 体 制 の 整 備 オフショアの 活 用 ( 専 門 組 織 化 )
自 動 テスト 環 境 の 社 内 クラウド 化 (TaaS) 社 内 クラウド 化 のメリット 全 国 の 拠 点 から 自 動 テスト 環 境 をすぐに 利 用 可 能 全 社 でツールを 共 有 し プロジェクトの 費 用 負 担 を 軽 減 ツール 利 用 技 術 やノウハウも 全 社 で 共 有 オフショア ( 上 海 武 漢 大 連 ) 業 務 プロセス 標 準 IP3 自 動 化 ツール 拡 充 プロセスとの 連 動 社 内 各 拠 点 グループ 会 社 定 量 品 質 管 理 ツール スマート 端 末 アプリ 開 発 環 境 SPeeDy コード 生 成 ツール ALMテンプレート ( 構 成 管 理,ビルド 管 理, 静 的 解 析 ) 自 動 テスト 環 境 TaaS 静 的 テスト 環 境 FindBugs/VS2010 等 ナレッジシステム TAKUMU 脆 弱 性 検 証 環 境 Fortify 負 荷 テスト 環 境 SilkPerformer ナレッジ IBIS-Net お 客 さま/パートナー ClosedNet Internet 12 仮 想 サーバ 環 境 / 仮 想 デスクトップ 環 境 共 通 開 発 基 盤 ezplatform
TaaS(Test as a Service) TaaS: 自 動 テストツールを 補 い より 簡 単 に 使 える 環 境 テストスクリプトジェネレータ( 後 述 ) スケジュール 指 定 によるテストの 自 動 実 行 クロスブラウザテスト 環 境 ( 複 数 のOSやブラウザの 組 合 せ)を 準 備 テスト 実 行 時 のブラウザ 画 面 を 簡 単 に 取 得 し 比 較 表 示 クロスブラウザ 環 境 テスト 自 動 化 環 境 Selenium テストスクリプト ジェネレータ IE,Firefox,Chrome,Safari SilkTest Windows,Android,MacOS テスト 対 象 アプリケーション 実 行 結 果 実 行 指 示 テストスクリプト テスト 仕 様 TaaS on ezplatform TaaS Web テスト 実 行 管 理 テスト 結 果 管 理 ブラウザ 実 行 指 示 結 果 閲 覧 開 発 者 13
テスト 自 動 化 の 流 れと 標 準 化 社 内 標 準 にテスト 自 動 化 プロセスを 組 み 込 み 自 動 化 を 推 進 計 画 導 入 検 討 標 準 化 1テスト 自 動 化 導 入 ガイドの 作 成 テスト 自 動 化 の 基 礎 知 識 を 習 得 させる 設 計 計 画 策 定 テスト 設 計 診 断 標 準 化 2 自 動 化 適 性 診 断 の 実 施 自 動 化 の 適 性 を 判 断 し 不 必 要 な 自 動 化 をなくす 標 準 化 3テスト 設 計 研 修 の 実 施 テスト 設 計 の 考 え 方 をトレーニングし 仕 様 書 の 書 き 方 粒 度 を 統 一 する 実 行 評 価 スクリプト 作 成 テスト 実 行 メンテナンス 標 準 化 4テストスクリプトジェネレータの 開 発 テストスクリプトを 標 準 化 し スクリプトの 学 習 / 作 成 効 率 や 可 読 性 保 守 性 を 向 上 させる ノウハウ 事 例 標 準 化 5 全 社 共 通 DBにデータ 蓄 積 共 有 データ 分 析 評 価 ノウハウ 事 例 課 題 などを 共 有 し 改 善 を 図 る 14
テストスクリプトジェネレータの 活 用 テストスクリプトジェネレータ( 自 社 開 発 )の 効 果 テストスクリプト 言 語 の 専 門 知 識 が 不 要 (Excelへのキーワード 入 力 ) 可 読 性 が 増 すため ミスが 入 り 込 みにくい レビューや 修 正 も 容 易 テストスクリプトを 標 準 化 し 分 散 開 発 や 再 利 用 が 容 易 に 一 般 の 自 動 テストツール 1 編 集 3テスト 実 行 開 発 者 3 修 正 テストスクリプト テスト 実 行 環 境 テストスクリプト 言 語 の 習 得 に 時 間 がかかる スクリプトが 人 によってばらばらで 分 かりにくい レビューや 修 正 に 時 間 がかかる ルール 化 を 徹 底 しないと 再 利 用 や 分 散 開 発 が 困 難 テストスクリプト ジェネレータの 活 用 1 入 力 2 自 動 生 成 複 数 のテスト 自 動 化 ツールへの 対 応 他 の 自 動 化 ツールとの 連 動 など 拡 張 性 に 富 む 3テスト 実 行 開 発 者 4 修 正 テスト シナリオ シート テストスクリプト ジェネレータ テストスクリプト テスト 実 行 環 境 15
全 社 戦 略 に 基 づく 普 及 推 進 支 援 体 制 全 社 戦 略 の 下 一 定 の 強 制 力 をもった 推 進 と 支 援 体 制 各 本 部 : 本 部 内 プロジェクト 推 進 支 援 自 動 化 技 術 の 活 用 実 践 全 社 組 織 : 技 術 支 援 標 準 化 ノウハウ 蓄 積 共 有 TaaS 研 究 開 発 オフショア:テスト 自 動 化 請 負 技 術 支 援 順 次 展 開 首 都 圏 地 域 推 進 担 当 をおける 本 部 推 進 担 当 をおけない 本 部 首 都 圏 以 外 の 拠 点 Aプロジェクト 難 易 度 の 高 い プロジェクト 自 動 化 技 術 者 プロジェクト X 本 部 プロジェクト Y 本 部 プロジェクト 自 動 化 担 当 本 部 自 動 化 推 進 担 当 プロジェクト 自 動 化 担 当 16 全 社 推 進 支 援 組 織 ( 技 術 部 + 先 端 技 術 研 究 所 ) オフショア 子 会 社 ( 中 国 武 漢 ) 技 術 支 援 ノウハウ 蓄 積 共 有 標 準 化 TaaS 研 究 開 発 自 動 化 技 術 者 共 通 コミュニケーション 環 境 ( 社 内 SNS 掲 示 板 など) TaaS 利 用 ガイド 利 用 実 績 報 告 QA/ 改 善 要 望 コツ/ノウハウ 利 用 事 例 標 準 プロセスIP3 標 準 書 テンプレート ガイド
取 り 組 み 成 果 過 去 1 年 間 で10 数 件 の 試 行 適 用 実 績 課 題 洗 い 出 しと 対 応 比 較 的 簡 単 なクロスブラウザテストを 優 先 適 用 プ ロ ジ ェク ト 数 60 50 40 30 20 10 0 試 行 期 間 社 内 展 開 50( 計 画 ) 30 ( 計 画 ) 10 15 2012 年 下 半 期 2013 年 上 半 期 2013 年 下 半 期 2014 年 上 半 期 17 利 用 プロジェクトの 声 相 談 や 技 術 支 援 窓 口 があるので 初 めてでも 安 心 して 自 動 化 に 取 り 組 めた プロジェクト 側 でテスト 環 境 を 準 備 する 必 要 が 無 いのが 便 利 手 動 テストに 比 べて1/4の 工 数 でテストすることができた テストスクリプトの 作 成 負 荷 をもっと 減 らせるとよいのだが 推 進 支 援 担 当 者 の 声 TaaS 環 境 の 運 用 保 守 やプロジェクト 支 援 の 負 担 が 大 きい 技 術 者 不 足 難 易 度 の 高 いプロジェクトへの 適 用 では 苦 労 した
今 後 の 課 題 TaaS/テストスクリプトジェネレータの 機 能 強 化 - 現 場 の 意 見 をフィードバックし 継 続 的 に 改 良 - スクリプトジェネレータの 自 動 化 範 囲 の 拡 大 テスト 自 動 化 の 効 果 をどう 測 るか - コスト 時 間 品 質 オフショアやニアショアの 効 果 的 活 用 - 自 動 化 技 術 を 集 約 し 専 門 組 織 化 - 分 業 方 式 の 検 討 テスト 標 準 化 は 粘 り 強 く 継 続 - テスト 教 育 の 継 続 - 具 体 的 で 実 践 的 なテスト 設 計 ノウハウの ウ 蓄 積 と 共 有 18
まとめ 開 発 やデリバリの 高 速 化 と 品 質 を 両 立 するには テスト 自 動 化 技 術 の 活 用 は 避 けて 通 れない テスト 環 境 のクラウド 化 など 組 織 的 な 取 り 組 みにより テスト 自 動 化 のハードルを 下 げ 初 めてでも 簡 単 に 取 り 組 む ことを 可 能 にした さらに 多 くの 現 場 で 普 通 にテスト 自 動 化 が 行 われるようにな るには まだまだ 多 くの 課 題 が 残 されており 継 続 的 な 改 善 が 重 要 である 人 間 には 人 間 らしい 仕 事 をさせよ そのために 機 械 がある 土 光 敏 夫 19