いつどこをテスト自動化するべきか？

Transcription

1 アジェンダ いつどこを テスト 自 動 化 するべきか? 講 演 者 太 田 健 一 郎 (SHIFT) 永 松 康 能 (テルモ) 1. どうしたらテスト 自 動 化 を 成 功 させられるのか? 2. まず 何 から 始 めればよいのか? 3. どうやってテスト 自 動 化 するのか? 4. まとめ 5. 質 疑 応 答 2016 年 3 月 8 日 いきなりですが みなさんに 3つの 質 問 をします ちょっと 考 えてみてください テスト 自 動 化 の 成 功 とは 何 を 指 すでしょうか? テスト 自 動 化 の 目 的 とは 何 でしょうか? では 例 えば テスト 活 動 を 効 率 的 にすることが 目 的 だったとして 効 率 は 上 がったが 製 品 を 上 市 するには 至 らなかった 場 合 テスト 自 動 化 は 成 功 した と 言 えるでしょうか? 1

2 隣 の 人 と1 分 間 意 見 交 換 してください と 言 いたいところですが そうすると 収 拾 がつかなくなるので 意 見 は 一 致 しない(はず) メンバー 間 メンバーと 上 司 開 発 者 と 試 験 者 等 々 立 場 や 経 験 の 差 によって テスト 自 動 化 に 対 する 意 見 は 様 々なはずです ちなみに テスト 自 動 化 の 成 功 と 製 品 開 発 の 成 功 は 別 問 題 です とは 言 え 製 品 開 発 が 失 敗 しているのに テスト 自 動 化 が 成 功 したとは 言 い 難 いです テスト 自 動 化 が 成 功 しない 理 由 の 一 つは このような 認 識 の 相 違 にあるのではないでしょうか 太 田 さんは テスト 自 動 化 を 成 功 に 導 くために ステークホルダーと どうやって 意 識 合 わせ していますか? 2

3 1. そもそもなぜ 自 動 化 したいのかの 目 的 を 最 初 にヒアリ ングします 2. 半 分 くらいは 現 状 の 手 動 テストの 設 計 の 問 題 だったり します 次 の 話 です 3. その 場 合 自 動 化 の 前 にテスト 設 計 の 改 善 をお 勧 めし 弊 社 のプロフェッショナルに 委 譲 します 4. 問 題 を 自 動 化 で 解 決 出 来 ることを 合 意 したら 次 は 解 決 を 達 成 指 標 であるKPIを 決 め 合 意 します KPI 例 ROI テストの 実 行 時 間 後 工 程 での 障 害 の 発 見 率 私 が 過 去 に どのようなときに テスト 自 動 化 したくなったか 思 い 返 してみました 開 発 が 遅 れている テスト 期 間 を 短 縮 するしかない! それじゃ テスト 自 動 化 しよう!! 藁 にもすがる 思 いだったとき とか 前 回 はテスト 期 間 が 短 くて ひどい 目 にあった 今 回 は 最 初 からテスト 自 動 化 しよう! やる 気 がみなぎっていたとき とか でも 思 いとは 裏 腹 に 失 敗 しました なぜ? 3

4 何 をやりたいのか 自 分 たちで 深 く 考 えずに コンサルに 頼 って しまったためです 何 をやりたいのかは 自 分 たちでよく 考 える 一 方 どうやってそれを 実 現 するかは コンサルに 頼 ってもいいし 自 分 たちでやってもいい 太 田 さん 切 迫 している あるいはやる 気 だけはある 私 のような 人 とテスト 自 動 化 を 進 めるとしたら コンサルタントの 立 場 から どのようなアドバイス をしますか? 1. 本 当 に 今 自 動 化 が 最 適 な 解 決 策 であるか 一 緒 に 議 論 し ます 2. 決 済 を 握 っていたり 調 整 が 必 要 な 利 害 関 係 者 が 他 に いないか 確 認 します 3. 利 害 関 係 者 と 自 動 化 による 改 善 のKPIを 合 意 します 4. 最 初 から 一 気 に 領 域 を 広 げず 最 小 限 の 領 域 でトライ アルから 始 めることを 提 案 します どうしたらテスト 自 動 化 を 成 功 させられるのか?3 次 の 話 です どうしたらテスト 自 動 化 を 成 功 させられるのか?3 テスト 自 動 化 と 言 うと テスト 実 行 の 自 動 化 に 目 が いきがちですが 例 えば 毎 日 のテスト 進 捗 と 合 格 率 の 推 移 を 自 動 化 して 見 える 化 することも テスト 自 動 化 です 4

5 どうしたらテスト 自 動 化 を 成 功 させられるのか?3 どうしたらテスト 自 動 化 を 成 功 させられるのか?3 太 田 さん テスト 自 動 化 しやすい 活 動 には どのようなものが ありますか? 1. メンバーの 協 力 なものよりぼっちでも 改 善 効 果 が 高 い もの テスト 自 動 ではなく ビルド 自 動 化 ぼっちでやっても 時 間 短 縮 ミスの 低 減 が 高 いです 2. テスト 自 動 化 なら スモークテストスィート 作 りやすい 割 に 障 害 検 出 効 果 が 高 いです マネーパススィート テストが 失 敗 した 場 合 売 上 に 直 結 するパスなので 説 得 力 が 高 いです 不 具 合 駆 動 型 どこから 始 めるかが 分 かりやすいです 一 度 バグが 出 たところは 再 発 しやすいです ソフトウェアテストの7 原 則 : 欠 陥 の 偏 在 ここまでのまとめ1 テスト 自 動 化 の 前 にやっておくこと 1.テスト 自 動 化 の 目 的 を 明 確 にする 何 をやりたいのか 自 分 たちでよく 考 える 特 に 自 動 化 の 前 にやるべきことはないかよく 考 える コンサルに 入 ってもらい 一 緒 に 考 えるのもよい 2. 利 害 関 係 者 と 自 動 化 の 必 要 性 について 合 意 する 3. 自 動 化 することになったらKPIを 決 め 合 意 する 4. 最 初 から 欲 張 らず 最 小 限 の 領 域 でトライアルする ここまでのまとめ2 テスト 自 動 化 しやすい 箇 所 1.ぼっちでも 改 善 効 果 が 高 いもの ビルド 自 動 化 2. ROIが 高 いもの スモークテストスィート マネーパススィート 不 具 合 駆 動 型 まず 何 から 始 めればよいのか? まず 何 から 始 めればよいのか? 私 の 経 験 上 準 備 なしでテスト 自 動 化 しても 失 敗 します (1/3) 毎 日 のテスト 進 捗 と 合 格 率 の 推 移 を 見 える 化 する 仕 組 みを 考 える 当 たり 前 すぎますか? 5

6 まず 何 から 始 めればよいのか? まず 何 から 始 めればよいのか? (2/3) 不 具 合 をスクリーニングする 仕 組 みを 考 える (3/3) テストが 十 分 できていることを 示 すために テスト 分 析 / 設 計 方 法 を 確 立 する まず 何 から 始 めればよいのか? 太 田 回 答 太 田 さん テスト 自 動 化 前 に 取 り 組 むべき ことは 何 でしょうか? 1. 本 当 にテスト 自 動 化 が 最 善 の 策 なのかを 利 害 関 係 者 を 集 めて 確 認 しましょう 半 分 はテスト 設 計 など 他 の 問 題 です 2. テスト 自 動 化 の 前 に 現 在 の 手 動 テストで 改 善 できるこ とがないか 確 認 しましょう 3. 対 象 システムの 既 存 の 手 動 テストのエキスパートを 利 害 関 係 者 として 巻 き 込 みましょう 4. テスト 自 動 化 の 抵 抗 勢 力 がいないか 確 認 し 抵 抗 勢 力 も 仲 間 にする 改 善 案 としましょう 5. テスト 自 動 化 トライアルの 前 に 利 用 するツールについ て ある 程 度 調 査 かつ 慣 れておきましょう ここまでのまとめ3 テスト 自 動 化 前 に 取 り 組 むべきこと 1. 本 当 にテスト 自 動 化 が 最 善 の 策 か 利 害 関 係 者 と 確 認 する 2. 現 在 の 手 動 テストで 改 善 できないか 確 認 する 3.テスト 自 動 化 の 抵 抗 勢 力 も 仲 間 にする 改 善 案 を 考 え る 4.テスト 分 析 / 設 計 方 法 を 確 立 する 5.テスト 実 行 プロセスの 足 回 りの 仕 組 みを 確 立 する 6.テスト 自 動 化 トライアルの 前 に 利 用 するツールに 慣 れておく どうやってテスト 自 動 化 するのか? 書 籍 論 文 インターネットで 情 報 収 集 する 使 えそうなものが 見 つかったら 試 してみる 技 術 的 に 難 しそうなら 簡 単 な 手 段 に 切 り 替 えるか コンサルに 相 談 をする 6

7 どうやってテスト 自 動 化 するのか? どうやってテスト 自 動 化 するのか? 書 籍 論 文 インターネットの 一 例 書 籍 システムテスト 自 動 化 標 準 ガイドライン( 翔 泳 社 ) 論 文 /インターネット ソフトウェア 品 質 シンポジウム(SQiP) ソフトウェアテストシンポジウム(JaSST) テスト 自 動 化 研 究 会 太 田 さんは どうやってテスト 自 動 化 の 情 報 収 集 をしたり 実 践 したり していますか? どうやってテスト 自 動 化 するのか? ここまでのまとめ4 1. 洋 書 新 しい 技 術 分 野 でテストが 課 題 になりそうなもの テストに 役 立 ちそうなものを 目 次 レベルで 探 します コンテナ 技 術 並 行 テスト ビルドの 高 速 化 リアクティブ プログラミング テスト 技 術 が 未 開 拓 洋 書 の 方 が 和 書 より1 年 以 上 早 くまとまった 情 報 としてでて くるので Manning 等 をウオッチしています 2. インターネット InfoQなど 最 新 のツールや 手 法 アーキテクチャを 紹 介 する 記 事 を 読 んでツールを 使 ってみたりします 3. コミュニティー 全 く 知 らないツールや 困 っていることに 対 する 助 言 から 新 し いツールや 手 法 に 出 会 うことがあります 1.テスト 自 動 化 方 法 は 書 籍 等 で 情 報 収 集 できる ( 洋 書 は 和 書 よりも1 年 以 上 情 報 が 早 い ) 2. 使 えそうなものがあれば 試 してみる (InfoQなど 最 新 のツールや 手 法 アーキテク チャを 紹 介 する 記 事 を 読 んでツールを 試 す) 3. 技 術 的 に 難 しければ 簡 単 な 手 段 を 模 索 するか コンサルに 相 談 してみる 4.コミュニティーを 利 用 する ここまでのまとめ1 再 掲 テスト 自 動 化 の 前 にやっておくこと 1.テスト 自 動 化 の 目 的 を 明 確 にする 何 をやりたいのか 自 分 たちでよく 考 える 特 に 自 動 化 の 前 にやるべきことはないかよく 考 える コンサルに 入 ってもらい 一 緒 に 考 えるのもよい 2. 利 害 関 係 者 と 自 動 化 の 必 要 性 について 合 意 する 3. 自 動 化 することになったらKPIを 決 め 合 意 する 4. 最 初 から 欲 張 らず 最 小 限 の 領 域 でトライアルする ここまでのまとめ2 再 掲 テスト 自 動 化 しやすい 箇 所 1.ぼっちでも 改 善 効 果 が 高 いもの ビルド 自 動 化 2. ROIが 高 いもの スモークテストスィート マネーパススィート 不 具 合 駆 動 型 7

8 ここまでのまとめ3 再 掲 テスト 自 動 化 前 に 取 り 組 むべきこと 1. 本 当 にテスト 自 動 化 が 最 善 の 策 か 利 害 関 係 者 と 確 認 する 2. 現 在 の 手 動 テストで 改 善 できないか 確 認 する 3.テスト 自 動 化 の 抵 抗 勢 力 も 仲 間 にする 改 善 案 を 考 え る 4.テスト 分 析 / 設 計 方 法 を 確 立 する 5.テスト 実 行 プロセスの 足 回 りの 仕 組 みを 確 立 する 6.テスト 自 動 化 トライアルの 前 に 利 用 するツールに 慣 れておく ここまでのまとめ4 再 掲 1.テスト 自 動 化 方 法 は 書 籍 等 で 情 報 収 集 できる ( 洋 書 は 和 書 よりも1 年 以 上 情 報 が 早 い ) 2. 使 えそうなものがあれば 試 してみる (InfoQなど 最 新 のツールや 手 法 アーキテク チャを 紹 介 する 記 事 を 読 んでツールを 試 す) 3. 技 術 的 に 難 しければ 簡 単 な 手 段 を 模 索 するか コンサルに 相 談 してみる 4.コミュニティーを 利 用 する 質 疑 & 応 答 ご 清 聴 ありがとうございました 8