An introduction and future of Ruby coverage library

Size: px

Start display at page:

Download "An introduction and future of Ruby coverage library"

るるみおえづか
4 years ago
Views:

1 Ruby のテストカバレッジ測定機能の改良と展望クックパッド株式会社遠藤侑介 RubyWorld Conference 2017 (2017/11/01)

2 発表概要発表内容カバレッジとはカバレッジとの付き合い方 Ruby でのカバレッジ測定方法クックパッドでのカバレッジ利用事例発表者についてフルタイム Ruby コミッタ Cookpad Ruby プログラムの堅牢性を上げたいカバレッジから

3 発表概要カバレッジとはカバレッジとの付き合い方 Rubyでのカバレッジ測定方法クックパッドでのカバレッジ利用事例まとめ

4 カバレッジとはテストの良さを測る指標コードカバレッジテストカバレッジともカバレッジを測定する効果テストされていないコードがわかるテストの度合いを見積もれる Ruby ではカバレッジが極めて重要現時点でテスト以外の検証手段が事実上ない Ruby 1.9 からカバレッジ測定機能を標準実装している発表者が開発メンテナンス中

5 カバレッジの種類関数カバレッジ行カバレッジ分岐カバレッジ他にも条件カバレッジパスカバレッジなど

6 関数カバレッジテストで実行された関数の割合 # code def foo; ; # def bar; ; # def baz; ; # # test foo baz 2/3 (67%) わかりやすい可視化しやすい指標としては弱い

7 行カバレッジテストで実行された行の割合 # code def foo(x) if x == 0 p :foo else p :bar # test foo(1) # # # # 意味のない行は無視される 3/4 (75%) わかりやすい可視化しやすい指標としてはまだ弱い foo() if x == 0

8 分岐カバレッジ真と偽の両方にジャンプした分岐の割合 # code def foo(x) p :foo if x == 0 # p :bar if x < 2 # # test foo(0) foo(1) 真の場合と偽の場合の両方が実行された 1/2 (50%) わりと網羅的可視化が難しい

9 カバレッジの種類と Ruby の対応状況わかりやすさ可視化のしやすさ関数カバレッジ行カバレッジ分岐カバレッジ網羅性 Ruby 2.4 以下で測定できるかユーザが実装可能組み込みサポート測定不可

10 カバレッジの種類と Ruby の対応状況わかりやすさ可視化のしやすさ関数カバレッジ行カバレッジ分岐カバレッジ網羅性 Ruby 2.4 以下で測定できるか Ruby 2.5 で測定できるか Ruby 2.5 は関数分岐カバレッジを標準サポート予定 ( 開発版で実装済み )

11 発表概要カバレッジとはカバレッジとの付き合い方 Rubyでのカバレッジ測定方法クックパッドでのカバレッジ利用事例まとめ

12 良いテストとはコードに対して網羅的カバレッジで測れる仕様に対して網羅的カバレッジで測れない

13 具体例計算をする関数とテストを書いた # code def calculate(type, a, b) case type when "+" then a + b when "-" then a b # test calculate("+", 3, 4) #=> 7

14 具体例計算をする関数とテストを書いた分岐カバレッジを測定したテスト不足判明 # code def calculate(type, a, b) case type when "+" then a + b when "-" then a b # test calculate("+", 3, 4) #=> 7

15 具体例計算をする関数とテストを書いた分岐カバレッジを測定したテスト不足判明テストを追加したカバレッジ 100% # code def calculate(type, a, b) case type when "+" then a + b when "-" then a b # test calculate("+", 3, 4) #=> 7 calculate("-", 4, 3) #=> 1

16 具体例計算をする関数とテストを書いた分岐カバレッジを測定したテスト不足判明テストを追加したカバレッジ 100% 仕様で掛け算も要求されてた # code def calculate(type, a, b) case type when "+" then a + b when "-" then a b # test calculate("+", 3, 4) #=> 7 calculate("-", 4, 3) #=> 1

17 具体例計算をする関数とテストを書いた分岐カバレッジを測定したテスト不足判明テストを追加したカバレッジ 100% 仕様で掛け算も要求されてた # code def calculate(type, a, b) case type when "+" then a + b when "-" then a b when "*" then a * b # test calculate("+", 3, 4) #=> 7 calculate("-", 4, 3) #=> 1 calculate("*", 2, 3) #=> 6

18 どうすればよかったか計算をする関数とテストを書いた分岐カバレッジを測定したテスト不足判明この時点で焦ってテストを書き足すのではなくどういう観点が不足していたかを考える # code def calculate(type, a, b) case type when "+" then a + b when "-" then a b # test calculate("+", 3, 4) #=> 7

19 カバレッジとの付き合い方カバレッジは考えるきっかけとして使うテスト不足のモジュールコードを見てテストコードに不足していた観点を考えるカバレッジは目標や管理ツールではないカバレッジ 90% 以上が必達目標! などというと開発者は安易なテスト追加をしてしまう安易なテストも無いよりマシだが考えるきっかけを失う

20 発表概要カバレッジとはカバレッジとの付き合い方 Ruby でのカバレッジ測定方法クックパッドでのカバレッジ利用事例まとめ

21 Ruby でのカバレッジ測定方法 Ruby 組み込みカバレッジ測定機能を使う方法 coverage.so: 発表者が実装した標準ライブラリ Ruby 2.5 では関数分岐カバレッジも測定できる SimpleCov を使う方法 ( 本日紹介 ) 広く普及している coverage.so のラッパ Ruby 2.4 でも動作する現時点では行カバレッジのみ ( 将来的に関数分岐カバレッジもサポート予定 )

22 例コードとテストを書く code.rb def calculate(type, a, b) case type when "+" then a + b when "-" then a b code_spec.rb require "./code" describe " 計算 " do it "3 + 4 は 7 になること " do expect(calculate("+", 3, 4)).to eq 7

23 例コードとテストを書く spec_helper.rb を右のように書く必ずファイル先頭に書き足す.rspec ファイルも用意する code.rb def calculate(type, a, b) case type when "+" then a + b when "-" then a b code_spec.rb require "./code" describe " 計算 " do it "3 + 4 は 7 になること " do expect(calculate("+", 3, 4)).to eq 7 spec_helper.rb require "simplecov" SimpleCov.start.rspec --require./spec_helper

24 例 : 実行 $ rspec code_spec.rb. Finished in seconds (files took seconds to load) 1 example, 0 failures Coverage report generated for RSpec to /home/mame/tmp/coverage. 7 / 8 LOC (87.5%) covered.

25 例 : カバレッジの確認 ( 俯瞰 )

26 例 : カバレッジの確認 ( ファイル )

27 発表概要カバレッジとはカバレッジとの付き合い方 Rubyでのカバレッジ測定方法クックパッドでのカバレッジ利用事例まとめ

28 クックパッドのサービス規模レシピ数 :270 万品以上月次利用者数 : 約 6000 万人対応言語 :21 言語 67ヶ国海外の月次利用者数 :3000 万人以上プレミアム会員数 :190 万人以上

クックパッドのプログラム規模世界でも有数の巨大 Rails アプリ https://speakerdeck.

29 クックパッドのプログラム規模世界でも有数の巨大 Rails アプリ the-recipe-for-the-worlds-largest-rails-monolith

31 クックパッドのサービスのテスト 1 台の PC ではテスト実行に 2 日半並列テスト実行システム (RRRSpec) で 10 分弱 RRRSpec master RRRSpec slave spec 実行 spec 実行 spec RRRSpec slave spec 実行 spec 実行 spec RRRSpec slave spec 実行 spec 実行 spec

32 カバレッジ測定 SimpleCov は独自並列実行を想定していない coverage.so で直接測定集計したカバレッジ可視化ツール LCOV RRRSpec master カバレッジ集計サーバカバレッジデータ RRRSpec slave spec 実行 spec 実行 spec RRRSpec slave spec 実行 spec 実行 spec RRRSpec slave spec 実行 spec 実行 spec

33 カバレッジ集計結果 Lines LOC クラス数メソッド数関数 Cov. 行 Cov. Controllers は非常によくテストされているそれ以外は改善の余地がありそう ( 既に不要なコードもあるので一概には言えないが ) 分岐 Cov. Controllers % 90% 73% Helpers % 73% 55% Models % 79% 52% Mailers % 65% 35% Workers % 87% 50% Chanko units % 57% 31% Libraries % 69% 45%

34 カバレッジの分析例 (1) RecipeController#show この unless 文の中身が実行されたことがないメソッド先頭で同じ条件をチェック済みだった不要なコードを発見できた事後検証 : 先頭のチェックがあとから追加された

35 カバレッジの分析例 (2) レシピのモデルこのあたりのメソッド群だけカバーされていない現在はどこからも使われていないと判明不要なコードを発見できた

36 カバレッジ分析の考察事前知識なしでコードの改善点を発見できた半日程度の分析で数カ所を発見した発表者はクックパッドのソースコードだけでなく Rails の知識もほぼ持たない

37 発表概要カバレッジとはカバレッジとの付き合い方 Rubyでのカバレッジ測定方法クックパッドでのカバレッジ利用事例まとめ

38 まとめカバレッジとは何か : テストの良さを測る指標 Ruby 2.4 で測定できる行カバレッジ Ruby 2.5 で測定できる行関数分岐カバレッジカバレッジとの付き合い方 : 考えるきっかけ目標や管理ツールとして使わない Ruby でのカバレッジ測定方法クックパッドの Rails アプリでカバレッジ利用事例簡単な分析事例を紹介した

目次 1. Serverspec とは 1.1. Serverspecとは 1.2. Serverspecで出来る事 2. セットアップ 2.1. 必要なもの 2.2. インストール 3. デモ 3.1. デモ環境について 3.2. テスト対象サーバーの登録 3.3. サンプルテストの中身 3.4.

Serverspec でインフラテスト 2018 年 4 月 20 日株式会社フルマークス大久保和彦目次 1. Serverspec とは 1.1. Serverspecとは 1.2. Serverspecで出来る事 2. セットアップ 2.1. 必要なもの 2.2. インストール 3. デモ 3.1. デモ環境について 3.2. テスト対象サーバーの登録 3.3. サンプルテストの中身 3.4.