農業における深層学習の活用 Raspberry Piで実装するキュウリ選別システム #2018/08/31 SWEST20

Size: px

Start display at page:

Download "農業における深層学習の活用 Raspberry Piで実装するキュウリ選別システム #2018/08/31 SWEST20"

なおつまがみ
5 years ago
Views:

1 農業における深層学習の活用 Raspberry Piで実装するキュウリ選別システム #2018/08/31 SWEST20

2 ハウス栽培で年間を通してキュウリを栽培出荷ほ場面積0.4ha 家族経営

3 機械化されたと言われる近代農業だがまだまだ手作業が多い特に果菜類

4 農業の労働時間品目別１０Aあたりの労働時間 10aあたりの労働時間 h 農林水産省品目別経営統計 2007年よりピーマンきゅうりトマトミニトマト果菜類は手間がかかる機械化できていない大規模化もできない特に細かい作業が多い果菜類は労働時間が多い傾向がある

5 きゅうり栽培の労働時間きゅうり栽培における作業別の労働時間の割合農林水産省品目別経営統計 2007年より管理 19.2% 収穫 39.8% 出荷選別など２２１きゅうり農家の仕事の約1/5は出荷作業主に選別に割かれている出荷作業は頑張ったところで売上が大きく増えるわけではない

6 きゅうりの選別作業とは長さ太さ曲がり具合色などにより等級階級を分ける作業我が家では９等級に分類

7 なかなか難しい選別作業対象は自然物定量的な選別基準があるわけではない長年の経験主観生産者のこだわり習得に時間がかかる毎日同じ基準で分けている信頼作業者間での統一が重要特に品質の判断が難しい秀品 B品秀品 B品秀品 B品秀品 B品今まで熟練農家が行っていた判断と同等のことをコンピュータにやらせることはできないか

8 注目したのはディープラーニング世界的な画像認識コンペ ILSVRC2012 で圧勝中間層が７層のニューラルネットワーク画像認識能力では人間を超えた ILSVRC2012 task1 1000カテゴリの画像を分類するコンペ人工知能の未来人間の目の代わりとなる技術として注目されている

9 Convolutional Neural Network による画像認識画像認識 Image Recognition とは入力画像が何の画像かを推論する問題画像認識分野においてはConvolutional Neural Network CNN を用いたアルゴリズムが成果を出している入力猫が写った画像出力猫90%,犬9%,トラ1% MNIST Cifar10 ImageNetなど VGGNet ResNet SENet,DenseNet,... CNNを使ってきゅうり画像から等級を予測する５数字ができるなら CNNを使ってきゅうり画像から等級を予測する M

10 Convolutional Neural Networkとは顔画像を入力した時の例 VGG１６の中間層出力ミクロな特徴 W1,1 マクロな特徴 W2,1 教師データ 0.9 W2,2 W1,2 0.2 入力層中間層１層目中間層２層目中間層 N層目出力層顔 1.0 犬 0.0

11 試作１号機とにかくキュウリ画像で試してみよう試作１号機誕生 Webカメラをスタンドに固定上からキュウリの画像をとるハード Webカメラ Logicool C270 1,500円アルミのパイプ数百円結合パーツ３ Dプリンターで印刷数十円固定用ボルト数百円ソフトカメラ制御 OpenCV オープンソース機械学習 TensorFlow オープンソース制作期間 1週間制作費約3000円

12 深層学習はデータが重要とはいえ大量の良質な教師データが必要学習データが少ないと過学習により実際に使用する環境では精度がでないという問題があるとはいえ初めからコストをかけても試作１号機では 2475枚１クラスにつき275枚背景に白い厚紙なるべく位置を揃える

13 試してみた結果８０の正答率思ったよりいい結果だったおそらく教師画像 2475枚短期間データでの評価であったため置く位置を揃えたため

14 可能性が見えた試作２号機の開発開始試作１号機の結果からディープラーニングで選別ができそうな気がしてきたもっと人間の仕分けに近づけたいカメラの台数を増やしたら精度が上がるかも

15 撮影台の作成キュウリ画像を取得するための台カメラを上下横の３方向に設置しキュウリの全面を捉える照明を付けて明るさを一定にする

16 教師データ集め作ったキュウリ台で教師データとなる画像を撮影ラベル付けキュウリ１本につき上下横の３枚の画像を取得

17 教師データ集め集めた画像 8500組解像度 80x80x3 ラベル 10種類教師画像 7000組テスト用画像 1500組２ヶ月間ほどかかった

18 学習結果９１６の正答率教師画像 8500枚データを増やした効果カメラを増やした効果照明を追加した効果

19 ベルトコンベア作り判断したキュウリを指定の箱まで運ぶベルトコンベアがほしい AruduinoMicro を使って制御

20 完成

21 RaspberryPiを使って実装学習は上手く行った次は実際に現場に持ち込む農作業現場は屋外壊れてもダメージが少ないラズパイ使おうラズパイ遅いクラウド使おう IoT万歳

22 試作２号機

23 試作２号機完成お蔵入り遅いしキュウリに傷が付くから使えんな認識部分はいい感触しかしまだまだ実用には程遠い

現場で動かしてみて分かったこと作業場での使用を考えると毎回画像をアップロードするのは厳しい

汚れにより精度が落ちる成長時期や季節ごとに作物の出来が異なる出来始め太め後半細め季節によるばらつき

24 現場で動かしてみて分かったこと作業場での使用を考えると毎回画像をアップロードするのは厳しい設置環境による外乱が厳しい気軽にインターネットに繋げない環境が多いテザリングしてたレイテンシの問題人間並みの判断速度 500ms程を目指そうとするときネックになる通信費が午前中に仕分けをすると認識精度が落ちる約 90% 約70%ほど西日が差し込むと使えなくなる汚れにより精度が落ちる成長時期や季節ごとに作物の出来が異なる出来始め太め後半細め季節によるばらつき農業現場で使うとなると照明設計などハードウェア含めた設計が重要画像認識系はエッジ側で動かしたい使えば汚れてくる成長時期や季節による果実形状の偏りに対応が必要作業現場はガレージということが分かった

25 ３号機の開発着手開発コンセプトの変更 AIによる自動化 AIのサポートによる効率化

26 テーブル型キュウリ選別システム

27 システム構成主な使用ソフトウェア TensorFlow v1.1.0 OpenCV 2.4 Kivy 1.8.0

28 ニューラルネットワーク構成 5層の畳み込みニューラルネットワーク前回から変えたところ画像に加えキュウリの長さ表面積太さの数値を入力等級判定のキャリブレーションのため SPP Spatial Pyramid Pooling [1] 認識精度向上画像変形に対するロバスト性向上活性化関数にかける前に Batch Normalization[2]で正規化活性化関数 Relu 最適化関数 Adam [1] Kaiming He, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition [2]Sergey loffe, et al. Batch Normalization: Acceleratiing Deep Network Training by Reducing internal Covarizate Shift

29 判定のキャリブレーション収穫時期により収穫できるキュウリの太さの傾向が異なる取れ始めのころは全体的に太め徐々に細長くなる熟練者作業者は全体の傾向を見極め等級判断基準を調整している買い手にとっては基準が一定であることよりもとにかく仕分けされた荷が欲しい通常時取れ始め時 B大太さ 2L B中 L 2L B中 B大 L 太さ M M 長さ長さ基準が上にずれる

30 判定のキャリブレーション収穫時期により収穫できるキュウリの太さの傾向が異なる取れ始めのころは全体的に太め徐々に細長くなる熟練者作業者は全体の傾向を見極め等級判断基準を調整している買い手にとっては基準が一定であることよりもとにかく仕分けされた荷が欲しい通常時取れ始め時 B大 B大太さ 2L B中 L 経験からの知識に基づき太無理やりデータを調整するさ 2L B中 L M M 長さ長さ基準が上にずれる

31 判定のキャリブレーションニューラルネットワークへの入力を調整上手く行けば品種の違いや農家ごとの判定基準の違いなどにも対応できる判定運用時学習時教師データ通常時誤差逆伝搬法画像長さ太さ表面積 USB カメラニューラルネットワーク画像長さ太さニューラルネットワーク等級表面積キャリブレーション値意図した等級になるよう調整

32 教師データ集め集めた画像 36,000枚解像度 72x24x3 ラベル 9種類教師画像 28,000組テスト用画像 8,000枚 1ヶ月間ほどかかった機械学習を使った手法はデータの前提条件カメラの向きなどが変わると取り直しになるコスト高すぎね

33 画像処理でテーブル上のキュウリを検出マーカー座標検出射影変換輪郭抽出キュウリ画像切り出し背景などキュウリ以外はなるべく減らす背景を白くバックライトして形がくっきり見えるようにする

34 学習結果７９４の認識率おそらくカメラの数を減らした影響か 91.6% 79.4%に下がったラズパイでの処理速度を考慮して画像解像度を落とした高解像度であれば約９０を確認

35 実務で使うまでになったラズパイだけで４本を約１秒ほどで判定仕分けスピードが１４倍になった熟練者のスピードにはまだ敵わないまぁこれなら使えるか一応ボスのOKをもらい実業務で使ってるしばらく使ってみるとまた色々問題が絶賛改良中

36 実環境での評価収穫初期の一番形状が安定しない時期の結果ですが M,S,2S,B中,B小,Cのキュウリ851本の判定結果正答率７３３設置環境による外乱の影響で正答率は７割ほどに低下

37 判定のキャリブレーション選別作業を開始するまえにコントロールパネル上のつまみで調整する長さー20 ２０太さー20 ２０

38 実際に使っている様子

39 キャリブレーションの様子テスト画像を使って M等級110本に対し長さのキャリブレーション %を行った際の NN判定等級数の変化 B 中 M B 小 L M L ２L 2L 期待通りの動きになっていることが確認できた

40 データ数と正答率画像数 32,000枚正答率 77% 正答率どんどんコスパが悪くなる品種を変えたらやり直しのリスク学習に使用した画像数

41 推論処理速度の向上個人でも買える推論を高速に行うためのデバイスが増えてきた NVIDIA Jetsonモジュール Google AIY Vison Kit Vison bonnet Google Edge TPU Intel Movidius NCS

42 役に立つ場面は多いと思う完璧正答率100% な認識精度を目指すのはそもそも無理品質保証できないし認識間違いがあることを前提に考える画像処理のプロフェッショナルじゃなくてもある程度の精度を出せる可能性大非専門家こそ活用すべき技術ただし範囲を絞って小さく初めることが重要本来は高コストになりがち現状は多少認識間違えがあったとしてもあったほうが助かるという場所を見つけるとディープラーニングをスムーズに導入できそう

43 まとめ仕分けノウハウの永続化再利用画像処理の専門知識がなくてもできる人間の判断をそのままコンピュータに置き換えることができるコンピュータを介してノウハウを保存伝えることができる今までの伝承人人これから人 AI AI 人データを集めるだけで問題を解決できる AIを作ることができるかもしれないプログラム不要で使えるツールが増えた AutoML Neural Network Consoleなどエッジ推論デバイスを使えば速度も実用レベルに学習はクラウド実行はエッジというパターンが増えそう再学習など運用をどうするかが課題キュウリの品質UP 収量UP

自己紹介小池誠静岡県できゅうり農家をやってます作付面積0.4ha 家族経営の小規模農家以前は自動車関連のエンジニアを７年やってました C言語制御ECUのソフトウェア開発趣味ものづくり MashupAward MakerFaireとかに出没キュウリ選果機作ってます Interface

自己紹介小池誠静岡県できゅうり農家をやってます作付面積0.4ha 家族経営の小規模農家以前は自動車関連のエンジニアを７年やってました C言語制御ECUのソフトウェア開発趣味ものづくり MashupAward MakerFaireとかに出没キュウリ選果機作ってます Interface ディープラーニングを用いたキュウリ選果機の開発 2017/09/19 AITC成果発表会自己紹介小池誠静岡県できゅうり農家をやってます作付面積0.4ha 家族経営の小規模農家以前は自動車関連のエンジニアを７年やってました C言語制御ECUのソフトウェア開発趣味ものづくり MashupAward MakerFaireとかに出没キュウリ選果機作ってます Interfaceに作り方執筆