Presentation Title

Size: px

Start display at page:

Download "Presentation Title"

いおりまるこ
4 years ago
Views:

1 外観検査のための画像処理ディープラーニングワークフローアプリケーションエンジニアリング部町田和也 2015 The MathWorks, Inc. 1

2 画像処理による外観検査の自動化目盛りを読む良否判定数や大きさの測定人が目で見て行う作業の置き換え文字認識ディープラーニングを使った判定 2

3 ディープラーニングの適用分野の広がり自動運転ロボティクス予知保全 ( 製造設備 ) セキュリティ様々な領域でディープラーニングはなくてはならないものに 3

4 外観検査のための画像処理ディープラーニングワークフローデータアクセスファイルアルゴリズム開発ネットワークの学習評価前処理アルゴリズム処理後処理システムへの展開実装クラウド連携ハードウェア Algorithm Development アプリケーションとして配布ネットワーク定義学習評価ソフトウェア組み込み実装 C/C++/Java など 4

5 外観検査のための画像処理ディープラーニングワークフロー Agenda 画像データへのアクセスアルゴリズム開発 / ネットワークの学習評価システムへの展開まとめ 5

6 画像データへのアクセスデータアクセスファイルアルゴリズム開発ネットワークの学習評価前処理アルゴリズム処理後処理システムへの展開実装クラウド連携ハードウェア Algorithm Development アプリケーションとして配布ネットワーク定義学習評価ソフトウェア組み込み実装 C/C++/Java など 6

7 MATLAB による画像データへのアクセス方法静止画ファイルからの読込み I = imread( xxx.jpg ); 動画ファイルからの読込み v = VideoReader( xxx.mp4 ); カメラ機器からの読込み I = snapshot(cam); Webカメラ cam = webcam; I = snapshot(cam); GigEカメラ cam = gigecam; I = snapshot(cam); 7

8 サポートされている静止画動画フォーマット imread() によりサポートされている静止画フォーマット BMP Windows ビットマップ CUR Cursor ファイル GIF Graphics Interchange Format HDF4 Hierarchical Data Format ICO Icon ファイル JPEG Joint Photographic Experts Group JPEG 2000 Joint Photographic Experts Group 2000 PBM Portable Bitmap PCX Windows Paintbrush PGM Portable Graymap PNG ポータブルネットワークグラフ PPM Portable Pixmap RAS Sun ラスター TIFF Tagged Image File Format XWD X Window Dump 詳細 VideoReader によりサポートされている動画フォーマット Windows MPG - MPEG-1 WMV, ASF, ASX - Windows Media ビデオ Microsoft DirectShow がサポートするすべての形式 Windows7 以降 MP4, M4V - H.264 エンコードビデオ (Windows 7 のみ ) MOV - Apple QuickTime Movie Microsoft Media Foundation がサポートするすべての形式 Macintosh MPEG-1, MP4, M4V MOV Apple QuickTime Movie 3GPP, 3GPP2, AVCHD, DV MOV - QuickTime Movie および QuickTime がサポートするほとんどの形式 Linux GStreamer 0.10 以降用のプラグインでサポートされる任意の形式全てのプラットフォームに共通 AVI ファイル Motion JPEG

9 産業用カメラデバイスからのデータ取り込み Image Acquisition Toolbox 業界標準のHWからの動画像取込み機能を提供フレームグラバ Analog Camera Link DCAM 互換 FireWire (IIDC 1394) GigE Vision USB3 Vision IPカメラ Microsoft Kinect RGB Depth ポイントクラウド 9

10 大量の画像データセットにメモリ効率の良くアクセス ImageDatastore オブジェクトによる画像データの管理画像へのパスを管理必要な分だけ画像をメモリに読み出しフォルダ名 / サブフォルダ名による自動ラベリング機能 >> imds = imagedatastore(./parts', 'IncludeSubfolders', true, 'LabelSource','foldernames ); imds Files: { parts bolt 001.png parts bolt 002.png and more } imagedatastore Label Count bolt 237 nut 108 washer 396 counteachlabel 10

PostgreSQL Sybase NoSQL DB Storage データベースへのアクセス MongoDB Neo4j

11 データベースへのアクセス Database Toolbox 主なサポート対象データベース機器から直接読込み IBM DB2 IBM Informix Ingres Microsoft Access Microsoft SQL Server MySQL Oracle PostgreSQL Sybase NoSQL DB Storage データベースへのアクセス MongoDB Neo4j GUIによる対話的なアクセスとSQL生成 Database Explore 既存のシステムで画像取得保管している画像の取得保存は別途管理運用したい 11

12 アルゴリズム開発 / ネットワークの学習評価データアクセスファイルアルゴリズム開発ネットワークの学習評価前処理アルゴリズム処理後処理システムへの展開実装クラウド連携ハードウェア Algorithm Development アプリケーションとして配布ネットワーク定義学習評価ソフトウェア組み込み実装 C/C++/Java など 12

13 例題従来の画像処理によるナットの異常検知正常異常 13

14 例題従来の画像処理によるナットの異常検知 Image Processing Toolbox Computer Vision System Toolbox imbinarize imfill bwareaopen imtophat regionprops 二値化穴埋め小さな領域を削除モルフォロジー処理 ( トップハット処理 ) 領域のプロパティ計測 insertshape inserttext 可視化 MATLAB の関数を組み合わせてルールベースのアルゴリズムを効率よく構築 14

15 柔軟な判定が得意な機械学習ディープラーニング判定基準が明確判定基準が複雑 15

16 柔軟な判定が得意な機械学習ディープラーニング判定基準が複雑機械学習判定基準が明確画像処理のアルゴリズムルールベースのプログラム Face 特徴量分類器乗用車トラック Helmet 自転車 If brightness > 0.5 then Helmet If edge_density < 4 and major_axis > 5 then 明るさなどの数値で条件を指定し切り分け Deep Learning 乗用車トラック特徴も学習直感的で明確な切り分け計算コストも少ない柔軟な切り分けに強い条件が複雑になるとコーディングが複雑に画像データが多く必要自転車 16

17 従来の機械学習とディープラーニングは何が違うのか? 従来の機械学習特徴量分類器乗用車トラック特徴量は人間が作成自転車 Deep Learning ディープニューラルネットワーク乗用車トラック特徴量も学習自転車 17

18 なぜディープラーニングが注目されるのか? ILSVRC (ImageNet Large Scale Visual Recognition Challenge) ImageNet とは? 画像認識の研究のための大規模な画像データベース 1000 のカテゴリを持ちカテゴリ毎に 1000 枚の画像 AlexNet VGG CNN の登場によって 10% 以上の性能向上 (2012) GoogLeNet, VGG 等の深い CNN が登場 (2014) 参考 :ILSVRC Top-5 Error on ImageNet 18

19 CNN( 畳み込みニューラルネットワーク ) 特徴抽出 ImageNet 1000 個のカテゴリ分類入力畳み込み層正規化層最大プーリング層畳み込み層正規化層最大プーリング層畳み込み層畳み込み層畳み込み層最大プーリング層全結合層全結合層全結合層 Softmax 層猫犬畳み込み層プーリング層正規化層などを積み重ねて作られた多層のニューラルネットワーク 19

20 ネットワークをスクラッチで作るハードル精度が高いネットワークはどのような学習をしているのか 100 万枚の画像セット ILSVRC AlexNet NVIDIA GeForce GTX 機による 5~6 日間の学習 AlexNet VGG Net NVIDIA GeForce TITAN Black 4 機による 2~3 週間の学習 VGG ネットワークをスクラッチで作る際のハードルネットワーク構築の知識大量の画像セット膨大な計算コスト Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton "ImageNet Classification with Deep Convolutional Neural Networks" In NIPS, pp , 2012 K. Simonyan, A. Zisserman "Very Deep Convolutional Networks for Large-Scale Image Recognition" arxiv technical report,

21 CNN と転移学習 ImageNet 1000 個のカテゴリ特徴抽出分類 Softmax 層全結合層全結合層全結合層最大プーリング層畳み込み層畳み込み層畳み込み層最大プーリング層正規化層畳み込み層最大プーリング層正規化層畳み込み層入力特徴抽出器 - 汎用性がある - 多層だと学習させるために画像が大量に必要全結合層全結合層 Softmax 層優れた既存ネットワークの特徴抽出器 + 独自分類器 21

22 例題転移学習による汚れナットの分類 100 個の正常ナット 50 個のナットに汚れを付ける 50 個の正常ナット 22

23 参考ディープラーニングによる物体認識 Alexnet による転移学習学習した種類 : - オレンジ - みかん - グレープフルーツ ( ルビー ) - グレープフルーツ ( ホワイト ) - レモン GPU 利用安定した検出学習画像数 : 各 20 枚コード行数 : 10 行動画 : GPU 利用なし 23

24 参考ディープラーニング :10 行でできる転移学習 alex = alexnet; % ネットワークを呼び出し layers = alex.layers 分類する個数 layers(23) = fullyconnectedlayer(5); % 独自の分類をするためにネットワークを変更 layers(25) = classificationlayer allimages = imagedatastore('myimages', 'IncludeSubfolders', true, 'LabelSource','foldernames'); [trainingimages, testimages] = spliteachlabel(allimages, 0.7, 'randomize'); % trainingimages.readfcn readfunctiontrain(filename); %% ネットワークを再学習 opts = trainingoptions('sgdm', 'InitialLearnRate', 0.001, 'MaxEpochs', 20, 'MiniBatchSize', 64); mynet = trainnetwork(trainingimages, layers, opts); 学習フォルダ名 %% 精度の評価 % testimages.readfcn readfunctiontrain(filename); predictedlabels = classify(mynet, testimages); accuracy = mean(predictedlabels == testimages.labels) 70% 学習用データセット利用の繰り返しサンプルコード : 24

25 アプリによるディープニューラルネットワーク設計 deepnetworkdesigner 一から設計設計マウス操作でネットワークを設計 Deep Learning Toolbox 作成したネットワークのエクスポートネットワークの整合性を自動チェック既存ネットワークのインポート解析 25

26 学習の可視化機能学習進捗の可視化と学習停止過学習 (Overfitting) Deep Learning Toolbox 画像の追加正則化項を大きくユニット数を減らす学習率 ( 調整 ) 未学習 (Underfitting) opts = trainingoptions(... 'Plots','training-progress',... 'ValidationPatience', 3); ネットワークの変更正則化項を小さくユニット数を増やす学習率 ( 初期値 ) 学習曲線を見ながら対策を考えていくことが必要 26

27 効率よい学習と精度向上のためのデータ拡張 ( 水増し ) 拡張された画像セット imagedataaugmenter による画像データの拡張スケールせん断回転等の制限をかけながらデータを拡張 imagedatastore imagedataaugmenter 画像の水増しを行うメリット画像が少なく学習がうまくいかない場合に効果的幾何学的な変化に対しロバスト性が向上 27

28 画像データ水増しによる過学習の防止水増し無し aug = imagedataaugmenter(... 'RandRotation',[-40,40],... 'RandXTranslation',[-10 10],... 'RandYTranslation',[-10 10],... 'RandXReflection', true,... 'RandYReflection', true); 水増し有り過学習画像の追加過学習なく学習追加する画像がない回転スケール反転移動 28

29 異常検知と教師あり学習教師あり学習各クラスで十分なデータを準備可能入力される画像のクラスは既知異常検知 (Anomaly Detection) 異常なデータが極端に少ない異常なデータは未知予測不可? ナット汚れナット正常異常 29

30 例題ディープラーニングによるナットの異常検知 100 個のナット異常のあるナット約 100 個の中に紛れ込んでいる 4 個の異常を見つけられるか動画 & サンプルコード公開中 : 30

31 転移学習 +1-class SVM を使った異常検出正常 / 異常のラベルはつけない ImageNet 1000 個のカテゴリ学習済みの Alexnet Softmax 層全結合層全結合層全結合層最大プーリング層畳み込み層畳み込み層畳み込み層最大プーリング層正規化層畳み込み層最大プーリング層正規化層畳み込み層入力 Donahue, Jeff, et al. "Decaf: A deep convolutional activation feature for generic visual recognition." arxiv preprint arxiv: (2013) 4096 次元の特徴量分類器 (1class SVM) 低正常度高 31

32 教師なし学習による異常値検出カーネル法を使った正常度スコアの推定アルゴリズム 1-Class SVM 異常データを含むデータの例スコアの値が高い方が正常度が高い 32

33 ディープラーニングによる異常度の予測テスト画像 100 枚の予測をしスコアの悪い順に並べるとスコア ( 正常度 ) 低黄色枠は人が異常と判断したユニットのマークディープラーニングの異常判定と人の判定が同じになり 4 つすべての異常を発見できたスコア ( 正常度 ) 高 33

34 システムへの展開データアクセスファイルアルゴリズム開発ネットワークの学習評価前処理アルゴリズム処理後処理システムへの展開実装クラウド連携ハードウェア Algorithm Development アプリケーションとして配布ネットワーク定義学習評価ソフトウェア組み込み実装 C/C++/Java など 34

35 アプリケーションの作成 App Designer スマートガイド機能位置合わせが容易に GUI レイアウトアプリケーション化ツールストリップ上で選べる豊富な編集機能 GUI レイアウトとプログラミングが同一環境で可能 Class をベースにしたコード生成プログラミング 35

MATLABによるアプリケーションの配布 MATLAB Compiler MATLABライセンスがない環境でアプリケーションを利用可能ユーザー環境にあわせてアプリケーションの展開方法を選択できますスタンドアロンアプリケーションとして展開 App Designerで作成したアプリケーションをコンパイル.

36 MATLABによるアプリケーションの配布 MATLAB Compiler MATLABライセンスがない環境でアプリケーションを利用可能ユーザー環境にあわせてアプリケーションの展開方法を選択できますスタンドアロンアプリケーションとして展開 App Designerで作成したアプリケーションをコンパイル.exe App Designerで作成したアプリケーションをコンパイル MATLAB Runtime スタンドアロンアプリ Webアプリ.exe 配布 MATLAB Runtime 配布 Webアプリとして展開.ctf.exe 配布.ctf.exe MATLAB Runtime MATLAB Runtime 36

37 スマートフォンで撮影した映像をその場で評価 MATLAB Compiler MATLAB Compiler SDK MATLAB Production Server 遠隔地でスマートフォンで判定活用しながら画像収集の継続ネットワークの再学習精度向上 1. URLアクセス 2. HTML ファイル 3. 画像アップロード 6. 結果の表示 Web Server (NodeJS) 4. リクエスト 5. 結果 MATLAB Production Server Request Broker 分類器学習済みネットワークディープラーニング分野で MATLAB を利用するメリット画像があれば簡単にはじめられるフレームワーク作ったネットワークをすぐにシステムに統合できる mat mat 37

システムへの統合目的に応じた3種類の統合へのパスをサポート MATLABライセンスがない環境で利用可能

Web Cluster Mobile MATLAB Compiler / MATLAB Compiler SDK

38 システムへの統合目的に応じた3種類の統合へのパスをサポート MATLABライセンスがない環境で利用可能サーバー/クラウドによる運用 MATLAB Production Server クラウドで利用 Cloud Web Cluster Mobile MATLAB Compiler / MATLAB Compiler SDK アプリケーション化システムへの統合 Excel Add-in Hadoop C/C ++ Java Standalone Application.NET PCで利用 GPU Coder ARM対応処理スピードエッジデバイスでの処理 cudnn/tensorrt MKL-DNN(Xeon) Compute Library (Neon) 38

39 外観検査のための画像処理ディープラーニングワークフロー Agenda 画像データへのアクセスアルゴリズム開発 / ネットワークの学習評価システムへの展開まとめ 39

40 外観検査のための画像処理ディープラーニングワークフロー画像データへのアクセス多彩な動画静止画フォーマットへ標準対応産業用カメラデータベースを MATLAB に接続可能アルゴリズム開発ネットワークの学習評価ルールベースが得意な画像処理複雑な判定が得意なディープラーニングシステムへの展開アプリケーションの作成配布機能クラウドから組み込み機器まで目的に応じた展開をサポートアルゴリズムの開発から配布実装までを効率的に実現! 外観検査の自動化に MATLAB をご活用ください 40

41 ここから始める画像処理ディープラーニング 41

評価キットのご案内画像処理関係の関数や機能紹介資料と対応するサンプルプログラムがセットになった評価用キットを提供しています説明資料サンプルプログラム %% 輝度ベースの自動レジストレーション ( 位置合せ ) clear all; close all; clc; %% 2つの画像の読込表示 orig = dicomread('knee1.

42 評価キットのご案内画像処理関係の関数や機能紹介資料と対応するサンプルプログラムがセットになった評価用キットを提供しています説明資料サンプルプログラム %% 輝度ベースの自動レジストレーション ( 位置合せ ) clear all; close all; clc; %% 2つの画像の読込表示 orig = dicomread('knee1.dcm'); moving = dicomread('knee2.dcm'); figure; imshowpair(moving, orig, 'montage'); % 並べて表示 %% imshowpair(moving, orig);shg; % 重ねて表示 %% 輝度ベースのレジストレーション実行表示 [optimizer,metric] = imregconfig('multimodal'); % パラメタ設定 ( 別々のデバイス : 異なる輝度範囲 ) optimizer.maximumiterations = 150; % 反復回数 optimizer.initialradius = 0.002; % 初期検索範囲説明資料 (pdf)/ サンプルプログラムはこちらからダウンロードいただけます MathWorks アカウント ( 無料 ) が必要となります zip 形式で保存されていますので解凍してからご利用ください MATLAB 評価版 (30 日間無料 ) はこちらからお試しいただけます 42

43 初めての深層学習ディープラーニングによる物体認識入門 YouTube 動画学習画像数 : 各 20 枚コード行数 :10 行 MATLAB Academy WEB ブラウザ上で MATLAB ディープラーニングの操作体験 GPU 利用 AlexNet 安定した検出による転移学習 5 種類の柑橘系果物の分類 GPU 利用なし 43

44 ebook のご紹介

45 Next Steps : 画像処理ディープラーニング無料セミナー申し込みは弊社ウェブサイトより日時 :2018 年 11 月 20 日 13:30-17:00 場所 : 秋葉原 UDX Next-1(JR 秋葉原駅より徒歩 2 分 ) ( アクセス : 画像処理ディープラーニング関連機能をご紹介! MATLABではじめる画像処理ワークフロー例題で実感するMATLABの画像処理ディープラーニング自動運転ロボティクス領域における画像 LiDAR 点群処理と実装 45

46 展示ブース製品技術第 4 会場第 3 会場 46

47 展示ブース異常ナットの分類と Class Activation Mapping による判定要因の推定ディープラーニング実装ソリューション自動運転 ADAS 第 4 会場 MATLAB Coder/GPU Coder によるネットワークの実装第 3 会場 Deep Learning Networks 47

2018 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc. See www.mathworks.

48 2018 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc. See for a list of additional trademarks. Other product or brand names may be trademarks or registered trademarks of their respective holders. 48

Presentation Title

Presentation Title 外観検査のための画像処理ディープラーニングワークフロー MathWorks Japan アプリケーションエンジニアリング部町田和也 2018 The MathWorks, Inc. 1 画像処理ディープラーニングによるナットの良品判定アプリ画像処理による内側のキズ検出ディープラーニングによる分類 2 画像処理による外観検査の自動化目盛りを読む良否判定数や大きさの測定人が目で見て行う作業の置き換え