Presentation Title

Size: px

Start display at page:

Download "Presentation Title"

ゆずさうばら
5 years ago
Views:

1 画像処理コンピュータビジョン ~ MATLAB を使うとこんなに簡単 ~ MathWorks Japan アプリケーションエンジニアリング部シニアアプリケーションエンジニア乙部雅則 2014 The MathWorks, Inc. 1

2 画像処理コンピュータービジョン画像の明るさ色合い形視点を調整したい! 何かの検査を自動化したい! ものの数を自動で数えたい! ものを自動で認識したい! 何かを自動でトラッキングしたい! デモ実行形式アプリケーション 2

3 デモいろいろな画像処理やコンピュータービジョンのアルゴリズムアプリケーションを MATLAB の様々な機能を用い効率よく開発が行える様子を御紹介します 3

4 Agenda 1: 検査を自動化したい! 2: ものの数を自動で数えたい! 3: ものを自動で認識したい! 4: 自動でトラッキングしたい! 5: その他の R2014a/b 最新機能紹介 6: まとめプレゼンテーションファイルデモに使用したスクリプトファイルは後日ダウンロードいただけますお手元の 3D メガネはご自由にお持ち帰りください 4

5 紹介する Toolbox Image Processing Toolbox TM Computer Vision System Toolbox TM Image Acquisition Toolbox TM Statistics Toolbox TM MATLAB Compiler TM MATLAB Coder TM 5

6 無料評価版セミナーのアンケートにご希望の旨お書きください後日のお申込 6

7 Agenda 1: 検査を自動化したい! 2: ものの数を自動で数えたい! 3: ものを自動で認識したい! 4: 自動でトラッキングしたい! 5: その他の R2014a/b 最新機能紹介 6: まとめ 7

8 検査を自動化したい! - 任意の位置 - 任意の回転 - 任意の歯車サイズ - 任意の欠陥の形状欠陥 8

9 画像処理コンピュータビジョン開発ワークフロー結果の共有 /IP 化アイデア Concept Development 多くの反復 Algorithm Development Simulate ドキュメント生成アルゴリズム開発アプリケーションとして配布.exe.dll C ソースコード C 9

10 画像処理コンピュータビジョン開発ワークフローアイデアトップハットフィルタは? Concept Development 多くの反復 Algorithm Development Simulate 結果の共有 /IP 化ドキュメント生成アルゴリズム開発アプリケーションとして配布.exe.dll C ソースコードかけている歯車を自動で検出して検査工程のコストを下げたい必要な前処理後処理は? 安定的に精度良く検出するには? C デモ 10

11 画像処理コンピュータビジョン開発ワークフロー画像の読込み前処理アイデアフィルター処理 Concept Development 多くの反復 Algorithm Development Simulate 結果の共有 /IP 化ドキュメント生成後処理アルゴリズム開発アプリケーションとして配布途中結果の可視化解析計測定量評価グラフ化結果の可視化.exe.dll C ソースコード変数宣言不要容易な多次元配列の取扱い簡潔なコードで様々な処理を実行画像取込み前処理フィルタ処理後処理途中結果の可視化数値のグラフ化レポート生成 => 一連の流れを効率良く実現 C 11

レポート自動生成機能レポート生成ボタン HTML レポート LaTeX 式 HTML 等の形式でレポートの自動生成が可能マークアップの詳細 : http://www.

12 レポート自動生成機能レポート生成ボタン HTML レポート LaTeX 式 HTML 等の形式でレポートの自動生成が可能マークアップの詳細 : 12

13 画像処理コンピュータビジョン開発ワークフロー結果の共有 /IP 化アイデア Concept Development 多くの反復 Algorithm Development アルゴリズム開発 Simulate ドキュメント生成アプリケーションとして配布.exe.dll C ソースコード C 13

実行形式プログラムの配布 : MATLAB Compiler >> deploytool

スクリプトもしくは関数 ) 2: ビルドボタンを押す MATLAB Compiler.

14 実行形式プログラムの配布 : MATLAB Compiler >> deploytool もしくはアプリケーションタブから起動 1: 最上位の MATLAB ファイルを指定 ( スクリプトもしくは関数 ) 2: ビルドボタンを押す MATLAB Compiler.exe.dll ほぼすべての関数をサポート GUI や Figure も対応ロイヤリティーフリー制限 : 対応 Toolbox 関数 : チュートリアル : デモ 14

浮動小数点固定小数点演算対応 (Fixed-Point Designer が必要 ) MATLAB ファイル.exe.

15 MATLAB ファイルから C コードを生成 MATLAB Coder.c [ 目的 ] コード生成 / 実装アルゴリズム仕様のリファレンスモデル実装 (C/HDL) 技術者へハンドオフ整数浮動小数点固定小数点演算対応 (Fixed-Point Designer が必要 ) MATLAB ファイル.exe.lib スタンドアロンのアプリケーション作成 ( プロトタイプ配布 ) 既存の C ソフトウェアへ MATLAB アルゴリズムの統合 MEX MATLAB ファイル実行の高速化 15

16 C コード生成 : MATLAB Coder Image Processing Toolbox の C コード生成対応強化状況 (Image Processing Toolbox: 2 関数の追加 ) (Image Processing Toolbox: 10 関数の追加 ) (Image Processing Toolbox: 27 関数の追加 ) affine2d, bwpack, bwselect, bwunpack, edge, getrangefromclass, im2double, im2int16, im2single, im2uint16, im2uint8, imbothat, imclose, imdilate, imerode, imextendedmax, imextendedmin, imfilter, imhist, imopen, imref2d, imref3d, imtophat, imwarp, mean2, projective2d, strel (Image Processing Toolbox: 16 関数の追加 ) bwdist, bwtraceboundary, fitgeotrans, histeq, imadjust, imclearborder, imlincomb, imquantize, intlut, iptcheckmap, medfilt2, multithresh, ordfilt2, rgb2ycbcr, stretchlim, ycbcr2rgb Computer Vision System Toolbox の C コード生成対応強化状況ほぼすべての関数システムオブジェクトが C コード生成に対応一部の関数は precompile platform-specific shared library を使用対応制約の詳細 :

17 Agenda 1: 検査を自動化したい! 2: ものの数を自動で数えたい! 3: ものを自動で認識したい! 4: 自動でトラッキングしたい! 5: その他の R2014a/b 最新機能紹介 6: まとめ 17

18 ものの数を自動で数えたい! 多重の重なりデモ物体の明るさ反射の違いサイズ違い材質違い 18

19 色空間 RGB 色空間青緑赤白黄色シアン (~ 水色 ) 緑マゼンタ ( 紅紫色 ) 赤青黒 : (R,G,B) = (1, 1, 1) : (R,G,B) = (1, 1, 0) : (R,G,B) = (0, 1, 1) : (R,G,B) = (0, 1, 0) : (R,G,B) = (1, 0, 1) : (R,G,B) = (1, 0, 0) : (R,G,B) = (0, 0, 1) : (R,G,B) = (0, 0, 0) HSV 色空間 Hue: 色相 Saturation: 彩度 (0: 白 / 灰色 / 黒 ) Value: 明度 Hue: 色相赤 :0 / 1.0 Value: 明度 Saturation: 彩度 ( 白 / 灰色 / 黒は 0) 19

20 デモ : 複数種類のワッシャーボルトナットの数量測定様々な画像処理アルゴリズム最新の便利な APPS ツール ( 画像ビューアー色のしきい値領域解析 ) 20

21 Agenda 1: 検査を自動化したい! 2: ものの数を自動で数えたい! 3: ものを自動で認識したい! 4: 自動でトラッキングしたい! 5: その他の R2014a/b 最新機能紹介 6: まとめ 21

22 ものを自動で認識したい! ( 一般の物体の認識 ) [ 同じ種類のものであっても ] - 様々な色形模様 - 様々な向き - 様々な背景 - 様々な撮影条件デモ 22

23 ものを自動で認識したい! Bag of Words Statistics Toolbox が必要表れる " 単語 " の出現頻度 ( ヒストグラム ) から文章のカテゴリを分類局所的な模様 (Visual Words) 画像 Bag of Visual Words (Bag of Features) デモ 23

Bag-of-Visual Words: 大量の画像データを用いた分類のワークフロー

Visual Words に分類後ヒストグラムを作成し K 次元の特徴ベクトルとする

24 Bag-of-Visual Words: 大量の画像データを用いた分類のワークフロー bagoffeatures() or 全カテゴリーの画像から特徴量の抽出後 K-means でクラスタリングし K 個の Visual Words を生成 trainimagecategory Classifier() 各画像の特徴量を Visual Words に分類後ヒストグラムを作成し K 次元の特徴ベクトルとする画像内の各特長の位置関係は考慮しない各学習用の画像を Visual Words のヒストグラムで表し機械学習により分類器を生成 24

25 ものを自動で認識したい! 簡潔なスクリプトで高度な認識が可能 25

26 Agenda 1: 検査を自動化したい! 2: ものの数を自動で数えたい! 3: ものを自動で認識したい! 4: 自動でトラッキングしたい! 5: その他の R2014a/b 最新機能紹介 6: まとめ 26

27 自動で追尾したい! - 複数の物体を同時にトラッキング - 背景も全て動いている - 物陰への隠れ補償 - 誤検出の低減 - etc Image data are from The VIVID Tracking Evaluation Web Site デモ 27

28 自動で追尾したい! 動いている物体を検出対応付け新たに物体を登録既検出物体の現在位置を前フレームから予測カウンタ +1 or 削除デモ 28

29 Agenda 1: 検査を自動化したい! 2: ものの数を自動で数えたい! 3: ものを自動で認識したい! 4: 自動でトラッキングしたい! 5: その他の R2014a/b 最新機能紹介 6: まとめ 29

30 Image Processing Toolbox 非剛体レジストレーションイメージの領域分割アプリケーション 30

31 キャリブレーション平行化 Computer Vision System Toolbox - ステレオビジョン用ワークフローの強化ステレオキャリブレーションステレオ平行化 3D 再構築用関数ステレオキャリブレーション用 APPS デモ 31

32 Computer Vision System Toolbox - ステレオビジョン用ワークフローの強化廉価な USB カメラを用いた複数の目標物までのリアルタイム距離検出 32

33 Computer Vision System Toolbox 光学文字認識 (OCR) 機械学習用のラベリングツール BRISK 特徴の検出抽出 33

34 Image Processing Toolbox のその他機能例幾何学的変換 ( 位置や形の変換 ) 各種コントラスト調整 34

35 Computer Vision System Toolbox のその他機能例特徴点のマッチングを用いた物体認識 SURF/Harris/FAST/BRISK 等の特徴点検出 SURF/FREAK/BRISK/HOG 等の特徴量抽出顔認識 RANSAC を用いた対応点推定物体の検出人物認識 (Viola-Jones アルゴリズム ) (HOG 特徴量 ) 35

36 充実したヘルプ環境逆引き形式 ( やりたいこと別に整理された ) のヘルプによる関数の効率的な検索ヘルプ表示 >> doc もしくは 36

37 充実したヘルプ環境関数一覧 37

38 充実したヘルプ環境各関数に関しサンプル ( 例 ) アルゴリズム解説参考文献 38

39 充実したヘルプ環境豊富なサンプルモデル ( アプリケーションレベル ) 39

40 充実したヘルプ環境ソースコードが公開されていて内部処理の詳細が分かる関数も多く存在 ( >> edit 関数名 ) function h = fspecial(varargin) M 言語で記述 ( 実装 ) された画像処理用の関数 [type, p2, p3] = ParseInputs(varargin{:}); switch type case 'average' % Smoothing filter siz = p2; h = ones(siz)/prod(siz); case 'disk' % Disk filter rad = p2; crad = ceil(rad-0.5); [x,y] = meshgrid(-crad:crad,-crad:crad); maxxy = max(abs(x),abs(y)); minxy = min(abs(x),abs(y)); m1 = (rad^2 < (maxxy+0.5).^2 + (minxy-0.5).^2).*(minxy-0.5) +... (rad^2 >= (maxxy+0.5).^2 + (minxy-0.5).^2).*... sqrt(rad^2 - (maxxy + 0.5).^2); 40

41 での活発なコミュニティー活動 File Exchange にはユーザー様が作られた画像処理コンピュータービジョンのアルゴリズムアプリケーション等が 2,800 件以上登録一年で 400 件以上増加共有されているほとんどのファイルは BSD ライセンス R2012b より Apps 機能も使用可能 41

42 File Exchange 上のさまざまな登録ファイル Toolbox としてまだ提供されていない最新技術に関する投稿 Image Morphology 画像処理に有用な様々なツール 42

43 まとめ MATLAB を使用することによりすぐに動かすことが出来る統合開発環境上で画像処理コンピュータービジョンの対話的アルゴリズム検討検証いろいろなアルゴリズムを用いた様々な方式検討様々な方式パラメーターのトライ & エラーを迅速に実施が可統合された開発環境上でレポート生成実行形式アプリケーションや C コード生成多くのユーザ研究者の方々による MATLAB Central やテクニカルサポートなどのリソースの有効活用画像処理コンピュータービジョンの開発生産性の向上御案内 43

mathworks.com/trademarks for a list of additional trademarks.

44 デモブースのご案内信号処理 / 画像処理コンピュータービジョンソリューション 2014 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc. See for a list of additional trademarks. Other product or brand names may be trademarks or registered trademarks of their respective holders. 44

45 画像処理系御講演ご紹介 45

46 MATLAB 環境使用による画像処理開発の生産性向上シンプルな構文高度で豊富な関数群による柔軟なアルゴリズムの短期開発習得が容易 C/C++ 等に比べ少ない記述量 ( 行列単位での処理によりループ等の記述は最小限 ) 変数の取扱いが簡単 ( 多くの場合定義も不要サイズの自動変更 ) 高速な行列演算処理 ( 最適化マルチコア /GPU 対応 ) 最小限の設定ですぐに使える様々な画処理関数 ( リファレンス的用法も ) インタプリタ言語多くの可視化機能による対話的アルゴリズム探索コンパイル等の作業が不要対話的な処理方法探索プログラミング途中でのデバッグが容易各種機能連携ドキュメントサポートの充実製品としての統合品質検証豊富なオプション製品群とシームレスな連携ロイヤリティーフリーの実装環境充実したドキュメントサポート体制活発なユーザーコミュニティー 46

47 画像処理のベースとなる関数群 Image Processing Toolbox 各種画像データフォーマットの読込画像調査用の各種 GUIツール画像 ( 色コントラスト等 ) の調整変換幾何学的変換 ( 位置や形の変換 ) レジストレーション ( 位置合せ ) 各種フィルタ処理モルフォロジー処理 ( 膨張収縮等の様々な形態処理 ) オブジェクト ( 物体 ) 検出解析セグメンテーション ( 領域切出し ) 物体の定量評価 ROIベースの処理 ( 特定領域処理 ) 47

画像処理やコンピュータビジョンのための機能高速ストリーミング処理 Computer

48 画像処理やコンピュータビジョンのための機能高速ストリーミング処理 Computer Vision System Toolbox カメラキャリブレーショングラフィックス特徴点検出特徴量抽出マッチングレジストレーション物体認識文字認識 (OCR) 顔人物認識カスタム物体に対する機械学習 Bag-of-Visual Words による物体認識動画ストリーミングデータの高速処理物体のトラッキングステレオビジョン向けツール画像処理用の Simulink ブロックセット C コード生成固定小数点に対応した画像処理用システムオブジェクト 48

49 各種カメラからの画像データ直接取込み Image Acquisition Toolbox 業界標準の HW からの動画像取込み機能を提供フレームグラバ ( 画像入力ボード ) Analog 入力 Camera Link 入力 DCAM 互換 FireWire (IIDC 1394) GigE Vision 一般的な USB Web カメラ => 簡易的取込みは MATLAB の関数で可能 Microsoft Kinect for Windows RGB 画像 + 骨格座標 (2 人まで ) 認識した人 (6 人まで ) 深度画像カスタムアダプター開発キット Simulink ブロック深度プロット 49

50 様々な特徴量を用いたさらに複雑な機械学習 Statistics Toolbox 特徴変換主成分分析 (PCA) 因子分析クラスタリング階層クラスタリング K 平均クラスタリングガウス混合分布モデルクラシフィケーション ( 分類 ) サポートベクターマシン (SVM) 単純ベイズ分類器線形分類器 K 近傍分類器モデルの結合 ( アンサンブル学習 ) バギング (Tree Bagger 等 ) ブースティング (AdaBoost 等 ) 50

51 デモファイルのダウンロード先 (11 月中旬公開予定 ) 下記サイトのSearch Filesで MATLAB EXPO 2014 Masa Otobe のキーワードで検索ください 51

MATLAB ではじめる画像処理とロボットビジョン ~ 機械学習による物体認識と SLAM~ MathWorks Japan アプリケーションエンジニアリング部信号処理通信木川田亘 2015 The MathWorks, 1Inc.

MATLAB ではじめる画像処理とロボットビジョン ~ 機械学習による物体認識と SLAM~ MathWorks Japan アプリケーションエンジニアリング部信号処理通信木川田亘 2015 The MathWorks, 1Inc. ロボットビジョンとはロボットに搭載することを目的としたコンピュータービジョン技術の一分野標識認識などさまざまな環境下での物体認識や複雑なシーンの理解未知の領域を探索する際にロボット自身の位置推定と地図作成(SLAM)