Presentation Title

Size: px

Start display at page:

Download "Presentation Title"

かずしいなおか
5 years ago
Views:

1 手軽にはじめる画像処理コンピュータービジョン MathWorks Japan アプリケーションエンジニアリング部 ( 信号処理通信 ) アプリケーションエンジニア福本拓司 2016 The MathWorks, Inc. 1

2 画像処理とは? 画像の変形や変換色の補正ノイズ除去などを行うこと例えばデジタルカメラの内部処理統計解析などを併用し画像からデータの数値化を行うこと数を数える大きさを測る人が目で確認していたものを画像処理で置き換えるトレンド 2

3 人の作業を減らすための画像処理デモ目盛りを読む作業動きがあるもの ( 人による読み間違い ) 長時間の観測 ( 人の工数大読み忘れ ) 3

4 みなさんはどのタイプにあてはまるでしょうか画像処理未経験プログラム未経験プログラム本セッションのゴール : プログラム & 画像処理未経験者の不安どちらもこれから MATLABでの画像処理ちゃんと習得できるか途中で予期してなかった難しいアルゴリズムが必要になったら仕事の効率をあげる成果物ま作業効率上がりそう既存ソフト操作メイン! でたどり着けるかワークフローが理解できた! プログラム経験者の葛藤急に画像処理の仕事コーディング経験が少なくても成果物作れそう! 経験ある言語は画像処理向きでないいろいろなアルゴリズムからすばやく最適なもの設定をみつ高度なアルゴリズムをけたい扱う仕事感じていただければ幸いですプログラム経験豊富画像処理経験豊富 4

5 アジェンダ手軽にはじめる画像処理画像処理とは? メーターの値を画像処理で読みとるワークフロー統合的な開発環境である MATLAB 今話題! コンピュータービジョンの世界コンピュータービジョンとは? 人検出が 1 行?MATLAB でおこなう人の行動解析のワークフロースムーズな習得のために 5

MATLAB と画像処理 Matrix Laboratory 画像は行列 A =

とスカラの比較 ( 例 ) A で 10 以上の輝度の位置を抽出 B = A >

6 MATLAB と画像処理 Matrix Laboratory 画像は行列 A = magic(5) figure, imshow(a,[]) 対話的開発環境豊富な拡張ライブラリ使用目的 - データ解析可視化 - アルゴリズム開発プログラミング - 外部アプリケーションとの連携画像データ ( 行列 ) とスカラの比較 ( 例 ) A で 10 以上の輝度の位置を抽出 B = A > 10 MATLAB ならこれだけ! 不要な二重 for ループがいらない画像処理は MATLAB と親和性が高い分野 6

7 画像処理による速度メーターの測定デモ針を検出目盛りの検出解析 & 直線化速度 0 に対する針の角度ゴール速度読み取り 7

8 色空間 RGB 色空間緑青赤白黄色シアン (~ 水色 ) 緑マゼンタ ( 紅紫色 ) 赤青黒 : (R,G,B) = (1, 1, 1) : (R,G,B) = (1, 1, 0) : (R,G,B) = (0, 1, 1) : (R,G,B) = (0, 1, 0) : (R,G,B) = (1, 0, 1) : (R,G,B) = (1, 0, 0) : (R,G,B) = (0, 0, 1) : (R,G,B) = (0, 0, 0) HSV 色空間 Hue: 色相 Saturation: 彩度 (0: 白 / 灰色 / 黒 ) Value: 明度 Hue: 色相赤 :0 / 1.0 Value: 明度 Saturation: 彩度 ( 白 / 灰色 / 黒は 0) 8

9 画像処理ワークフローモルフォロジー処理 : bwmorph 色のしきい値アプリ領域解析 :regionprops による二値化角度の解析針を検出目盛りの検出座標解析 & 直線化基準に対する針の角度読み取り速度読み取りマウス操作による基準位置の指定アプリ & 高度な関数 & マウス操作で手軽かつ柔軟に画像処理による効率化を目指すことができます 9

10 手軽にはじめるを強力にサポート : 画像処理用アプリケーション直感的な GUI 操作のアプリケーションイメージブラウザーイメージビューアー色のしきい値イメージの領域分割イメージの領域解析 segmentation-using-the-color-thresholder-app html age-segmentation-application html 変数や MATLAB コードとして出力可能 10

プログラムに柔軟性を与える : GUI でのマウス操作関心領域 (ROI) の一部が欠けてしまっていても自分だけのアプリ getpts() クリックした pixel 情報を取る対話型ツールの構築 40 以上の関数 https://www.mathworks.

11 プログラムに柔軟性を与える : GUI でのマウス操作関心領域 (ROI) の一部が欠けてしまっていても自分だけのアプリ getpts() クリックした pixel 情報を取る対話型ツールの構築 40 以上の関数 6b/images/building-guis-with-modularinteractive-tools.html Imfreehand() フリーハンド囲んだ部分を追加 Imrect() 四角を描く囲んだ範囲で輝度による 2 値化関数難しい処理に直面してもプロジェクトの成果物を柔軟に作ることができる着実な作業効率向上を目指せるマウス操作使い慣れた関数 11

12 目盛り検出の自動化と文字認識ガボールフィルタとモルフォロジー処理で目盛り抽出 OCR を用いた数字の読み取り ocr() 文字認識関数により目盛り数値読み取り maxspeed = 200 あとは同様の処理で角度速度を測定 Centroid を測定し座標を利用 12

13 文字認識 : カスタムフォント用学習アプリケーション ocrtrainer % 文字認識用モデルのトレーニング用アプリケーション results = ocr(bw1, 'Language',... 'mylang tessdata mylang.traineddata') % 学習したモデルによる文字認識フォントをトレーニングしたモデルによる認識 13

14 MATLAB による効率的な画像処理開発フロー入力画像動画ファイルアルゴリズム探索データ解析モデリング出力レポートドキュメント生成ソフトウェアアルゴリズム開発アプリケーションコードやアプリケーションハードウェアアプリケーション開発.exe.dll C/HDL ソースコード C HDL - インタプリターによる容易なパラメータ調整 - 高度で豊富な画像処理関数群 - アプリとコードの連携 14

15 各種画像 / 動画データフォーマットの読込み書込みの例画像の読込み書込みのための関数 imread() imwrite() dicomread() dicomwrite() nitfread() hdrread() hdrwrite() (MATLAB 基本関数 ) (MATLAB 基本関数 ) グラフィックスファイルからイメージを読込み (bmp,gif,jpg,png,tif,..) イメージをグラフィックスファイルに書込み (bmp,gif,jpg,png,tif,..) DICOMイメージの読込みイメージをDICOMファイルとして書込み NITF(National Imagery Transmission Format) ファイルの読込みハイダイナミックレンジ (HDR) イメージの読込み Radiance 形式ハイダイナミックレンジ (HDR) イメージファイルの書込み動画の読込み書込みのための関数 vision.videofilereader() 動画ファイルの読込み (.avi,.mpeg,mp4,.m4v,.wmv, ) vision.videofilewriter() 動画ファイルの書込み 15

16 各種カメラからの画像データ直接取込み Image Acquisition Toolbox TM 業界標準の HW からの動画像取込み機能を提供フレームグラバ ( 画像入力ボード ) DCAM 互換 FireWire (IIDC 1394) GigE Vision USB3 Vision 一般的な USB Web カメラ IP カメラ (MATLAB 基本関数 ) MATLAB 本体でサポート Microsoft Kinect for Windows v1 Microsoft Xbox One Kinect センサーカスタムアダプター開発キット Simulink ブロック RGB 画像 + 骨格座標深度画像 16

クラス Python COM コンポーネント.NET.NET コンポーネント.c.

17 アプリケーション / コード配布 MATLAB ファイル MATLAB Compiler TM MATLAB Coder TM MATLAB Compiler SDK TM.exe Excel.dll Excel C/C++ add-in 共有ライブラリ Java Java クラス Python COM コンポーネント.NET.NET コンポーネント.c.cpp.exe.lib MEX 無償でダウンロードできる MCR で実行 C/C++ 言語での利用作成したアルゴリズムを MATLAB 環境以外で実行可能 17

18 MATLAB による画像処理ワークフロー MATLAB はシステムへの実装を含めた統合的な開発が可能画像処理自動化画像は行列 MATLAB が得意高度な関数 (ocr/regionprops 等 ) GUIアプリで直感的にアルゴリズムを選択 mコードの生成柔軟性のあるアプリにすることも可能人手作業 MATLAB を使って画像処理による効率化自動化へのステップを踏んでいきましょう MATLAB Image Processing Toolbox TM Computer Vision System Toolbox TM 18

19 アジェンダ手軽にはじめる画像処理画像処理とは? メーターの値を画像処理で読みとるワークフロー統合的な開発環境である MATLAB 今話題! コンピュータービジョンの世界コンピュータービジョンとは? 人検出が 1 行?MATLAB でおこなう人の行動解析のワークフロースムーズな習得のために 19

20 コンピュータビジョンとは? 動画像からコンピュータでシーンの理解などを行う技術 ( 物体の認識トラッキング距離の把握 ) デモ画像処理ノイズ補正コントラスト補正測定コンピュータビジョン検出認識識別トラッキングシーンの理解道路人物自転車トラックアクシデント 20

21 コンピュータビジョンによる人の行動解析高さ奥行き奥行き横横 21

22 コンピュータービジョンによる人の行動解析認識ステレオカメラ 3 次元点群解析人認識アルゴリズム detectpeopleacf() たった 1 行で画像から人検出人周辺の点群座標を解析 22

23 ステレオビジョンワークフロー : 事前キャリブレーションキャリブレーション用パターンの撮影ステレオカメラキャリブレーションパラメータステレオ画像の並行化左右の画像のずれから視差の計算処理速度の高速化三次元空間の再構築 23

24 人認識アルゴリズムと 3 次元点群を用いた人の行動解析人検出のボックスを使って人周辺の視差画像だけを切り抜き人周辺のみ 3 次元点群計算人認識 &3 次元点群で各コーナー滞在時間を解析豊富な解析 & 可視化機能がパワフルにサポート行動解析結果プロット点群情報の解析 24

25 動きの認識機能例動きの認識動き検出動いている領域の検出車のカウントトラッキング ( 追跡 ) 隠れている物体の位置予測誤検出の低減個々の物体の認識 ( 数量計測等 ) 25

26 3 次元点群 ( ポイントクラウド ) 3 次元空間ポイントクラウド構築に必要なのは深度 ( 奥行き ) 手法の例 -Kinect ( 深度センサ付 ) - 距離測定 - 自己位置推定 (SLAM) -MAP を用いて行動の最適化 - ステレオビジョン - カメラ一台 + 複数枚画像 (Structure From Motion) 26

高度な物体認識 & 解析を実現する豊富な関数群 MATLAB Image Processing Toolbox TM Computer Vision System Toolbox TM 物体認識トラッキング 3 次元空間解析画像処理 ( 色形等 ) 人認識アルゴリズム背景差分法画像特徴量機械学習カルマンフィルタ KLT パーティクルフィルタ (Robotics System

27 高度な物体認識 & 解析を実現する豊富な関数群 MATLAB Image Processing Toolbox TM Computer Vision System Toolbox TM 物体認識トラッキング 3 次元空間解析画像処理 ( 色形等 ) 人認識アルゴリズム背景差分法画像特徴量機械学習カルマンフィルタ KLT パーティクルフィルタ (Robotics System Toolbox ) (Statistics and Machine Learning Toolbox ) ディープラーニング (Neural Network Toolbox 他 ) Kinect ステレオビジョン単眼カメラSFM MATLAB Toolbox 各種 MATLABなら認識から解析までを一貫して同じ環境高度な機能を含むサンプルを用いてすぐにアイデアを試すことができますアプリケーションへの適用ロボット ADAS 制御等 (Robotics System Toolbox 他 ) 27

28 アジェンダ手軽にはじめる画像処理画像処理とは? メーターの値を画像処理で読みとるワークフロー統合的な開発環境である MATLAB 今話題! コンピュータービジョンの世界コンピュータービジョンとは? 人検出が 1 行?MATLAB でおこなう人の行動解析のワークフロースムーズな習得のために 28

29 画像処理コンピュータービジョン無料セミナー申し込みは弊社ウェブサイトより日時 :2016 年 11 月 7 日 13:00-17:00 場所 :UDX GALLERY NEXT(JR 秋葉原駅より徒歩 2 分 ) 画像処理コンピュータービジョンの機能を隅から隅までご紹介! 画像処理動画処理のアルゴリズム開発特徴検出マッチング認識機械学習トラッキング非剛体レジストレーションやカメラキャリブレーションステレオビジョン向けワークフロー 3 次元点群処理 Bag-of-Features 並列化や GPU などの連携機能や C/HDL 実装環境についてもご案内 29

30 テクニカルサポート & ヘルプドキュメントテクニカルサポート高い顧客満足度 24 時間以内に70% 問題解決 80% のお客様が80-100% の満足度と回答充実した Help 機能利用方法 Web ページ電話 MATLAB デスクトップからサポートリクエストを起動 30

31 の活用 - File Exchange 上のさまざまなアプリケーション例 ImadjustGUI explorergb MorphTool SegmentImage Image Registration App FindCirclesGUI 31

32 着実に成果につなげるためのMathWorksサポートトレーニングサービス MATLABによる画像処理(2日間) 開催予定日会場 2016年 11月10日 11月11日 MathWorks 名古屋オフィス 2017年 02月9日 02月10日 MathWorks東京オフィス開催予定日会場 2017年 02月28日 MathWorks 東京オフィスカスタム Jumpstart 顧客モデルをベースにしたアドバイザリ他 Advisory Service 顧客Project に合ったアドバイザリ他 MATLABによるコンピュータービジョン 06月30日コンサルティングサービス Project 顧客要求に応じた成果物開発業務に即したツール利用を実現 MathWorks 名古屋オフィス 32

33 まとめ MATLAB は画像処理が得意画像取り込みからアプリケーション配布までできる開発環境アプリからのコード生成 & 高度な関数群により効率的で柔軟なアルゴリズム開発が可能紹介セミナーテクニカルサポートトレーニング等スムーズな習得が可能 33

34 この後の画像処理関連セッション第 3 会場第 4 会場ハードウェア実装第 2 会場カメラ付アーム型ロボット開発ワークフロー第 7 会場 34

自動運転画像処理ディープラーニングブースでデモ展示中ご質問はブースまでお越しください自動運転画像処理ディープラーニングデモ展示 2016 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc.

35 自動運転画像処理ディープラーニングブースでデモ展示中ご質問はブースまでお越しください自動運転画像処理ディープラーニングデモ展示 2016 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc. See for a list of additional trademarks. Other product or brand names may be trademarks or registered trademarks of their respective holders. 35

36 ご清聴ありがとうございました 36

37 コンサルティングでは効率よいアルゴリズム開発定量的な解析評価機械学習可視化目視解析と評価非剛体トラッキング時系列解析 ( 主に動画 ) 科学的モデリング快適な UI ソリューションパッケージ化 37

38 コンサルティング例 : 医用画像解析いくつかの事例脳機能の定量的解析評価 ( 活躍領域, 病状領域, 行動解析 ) - MRI, CT, Microscope, NIR (near-infrared), X-ray, NBI (Narrow-band), Calcium image 薬物の効果をモニタリングや評価 - Brain MRI, Muscle imaging, limbs MRI 病状の診断やモデリング - Muscle evaluation, disease classification, tissue visualization 3D 再構成や可視化 - X-ray image reconstruction, 3D color maps, indexed images, MRI Volume 機械学習や統計解析 - Colony classification, health monitoring 動画分析解析 - Lungs movement quantification, synapse analysis 38

39 コンサルティング例医用画像解析 UI なぜ医用画像分野で大事なのか? 背景合作プロトタイププログラマーではない別々実験部隊と開発部隊出力を可視化 39

画像処理プログラミングでお困りのあなたに 2日でマスター MATLABによる画像処理

40 画像処理プログラミングでお困りのあなたに 2日でマスター MATLABによる画像処理画像処理のアルゴリズムをMATLABで効率よくプログラミングする方法を 2日間で集中的に学ぶことが出来ます主なトピックイメージのインポート前処理空間変換レジストレーションライン検出特徴抽出領域のセグメント化開催予定日会場 2016年 11月10日 11月11日 MathWorks 名古屋オフィス 2017年 02月9日 02月10日 MathWorks東京オフィス (有償) 40

強度検出(MSER) 対象物の検出とカウントレンズ歪の補正オブジェクトの検出 HoG 分類前景検出動きの推定と追跡カメラキャリブレーション

41 ロボットの目をプログラミングしよう１日でマスター MATLABによるコンピュータービジョンコンピュータによる物体検出等のアルゴリズムを MATLABで効率よくプログラミングする方法を１日で集中的に学ぶことが出来ます主なトピックビデオのインポートと可視化注釈特徴検出抽出コーナー検出強度検出(MSER) 対象物の検出とカウントレンズ歪の補正オブジェクトの検出 HoG 分類前景検出動きの推定と追跡カメラキャリブレーションチェッカーボードによる補正開催予定日会場 2017年 02月28日 MathWorks 東京オフィス (有償) 自転車の検出 41

42 画像処理機能例 42

43 画像の表示調査 / コントラストの調整マッチング画像の表示調査画像ビューアーアプリケーションコントラストの調整マッチング色の閾値アプリケーション Image Processing Toolbox 43

44 幾何学変換 / 各種フィルター処理幾何学変換 ( 位置や形の変換 ) 各種フィルター処理ノイズ除去 Image Processing Toolbox 44

45 モルフォロジー処理 / オブジェクト検出解析モルフォロジー処理 ( 膨張収縮等の様々な形態処理 ) オブジェクト ( 物体 ) 検出解析境界線を抽出 Image Processing Toolbox 直線検出によるレーン検出 45

46 レジストレーション / セグメンテーション / 定量評価レジストレーション ( 位置合せ ) セグメンテーション ( 領域切出し ) 位置合せ灯台を抽出物体の定量評価 Image Processing Toolbox 各中心位置面積を計測 46

47 画像取扱い機能カメラキャリブレーションカメラ位置推定レンズ歪カメラ内部カメラ外部のパラメータ抽出高速なグラフィックスレンズ歪補正注釈挿入マーカー挿入図形挿入テキスト挿入 Computer Vision System Toolbox 47

48 特徴点ベースのワークフロー特徴点のマッチングを用いた物体認識対象物体 SURF/Harris/FAST/BRISK 等の特徴点検出 SURF/FREAK/BRISK/HOG/LBP 等の特徴量抽出 RANSAC を用いた対応点推定物体の検出特徴点ベースのレジストレーション ( 位置合せ ) Computer Vision System Toolbox 48

49 文字認識 / 顔人物の認識 OCR ( 光学文字認識 ) 顔認識 (Viola-Jones アルゴリズム ) 人物認識 Computer Vision System Toolbox 49

50 機械学習 / 一般物体認識機械学習ラベリング用のツール (Haar / HOG / LBP 特徴量 ) データベース一般物体認識 (Bag-of-Visual-Words) 類似画像検索 (Bag-of-Visual-Words) 検索対象 Computer Vision System Toolbox 50

51 高速動画ストリーミング処理 / 動き検出トラッキング動画の高速ストリーミング処理 / 動き検出動いている領域の検出車のカウントトラッキング Computer Vision System Toolbox 隠れている物体の位置予測誤検出の低減個々の物体の認識 ( 数量計測等 ) 51

連携機能 : 並列処理 GPGPU による高速大規模画像処理 Parallel Computing Toolbox TM 並列分散処理による高速化

Processing Toolboxの40 以上の関数 imrotate(), imfilter(), imdilate(), imerode(),

.. 既存 CUDAコードの取込み MATLAB Distributed Computing Server との併用によりコンピュータークラスタの使用が可能

52 連携機能 : 並列処理 GPGPU による高速大規模画像処理 Parallel Computing Toolbox TM 並列分散処理による高速化マルチコアマルチCPUによる並列高速処理 MATLAB 関数のGPUによる高速処理 2 次元 FFT 等 150 以上のMATLAB 基本関数 Image Processing Toolboxの40 以上の関数 imrotate(), imfilter(), imdilate(), imerode(), imopen(), imclose(), imtophat(), imbothat(), imshow()... 既存 CUDAコードの取込み MATLAB Distributed Computing Server との併用によりコンピュータークラスタの使用が可能サポートされる GPU (CUDA に対応した NVIDIA GPU) の要件 : 52

連携機能 : 様々な特徴量を用いたさらに複雑な機械学習 Statistics and

を用いた複数クラスの学習単純ベイズ分類器線形分類器 K 近傍分類器モデルの結合 (

53 連携機能 : 様々な特徴量を用いたさらに複雑な機械学習 Statistics and Machine Learning Toolbox TM 特徴変換主成分分析 (PCA) 因子分析クラスタリング階層クラスタリング K 平均クラスタリングガウス混合分布モデルクラシフィケーション ( 分類 ) サポートベクターマシン (SVM) SVM を用いた複数クラスの学習単純ベイズ分類器線形分類器 K 近傍分類器モデルの結合 ( アンサンブル学習 ) バギング (Tree Bagger 等 ) ブースティング (AdaBoost 等 ) 53

MATLAB ではじめる画像処理とロボットビジョン ~ 機械学習による物体認識と SLAM~ MathWorks Japan アプリケーションエンジニアリング部信号処理通信木川田亘 2015 The MathWorks, 1Inc.

MATLAB ではじめる画像処理とロボットビジョン ~ 機械学習による物体認識と SLAM~ MathWorks Japan アプリケーションエンジニアリング部信号処理通信木川田亘 2015 The MathWorks, 1Inc. ロボットビジョンとはロボットに搭載することを目的としたコンピュータービジョン技術の一分野標識認識などさまざまな環境下での物体認識や複雑なシーンの理解未知の領域を探索する際にロボット自身の位置推定と地図作成(SLAM)