医用画像を題材とした3次元画像解析とディープラーニング

Size: px

Start display at page:

Download "医用画像を題材とした3次元画像解析とディープラーニング"

しょうぶつなかわ
5 years ago
Views:

1 医用画像を題材とした 3 次元画像解析とディープラーニング MathWorks Japan シニアアプリケーションエンジニア大塚慶太郎 kei.otsuka@mathworks.co.jp 2018 The MathWorks, Inc. 1

2 リリース毎に進化する MATLAB の機能医用画像処理自動運転ロボティクスセキュリティ 3-D Image 3-D Vision SfM Point Clouds Calibration Vision Enhancement Modern Image Processing Object Detection & Recognition Deep Learning and Machine Learning 製造ライン & 外観検査 Algorithms Performance IPCV Algorithms (core) Code Generation Apps Embedded Vision 4

thresholding 17b bwmorph3 18a histeq 17a fast marching 17a adapthisteq 17b active contour 17a File Format : NIfTI

3 Image Processing Toolbox : 画像処理系関数の 3 次元対応幾何学的変換コントラスト補正セグメンテーション Features MATLAB version Features MATLAB version Features MATLAB version imrotate3 17a imhist 17a global thresholding 17b imresize3 17a imadjust 17b adaptive thresholding 17b bwmorph3 18a histeq 17a fast marching 17a adapthisteq 17b active contour 17a File Format : NIfTI superpixels3 16b App : Volume Viewer App : DICOM Browser 画像解析 Features MATLAB Version edge3 17b regionprops3 17b bwselect3 17b imgradient3 16a 5

4 医用画像を題材とした 3 次元画像解析 3-D Volumetric Image Processing Demo : 胸部 3D CT スキャンデータから臓器抽出イメージの領域分割 App を利用した初期輪郭の定義動的輪郭を利用した肺の領域のセグメンテーション抽出した領域に対するプロパティ解析で体積を測定 7

5 胸部 3D CT スキャンからの臓器抽出と体積計算 Image Processing Toolbox imresize3, imrotate3, activecontour など 3 次元ボリュームデータに対する関数追加拡張 8

6 医用画像の確認 :DICOM/NIfTI 画像の読み取り Image Processing Toolbox DICOM ブラウザー DICOMファイルのプレビュー DICOMDIRファイルの読み取り各種ビューワーへのエクスポート機能ワークスペースへエクスポートボリュームビューワーで表示ビデオビューワーで表示大量の DICOM ファイルの確認に便利 dicombrowser 10

7 大量画像の並列バッチ処理 imagebatchprocessor Image Processing Toolbox Parallel Computing Toolbox MATLAB Distributed Computing Server コンピュータークラスターで分散実行デスクトップコンピュータコアコア複数 CPU コアで並列実行 Parallel Computing Toolbox 入力画像出力画像 MATLAB 大量画像の処理を並列実行で高速処理 11

大規模データの管理ラベリングの自動化既存モデルへ容易にアクセス GPU を利用した高速化

8 MATLAB による Deep Learning 試行錯誤のやりやすさパフォーマンスの高さ互換性の高い容易な実装 Access Data Design + Train Deploy 大規模データの管理ラベリングの自動化既存モデルへ容易にアクセス GPU を利用した高速化クラスタ環境へのスケールアップ GPU Coder を利用した GPU, CPU 向け自動コード生成 12

9 医用画像を題材とした画像分類 Deep Learning for Image Classification Demo : 血液検査画像の分類大量の画像データの取り扱い事前学習済みネットワークの取得転移学習画像引用元 : アメリカ疾病予防管理センター (CDC, DPDx) より 13

10 SqueezeNet について AlexNet と同程度の分類精度モデルサイズは 1/50 Fire Module ネットワークのパラメータを削減するために 3x3 filter を 1x1にする 3x3 filterの入力チャネル数を減らす ActivationsMap のサイズを維持するために Pooling は極力後段で 14

11 MATLAB によるディープラーニング CNN(Series Network) RCNN/FastRCNN/FasterRCNN Semantic Segmentation 画像分類画像分類 & 位置特定複数の物体の認識セグメンテーション 15

12 医用画像を題材としたセグメンテーション Deep Learning for Semantic Segmentation Demo : 血液検査画像から病原虫が寄生しているエリアを抽出専用 App を利用したラベリングラベル画像の取り扱い SegNet の定義ネットワークの評価画像引用元 : アメリカ疾病予防管理センター (CDC, DPDx) より 16

13 画像分類のタスクからセグメンテーションへ画像分類タスク画像内の局所領域に対して認識道路標識〇〇 17

14 Training Image Labeler App 面倒で手間のかかるラベリングも専用ツールで誰にでも簡単に行うことができますドラッグして領域を定めラベルを選択起動はアプリケーションタブにある上記のアイコンをクリックするだけラベルは自由に設定できます Pixel レベルのラベリングも容易 18

15 SegNet の定義 (1/2) ラベル画像用データストア作成 pxds = pixellabeldatastore(labeldir,classes,pixellabelid); SegNet の定義 lgraph = segnetlayers(imagesize, numclasses, 'vgg16'); 各ピクセルラベルの割合を計算 imagefreq = tbl.pixelcount./ tbl.imagepixelcount; classweights = median(imagefreq)./ imagefreq 計算した割合に基づき Pixel 分類レイヤを新規作成 pxlayer = pixelclassificationlayer('name','labels, 'ClassNames', tbl.name, 'ClassWeights', classweights) 19

16 SegNet の定義 (2/2) 作成したレイヤを結合 lgraph = removelayers(lgraph, 'pixellabels'); lgraph = addlayers(lgraph, pxlayer); lgraph = connectlayers(lgraph, 'softmax','labels'); ネットワーク構造可視化 figure, plot(lgraph) 20

17 Semantic Segmentation : 性能を示す指標について IoU(Intersection over Union) マゼンタ : GroundTruth 緑 : ネットワーク出力 IoU( 別名 Jaccard 係数 ) = 重なっている部分の面積 / マゼンタ + 緑の総面積 21

18 充実したヘルプ環境逆引き形式豊富な例題集 >>web(fullfile(docroot, 'nnet/examples.html')) >>web(fullfile(docroot, 'vision/examples.html')) 22

評価キットのご案内画像処理関係の関数や機能紹介資料と対応するサンプルプログラムがセットになった評価用キットを提供していますサンプルプログラム %% 輝度ベースの自動レジストレーション ( 位置合せ ) clear all; close all; clc; %% 2つの画像の読込表示 orig =

dcm'); figure; imshowpair(moving, orig, 'montage'); % 並べて表示 %% imshowpair(moving, orig);shg; % 重ねて表示説明資料 %% 輝度ベースのレジストレーション実行表示 [optimizer,metric] =

19 評価キットのご案内画像処理関係の関数や機能紹介資料と対応するサンプルプログラムがセットになった評価用キットを提供していますサンプルプログラム %% 輝度ベースの自動レジストレーション ( 位置合せ ) clear all; close all; clc; %% 2つの画像の読込表示 orig = dicomread('knee1.dcm'); moving = dicomread('knee2.dcm'); figure; imshowpair(moving, orig, 'montage'); % 並べて表示 %% imshowpair(moving, orig);shg; % 重ねて表示説明資料 %% 輝度ベースのレジストレーション実行表示 [optimizer,metric] = imregconfig('multimodal'); % パラメタ設定 ( 別々のデバイス : 異なる輝度範囲 ) optimizer.maximumiterations = 150; % 反復回数 optimizer.initialradius = 0.002; % 初期検索範囲 Username : customer Password : MathWorks 23

MATLAB Central MATLAB/Simulink ユーザのオープンコミュニティー File Exchange MATLAB コード Simulink モデルドキュメント等のフリーなファイルアップロード / ダウンロードファイルの評価コメント質問の投稿 9,000 以上のファイル一月あたり 400 以上の投稿

20 MATLAB Central MATLAB/Simulink ユーザのオープンコミュニティー File Exchange MATLAB コード Simulink モデルドキュメント等のフリーなファイルアップロード / ダウンロードファイルの評価コメント質問の投稿 9,000 以上のファイル一月あたり 400 以上の投稿一日あたり 25,500 のダウンロードニュースグループブログ MATLAB/Simulink に関する技術討論の場としてのウェブフォーラムやニュースグループ製品開発に関する MathWorks 開発者からの投稿 blogs.mathworks.com にアクセスして下さい 24

21 コンピュータービジョンディープラーニング実装ソリューション組み込み GPU への実装デスクトップアプリケーション GPU Coder GPU Web/ エンタープライズアプリケーション実装 / 配布学習済みモデルのシェア機器デバイスへの実装 NVIDIA GPUs Intel Xeon Processors ARM CPUs 25

アプリケーション作成機能コード生成機能で結果を配布展開することができます製品ならではの充実したドキュメントや

22 まとめ MATLAB 環境で画像処理が効率的に行えます直感的なプログラミング対話型の環境豊富な関数やアプリケーションを組み合わせることで画像処理を専門としていない方でもすぐに始められますアプリケーション作成機能コード生成機能で結果を配布展開することができます製品ならではの充実したドキュメントやテクニカルサポートをお使い頂けます世界中のユーザー様研究者様が作成されたプログラムを利用することができます (MATLAB Central) MATLAB で研究開発のペースを加速! 27

2018 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc. See www.mathworks.

23 2018 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc. See for a list of additional trademarks. Other product or brand names may be trademarks or registered trademarks of their respective holders. 28

24 画像処理コンピュータービジョン Image Processing Toolbox コーナー円検出幾何学的変換各種画像フィルタ処理レジストレーション ( 位置合せ ) セグメンテーション ( 領域分割 ) 画像の領域の定量評価 Computer Vision System Toolbox カメラキャリブレーション特徴点特徴量抽出機械学習による物体認識動画ストリーミング処理トラッキングステレオビジョン 3D 表示 Image Acquisition Toolbox デバイスから画像動画直接取り込みフレームグラバボード DCAM, Camera Link GigE Vision, Webカメラ Microsoft Kinect for Windows Automated Driving System Toolbox アルゴリズム開発の支援センサーフュージョンコンピュータービジョンテスト検証環境 Ground Truth Labeling App 可視化ツールバードビュー ( 鳥瞰図 ) 変換 29

25 Mean Squared Error (mse) 機械学習並列化高速化 Statistics and Machine Learning Toolbox 機械学習多変量統計確率分布回帰と分散分析実験計画統計的工程管理 Neural Network Toolbox ニューラルネットワークの構築学習データフィッティングクラスタリングパターン認識深層学習 GPUによる計算の高速化 Best Validation Performance is at epoch Train Validation Test Best Epochs Parallel Computing Toolbox MATLAB & Simulink と連携した並列処理対話的な並列計算実行 GPGPU による高速演算ジョブおよびタスクの制御コンピュータローカル MATLAB デスクトップ MATLAB Distributed Computing Server クラスタによる計算環境を提供 Parallel Computing Toolbox MATLAB Distributed Computing Server Scheduler 30

ディープラーニングの組み込み機器実装ソリューション ~GPC/CPU編~

ディープラーニングの組み込み機器実装ソリューション ~GPC/CPU編~ ディープラーニングの組み込み機器実装ソリューション ~GPU/CPU 編 ~ MathWorks Japan アプリケーションエンジニアリング部大塚慶太郎 Kei.Otsuka@mathworks.co.jp 2018 The MathWorks, Inc. 1 自動運転 : 車歩行者等の物体認識白線検出組み込み GPU への実装モデル GPU 実装 / 配布 3 医用画像 : 腫瘍等特定の部位の検出