医用画像を題材とした 3 次元画像解析とディープラーニング MathWorks Japan シニアアプリケーションエンジニア大塚慶太郎 kei.otsuka@mathworks.co.jp 2018 The MathWorks, Inc. 1
リリース毎に進化する MATLAB の機能 医用画像処理 自動運転 ロボティクス セキュリティ 3-D Image 3-D Vision SfM Point Clouds Calibration Vision Enhancement Modern Image Processing Object Detection & Recognition Deep Learning and Machine Learning 製造ライン & 外観検査 Algorithms Performance IPCV Algorithms (core) Code Generation Apps Embedded Vision 4
Image Processing Toolbox : 画像処理系関数の 3 次元対応 幾何学的変換 コントラスト補正 セグメンテーション Features MATLAB version Features MATLAB version Features MATLAB version imrotate3 17a imhist 17a global thresholding 17b imresize3 17a imadjust 17b adaptive thresholding 17b bwmorph3 18a histeq 17a fast marching 17a adapthisteq 17b active contour 17a File Format : NIfTI superpixels3 16b App : Volume Viewer App : DICOM Browser 画像解析 Features MATLAB Version edge3 17b regionprops3 17b bwselect3 17b imgradient3 16a 5
医用画像を題材とした 3 次元画像解析 3-D Volumetric Image Processing Demo : 胸部 3D CT スキャンデータから臓器抽出 イメージの領域分割 App を利用した初期輪郭の定義 動的輪郭を利用した肺の領域のセグメンテーション 抽出した領域に対するプロパティ解析で体積を測定 7
胸部 3D CT スキャンからの臓器抽出と体積計算 Image Processing Toolbox imresize3, imrotate3, activecontour など 3 次元ボリュームデータに対する関数追加 拡張 8
医用画像の確認 :DICOM/NIfTI 画像の読み取り Image Processing Toolbox DICOM ブラウザー DICOMファイルのプレビュー DICOMDIRファイルの読み取り 各種ビューワーへのエクスポート機能 ワークスペースへエクスポート ボリュームビューワーで表示 ビデオビューワーで表示 大量の DICOM ファイルの確認に便利 dicombrowser 10
大量画像の並列 バッチ処理 imagebatchprocessor Image Processing Toolbox Parallel Computing Toolbox MATLAB Distributed Computing Server コンピュータークラスターで分散実行 デスクトップコンピュータ コア コア 複数 CPU コアで並列実行 Parallel Computing Toolbox 入力画像出力画像 MATLAB 大量画像の処理を並列実行で高速処理 11
MATLAB による Deep Learning 試行錯誤のやりやすさ パフォーマンスの高さ 互換性の高い容易な実装 Access Data Design + Train Deploy 大規模データの管理 ラベリングの自動化 既存モデルへ容易にアクセス GPU を利用した高速化 クラスタ環境へのスケールアップ GPU Coder を利用した GPU, CPU 向け自動コード生成 12
医用画像を題材とした画像分類 Deep Learning for Image Classification Demo : 血液検査画像の分類 大量の画像データの取り扱い 事前学習済みネットワークの取得 転移学習 画像引用元 : アメリカ疾病予防管理センター (CDC, DPDx) より 13
SqueezeNet について AlexNet と同程度の分類精度 モデルサイズは 1/50 Fire Module ネットワークのパラメータを削減するために 3x3 filter を 1x1にする 3x3 filterの入力チャネル数を減らす ActivationsMap のサイズを維持するために Pooling は極力後段で 14
MATLAB によるディープラーニング CNN(Series Network) RCNN/FastRCNN/FasterRCNN Semantic Segmentation 画像分類 画像分類 & 位置特定 複数の物体の認識 セグメンテーション 15
医用画像を題材としたセグメンテーション Deep Learning for Semantic Segmentation Demo : 血液検査画像から病原虫が寄生しているエリアを抽出 専用 App を利用したラベリング ラベル画像の取り扱い SegNet の定義 ネットワークの評価 画像引用元 : アメリカ疾病予防管理センター (CDC, DPDx) より 16
画像分類のタスクからセグメンテーションへ 画像分類タスク 画像内の局所領域に対して認識 道路標識 〇 〇 17
Training Image Labeler App 面倒で手間のかかるラベリングも専用ツールで誰にでも簡単に行うことができます ドラッグして領域を定めラベルを選択 起動はアプリケーションタブにある上記のアイコンをクリックするだけ ラベルは自由に設定できます Pixel レベルのラベリングも容易 18
SegNet の定義 (1/2) ラベル画像用データストア作成 pxds = pixellabeldatastore(labeldir,classes,pixellabelid); SegNet の定義 lgraph = segnetlayers(imagesize, numclasses, 'vgg16'); 各ピクセルラベルの割合を計算 imagefreq = tbl.pixelcount./ tbl.imagepixelcount; classweights = median(imagefreq)./ imagefreq 計算した割合に基づき Pixel 分類レイヤを新規作成 pxlayer = pixelclassificationlayer('name','labels, 'ClassNames', tbl.name, 'ClassWeights', classweights) 19
SegNet の定義 (2/2) 作成したレイヤを結合 lgraph = removelayers(lgraph, 'pixellabels'); lgraph = addlayers(lgraph, pxlayer); lgraph = connectlayers(lgraph, 'softmax','labels'); ネットワーク構造可視化 figure, plot(lgraph) 20
Semantic Segmentation : 性能を示す指標について IoU(Intersection over Union) マゼンタ : GroundTruth 緑 : ネットワーク出力 IoU( 別名 Jaccard 係数 ) = 重なっている部分の面積 / マゼンタ + 緑の総面積 21
充実したヘルプ環境 逆引き形式 豊富な例題集 >>web(fullfile(docroot, 'nnet/examples.html')) >>web(fullfile(docroot, 'vision/examples.html')) 22
評価キットのご案内 画像処理関係の関数や機能紹介資料と 対応するサンプルプログラムがセットになった評価用キットを提供しています サンプルプログラム %% 輝度ベースの自動レジストレーション ( 位置合せ ) clear all; close all; clc; %% 2つの画像の読込 表示 orig = dicomread('knee1.dcm'); moving = dicomread('knee2.dcm'); figure; imshowpair(moving, orig, 'montage'); % 並べて表示 %% imshowpair(moving, orig);shg; % 重ねて表示 説明資料 %% 輝度ベースのレジストレーション実行 表示 [optimizer,metric] = imregconfig('multimodal'); % パラメタ設定 ( 別々のデバイス : 異なる輝度範囲 ) optimizer.maximumiterations = 150; % 反復回数 optimizer.initialradius = 0.002; % 初期検索範囲 https://sft.mathworks.com/human.aspx?r=&arg07=471196325&arg12=fileview Username : customer Password : MathWorks 23
MATLAB Central MATLAB/Simulink ユーザのオープンコミュニティー File Exchange MATLAB コード Simulink モデル ドキュメント等のフリーなファイルアップロード / ダウンロード ファイルの評価 コメント 質問の投稿 9,000 以上のファイル 一月あたり 400 以上の投稿 一日あたり 25,500 のダウンロード ニュースグループ ブログ MATLAB/Simulink に関する技術討論の場としてのウェブフォーラムやニュースグループ 製品開発に関する MathWorks 開発者からの投稿 blogs.mathworks.com にアクセスして下さい www.mathworks.com/matlabcentral 24
コンピュータービジョン ディープラーニング実装ソリューション 組み込み GPU への実装 デスクトップアプリケーション GPU Coder GPU Web/ エンタープライズアプリケーション 実装 / 配布 学習済みモデルのシェア 機器 デバイスへの実装 NVIDIA GPUs Intel Xeon Processors ARM CPUs 25
まとめ MATLAB 環境で画像処理が効率的に行えます 直感的なプログラミング 対話型の環境 豊富な関数やアプリケーションを組み合わせることで 画像処理を専門としていない方でもすぐに始められます アプリケーション作成機能 コード生成機能で結果を配布 展開することができます 製品ならではの充実したドキュメントや テクニカルサポートをお使い頂けます 世界中のユーザー様 研究者様が作成されたプログラムを利用することができます (MATLAB Central) MATLAB で研究開発のペースを加速! 27
2018 The MathWorks, Inc. MATLAB and Simulink are registered trademarks of The MathWorks, Inc. See www.mathworks.com/trademarks for a list of additional trademarks. Other product or brand names may be trademarks or registered trademarks of their respective holders. 28
画像処理 コンピュータービジョン Image Processing Toolbox コーナー 円検出 幾何学的変換 各種画像フィルタ処理 レジストレーション ( 位置合せ ) セグメンテーション ( 領域分割 ) 画像の領域の定量評価 Computer Vision System Toolbox カメラキャリブレーション 特徴点 特徴量抽出 機械学習による物体認識 動画ストリーミング処理 トラッキング ステレオビジョン 3D 表示 Image Acquisition Toolbox デバイスから画像 動画直接取り込み フレームグラバボード DCAM, Camera Link GigE Vision, Webカメラ Microsoft Kinect for Windows Automated Driving System Toolbox アルゴリズム開発の支援 センサーフュージョン コンピュータービジョン テスト 検証環境 Ground Truth Labeling App 可視化ツール バードビュー ( 鳥瞰図 ) 変換 29
Mean Squared Error (mse) 機械学習 並列化 高速化 Statistics and Machine Learning Toolbox 機械学習 多変量統計 確率分布 回帰と分散分析 実験計画 統計的工程管理 Neural Network Toolbox ニューラルネットワークの構築 学習 データフィッティング クラスタリング パターン認識 深層学習 GPUによる計算の高速化 Best Validation Performance is 0.01227 at epoch 26 10 0 Train Validation Test Best 10-1 10-2 10-3 0 5 10 15 20 25 30 32 Epochs Parallel Computing Toolbox MATLAB & Simulink と連携した並列処理 対話的な並列計算実行 GPGPU による高速演算 ジョブおよびタスクの制御 コンピュータ ローカル MATLAB デスクトップ MATLAB Distributed Computing Server クラスタによる計算環境を提供 Parallel Computing Toolbox MATLAB Distributed Computing Server Scheduler 30