スライド 1

Size: px

Start display at page:

Download "スライド 1"

よしじろうかむら
4 years ago
Views:

1 CNN を用いた弱教師学習による画像領域分割下田和, 柳井啓司電気通信大学大学院情報理工学研究科総合情報学専攻 c 2015 UEC Tokyo.

2 Convolutional Neural Network CNN クラス分類タスクにおいてトップの精度 CNN の応用 ( 物体位置の認識 ) 物体検出物体に BB を付与領域分割ピクセル単位の認識

CNN を用いた領域分割 CNN による完全教師ありのセグメンテーション SDS

3 CNN を用いた領域分割 CNN による完全教師ありのセグメンテーション SDS [Hariharan et al. ECCV2014] 領域候補のプロポーザル Fully Convolutional Neural network[long et al. CVPR2015] Upsampling + Deconvolution DeepLab[Chieh et al. ICLR2015], CRF as RNN[Zhen et al. ICCV 2015] FCN + グラフィカルモデル

4 完全教師あり学習ピクセル単位のアノテーションが必要 ( マスク画像 ) かなりの労力 ( コスト ) が必要ビッグデータとの相性が悪いアノテーション

5 CNNを用いた弱教師有り学習による領域分割 Back Propagation(BP)+ グラブカットによる領域分割 [Simonyan et al. ICLR 2014] 入力は学習済みCNNのモデルと画像のみピクセル単位の学習画像が不要 ( 弱教師有り学習 )

6 CNN の学習プロセス認識結果のエラーを最小化するための Weight を学習 SGD( 確率的勾配降下法 ) と BP( 誤差逆伝搬法 ) を用いる SGD -de/dw の方向に沿って重みを調整 BP derr/dw を各階層に伝搬 Forward W * Feature i Max class score: (ramen) derr/dw Error Backward

7 BP による認識の可視化エラーを最大に設定 derr/dw を画像レベルまで伝搬 derr/dimg Forward W * Feature Backward i derr/dw Max class score: (ramen) Error

8 BP から得られるサリエンシーマップ BP により得られた結果 (de/dimg) 画像の認識結果を正解に近づけるための結果強く反応した位置学習に用いた画像と共通している部分物体の位置の推定に繋がる RGB の最大値でグレースケールに変換 Original BP result (im lv) Object saliency map

9 Saliency map を用いたグラブカットグラフカットによる2クラス領域の拡張サリエンシーマップからシードを作成 Positive 領域 (upper 5% : 赤 ) Negative 領域 (lower 10% : 青 ) Other (yellow) Original Seed Grab cut result

10 プロポーザルによる改善 Weak ポイント接触物体の分離小物体の検出改良案 Rich feature CNN(RCNN) [Girshk et al 2014] 大量の領域を提案し全てCNNで認識大幅に精度が向上大量の領域をプロポーザルし全て領域分割

11 提案手法の流れ Selective Search(1) BB grouping(2) Back propagation(3) Saliency maps(4) Grab cut (5) NMS(6) Result

12 領域候補のプロポーザル Selective Search [Uijlings et al. IJCV] エッジ情報などから領域候補をプロポーザルする約 2000のBB 候補

13 Non Maximum Suppression(NMS) NMS アルゴリズム Cannyエッジの検出などに使われる基準値の高いエッジを元に先鋭化 BB の統合に応用 BBのCNNの認識結果を基準値にオーバーラップ率の高いBBを検出基準のBB 以外を除去繰り返し CNN が最大の値基準の BB

14 BB グルーピング BB グルーピング NMSアルゴリズムを応用 BBの面積を基準値にオーバーラップ率の高いBBを検出基準値のBBを含めて検出されたBBを1つのグループに面積が最大の領域候補を基準 BB にグループ

15 実験 (1) 複数食品画像 (UEC-Food 100) 1175 枚バウンディングボックスのみのアノテーション (2) Pascal VOC 2012 領域のアノテーションー領域のアノテーション

16 CNN の学習 ( 食事画像 ) 食事画像の CNN モデル (alex net) ImageNet による pre-train 一般画像食事系列画像 1000 クラス UECFOOD101 による fine-tuning(bb アノテーション有り ) 食事画像 100 クラス Top % Top %

17 領域分割結果 1 成功例

18 領域分割結果 2 失敗例

19 UEC FOOD における物体検出の評価物体検出の精度を評価 (BB level) RCNNとの比較 RCNNは小領域を検出領域分割により一貫性のある領域に絞られた? Method 100クラス Num>0 53 クラス Num>10 11 クラス Num>50 RCNN Ours RCNN Ours

20 領域分割結果を利用したカロリー推定味噌汁などの面積の変化が少ないと考えられる食事クラスを基準にして領域面積からカロリーを計算

21 (2) Pascal 分類における CNN の学習 Pascal の CNN モデル ( 一般公開済みの RCNN のモデル ) ImageNet による pre-train 一般画像 1000 クラス Pascal voc による fine-tuning (BB アノテーション有り ) Pascal voc 2012, 20クラスプロポーザルによる学習画像の拡張

22 (2) Pascal VOC における領域分割の評価 PASCAL VOC 2012 一般的な物体 20 class ( バス, 犬, etc) 領域分割の精度評価 (pixel level) Method 完全教師有り学習 Mean IU SDS[3] 51.6 FCN[4] 62.2 弱教師有り学習 Ours 36.4 Pedro-seg[5] 40.6

23 精度改善についての試み CNN おおよその位置を推定グラフィカルモデルエッジを検出

24 CNN によるおおよその位置推定の改善 Guided Back Propagation(GBP) BP から Relu の処理を変更 Relu (back ward) BP GBP (x : 入力 (CNN 特徴 ) y : 出力, dz : 伝搬値 ) Original BP GBP BP+ GBP

25 グラフィカルモデルの改善グラフィカルモデル単項 Gaussian mixture model(gmm)+seed 領域平滑化項ピクセル間の結びつきエッジを利用 GMM+seed Y edge X edge

26 単項に渡す seed 領域を変更 GMM+ seed GMM+fix 値 GMM+map 値サリエンシーマップの情報量を活かす関数による変換結果 mask x Tanh(x) X^2

27 result

28 まとめ CNN に基づいた領域分割を行った食事画像と一般物体画像について手法を適用した Future work Super pixels + グラフィカルモデル (GMM が不要 )

Slide 1

ハンズオン受講の為の準備講座これから始める人の為のディープラーニング基礎講座村上真奈 NVIDIA CUDA & Deep Learning Solution Architect NVIDIA Corporation 1 機械学習とディープラーニングの関係 AGENDA ディープラーニングとは? ニューラルネットワークの構造ディープラーニングの学習とは畳み込みニューラルネットワーク午後に予定しているハンズオンの為の基礎講座ディープラーニングをこれから始める方を対象に基礎概念や用語の解説を行います