DA シンポジウム Design Automation Symposium DAS /8/30 CNN SVM 1,a) 1 2 Bisser Raytchev Narrow Band Imaging (NBI) Convolutional Neural Netw

Size: px

Start display at page:

Download "DA シンポジウム Design Automation Symposium DAS /8/30 CNN SVM 1,a) 1 2 Bisser Raytchev Narrow Band Imaging (NBI) Convolutional Neural Netw"

のぶのすけやたけ
4 years ago
Views:

1 CNN SVM 1,a) 1 2 Bisser Raytchev Narrow Band Imaging (NBI) Convolutional Neural Network (CNN) Support Vector Machine (SVM) Bag-of-Features (BoF) CNN SVM 90% Classification Method for Real-Time NBI Colorectal Endoscopic Images with CNN features and SVM Takumi Okamoto 1,a) Tetsushi Koide 1 Toru Tamaki 2 Bisser Raytchev 2 Kazufumi Kaneda 2 Shigeto Yoshida 3 Hiroshi Mieno 3 Shinji Tanaka 4 Abstract: This paper intoroduce a classification method for real-time Narrow-Band Imaging (NBI) colorectal endoscopic images with Convolutional Neural Network (CNN) and Support Vector Machine (SVM) as a Computer-Aided Diagnosis (CAD) system. The proposed method using the result of pre-learned CNN as a feature extraction module on BoF framework and SVM inputs the result for classification. We estimated identification accuracy compare with the BoF framework and the proposed method. As an estimation result, we achieved that the proposed method can identify cancer or not with about 90% accuracy. 1.,. 1 Research Institute for Nanodevice and Bio Systems, Hiroshima University 2 Graduate School of Engineering, Hiroshima University 3 JR Department of Gastroenterology Hiroshima General Hospital of West Japan Railway Company 4 Department of Endoscopy and Medicine Graduate School of Biomedical and Health Science, Hiroshima University a) koide-lab-info@ml.hiroshima-u.ac.jp,nbi(narrow Band Imaging) NBI. (Computer-Aided Diagnosis: CAD) [1], [2] [3] [4] [5] NBI 27

DAシンポジウム経て統合された JNET 分類 [6] に基づき大腸内視鏡画によって識別を行う像を図 1 に示す４タイプのうち３つの病理タイプ (Type 学習フェーズでは学習用に準備した画像と画像に対応 1, Type 2A, Type 3) に分類する大腸 NBI 拡大内視鏡画像したラベル病理タイプの情報を用いて学習を行う画像診断支援システムの実現を目指している

Support Vector (SV) を決定する識別フェーズでは入力された内視鏡映像のフレームから特徴量を抽出し得られた特徴量群を VW と照合して出現頻度によるヒストグラムを作成しヒストグラムデータに対してタイプ識別を行い結果を表示する図 1 JNET 分類 [6].

2 DAシンポジウム経て統合された JNET 分類 [6] に基づき大腸内視鏡画によって識別を行う像を図 1 に示す４タイプのうち３つの病理タイプ (Type 学習フェーズでは学習用に準備した画像と画像に対応 1, Type 2A, Type 3) に分類する大腸 NBI 拡大内視鏡画像したラベル病理タイプの情報を用いて学習を行う画像診断支援システムの実現を目指しているから特徴量を抽出し各タイプ 256(= 28 ) 個のクラスタにクラスタリングを行い各クラスタの中心を Visual-Word VW として保存しておくそして学習用画像から抽出した特徴量から VW の出現頻度である VW ヒストグラムを作成する作成した VW ヒストグラムをタイプ識別部の Support Vector Machine へと入力し識別フェーズで必要な Support Vector (SV) を決定する識別フェーズでは入力された内視鏡映像のフレームから特徴量を抽出し得られた特徴量群を VW と照合して出現頻度によるヒストグラムを作成しヒストグラムデータに対してタイプ識別を行い結果を表示する図 1 JNET 分類 [6]. 研究グループによりシステムアルゴリズムの有用性に関診断支援システムに求められる医療現場からの要求性能する評価を行った結果腫瘍非腫瘍の識別に有用性が確として (I) 高速性と即応性 (スループット 1 5 fps かつ認できている [11] 図 3 にその評価結果を示す SVM のレイテンシ１秒以内) (II) 高い識別精度 (腫瘍部位かあ学習に Type 1 非腫瘍の画像 504 枚 Type 2A と 3 腫るいは非腫瘍部位であるかの診断結果が医師による診断瘍の画像 1743 枚を使用し病理組織診断が得られた 118 結果と 90%以上一致すること) が求められているこれま症例の内視鏡観察時の画像をテストとして用いた識別結でに我々研究グループはソフトウェア実装による診断支援果は SVM の出力値 SVM output value によって得られシステムを開発しており大腸 NBI 拡大内視鏡画像中央の現在のシステムカットオフ値である 0.5 を境に腫瘍非腫 pixel 領域に対し処理速度 14.7 fps を達成し正瘍の識別が可能であることが確認できている診率約 97%を達成している [7] またシステムの主要処理部に関して FPGA への実装に向けたハードウェアアルゴリズムの提案実装評価を行いリアルタイム処理が可能であることを示している [8], [9], [10] 以下 2 節にてこれまで研究グループで提案されている Bag-of-Features (BoF) に基づいた診断支援システムの概要について説明する 3 節にて Convolutional Neural Net- work (CNN) の計算結果を特徴量として利用した Support Vector Machine (SVM) による大腸 NBI 拡大内視鏡画像がん診断支援を提案する 4 節で提案手法の識別精度検証について述べ 5 節で結論を述べる 2. Bag-of-Features に基づく内視鏡画像診断支援システム図 2 BoF に基づく大腸 NBI 拡大内視鏡画像がん診断支援システム. 本節ではこれまでに研究グループで提案されてきた Bag-of-Features (BoF) に基づいた大腸 NBI 拡大内視鏡画像診断支援システムについて述べるシステムの概要を図 2 に示すオフラインで行う学習 2.1 Support Vector Machine (SVM) Support Vector Machine (SVM) は教師あり学習により 2 クラス分類アルゴリズムの一つである SVM は学習学習結果を基にオンラインで実行する識別の２つのフェーを行うことで識別空間において正と負の 2 タイプの距離ズが存在するシステムは (1) 特徴抽出部 (2) 特徴変換マージンが最大となるような識別超平面を決定するそ部 (3) タイプ識別部の３つのモジュールに大きく分けるの後新たに入力されるデータが識別超平面を境界として正ことができるシステムは Bag-of-Features BoF と呼ばと負のどちら側に位置するのかを識別関数を計算することれる手法に基づいて識別を行っている BoF とは文書検索により判断する特徴として入力空間を高次元特徴空間を画像に応用した手法で画像の局所特徴量によって得らに写像することにより線形分離不可能な問題にも適用可能れる特徴量ベクトルを１つの単語と見做しその出現頻度であることが挙げられるカーネルトリック本稿にお c 28

3 Q 値 ( 有意確率 ) ž mõë 5ZQF 5ZQF"BOE 4*'5 ² åp œž $VUPGGW 症例症例症例 VF ž Äh q x«í Õ 病理組織学診断結果と 3 SVM [11]. 4 2 (AlexNet [14] ) SVM (1) (1) 1000 CNN Type 1 1 f 1: 1( x) = N 1+N 1 i=1 coef i ( sv i x) + ρ 1: 1 (1) sv i (Support Vector (SV)) BoF sv i x 512 Visual Word coef i sv ρ 1: 1 N 1 N SV SVM LIBSVM [12] LI- BLINEAR [13] 3. CNN SVM BoF Convolutional Neural Network (CNN) SVM 4 BoF CNN SVM 8 CNN AlexNet [14] AlexNet Large Scale Visual Recognition Challenge 2012(ILSVRC2012) ImageNet 1000 Cadence [15] AlexNet pixel Pooling 1000 Type 1, 2A, 3 AlexNet AlexNet 1000 SVM Type 1, 2A, 3 Visual Word AlexNet SVM VW AlexNet 4. 3 CNN SVM Ubuntu Caffe [16] CNN AlexNet SVM LIBSVM 29

DAシンポジウム図 9 図 5 の画像を入力とした場合の図 5 Type 1 の画像を入力した際の AlexNet の上位 5 カテゴリ.

図 10 図 6 の画像を入力とした場合の Visual Word ヒストグラムと AlexNet の出力値一例.

図 11 図 7 の画像を入力とした場合の Visual Word ヒストグラムと AlexNet の出力値の一例.

度回転させたものを未学習のテスト用の画像として用いる図 8 Type 1, 2A, 3 それぞれの枚数内訳と各タイプの画像 AlexNet のアーキテクチャ図 [14].

4 DAシンポジウム図 9 図 5 の画像を入力とした場合の図 5 Type 1 の画像を入力した際の AlexNet の上位 5 カテゴリ. 図 6 Type 2A の画像を入力した際の AlexNet の上位 5 カテゴリ. Visual Word ヒストグラムと AlexNet の出力値一例. 図 10 図 6 の画像を入力とした場合の Visual Word ヒストグラムと AlexNet の出力値一例. 図 7 Type 3 の画像を入力した際の AlexNet の上位 5 カテゴリ. 図 11 図 7 の画像を入力とした場合の Visual Word ヒストグラムと AlexNet の出力値の一例. 診断時に撮影収集された NBI 拡大内視鏡画像から病理タイプの特徴が明確に確認できる領域を矩形にトリミングした 908 枚の画像を用いるこの 908 枚の画像を学習し右へ 90 度回転させたものを未学習のテスト用の画像として用いる図 8 Type 1, 2A, 3 それぞれの枚数内訳と各タイプの画像 AlexNet のアーキテクチャ図 [14]. の例を図 12 に示す LIBLINEAR を用いた場合とを比較する LIBLINEAR は線形カーネルのみに対応し処理高速化を図ったもので式 (2) に示すようにサポートベクトルの生成を不要とし各次元の重み係数 coef を学習により決定する f1:1 ( x) = dims. coefi xi (dims. = 1000) (2) i=1 4.1 学習およびテスト用画像データセット図 12 大腸 NBI 拡大内視鏡画像データセット広島大学病院提供本稿では広島大学病院にて専門医師により大腸内視鏡 c 30

4.2 SVM LIBSVM LIBLINEAR LIBSVM 2 362 1000 1 double 64 bit 362 1000 64 = 2.7 MB LIBLINEAR Logistic 1000 1000 64 = 7.8KB 3 Type 1 Type 2A 3 ( 1 ) Type 2A 3 2 LIBLINEAR SVM2 3 4.

5 4.2 SVM LIBSVM LIBLINEAR LIBSVM double 64 bit = 2.7 MB LIBLINEAR Logistic = 7.8KB 3 Type 1 Type 2A 3 ( 1 ) Type 2A 3 2 LIBLINEAR SVM True Positive Precision Rate True Positive (3) Precision Rate (4) Type 1 1 Type 2A Type SVM Type True Positive Precision Rate 5ZQF"WT â 5ZQF " 5SVF 1PTJUJWF F Q " / "" / " 51 " Š Z 5 / " / 51 1SFDJTJPO3BUF 13 " Type 2A 3 True Positive (TP), Precision Rate (PR) Rate 15 Type 1 vs Type 1 vs 1 LIBLINEAR Type 1 Precision Rate 89.3% 90% LIBSVM 90% LIBSVM LIBLINEAR DSP CNN SVM [17] T rue P ositive(x 1, 1, 2A, 3)) = N x:x y=1, 1,2A,3 N x:y (3) 15 Type 1 vs 1 P recision Rate(x 1, 1, 2A, 3)) = N x:x y=1, 1,2A,3 N y:x (4) 5ZQFWT " â 5ZQF 5SVF é é 1PTJUJWF F Q é / / 51 Š Z 5 é / / 51 1SFDJTJPO3BUF Type 1 1 True Positive (TP), Precision Rate (PR) Type 1 vs True Positive, Precision NBI BoF 31

6 CNN SVM CNN SVM NBI 90% CNN JSPS (16J06130) JSPS (B) JSPS (B) 17H01714,, AlexNet [1] H. Machida, Y. Sano, Y. Hamamoto, M. Muto, T. Kozu, H. Tajiri, and S. Yoshida, Narrow-Band Imaging in the Diagnosis of Colorectal Mucosal Lesions : a pilot study., Endoscopy, vol.36(12): , [2] H. Ikematsu, T. Matsuda, F. Emura, Y. Saito, T. Uraoka, K.I. Fu, K. Kaneko, A. Ochiai, T. Fujimori, and Y. Sano, Efficacy of Capillary Pattern type IIIA/IIIB by Magnifying Narrow Band Imaging for Estimating Depth of Invasion of Early Colorectal Neoplasms, BioMed Central (BMC) Gastroenterology, [3] H. Kanao, S. Tanaka, S. Oka, M. Hirata, S. Yoshida, and K. Chayama, Narrow-Band Imaging Magnification Predicts The Histology and Invasion Depth of Colorectal Tumors, Gastrointestinal Endoscopy, vol.69, no.3, pp , mar [4] Y. Wada, S. ei Kudo, H. Kashida, N. Ikehara, H. Inoue, F. Yamamura, K. Ohtsuka, and S. Hamatani, Diagnosis of Colorectal lesions with the Magnifying Narrow-Band Imaging System, Gastrointestial Endoscopy, vol.70, [5] T. Nikami, S. Saito, H. Tajiri, and M. Ikegami, The Evaluation of Histological Atypia and Depth of Invasion of Colorectal Lesions using Magnified Endoscopy with Narrow-Band Imaging, Gastrointestial Endoscopy, vol.51, [6] Y. Sano et al., Narrow-Band Imaging (NBI) Magnifying Endoscopic Classification of Colorectal Tumors Proposed by the Japan NBI Expert Team, Digestive Endoscopy, vol.28, [7] T. Tamaki, J. Yoshimuta, M. Kawakami, B. Raytchev, K. Kaneda, S. Yoshida, Y. Takemura, K. Onji, R. Miyaki, and S. Tanaka, Computer-Aided Colorectal Tumor Classification in NBI Endoscopy using Local Features, Medical Image Analysis, vol.17, no.1, pp , jan [8] T. Okamoto, T. Koide, A.T. Hoang, T. Shimizu, K. Sugi, T. Tamaki, T. Hirakawa, B. Raytchev, K. Kaneda, S. Yoshida, H. Mieno, and S. Tanaka, An FPGA Implementation of SVM for Type Identification with Colorectal Endoscopic Images, Proceedings of the 20th Workshop on Synthesis And System Integration of Mixed Information technologies (SASIMI 2016), pp.81 86, [9] T. Koide, T. Okamoto, T. Shimizu, K. Sugi, A.T. Hoang, T. Tamaki, B. Raytchev, K. Kaneda, S.Y. ands Hiroshi Mieno, and S. Tanaka, Compact and High-Speed Hardware Feature Extraction Accelerator for Dense Scale-Invariant Feature Transform, Proceedings of the 31st International Technical Conference on Circuits/Systems, Computers and Communications (ITC- CSCC2016), pp , [10] T. Koide, T. Okamoto, K. Sugi, T. Shimizu, A.T. Hoang, T. Tamaki, B. Raytchev, K. Kaneda, S.Y. ands Hiroshi Mieno, and S. Tanaka, A Hardware Accelerator for Bag-of Features based Visual Word Transformation in Computer Aided Diagnosis for Colorectal Endoscopic Images, Proceedings of the 31st International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC2016), pp , [11] Y. Kominami, S. Yoshida, S. Tanaka, Y. Sanomura, T. Hirakawa, B. Raytchev, T. Tamaki, T. Koide, K. Kaneda, and K. Chayama, Computer-Aided Diagnosis of Colorectal Polyp Histology by using a Real-Time Image Recognition System and Narrow-Band Imaging Magnifying Colonoscopy, Gastrointestinal Endoscopy, [12] C.C. Chang and C.J. Lin, LIBSVM: A library for support vector machines, ACM Transactions on Intelligent Systems and Technology, vol.2, pp.27:1 27:27, [13] R.E. Fan, K.W. Chang, C.J. Hsieh, X.R. Wang, and C.J. Lin, LIBLINEAR: A Library for Large Linear Classification, Journal of Machine Learning Research, vol.9, pp , [14] A. Krizhevsky, I. Sutskever, and G.E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, in Advances in Neural Information Processing Systems 25, ed. F. Pereira, C.J.C. Burges, L. Bottou, and K.Q. Weinberger, pp , Curran Associates, Inc., [15] G. Efland, S. Parikh, H. Sanghavi, and A. Farooqui, High Performance DSP for Vision, Imaging and Neural Networks, IEEE Hot Chips 2016, [16] Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell, Caffe: Convolutional Architecture for Fast Feature Embedding, arxiv preprint arxiv: , [17],,, Bisser Raytchev,,,,,,,,, and, CNN SVM DSP, DA 2017,

IPSJ SIG Technical Report Vol.2010-CVIM-170 No /1/ Visual Recognition of Wire Harnesses for Automated Wiring Masaki Yoneda, 1 Ta

IPSJ SIG Technical Report Vol.2010-CVIM-170 No /1/ Visual Recognition of Wire Harnesses for Automated Wiring Masaki Yoneda, 1 Ta 1 1 1 1 2 1. Visual Recognition of Wire Harnesses for Automated Wiring Masaki Yoneda, 1 Takayuki Okatani 1 and Koichiro Deguchi 1 This paper presents a method for recognizing the pose of a wire harness