Presentation Title - PDF 無料ダウンロード

基礎から始める機械学習深層学習 MathWorks Japan アプリケーションエンジニア井原瑞希 2018 The MathWorks, Inc. 1

Outline 機械学習の基礎教師あり学習と教師なし学習教師あり学習回帰と分類 Case1: 特徴が明確な場合の数値の分類ニューラルネットワーク以外の機械学習 Case2: 特徴が不明瞭な場合の信号分類ニューラルネットワーク Case3: 特徴が不明瞭な場合の信号データの異常検出オートエンコーダ Case4: 画像データの分類と異常検出 CNN と転移学習他のアルゴリズム 2

機械学習とは教師なし学習 data-driven クラスタリング 70.5 機械学習回帰教師あり学習 task-driven 連続値分類離散値良 / 可 / 不可 4

分類認識のタスク普通メール迷惑メールテキスト分類あ! 画像認識音声認識センサー分類 5

分類の流れラベル情報学習フェーズ入力テストフェーズ入力バイク船特徴抽出特徴抽出機械学習アルゴリズム分類モデルラベルの予測バイク 8

分類モデルの作成フローモデルの変更 No 得られた観測値モデルの作成モデルのクオリティは十分? Yes 未知サンプルに対する予測 9

例1: 成分からワインの種類を判別 Statistics and Machine Learning Toolbox ワインに含まれる成分からワインの種類の判別特徴量: リンゴ酸アルコール色など判別対象物: ワイン3種類課題どの機械学習手法を使用するべきか機械学習手法のハイパーパラメタはどう設定するか UCI Machine Learning Repository Wine Data Set https://archive.ics.uci.edu/ml/datasets/wine 機械学習で分類をする手法/アルゴリズムがたくさんありますがどれを選べば良いのでしょうか https://jp.mathworks.com/matlabcentral/answers/315669 10

アプリから機械学習の MATLAB コード作成 Statistics and Machine Learning Toolbox Parallel Computing Toolbox 分類/回帰学習器アプリデータを分類するためのモデル学習 GUI GUI 操作を MATLAB コードとして生成可能複数モデルを並列に学習可能 MATLAB プログラムの自動生成 11

ニューラルネットワークとは Weight 1 0 1-1 x 1 w 1 Transfer Function Logistic Sigmoid Tangent Sigmoid x 2 w 2 Σ f y 0 Rectified Linear Unit w n b x n Bias 1 y = f n w k x k + b k=1 13

ニューラルネットワークとは IW LW x 1 Σ f 1 Σ f 2 y 1 x 2 1 1 Σ f 1 Σ f 2 y 2 x 3 1 1 Σ f 1 Σ f 2 y 3 x 4 1 1 Layer 1 Layer 2 14

ニューラルネットワークによる予測入力層隠れ層出力層 1120.2 0.0057 0 犬 1953.1 0.0022 0 猫 1231.5 0.9746 1 うさぎ 0.0000 0 鶏 15

ニューラルネットワークの学習入力層隠れ層出力層 1120.2 0.0057 0 犬 1953.1 0.0022 0 猫 1231.5 0.9746 1 うさぎ 0.0000 0 鶏誤差逆伝搬 16

例 2: 人の活動状態の識別歩行 Classification 階段 - 上り階段 - 下り着席直立 Dataset courtesy of: Davide Anguita, Alessandro Ghio, Luca Oneto, Xavier Parra and Jorge L. Reyes-Ortiz. Human Activity Recognition on Smartphones using a Multiclass Hardware-Friendly Support Vector Machine. International Workshop of Ambient Assisted Living (IWAAL 2012). Vitoria-Gasteiz, Spain. Dec 2012 http://archive.ics.uci.edu/ml/datasets/human+activity+recognition+using+smartphones 寝る 17

例 2: 人の活動状態の識別 18

例 2: 人の活動状態の識別 3 軸の加速度センサーの情報から人の活動状態を識別階段? 歩行? 直立? 19

例 2: 人の活動状態の識別 1. 部分時系列を作成 (3 軸加速度センサーから窓幅 128 で切り出し ) 2. ニューラルネットワークを使用して活動状態を識別部分時系列 ( 窓幅 128) 128 points 20

例 2: 人の活動状態の識別 128 points x y 部分時系列 (384 = 128 * 3 次元 ) z 21

例 2: 人の活動状態の識別 Neural Network Toolbox 加速度センサーから人の活動状態を識別入力 : 384 次元部分時系列 ( 加速度 ) >> net = patternnet(20); >> net = train(net, x, t); >> t_hat = net(x); >> plotconfusion(t, t_hat) 出力 : 6 次元人の活動状態 ( ラベル ) 1 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 22

例 2: 人の活動状態の識別混合行列 2 層のニューラルネットワークオートエンコーダ 23

センサーデータからの異常検出心電図異常度 Keogh, E., Lin, J. and Fu, A. : HOT SAX : Efficiently Finding the Most Unusual Time Series Subsequence, in Proceedings of the Fifth IEEE International Conference on Data Mining, ICDM 05, pp.226-233 25

オートエンコーダによる異常検出正常な心電図から部分時系列を生成してオートエンコーダで学習 100 points 正常な心電図オートエンコーダ 26

オートエンコーダとはオートエンコーダネットワークが恒等写像になるように重みを学習 27

オートエンコーダによる異常検出オートエンコーダ元の正常な波形を再生するようにウェイトを学習 28

オートエンコーダによる異常検出正常な波形の場合は元の波形をきれいに再生するが異常な波形の場合はうまく再生できない! 異常な波形は正常な波形に戻そうとする正常な波形の場合異常な波形の場合 29

構造物の異常検出ある構造物に取り付けられた振動データの比較正常異常 30

例 3: 構造物ヘルスモニタリング実験装置 3 階建ての建物の模型 4ヶ所の加速度センサー 1 階部分に振動発生装置人工的な損傷状態の発生実験目的センサーによる異常検出 Reference: Figueiredo, E., Park, G., Figueiras, J., Farrar, C., & Worden, K. (2009). Structural Health Monitoring Algorithm Comparisons using Standard Data Sets. Los Alamos National Laboratory Report: LA-14393 31

例 3: 構造物ヘルスモニタリング Sensor #4 Sensor #3 柱の破損腐食など住民作業者など Sensor #2 Sensor #1 振動発生装置 Reference: Figueiredo, E., Park, G., Figueiras, J., Farrar, C., & Worden, K. (2009). Structural Health Monitoring Algorithm Comparisons using Standard Data Sets. Los Alamos National Laboratory Report: LA-14393 32

例 3: 構造物ヘルスモニタリング構造物の模型において次の条件を変化させていくつかの状態を作成各階への重量 (Mass) 柱の硬さの低減 (Stiffness reduction) State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD 上記 9 パターンのそれぞれで 10 回の実験を繰り返し合計 90 回の実験を行った 33

例 3: 構造物ヘルスモニタリング State #1 を正常データとして異常データが検知できるか調べたい State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD 正常データ異常データ 34

オートエンコーダによる異常検出正常な振動データから部分時系列を生成してオートエンコーダで学習 25 points 正常な振動データオートエンコーダ 35

オートエンコーダによる異常検出 Sensor #1 Sensor #1 オートエンコーダ Sensor #2 Sensor #2 Sensor #3 Sensor #3 Sensor #4 Sensor #4 36

オートエンコーダによる異常検出オートエンコーダから再構成誤差を算出 ch1 ch2 ch3 ch4 学習済みのオートエンコーダ ch1 ch2 ch3 ch4 ch1 ch1 ch1 e 1 ch2 ch3 - ch2 ch3 = ch2 ch3 二乗平均 e 2 e 3 ch4 ch4 ch4 e 4 元の振動データ再構成されたデータ再構成誤差平均二乗誤差 37

オートエンコーダによる異常検出正常データ 38

t-sne とは観測できない高次元データを低次元にマップする手法 ( 次元削減手法 ) t-sne 高次元空間 ( 特徴量など ) 低次元空間 (2 次元または 3 次元 ) 39

t-sne による異常データのクラスタリング State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD それぞれの異常がひとつのクラスタに対応している? 40

画像分類の応用例 : 株式会社大林組様風化変質 (4 分類 ) 割目間隔 (5 分類 ) 割目状態 (5 分類 ) AlexNet + SVM の転移学習割目状態では 89% の的中率大林組様プレスリリースより参照 http://www.obayashi.co.jp/press/news20170912_01 42

Neural Network Toolbox 畳み込みニューラルネットワーク (Convolutional Neural Networks) 畳み込みニューラルネットワーク CNN とは >> net.layers ans = 畳み込み層プーリング層などを積層したネットワーク分類回帰の課題に適用画像認識の分野で高い性能 11x1 Layer array with layers: 1 'imageinput' 2 'conv' 3 'relu' 4 'conv' 5 'relu' 6 'maxpool' 7 'conv' 8 'relu' 9 'fc' 10 'softmax' 11 'classoutput' Output Image Input Convolution ReLU Convolution ReLU Max Pooling Convolution ReLU Fully Connected Softmax Classification 43

畳み込みニューラルネットワーク (Convolutional Neural Networks) 畳み込み層正規化層最大プーリング層畳み込み層正規化層最大プーリング層全結合層全結合層 Softmax 層犬猫牛馬 44

畳み込みニューラルネットワークの主な層畳み込み層プーリング層層と層の間を一部のみ連結してウェイトを共有することでニューラルネットワークを用いて畳み込 45

畳み込みニューラルネットワークの主な層畳み込み層プーリング層 Convolution Layer( 畳み込み層 ) 画像のフィルタ処理に相当する処理特徴抽出器としての役割 Pooling Layer( プーリング層 ) 領域内の最大値または平均値を出力平行移動等に対するロバスト性に関係ストライドと呼ばれる間引きを行うこともある最大値を出力 : Max Pooling 平均値を出力 : Average Pooling 46

畳み込みニューラルネットワークの主な層活性化関数 - ReLU 層 (Rectified Linear Unit) Logistic Sigmoid のように値が飽和する関数より ReLU の方が学習が早く進行 47

例 4: 手書き文字の認識畳み込みニューラルネットによる手書き文字の認識 1 畳み込み層正規化層最大プーリング層畳み込み層正規化層最大プーリング層全結合層全結合層 Softmax 層 9 8 手書き文字 28 x 28 pixel 畳み込み層やプーリング層を積層化したネットワークを定義誤差逆伝搬法により学習 2 整数 (0-9) 48

畳み込みニューラルネットワークの構築と学習 28 28 ピクセルの画像 ( 数字 ) を認識させる例題でのネットワーク構築の例 layers = [... imageinputlayer([28 28 1], 'Normalization', 'none'); convolution2dlayer(5, 20); relulayer(); maxpooling2dlayer(2, 'Stride', 2); fullyconnectedlayer(10); softmaxlayer(); classificationlayer()]; opts = trainingoptions('sgdm', 'MaxEpochs', 50); net = trainnetwork(xtrain, TTrain, layers, opts); http://www.mathworks.com/help/releases/r2016a/nnet/ref/trainnetwork.html 49

畳み込みニューラルネットワーク AlexNet : ILSVRC2012 で優勝した CNN の構成画像からの特徴抽出特徴量の分類出力 Softmax 層全結合層全結合層全結合層最大プーリング層畳み込み層畳み込み層畳み込み層最大プーリング層正規化層畳み込み層最大プーリング層正規化層畳み込み層入力 50

転移学習転移学習とは学習済みのネットワークを他のタスクに転用 ImageNet 1000 個のカテゴリ Softmax 層全結合層全結合層全結合層最大プーリング層畳み込み層畳み込み層畳み込み層最大プーリング層正規化層畳み込み層最大プーリング層正規化層畳み込み層入力分類器 (SVM 等 ) 犬猫 51

転移学習の応用例見分けにくい画像の判別タンポポ (Dandelion) フキタンポポ (Colts Foot) 52

例5: 転移学習で抽出した特徴を使った異常検出異常度高異常度低 53

異常検出の手法 1-Class SVM データセット内に異常がどれくらい含まれているか既知の場合に有効 1-Class SVM 異常データを含むデータの例スコアの値が高い方が正常度が高い 54

画像分野におけるディープラーニングアルゴリズムの使い分け物体認識 ( 画像全体 ) 複数物体の検出と認識物体認識 ( ピクセル単位 ) CNN R-CNN Fast R-CNN Faster R-CNN SegNet FCN Dog Cat 56

例 1: CNN による物体判別 Training (GPU) Prediction Millions of images from 1000 different categories Real-time object recognition using a webcam connected to a laptop 57

例 2: R-CNN/Semantic Segmentation による複数物体の局所的判別 Regions with Convolutional Neural Network Features (R-CNN) Semantic Segmentation using SegNet 58

例 3: LSTM や CNN を使用した信号データの分類 / 判別 Signal Classification using LSTMs Speech Recognition using CNNs 59

Feature Map とは? 畳み込みニューラルネットワークの計算過程で出てくる畳み込みの出力画像からの特徴抽出畳み込み層正規化層最大プーリング層畳み込み層正規化層最大プーリング層畳み込み層畳み込み層畳み込み層最大プーリング層 ( 分類 ) 227 x 227 ピクセル単位の情報からエッジなどの空間情報を取り出しているプーリングの反復により位置に関する情報が粗くなってしまう 55 x 55 27 x 27 13 x 13 60

SegNet (Semantic Segmentation) Max Pooling 時の Index を転送して位置に関する情報を補充している Badrinarayanan, V., A. Kendall, and R. Cipolla. "Segnet: A deep convolutional encoder-decoder architecture for image segmentation." arxiv. Preprint arxiv: 1511.0051, 2015. 61

学習リソース 64

ディープラーニングによる物体認識ディープラーニング :10 行でできる転移学習 ~ 画像分類タスクに挑戦 ~ 学習した画像の種類 : オレンジみかんグレープフルーツ ( ルビー ) グレープフルーツ ( ホワイト ) レモン学習画像数 : 各 20 枚 Requirements: 要件を満たす PC&MATLAB 環境学習済み AlexNet 判別したい画像ファイルと 10 行のコーディングで始められます 65

製造現場で使える画像による異常検知 ~ キズありナットの発見 ~ https://www.youtube.com/watch?v=brnuygyombq 66

精度向上を手助けするサンプルプログラムたたみ込みニューラルネットワークの活性化の可視化ベイズ最適化を用いたディープラーニング https://www.mathworks.com/help/releases/r2017b/nnet/examples/ visualize-activations-of-a-convolutional-neural-network.html https://www.mathworks.com/help/releases/r2017b/nnet/exam ples/deep-learning-using-bayesian-optimization.html 67

実践的な学習を自分のペースでデータを読み解くための機械学習 - MATLAB でデータ解析の問題に立ち向かう https://jp.mathworks.com/videos/machine-learning-for- understanding-data-tackling-data-analytics-issues-with-matlab- 123658.html MATLAB Academy https://matlabacademy.mathworks.com/jp WEB ブラウザ上で MATLAB ディープラーニングの操作体験 68