Presentation Title

Size: px

Start display at page:

Download "Presentation Title"

みいかかたづ
5 years ago
Views:

1 センサーデータ解析のためのニューラルネットワーク MathWorks Japan アプリケーションエンジニアリング部テクニカルコンピューティング太田英司 2017 The MathWorks, Inc. 1

2 ニューラルネットワークとは? 神経細胞 ( ニューロン ) の数学的なモデル化に起源を持つ学習器神経細胞 ( ニューロン ) 軸索によりネットワークを構成電気的な興奮状態を伝え合う画像提供 : 独立行政法人理化学研究所様 2

3 ニューラルネットワークとは? 他の神経細胞からの興奮状態が伝わり電位のレベルが上昇する非興奮状態興奮状態電位のレベルが閾値を超えると自身が発火する 3

4 ニューラルネットワークとは? Weight x 1 w 1 Transfer Function Logistic Sigmoid Tangent Sigmoid x 2 w 2 Σ f y 0 Rectified Linear Unit w n b x n Bias 1 y = f n k=1 w k x k + b 4

5 ニューラルネットワークとは? IW LW x 1 Σ f 1 Σ f 2 y 1 x Σ f 1 Σ f 2 y 2 x Σ f 1 Σ f 2 y 3 x Layer 1 Layer 2 5

6 ニューラルネットワークによる推論入力層隠れ層出力層イヌネコウサギトリ 6

7 ニューラルネットワークの学習入力層隠れ層出力層イヌネコウサギトリ誤差逆伝搬 7

8 時系列データの分類 8

例題人の活動状態の識別歩行 Classification 階段 - 上り階段 - 下り着席直立 Dataset courtesy of:

Hardware-Friendly Support Vector Machine.

9 例題人の活動状態の識別歩行 Classification 階段 - 上り階段 - 下り着席直立 Dataset courtesy of: Davide Anguita, Alessandro Ghio, Luca Oneto, Xavier Parra and Jorge L. Reyes-Ortiz. Human Activity Recognition on Smartphones using a Multiclass Hardware-Friendly Support Vector Machine. International Workshop of Ambient Assisted Living (IWAAL 2012). Vitoria-Gasteiz, Spain. Dec 寝る 9

10 例題人の活動状態の識別 10

11 例題人の活動状態の識別 11

12 例題人の活動状態の識別 3 軸の加速度センサーの情報を使って人の活動状態を識別したい階段? 歩行? 直立? 12

13 例題人の活動状態の識別 3 軸加速度センサーのデータを窓幅 128 で切り出しニューラルネットより活動状態を識別する部分時系列 ( 窓幅 128) 128 sample 14

14 例題人の活動状態の識別 128 sample x y 部分時系列 (384 = 128 * 3 次元 ) z 15

15 例題人の活動状態の識別加速度センサーの情報は一定の窓幅で部分時系列としてテーブルに格納されている ax ay az s t 128 sample 128 sample 128 sample 部分時系列 (X 軸 ) 部分時系列 (Y 軸 ) 部分時系列 (Z 軸 ) 被験者番号動作番号 16

16 例題人の活動状態の識別 3 軸の加速度センサーのデータを使って人の活動状態を識別したい入力 :384 次元部分時系列 ( 加速度 ) net = patternnet(20); net = train(net, x, t); t_hat = net(x); 出力 :6 次元人の活動状態 ( ラベル ) plotconfusion(t, t_hat)

17 1 of K 符号化 (one-hot ベクトル表現 ) ind2vec vec2ind

18 例題人の活動状態の識別 Stacked Autoencoder による人の活動状態の識別歩行階段 - 上り最初の 2 層のウェイトを Autoencoder により構成し最後に誤差逆伝搬法を用いて学習する階段 - 下り部分時系列 (128 x 3 次元 ) 人の活動状態 (6- 状態 ) 19

自己符号化器 (Autoencoder) とは? 入力したデータと同じものが出力側で再生されるように学習させるネットワーク恒等写像となるようなウェイトを学習主に DNN の事前学習に利用主成分分析スパース符号化とも関連コード例自己符号化器の学習自己符号化器 (Autoencoder) autoenc = trainautoencoder(x, hiddensize,.

19 自己符号化器 (Autoencoder) とは? 入力したデータと同じものが出力側で再生されるように学習させるネットワーク恒等写像となるようなウェイトを学習主に DNN の事前学習に利用主成分分析スパース符号化とも関連コード例自己符号化器の学習自己符号化器 (Autoencoder) autoenc = trainautoencoder(x, hiddensize,... 'L2WeightRegularization, 0.001,... 'SparsityRegularization', 4,... 'SparsityProportion', 0.05,... 'DecoderTransferFunction', 'purelin 'usegpu', true); GPU による高速化積層自己符号化器 (Stacked Autoencoder) 20

20 Step 1 : Autoencoder によるウェイトの学習 Autoencoder 上のネットワークが恒等写像になるようにウェイトを学習する正確には MATLAB の Autoencoder は Sparse Autoencoder と呼ばれる中間層の活性に疎性を仮定したものになっている詳細は後述の PDF を参照 21

21 Step 2 : Encoder 部分のみ残す Encoder Decoder Encoder 部分のみ残す 22

22 Step 3 : Autoencoder によるウェイトの学習 1 段目の Encoder 2 段目の Autoencoder 1 段目の Encoder 出力を使い次の Autoencoder を学習させる 23

23 Step 4 : Encoder 部分のみ残す 1 段目の Encoder 2 段目の Encoder 24

24 Step 5 : 分類のために最終層を追加最終層で分類 (softmax) 25

25 Step 6 : 微調整 (Fine Tuning) を行う誤差逆伝搬法によりウェイトの微調整 (Fine Tuning) を行う 26

26 例題人の活動状態の識別積層自己符号化器として層を増やしたところ分類性能が 3% 程度改善! 混合行列 ( 浅いネットワークの場合 ) 混合行列 ( 深いネットワークの場合 ) 27

27 例題人の活動状態の識別学習データと評価データで被験者が異なる場合学習データと評価データで被験者が変わらない場合 ( 例えば取得する時間だけを変えるなど ) 学習用データセット評価用データセット学習用データセット評価用データセット 28

28 例題人の活動状態の識別精度評価時に同じ被験者のデータを使うと更に性能が改善する混合行列 ( 浅いネットワークの場合 ) 混合行列 ( 深いネットワークの場合 ) 29

29 特徴抽出と Deep Learning Deep Learning 以前は特徴抽出の部分を試行錯誤で人間が探索していた入力特徴抽出特徴量分類出力うまい特徴量の探索機械学習データに適した特徴量を見つけ出すことがよい性能を出すためのキーであった 30

30 特徴抽出と Deep Learning Deep Learning では特徴抽出の部分もデータから学習させることができる入力特徴抽出特徴量分類出力 Deep Learning 31

31 時系列データの異常検知 32

32 センサーデータからの異常検出心電図異常度 Keogh, E., Lin, J. and Fu, A. : HOT SAX : Efficiently Finding the Most Unusual Time Series Subsequence, in Proceedings of the Fifth IEEE International Conference on Data Mining, ICDM 05, pp

33 自己符号化器による特徴抽出正常な心電図から部分時系列を生成して自己符号化器に学習させる 100 sample 正常な心電図自己符号化器 34

34 自己符号化器による異常検出自己符号化器元の正常な波形を再生するようにウェイトを学習する 35

35 自己符号化器による異常検出正常な波形の場合はきれいに元の波形を再生するが異常な波形の場合はうまく再生できない! 異常な波形は正常な波形に戻そうとする正常な波形の場合異常な波形の場合 36

36 構造物の異常検出ある構造物に取り付けられた振動データの比較正常異常 37

37 例題構造ヘルスモニタリング実験装置 3 階建ての建物の模型 4 ヶ所の加速度センサー 1 階部分に振動発生装置人工的な損傷状態の発生実験目的センサーによる異常検出 Reference: Figueiredo, E., Park, G., Figueiras, J., Farrar, C., & Worden, K. (2009). Structural Health Monitoring Algorithm Comparisons using Standard Data Sets. Los Alamos National Laboratory Report: LA

38 例題構造ヘルスモニタリング Sensor #4 Sensor #3 柱の破損腐食など住民作業者など Sensor #2 Sensor #1 振動発生装置 Reference: Figueiredo, E., Park, G., Figueiras, J., Farrar, C., & Worden, K. (2009). Structural Health Monitoring Algorithm Comparisons using Standard Data Sets. Los Alamos National Laboratory Report: LA

39 例題構造物ヘルスモニタリング構造物の模型において次の条件を変化させて幾つかの条件を作り出した各階への重量 (Mass) 柱の硬さの低減 (Stiffness reduction) State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD 上記 9 パターンのそれぞれで 10 回の実験を繰り返し合計 90 回の実験を行ったものとします 40

40 例題構造物ヘルスモニタリング State #1 を正常データとして学習させて異常データが検知できるか調べたい State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD 正常データ異常データ正常データを学習させる異常データを検出できるか? 41

41 SHMTools Los Alamos National Laboratory 44

42 自己符号化器による異常検出正常な振動データから部分時系列を生成して自己符号化器に学習させる 25 sample 正常な振動データ自己符号化器 45

43 自己符号化器による異常検出正常な場合のデータを自己符号化器に学習させる Sensor #1 Sensor #1 自己符号化器 Sensor #2 Sensor #2 Sensor #3 Sensor #3 Sensor #4 Sensor #4 46

44 自己符号化器による異常検出異常を含む可能性のあるデータを自己符号化器に通して再構成誤差を算出する ch1 ch2 ch3 ch4 学習済みの自己符号化器 ch1 ch2 ch3 ch4 ch1 ch2 ch3 ch4 - ch1 ch2 ch3 ch4 = ch1 ch2 ch3 ch4 二乗平均 e 1 e 2 e 3 e 4 元の振動データ再構成されたデータ再構成誤差平均二乗誤差 47

45 自己符号化器による異常検出正常データ 48

46 1-Class SVM による異常検知正常データ 49

47 t-sne による異常データのクラスタリング検出された異常の種類を識別することではできるだろうか? State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD どのような異常の種類があるだろうか? 50

48 t-sne とは? 直接目で見ることのできない高次元のデータを低次元にマップする手法 ( 次元削減手法 ) t-sne 高次元空間 ( 特徴量等 ) 低次元空間 (2 次元または 3 次元 ) 51

49 t-sne とは? あるデータ点がその近傍 ( 参照点 ) を選ぶという状況を考える (KNN 分類器をイメージ ) KNN の場合は一番近い点を確定的に選ぶだけだがもし近傍が確率的に選ばれるとすると P j i 1 2σ 2 exp x i x j 2 2σ 2 近傍を選択する確率がガウス分布に従っているとする! 正規化 x j P j i = exp σ k i exp 2 x i x j 2σ 2 x i x 2 k Τ2σ 2 x i この条件付き確率があまり壊れないように次元削減を行うのが SNE 52

50 t-sne とは? 高次元のデータ点 x 1, x 2, x 3, を低次元のデータ点 y 1, y 2, y 3, へマッピングしたい高次元空間低次元空間 x j 次元削減 y j x i y i P i j = P j i = exp σ k i exp 2 x i x j 2σ 2 x i x 2 k Τ2σ 2 Q i j = Q j i = exp σ k i exp 2 y i y j 2σ 2 y i y 2 k Τ2σ 2 53

51 t-sne とは? 次元削減の前と後で次の条件付き確率があまり変化しないように変換を行いたい P i j = P j i = exp σ k i exp 2 x i x j 2σ 2 x i x 2 k Τ2σ 2 Q i j = Q j i = exp y 2 i y j 2σ 2 σ k i exp y i y 2 k Τ2σ 2 確率分布の違いを KL- ダイバージェンスで評価次の損失関数 C を最小化するように次元削減を行うのが SNE( 改良版が t-sne) C = KL P i Q i i 全ての x i に関する KL- ダイバージェンスの和 54

t-sne による異常データのクラスタリング実際の異常の種類で色分けすると次のような可視化を行うことができる State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.

52 t-sne による異常データのクラスタリング実際の異常の種類で色分けすると次のような可視化を行うことができる State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD それぞれの異常がひとつの! 島に対応しているらしいな! 55

KNN による分類再構成誤差から生成した特徴量を KNN で分類してみると次のような結果を得る State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.

53 KNN による分類再構成誤差から生成した特徴量を KNN で分類してみると次のような結果を得る State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD 58

54 例題人の活動状態の識別ニューラルネットを分類と次元削減の両方に利用部分時系列からシンプルに分類エンコーダ部分を次元削減に利用元々のデータで分類がうまくいくようなケースでは次元削減で性能向上が狙える可能性が! 63

55 例題構造ヘルスモニタリング正常なセンサーデータが持つデータの関係性をモデル化 ch1 ch2 ch3 ch4 部分時系列として切り出されるデータの関係性をモデル化するデータの関係性の崩れを再構成誤差として検出することが可能となる! 64

56 センサーデータ解析のためのニューラルネット人の活動状態の識別部分時系列をそのままニューラルネットワークへ自己符号化器を非線形な次元削減に利用積み上げることで積層自己符号化器を構築 Neural Network Toolbox パターンネット ( 分類 ) 積層自己符号化器 ( 分類 ) 自己符号化器 ( 異常検出 ) 構造ヘルスモニタリング正常なセンサーデータを自己符号化器へ再構成信号との誤差により異常を検出異常の種別等も次元削減に解析可能に Statistics and Machine Learning Toolbox t-sne ( 次元削減 ) 1-class SVM( 異常検出 ) KNN( 分類器 ) 65

57 従来手法との関連性 66

58 従来の異常検知手法との関連性主成分分析による異常検知多変量統計的プロセス管理 (MSPC) 等の分野で有名主部分空間からの距離を異常度として異常検出自己回帰モデルによる異常検知時系列信号の異常検出に利用される自己回帰モデルにより 1 ステップ先を予測予測値との差分により異常検出 67

59 主成分分析による異常検知多変量統計的プロセス管理 (MSPC) 等の分野で有名主部分空間からのズレを異常度として定義異常度主部分空間圧力 PCA 温度 68

60 主成分分析による異常検知主部分空間からの距離 = 再構成信号と元信号の距離線形な Autoencoder は主成分分析に一致する Encoder 部分主部分空間への射影 Decoder 部分元の空間への埋め込み主部分空間への射影元の空間への埋め込み活性化関数を線形な関数へ置き換える 69

61 AR モデルによる異常検知との関連自己回帰モデルによる異常検知自己符号化器による異常検知 AR モデルにより 1 ステップ先を予測予測との誤差を使って異常検出自己符号化器により時系列データを再構成再構成したものとの誤差を使って異常検出自己符号化器自己回帰モデル 70

62 システムへの展開 C コード生成 71

63 センサーデータ解析システムにおける課題端末の問題データを全部送るか? 特徴量のみを送るか? 異常なデータのみ送るか? 通信モジュールの消費電力は? 演算速度と消費電力は? インフラの問題必要な帯域は確保されているか? ネットワークは安定しているか? 電力供給は安定しているか? 通信量に対するコストは? Cloud 開発側の問題アルゴリズムの検証し易さ組み込みコードの開発コストサーバ側コードの開発コスト Edge Device Desktop 72

64 学習済み自己符号化器の活用 Simulink ブロックへの変換 MATLAB 関数への変換 Simulink ブロック生成 ( 関数 :generatesimulink) Simulink ブロック学習済み自己符号化器 MATLAB コード生成 ( 関数 :generatefunction) MATLAB 関数 73

65 学習済みニューラルネットの活用 Simulink ブロックへの変換 MATLAB 関数への変換 Simulink ブロック生成 ( 関数 :gensim) Simulink ブロック学習済みニューラルネット MATLAB コード生成 ( 関数 :genfunction) MATLAB 関数 74

66 C コード生成対応 ( 学習済みモデルによる予測部分 ) サポートベクターマシンによる分類 (fitcsvm) 線形モデルによる 2 クラス分類 (fitclinear) 線形モデルによる多クラス分類 (fitcecoc) 線形回帰 (fitlm) 一般化線形モデルによる回帰 (fitglm, glmval) 決定木による分類回帰 (fitctree, fitrtree) アンサンブル学習器 ( 決定木 ) による分類 (fitcensemble) 75

67 MATLAB Production Server MATLAB 関数をサーバ上で実行 HTTP / HTTPS によるアクセス複数ワーカーによる低遅延での処理サーバでの一元管理軽量なクライアントアプリ ( お客様開発 ) Java, C#, VB, C/C++, Python 等が利用可能 RESTful Interface も利用可能 MATLAB Production Server 複数クライアントからの同時アクセスを低遅延で処理! Client Application Client Application Client Application 77

68 MATLAB/Simulink によるセンサーデータ解析システムの構築 MATLAB Production Server Cloud MATLAB Coder Simulink Coder Edge Device Desktop 78

69 Questions? 2015 The MathWorks, Inc. 79

センサーデータのためのニューラルネット

センサーデータのためのニューラルネットワーク ~ 時系列データの分類と異常検知 ~ MathWorks Japan アプリケーションエンジニアリング部テクニカルコンピューティング太田英司 2017 The MathWorks, Inc. 1 Agenda ニューラルネットの基礎時系列データの分類 - 部分時系列 - 自己符号化器 / 積層自己符号化器 - LSTM(Long Short Term