センサーデータのためのニューラルネット

Size: px

Start display at page:

Download "センサーデータのためのニューラルネット"

つづるすすむ
4 years ago
Views:

1 センサーデータのためのニューラルネットワーク ~ 時系列データの分類と異常検知 ~ MathWorks Japan アプリケーションエンジニアリング部テクニカルコンピューティング太田英司 2017 The MathWorks, Inc. 1

2 Agenda ニューラルネットの基礎時系列データの分類 - 部分時系列 - 自己符号化器 / 積層自己符号化器 - LSTM(Long Short Term Memory) 異常検知 ( 自己符号化器 ) - 心電図の例題 - 構造ヘルスモニタリングの例題システムへの展開 C コード生成 - 学習済みネットワークのブロック化 - MATLAB Production Server 2

3 ニューラルネットワークとは? 神経細胞 ( ニューロン ) の数学的なモデル化に起源を持つ学習器神経細胞 ( ニューロン ) 軸索によりネットワークを構成電気的な興奮状態を伝え合う画像提供 : 独立行政法人理化学研究所様 3

4 ニューラルネットワークとは? 他の神経細胞からの興奮状態が伝わり電位のレベルが上昇する非興奮状態興奮状態電位のレベルが閾値を超えると自身が発火する 4

5 ニューラルネットワークとは? Weight x 1 w 1 Transfer Function Logistic Sigmoid Tangent Sigmoid x 2 w 2 Σ f y 0 Rectified Linear Unit w n b x n Bias 1 y = f n k=1 w k x k + b 5

6 ニューラルネットワークとは? IW LW x 1 Σ f 1 Σ f 2 y 1 x Σ f 1 Σ f 2 y 2 x Σ f 1 Σ f 2 y 3 x Layer 1 Layer 2 6

7 ニューラルネットワークによる推論入力層隠れ層出力層イヌネコウサギトリ 7

8 ニューラルネットワークの学習入力層隠れ層出力層イヌネコウサギトリ誤差逆伝搬 8

9 時系列データの分類 9

例題人の活動状態の識別歩行 Classification 階段 - 上り階段 - 下り着席直立 Dataset courtesy of:

Hardware-Friendly Support Vector Machine.

10 例題人の活動状態の識別歩行 Classification 階段 - 上り階段 - 下り着席直立 Dataset courtesy of: Davide Anguita, Alessandro Ghio, Luca Oneto, Xavier Parra and Jorge L. Reyes-Ortiz. Human Activity Recognition on Smartphones using a Multiclass Hardware-Friendly Support Vector Machine. International Workshop of Ambient Assisted Living (IWAAL 2012). Vitoria-Gasteiz, Spain. Dec 寝る 10

11 例題人の活動状態の識別 11

12 例題人の活動状態の識別 12

13 例題人の活動状態の識別 3 軸の加速度センサーの情報を使って人の活動状態を識別したい階段? 歩行? 直立? 13

14 例題人の活動状態の識別 3 軸加速度センサーのデータを窓幅 128 で切り出しニューラルネットより活動状態を識別する部分時系列 ( 窓幅 128) 128 sample 15

15 例題人の活動状態の識別 128 sample x y 部分時系列 (384 = 128 * 3 次元 ) z 16

16 例題人の活動状態の識別加速度センサーの情報は一定の窓幅で部分時系列としてテーブルに格納されている ax ay az s t 128 sample 128 sample 128 sample 部分時系列 (X 軸 ) 部分時系列 (Y 軸 ) 部分時系列 (Z 軸 ) 被験者番号動作番号 17

17 例題人の活動状態の識別 3 軸の加速度センサーのデータを使って人の活動状態を識別したい入力 :384 次元部分時系列 ( 加速度 ) net = patternnet(20); net = train(net, x, t); t_hat = net(x); 出力 :6 次元人の活動状態 ( ラベル ) plotconfusion(t, t_hat)

18 1 of K 符号化 (one-hot ベクトル表現 ) ind2vec vec2ind

19 例題人の活動状態の識別 Stacked Autoencoder による人の活動状態の識別歩行階段 - 上り最初の 2 層のウェイトを Autoencoder により構成し最後に誤差逆伝搬法を用いて学習する階段 - 下り部分時系列 (128 x 3 次元 ) 人の活動状態 (6- 状態 ) 20

自己符号化器の学習自己符号化器 (Autoencoder) autoenc = trainautoencoder(x, hiddensize,.

20 自己符号化器 (Autoencoder) とは? 入力したデータと同じものが出力側で再生されるように学習させるネットワーク恒等写像となるようなウェイトを学習主に DNN の事前学習に利用主成分分析スパース符号化とも関連コード例自己符号化器の学習自己符号化器 (Autoencoder) autoenc = trainautoencoder(x, hiddensize,... 'L2WeightRegularization, 0.001,... 'SparsityRegularization', 4,... 'SparsityProportion', 0.05,... 'DecoderTransferFunction', 'purelin 'usegpu', true); GPU による高速化積層自己符号化器 (Stacked Autoencoder) 21

21 Step 1 : Autoencoder によるウェイトの学習 Autoencoder 上のネットワークが恒等写像になるようにウェイトを学習する正確には MATLAB の Autoencoder は Sparse Autoencoder と呼ばれる中間層の活性に疎性を仮定したものになっている詳細は後述の PDF を参照 22

22 Step 2 : Encoder 部分のみ残す Encoder Decoder Encoder 部分のみ残す 23

23 Step 3 : Autoencoder によるウェイトの学習 1 段目の Encoder 2 段目の Autoencoder 1 段目の Encoder 出力を使い次の Autoencoder を学習させる 24

24 Step 4 : Encoder 部分のみ残す 1 段目の Encoder 2 段目の Encoder 25

25 Step 5 : 分類のために最終層を追加最終層で分類 (softmax) 26

26 Step 6 : 微調整 (Fine Tuning) を行う誤差逆伝搬法によりウェイトの微調整 (Fine Tuning) を行う 27

27 例題人の活動状態の識別積層自己符号化器として層を増やしたところ分類性能が 3% 程度改善! 混合行列 (2 層のネットワークの場合 ) 混合行列 ( 積層自己符号化器の場合 ) 28

28 特徴抽出と Deep Learning Deep Learning 以前は特徴抽出の部分を試行錯誤で人間が探索していた入力特徴抽出特徴量分類出力うまい特徴量の探索機械学習データに適した特徴量を見つけ出すことがよい性能を出すためのキーであった 31

29 特徴抽出と Deep Learning Deep Learning では特徴抽出の部分もデータから学習させることができる入力特徴抽出特徴量分類出力 Deep Learning 32

30 LSTM Long Short Time Memory 33

31 LSTM(Long Short Term Memory) 3 軸の加速度センサーのデータで信号分類する際のネットワーク構築の例 layers = [... sequenceinputlayer(3) lstmlayer(50) lstmlayer(50, 'OutputMode', 'last') fullyconnectedlayer(6) softmaxlayer classificationlayer]; 入力層 LSTM 層全結合層などの層を積み上げて定義 opts = trainingoptions('sgdm', 'MaxEpochs, 150); net = trainnetwork(xtrain, TTrain, layers, opts); 学習率や最大反復数などを定義して学習の関数を呼び出す 34

32 例題人の活動状態の識別 LSTM(Long Short Term Memory) にすることで更に分類性能が 5% 程度改善! 混合行列 ( 積層自己符号化器の場合 ) 混合行列 (LSTM の場合 ) 35

33 Recurrent Neural Network とは? 過去のデータを現時点の予測にどう活かすか? 時刻 t 入力 (Input) 出力 (Output) 36

34 Recurrent Neural Network とは? 1 ステップ前の隠れ層の情報現時刻の入力の情報 + 過去情報も含む予測 1 ステップ前の隠れ層時刻 t 現在の隠れ層入力 (Input) 出力 (Output) 37

35 Recurrent Neural Network とは? 1 ステップ前の隠れ層の状態をフィードバックさせることで過去の情報を予測に活かせるようにしたネットワーク進化! LSTM Long Short Time Memory 進化版 RNN( ゲート付き RNN) メモリセルにより長期の情報を保持できる時間的に離れた依存関係のモデル化も得意エルマン型 RNN 長期間の依存関係をモデル化するのが不得意 38

36 LSTM(Long Short Term Memory) とは? h t Forget Gate f t c t 1 f t c t 1 + i t a t c t 1 c t セル ( 時刻 t-1) f t i t i t a t Input Gate a t o t tanh(c t ) セル ( 時刻 t) Output Gate Forget Gate Network Input Gate Network Cell Update Network Output Gate Network h t 1 隠れ状態 ( 時刻 t-1) x t 入力 ( 時刻 t) h t 隠れ状態 ( 時刻 t) 39

37 時系列データの異常検知 40

38 センサーデータからの異常検出心電図異常度 Keogh, E., Lin, J. and Fu, A. : HOT SAX : Efficiently Finding the Most Unusual Time Series Subsequence, in Proceedings of the Fifth IEEE International Conference on Data Mining, ICDM 05, pp

39 自己符号化器による特徴抽出正常な心電図から部分時系列を生成して自己符号化器に学習させる 100 sample 正常な心電図自己符号化器 42

40 自己符号化器による異常検出自己符号化器元の正常な波形を再生するようにウェイトを学習する 43

41 自己符号化器による異常検出正常な波形の場合はきれいに元の波形を再生するが異常な波形の場合はうまく再生できない! 異常な波形は正常な波形に戻そうとする正常な波形の場合異常な波形の場合 44

42 構造物の異常検出ある構造物に取り付けられた振動データの比較正常異常 45

43 例題構造ヘルスモニタリング実験装置 3 階建ての建物の模型 4 ヶ所の加速度センサー 1 階部分に振動発生装置人工的な損傷状態の発生実験目的センサーによる異常検出 Reference: Figueiredo, E., Park, G., Figueiras, J., Farrar, C., & Worden, K. (2009). Structural Health Monitoring Algorithm Comparisons using Standard Data Sets. Los Alamos National Laboratory Report: LA

44 例題構造ヘルスモニタリング Sensor #4 Sensor #3 柱の破損腐食など住民作業者など Sensor #2 Sensor #1 振動発生装置 Reference: Figueiredo, E., Park, G., Figueiras, J., Farrar, C., & Worden, K. (2009). Structural Health Monitoring Algorithm Comparisons using Standard Data Sets. Los Alamos National Laboratory Report: LA

45 例題構造物ヘルスモニタリング構造物の模型において次の条件を変化させて幾つかの条件を作り出した各階への重量 (Mass) 柱の硬さの低減 (Stiffness reduction) State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD 上記 9 パターンのそれぞれで 10 回の実験を繰り返し合計 90 回の実験を行ったものとします 48

46 例題構造物ヘルスモニタリング State #1 を正常データとして学習させて異常データが検知できるか調べたい State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD 正常データ異常データ正常データを学習させる異常データを検出できるか? 49

47 SHMTools Los Alamos National Laboratory 52

48 自己符号化器による異常検出正常な振動データから部分時系列を生成して自己符号化器に学習させる 25 sample 正常な振動データ自己符号化器 53

49 自己符号化器による異常検出正常な場合のデータを自己符号化器に学習させる Sensor #1 Sensor #1 自己符号化器 Sensor #2 Sensor #2 Sensor #3 Sensor #3 Sensor #4 Sensor #4 54

50 自己符号化器による異常検出異常を含む可能性のあるデータを自己符号化器に通して再構成誤差を算出する ch1 ch2 ch3 ch4 学習済みの自己符号化器 ch1 ch2 ch3 ch4 ch1 ch2 ch3 ch4 - ch1 ch2 ch3 ch4 = ch1 ch2 ch3 ch4 二乗平均 e 1 e 2 e 3 e 4 元の振動データ再構成されたデータ再構成誤差平均二乗誤差 55

51 自己符号化器による異常検出正常データ 56

52 t-sne による異常データのクラスタリング検出された異常の種類を識別することではできるだろうか? State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD どのような異常の種類があるだろうか? 58

t-sne による異常データのクラスタリング実際の異常の種類で色分けすると次のような可視化を行うことができる State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.

53 t-sne による異常データのクラスタリング実際の異常の種類で色分けすると次のような可視化を行うことができる State Description #1 Baseline condition #2 Mass = 1.2 kg at the base #3 Mass = 1.2 kg on the 1st floor #4 87.5% stiffness reduction in column 1BD #5 87.5% stiffness reduction in column 1AD and 1BD #6 87.5% stiffness reduction in column 2BD #7 87.5% stiffness reduction in column 2AD and 2BD #8 87.5% stiffness reduction in column 3BD #9 87.5% stiffness reduction in column 3AD and 3BD それぞれの異常がひとつの! 島に対応しているらしいな! 63

54 デモのまとめ 70

55 例題人の活動状態の識別ニューラルネットを分類と次元削減の両方に利用部分時系列からシンプルに分類エンコーダ部分を次元削減に利用元々のデータで分類がうまくいくようなケースでは次元削減で性能向上が狙える可能性が! 71

56 例題構造ヘルスモニタリング正常なセンサーデータが持つデータの関係性をモデル化 ch1 ch2 ch3 ch4 部分時系列として切り出されるデータの関係性をモデル化するデータの関係性の崩れを再構成誤差として検出することが可能となる! 72

57 システムへの展開 C コード生成 79

58 センサーデータ解析システムにおける課題端末の問題データを全部送るか? 特徴量のみを送るか? 異常なデータのみ送るか? 通信モジュールの消費電力は? 演算速度と消費電力は? インフラの問題必要な帯域は確保されているか? ネットワークは安定しているか? 電力供給は安定しているか? 通信量に対するコストは? Cloud 開発側の問題アルゴリズムの検証し易さ組み込みコードの開発コストサーバ側コードの開発コスト Edge Device Desktop 80

59 学習済み自己符号化器の活用 Simulink ブロックへの変換 MATLAB 関数への変換 Simulink ブロック生成 ( 関数 :generatesimulink) Simulink ブロック学習済み自己符号化器 MATLAB コード生成 ( 関数 :generatefunction) MATLAB 関数 81

60 学習済みニューラルネットの活用 Simulink ブロックへの変換 MATLAB 関数への変換 Simulink ブロック生成 ( 関数 :gensim) Simulink ブロック学習済みニューラルネット MATLAB コード生成 ( 関数 :genfunction) MATLAB 関数 82

61 MATLAB Production Server MATLAB 関数をサーバ上で実行 HTTP / HTTPS によるアクセス複数ワーカーによる低遅延での処理サーバでの一元管理軽量なクライアントアプリ ( お客様開発 ) Java, C#, VB, C/C++, Python 等が利用可能 RESTful Interface も利用可能 MATLAB Production Server 複数クライアントからの同時アクセスを低遅延で処理! Client Application Client Application Client Application 85

62 MATLAB/Simulink によるセンサーデータ解析システムの構築 MATLAB Production Server Cloud MATLAB Coder Simulink Coder Edge Device Desktop 86

63 Questions? 2015 The MathWorks, Inc. 87

Presentation Title

Presentation Title センサーデータ解析のためのニューラルネットワーク MathWorks Japan アプリケーションエンジニアリング部テクニカルコンピューティング太田英司 2017 The MathWorks, Inc. 1 ニューラルネットワークとは? 神経細胞 ( ニューロン ) の数学的なモデル化に起源を持つ学習器神経細胞 ( ニューロン ) 軸索によりネットワークを構成電気的な興奮状態を伝え合う画像提供