目次 1. はじめにセンサーと設置場所不要なデータの除去データ前処理 A) 機械学習ための時系列データ前処理 B) 2 つ部分時系列の距離計算クラスタリングでの異常検知 A

Size: px

Start display at page:

Download "目次 1. はじめにセンサーと設置場所不要なデータの除去データ前処理 A) 機械学習ための時系列データ前処理 B) 2 つ部分時系列の距離計算クラスタリングでの異常検知 A"

みそらわにべ
7 years ago
Views:

1 IoT センサーデータの分析平成 30 年 3 月一般社団法人広島県中小企業診断協会ニューロビジネス研究会

2 目次 1. はじめにセンサーと設置場所不要なデータの除去データ前処理 A) 機械学習ための時系列データ前処理 B) 2 つ部分時系列の距離計算クラスタリングでの異常検知 A) ユークリッド距離ベースでの分類結果 B) 動的時間伸縮法ベースで分類した結果 a. Whole Data Scale b. Short Time Series Scale オートエンコーダによる復元データ A) オートエンコーダモデル B) 復元データの結果 C) 復元データの評価エンコーダーしたデータの分類 A) エンコーダーしたデータの取り出し B) エンコーダーしたデータの分類結果 LSTM モデルによるデータ予測 A) LSTM モデルとデータ前処理 a. モデル b. データ前処理 B) 予測結果 a. 1 秒後の予測 b. 5 秒後の予測結果 c. 18 秒後の予測結果まとめ A) 統計的なクラスタリングによる分析 B) オートエンコーダによる復元データ C) LSTM モデルによるデータ予測参考文献

1. はじめに近年センサー機器の性能向上やクラウドプラットフォーム等の発達によりセンサーデータを様々な産業で活用する環境が急速に整備され安価なセンサーを用いてデータを取得することも出来るようになってきた蓄積されたデータは活用されなければ価値を生み出さないが目的を明確にしてデータ分析を行うことでデータにはその価値を最大にする可能性を秘めている企業においてとりわけ中小企業では

先ずは統計的なクラスタリングを用い更にニューラルネットワークを用いたディープラーニングによるデータの異常検知と時系列データの予測を行った 2.

3 1. はじめに近年センサー機器の性能向上やクラウドプラットフォーム等の発達によりセンサーデータを様々な産業で活用する環境が急速に整備され安価なセンサーを用いてデータを取得することも出来るようになってきた蓄積されたデータは活用されなければ価値を生み出さないが目的を明確にしてデータ分析を行うことでデータにはその価値を最大にする可能性を秘めている企業においてとりわけ中小企業ではセンサーから得られたデータを分析することで何が分かりどのように事業に活かせるのかが明瞭でないためセンサー導入からデータ活用に進んでいないところが多いのではないかと考えられるこの様な状況から広島県中小企業診断協会におけるニューロビジネス研究会では広島県内の中小企業の協力を得て安価なセンサーを試験的に取り付け取得したデータを用いてデータの分析を実施したデータの分析として先ずは統計的なクラスタリングを用い更にニューラルネットワークを用いたディープラーニングによるデータの異常検知と時系列データの予測を行った 2. センサーと設置場所センサーは図 1 に示す ALPS 社製 IoT Smart Module を用い地磁気と加速度の 6 軸 UV 照度湿度温度気圧を 1 秒間隔で取得した本センサーの特徴は低消費電力通信の Bluetooth で通信を行う小型かつ安価 ( 税別 9,800 円 ) なセンサーネットワークである図 1: ALPS 社製センサー (IoT Smart Module) 本センサーは広島県大竹市にあるゴムプラスチックを製造する広合化学株式会社のブロー成型機の稼動部に取り付けた 3. 不要なデータの除去今回取得したデータは 2018 年 1 月 22 日から 2018 年 2 月 8 日までの期間のブロー成型機の稼動データで 16 個の CSV 形式のファイルに分割されて記録されている - 1 -

図 2:IoT データファイルこのデータのサンプリングは1 秒で Time, Index, Battery, Mag_X[uT], Mag_Y[uT], Mag_Z[uT], Acc_X[G], Acc_Y[G], Acc_Z[G], UV-A[mW/cm2], AmbientLight[Lx], Humidity[%RH], Temperature[degC], Pressure[hPa]

4 図 2:IoT データファイルこのデータのサンプリングは1 秒で Time, Index, Battery, Mag_X[uT], Mag_Y[uT], Mag_Z[uT], Acc_X[G], Acc_Y[G], Acc_Z[G], UV-A[mW/cm2], AmbientLight[Lx], Humidity[%RH], Temperature[degC], Pressure[hPa] の 14 個の時系列数値データを含んでいる各データファイルには勤務日 ( 平日 ) に記録された有効なデータファイルと稼動していない週末のデータファイルが含まれている 14 個の時系列データの中にはブロー成型機の稼動に直接影響がないと考えられるデータも含まれており ime, Index, Battery, UV-A[nW/cm2], AmbientLight[Lx], Humidity[%RH], Temperature[degC], Pressure[hPa] という 8 種類のデータは除去した - 2 -

5 図 2:IoT データの 11 時系列のグラフ残りの 6 種類のデータ Mag_X[uT], Mag_Y[uT], Mag_Z[uT], Acc_X[G], Acc_Y[G], Acc_Z[G] を用いて分析を行った機械の稼働時間 (8AM~7PM 残業ありの日は 8AM~9PM) の間はデータとして有効な情報を持っているが稼動していない時間は分析データから取り除いた - 3 -

6 図 3: 運行時間と休暇時間にある磁場と加速度のデータ 4. データ前処理 A) 機械学習ための時系列データ前処理機械学習アルゴリズムで学習するためこの時系列データをスライディングウィンドウで分割したブロー成型機による製品の作成サイクルが 18 秒なのでスライディングウィンドウの分割幅は 18 秒に設定した - 4 -

図 4 には時系列データをスライディングウィンドウで小さな部分時系列に分割した例を示す Input: A long time series Output: A set of shorter time series 図 4:

ユークリッド距離と動的時間伸縮法 (DTW) を使用した時系列データにある部分時系列の互い距離を計算し距離行列を算出した図 5 は部分時系列 Q と C のユークリッド距離の計算方法を表す図 5:

異常とノイズは取り扱わない shifting, uniform amplitude scaling, uniform time scaling, uniform biscaling, time warping and

7 図 4 には時系列データをスライディングウィンドウで小さな部分時系列に分割した例を示す Input: A long time series Output: A set of shorter time series 図 4: 時系列データの分割例 B) 2 つ部分時系列の距離計算機械学習では区分けされた時系列を部分時系列と呼ぶ機械学習アルゴリズムで学習する前に部分時系列ごとの互いの距離を計算した部分時系列の互い距離を計算するためユークリッド距離と動的時間伸縮法 (DTW) を使用した時系列データにある部分時系列の互い距離を計算し距離行列を算出した図 5 は部分時系列 Q と C のユークリッド距離の計算方法を表す図 5: 時系列のユークリッド距離の方程式と計算方法ユークリッド距離は他の複雑なアプローチ [6] に比べて有利な点が多くあるしかし [2] の研究によりユークリッド距離は同じ長さの部分時系列でしか利用しない異常とノイズは取り扱わない shifting, uniform amplitude scaling, uniform time scaling, uniform biscaling, time warping and non-uniform amplitude scaling の 6 つのシグナル変換により影響を受けやすい [3] などの欠点もある一方動的時間伸縮法(DTW) はユークリッド距離より適用領域が広いと言われている ([2]) 参考文献 [1] には DTW について詳しく説明されて - 5 -

いる図 6 は DTW 距離の方程式と計算方法を表す図 6: 時系列 Q と C の DTW 距離の計算方法行列の各 w k = (i,

クラスタリングでの異常検知距離行列を計算した後 SVM one-class clustering アルゴリズムを利用し類以な部分時系列を 1

2018 年 01 月 22 日のデータを分類した結果を表す図 7: ユークリッド距離で 2018 年 01 月 22

8 いる図 6 は DTW 距離の方程式と計算方法を表す図 6: 時系列 Q と C の DTW 距離の計算方法行列の各 w k = (i, j) k は Q の点 i th と C の点 j th のユークリッド距離である 5. クラスタリングでの異常検知距離行列を計算した後 SVM one-class clustering アルゴリズムを利用し類以な部分時系列を 1 つのグループとし残りの部分時系列は異常としてみなした A) ユークリッド距離ベースでの分類結果図 7 にはユークリッド距離ベースで 2018 年 01 月 22 日のデータを分類した結果を表す図 7: ユークリッド距離で 2018 年 01 月 22 日のデータを分類した結果図 8 にはクラスタリングアルゴリズムを利用した異常検知の例を表す左側はクラスタリングアルゴリズムで異常が 3 ヶ所検知されている右側はその異常を時系列で表したものである - 6 -

9 Normal 図 8: ユークリッド距離で分類して検知された異常 B) 動的時間伸縮法ベースで分類した結果ノーマライズされた時系列データは DTW 距離で行列距離を計算した今回のデータは whole-data scale と short time series scale の 2 つ方法で正規化した a. Whole Data Scale - 図 4 と同様に時系列データを各部分時系列に区分ける前に時系列データは次の方程式により正規化した = X min (X) max() min () - 図 9 には whole data scale で正規化されたデータを DTW 距離で分類した結果を表すこの結果は DTW ベースで分類した結果と呼ぶ - 7 -

10 図 9: whole data scale + DTW 距離の分類結果 - DTW ベースとユークリッドベースで分類した結果を比べると双方で検知された異常 ( 外れ値 ) は同じになった ( 図 10) Euclidean Distance Normal Normal Outliers DTW Distance - 8 -

11 Euclidean Distance Normal Outliers Normal Outliers DTW Distance 図 10: ユークリッドベースと動的時間伸縮法ベースで検知された異常 ( 外れ値 ) b. Short Time Series Scale - 標準偏差 (standard deviation scale) は次の方程式により正規化する = TS mean(ts) () ただし TS は部分時系列で時系列データから区分けした - short time series scale で正規化したデータを用いて DTW ベースで分類した結果を図 11 に表すこのアプローチによる分類では正常と異常 ( 外れ値 ) の分離は明確にならなかった - 9 -

12 図 11: short time scale で正規化されたデータを DTW 距離で分類した結果 (2018 年 01 月 22 日のデータ ) 6. オートエンコーダによる復元データ A) オートエンコーダモデル Tensorflow のディープラーニングライブラリを利用してオートエンコーダモデルを構成したこのモデルはエンコーダーとデコーダーの 2 つ部分がありエンコーダーはインプット層 128-neuron 層 64-neuron 層 32-neuron 層の 4 層で構成したデコーダーは 32-neuron 層 64-neuron 層 128-neuron 層アウトプット層の 4 層で構成したオートエンコーダモデルを学習するため IoT データの時系列をインプットとしてモデルに入力してそれからモデルのアウトプットとインプットを比較したインプットとアウトプットの差は損失と呼ばれオートエンコーダモデルの重みとバイアスを更新するために利用した Input Output 図 12: 時系列データのオートエンコーダモデル

B) 復元データの結果図 13: オートエンコーダモデルの結果青い線はインプットで赤い線はアウトプットであるオートエンコーダモデルの復元データの結果を図 13 に表すオートエンコーダモデルは磁場データ (Mag_X[uT], Mag_Y[uT], Mag_Z[uT]) に対して復元データの再現性が良くアウトプットデータ ( 赤い線 ) とインプットデータ ( 青い線 )

13 B) 復元データの結果図 13: オートエンコーダモデルの結果青い線はインプットで赤い線はアウトプットであるオートエンコーダモデルの復元データの結果を図 13 に表すオートエンコーダモデルは磁場データ (Mag_X[uT], Mag_Y[uT], Mag_Z[uT]) に対して復元データの再現性が良くアウトプットデータ ( 赤い線 ) とインプットデータ ( 青い線 ) がほぼ重なっているしかし加速度のデータ (Acc_x[G], Acc_y[G], Acc_z[G]) についてはモデルの復元性が良くなかったその原因は加速度が変位の 2 階微分のため今回のサンプリング間隔では時間変動が大きくデータがランダムになったからと考えられる C) 復元データの評価オートエンコーダモデルのインプットとアウトプットの差を評価するため Different Average (DA) 値を定義するオートエンコーダのインプット時系列 A とアウトプット時系列 B に対して A と B の DA 値は次により定義される!"#$(%) (, ) = &'(

14 (,) = Diff(A,B) -./0h() オートエンコーダモデルではインプットの長さとアウトプットの長さは等しい IoT データの DA 値は図 14 に表すちなみにオートエンコーダを学習する前インプットデータは [0, 1] 範囲に正規化した図 14 から 2018 年 01 月 31 日の DA 値が最小値である事がわかった理由は 2018 年 01 月 31 日のデータの中に大幅な変動があり正規化したデータの値が小さくなったためと考えられるその他の日の DA 値はからの範囲で推移している図 15 は DA 値が最小値であった 2018 年 01 月 31 日の時系列データを示しており地磁気の 3 成分 Mag_X[uT], Mag_Y[uT], Mag_Z[uT] の値が 500,000 で大きく変化している広合化学の方にこの状況についてヒアリングしたところこの日にセンサーの位置を変更したそうなので急激に地磁気の取る値が変化したと考えられる図 14:IoT データの DA 値

エンコーダーしたデータの分類 A) エンコーダーしたデータの取り出しオートエンコーダモデルを学習した後 32-neuron

15 図 15:2018 年 01 月 31 日のデータグラフにより大幅な変動があるのでノーマライズされたデータの値は小さくなったそのため DA 値は他の日より小さい 7. エンコーダーしたデータの分類 A) エンコーダーしたデータの取り出しオートエンコーダモデルを学習した後 32-neuron 層からエンコーダーしたデータを取り出したそれからそのデータをクラスタリングアルゴリズムで分類したエンコーダーしたデータを分類するため部分時系列の距離手法としてユークリッド距離を使用したエンコーダーしたデータは時系列データではないためデータ分類時に DTW 距離を使用しなかった

16 Input Output Extract Encoded Data from this Layer 図 16: オートエンコーダモデルの中間層から取り出したデータを分類する B) エンコーダーしたデータの分類結果 IoT データの全データでオートエンコーダモデルを学習してそれからエンコーダーしたデータを分類した結果を図 17 と図 18 に示す各図において右側にある色づけされた数値範囲は図 4の時系列の区分けにおける時系列データ中の指数を表す部分時系列の指数 0 は勤務開始時間で最大値の指数は勤務終わりの時間である図 17:1 月のデータをエンコーダーされたデータの分類結果図 18 に表した 2 月のデータの分類結果は 1 月の結果と異なっていることがわかる図 17 では部分時系列は時間に変化する傾向があるが図 18 では全体的に分散する傾向があるまた 2018 年 2 月 2 日と 2018 年 2 月 6 日の結果には他の時系列から外れた部分

17 時系列がある事がわかった外れた部分を拡大して調べるとその部分時系列は 0 に近い指数のデータであった図 19 に 2018 年 02 月 02 日の外れ値付近の地磁気と加速度の 6 軸の時系列データを示す横軸の時系列指数が 55,250 から 56,750 の間でデータが変則的であることがわかる広合化学のヒアリングによるとこの日はインバータの故障で異常温度になったため機械を一時停止し試運転を行ったとのことなのでその期間が 2018 年 02 月 02 日の外れ値として現れたと考えられる図 18:2 月のデータをエンコーダーされたデータの分類結果

18 Outliers 図 19:2018 年 02 月 02 日の外れ値付近の時系列データ 8. LSTM モデルによるデータ予測 A) LSTM モデルとデータ前処理 a. モデルモデルを構成するため Tensorflow のディープランニングライブラリを利用したまず 18 個のインプットと 1 個のアウトプットの LSTM モデルを構成したこれは過去のデータから1 秒後の値を予測するモデルである図 20:LSTM モデル

b. データ前処理全データのうち 8 割を教師用データに 2 割をテスト用データに分割した LSTM

モデルのインプットになる部分時系列の長さ input_len とモデルにより予測する部分時系列の長さ pred_len という

long time series Output: A set of shorter time series 図 21:LSTM

1 秒後の予測 LSTM モデルでの IoT データの1 秒後の予測結果を図 22 に示すこのモデルは図 22

19 b. データ前処理全データのうち 8 割を教師用データに 2 割をテスト用データに分割した LSTM モデルによる教師データの前処理ため時系列データを部分時系列に分割した分割の方法は図 21 に示すこの分割は LSTM モデルのインプットになる部分時系列の長さ input_len とモデルにより予測する部分時系列の長さ pred_len という 2 つのパラメータからなる図 21 は input_len = 36 pred_len = 18 の場合である Input: A long time series Output: A set of shorter time series 図 21:LSTM モデルのデータ前処理例 B) 予測結果 a. 1 秒後の予測 LSTM モデルでの IoT データの1 秒後の予測結果を図 22 に示すこのモデルは図 22 の右下拡大図に表示されたようにインプットに対しては正しく 1 秒後の値が予測できたしかし異常な時系列など図 22 の左下拡大図に表示された複雑な時系列インプットに対してはこのモデルでは予測が困難であった図 22:LSTM モデルでの 1 秒後の予測結果

b. 5 秒後の予測結果数秒後を予測できる LSTM モデルで input_len = 18, pred_len = 5 を設定して 5 秒後を予測したこの LSTM モデルは図 23 の右下拡大図で示されたように循環性の波形のピークは時系列に対して捉えることができた一方図 23 の左下拡大図に表される複雑なパターンの時系列に対しては大きな振動波形は捉えられなかった図 23:LSTM

20 b. 5 秒後の予測結果数秒後を予測できる LSTM モデルで input_len = 18, pred_len = 5 を設定して 5 秒後を予測したこの LSTM モデルは図 23 の右下拡大図で示されたように循環性の波形のピークは時系列に対して捉えることができた一方図 23 の左下拡大図に表される複雑なパターンの時系列に対しては大きな振動波形は捉えられなかった図 23:LSTM モデルでの 5 秒後の予測結果 c. 18 秒後の予測結果 pred_len = 18 と予測時間を設定しインプット時系列の長さ input_len = 36 と input_len = 54 の 2 種類を設定したそれぞれ予測結果を図 24 と図 25 に示すしかし 2 つモデルの両方は異常な時系列 ( 外れ ) に対して図 24 と図 25 の左側のように予測ができなかったその理由は訓練データの中に異常な部分時系列が無かったからであるまた訓練データの中に異常なデータの個数が少なすぎる場合でも同様な問題が起こることが多いこれは不均衡データを用いた機械学習の問題と呼ばれている

図 24:36 秒のインプットで 18 秒後予測する LSTM モデルの予測結果例図 25:54 秒のインプットで 18

B) オートエンコーダによる復元データニューラルネットワークを用いたオートエンコーダにより

21 図 24:36 秒のインプットで 18 秒後予測する LSTM モデルの予測結果例図 25:54 秒のインプットで 18 秒後予測する LSTM モデルの予測結果例 9. まとめ A) 統計的なクラスタリングによる分析 SVM one-class clustering アルゴリズムを用いた統計的なクラスタリングによる分析では地磁気データの外れ値から時系列の異常波形を検知することができた B) オートエンコーダによる復元データニューラルネットワークを用いたオートエンコーダにより地磁気と加速度の時系列データを復元した地磁気の復元性は高かったが加速度の復元性は低かったこれは加速度が変位の 2 階微分のため今回のサンプリング間隔 1 秒では長く時間変動が大きくデータがランダムになったからと考えられる

22 C) LSTM モデルによるデータ予測ニューラルネットワークを用いた LSTM モデルにより時系列データの予測を行った 1 秒先の予測は正常なデータに対してピークの波形部分を正しく捉えることができたが異常値と検知された複雑な波形は正しく予測できなかった予測時間を長くした 5 秒や 18 秒先の予測においても同様な傾向を示したニューロビジネス研究会では広島県大竹市にあるゴムプラスチックを製造する広合化学株式会社のブロー成型機の稼動部に安価なセンサーを試験的に取り付け取得したデータの分析を行った試験的に取り付けたセンサーから取得したデータの中で比較的安定な波形を示す地磁気データに関しては異常値の検知が可能でデータの復元性も高く正常な時系列データに対するピーク波形を予測することができた一方で加速度のようなランダムなデータに対しては復元性と予測は困難であった動きの激しいブロー成型機で復元性と予測精度を高めるためにはサンプリング時間の短縮やデータ取得に最適なセンサー位置を探すなどの検討が必要になると考えられる今回の結果よりセンサーからより多くの異常値を蓄積したデータを分析することで機器の故障検知を更に高め機器の予防保全に活用することが可能と考えられるまた異常値を検知し得る相関性の高いデータ種別を更に用いることでデータの復元性と時系列予測も実用的になり中小企業において IoT センサーを用いたデータ分析は有効な手段になると考えられる以上参考文献 [1] A Description of Dynamic Time Warping (DTW) measurement [2] Keogh, Ratanamahatana (2002). Exact indexing of dynamic time warping. In proceedings of the 26th Int'l Conference on Very Large Data Bases. Hong Kong. pp [3] Perng, Wang, Zhang, Parker (2000). Landmarks: a newmodel for similarity-based pattern querying in time series databases. Proc.2000 ICDE, pp [4] Shieh and Keogh (2008). isax: Indexing and Mining Terabyte Sized Time Series. SIGKDD, pp

Microsoft PowerPoint - 統計科学研究所_R_重回帰分析_変数選択_2.ppt

Microsoft PowerPoint - 統計科学研究所_R_重回帰分析_変数選択_2.ppt 重回帰分析残差分析変数選択 1 内容重回帰分析残差分析歯の咬耗度データの分析 R で変数選択 ~ step 関数 ~ 2 重回帰分析と単回帰分析体重を予測する問題分析 1 身長のみから体重を予測分析 2 身長とウエストの両方を用いて体重を予測分析 1 と比べて大きな改善体重に関する推測では身長だけでは不十分重回帰分析における問題 ~ モデルの構築 ~ 適切なモデルで分析しているか?

目次 1. はじめに センサーと設置場所 不要なデータの除去 データ前処理 A) 機械学習ための時系列データ前処理 B) 2 つ部分時系列の距離計算 クラスタリングでの異常検知 A

目次 1. はじめにセンサーと設置場所不要なデータの除去データ前処理 A) 機械学習ための時系列データ前処理 B) 2 つ部分時系列の距離計算クラスタリングでの異常検知 A