IoT/M2Mにおける MATLABソリューション事例紹介

Transcription

1 IoT における MATLAB の活用 ~ 信号処理 データ解析 データアグリゲーション ~ MathWorks Japan アプリケーションエンジニアリング部通信 信号処理 竹本佳充 2015 The MathWorks, Inc. 1

2 本日のトラックの流れ 本セッション 最適化 機械学習 データ解析 2

3 demo: スマートフォンによるセンサーデータ取得 音声信号モニタリング エッジ検出 オブジェクト追尾 3

4 Agenda Section1: 背景 IoT 応用例 何故 MATLAB は IoT にフィットするのか? MathWorks IoT ソリューション Section4: データアグリゲーション Section2: 信号処理 エッジデバイス 信号処理 画像処理 データ圧縮 組み込みシステム ( マイコン FPGA) Section3: データ解析 データ解析 / 可視化 トレンド解析 異常検出 データ可視化 レポーティング 4

5 Agenda Section1: 背景 IoT 応用例 何故 MATLAB は IoT にフィットするのか? MathWorks IoT ソリューション Section4: データアグリゲーション Section2: 信号処理 エッジデバイス 信号処理 画像処理 データ圧縮 組み込みシステム ( マイコン FPGA) Section3: データ解析 データ解析 / 可視化 トレンド解析 異常検出 データ可視化 レポーティング 5

6 IoT 時代のセンサーデータ技術 ウェアラブル メディカル インフラ プラント設備 バイタルサインモニター 在宅ケア 遠隔医療 気象 環境モニタリング ヘルスモニタリング プロセス監視 自動車 航空宇宙 気象 電力 災害予測 電力需要予測 (EMS 電力取引 ) テレマティクス ヘルスモニタリング 走行安全 ADAS 6

7 IoT 時代のセンサーデータ技術 : 事例 ウェアラブル メディカル 喘息の発生及び COPD( 慢性閉塞性肺疾患 ) 検知 スマートフォン側の処理と クラウド処理の組み合わせによる診断 インフラ プラント設備 遺伝的アルゴリズムにより生産スケジュールを最適化 スケジュール競合の削減 出荷の前倒し 設備稼働率の目標値達成 isonea HKM BuildingIQ 気象 環境モニタリング 冷暖房 換気システム向けクラウドベースのリアルタイム アナリティクス 気象データ 電力消費量を元に 機械学習 最適化 ビルの電力消費量を 15-20% 削減 自動車 航空宇宙 SAFRAN Daimle r 社内 IT システムと統合した解析システム コンポーネントのパフォーマンス予測 メンテナンスコストの最小化 7

8 例 : 生体信号モニタ 診断 生体信号モニタリング knowledge 高度な解析技術により バイタルサインから 疾病の予兆をとらえる 心拍データのキャプチャ 特徴の抽出 ニューラルネットワークによる機械学習 8

9 例 : 生産工程最適化 生産計画 機種 A 5 秒 / 台機種 B 7 秒 / 台 設備 1 設備 2 検査 最適化前 最適化後 9

10 例 : 構造ヘルスモニタリング モニタリング対象 データセンシング 信号処理 センサー データ 解析 Alert! 10

11 例 : トラフィックモニタ 分析 11

12 例 : トラフィックモニタ 分析 (cont d) トラフィック量のヒストグラム 一週間の交通量 (24 時間で見た推移 ) 一週間の交通量 ( 日ごとの推移 ) 桜通の 1 週間の交通量 ( 西行き vs 東行き ) 日曜日の交通量 ( 交通量の多い時間帯は?) 12

13 MathWorks IoT 全体像 データアグリゲータ データの前処理 同期処理 データベースアクセス センサー エッジデバイス 信号処理 画像処理 データ圧縮 組み込みシステム マイコン FPGA データ解析/可視化 トレンド解析 異常検出 データ可視化 レポーティング 13

14 MATLAB 対話型プログラミング環境 高度な科学技術計算向け関数 線形代数 統計 スペクトル解析 フィルター処理 最適化 数値積分 常微分方程式求解 様々なデータ可視化 ライン バー ヒストグラム 2D/3D グラフィックス ベクトル 表面 ボリューム表示 C Java.NET Microsoft Excel などの言語との容易な接続 14

15 MATLAB による アナリティクスフロー アクション 意思決定 & 設計 レポート & Apps 拡張性のある展開 設計最適化 知識 理解 分析 周波数 & 時間領域 予測分析 推定 情報 MPG Displacement Acceleration フィルタリング 信号解析 データ処理 プロット Weight Horsepower 整理 MPG Acceleration Displacement 4000 Weight Horsepow er データ 観測 計測器 検出 収集 状態 データ取得 15

16 MathWorks IoT 開発フロー ①MATLABによる アルゴリズム開発 全体システム設計 Weight Displacement Acceleration MPG Horsepower MPG Acceleration Displacement 4000 Weight Horsepow er MATLABへHWをダイレクト接続 (I2C, SPI, CAN, 測定機器類) センサー アルゴリズムの開発 データの同期方法検討 特徴抽出 機械学習の検討 トレンド解析 イベント 異常検出 大規模高速演算 HPC/クラウド利用による 並列処理 GPGPUによる高速処理 16

17 MathWorks IoT 開発フロー ②MATLAB/Simulinkによる 組み込み開発 Weight Displacement Acceleration MPG Horsepower MPG Acceleration Displacement 4000 Weight Horsepow er MATLABへHWをダイレクト接続 (I2C, SPI, CAN, 測定機器類) センサー アルゴリズムの開発 データの同期方法検討 特徴抽出 機械学習の検討 トレンド解析 イベント 異常検出 17

18 MathWorks IoT 開発フロー 2MATLAB/Simulink による 組み込み開発 アルゴリズム 要求仕様 設計 システムモデル アルゴリズムのパーティショニング アナログ vs. デジタル スピード vs. 容量 / 面積 FPGA vs. CPU ソフトウェアモデル 生成 C コード 実装 生成 実装 統合 ハードウェアモデル 生成 HDL コード プログラマブル SoC など モデルベースデザインフロー 18

19 MathWorks IoT 開発フロー 2MATLAB/Simulink による 組み込み開発 アルゴリズム 要求仕様 設計 システムモデル アルゴリズムのパーティショニング アナログ vs. デジタル スピード vs. 容量 / 面積 FPGA vs. CPU ソフトウェアモデル 生成 C コード 実装 生成 実装 統合 ハードウェアモデル 生成 HDL コード プログラマブル SoC など モデルベースデザインフロー 19

20 MathWorks IoT 開発フロー 3 エッジデバイス アグリゲータへのコードの配置 Deploy MATLAB コードの Deploy (C, Java,.NET) データアグリゲータ データの前処理 同期処理 データベースアクセス エッジデバイス 信号処理 画像処理 データ圧縮 組み込みシステム ( マイコン FPGA) C/HDL コード生成 / 実装 システムの最適化 / バランス配置 エッジデバイス vs. サーバー ストリーミング vs. オフライン 20

21 Agenda Section1: 背景 IoT 応用例 何故 MATLAB は IoT にフィットするのか? MathWorks IoT ソリューション Section4: データアグリゲーション Section2: 信号処理 エッジデバイス 信号処理 画像処理 データ圧縮 組み込みシステム ( マイコン FPGA) IoT における信号処理技術 エッジデバイス開発 データ解析 / 可視化 トレンド解析 異常検出 データ可視化 レポーティング Section3: データ解析 21

22 信号処理 と エッジ開発 1 信号処理 前処理 雑音除去 フィルタ 特性解析 時系列解析 スペクトル解析 特徴量抽出 峻別 Wavelet AR 推定 2 エッジ開発 無線通信 SDR 低消費電力化 組み込み ARM FPGA 教育 パーソナルユース 22

23 Expo2014 のコンテンツ Case1: Weather Thingspeak によるデータ取得 トレンド抽出 移動平均フィルタ Case2: Wearable/Medical 生体信号処理 雑音 トレンド除去 ピーク検出 Case3: Infra/Home センサー信号の AC ノイズ スパイクノイズ除去 振動センサデータのスペクトル解析 Case4: Automotive ノッキング信号の取得 スペクトログラム GUI フィルタ設計 Simulink 23

24 Expo2014 コンテンツ抜粋心電図データ ( トレンド除去 ピーク値探索 ) オリジナルデータ トレンド除去 QRS 群 24

25 Expo2014 コンテンツ抜粋例 : センサーデータ ( 瞬時電圧降下対応 ) センサーデータに AC ノイズとスパイクノイズが重畳 メディアンフィルタで平滑化 25

26 IoT で使える信号処理技術 What s New in Signal Processing Toolbox センサ信号の解析を中心とした機能追加 Challenges: 欠落したデータの取り扱い 信号処理の知識や プログラミングのスキルがあまり無い方の増加 Solution: 外れ値の検出と除去 信号解析をより簡単に! ドキュメントの改善 26

27 不定周期でサンプリングされた信号のリサンプリング Convert irregularly sampled signals to a fixed rate Default sample rate Default anti-aliasing filter Multichannel support» [y,ty] = resample(x,tx)» y = resample(x,tx,fs)» [y,ty,b] = resample(x,tx,fs, ) 27

28 スペクトラム解析機能の強化 (cont.) Enhanced spectrogram and maxhold spectrum 工業単位の表示 DC 中心 Power spectrogram カラーバーの表示 >> pwelch(x,[],[],[],fs,'maxhold') >> pwelch(x,[],[],[],fs,'minhold') >> pwelch(x,[],[],[],fs) 28

29 帯域幅測定用関数の追加 Provide common estimation of filter and channel widths Support for various inputs Time domain PSD or Power spectrum estimate Multi-channel support Select bands and percentile estimations (obw) Selectable power level roll-off (powerbw)» obw(x,fs)» powerbw(pxx,f) 29

30 平均及び中央周波数算出 Estimate average frequency and mid-point of spectrum Support for various inputs Time domain PSD or Power spectrum estimate Multi-channel support Selectable mask region Median freq. robust in presence of spurs» meanfreq(pxx,f,[50e3 150e3])» medfreq(pxx,f) 30

31 Hampel フィルタ Identifies and Replaces Outliers 一般的なロバスト推定法に基づく 外れ値検出と 指定ウィンドウの中の中央値への置き換え Fast アルゴリズムの使用 >> hampel(x) 31

32 メディアンフィルタ Robust Central Estimator データの始点 終点付近における 中央値推定の改善 NaN がデータに含まれる場合でも 適切に除去 特にフィルタサイズが大きい場合で 処理速度が劇的に改善以下のツール比で非常に高速なアルゴリズム (R, Mathematica, NumPy, Octave) >> medfilt1(x,1000, truncate, omitnan ); 32

33 再割り当てスペクトログラム 時間成分やスペクトル成分のリーケージによる不確定性の除去 時間 - 周波数分解能の向上 音響 振動 レーダー等アプリケーションで使われる狭帯域信号の分離に最適 Ideal ADAS waveform >> spectrogram(x,[],[],[],fs,'reassigned') 33

34 スペクトログラムに対する 最小閾値設定 最も支配的なスペクトル成分を強調 >> spectrogram(x,128,127, 'yaxis') >> spectrogram(x,128,127,'yaxis',... 'MinThreshold',-10) 34

35 回転機械等のための 次数解析 メカニカルエンジニア向け スペクトル分析 rpm プロファイル vs 次数 周波数マップ マップでは ピーク振幅 RMS 振幅 パワーレベルが可視化できます 分解能や窓関数の選択が可能 次数や rpm 速度に対して 2D/3D マップを可視化するための 対話的プロット >> rpmordermap(x,fs,rpm) 35

36 包絡線検出例 RMS Envelope» load mtlb» envelope(mtlb, 150, rms ) Peak Envelope» load mtlb» envelope(mtlb, 150, peak ) 36

37 遅延量検出および調整 xcorr を内部で使用した便利関数» web(fullfile(docroot, 'signal/examples/measuring-signal-similarities.html') 最新の情報はここをクリック 37

38 demo: 外れ値 エンベロープ検出 オリジナルデータ 外れ値検出 ( スパイク NaN) 外れ値除去 エンベロープ ( 上側 下側 ) 38

39 エッジデバイス例 :Raspberry Pi パソコン (Simulink) 本体 GPIO スイッチ LED センサ USB ポート (web カメラ ) 音声出力端子 ( スピーカー ) 39

40 エッジデバイス例 :Raspberry Pi PC と Web カメラで動作チェック 雑音除去 台数計測 フォアグランドディテクター Blob 解析 必要なデータを抽出し Web へアップロード Raspberry Pi 用カメラペリフェラルブロック 40

41 エッジデバイス例 :iphone/ipad (Apple ios デバイス ) カメラ 音声 I/O ジャイロ等の各種センサブロックを提供 Simulink モデルを iphone アプリとして実装可能 41

42 ARM 社信号処理ライブラリ対応表 機能概要 CMSIS Ne10 Discrete FIR Filter Model FIR filters FIR Decimation Filter and downsample input signals FIR Interpolation Upsample and filter input signals LMS Filter Compute output, error, and weights using LMS adaptive algorithm Biquad Filter Model biquadratic IIR (SOS) filters FFT Fast Fourier transform (FFT) of input IFFT Inverse fast Fourier transform (IFFT) of input Correlation Cross-correlation of two inputs Convolution Convolution of two inputs Mean Find mean value of input or sequence of inputs RMS Compute root-mean-square value of input or sequence of inputs Variance Compute variance of input or sequence of inputs Standard Deviation Find standard deviation of input or sequence of inputs 信号処理に最適化されたライブラリにより高速処理を実現 42

43 エッジデバイス例 : STM32F4-Discovery, BeagleBone Black GPIO 音声出力 音声入力 USB ケーブル GPIO USB ポート DSP System Toolbox と Embedded Coder の組み合わせで 最適化された信号処理アプリを実装可能 43

44 Agenda Section1: 背景 IoT 応用例 何故 MATLAB は IoT にフィットするのか? MathWorks IoT ソリューション Section4: データアグリゲーション Section2: 信号処理 エッジデバイス 信号処理 画像処理 データ圧縮 組み込みシステム ( マイコン FPGA) データ解析 / 可視化 トレンド解析 異常検出 データ可視化 レポーティング Section3: データ解析 統計処理 機械学習 最適化 44

45 MATLAB データ解析系ツール Statistics and Machine Learning Toolbox 多変量統計 確率分布 回帰と分散分析 機械学習 実験計画 統計的工程管理 System Identification Toolbox 入出力値から線形 / 非線形動的モデルを同定 同定のための前処理 / 後処理 Neural Network Toolbox ニューラルネットワークの構築 学習 自己組織化マップ データフィッティング クラスタリング パタン認識 GPU による計算の高速化 Optimization Toolbox 滑らかな目的関数の最適化 さまざまな最適化問題に対応する関数の提供 最適化計算の並列処理 最適化のための GUI 環境 45

46 例題 構造ヘルスモニタリング Sensor #4 Sensor #3 Sensor #2 柱と留め具の隙間を調整できるようになっている Sensor #1 振動発生装置 Reference: Figueiredo, E., Park, G., Figueiras, J., Farrar, C., & Worden, K. (2009). Structural Health Monitoring Algorithm Comparisons using Standard Data Sets. Los Alamos National Laboratory Report: LA

47 例題 構造ヘルスモニタリング 入力 センサーからの加速度データ 特徴抽出 特徴量 分類 出力 構造物における損傷の有無 47

48 有効な特徴量は? 時系列 周波数スペクトル ヒストグラム AR 係数 48

49 自己回帰モデルの係数による特徴抽出 N Xn a 0 a i X n 1 i 1 t 定数項 過去データの線形和 白色雑音 ( a, a,...,a ) 0 1 n 49

50 自己回帰モデルの係数による特徴抽出 Sensor #1 Sensor #2 Sensor #3 Sensor #4 a 1,, a 10 a 1,, a 10 a 1,, a 10 a 1,, a 10 4*10 次元の特徴量 50

51 主成分分析 (Principal Component Analysis) 特徴量の次数低減 身長 PCA 第 1 主成分 体重 第 2 主成分 [coeff, score, latent] = pca(x) 51

52 例題 構造ヘルスモニタリング 4 チャネル全て使った場合 1 チャネルのみ使った場合 52

53 MATLAB における機械学習 教師なし学習 訓練データなし クラスタリング K- 平均クラスタリング階層クラスタリングニューラルネット混合ガウス分布自己組織化マップ 機械学習 分類 線形判別 2 次判別 K- 最近傍識別単純ベイズ分類決定木アンサンブル学習ニューラルネットサポートベクターマシン 教師あり学習 訓練データあり 回帰 線形回帰モデル一般化線形回帰モデル非線形回帰モデル回帰木アンサンブル学習ニューラルネット 53

54 例題 構造ヘルスモニタリング : 決定木 決定木 (Decision Tree) とは? 変数をひとつ選び 閾値を決めて サンプルを 2 つに分ける なるべく同じクラス同士が同じグループに入るようにしたい 混ざり具合の基準 (Gini 係数等 ) を使う X < 1.2 X >= 1.2 Y < 0.7 Y >=

55 例題 構造ヘルスモニタリング 90 個の正常データ 170 個の振動データ 80 個の異常データ 異常データをそんなにたくさん集められる? 55

56 例題 構造ヘルスモニタリング 90 個の正常データ 92 個の振動データ 2 個の異常データ 異常データを見分けることができるか? 56

57 例題 構造ヘルスモニタリング : 教師なし 1 クラス SVM による異常検出 57

58 ビデオおよび Web セミナー こちらで詳細をご覧頂けます 58

59 Expo2015 展示デモのご紹介 Building Structure Acceleration Sensor Raspberry Pi Camera Device 59

60 例題 心拍モニタ 診断 生体信号モニタリング デバイス MATLAB Amazon EC2 MATLAB Kinesis JAVA Client Amazon Kinesis ニューラルネットワークによる機械学習 (MATLAB からの実装 ) 心拍データのキャプチャ 特徴の抽出 60

61 例題 生産工程最適化 生産計画 機種 A 5 秒 / 台機種 B 7 秒 / 台 設備 1 設備 2 検査 最適化前 最適化後 61

62 例題 ある工場ラインのシミュレーション kensa_op.slx 生産計画 機種 A 5 秒 / 台 機種 B 7 秒 / 台 バッファ 処理時間平均 10 秒 σ=3 設備 1 バッファ 処理時間平均 5 秒 σ=1 設備 2 バッファ 検査時間平均 15 秒 σ=3 検査 出荷 A パレット 出荷 B パレット 修正率 :20% バッファ不良率 :10% 修正 修正時間平均 60 秒 σ=30 不良品パレット このとき必要な各設備数 検査ライン数 修正ライン数は? 62

63 ある工場ラインのシミュレーション SimEvents で実現 kensa_op.slx 生産計画 機種 A 5 秒 / 台 機種 B 7 秒 / 台 ラインの流れに沿って 機能ブロックをレイアウト 63

64 Global Optimization Toolbox による最適化 設備の各上限数 設備の各下限数 最適化ツールから提供される各種ソルバ 設備コスト合計 計画未達数 計画未達コスト + 合計設備コスト を最小化 64

65 Global Optimaization ToolBox による最適化 最適化 最適化結果 : 設備 1=4 設備 2=2, 検査ライン数 =6 修正ライン数 =3 生産計画と設備投資のバランシング 65

66 本日のトラックの流れ 最適化 機械学習 データ解析 66

67 Agenda Section1: 背景 IoT 応用例 何故 MATLAB は IoT にフィットするのか? MathWorks IoT ソリューション Section4: データアグリゲーション Section2: 信号処理 エッジデバイス 信号処理 画像処理 データ圧縮 組み込みシステム ( マイコン FPGA) Section3: データ解析 データ解析 / 可視化 トレンド解析 異常検出 データ可視化 レポーティング 67

68 データのアップロード ダウンロード MATLAB/Database Toolbox Web (Restful API) SQL Instrument Control Toolbox シリアル通信 Bluetooth TCP/IP UDP MATLAB は様々な 通信方式に対応しています 68

69 データの取得とアップロード I2C センサーを使った データ計測 PostgreSQL へのデータのアップロード データベース Kinesis/EC2 Total Phase Adaptor I2C Temperature sensor Remote address=0x48 69

70 データのダウンロード Restful Web API 使ったデータのダウンロード e.g.) トラフィック測定アプリケーション 70

71 デモ : Web サービスデータの読み込み MATLAB コード Send request インターネット Get response Web API データベース XML, JSON 形式など >> lat = ; lon = ; >> baseurl = ' >> data = webread(baseurl,'method,'getstations', 'x',lon,'y',lat); >> data.response.station(1).line Ans = 名古屋市桜通線 >> data.response.station(1).name ans = 久屋大通 71

72 JAVA 環境でのインテグレーション ( エンタープライズ対応 ) MATLAB Compiler SDK MATLAB Production Server 72

73 Request Broker JAVA 環境でのインテグレーション MATLAB Production Server Web Application Server Apache Tomcat MATLAB Production Server MATLAB Production Server MATLAB Desktop MATLAB での学習 Web Server/ Webservice 予測モデル CTF 気象データ 電力データ 73

74 まとめ MATLAB により IoT システムの具現化を加速 データアグリゲーション 豊富なデータ I/O サーバー環境への統合 エッジデバイス 信号処理 画像処理 データ圧縮 組み込みシステム ( マイコン FPGA) 信号処理 前処理特徴抽出等 各種エッジデバイスに対応 データ解析 / 可視化 トレンド解析 異常検出 データ可視化 レポーティング データ解析 統計処理の実績 機械学習 最適化 74