自動車開発におけるビッグデータ / クラウド時代のデータ解析

Size: px

Start display at page:

Download "自動車開発におけるビッグデータ / クラウド時代のデータ解析"

れいなかやぬま
5 years ago
Views:

1 自動車開発におけるビッグデータ / クラウド時代のデータ解析 MathWorks Japan アプリケーションエンジニアリング部テクニカルコンピューティング吉田剛士 2015 The MathWorks, Inc. 1

2 Agenda Introduction デモンストレーション Data Summary on Amazon Redshift Triggered Data Capturing & Calibration 終わりにまとめ 2

3 刻々と増え続けるデータ量データが膨大になる理由データソースの多様化と高性能化スマートフォン位置情報監視カメラ検索情報 SNS IC 構造物センサー交通情報 IC カード情報金融情報買物履歴 3

4 どのようにビッグデータを扱うのか? 2 つの流派 Batch Processing Batch Processing ある程度のデータをためて処理する対象データは大規模処理に時間をかけてもよいポイントはデータストレージへのアクセス Stream Processing 次々生成されるデータを処理する対象データは小規模処理に時間はかけられないポイントは低遅延性 Stream Processing 4

5 Agenda Introduction デモンストレーション Data Summary on Amazon Redshift Triggered Data Capturing & Calibration 終わりにまとめ 5

6 データ解析ワークフローデータへのアクセスファイルアルゴリズムの探求データ解析結果の共有 /IP 化ドキュメント生成ソフトウェア数理モデリング x E = V2 R y アプリケーション配布コードやアプリケーションハードウェアアルゴリズム開発ウェブサービス JSON XML HTML アプリケーション開発組み込み開発 Integrate 6

7 データ解析ワークフローデータへのアクセスファイルアルゴリズムの探求データ解析結果の共有 /IP 化ドキュメント生成ソフトウェア数理モデリング x E = V2 R y アプリケーション配布コードやアプリケーションハードウェアアルゴリズム開発ウェブサービス JSON XML HTML アプリケーション開発組み込み開発 Integrate 7

8 データ解析ワークフローデータへのアクセスアルゴリズムの探求結果の共有 /IP 化ファイルソフトウェアハードウェアウェブサービスデータ解析アルゴリズム開発数理モデリングアプリケーション開発ドキュメント生成アプリケーション配布組み込み開発 Amazon Redshift MATLAB Amazon EC2 8

Amazon Redshift Access Database Toolbox Amazon Redshift >> setdbprefs( DataReturnFormat, table ); % Table 型でインポート >> % Redshiftへ接続 >> conn = database( <DBName>', <UserName>', <Password>', 'org.

9 Amazon Redshift Access Database Toolbox Amazon Redshift >> setdbprefs( DataReturnFormat, table ); % Table 型でインポート >> % Redshiftへ接続 >> conn = database( <DBName>', <UserName>', <Password>', 'org.postgresql.driver', 'jdbc:postgresql://<jdbc_url>'); >> curs = exec(conn, select * from sensor ); % Select 文の発行 >> curs = fetch(curs); % インポート >> GPSData = curs.data; >> close(curs); >> close(conn); >> clear curs conn 9

10 データの前処理と解析 Discover & Explore 論理配列を使った異常値の除去 >> Longitude(GPSData.horizontalAccuracy >= 100) = NaN; >> Latitude(GPSData.horizontalAccuracy >= 100) = NaN; N 次元配列までサポートする補間関数 interp1 / interp2 / interp3 / intern シンプルな文法による移動平均フィルタ 10 点移動平均フィルタの計算 Curve Fitting Toolbox >> Latitude2 = smooth(latitude, 10, moving ); >> Longitude2 = smooth(longitude, 10, 'moving'); 10

11 様々な地図サービス / データとの連携 Discover & Explore Mapping Toolbox 地図解析および可視化ベクタ / ラスタデータのインポートエクスポート 2D/3D 地図表示 WMS (Web Map Service) へのアクセスデジタル地形や標高の分析地図フォーマットの変換 OpenStreetMap のインタラクティブな Web 地図表示 11

12 様々な解析方法が試せる! Discover & Explore 専門非専門分野の手法を手軽に適用できる環境 Statistics Toolbox Signal Processing Toolbox Wavelet Toolbox Optimization Toolbox Global Optimization Toolbox Control System Toolbox System Identification Toolbox Econometrics Toolbox 12

13 HTML レポートの作成 Share MATLAB Report Generator グラフや表を埋め込んだレポート生成章や節といった構成の設定 HTML の他に RTF/XMLPDF/Word をサポート 13

14 まとめ MATLAB Solutions MATLAB Access ODBC/JDBC ドライバをサポート Amazon Redshift Discover & Explore 地図情報専用製品を提供高速で柔軟なデータの前処理豊富なフィルタ機能 Share HTML を含めた様々なファイル形式でのレポート生成 Amazon Web Service / Bring Your Own License 14

Scalability MapReduce を含め並列実行による解析作業の高速化

15 Scalability MapReduce を含め並列実行による解析作業の高速化 Scale-up ローカルホスト上のマルチコア / マルチ CPU を利用した解析作業の並列化 Parallel Computing Toolbox Scale-out ネットワークを介したクラスタ環境上での大規模な解析作業 MATLAB Distributed Computing Server Desktop Computer Local MATLAB Desktop (Client) Computer Cluster Scheduler 15

16 車両計測データ解析エコシステム豊富な計算機能と柔軟な API を活かした解析システムの構築 16

17 異常検出とは? データの中に潜む珍妙な振る舞いを見つけ出す異常もいろいろ外れ値 (Outlier) 変化点 (Change point) 逸脱 (Deviation) 誤作動 (Fault) 侵入 (Intrusion) 詐欺 (Fraud) : センサーデータから非破壊で異常を発見した様子目標は自動検出 17

18 時系列データの異常検出人の目には明らかな異常たちどこを異常と判断しますか? 自動判定したい!! 参考文献 : 井手剛 (2015) 入門機械学習による異常検知 18

19 時系列の異常検出最近傍法を応用した変化点検出 ( 上 ) 主成分分析を応用した変化点 + 逸脱検出 ( 下 ) 19

20 事例 :Daimler AG データベースへのアクセス解析マップ上の可視化まで MATLAB の 1 ツールのみで完結現場からの様々な解析要求に迅速に応答 100 時間以上かかっていたマニュアルによる解析が自動化 20

21 Agenda Introduction デモンストレーション Data Summary on Amazon Redshift Triggered Data Capturing & Calibration 終わりにまとめ 21

22 データ解析ワークフローデータへのアクセスファイルアルゴリズムの探求データ解析結果の共有 /IP 化ドキュメント生成ソフトウェア数理モデリング x E = V2 R y アプリケーション配布コードやアプリケーションハードウェアアルゴリズム開発ウェブサービス JSON XML HTML アプリケーション開発組み込み開発 Integrate 22

23 データ解析ワークフローデータへのアクセスアルゴリズムの探求結果の共有 /IP 化ファイルソフトウェアハードウェアウェブサービスデータ解析アルゴリズム開発数理モデリングアプリケーション開発ドキュメント生成アプリケーション配布組み込み開発計測機器 Calibration (Track Optimization) 大規模テキストファイル非 MATLAB ユーザへの配布 23

24 データへのアクセス特定のイベントを捕らえるためのストリーミング処理 Triggered Data Capturing 2 つのチャンネルを流れる信号を必要な分だけ捕捉 CH1 : ギアポジション (1~6) を示す離散的な波形 CH2 : 別のセンサーが出力する連続的な波形ストリーミング処理計測機器と繋げたオンライン処理エクスポートされた CSV ファイルに対するオフライン処理 24

25 オンラインストリーミング処理をサポートする様々な製品計測ハードウェアとのインターフェース Data Acquisition Toolbox プラグインデータ収集ボード Instrument Control Toolbox オシロスコープ信号発生器 etc. Image Acquisition Toolbox イメージキャプチャーデバイス Others Vehicle Network Toolbox DSP System Toolbox MATLAB 25

26 Demo : オンラインストリーミング処理 Triggered Data Capturing CH1 を流れる信号が特定の状態に変化した時刻前後の CH1/CH2 の信号を捕捉 CH1 が 3 4 に変化した際の CH1 および CH2 を流れる信号を捕らえた様子デモへ 26

27 データ解析ワークフローデータへのアクセスデータへのアクセスアルゴリズムの探求結果の共有 /IP 化ファイルソフトウェアハードウェアウェブサービスデータ解析アルゴリズム開発数理モデリングアプリケーション開発ドキュメント生成アプリケーション配布組み込み開発計測機器 Calibration (Track Optimization) 大規模テキストファイル非 MATLAB ユーザへの配布 27

28 オフラインストリーミング処理をサポートする様々な機能テキストファイルならば MATLAB datastore 大規模データ向けに設計されたオブジェクトデータベースにも対応 ReadSize プロパティと read メソッド reset メソッドで初期化 ( 巻き戻し ) >> ds = datastore('sampleascii.csv'); >> whos ds Name Size Bytes Class ds 1x1 112 matlab.io.datastore.tabulartextdatastore >> ds.readsize = 3; >> while hasdata(ds) read(ds); : end >> >> reset(ds); データストアを作成してもデータは未取得 Time Position cursor メモリに余裕があれば readall メソッドで全てインポートバイナリファイルの場合は音声であれば DSP System Toolbox 動画であれば Computer Vision System Toolbox その他であれば MATLAB ImageDatastore 登場 (R2015b~) : : :

29 Demo : オフラインストリーミング処理 10KHz で 30 分間サンプリングされた 2 チャンネル分のセンサーデータをストリーミング処理 CH1 側で発生したイベントを監視しイベント発生時刻前後の CH2 側のデータを抽出 29

30 データ解析ワークフローアルゴリズムの探求データへのアクセスアルゴリズムの探求結果の共有 /IP 化ファイルソフトウェアハードウェアウェブサービスデータ解析アルゴリズム開発数理モデリングアプリケーション開発ドキュメント生成アプリケーション配布組み込み開発計測機器 Calibration (Track Optimization) 大規模テキストファイル非 MATLAB ユーザへの配布 30

31 Demo: Calibration (Tracking Problem) Optimization Toolbox Global Optimization Toolbox Simulink Design Optimization 理想波形に近づけるためのパラメータ最適化 31

32 データ解析ワークフロー結果の共有 /IP 化データへのアクセスアルゴリズムの探求結果の共有 /IP 化ファイルソフトウェアハードウェアウェブサービスデータ解析アルゴリズム開発数理モデリングアプリケーション開発ドキュメント生成アプリケーション配布組み込み開発計測機器 Calibration (Track Optimization) 大規模テキストファイル非 MATLAB ユーザへの配布 32

33 Application Deployment アプリケーション展開を支える製品群 MATLAB MATLAB Compiler MATLAB Compiler SDK Standalone Application Excel Add-in C/C ++ Java.NET Python MATLAB Production Server MATLAB アプリケーションの再配布は Royalty-free 各アプリケーションはランタイム上で動作管理はローカルまたはサーバの両方に対応 33

34 サーバで管理する場合の構成 Web Browser Microsoft Excel MATLAB Production Server Load Balancer End User License Manager MATLAB Toolboxes MATLAB Compiler MATLAB Compiler SDK Shared Directory Java C/C++ 34

35 まとめ製品開発のためのセンサーデータ解析ストリーミング処理を取り入れたデータ解析次々送信されるデータに対するオンライン処理取り溜めた巨大ファイルへのオフライン処理最適化 / 機械学習など豊富な解析機能横展開を支えるアプリケーション配布機能スタンドアロン / サーバ運用既存システムとの統合 Standalone Application MATLAB Production Server 35

36 Agenda Introduction デモンストレーション Data Summary on Amazon Redshift Triggered Data Capturing & Calibration 終わりにまとめ 36

37 まとめ Batch vs. Streaming Batch Processing Batch Processing ある程度のデータをためて処理する対象データは大規模処理に時間をかけてもよいポイントはデータストレージへのアクセス Stream Processing 次々生成されるデータを処理する対象データは小規模処理に時間はかけられないポイントは低遅延性 Stream Processing 37

38 IoT を使った遠隔診断 DEMO ~ 心電図のリモート (Cloud) 診断 ~ 生体信号モニタリングデバイス Kinesis JAVA SDK MATLAB Amazon EC2 MATLAB Kinesis JAVA SDK Amazon Kinesis ニューラルネットワークによる機械学習 (MATLAB からの実装 ) Edge 処理心拍データのキャプチャ特徴の抽出 38

Presentation Title

Presentation Title エンタープライズ向けアプリケーション開発の例 MathWorks Japan アプリケーションエンジニアリング部アプリケーションエンジニア吉田剛士 2014 The MathWorks, Inc. 1 アジェンダ低コスト低リスクなプロトタイプ開発デモンストレーション Amazon Redshift 上の CAN データの集約拡張性とアプリケーション展開まとめ 2 MATLAB の特徴 Next