Presentation Title

Size: px

Start display at page:

Download "Presentation Title"

きみのしんしばもと
5 years ago
Views:

1 エンタープライズ向けアプリケーション開発の例 MathWorks Japan アプリケーションエンジニアリング部アプリケーションエンジニア吉田剛士 2014 The MathWorks, Inc. 1

2 アジェンダ低コスト低リスクなプロトタイプ開発デモンストレーション Amazon Redshift 上の CAN データの集約拡張性とアプリケーション展開まとめ 2

3 MATLAB の特徴 Next j Excel VBA vs. MATLAB Next i Excel VBA の場合 MATLAB の場合 'Create the random numbers For i = 0 To (nsteps - 1) For j = 0 To (nsims - 1) mat(i, j) = gauss() 'scale the numbers and add one mat(i, j) = Exp((r - divyield - sig ^ 2 / 2) * dt + sig * Sqr(dT) * mat(i, j)) 'Once we have the scaled numbers, we need to do the cumulative product to simulate asset paths For i = 1 To (nsteps - 1) For j = 1 To (nsims - 1) mat(i, j) = mat(i, j) * mat(i - 1, j) Next j Next i ' Now, we want to get the average asset value Dim avprices() As Double ReDim avprices(nsims - 1) For j = 0 To (nsims - 1) For i = 0 To (nsteps - 1) avprices(j) = avprices(j) + mat(i, j) Next i 'Take the average price avprices(j) = avprices(j) * S / nsteps 'Take off the strike/exercise avprices(j) = avprices(j) - E 'If zero, floor on zero If avprices(j) < 0 Then avprices(j) = 0 End If Next j 'Now, take the average payoff and discount Dim oprice As Double oprice = 0 For i = 0 To (nsims - 1) oprice = oprice + avprices(i) Next i oprice = Exp(-r * T) * oprice / nsims 'Return the option price Application.Range("E12").Value = oprice End Sub コードは 70 行 3

4 MATLAB の特徴 Excel VBA vs. MATLAB マクロ (VBA) の場合 MATLAB の場合 function [C, Sij] = opasian(s0,k,r,t,sigma,q,nsims,nsteps) Dt = T/nSteps; % Determine the timestep Eij = exp( (r -q -sigma^2/2)*dt + sigma*sqrt(dt).*randn(nsteps, nsims) ); Sij = S0.* cumprod(sij,1); Ci = exp(-r*t) * max(mean(sij)-k, 0); % Convert to NPV C = mean(ci) % Convert to NPV プログラミング言語としてコード量が少ないデバッグ作業が効率的実行時間は一般に5% 以下 4

5 ユーザ講演 (2014/08/27 弊社開催セミナーにて ) デロイトトーマツコンサルティング様パッケージ製品では届かないサービスを提供 5

6 クラウドサービスの利用 MATLAB ライセンスは Bring Your Own License On-Premise vs. Cloud On-premise は自前のと訳すと意味が通じます Cloud であれば最新の HW 環境でパワフルな計算を実現 AWS Marketplace を利用するとインストールの手間なし詳細は展示ブースへ 6

7 アジェンダ低コスト低リスクなプロトタイプ開発デモンストレーション Amazon Redshift 上の CAN データの集約拡張性とアプリケーション展開まとめ 7

8 Demonstration Overview Amazon Redshift 上のデータ集約 GPS 情報および車両走行情報 (CAN) の集約総走行距離 (3D) 最高高度とその際の住所最高速度とその際の住所といった計算を実施 8

9 応用事例 Fleet / Probe 解析 Prognostics 解析列車の走行解析線路保守構造物センサー防犯カメラの解析タクシーの配車 / 宅配便介護 / 迷子 etc. 9

10 データ解析ワークフロー開発 / 実行場所データへのアクセスアルゴリズムの探求結果の共有ファイルデータ解析モデリングドキュメント生成ソフトウェアアルゴリズム開発組み込み開発 C/C++/Java などハードウェアアプリケーション開発アプリケーションとして配布 10

11 Access Import Amazon EC2 クラウド上の仮想サーバー AWS Marktplace を通じてインストール作業なしで MATLAB を動作させることができる Amazon Redshift PostgreSQL に基いたペタバイト規模データウェアハウス課題 : Redshift へのアクセス大規模データのインポート 11

12 Discover & Explore 補正前補正後課題 : 地図サービスとの連携異常値除去と補間 12

13 Share Web Browser End User Web サーバを介した解析結果の共有表やグラフの社内展開解析結果のWeb 配信課題 : HTML 形式のレポート生成 13

Amazon Redshift Access Database Toolbox >> setdbprefs( DataReturnFormat, table ); % Table 型でインポート >> % Redshiftへ接続 >> conn = database( <DBName>', <UserName>', <Password>', 'org.postgresql.

14 Amazon Redshift Access Database Toolbox >> setdbprefs( DataReturnFormat, table ); % Table 型でインポート >> % Redshiftへ接続 >> conn = database( <DBName>', <UserName>', <Password>', 'org.postgresql.driver', 'jdbc:postgresql://<jdbc_url>'); >> dbds = datastore(conn, select * from cannovi order by devicetime ); % Select 文の発行 >> whos dbds Name Size Bytes Class Attributes dbds 1x1 112 matlab.io.datastore.databasedatastore 14

15 Datastore 大規模テキストファイル / ビッグデータ向けオブジェクトテキストファイル or データベースからの読み込みテキストファイル ( アスキーファイル ) Normal File System Hadoop Distributed File System (HDFS) MapReduce ODBC / JDBC 準拠のデータベース特徴 >> whos dbds Name Size Bytes Class Attributes dbds 1x1 112 matlab.io.datastore.databasedatastore Datastore を作成してもデータは未取得 15

16 Datastore 大規模テキストファイル / ビッグデータ向けオブジェクトデータへのアクセス read cursor 3 行ずつの読み込み >> read(dbds, 3) % 第 2 引数で行数を指定 50 行ずつ読み込んで処理を行う >> while hasdata(dbds) read(dbds, 50) : end reset でカーソルの巻き戻し >> reset(dbds); readall 全データの読み込み >> Data = readall(dbds); Timestamp Longitude Latitude 09:17: :17: :17: :17: :17: :17: :17: :17: : : : : 09:55: :55: :55:

17 Table R2013b の新機能特徴変数名付データ >> Data ans = gpstime devicetime... ' :17:30.0' ' :17:32.427'... ' :17:30.0' ' :17:33.432'... ' :17:30.0' ' :17:34.432'... 利点変数名を使ってアクセス可能データが比較的コンパクト >> Data.latitude ans = : Name Size Bytes Class Attributes Data 1495x cell Name Size Bytes Class Attributes Data 1495x table 17

18 様々な地図サービス / データとの連携 Discover & Explore Mapping Toolbox 地図解析および可視化ベクタ / ラスタデータのインポートエクスポート 2D/3D 地図表示 WMS (Web Map Service) へのアクセスデジタル地形や標高の分析地図フォーマットの変換 Web ブラウザ上でのインタラクティブな地図表示 18

19 データの前処理 Discover & Explore 論理配列を使った異常値の除去 >> Longitude(Data.horizontaldilution >= 30) = NaN; >> Latitude(Data.horizontaldilution >= 30) = NaN; N 次元配列までサポートする補間関数 interp1 / interp2 / interp3 / interpn 最近傍補間線型補間 3 次スプライン補間 3 次畳み込み補間区分的 3 次エルミート内挿多項式 (interp1 のみ ) 19

20 様々な解析方法が試せる! Discover & Explore 専門非専門分野の手法を手軽に適用できる環境 Statistics Toolbox Signal Processing Toolbox Wavelet Toolbox Optimization Toolbox Global Optimization Toolbox System Identification Toolbox Control System Toolbox Econometrics Toolbox 20

21 HTML レポートの作成 Share MATLAB Report Generator グラフや表を埋め込んだレポート生成章や節などの構成設定 HTML の他に RTF/XML/PDF/ Microsoft Word をサポート 21

22 デモ : Amazon Redshift 上のデータ集約 - Challenges Access Amazon Redshift へのアクセス大規模データインポート Discover & Explore 地図サービスとの連携異常値除去と補間 Data Analytics Share Web サーバを介した情報共有のための HTML 生成 AWS サービスの利用 22

23 デモ : Amazon Redshift 上のデータ集約 - MATLAB Solutions Access ODBC/JDBC ドライバをサポート datastore の利用 Vehicle Network Toolbox による CAN インポート Discover & Explore 地図情報専用製品を提供高速で柔軟なデータの前処理 Share HTML を含めた様々なファイル形式でのレポート生成 23

24 アジェンダ低コスト低リスクなプロトタイプ開発デモンストレーション Amazon Redshift 上の CAN データの集約拡張性とアプリケーション展開まとめ 24

25 Scalability 計算リソースの有効活用 Desktop Computer Local Scale-up Parallel Computing Toolbox Scale-out MATLAB Distributed Computing Server MATLAB Desktop (Client) Computer Cluster Scheduler 25

26 MapReduce Parallel Computing Toolbox Parallel Computing Toolbox MATLAB Distributed Computing Server 26

27 Application Deployment 非ユーザに対する実行環境の提供 Computer Cluster Web Browser MATLAB Production Server Java End User without License www MATLAB Toolboxes MATLAB Compiler Shared Directory 27

28 Application Deployment 非ユーザに対する実行環境の提供 Computer Cluster Excel MATLAB Production Server End User without License MATLAB Toolboxes MATLAB Compiler MATLAB Builder EX Shared Directory 28

29 地図アプリケーション開発株式会社ゴーガ様のソリューション 29

30 アジェンダ低コスト低リスクなプロトタイプ開発デモンストレーション Amazon Redshift 上の CAN データの集約拡張性とアプリケーション展開まとめ 30

31 まとめエンタープライズ向けアプリケーション開発の例開発としての MATLAB コード量が少なくデバッグが容易 API が柔軟豊富なライブラリ群実行環境としての MATLAB 高いスケーラビリティサーバ運用を想定したアプリケーション展開 Web サービス Microsoft Excel 計算エンジンロイヤリティフリーで運用可能 31

32 MATLAB によるデータサイエンス ~ 統計解析機械学習と大規模データ ~ 開催地 : 東京御茶ノ水会場 : TKP ガーデンシティ御茶ノ水日付 : 2014 / 12 / 5 ( 金曜日 ) 時間 : 13:30 ~ 17:00 MATLAB によるデータ解析入門 (13:30 ~ 14:20) MATLAB による統計解析機械学習 (14:30 ~ 16:40) 大規模データへの処方箋 (16:40 ~ 17:00) 32

自動車開発におけるビッグデータ / クラウド時代のデータ解析

自動車開発におけるビッグデータ / クラウド時代のデータ解析 MathWorks Japan アプリケーションエンジニアリング部テクニカルコンピューティング吉田剛士 2015 The MathWorks, Inc. 1 Agenda Introduction デモンストレーション Data Summary on Amazon Redshift Triggered Data Capturing &