MATLAB®によるビッグデータ解析

Size: px

Start display at page:

Download "MATLAB®によるビッグデータ解析"

すずりふじた
4 years ago
Views:

1 MATLAB によるビッグデータ解析 MathWorks Japan アプリケーションエンジニアリング部アプリケーションエンジニア吉田剛士 2013 The MathWorks, Inc. 1

2 ビッグデータ解析とその背景増え続けるデータ量ビッグデータとは 100TB ~ 10PB 程度のデータ量データが膨大になる理由データソースの多様化と高性能化スマートフォン位置情報監視カメラ検索情報 SNS IC 構造物センサー交通情報 IC カード情報金融情報買物履歴 2

3 ビッグデータ解析とその背景活用できる時代がやってきたこれまではデータをためてはいたけどあきらめていたこれからはためていたデータを使った解析を実施 3

4 アジェンダ Hadoop へのアクセス MATLAB によるデータ解析拡張性と柔軟性を合わせ持つ開発環境まとめ 4

5 Hadoop とは分散処理を利用した大規模データ向けミドルウェア Apache Project の 1 つで Hadoop Common Hadoop Distributed File System (HDFS ) Hadoop MapReduce という 3 本柱から構成される Java がソフトウェアフレームワーク HDFS 複数ホストにまたがる分散ファイルシステム Hadoop MapReduce HDFS 上のデータに効率よくアクセスするためのフレームワーク 5

Hadoop -Related Projects at Apache Java を知らなくても

によって開発されたデータフロー言語および実行環境 HBase : Google の

6 Hadoop -Related Projects at Apache Java を知らなくても HDFS の利用可能! HDFS や MapReduce を応用した製品または補完製品代表的なプロジェクト Hive : Facebook によって開発されたデータウェアハウス Pig : Yahoo! によって開発されたデータフロー言語および実行環境 HBase : Google の Bigtable を参考にした列指向の分散データベース Cassandra : Facebook によって開発された列指向の分散データベース ZooKeeper : 分散アプリケーション向け高可用性協調サービス 6

7 HDFS へのアクセス MATLAB にデータインポート連携方法 2 つの選択肢 1. Java API + テキストファイルのインポート 2. JDBC ドライバ.txt Java 7

デモンストレーション Import data from Hive/HBase via JDBC driver >> % Import data as table array >> setdbprefs( DataReturnFormat, table ); >> % Access to Hive >> conn = database('default',

hivedriver', 'jdbc:hive2://hostname:hive2_port'); >> curs = exec(conn, 'select * from HARTRAINDATA'); % Open cursor >> curs = fetch(curs); % Import data into MATLAB workspace >>

8 デモンストレーション Import data from Hive/HBase via JDBC driver >> % Import data as table array >> setdbprefs( DataReturnFormat, table ); >> % Access to Hive >> conn = database('default', USERNAME', PASSWORD', 'org.apache.hive.jdbc.hivedriver', 'jdbc:hive2://hostname:hive2_port'); >> curs = exec(conn, 'select * from HARTRAINDATA'); % Open cursor >> curs = fetch(curs); % Import data into MATLAB workspace >> RawData = curs.data; >> close(curs); >> close(conn); >> clear conn curs >> whos RawData Database Toolbox Name Size Bytes Class Attributes RawData x table Hbase Phoenix の場合は conn = database('', USERNAME', PASSWORD','com.salesforce.phoenix.jdbc.PhoenixDriver',... 'jdbc:phoenix:hostname:zookeeper_port:/hbase'); 8

9 Table R2013b の新機能 >> RawData ans = 特徴変数名付データ利点変数名を使ってアクセス可能 time actid heart_rate NaN >> RawData.time ans = データが比較的コンパクト : Name Size Bytes Class RawData x cell Name Size Bytes Class RawDataT x table 9

10 アジェンダ Hadoop へのアクセス MATLAB によるデータ解析拡張性と柔軟性を合わせ持つ開発環境まとめ 11

11 Time Series デモンストレーション Physical Activity Recognition 体に取り付けたセンサーから得られるデータからの活動状態を把握心拍数と 3 箇所に取り付けたセンサー情報 ( 温度加速度 (x,y,z) など 17 種類 ) から 1. 寝ている 2. 座っている 3. 立っている : という活動状態の分類を実施活動状態との関係性を導き出す Activity ID Heart Rate timestamp t y x 1 x 2 x 3 x 4 x 5 x 52 ( x1, x2,, x52) f? y 51 (= 3*17) Features 12

12 課題データがあっても生データは前処理が必要モデルを数式で表現することが困難変数の数が多くても大事なのはその一部 x 1 x2, x3, x4, x5,, x 6 xn Model

13 取り込んだデータの確認生データはそのままでは使えない使えないデータが無視できないほど含まれている異常値 time actid heart_rate imu_and_ temperature imu_hand_3d_ acceleration2 imu_hand_3d_ acceleration NaN NaN : : : : : : NaN : : : 欠損値 : : :

14 Data Cleansing データを整えるテクニック論理配列による高速なデータ抽出論理配列とは 1 (true) / 0 (false) から配列論理配列によるデータ抽出 >> x(x >= 0.7) ans = >> x x = >> x >= 0.7 ans = FIND 関数を使うよりも 30% 程度高速 15

15 様々な回帰分類アルゴリズム試行錯誤を繰り返し普遍性の発見 Regression Statistics Toolbox Neural Networks Toolbox Neural Networks Bagging / Random Forest Decision Tree Boosting Non-linear Reg. (GLM, Logistic) Linear Regression Classification Support Vector Machines Discriminant Analysis Naive Bayes Nearest Neighbor 16

16 決定木木構造を用いた機械学習アルゴリズム : Branch : Leaf + : Node y f ( x, x2,, x 1 n のが木構造 ) AdaBoost Bagging (Bootstrap Aggregating) Random Forest f 17

17 変数が多い場合のモデル構築変数の選択全ての変数が意味のあるデータとは限らない相関の高い変数分類に影響を与えない変数変数選択の効果メモリの節約計算パフォーマンスの向上 18

18 モデルの評価 Confusion Matrix ROC 曲線と AUC 実際の分類モデルによる分類 A B C D E F G A B C D E F G モデルではグループ E に分類されたが実際はグループ F に属しているデータ 19

19 課題 ( 再掲 ) 生データは前処理が必要モデルを数式で表現することが困難変数の数が多くても大事なのはその一部 x 1 x2, x3, x4, x5,, x 6 xn Model

20 MATLAB s Solutions データに潜む普遍的ルールの発見論理配列による高速なデータクレンジング様々な機械学習アルゴリズムをサポート学習結果から変数選択を行いモデルを軽量化 x1 x2 x8 x19 x31 Model 21

21 アジェンダ Hadoop へのアクセス MATLAB によるデータ解析拡張性と柔軟性を合わせ持つ開発環境まとめ 22

22 解析に時間がかかるような場合はユーザフレンドリーな並列分散プログラミング Desktop Computer Parallel Computing Toolbox 12 コアまでを用いた並列プログラミング環境と関数群を提供並列計算の初心者から MPI を使いこなす上級者向けの機能をサポート MATLAB/Simulink プロダクトファミリとの連携による並列計算機能 GPGPU へのシームレスなアクセス 23

23 1 台で間に合わなければスケーラブルな並列分散環境を提供 Desktop Computer Parallel Computing Toolbox Computer Cluster MATLAB Distributed Computing Server Head Node 24

24 アジェンダ Hadoop へのアクセス MATLAB によるデータ解析拡張性と柔軟性を合わせ持つ開発環境まとめ 25

25 MATLAB によるビッグデータ解析まとめ : バッチ解析編 HDFS へのアクセス JDBC / Java API MATLAB Builder JA Tips & Tricks テーブル配列データクレンジングの高速化 PCT / MDCS によるスケールアウト豊富な解析機能データ集約回帰または分類モデルの構築 26

26 MATLAB によるビッグデータ解析 2 つの流派 Batch Processing Batch Processing ある程度のデータをためて処理する対象データは大規模処理に時間をかけてもよいポイントはデータストレージへのアクセス Stream Processing 次々生成されるデータを処理する対象データは小規模処理に時間はかけられないポイントは低遅延性 Stream Processing 27

自動車開発におけるビッグデータ / クラウド時代のデータ解析

自動車開発におけるビッグデータ / クラウド時代のデータ解析 MathWorks Japan アプリケーションエンジニアリング部テクニカルコンピューティング吉田剛士 2015 The MathWorks, Inc. 1 Agenda Introduction デモンストレーション Data Summary on Amazon Redshift Triggered Data Capturing &