機械学習ツール入門

Size: px

Start display at page:

Download "機械学習ツール入門"

えりかたけすえ
5 years ago
Views:

1 機械学習データマイニングのツール紹介 - データベース的観点から年 3 月 11 日川島英之筑波大学システム情報系 ( 計算科学研究センター )

2 機械学習データマイニング用語 AutoPlait DBN Python libsvm PostgreSQL RF SVM Weka K-means R SQL SciQL R+Bigmemory TinySVM グループ LDA MADLib Hivemall Mahout 平均 Esper SciDB MySQL K- 最近傍法 Hadoop

3 分析複雑度とデータサイズ分析複雑度 AutoPlait DBN Python R Weka R+Bigmemory 銀の弾丸 RF LDA SciDB SciQL Spark SVM K-means TinySVM libsvm MADLib Hivemall SQL 平均 K- 最近傍法グループ PostgreSQL MySQL とりあえず分析してみたい! Mahout Hadoop Esper データサイズ

4 リレーショナル DBMS データは表! SQL Structured Query Language データが沢山標準化 SQL:1992 SQL:1999 SQL:2003 SQL:2008

5 問合せ言語 :SQL -- パケットを題材として -- 全てのパケットを得る SELECT * FROM packet; srcip の情報を全てのパケットから得る SELECT srcip FROM packet; HTTP アクセス (port 80) に関するパケットだけを表示 SELECT * FROM packet WHERE dstport = 80; HTTP アクセスに関するパケットの件数を表示 SELECT COUNT(*) FROM packet WHERE dstport = 80; dstip 毎のパケット件数を表示 SELECT dstip, COUNT(*) FROM packet GROUP BY dstip;

6 分析複雑度とデータサイズ分析複雑度 AutoPlait DBN Python R Weka R+Bigmemory 銀の弾丸 RF LDA SciDB SciQL Spark SVM K-means TinySVM libsvm MADLib Hivemall SQL 平均 K- 最近傍法グループ PostgreSQL MySQL Mahout Hadoop Esper データサイズ

7 近傍検索 SELECT R.id, S.id FROM R, S WHERE (R.x S.x) 2 + (R.y S.y) 2 < threshold; y O x

8 アルゴリズム 1 万件,100 万件ではどの程度かかる? FFFFFFFFFFFFF tttttttttt rr RR { FFFFFFFFFFFFF tttttttttt ss SS { IIII(rr mmmmmmmmmmmmm ss) AAAAAA{rr, ss}}}

9 Query plan of PostgreSQL Nested Loop (cost= rows= width=16) Join Filter: ((((a.x - b.x) * (a.x - b.x)) + ((a.y - b.y) * (a.y - b.y))) < 0) -> Seq Scan on loc a (cost= rows= width=8) -> Materialize (cost= rows= width=8) -> Seq Scan on loc b (cost= rows= width=8) 今朝の 5 時ごろにクエリをサブミットまだ終わりませんこんなときには自作あるのみ

10 分析複雑度とデータサイズ分析複雑度 AutoPlait DBN RF LDA SVM K-means 深く分析してみたい! Python R+Bigmemory R Weka SciDB SciQL TinySVM libsvm MADLib 銀の弾丸 Spark Hivemall SQL 平均 K- 最近傍法グループ PostgreSQL MySQL Mahout Hadoop Esper データサイズ

11 R 古くから存在するプログラミング言語環境豊富なパッケージ決定木, k-means, random forest, SVM, deep learning 大規模データ対応 Bigmemory, biganalytics 豊富なユーザ情報

12 動物の分類 library("mass") data("animals") データ読み込み animals.cluster <- kmeans(x=animals, centers=5) K-meansによる分類分類数 Animal Body Brain Mountain beaver Cow Grey Wolf Goat Guinea pig Dipliodocus Asian elephant Donkey Horse

13 分析複雑度とデータサイズ分析複雑度 AutoPlait DBN RF LDA SVM K-means Python R+Bigmemory R Weka C/Java 等から呼び出したい! SciDB SciQL TinySVM libsvm MADLib 銀の弾丸 Spark Hivemall SQL 平均 K- 最近傍法グループ PostgreSQL MySQL Mahout Hadoop Esper データサイズ

14 Support Vector Machine (SVM) SVM 2 クラス分類問題を扱う画像認識, 音声認識,etc. マージン最大化汎化能力が高い学習ベクトルとクラスの組を学習データとして与える気圧配置ごとに分類器を作る冬型クラス識別境界非冬型クラスサポートベクトル Hiroki Kimura, Hideyuki Kawashima, Hiroyuki Kusaka, Hiroyuki Kitagawa: マージン Applying a Machine Learning Technique to Classification of Japanese Pressure Patterns. Data : ベクトル Science Journal,

15 データのベクトル化件のデータ 37 57=2109 点 (2109 次元ベクトル ) SVM で扱うために,1 件のデータを 2109 次元ベクトルに変換可視化したもの 15

16 実験実験用データ 1981~2000 年の 20 年分の気圧データ ( 前線型は相当温位データ ) 学習 : 1981~1990 年テスト : 1991~2000 年学習 : 1991~2000 年テスト : 1981~1990 年次元を削減したベクトルを用いて, 気圧配置ごとに 20 通りの実験 TinySVM(SVM のツール ) を利用 16

17 分析複雑度とデータサイズ分析複雑度 AutoPlait DBN R Python Weka R+Bigmemory 銀の弾丸 RF LDA SciDB SciQL Spark SVM K-means TinySVM libsvm MADLib Hivemall SQL 平均 K- 最近傍法グループ PostgreSQL MySQL Mahout Esper Hadoop すぐに結果がほしい! データサイズ

18 Example Query on DSMS #Access for each port? [1] Group by aggregates g-pkt SELECT dst_port, COUNT(dst_port) FROM pkt[1 sec] GROUP BY dst_port 22: 2 80: 2 15: 1 [1] Enabling Real Time Data Analysis, Divesh Srivastava (AT&T Labs), et, al. Keynote talk, VLDB (a similar query is found in pp.15 of talk slide) src_ip dst_ip src_port dst_port seq_no packet_size timestamp protocol ack fin syn urg push reset content second N I C 18

19 まとめ AutoPlait DBN RF LDA SVM K-means K- 最近傍法 SQL 平均グループ Python R Weka 1 TinySVM 1 4 自作 R+Bigmemory SciDB SciQL Spark 3 libsvm MADLib Hivemall PostgreSQL Mahout Esper MySQL Hadoop 1 2 データサイズ

PostgreSQL SQL チューニング入門 ~ Explaining Explain より ~ 2012 年 11 月 30 日株式会社アシスト田中健一朗

PostgreSQL SQL チューニング入門 ~ Explaining Explain より ~ 2012 年 11 月 30 日株式会社アシスト田中健一朗アジェンダ 1.EXPLAIN とは 2. 表アクセスの基本 3. 結合の基本 4. 統計情報とは 5.EXPLAIN コマンド 6. 問題解決例 7. まとめ 2 1.EXPLAIN とは実行計画とは - 目的地は 1 つでもアクセス方法は複数

機械学習 ツール入門

機械学習ツール入門