スライド 1

Size: px

Start display at page:

Download "スライド 1"

ふみなしのしま
5 years ago
Views:

1 Hadoop と SAS との連携テクニック小林泉 SAS Institute Japan 株式会社ビジネス推進本部アナリティクスプラットフォーム推進 Techniques in SAS on Hadoop Izumi Kobayashi Analytics Platform Practice, SAS Institute Japan 1

2 要旨 : ビッグデータ分析の基盤としての Hadoop の活用が進んでいます SAS はこのような時代の流れを考慮し SAS と Hadoop を統合する製品を提供しています本講演ではビッグデータを SAS で取り扱う機能とテクニックについて取り扱います主に SAS ユーザーに向け Hadoop クラスター上で動作する SAS プログラミングテクニックをご紹介し SAS から Hadoop の分散処理フレームワークをどのように活用できるかについて解説しますキーワード : SAS, Hadoop, Map Reduce, Hive, Impala, HDFS, 機械学習, インメモリ, 分散処理 2

3 アジェンダ Hadoopとは SASにとってのHadoop SAS on Hadoop 連携テクノロジー Hadoopへのアクセス Hadoop 上でのSAS 処理の実行インメモリ処理 3

4 何のために開発された? Hadoop とはビッグデータを取り扱うためのオープンソースのデータ処理フレームワークどのような環境で使うの? ディスクやメモリを共有せずに汎用サーバーを単純に非常に数多く並べた環境 ( クラスター ) を想定データはどのように配置されているの? データは HDFS(Hadoop Distributed File System) を使用してクラスター上で複数サーバーにまたがって配置される処理はどのように行われるの? データは Hadoop 上でのデータ処理フレームワークである MapReduce と呼ばれる Java 言語ベースのプログラミングモデルを使用して処理される 4

5 ビッグデータ Hadoop が注目されている理由データの量の増大とデータ種類の多様化処理のスケーラビリティの必要性コモディティ化初期導入の敷居が下がる運用管理のしやすさ向上 SQLパフォーマンスの向上経済性現実的なコストで実現したい 5

6 新しいデータソース SAS ユーザーにとっての Hadoop 新しいデータベースとして新しいファイルシステムとして分散並列処理基盤 SAS 処理のパフォーマンス向上スケーラビリティ向上シングルプロセスから分散並列処理へインメモリ分析基盤 SAS の新しいインメモリアーキテクチャの基盤として 6

7 7

8 必要スキル通常 Hadoop で必要とされる Java 言語スキルは不要操作言語は従来と同じ SAS 言語 Hadoop 上のデータにライブラリを定義バックグラウンドで Hadoop 形式の処理である HiveQL や Map/Reduce に自動的に変換されるためそれらの知識は不要 8

9 Hadoop データにアクセス! SAS/Access to Hadoop を使用して Hive データにアクセス /* hadoop エンジンを使用してライブラリの定義 */ LIBNAME myhdp hadoop server=myserver user=sasdemo; /* Hadoop からデータを抽出し SAS データセットを作成 */ data work.mydata; run; myhdp.mydata; where actual >= 1000; Hive/Hive2 Hadoop SAS データ SAS 9

case when COUNT(*) > COUNT(TXT_1.`sex`) then ' ' else MIN(TXT_1.`sex`) end as ZSQL2, case when COUNT(*) > COUNT(TXT_1.`age`) then NULL else MIN(TXT_1.

10 Hadoop データにアクセス! /* Hadoop 上にデータを作成 */ data myhdp.class; run; set sashelp.class; /* Hadoop 上のデータに対して SAS プロシジャを実行 */ proc freq data=myhdp.class; run; tables sex * age; where age >9; Hive/Hive2 Proc Freq Hadoop 結果 SAS SQL_IP_TRACE: プッシュダウン数 : 1 SQL_IP_TRACE: 伝達されたクエリ : select COUNT(*) as ZSQL1, case when COUNT(*) > COUNT(TXT_1.`sex`) then ' ' else MIN(TXT_1.`sex`) end as ZSQL2, case when COUNT(*) > COUNT(TXT_1.`age`) then NULL else MIN(TXT_1.`age`) end as ZSQL3, MAX(TXT_1.`age`) as ZSQL4 from `CLASS` TXT_1 where TXT_1.`age` > 9 group by TXT_1.`sex`, TXT_1.`age` SQL_IP_TRACE: 一部の SQL は DBMS に直接渡されました NOTE: SQL 生成を使用して度数表とクロス集計表を作成します 10

11 SAS ライブラリとして HDFS を直接利用 SPD エンジン loves HDFS 11

12 SAS ライブラリとして HDFS を直接利用 /* SPDE on HDFS */ libname hdfslib spde /tmp/spde_hdfs/ hdfshost=default HDFSUSER=sasdemo partsize=16m; /* HDFS 上に SAS SPDE データを作成 */ data hdfslib.class; set sashelp.class; do i=1 to 20000; output; end; run; /* HDFS コマンドで確認 */ hadoop fs -ls -R /tmp/spde_hdfs drwxr-xr-x - sasdemo supergroup :40 /tmp/spde_hdfs/class -rw-r--r-- 3 sasdemo supergroup :40 /tmp/spde_hdfs/class/class.dpf.00002c8f.0.1.spds9 -rw-r--r-- 3 sasdemo supergroup :40 /tmp/spde_hdfs/class/class.dpf.00002c8f.1.1.spds9 -rw-r--r-- 3 sasdemo supergroup :40 /tmp/spde_hdfs/class.mdf spds9 12

13 Data ステップと DS2 を Hadoop 上で実行 Data ステップが背後で Map Reduce に変換され Hadoop 上での処理が可能となった従来型の Data ステップ (*1) と拡張 Data ステップである DS2(*2) をサポート全ての Data ステップ機能がサポートされるわけではない Hadoop Map/Reduce *1) 9.4M1 では Pre-Production 機能 *2) 9.4M2 で対応 DS1,DS2 SAS 13

14 Data ステップを Hadoop 上で実行 36 data hdplib.myclass_out; 37 set hdplib.myclass; 38 run; NOTE: Attempting to run DATA Step in Hadoop. NOTE: Data Step code for the data set "HDPLIB.MYCLASS_OUT" was executed in the Hadoop EP environment. NOTE: DATA statement used (Total process time): real time seconds cpu time 0.36 seconds Map/Reduce 処理が実行されているのが分かる Hadoop Job (HDP_JOB_ID), job_ _0013, SAS Map/Reduce Job, Hadoop Job (HDP_JOB_ID), job_ _0013, SAS Map/Reduce Job, Hadoop Version User cdh4.6.0 hdfs Started At Jun 30, :37:06 PM Finished At Jun 30, :37:27 PM 14

15 DS2 を Hadoop 上で実行 proc ds2 indb=yes; thread tpgm / overwrite=yes; declare double highscore; keep gender highscore; retain highscore; method run(); set hdptgt.myinputtable; by gender; if first.gender then highscore=0; if score1 <= 100 and score1>highscore then highscore=score1; if last.gender then output; end; endthread; run; ds2_options trace; data hdptgt.myoutputscore(overwrite=yes); dcl thread tpgm tdata; method run(); set from tdata; end; enddata; run; quit; By-Group 処理も可能 15

16 Hadoop データをメモリ * にロード /* Hadoop クラスター上へライブラリを割り当て (HIVE を使わない方法 )*/ libname hdp HADOOP config = &cfgfile hdfs_datadir = '/user/demo/files' hdfs_tempdir = '/user/demo/tmp' hdfs_metadir = '/user/demo/meta' hdfs_permdir = '/user/demo/perm'; * SAS LASR Analytic Server /* HDFS 上の CSV ファイルのレイアウト定義を PROC HDMD を使用して作成 */ Proc HDMD name=hdp.weblog format=delimited encoding=utf8 sep = ',' text_qualifier='" DATA_FILE= weblog.csv'; column ID int; column log varchar(1000); run; ( 次スライドへ続く ) 16

( 前スライドからの続き ) Hadoop データをメモリ * にロード /* LASR Analytic Server を 1314 ポートで起動 */ options set=gridhost="servername"; options set=gridinstallloc="/opt/tkgrid"; proc lasr create port=1314

17 ( 前スライドからの続き ) Hadoop データをメモリ * にロード /* LASR Analytic Server を 1314 ポートで起動 */ options set=gridhost="servername"; options set=gridinstallloc="/opt/tkgrid"; proc lasr create port=1314 path="/tmp" noclass; performance nodes=all; run; /* LASR Analytic Server へデータをロード */ proc lasr add port=1314 run; data=hdp.weblog; /* 1314 ポートの LASR プロセスを終了 */ proc lasr term port=1314; run; 17

18 Hadoop 上でのインメモリ分析 /* LASR ライブラリの定義 */ Libname LASRLIB SASIOLA SERVER=MYSERVER; /* インメモリ処理用のプロシジャ PROC IMSTAT を利用 */ proc imstat data=lasrlib.assocs; run; arm /* Association Rule Mining アソシエーションルールステートメント */ item = PRODUCT /* アイテムに該当する変数名を指定 */ tran = CUSTOMER /* ユーザ ID に該当する変数名を指定 */ /* オプション */ / minitems=2 /* minlen */ maxitems=20 /* maxlen */ support(lower=100) /* Support サポート値 */ rules(confidence(lower=0.10)) /* confidence 信頼度 */ rulestbl; /* ルールテーブルを一時テーブルへ出力 */ quit; 18

19 Hadoop 分析ソリューション 19

20 参考文献 Secosky, Jason, et al Parallel Data Preparation with the DS2 Programming Language. Proceedings of the SAS Global Forum 2014 Conference. Cary, NC: SAS Institute Inc. Available at Rausch, Nancy, et al What s New in SAS Data Management. Proceedings of the SAS Global Forum 2014 Conference. Cary, NC: SAS Institute Inc. Available at Rausch, Nancy, et al Best Practices in SAS Data Management for Big Data. Proceedings of the SAS Global Forum 2013 Conference. Cary, NC: SAS Institute Inc. Available at SAS LASR Analytic Server Reference SAS/Access to Hadoop Reference c14ewmn1phdwdm5cp51i.htm DS2 Reference snew94.htm 20

要旨 : データステップ及び SGPLOT プロシジャにおける POLYGON/TEXT ステートメントを利用した SAS プログラムステップフローチャートを生成する SAS プログラムを紹介するキーワード :SGPLOT, フローチャート, 可視化 2

SAS プログラムの可視化 - SAS プログラムステップフローチャート生成プログラムの紹介 - 福田裕章 1 ( 1 MSD 株式会社 ) Visualization of SAS programs Hiroaki Fukuda MSD K.K. 要旨 : データステップ及び SGPLOT プロシジャにおける POLYGON/TEXT ステートメントを利用した SAS プログラムステップフローチャートを生成する