スライド 1

Size: px

Start display at page:

Download "スライド 1"

あまめまるこ
5 years ago
Views:

1 SAS ハッシュオブジェクトを利用したデータ集計 - アイテムセットのカウントを例として - 森岡裕株式会社日経リサーチ CRM 事業本部データサイエンス部 Using SAS Hash Objects to summary data Counting Item-Set as an example Yutaka Morioka CRM Solutions Unit Data Processing & Science Division, Nikkei Research Inc

! アイデア次第でいくらでも楽しいことができるハッシュオブジェクトちょっと難しい話は他の発表者の方々にお任せしてこの発表ではデータを数えたり合計したり

2 要旨 : KEY と DATA 要素で構成されるテーブルにデータを入れそれをデータステップ内で自由に出し入れすることができるハッシュオブジェクト昨年発表の論文ではデータ結合に利用する例を多く紹介しましたが応用範囲はまだまだそんなものじゃない!! アイデア次第でいくらでも楽しいことができるハッシュオブジェクトちょっと難しい話は他の発表者の方々にお任せしてこの発表ではデータを数えたり合計したりどんな分野のユーザーでも日々行う基本的な処理をハッシュオブジェクトでやってみます論文の方は一応真面目に書いてますが発表の方はできるだけ多くの方に気軽に聞いて欲しいのでだいぶ柔らかい内容にしておりますデータステップをもっと楽しもう!! 2

3 きちんとした理解は後でオンラインヘルプから公式のリファレンスを読みましょう 3

4 SAS 9.X 言語リファレンス : 解説編 22 章 DATA ステップコンポーネントオブジェクトの使用ハッシュオブジェクトの概略や基本的な使い方が説明されている詳しいメソッド ( 命令式 ) の 1 つ 1 つについては次にあげる資料を参照する 4

5 SAS 9.X コンポーネントオブジェクト : リファレンス 2 章ハッシュオブジェクトとハッシュ反復子オブジェクトのディクショナリ SAS ハッシュオブジェクトで使用可能な全メソッドが 1 つ 1 つヘルプ的に紹介されている 5

6 ななんと過去 30 年分のユーザー総会発表資料が去年から無料公開!!! 衝撃 SAS プレミアムラウンジからダウンロードできる!! 小職の昨年の論文を今回の予習に読んでいただけると嬉しいです 6

7 data OUTPUT; if _N_=0 then set MASTER; if _N_=1 then do; declare hash hq1(dataset:'master'); hq1.definekey('code'); hq1.definedata('name'); hq1.definedone(); end; set ZAIKO; rc = hq1.find(); if rc ^= 0 then CODE = ''; run; 昨年のおさらいハッシュにしかでてこない変数のために初期化が必要ハッシュの定義はステップ中 1 回でいいので _N_=1 通常のデータステップハッシュオブジェクト定義部分ハッシュオブジェクト名は hq1 中身はデータセット MASTER key に CODE data に NAME find メソッド CODE の値と同じ値を持つデータをハッシュオブジェクトから GET rc( 変数名はなんでもよし ) にはメソッドが成功すると0 失敗すると0 以外の数値が入る失敗した場合は値を消さないと前の値が残ってしまう 7

8 カウントしよう! ID の値が何回でてきたかを TOTAL に累積カウントしていく 8

9 data OUT1; run; if _N_=1 then do; end; declare hash h1(suminc:'y'); h1.definekey('id'); h1.definedone(); set DATA1; Y=1; h1.ref(); h1.sum(sum:total); suminc オプションで指定した変数の値が key 値がメソッドに参照される度に内部的に累積されていく ref メソッドは check メソッドと add メソッド両方の働きを持つ! まず check で値がハッシュオブジェクトにないかをチェックしなければ追加する値がチェックまたは追加される度に Y の値 (1 を割り当ててるよね ) がハッシュオブジェクトの中に key ごとに蓄積されていくのがポイント sumメソッドでハッシュオブジェクト内に溜まってる合計値を keyの値で紐付けて任意の変数にだす ( 例ではTOTAL) 9

10 入力データセットハッシュオブジェクト 1 合計 1 ref メソッド sum メソッドハッシュ内にまだない key 値だから追加されてるよ出力データセット 10

11 入力データセットハッシュオブジェクト 1 合計 1 3 合計 1 ref メソッド sum メソッドハッシュ内にまだない key 値だから追加されてるよ出力データセット 11

12 入力データセットハッシュオブジェクト 1 合計 2 3 合計 1 ref メソッドハッシュ内に既にある key 値だからチェックされるだけでもカウントはされる出力データセット sum メソッド 12

13 合計しよう! ID の値ごとの X の累積合計値を TOTAL にいれていく 13

14 さっきのコードとの違いをみよう data OUT2; if _N_=1 then do; declare hash h1(suminc:'x'); h1.definekey('id'); h1.definedone(); end; set DATA1; h1.ref(); h1.sum(sum:total); run; 1ずつカウントするコード data OUT1; if _N_=1 then do; declare hash h1(suminc:'y'); h1.definekey('id'); h1.definedone(); end; set DATA1; Y=1; h1.ref(); h1.sum(sum:total); run; 14

15 入力データセットハッシュオブジェクト 1 合計 100 ref メソッド sum メソッドハッシュ内にまだない key 値だから追加されてるよ Suminc に X を指定だから 100 になった出力データセット 15

16 入力データセットハッシュオブジェクト 1 合計合計 10 ref メソッド sum メソッドハッシュ内にまだない key 値だから追加されてるよ出力データセット 16

17 入力データセットハッシュオブジェクト 1 合計合計 10 ref メソッドハッシュ内に既にある key 値だからチェックされるだけでも合計はされる出力データセット sum メソッド 17

18 グループ化された合計結果だけでいいの!! ID の値ごとに集約して X の合計値を出力 18

19 data _NULL_ ; if _N_=1 then run; do; end; declare hash h1(suminc:'total', ordered: D'); h1.definekey('id'); h1.definedata('id', 'TOTAL'); h1.definedone(); set DATA1 end=eof; TOTAL=X; h1.ref(); h1.sum(sum:total); h1.replace(); data ステートメントでデータセットを作らない if eof then h1.output(dataset:'out3'); suminc に TOTAL が指定 ordered: A は key(id) でハッシュの中身を昇順にしておく命令 ( 降順は A) TOTAL を data 指定している end= オプションで最終オブザベーションに立つフラグをセット最後の時点で outputメソッドを使ってハッシュオブジェクトの中身そのものを OUT3 というデータセットに出力する 19

20 つまり TOTAL にいったん X の値を割り当てて ref メソッドの働きで合計値に TOTAL( つまり X なんだけど ) の値を足し上げて sum メソッドで TOTAL という変数名に返してそれを使って replace メソッドでハッシュオブジェクト内の data を更新している Definedata で TOTAL が data に定義されているからこの時ハッシュオブジェクトの中の data としての TOTAL にはそこまでの累積合計値が入っている replace メソッドを使うとそれまで内部的に保持されていた合計値はリセットされるけどその代わりに data として保持しちゃってるわけですねそしてまた足してリセットするつまりこのコードは実は累積で合計していくというよりは現在の X の値 +data として格納されているそれまでの累積合計値 TOTAL を繰り返してるわけですわけわからんですね 20

21 data _NULL_; if _N_=1 then do; declare hash h1(ordered:'a'); h1.definekey('id'); h1.definedata('id', 'TOTAL'); h1.definedone(); end; set DATA1 end=eof; if h1.find() = 0 then TOTAL +X; else TOTAL=X; h1.replace(); if eof then h1.output(dataset:'_out3'); run; 今回の処理でいうと suminc と sum メソッドで処理するよりも左のコードのように書いた方が何をやっているかわかりやすい 21

22 マニアックなコードの話ばっかりで正直飽きたと思われた方 22

23 少しだけ具体的な話にしましょう 23

24 よく聞くバスケット分析 24

25 紙オムツとビールを一緒に買ってる人が多いから売り場近くしたら儲かったぜ! っていう例の話です ( その例自体は創作らしいですが ) 25

26 Aの商品とBの商品を同時に買っているという現象を AとBの1セットを1つ買っているという風に考えてカウントしてみる 26

27 1 1 さんは 4 つの商品を同時に購入した 2 つ 1 組を 1 アイテムセットと定義すると 6 つのアイテムセットがカウントできるこれを全顧客に対して行ってアイテムセットを集計すれば良い 27

28 やりたいのはこういうこと 28

29 楽勝そうだけど商品の種類が 100 とか超えてくると SAS でやるのが結構むずかしくなってくるよくあるのがまずデータを下図のように 1ID につき 1obs で商品購入有無を横に 01 変数で展開してマトリクス構造のデータセットを作るそれを Proc summary 等の集計プロシジャで有無変数を class ステートメントに全部突っ込んで集計する方法 ID 紙おむつ牛乳リンゴビールパン

30 問題点データが大きい ( 顧客数が多い or 商品数が多い ) とまず横展開型のデータセットに変形するのに処理時間がかかる商品数が多いと横に展開される変数の数が同様に多くなる Class ステートメントに多くの変数を指定するとメモリ容量エラーになって実行が停止する場合がある 30

31 理想はデータ構造を変えず元データをそのまま流し込んで結果が欲しい少ないステップで効率よく処理したい 31

data _NULL_; informat ID ITEM ITEM2 COUNT2; if _N_=1 then do; declare hash h2 (suminc:'count2', hashexp:2); h2.definekey ('ITEM', 'ITEM2'); h2.definedata('item', 'ITEM2', 'COUNT2'); h2.

32 data _NULL_; informat ID ITEM ITEM2 COUNT2; if _N_=1 then do; declare hash h2 (suminc:'count2', hashexp:2); h2.definekey ('ITEM', 'ITEM2'); h2.definedata('item', 'ITEM2', 'COUNT2'); h2.definedone (); end; do while(^fl); set DATA3 end=fl; do i=1 to tobs; set DATA3(rename=(ID=_ID ITEM=ITEM2)) point=i nobs=tobs; if ID=_ID and ITEM < ITEM2 then do; COUNT2=1; h2.ref(); h2.sum (sum: COUNT2); h2.replace(); output; end; end; if FL then do; h2.output(dataset:'out7'); end; end; stop; run; たった 1 ステップ! 入力データはそのままの形コードの詳しい解説は論文で 32

33 発表スライドでの紹介はここまでです論文の方では発表で省略した例やここからさらに突っ込んでアソシエーション分析をやったりしているのでそちらを参照ください! 論文集は会場でも買えたはず一年待てばまたアップされるはず一応プログラムは全てプレミアムラウンジからダウンロードしてもらえるようにする予定です 33

34 ただし内部で直積を作成しているので元データのオブザベーション数が多い場合サンプルコードのままだと実行が絶対終わらない! 状況に応じてアイテムセットのレベルごとにプログラムを小分けにして頻度の低いものを削るようにするなどのカスタマイズが必要今回の例はあくまで説明用の例なので 34

35 おわりに昨年発表したハッシュオブジェクトについてその後反響メールが多くて驚きました会社でいきなり使ったら上司や先輩に怒られたっていう文句? もあって面白かったですそれはスミマセンデータステップを工夫して書くのが楽しくなって仕事も楽しくなったという感想をくれた方がいて凄く感動しました書いてて楽しいというのは案外大事なことだと思います無料版 SAS のリリース等により分野年齢問わず SAS ユーザーが増えているようですもっとユーザー同士が様々な垣根を超えて気軽に工夫を発表しあえるようになれば良いと思います 35

36 ご清聴有難うございました 36

Proc luaを初めて使ってみた -SASでの処理を条件に応じて変える- 淺井友紀 ( エイツーヘルスケア株式会社 ) I tried PROC LUA for the first time Tomoki Asai A2 Healthcare Corporation

Proc luaを初めて使ってみた -SASでの処理を条件に応じて変える- 淺井友紀 ( エイツーヘルスケア株式会社 ) I tried PROC LUA for the first time Tomoki Asai A2 Healthcare Corporation 要旨 : 実行されるコードを分岐繰り返すためには SAS マクロが用いられてきた本発表では SAS マクロではなく Proc Lua