PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

けいざぶろうのじま
5 years ago
Views:

1 Mahout を使ったレコメンデーションのプロトタイプ 2011/10/21 アドソル日進株式会社荒本道隆

2 ゴールイメージ蓄積されたデータを使って Mahout で解析まずはお医者さんが利用することを想定患者側が利用することはできないだろうか? Hadoop によるフィルタリングスクリプトによる簡易な記述 Mahout による解析処理 MML レセプトデータ CSV CSV S3( 大量データ ) HDFS( 一時データ ) S3( 結果 )

3 Mahout とは機械学習データマイニングのライブラリ Java& オープンソース Apache2.0 ライセンス Hadoop 上で動作 hadoop-core が含まれているので単体でも動作 AmazonEMR 上でも動作 MahoutDriver を指定して実行

4 Mahout 機能一覧 Clustering : クラスタリング : 似ているものをグループ化する Classification : 分類 : 分類判別を行う Pattern Mining : パターンマイニング : 頻出パターンを抽出する Recommender : 推薦 : 興味に合うものを推薦する Regression : 回帰 : 数値予測を行う Dimension Reduction : 次元縮約 : 説明変数を重要な変数へ縮約 Evolutionary Algorithms : 進化的アルゴリズム参考 URL: さらに詳細な情報

5 開発方法ローカル Hadoop のスタンドアロンモードで開発 Linux があれば hadoop のファイルを展開するだけ Amazon EMR(Elastic MapReduce)+S3 で実行コマンド一発で Hadoop 実行環境が準備できる S3 の使い勝手も検証 Streaming モードをできるだけ使用フィルタリングを Ruby で記述 Ruby は初心者です Ruby らしくないコードでスイマセン

6 まずは MML を AmazonEMR で利用

7 MML から特定要素を抽出 S3 上に大量のMMLが保存されていると仮定特定の範囲のMMLだけ処理したい MMLの中から特定の要素を抽出結果をS3 上に保存まずは AmazonEMR に慣れる & 性能測定

8 S3 MML MML MML MML 結果 AmazonEMR Ruby による特定要素抽出 HDFS

9 Ruby による特定要素抽出 (xml) #!/usr/bin/env ruby require "rexml/document" include REXML string = "" while line = STDIN.gets string += line end doc = Document.new string # print doc birthday = XPath.first( doc, "//mmlpi:patientmodule/mmlpi:birthday" ) print birthday.text.split("-")[0] + " t" bodyweight = XPath.first( doc, "//mmlfcl:birthinfo/mmlfcl:bodyweight" ) print bodyweight.text + "," bodyheight = XPath.first( doc, "//mmlfcl:birthinfo/mmlfcl:bodyheight" ) print bodyheight.text

10 実行方法 -1 Ruby による特定要素抽出ローカル Hadoop hadoop jar $HADOOP_HOME/contrib/streaming/hadoop streaming.jar -mapper "ruby mapper1.rb" -input./input/*/*/ -output./output1 AmazonEMR elastic-mapreduce -j $JOB_ID --stream --step-name mapper1.rb" --mapper s3://bucket 名 /mml/mapper1.rb --reducer s3://bucket 名 /mml/red_dummy.rb --input s3://bucket 名 /mml/input/*/*/ --output s3://bucket 名 /mml/output1

11 やってみて気付いた事 -1 Javaによる実装より簡単だった AmazonEMRは Reduceなしだとエラーになる何もしない red_dummy.rb を作成 input にワイルドカードを指定できる s3://bucket 名 /mml/input/2011/09/ s3://bucket 名 /mml/input/2011/*/ s3://bucket 名 /mml/input/*/09/ s3://bucket 名 /mml/input/*/*/ S3 上へデータを格納 hadoop distcp を使用

12 やってみて気付いた事 -2 ファイル数 =map 数インスタンス数を増やせば単純計算で時間短縮 AmazonEMR の small インスタンスで測定データは S3 に格納 100 ファイル (4,517,102Byte) 1 インスタンス :16 分 1+1 インスタンス :10 分 1+5 インスタンス :3 分 1+10 インスタンス :2 分 1,000 ファイル (45,166,848Byte) 1 インスタンス :227 分 1+1 インスタンス : 100 分 1+5 インスタンス :23 分 1+10 インスタンス :12 分

13 参考値 -1 AmazonEMR の small インスタンスで測定データはS3に格納 100ファイル (4,517,102Byte) 1インスタンス :16 分 1+1インスタンス :10 分 1+5インスタンス :3 分 1+10インスタンス :2 分 EMR 上でHadoop データはS3:9 分 EMR 上でHadoop データはローカル:9 分ローカルHadoop(PC 使用 ) データはローカル:2 分ローカルシェル (PC 使用 ) データはローカル:2 分

14 参考値 -2 AmazonEMR の small インスタンスで測定データはS3に格納 1,000ファイル (45,166,848Byte) 1インスタンス :227 分 1+1インスタンス : 100 分 1+5インスタンス :23 分 1+10インスタンス :12 分 EMR 上でHadoop データはS3:84 分 EMR 上でHadoop データはローカル:77 分ローカルHadoop(PC 使用 ) データはローカル:19 分ローカルシェル (PC 使用 ) データはローカル:17 分

15 コスト比較 : もしも 10 万ファイルだったら AmazonEMR の small インスタンス (0.115$/ 時 ) 参考値 -2 の数値を 100 倍にして計算 100,000 ファイル (4,516,684,800Byte) の予想値 1 インスタンス :22700 分 (379 時間 ) 0.115x1x379=43.585$ 1+1 インスタンス : 分 (167 時間 ) 0.115x2x167=38.41$ 1+5 インスタンス :2300 分 (39 時間 ) 0.115x6x39=26.91$ 1+10 インスタンス :1200 分 (20 時間 ) 0.115x11x20=25.3$

16 参考値 -3( 頑張ってチューニング後 ) AmazonEMR の small インスタンスで測定 Ruby+DOM+XPath grep+sed+awkでsaxもどき 1,000ファイル (45,166,848Byte) 1インスタンス :227 分 83 分 1+1インスタンス :100 分 51 分 1+5インスタンス :23 分 10 分 1+10インスタンス :12 分 8 分 EMR 上でHadoop データはS3:84 分 50 分 EMR 上でHadoop データはローカル:77 分 50 分ローカルHadoop(PC 使用 ) データはローカル:19 分 5 分ローカルシェル (PC 使用 ) データはローカル:17 分 0.5 分

17 レセプトデータを使ったレコメンデーション

18 レセプトデータを使ったレコメンデーション S3 上にレセプトデータがあると仮定 DPC 履歴ファイル処方履歴ファイルなどなど Mahoutによるレコメンデーションを実行結果をS3に保存

19 レセプトデータについて DPC 履歴ファイル施設 CD, 患者 ID, 入院年月日, 退院年月日, 分類番号,... 処方履歴ファイル患者 ID, 医師 ID, 処方年月日, 医薬品コード,... この 2 ファイルを患者 ID で JOIN JOIN 結果を入力データとする

20 レコメンデーション Mahout のレコメンデーションの入力フォーマットユーザー ID(long), アイテム ID(long), 評価値 (double) 患者 ID ユーザー ID 医薬品コードアイテム ID 評価値はどう付けるか? とりあえず 1 入力データから特定の要素だけ取り出す患者 ID, 医薬品コード, 評価値分類番号の前 6 文字 ( 傷病名の分類 ), 医薬品コード, 評価値 Web サーバのアクセスログなどにも適用できる aramoto *26/Sep/ :00: GET /hogehoge/index.html M ozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1 ) aramoto [26/Sep/ :00: GET /hogehoge/download?uuid= abcd Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1 )

21 技術的な課題と解決方法複数の入力ファイルを JOIN REDUCE-SIDE JOIN, MAP-SIDE JOIN 参考 URL: wse/trunk/try-mapreduce/src/main/java/jp/gr/java_conf/n3104/try_mapreduc e/joinwithdeptnameusingreducesidejoin.java キーが int なので long に修正 MEMORY-BACKED JOIN HDFS 上のファイルをメモリに取り込む userfile = `hadoop fs -cat hdfs:///work/output_uid/part-*` users = Hash[*(userfile.gsub(" t","").gsub(" n",",").split(","))] ユニークな ID をどう生成するか? mapred.task.id から数字部分だけ抽出しそこから採番値 :attempt_local_0001_m_000017_0 id = (ENV["mapred_task_id"].scan(/[0-9]/).join("").to_i % ) * 2 *

22 S3 DPC 履歴処方履歴レコメンド結果 User1 Item2,Item3, : : AmazonEMR REDUCE-SIDE JOIN (Java で記述 ) 指定要素を抽出ユーザー名ユーザー ID ユーザー名とIDの対応抽出アイテム名アイテムID アイテム名とIDの対応抽出 MEMORY-BACKED JOIN Mahout によるレコメンデーション HDFS 入力データ User1,Item1,1 : 101,User1 : 10001,Item1 : 101,10001,1 : レコメンド結果 ,10003, : :

23 Ruby による特定要素抽出 (csv) #!/usr/bin/env ruby while line = STDIN.gets line = line.gsub(" n","") if line.length == 0 then next end if line[0,1] == "#" then next end end params = line.split(",") print params[0] + "," + params[5] + "," + "1" + " n" 必要に応じて変更

24 実行方法 -1 Streaming を使用ローカル Hadoop hadoop jar $HADOOP_HOME/contrib/streaming/hadoop streaming.jar -mapper "ruby map_uid.rb" -reducer "ruby red_uid.rb" -input./input -output./output1 AmazonEMR elastic-mapreduce -j $JOB_ID --stream --step-name "map_uid.rb" --mapper s3://com.gol.aramoto.aitc/mml/map_uid.rb --reducer s3://com.gol.aramoto.aitc/mml/red_uid.rb --input hdfs:///input --output hdfs:///output1

25 実行方法 -2 Mahout によるレコメンデーションローカル mahout recommenditembased --input./output3 --output./output4 AmazonEMR elastic-mapreduce -j $JOB_ID --jar s3://bucket 名 /jars/mahout-core-0.5-job.jar --main-class org.apache.mahout.driver.mahoutdriver --step-name "Recommend ItemBased" --arg recommenditembased --arg --input --arg hdfs:///output3 --arg --output --arg hdfs:///output4

実行結果 Mahout によるレコメンデーションの結果 073xxxxx56 [62xxxxx22:1.0,62xxxxx80:1.0,62xxxxx72:1.0,64xxxxx43:1.0,64xxxxx018:1.0, 64xxxxx017:1.0,64xxxxx01:1.0,64xxxxx01:1.0,62xxxxx01:1.0,62xxxxx01:1.0,] 077xxxxx83 [62xxxxx41:1.

26 実行結果 Mahout によるレコメンデーションの結果 073xxxxx56 [62xxxxx22:1.0,62xxxxx80:1.0,62xxxxx72:1.0,64xxxxx43:1.0,64xxxxx018:1.0, 64xxxxx017:1.0,64xxxxx01:1.0,64xxxxx01:1.0,62xxxxx01:1.0,62xxxxx01:1.0,] 077xxxxx83 [62xxxxx41:1.0,62xxxxx22:1.0,62xxxxx80:1.0,64xxxxx62:1.0,64xxxxx43:1.0, 64xxxxx18:1.0,64xxxxx17:1.0,64xxxxx01:1.0,64xxxxx01:1.0,62xxxxx01:1.0,] 086xxxxx91 [62xxxxx41:1.0,62xxxxx80:1.0,62xxxxx72:1.0,64xxxxx62:1.0,64xxxxx43:1.0, 64xxxxx18:1.0,62xxxxx01:1.0,64xxxxx01:1.0,64xxxxx54:1.0,64xxxxx25:1.0,] 130xxxxx58 [62xxxxx41:1.0,62xxxxx80:1.0,64xxxxx62:1.0,64xxxxx43:1.0,64xxxxx18:1.0, 64xxxxx01:1.0,64xxxxx01:1.0,62xxxxx01:1.0,64xxxxx01:1.0,64xxxxx70:1.0,] : 各種マスターファイルが Web 上で入手可能

27 やってみて気付いた事ローカルの Hadoop と AmazonEMR の違いログがすぐに確認できない ID の素とした mapred.task.id のパターンが違うローカル :attempt_local_0001_m_000017_0 EMR:attempt_ _0004_r_000000_0 EMR は Reduce なしだとエラーになる変更した rb ファイルの S3 へのアップロード s3sync を使用すると楽だけど Mahout によるレコメンデーション出力先と temp を毎回削除しないとエラーになるローカル :rm -rf temp EMR:elastic-mapreduce -j $JOB_ID --ssh "hadoop fs -rmr hdfs:///user/hadoop/temp

28 感想 -1 Hadoop は何をしても分単位の時間がかかるローカルで効率良く開発ちょっとしたミスがあると数十分後に後悔自動的に実行状況を表示するツールを作成終わったら EMRをシャットダウンするツールを作成あいた時間に何をするか考えてから測定 S3 にファイルを置くのに時間がかかる Hadoop distcp, s3sync, Firefox プラグイン 1 台での実行に限定すればローカルPCで実行した方が早いデータ量が爆発した時に必ず困る事前にHadoopにしておけば安心

29 感想 -2 Amazon EMR+S3 の組み合わせは便利 S3 上に公開データがあればとても利便性が高い複数のEMRを起動し同時に別条件で測定 EMR 上のファイルは EMRを落とすと自動で消える様々なデータを S3 に置いて公開して欲しい防災情報 XML GPV

30 今後の展開についてこのモデルにレコメンデーションは合わない? 実データから抽出したテストデータで実行してみたけどあまり良い結果は得られなかったお医者さんは薬の知識がちゃんと頭に入っているはずこのシステムを必要とする医者には診察して欲しくないデータ検索や社内文章システムのログ解析では使えそう次はクラスタリングにトライ例えば請求書に書く病名は病名によって薬を処方するのではなく薬の処方によって請求書の病名が決まるらしい過去のレセプト情報を元に薬の処方から病名の候補を出すさまざまなデータの分類に転用できそう部会への参加をお待ちしております

PowerPoint Presentation

PowerPoint Presentation クラウドテクノロジー研究部会 Mahout を使ったプロトタイプ 2012/02/01 クラウドテクノロジー研究部会リーダーアドソル日進株式会社荒本道隆クラウドテクノロジー研究部会のご紹介背景多種多様なクラウド関連技術がオープンソースや製品として出てきているがクラウドという言葉の定義自体が幅広いため企業内システムでの適用できる領域効果が分かりづらいそこでクラウド関連技術の幅広い技術の情報収集をおこないつつ