Title

Size: px

Start display at page:

Download "Title"

しょうすけたにしき
4 years ago
Views:

1 K-means w/ Hadoop ~ 運用パート~ 2013/1/28 田浦研究室 M1 中谷翔 1

2 Outline Hadoop の基本実験結果 Hadoop 愛憎 2

3 基礎の基礎 by 田浦先生スライド P.8 をサラリと Map 関数, Reduce 関数を登録すれば勝手に分散処理 3

4 Hadoop の Good なところ慣れればそこそこ楽にスケーラビリティ出せる Map 処理, Reduce 処理の並列計算がシステムに実装されているユーザはどうやって処理をする? を気にせずどんな処理をするだけ気にすれば OK HDFS が結構 Good 自動的にデータをブロック分割 & 分散してくれるレプリケーションによる冗長化巨大データのバッチ処理に向いてる一回処理を書いちゃえば, あとはデータ変えて同じ処理を定期的に 4

5 Hadoop の Bad なところやりたい処理を Map/Reduce という型にはめるのがいつでも楽とは限らない今回の K-means もさほど直感的ではない ( 主観 ) ノード内の性能がそんなに出ないらしい Java だから? ( 小学生並みの感想 ) アジャイルにコードを変更 / デプロイが面倒 Java だから ( 真面目 ) Hive/Pig (SQL 的なもの ), Hadoop-Streaming など使えば楽にできるというお話 5

6 実は : Iterative な処理も簡単 Map/Reduce を繰り返す ( 今回のような ) 処理も簡単 $ hadoop jar kmeans.jar KmeansDriver points40.txt KmeansDriver.run() が呼び出される KmeansDriver.run() の概要 public static void run() { while (!isconvergent() ) { // 収束するまで iteration // Mapper/Reducer の登録 config.setmapperclass(kmeansmapper.class); config.setreducerclass(kmeansreducer.class); } } // Mapper/Reducer の起動 JobClient.runJob(config); 6

7 Outline Hadoop の基本実験結果 Hadoop 愛憎 7

8 マシン環境 hosei[[ ]] を使用 hosei000: マスタ (NameNode) hosei[[ ]]: スレーブ (DataNode) CPU 2.4GHz, 理想的な GFLOPS: 2.4GFLOPS / node ノード内並列,SIMD 計算を行なっていないためメモリ 24GB 8

9 実験設定データセットは points40.txt (23GB, max) N ( 点の数 ) = 1,073,741,824 試したK ( クラスタ数 ) 180 (= N^{1/4}), 120 (MDL 最小 ), 60 ( 適当 ) スレーブ数 (= 並列度 ) 1, 8, 16, 21(max) 9

10 GFLOPS 実験結果 : 台数効果 K=180 K=120 (best) K=60 K-means Scalability # Nodes 10

11 Efficiency ( ) 実験結果 : 効率 K-means Efficiency ( = GFLOPS / Ideal GFLOPS) # Nodes K=180 K=120 (best) K=60 11

12 実験結果 : 考察スケーラビリティは出ているノード数が 1 の時でも効率 10% 弱 HDFS をローカルディスクにとっているので, ディスク I/O で大分落ちた? K=180, p=16: メモリ上 ->3.04GFLOPS, ディスク上 ->2.82GFLOPS まあよく分かってない K が小さいほど効率悪い田浦先生による解説があるかもしれない ( 考えてない ) 12

13 Outline Hadoop の基本実験結果 Hadoop 愛憎 13

14 お前のこと, 好きだよ慣れてしまえばぼけ ~ っとしててもスケールお前スケジューリング, データ分散を考えないで良いのは神 Web インターフェイスがかなりまともジョブの実行状態とかブラウザで見れると精神の安定につながる 14

15 お前が憎いエラーログからエラーの原因対策がわからないお前 java.lang.outofmemoryerror: Java heap space mapred-site.xml にて io.sort.mb を調整 (reducerに行く前のソートで使うメモリサイズ) まともに実験回せるようになるまで 3 [ 日中谷 ] くらいの工数が掛かったデータノードの立ち上がり,HDFSの状態など, ステートが結構多いのが原因だったようなコードちょっと変えて~jar 作って~hoseiに置きに行って~hadoop job し直して~が本当に面倒 15

16 バッドノウハウ集 ( 夏さんとのやりとりから ) (Prob a) /tmp に HDFS を作ると, メモリ容量を超えて,* 訳の分からない * エラー ( 試行によって様々 ) を出して mapred 中に止まる (Solv a) points40.txt が 23GB あって,hosei 各ノードのメモリサイズが 24GB なので, 割としょうがない. core-site.xml に以下の記述をし,HDFS をローカルディスクに置く. <property> <name>hadoop.tmp.dir</name>  <value>/data/local2/${user.name}/hadoop-{user.name}</value> </property> 16

17 バッドノウハウ集 ( 夏さんとのやりとりから ) (Prob b) java.lang.outofmemoryerror: Java heap space というエラーが出て,mapper の途中で止まる (Solv b) Map した value をソートするときの buffer サイズが大きすぎるとこうなるっぽい. デフォルト 100MB だが,30MB にする. mapred-site.xml にて. <property> <name>io.sort.mb</name> <value>30</value> </property> 17

18 バッドノウハウ集 ( 夏さんとのやりとりから ) (Prob c) Mapper から reducer に移行しないことがある. (Solv c) 詳しい原因は分からないが,mapred-site.xml で次のようにすると直った. <property> <name>mapred.reduce.tasks</name> <value>max(slave 数, 3)</value> </property> 18

19 バッドノウハウ集 ( 夏さんとのやりとりから ) (Prob d) HDFS の初期化 ($ hadoop namenode -format) に失敗する時がある (Solv d) HDFSのディレクトリをフォーマット前に毎回削除すると安全. stop-all.sh に, こんな感じのことを書き加えた. for i in `seq 0 21` ; do node=hosei$(printf "%03d" $i) ssh $node "jps grep -v Jps awk '{print $1}' xargs kill && hostname" # hadoopに関するプロセス皆殺し ssh $node "rm -rf /tmp/hadoop-nakatani /data/local2/nakatani/hadoop-nakatani && hostname" # HDFSに使うディレクトリ削除 done 19

20 運用感想流行りの (?) システム触れて良かった何も考えずにスケールするのは素晴らしいでも運用は簡単ではない特にコード変更時のオペレーションコストの大きさは気になった Hive/Pig もいずれは触りたいコード 10 行くらいしか書かずに済んで楽でしたコーディング含めてたらダークサイド堕ち確定 20

スライド 1

スライド 1 Hadoop とは Hadoop の二本柱分散ファイルシステム HDFS(Hadoop Distributed File System) 分散プログラミングモデル MapReduce Hadoop の目的大規模ファイル処理格納, 加工ペタバイト規模複数計算機の協調動作スケーラブルシステム数百 ~ 数千台規模 Key-Value store MapReduce HDFS Node Node