Microsoft PowerPoint _Hadoop.pptx

Size: px

Start display at page:

Download "Microsoft PowerPoint _Hadoop.pptx"

ひでかわたぬき
5 years ago
Views:

1 Hadoop で行う大規模データ処理 kzk Hadoop とは? Google の基盤ソフトウェアのクローン Google File System Yahoo Research の Doug Cutting 氏が開発元々は Nutch Crawler のサブプロジェクト Doug の子供の持っているぬいぐるみの名前 Java で記述 Amazon S3 との親和性 1

2 Google 関連参考論文 & スライド The Google File System SanjayGhemawat Ghemawat, Howard Gobioff, andshu Tak Leong, SOSP 2003 : Simplified Processing on Large Clusters Jeffrey Dean and Sanjay Ghemawat, SOSP 2004 Parallel Architectures and Compilation Techniques (PACT) 2006, KeyNote educe pact06 keynote.pdf Hadoop 参考文献 Hadoop 公式サイト Wiki: インストール方法チュートリアルプレゼン資料など Hadoop 解析資料 Hadoop, hbase で構築する大規模データ処理システム on Codezine 2

Hadoop 解析資料 with NTT R さん OSS 分散システムHadoopの検証プロダクションに投入できるレベルか? Googleの実装との比較機能単位で検証ソースコードの解析ソフトウェアの大体の構造重要な部分を詳しく検証ベンチマークスケーラビリティを確認結果はオープンに公開 http://preferred.jp/pubs/hadoop.

3 Hadoop 解析資料 with NTT R さん OSS 分散システムHadoopの検証プロダクションに投入できるレベルか? Googleの実装との比較機能単位で検証ソースコードの解析ソフトウェアの大体の構造重要な部分を詳しく検証ベンチマークスケーラビリティを確認結果はオープンに公開調査結果概要 Google インフラの機能は大体実装済みアトミックな追記, エラーレコードスキップも v で実装される svnにはcommit 済みで RCがMLに流れているしかし大幅に変更が入ったため ( たぶん ) しばらくは不安定あと1 年程度で成熟期か? スケーラビリティ 12 台程度まではスケール安定性にはまだ疑問レプリケーション数 3 の時にジョブが失敗する, etc. 3

4 Hadoop 周りのニュース Scaling Hadoop to 4000 nodes 9/scaling_hadoop_to_4000_nodes_a.html いくつかのバグを潰すことによって 500 nodes の 4 ~7 倍の性能を発揮 ping のタイミングが引き起こすバグなど Hadoop 使用事例 4

5 Yahoo ~2000 ノード国外の使用事例検索広告ログ処理データ解析 etc SIGIR などでも Y!R の論文には Hadoop が出てくる Amazon, Facebook ~400 ノードログ処理データ解析その他行動ターゲティング検索インデクシング等国内の採用事例はてなログ解析はてなブックマーク2のバックエンドで使用全文検索まわり楽天大規模レコメンデーションエンジンメールで何件か相談検索系 (Lucene) ログ処理系が多い ~100 台 Cellクラスター, EC2 (blogeye) 等も 5

6 Motivation 問題インターネットの爆発的普及により非常に大規模なデータが蓄積されている例えばWebページを考えて見る 200 億ページ * 20KB = 400 TB Disk 読み込み性能は50MB/sec (SATA) 1 台では読み込むだけでも約 100 日保存するだけでも 1000 個程度の Disk が必要このデータを効率的に処理したい 6

7 解決方法お金とにかく大量のマシンを用意 1000 台マシンがあれば1 台で400G 処理すればok 読み込むのに8000 秒程度で済むお金だけでは解決しないプログラミングが非常に困難になるプロセス起動プロセス監視プロセス間通信デバッグ最適化故障時への対応しかも新しいプログラムを作る度にこれらの問題をいちいち実装する必要がある 7

8 既存の分散 / 並列プログラミング環境 MPI (Message Passing Interface) 並列プログラミングのためのライブラリスパコンの世界では主流プログラマは各プロセスの挙動を記述通信プリミティブ (Send, Recv, All to All) が提供されておりそれを用いてデータ通信を実現利点通信パターンなどをプログラマがコントロールでき問題に対して最適なプログラムを記述する事ができる問題点 MPI の問題点耐障害性への考慮が少ないアプリケーションが独自にチェックポイント機能を実装 1 万台以上の環境で計算するには耐えられない 1 台が1000 日程度で壊れるとすると 1 日で10 台程度壊れる壊れる度にチェックポイントから戻すとかやってらんない RAID 組んでもそのうち壊れるので一緒通信パターンなどを記述する作業が多くなり実際のアルゴリズムを記述するのにたどり着くまで時間がかかる 8

9 Google での使用率 Model 9

10 の実行フロー Shuffle の実行フロー入力読み込み <key, value>* map: <key, value> <key, value >* Shuffle shuffle: <key, reducers> destination reducer Rd reduce: <key, <value > * > <key, value >* 出力書き出し <key, value >* 10

11 の実行フロー <k, v>* <k, v >* <k, v>* <k, <v >*>* <k, v >* <k, v>* <k, v >* <k, v>* Shuffle <k, v>* <k, v >* <k, v>* <k, <v >*>* <k, v >* 入力文書 : doc1 例 : ワードカウント foo foo foo bar bar buzz Shuffle 11

12 入力文書 : doc1 例 : ワードカウント foo foo foo bar bar buz doc1: foo doc1: foo doc1: foo doc1: bar Shuffle doc1: bar doc1: buz 入力文書 : doc1 例 : ワードカウント foo foo foo bar bar buz doc1: foo doc1: foo doc1: foo doc1: bar Shuffle doc1: bar doc1: buz 12

13 入力文書 : doc1 例 : ワードカウント foo foo foo bar bar buz doc1: foo doc1: foo foo: 1 foo: 1 doc1: foo doc1: bar bar: 1 foo: 1 doc1: bar doc1: buz bar: 1 buz: 1 入力文書 : doc1 例 : ワードカウント foo foo foo bar bar buz foo: 1 foo: 1 bar: <1, 1> buz: <1> bar: 1 foo: 1 foo: <1, 1, 1> bar: 1 buz: 1 13

14 入力文書 : doc1 例 : ワードカウント foo foo foo bar bar buz bar: <1, 1> buz: <1> foo: <1, 1, 1> 入力文書 : doc1 例 : ワードカウント foo foo foo bar bar buz bar: <1, 1> buz: <1> bar: 2 buz: 1 foo: <1, 1, 1> foo: 3 14

15 入力文書 : doc1 例 : ワードカウント foo foo foo bar bar buz bar: 2 buz: 1 foo: 3 擬似コード例 : ワードカウント map(string key, string value) { foreach word in value: emit(word, 1); } reduce(string key, vector<int> values) { reduce(string key, vector<int> values) { int result = 0; for (int i = 0; I < values.size(); i++) result += values[i]; emit(key, result); } 15

16 Grep 型の処理 Sort ( 適切なPartition 関数を選択する必要 ) Log Analysis Web Graph Generation Inverted Index Construction Machine Learning NaiveBayes, K means, Expectation Maximization, SVM, etc. Hadoop の実装 16

17 Hadoop の中身 Hadoop Distributed File System GFSのクローンプログラムの入力や出力に使用を実現するためのサーバーライブラリ等 Hadoop Distributed File System Master/Slave アーキテクチャファイルはブロックという単位に分割して保存 NameNode Master ファイルのメタデータ ( パス権限など ) を管理 Node Slave 実際のデータ ( ブロックを管理 ) 17

From: http://hadoop.apache.org/core/docs/current/hdfs_design.

18 From: Hadoop Master/Slave アーキテクチャ JobTracker Master Job を Task に分割し Task を各 TaskTracker に分配 Job: プログラムの実行単位 Task: Task, Task 全ての Task の進行状況を監視し死んだり遅れたりした Task は別の TaskTracker で実行させる TaskTracker Slave JobTracker にアサインされた Task を実行実際の計算処理を行う 18

19 TaskTracker Architecture JobTracker HadopStreamng Ruby によるワードカウント $./bin/hadoop jar contrib/hadoop streaming.jar input wcinput output wcoutput mapper /home/hadoop/kzk/map.rb reducer /home/hadoop/kzk/reduce.rb inputformat TextInputFormat outputformat TextOutputFormat map.rb #!/usr/bin/env ruby while!stdin.eof? line = STDIN.readline.strip ws = line.split ws.each { w puts "#{w} t1 } end reduce.rb #!/usr/bin/env ruby h = {} while!stdin.eof? line = STDIN.readline.strip word = line.split(" t")[0] unless h.has_key? word h[word] = 1 else h[word] += 1 end end h.each { w, c puts "#{w} t#{c} } 19

20 Facebook のログ処理事例 Scribe + Hive Facebook Architecture Web Servers Scribe Servers Network Storage Oracle RAC Hive on Hadoop Cluster MySQL 20

21 Scribe Facebookの分散ログ収集ソフト 10/27にOSS 化各サーバーはログを単に中継する役割設定ファイルベースでトポロジーを設定中継先が落ちている場合はディスクに書き込みただし毎回の sync はしない多少は失われるけど大丈夫だよね Thrift を使用様々な言語のプログラムから利用可能 Facebook Hive Hadoop 上に構築されたデータ処理基盤 struct, list, map 等の構造化されたデータをSQLライクな言語 (HiveQL) で処理可能 HDFS, Hadoop を大いに活用 Hadoop の contribにコミット済み FBでは320 台 2560 core 1.3PBで運用レポーティング機械学習に使用 21

22 HiveQL Example: Join Operation page_view pageid userid time :08: :08: :08:14 user userid Age gender X female = male pv_users pagei d age SQL: INSERT INTO TABLE pv_users SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid); HiveQL Join by page_view pageid userid time key value key value :08: :08: :08:14 map 111 <1,1> 111 <1,1> 111 <1,2> 111 <1,2> 222 <1,1> 111 <2,25> pv_uses pageid age Shuffle user userid age gender key value 111 <2,25> female male map 222 <2,32> key value 222 <1,1> 222 <2,32> pageid age 1 32 INSERT INTO TABLE pv_users SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid); 22

23 HiveQL: 他の操作 GROUPBY, DISTINCT JOIN で実装可能任意の MR 用スクリプトを簡単に使用可能 FROM ( FROM pv_users SELECT TRANSFORM(pv _ users.userid, pv _ users.date) USING 'map_script' AS (dt, uid) CLUSTER BY dt) map Enjoy Playing Around Hadoop Thank you! kzk < kzk@preferred.jp> 23

Hadoopの全て

Hadoopの全て Kazuki Ohta ( ) Preferred Infrastructure 1 l l l l l ( ) Preferred Infrastructure, CTO Sedue Hadoop Hadoop l l l http://kzk9.net/ @kzk_mover l l l Hadoop Hadoop-Gfarm with I/O Project: