Hadoop Introduction

Size: px

Start display at page:

Download "Hadoop Introduction"

そよすずがみね
7 years ago
Views:

1 Hadoop Introduction

2 はじめに

3 Agenda Hadoopおさらい 1 HadoopStreaming 2 Hive 3 Demo (Apacheログ解析) 4 5 まとめ

4 Hadoop の概要

5 Hadoop の特徴

タスク起動 DataNode TaskTracker DataNode TaskTracker データ

6 Hadoop クラスタ構成マスターサーババッチの進捗状況管理 Map/Reduce タスク割振り NameNode JobTracker HDFS 管理 DataNode 管理 Map/Reduce タスク起動 DataNode TaskTracker DataNode TaskTracker データブロック送受信 HDFS Map Reduce HDFS Map Reduce スレーブサーバ #1 スレーブサーバ #N

7 Hadoop 適用範囲

8 Hadoop RDBMS

9 MapReduce

10 MapReduce ProgrammingModel

11 MapReduce ProgrammingModel Mapper Reducer Output Data1 Input Data Mapper Shuffle &Sort Reducer Output Data2 Mapper Map Phase Shuffle Phase Reduce Phase

12 MapReduce の各フェーズ

13 Hadoop で MapReduce JobTracker Assign Map Task Assign Reduce Task HDFS Mapper HDFS Reducer Output Data1 Input Data Mapper Shuffle &Sort Reducer Output Data2 Mapper Map Phase Shuffle Phase Reduce Phase

14 MapReduce Example WordCount

15 MapReduce Example:WordCount

16 MapReduce Example:WordCount JobTracker HDFS Input file : doc1 foo foo foo bar bar buz

17 MapReduce Example:WordCount JobTracker HDFS doc1:foo doc1:foo Mapper Input file : doc1 foo foo foo bar bar buz doc1:foo doc1:bar Mapper doc1:bar doc1:buz Mapper Map Phase

18 MapReduce Example:WordCount JobTracker HDFS Mapper foo:1 foo:1 Input file : doc1 foo foo foo bar bar buz Mapper foo:1 bar:1 bar:1 buz:1 Mapper Map Phase

19 MapReduce Example:WordCount JobTracker HDFS Mapper foo:1 foo:1 foo:<1,1,1> Input file : doc1 foo:1 bar:1 Reducer foo foo foo bar bar buz Mapper Shuffle &Sort bar:<1,1> buz:<1> bar:1 buz:1 Reducer Mapper Shuffle Phase

20 MapReduce Example:WordCount JobTracker HDFS Mapper foo:3 Input file : doc1 Reducer foo foo foo bar bar buz Mapper bar2 buz:1 Reducer Mapper Reduce Phase

21 MapReduce Example:WordCount JobTracker HDFS Mapper foo:3 HDFS Input file : doc1 Reducer foo foo foo bar bar buz Mapper bar2 buz:1 foo:3 bar:2 buz:1 Reducer Mapper Reduce Phase

22 Hadoop で MapReduce

23 public static void main...

24 Java 以外の言語じゃ利用できないの?

25 そんなことはありません

26 Hadoop で MapReduce

27 Agenda Hadoopおさらい 1 HadoopStreaming 2 Hive 3 Demo (Apacheログ解析) 4 5 まとめ

28 Hadoop Streaming Input Data STDIN Mapper Streaming Reducer STDOUT Output Data STDOUT Shuffle & Sort STDIN

29 Hadoop Streaming hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming.jar -input inputdata -output outputdata -mapper map_exec -reducer reduce_exec

30 Ruby で WordCount

31 mapper.rb

32 reducer.rb

33 InputData( 入力データの準備 )

34 実行

35 途中経過

36 途中経過

37 OutputData( 出力結果の取得 )

38 Hadoop Streaming まとめ

39 Agenda Hadoopおさらい 1 HadoopStreaming 2 Hive 3 Demo (Apacheログ解析) 4 5 まとめ

40 Hive # hive -e 'select count(distinct user_id) from logs; Hive history file =/tmp/root/hive_job_log_root_2xxxxxxx_xxx.txt Total MapReduce jobs = 1... Tracking URL = ********* map = 0%, reduce = 0% map = 5%, reduce = 0%...

41 メリット #!/usr/bin/ruby Map.rb Reducer.rb #!/usr/bin/ruby ARGF.each do line line.chomp! line.split.each do word puts "#{word} t1" end end data = Hash.new { h,k h[k] = 0} ARGF.each do line line.chomp! key, value = line.split(/ t/) data[key] += 1 end data.each do k,v puts "#{k} t#{v}" end select count(distinct user_id) from logs; MapReduce を意識することなく SQL ライクに記述可能

42 デメリット

43 HiveQL

44 HiveQL

45 テーブル作成

46 テーブル作成型の種類データ型名内容 TINYINT 1Byteの整数整数型 SMALLINT 2Byteの整数 INT 4Byteの整数 BIGINT 8Byteの整数プリミティブ型 FLOAT 単精度の浮動小数点浮動小数点型 DOUBLE 倍精度の浮動小数点論理型 BOOLEAN TRUEとFALSE 文字列型 STRING 文字列配列型 ARRAY < データ型 > データ型を配列として扱うマップ型 MAP < プリミティブ型, データ型 > Key, Value 形式でデータを扱う構造型 STRUCT< カラム名 : データ型,,,> 複数のデータ型を構造化する

47 テーブル作成

48 テーブル作成構文 FIELDS COLLECTION ITEMS MAP KEYS LINES SERDE 内容フィールド ( 項目 ) の区切り文字を指定するデフォルトは 0x01 コレクション ( 配列 ) の区切り文字を指定するデフォルトは区切り文字無しマップのキーと値の区切り文字を指定するデフォルトは区切り文字無し行の区切り文字を指定するデフォルトは n SerDe( シリアライズデシリアライズ ) クラスを指定する

49 テーブル作成 CREATE TABLE logs(id INT, created_at STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY, LINES TERMINATED BY' n'; CREATE TABLE logs(id INT, created_at STRING) PARTITIONED BY(date STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY, LINES TERMINATED BY' n';

50 テーブル操作

51 テーブル情報表示

52 データの格納

53 データの格納 LOAD DATA LOCAL FILEⅩ INTO table_name FILEⅩ HIVE HDFS LOAD DATA FILEY INTO table_name FILEY

54 データの格納

55 データの抽出

56 データの絞込み

57 データの並び替え

58 データの集計処理

59 テーブルの結合

60 Hive

61 Agenda Hadoopおさらい 1 HadoopStreaming 2 Hive 3 Demo (Apacheログ解析) 4 5 まとめ

62 Apache ログ解析 googlebot.com - - [01/May/2012:00:07: ] "GET /robots.txt HTTP/1.1" "-" "Mozilla/5.0 (compatible; Googlebot/2.1; + rate-limited-proxy google.com - - [01/May/2012:00:07: ] "GET / HTTP/1.1" "-" "DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; + rate-limited-proxy google.com - - [01/May/2012:00:28: ] "GET /?feed=rss2 HTTP/1.1" "-" "Feedfetcher-Google; (+ 2 subscribers; feed-id= )" niederhausen.tm.informatik.uni-leipzig.de - - [01/May/2012:00:33: ] "GET /robots.txt HTTP/1.1" "-" "findlinks/2.5 ( rev.home.ne.jp - - [01/May/2012:01:06: ] "GET /wp-content/themes/inove_labsot/style.css HTTP/1.1" " "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" rev.home.ne.jp - - [01/May/2012:01:06: ] "GET /wp-content/themes/inove_labsot/style.css HTTP/1.1" " "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)" rev.home.ne.jp - - [01/May/2012:01:06: ] "GET /wp-content/themes/inove_labsot/pagenavi-css.css?ver=2.60 HTTP/1.1"

63 Apache ログ解析 : テーブル作成

64 Apache ログ解析 : データ格納

65 Apache ログ解析 : 集計

66 Apache ログ解析 : 結果

67 Agenda Hadoopおさらい 1 HadoopStreaming 2 Hive 3 Demo (Apacheログ解析) 4 5 まとめ

68 まとめ

69 まとめ

70 ご清聴ありがとうございました

Hadoopの全て

Hadoopの全て Kazuki Ohta ( ) Preferred Infrastructure 1 l l l l l ( ) Preferred Infrastructure, CTO Sedue Hadoop Hadoop l l l http://kzk9.net/ @kzk_mover l l l Hadoop Hadoop-Gfarm with I/O Project: