スライド 1

Size: px

Start display at page:

Download "スライド 1"

かんじながだき
5 years ago
Views:

1 Hadoop とは Hadoop の二本柱分散ファイルシステム HDFS(Hadoop Distributed File System) 分散プログラミングモデル MapReduce Hadoop の目的大規模ファイル処理格納, 加工ペタバイト規模複数計算機の協調動作スケーラブルシステム数百 ~ 数千台規模 Key-Value store MapReduce HDFS Node Node Node Node

2 Hadoop とは分散コンピューティング環境基本的にマスタースレーブモデル構成 Namenode(HDFS) HDFS の管理を行う Datanode(HDFS) HDFS の実データ保持, 応答 Jobtracker(MapReduce) MapReduce のスケジューリング Tasktracker(MapReduce) MapReduce の実処理 Job tracker Name node MapReduce Task Task tracker tracker HDFS Data node Data node Task tracker Data node Node ( マスタ ) Node ( スレーブ ) Node ( スレーブ ) Node ( スレーブ ) 2

3 HDFS の仕組みマスタースレーブモデルマスター : 全体を管理する Namenode スレーブ : ファイルを保持する Datanode ファイルの分割と多重化ファイルはファイルブロックに分割, 複数ノードに配置読み出し効率化ファイルブロックは複製され, 複数ノードに配置読み出し効率化障害耐性ファイル読み出しに最適化した構成

4 HDFS におけるファイルの搭載 file negotiation Namenode f1 f1 split f2 f2 node selection duplicate duplicate Datanode Datanode Slave Node Slave Node Datanode Datanode Datanode Datanode Selected node

5 HDFS におけるファイルの読み出し file negotiation Namenode merge negotiation node selection f1 f2 transfer(file pieces) Datanode Datanode Slave Node Slave Node Datanode f1 f1 f2 f2 Datanode Datanode Datanode Selected node

6 HDFS の障害耐性障害発生時にもデータは損失されない複製によるデータ保持障害検知時の自動再配置 A1 A1 A2 A1 A2 B2 B1 B2 B1 B2 Datanode Datanode Datanode

7 HDFS の特徴高速アクセス分割数 ( 複製数 ) だけアクセス速度増スケーラビリティ, 運用の省力化大容量ストレージ Datanode の台数に応じた容量を持つ Datanode を追加するだけで規模が大きくなるコマンド一つで Datanode として HDFS に参加できる障害発生ノードにただちに対応しなくてよい障害耐性により, 一部に障害が発生しても運用可能後日除去し, 新たなノードを追加すればよい障害ノードのデータ復旧はしなくてよい

8 MapReduce の仕組み入力はファイル断片がばらばらに与えられる HDFS のファイルブロック一つずつ入力を加工する (Map) ソートして順序を整理する (Shuffle) ルールに従ってまとめ上げる (Reduce) 入力ファイル M a p S h u f f l e R e d u c e 出力ファイル

9 MapReduce の特徴 Key-Value store 常に Key,Value のペアで 1 レコードとして扱う HDFS 上のファイルからの入力 Key: ファイル上の行番号 Value: その行のテキスト列 Key Value Key Value Key Value

10 MapReduce の例入力 key:1 value:aa key:2 value:bbb map map key:aa value:1 key:bbb value:1 入力テキストファイル : aa bbb aa key:3 value:aa map key:aa value:1 shuffle key:aa value:1 key:aa value:1 reduce key:aa value:2 出力 key:bbb value:1 reduce key:bbb value:1 出力出力テキストファイル : aa 2 bbb 1

11 MapReduce の挙動まとめ Map( 主なプログラマー定義部分 ) Key-Value ペアを入力から受け取る加工した Key-Value ペアを Shuffle に渡す Shuffle Key-Value ペアを同一 Key 毎にまとめる Key でソートするまとめた Key-Values( 複数 value) を Reduce に渡す Reduce( 主なプログラマー定義部分 ) 同一 Key でまとめられた Value s を受け取る Values をまとめて加工する Key-Value ペアとして出力する Shuffle も定義可能だが, 通常は必要でない Map,Reduce ともに複数 key-value ペア出力可能

12 MapReduce の特徴並列処理による効率性各 Map 処理は独立 Map は参加する計算機の台数だけ高速化可能 Reduce の高速化はアルゴリズム次第 Reduce は分割数だけ出力ファイルが増える日付毎解析などなら許容できるだろうが本質的に分割不可能な部分は高速化できない物理シミュレーションなどは全体が 1step 完走しないと次に進めないほとんどすべての並列処理系に共通の問題 HDFS との連携ファイルブロックを持つ Datanode 上で実行できる入力データを集める際に効率的 ( 局所性 )

13 Map 処理行番号テキスト public static class CountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { protected void map(longwritable key, Text value, Context context) throws IOException, InterruptedException { context.write(value, new IntWritable(1)); } } 入力 key: 行番号 value: テキスト出力 key: テキスト value:1

14 Reduce 処理テキスト同一 key でまとめられたもの public static class CountReducer extends Reducer<Text, IntWritable, Text, IntWritable> { protected void reduce(text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int count = 0; for (IntWritable i : values) count += i.get(); context.write(key, new IntWritable(count)); } } イテレーションによる要素の取り出し入力 key: テキスト values:1の列挙出力 key: テキスト value: 上 valuesの足し合わせ

15 まとめ Hadoop クラスタはマスタースレーブモデルスレーブを追加することでスケールする HDFS ファイルは分割されるファイルブロックファイルは複製される多重化による障害対策 MapReduce Map と Reduce 通常記述する部分 Map は独立した加工 Reduce はまとめあげる加工 key-value モデル MapReduce の入力形式データ構造に注意 key-value 組毎に Map 処理が行えるよう Job tracker Name node Node ( マスタ ) MapReduce Task tracker HDFS Data node Node ( スレーブ ) Task tracker Data node Node ( スレーブ ) Task tracker Data node Node ( スレーブ ) 15

16 質疑応答 Q&A

17 おそらくこのスライドに含めるべきではないものを一時保存する領域 APPENDIX

18 JobConf に与えるべきもの InputFormat Interface InputFormat<K,V> OutputFormat Mapper Reducer Interface OutputFormat<K,V> Class Your Mapper Class Your Reducer Interface Mapper<K1,V1,K2,V2> Class MapReduceBase Interface Reducer<K1,V1,K2,V2> Class MapReduceBase

19 InputFormat JobConf.setInputFormat(Class<? extends InputFormat>) Interface abstract class class InputFormat<K,V> FileInputFormat<K,V> TextInputFormat FileInputFormat<K,V> <K,V> <LongWritable,Text> class class KeyValueTextInputFormat DBInputFormat<T> <Text,Text> <LongWritable,T extends DBWritable> 継承型を利用する場合の例 conf.setinputformat(textinputformat.class); FileInputFormat.setInputPaths(conf,new Path( input )); DBInputFormat<T> を利用する場合 Hadoop パッケージ内 src/example 下の DBCountPageView.java の例を参照

20 Mapper の総称型の制約 Class MapReduceBase Interface Mapper<K1,V1,K2,V2> InputFormat<K,V> と同一 Mapper<K,V,K2,V2> Mapper<K,V,k,v> Reducer<k,v,k2,v2> と同一 JobConf に指定されている場合 MapOutputKeyClass のもの MapOutputValueClass のもの Class Your Mapper

21 OutputFormat JobConf.setInputFormat(Class<? extends OutputFormat>) Interface abstract class class OutputFormat<K,V> FileOutputFormat<K,V> TextOutputFormat<K,V> class DBOutputFormat<T> FileOutputFormat<K,V> 継承型を利用する場合の例 conf.setoutputformat(textoutputformat.class); FileOutputFormat.setOutputPath(conf, new Path( output )); DBOutputFormat<T> を利用する場合 Hadoop パッケージ内 src/example 下の DBCountPageView.java の例を参照

22 Reducer の総称型の制約 Class MapReduceBase Interface Reducer<K1,V1,K2,V2> Mapper<K1,V1,K,V> と同一 Reducer<K,V,K2,V2> Reducer<K,V,k,v> OutputFormat<k,v> と同一 ( 指定されていれば ) JobConf に指定されている場合 OutputKeyClass のもの OutputValueClass のもの Class Your Reducer

23 HDFS の障害態勢一般にクラスタが大きくなると障害発生確率は上がる 1 台が安定動作している確率 p に対して n 台クラスタが安定動作している確率は p n 99.9% で障害なく動作する ( 障害発生確率 0.1%) サーバ 100 台で構成するクラスタは 9.5% の確率で障害が発生する大規模クラスタではいつもどこかで障害が起きていると考えるべき求められる障害態勢障害発生時に全体がダウンしない障害発生時にデータが損失しない Hadoop ではシステムの安全性スレーブがダウンした場合障害発生時にもデータは損失されない複製によるデータ保持障害検知時の自動再配置

Hadoop とは大規模なデータを並列分散処理を行うフレームワークを提供 Google による MapReduce および Google File System(GFS) の論文をベースに開発された Apache プロジェクトの OSS MapReduce MapReduce 分散処理フレームワー

Hadoop とは大規模なデータを並列分散処理を行うフレームワークを提供 Google による MapReduce および Google File System(GFS) の論文をベースに開発された Apache プロジェクトの OSS MapReduce MapReduce 分散処理フレームワー超入門大規模分散処理フレームワーク Hadoop SRA OSS, Inc. 日本支社技術開発部エンジニア長田悠吾 Cloudera Certified Developer for Apache Hadoop Cloudera Certified Administrator for Apache Hadoop Copyright SRA OSS, Inc. Japan All rights reserved.