Linux勉強会　～Hadoopと高可用性～ Hadoop入門

Size: px

Start display at page:

Download "Linux勉強会　～Hadoopと高可用性～ Hadoop入門"

みさえいせき
6 years ago
Views:

Linux 勉強会 ~Hadoop と高可用性 ~ Hadoop 入門日本ヒューレットパッカード株式会社 ESSN プリセールス統括本部エンタープライズサーバーストレージ技術第 1 本部 Linux ソリューション部 Cloudera Certified Administrator for Apache Hadoop'CCAH( 認定技術者

1 Linux 勉強会 ~Hadoop と高可用性 ~ Hadoop 入門日本ヒューレットパッカード株式会社 ESSN プリセールス統括本部エンタープライズサーバーストレージ技術第 1 本部 Linux ソリューション部 Cloudera Certified Administrator for Apache Hadoop'CCAH( 認定技術者古賀政純 2012 年 4 月 21' 土 ( Copyright 2011 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 1

2 Hadoop とは 2

3 背景 : データ処理のニーズの変化従来からの定型処理に加え近年では非定形処理が必要になってきた定型処理非定型処理人間が介在しない完全な自動化が可能厳密さが求められるトランザクション管理データ量は多くてもGbytesオーダー給与計算売上集計伝票処理など人間の介在が必要厳密さよりカバレッジ重視 ( データ量が重要 ) データ量はTbytes~Pbytesオーダーになり得るスケールアウトによる性能向上統計データ作成検索データマイニングなど RDBMS が得意とする領域 RDBMS が苦手とする領域 3

4 Hadoop が必要か? ペタ級のデータ処理テラ級なら RDBMS で処理可能レスポンス長い項目 RDBMS Hadoop データサイズ ~ テラペタ想定データ操作小さなデータ参照 / 更新レスポンス速い遅いスケールアップアウトせいぜい 1 ケタ台のサーバ大きなデータ挿入 / 参照数十台 ~ 数千台データサイズ小 DWH アプライアンスデータサイズ大データ構造構造化データ準構造化データ RDBMS 4 レスポンス短い

5 Hadoop 開発の歴史的経緯 GoogleFileSystem や MapReduce などと呼ばれる分散処理技術を独自に開発ソースコードではなくその仕組みを論文として発表 '2004 年 ( 膨大なデータに対する検索処理で課題を抱えていた Yahoo Inc. は著名なエンジニアである Doug Cutting 氏を中心に上記論文を元に Hadoop を開発 Apache Hadoop プロジェクトとして公開されオープンソースソフトウェアとして開発が進む米国を中心に利用が進み Hadoop 自体も様々な改良が加えられる日本でも導入事例が増えつつある 5

6 なにを Hadoop に期待するか過去できない / できなかったことの実現ペタ級のデータ処理やっぱりデータ検索 / 集計だよね従来方式との差がなにか実感できるようなことができないかレポートのたびに Java で開発するのは 6

7 業務系 IT における RDBMS DWH および Hadoop の位置づけトランザクション処理 BI データ分析 RDBMS Oracle / MySQL MS SQL Server など非構造型データデータ蓄積データウェアハウス RDBMS/DWH 専用機膨大な過去データ Hadoop クラスタ複雑かつ大量のデータを高速に分析 7

8 結局 Hadoop とは? 既存の RDBMS と置き換わるものではない 8

9 Hadoop の分散ファイルシステム 'HDFS( を知る 9

10 HDFS のデータ保持管理概要メタデータ管理 DataNode 状態監視 DataNodes Name Node Master Node ブロック管理問い合わせつのブロックを複数の DataNode に複製 ' 複製数 :3( ブロックデータクライアント Name Node を利用してデータをブロックに分割し DataNode に配置 10

11 HDFS を体験しよう : 例 1( 巨大なファイルを HDFS にコピー & 様子を見る HDFS に置きたいファイルを生成する今回はファイルサイズが 10GB のファイルを生成する # dd if=/dev/zero of=/tmp/file10gb bs=1024m count=10 # ls -lh /tmp/file10gb -rw-r--r-- 1 root root 10G 3 月 1 02:41 /tmp/file10gb コピー元の巨大ファイル : /tmp/file10gb 分散 FS HDFS 11

12 HDFS を体験しよう : 例 1( 巨大なファイルを HDFS にコピー & 様子を見る HDFS 上に保存用のディレクトリを生成する Cloudera 版 Hadoop において HDFS の操作はアカウント hdfs で行う # su hdfs $ whoami hdfs $ hadoop fs mkdir /user/hdfs/bigfiledir/ Name Node の /tmp に作成した 10GB のファイル file10gb を HDFS にコピーする $ hadoop fs -put /tmp/file10gb /user/hdfs/bigfiledir/ 上記コマンドを実行することでデータノードで構成されている HDFS に目的のファイル file10gb がコピーされる 12

HDFS を体験しよう : 例 1( 巨大なファイルを HDFS にコピー & 様子を見る Web ブラウザで HDFS の使用量を確認する Web ブラウザで Name Node の IP アドレスまたはホスト名に 50070 ポートでアクセスする 10GB のファイルのコピー操作を行う前の段階 DFS Used は 1.

13 HDFS を体験しよう : 例 1( 巨大なファイルを HDFS にコピー & 様子を見る Web ブラウザで HDFS の使用量を確認する Web ブラウザで Name Node の IP アドレスまたはホスト名にポートでアクセスする 10GB のファイルのコピー操作を行う前の段階 DFS Used は 1.41MB である Web ブラウザをリロードすると DFS Used の値が変化することがわかる上記例は 10GB のファイルのコピー途中での様子 '4GB あたりまでコピーした状態で画面ダンプを取得した ( HDFS 上にファイル file10gb がコピーされていることを確認する $ hadoop fs -ls /user/hdfs/bigfiledir/ Found 1 items -rw-r--r-- 2 hdfs supergroup :51 /user/hdfs/bigfiledir/file10gb 13

14 HDFS の基礎前提となる考え構成されるノードは障害率が高いという前提で進める安価なサーバーはいつダウンしてもおかしくないという考えファイルサイズ HDFS で取り扱うファイルは数 TB~PB クラス一つのファイルサイズが巨大アクセスファイルはライトワンス大規模なストリーミングリードランダムアクセスはしない性能特徴安定したスループットを目的とする低レイテンシではないブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( HP ProLiant DL2000 ブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( ブロック '128MB( HDFS のブロック書き込み例 14

15 Hadoop が提供する Map Reduce を知る 15

16 Map 処理と Reduce 処理の例 : 文字例のカウントを行う入力処理対象となるログデータ等を入力にする Map 処理 : ログデータを行毎に処理して検索結果をキーと値の組にする Reduce 処理 : 同じキー ' 文字列 ( を集計し結果を出す Hello World Bye World テキストの 1 行目 Hello Bob Hello World Bye World Hello Bob Map Map <Hello, 1 回出現 > <World, 1 回出現 > <Bye, 1 回出現 > <World, 1 回出現 > Reduce <Hello, 1 回出現 > <Bob, 1 回出現 > <Hello, 2 個 > <World, 2 個 > <Bye, 1 個 > <Bob, 1 個 > 出力 Bob 1 Bye 1 Hello 2 World 2 テキストの 2 行目 16

17 Map Reduce を体験しよう : 例 2( テキストファイルの単語数をカウントする対象のテキストファイル例 : /usr/share/doc/glibc-2.5/ 以下のテキストファイル NEWS 調査対象となる入力ファイル :/usr/share/doc/glibc-2.5/news ファイル GNU C Library NEWS -- history of user-visible changes Copyright (C) ,2003,2004,2005,2006 Free Software Foundation, Inc. See the end for copying conditions. Please send GNU C library bug reports via < using `glibc' in the "product" field. ^L Version 2.5 * For Linux, the sorting of addresses returned by getaddrinfo now also handles rules 3, 4, and 7 from RFC I.e., all rules are handled. Implemented by Ulrich Drepper. Map Reduce 得たい結果 : 単語数のリスト the 315 * 314 NEW: 313 and 192 C 173 to 152 ISO 149 for 147 9x 141 of 135 The 127 by

18 Map Reduceを体験しよう : 例 2( テキストファイルの単語数をカウントする HDFSに配置したINDIR/NEWSファイルをHadoopのMap Reduceで分散処理を行う $ cd $HOME; pwd /usr/lib/hadoop-0.20 $ whoami hdfs Hadoop Streaming を利用することで Java で記述しなくても Python や Perl などのスクリプトで MapReduce を実現できる $ hadoop jar contrib/streaming/hadoop-streaming cdh3b4.jar -file bin/map.py -mapper bin/map.py -file bin/red.py -reducer bin/red.py -input INDIR -output OUTDIR /03/01 01:48:08 INFO streaming.streamjob: map 0% reduce 0% 11/03/01 01:48:10 INFO streaming.streamjob: map 50% reduce 0% 11/03/01 01:48:11 INFO streaming.streamjob: map 100% reduce 0% 11/03/01 01:48:17 INFO streaming.streamjob: map 100% reduce 33% 11/03/01 01:48:19 INFO streaming.streamjob: map 100% reduce 100% 11/03/01 01:48:20 INFO streaming.streamjob: Job complete: job_ _ /03/01 01:48:20 INFO streaming.streamjob: Output: OUTDIR1 $ hadoop dfs -ls Found 2 items drwxr-xr-x - hdfs supergroup :10 /user/hdfs/indir drwxr-xr-x - hdfs supergroup :48 /user/hdfs/outdir1 出力するディレクトリに OUTDIR1 を指定したので HDFS 上に OUTDIR1 が生成されていることがわかる 18

19 Hadoop Hive 19

20 データウェアハウスとして Hive Facebook のジョブの 95% は Hive 非常に早く書くことができ普通は約 10 分しかかからない HiPal という web ベースのツール Hive を使うビジネスアナリストが簡単にクエリを書けるデータウェアハウスにロードされているのテーブルを調べることができる 'HiPal は公開されていない ( 日に 1 回のバッチ処理からリアルタイムなクエリにずっと近いものに変化最も速いクエリを 1 分以内で返すことができるシステムを開発することが全く新しい領域のアプリケーションを切り開くキーとなる 20

21 Facebook の Hadoop の現状 Facebook は引き続き Hadoop 技術に投資彼らが使っている Hive ( 彼らが始めた ) や HBase のようなオープンソースプロジェクトに貢献コンピューティングクラスタで大規模なデータを処理 Hadoop とのデータベースの統合高可用性低遅延なアプリケーションをサポートするアーキテクチャを有している 21

22 Hadoop のシステム構成例 22

23 Lights-Out100 Lights-Out100 Hadoop のシステム構成考慮点 : 小規模から大規模クラスタ構成 '1000 ノード ( へネームノード 'HA( ジョブトラッカーのフェールバック先セカンダリネームノードジョブトラッカーのフェールバック先ジョブトラッカー HP CMU/HP SIM Nagios/Ganglia 管理ノードラック HP ProLiant SL170s G6 コアスイッチ ' アグリゲーション ( 10GbE 10GbE コアスイッチ ' アグリゲーション ( 10GbE Name Node は大容量メモリで構成 : データノードのデータ量が大きくなるとネームノードのメモリ中のメタデータが大きくなるため Name Node は HA 化 Heartbeat + DRBD Hadoop 管理ノード : Hadoop Name Node Hadoop Job Tracker ラックラック HP ProLiant SL170s G6 x1 CPU: 2x QC Xeon Mem: 18GB Disk : 500GB x 4 SAS 23

24 Hadoop における Rack Awareness 構成例エンクロージャ障害ラック障害に対応させるための Hadoop の機能レプリカはラックを跨いで HDFS に保存される NameNodeはラックを跨いでHA 化処理 Rack ファイル Awareness: ブロックはラック Block 1 レプリカ :3 をまたいでレプリ BLock 2 ケーションさせる Block 3 所属するラックまたはエンクロージャをIPアドレスの範囲などで区分けし Hadoop に設定 Block 1 BLock 2 Client Block 3 Client Block 1 BLock 2 Block 3 ファイルはブロックに分割される Rack1 Rack2 Rack3 24

25 Hadoop のシステム構成考慮点 : Nagios を使った Hadoop クラスタの監視 HDFS のディスク使用量を監視する Nagios プラグイン check_hadoop_metrics をインストール Data node のポート監視を行う Nagios プラグインを Nagios にインストール Data node の tasktracker のポート監視を行う Nagios プラグインを Nagios にインストール 25

/etc/sysconfig/network-scripts/route-ethx の値

26 Hadoop のシステム構成考慮点 : Ganglia を使った Hadoop クラスタの監視 Name Node と Data Node のマルチキャストアドレスは異なる値にすることが望ましい /etc/sysconfig/network-scripts/route-ethx の値 /etc/hadoop/conf.xxx にある hadoo-metrics.properties ファイルに DFS に関するマルチキャストアドレスを記述 26

27 Hadoop のシステムインテグレーション 27

28 Hadoop のサイジング : コモディティハードウェアはローエンドという意味ではない The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. 出典 : Cloudera 社のサイトにある Data node と Task Tracker のハードウェア例 : 抜粋 : There are four types of nodes in a basic Hadoop cluster. We refer here to a node as a machine performing a particular task. Most of the machines will function as both datanodes and tasktrackers. As we described, these nodes both store data and perform processing functions. We recommend the following specifications for datanodes/tasktrackers in a balanced Hadoop cluster: 4 1TB hard disks in a JBOD (Just a Bunch Of Disks) configuration 2 quad core CPUs, running at least 2-2.5GHz 16-24GBs of RAM (24-32GBs if you re considering HBase) Gigabit Ethernet 28

コア Mem: 32GB Disk: 12~24TB 出典 :http://hadoopblog.

29 Hadoop のサイジング : コモディティハードウェアはローエンドという意味ではない Facebook における Hadoop Data Node1 台あたりのスペック : CPU: 16 コア Mem: 32GB Disk: 12~24TB 出典 : 29

Hadoop のサイジング : コモディティハードウェアはローエンドという意味ではない出典 : http://developer.yahoo.

30 Hadoop のサイジング : コモディティハードウェアはローエンドという意味ではない出典 : hadoop/posts/2010/05/scalability_of_the_hadoop_dist/ Yahoo が提案する Hadoop の性能に関する考察 1 億ファイルでは Name Node のメモリ 60GB 以上必要 1PB の物理ストレージ容量確保にはメタデータ用の RAM が約 1GB 必要 1 億ファイルに必要な HDFS クラスタはノードで 1 ノードあたり 8TB のディスクが必要 1 億個のファイル '2 億ブロックを参照 ( を格納するために Name Node は最低でも 60GB の RAM を持つべきである 30

31 米国本社 HP の OSS 取り組み最新情報 2011 年下半期以降米国 HP における Hadoop/OSS の取り組み最新情報 31

32 Hadoop in a Data Warehouse 海外 OSS 最新情報 Extract, Transform & Load Log Files Relational Data Flume Connector SQOOP Connector Apache Hadoop H D F S MySQL 32

33 ebay 海外 Hadoop 情報使用しているコンポーネント Java MapReduce Pig Hive HBase 用途 : 検索研究監視 Ganglia Nagios 出典 : '2011 年時点 ( 33

34 Hadoop at Macy s 海外 Hadoop 情報出展 : 34

35 HP POD 内の HP ProLiant サーバー米国本社 HP 最新情報 HP POD データセンターの耐荷重を気にせず空き倉庫に設置コンテナ型データセンター OSSHP を駆使した大規模分散 PODに搭載されている HP ProLiant SLシリーズシステムを導入されるお客様向けに適 35

36 36 Thank you!!

OSS 体験セミナー Hadoop の概要高スケーラブルな分散管理基盤 2 つのコア機能分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDF

OSS 体験セミナー Hadoop の概要高スケーラブルな分散管理基盤 2 つのコア機能分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDF Hadoop スタートアップセミナー Hadoop スタートアップセミナー NEC ラーニングテクノロジー研修事業部土井正宏 OSS 体験セミナー Hadoop の概要高スケーラブルな分散管理基盤 2 つのコア機能分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム

Linux勉強会 ～Hadoopと高可用性～ Hadoop入門

Linux勉強会　～Hadoopと高可用性～ Hadoop入門