Hadoopによるバッチ処理検証

Size: px

Start display at page:

Download "Hadoopによるバッチ処理検証"

しょうすけいなくら
5 years ago
Views:

Hadoop によるバッチ処理検証日本ヒューレットパッカード株式会社テクノロジーサービス事業統括テクノロジーコンサルティング統括本部

2 目次検証内容検証構成検証環境構成概要図検証環境詳細 Hadoopの主な設定情報検証結果 Appendix チューニング項目一覧 MapReduce 処理時のCPU 使用率推移 MapReduce 処理時のWrite/Read 量推移 MapReduce 処理時のDisk %Util 推移 MapReduceにおけるシャッフルとソートまとめコンサルティングサービス Hadoop 導入コンサルティングサービスオープンソースエキスパートサービス 2 Copyright 2011 Hewlett-Packard Development Company, L.P.

4 検証内容検証の背景データ量増加に伴い既存バッチシステムが性能の限界に直面しているバッチ処理におけるデータのソートおよび分割処理が既存のアプリケーションのボトルネックになっているが既存のアーキテクチャを踏襲してそれを改修するためには多くのコストがかかるためそれを最低限にしつつ性能改善をしたい検証の目的と範囲既存バッチ処理のうちのデータのソートおよび分割の部分に Hadoop を適用した場合の効果を実証する Hadoop を使用し疑似データのソートおよび分割を行いそれにかかる実行時間の調査を行うまたサーバー台数を増加させることによりどれくらい性能増加するのかを確認し Hadoop としてボトルネックとなりがちな点を分析し Hadoop の仕組みを詳しく理解する Hadoop 導入運用に対する効果影響に関する考察を行う 4 Copyright 2011 Hewlett-Packard Development Company, L.P.

7 Hadoop 実行処理起動コマンド : hadoop... -D map.output.key.field.separator=. -D num.key.fields.for.partition=1 -D mapred.reduce.tasks=< 分割ファイル数 N> -partitioner org.apache.hadoop.mapred.lib.keyfieldbasedpartitioner -reducer /bin/cat Map 処理は左下吹き出しのスクリプト Reduce 処理は OS コマンドの /bin/cat のみソート分割処理は Hadoop Job のオプション指定のみで実現 Key1 Key2 Key3 でソート分割処理 Reduce1 HDFS 上のディレクトリ Hadoop (HDFS) Job1 Map ( 複数 ) Reduce2 結果 1 結果 2 Mapスクリプト Key1でグルーピング for line in sys.stdin: line = line.rstrip() Key1 = line[i:j] Key2 = line[k:l] Key3 = line[m:n] print %s.%s.%s\t%s' % (Key1, Key2, Key3 line) i-nは数字 7 Copyright 2011 Hewlett-Packard Development Company, L.P. ReduceN Key1-1 Key1-1 Key1-4 Key1-4 Key1-4 xxxx xxxx xxxx xxxx xxxx 結果 N

9 検証環境構成概要図 Namenode01 (ProLiant DL380 G7) Name Node/Job Tracker ProLiant DL380 G7 Intel(R) Xeon(R) CPU X GHz 2P/12C Memory : 96GB HP 600GB 6G SAS 10K x6 Ethernet(1Gbps) Datanode01 (ProLiant DL380 G7) Datanode02 (ProLiant DL380 G7) Datanode03 (ProLiant DL380 G7) Datanode04 (ProLiant DL380 G7) Datanode05 (ProLiant DL380 G7) Hadoop( 分散処理 HDFS) Datanode06 (ProLiant DL385 G7) Datanode07 (ProLiant DL385 G7) Datanode08 (ProLiant DL385 G7) Data Node/Task Tracker ProLiant DL380 G7 Intel(R) Xeon(R) CPU X GHz 2P/12C Memory : 96GB HP 600GB 6G SAS 10K x7 Data Node/Task Tracker ProLiant DL385 G7 Opteron GHz 2P/24C Memory : 128GB HP 600GB 6G SAS 10K x8 9 Copyright 2011 Hewlett-Packard Development Company, L.P.

10 検証環境詳細 (1/2) ホスト名 Namenode01 Datanode01-05 サーバー HP ProLiant DL380 G7 HP ProLiant DL380 G7 Hadoop CDH3u1 (Cloudera's Distribution for Hadoop) CDH3u1 (Cloudera's Distribution for Hadoop) OS RHEL 5.6 x86_64 RHEL 5.6 x86_64 CPU タイプ Intel(R) Xeon(R) CPU X GHz Intel(R) Xeon(R) CPU X GHz CPU 数 2P(12core) HT=on 2P(12core) HT=on メモリ 96GB 96GB オンボード NIC HP NC382i PCIe Dp Gigabit Svr Adptr HP NC382i PCIe Dp Gigabit Svr Adptr 内蔵ディスク HP 600GB 6G SAS 10K HDD x6 HP 600GB 6G SAS 10K HDD x7 ディスクコントローラー Smart アレイ P812 / 1G FBWC コントローラー Smart アレイ P812/ 1G FBWC コントローラーディスク構成 RAID10(6 本 ) OS 領域が RAID0(1 本 ) 残りは 1 本ずつ RAID0(6 本 ) Hadoop 側でディスクに対してラウンドロビンアクセス構成 10 Copyright 2011 Hewlett-Packard Development Company, L.P.

11 検証環境詳細 (2/2) ホスト名 Datanode06-08 サーバー Hadoop OS CPU タイプ CPU 数メモリオンボード NIC 内蔵ディスクディスクコントローラーディスク構成 HP ProLiant DL385 G7 CDH3u1 (Cloudera's Distribution for Hadoop) RHEL 5.6 x86_64 Opteron GHz 2P(24core) 128GB HP NC382i PCIe Dp Gigabit Svr Adptr HP 600GB 6G SAS 10K HDD x8 Smart アレイ P812/ 1G FBWC コントローラー OS 領域が RAID1(2 本 ) 残りは 1 本ずつ RAID0(6 本 ) Hadoop 側でディスクに対してラウンドロビンアクセス構成 11 Copyright 2011 Hewlett-Packard Development Company, L.P.

12 Hadoop の主な設定情報項目既定値設定値備考 mapred.child.java.opts -Xmx200m -Xmx1024m TaskTracker の子プロセスに渡される Java オプション dfs.block.size 新規ファイルのブロックサイズ (byte) io.sort.mb dfs.replication 3 2 Mapper 上でファイルソートを行う際にマージストリームに割当てられるバッファメモリ量 (MB) タスクの JVM アロケーションによる可用性をどこまで担保するかによる速度優先であれば 2 を推奨 mapred.reduce.tasks 1 84 ジョブあたりの Reduce タスク数 mapred.tasktracker.ma p.tasks.maximum mapred.tasktracker.red uce.tasks.ma ximum TaskTracker によって同時稼働可能な Map タスクの最大数 HT を使用している場合は搭載コア数の 1.2~1.5 倍が目安 TaskTracker によって同時稼働可能な Map タスクの最大数 HT を使用している場合は搭載コア数の 1.2~1.5 倍が目安 12 Copyright 2011 Hewlett-Packard Development Company, L.P.

14 既存バッチシステムと Hadoop 処理の処理時間比較約 100GB データの処理時間比較既存アプリによるソート分割処理 sort コマンドでのソート (1 ノード ) Hadoop 上でのソート分割 (8 ノード ) 高速なサーバーでかつ分割処理をしていない Hadoop 上でのソート分割 + HDFS へのデータ投入時間 Copyright 2011 Hewlett-Packard Development Company, L.P.

18 処理時間 ( 秒 ) Hadoop 処理実行時間 ( 中間データの圧縮 ) 入力 Map Reduce 出力ここの時間が短縮! 600 map/reduce 別の時間変化 ( 約 100GB データ ) snappy なし snappy による中間データ圧縮 map 時間 reduce 時間 18 Copyright 2011 Hewlett-Packard Development Company, L.P.

snappy なし snappy による中間データ圧縮 100 50 0 copy sort reduce copy フェーズ sort フェーズ

19 処理時間 ( 秒 ) Hadoop 処理実行時間 ( 中間データの圧縮 ) 入力ここの時間が短縮! 300 Map Reduce 出力 copy sort reduce reduce タスク詳細 ( 約 100GB データ ) snappy なし snappy による中間データ圧縮 copy sort reduce copy フェーズ sort フェーズ reduce フェーズの時間は 10 秒置きの画面キャプチャから判断しているためあくまでも参考値 19 Copyright 2011 Hewlett-Packard Development Company, L.P.

21 まとめ 1 ノード数増加による Hadoop 性能の増加を確認 2 map 処理はノード数増加により大きく性能が増加 map 処理は CPU の使用率が 100% 近くで推移しており Disk の %UTIL も同様に 100% 近くまで上昇しているそのため多くのプロセスや書き込み待ちが発生しておりノード数増加によりプロセスや書き込み待ちが解消され性能向上が大きくなっていると分析できる 3 reduce 処理もノード数増加により性能が向上 iostat の結果から HDFS への書き込みがボトルネックになっておりノード数を増やすことで負荷分散が可能となったためと分析できる 4 中間データの snappy 圧縮により中間データの転送量が少なくなり reduce タスクのコピーフェーズが大幅に時間短縮されることが確認 5 Java の MapReduce でも実装したがパフォーマンスの変化は特になし一概に Hadoop Streaming が遅いとは言えないという結果 6 50GB~100GB の範囲のデータでも Hadoop を使うことで十分な効果を得ることができることを実証 7 Hadoop の仕組みを最大限に利用することで非常に短いコードで既存バッチの高速化を図ることが可能 21 Copyright 2011 Hewlett-Packard Development Company, L.P.

後段のアプリケーションの改修不要入力データ ( 約 100GB) Map Map Map HDFS Reduce Reduce Reduce 出力データ一般的にソートや分割を行う処理は Hadoop の導入効果が期待できるエリアであり

22 導入運用上のメリット前段処理機能移転既存バッチアプリソート分割後続処理後続処理計算処理 Hadoop によるソート分割処理 1 従来処理時間に比べ約 80% の時間短縮 (160 分 18 分データノードが 5 ノードの場合 ) 2 処理量に対してリニアな処理性能サーバ台数に対してリニアな処理性能 3 ソートキー変更分割ファイル数変更等に対する対応が容易 ( 設定変更および少ない APL 改修で実施可能 ) 4 Hadoop システム導入にあたり後段のアプリケーションの改修不要入力データ ( 約 100GB) Map Map Map HDFS Reduce Reduce Reduce 出力データ一般的にソートや分割を行う処理は Hadoop の導入効果が期待できるエリアであり今回の試験結果からも効果がある事が判明 Hadoop は本バッチ処理以外でも類似処理への展開有効活用が可能と思われるので適応可能箇所の検討は有効 22 Copyright 2011 Hewlett-Packard Development Company, L.P.

24 HP Hadoop 導入サービスお客様環境にHadoopクラスタを導入するサービスですフェーズサービス概要検検討設計構築テスト運用 24 Copyright 2011 Hewlett-Packard Development Company, L.P. 適用領域既存システムの連携についてのヒアリングを実施必要に応じて導入前検証 (PoC) を HP ソリューションセンターで実施ヒアリング内容に基づきサーバ構成ネットワーク構成を設計 Hadoop クラスタ全体アーキテクチャの設計運用設計設計内容に基づいた Hadoop クラスタの構築 Hadoop へのデータ投入データ解析用サンプルスクリプトの作成既存システムや BI ツールへのデータ連携 HP CMU および Zabbix/Ganglia を使ったクラスタ運用基盤の構築 MapReduce アプリケーション開発支援性能測定チューニング MapReduce アプリケーションのテスト支援運用テスト Hadoop クラスタ運用支援保守サービスの提供 Hadoop 活用時に使用する各種オープンソースソフトウェアを 1 つの窓口で技術支援討から運用支援までサービスを提供

25 HP Hadoop 導入前検証 (PoC) サービス本格導入前の検証をHPソリューションセンターで実施いたします HP ソリューションセンターを使った導入前検証 HP ソリューションセンターの機器を使用しお客様データを使用した導入前検証です VPN 接続でお客様先からも作業可能設定情報使用スクリプト等のベストプラクティスをお持ち帰りいただけますお客様環境での実施も可能お客様環境で既存サーバ他社製サーバを使った構築にも対応いたします 25 Copyright 2011 Hewlett-Packard Development Company, L.P.

Hadoop だけでなく関連するオープンソースソフトウェアを含めたトータルサポート Java

http server Management Nagios, ZABBIX HA DRBD,

Ubuntu MySQL, Postgre SQL ワンストップでトータルサポートを提供 26

26 Hadoop だけでなく関連するオープンソースソフトウェアを含めたトータルサポート Java AP Tomcat, JBoss JVM (OpenJDK) No SQL Web Apache http server Management Nagios, ZABBIX HA DRBD, Heart Beat Hadoop DB OS FreeBSD, CentOS Debian, Ubuntu MySQL, Postgre SQL ワンストップでトータルサポートを提供 26 Copyright 2011 Hewlett-Packard Development Company, L.P.

28 オープンソースエキスパートサービスオープンソースを用いたシステム構築において以下のようなことでお困りではないでしょうか? 開発保守 OSS 製品の仕様やバージョン間の違や他製品との違いを調査したいが調査方法などが分からず困っている開発時にアプリケーションのコーディング方法について作成中のアプリケーションを含めて相談したいが適切な相談先が見つからない古い OSS 製品や最新の OSS 製品を使いたいが保守サービスがないので困っている対障応害障害が発生しいろいろな窓口に問い合わせてみたが障害原因を特定することができずに困っているオープンソースエキスパートサービスがこれらのお悩みを解決いたします 28 Copyright 2011 Hewlett-Packard Development Company, L.P.

29 オープンソースエキスパートサービスサービス仕様概要本サービスは導入開発試験運用障害発生などのあらゆるフェーズにおいて様々なオープンソースソフトウェア (OSS) 製品に関するご質問を 1 つの窓口で統一的にお受けして回答するサービスです対象となる OSS 製品は Linux などのオペレーティングシステムから JBoss や PostgreSQL などのミドルウェア製品まで広範囲に渡り複数の OSS 製品が関連したご質問にも対応いたします対象顧客複数の OSS 製品をお使いでそれら OSS 製品の包括的な問い合わせ窓口が必要なお客様メリット複数の OSS 製品の問い合わせ先を一本化することができます OSS 製品の調査や障害対応などに掛かる時間やコストを削減できます契約体系価格本サービスではお客様のご要望に合う最適なサービスを提供させて頂くために個別に契約内容を相談させて頂きます例えば以下のような内容にて契約させて頂きます対応製品 : サービス対象 OSS 製品の中から 5 製品を選択して頂きます契約単位 : システム環境ごとの契約となります契約期間と稼働時間は例えば以下のような組み合わせで契約可能です契約稼働時間を超えた場合は追加見積にて対応させて頂きます 12 ヶ月 /360 時間 6 ヵ月 /180 時間 3 ヶ月 /90 時間 ( 各月の最大稼働時間は 30 時間までとさせて頂きます ) 前提サービス対象のOSS 製品であればそれ自体が動作しているOSがサービス対象のOSでなくても対応可能ですソースコードが公開されているOSS 製品であれば古いバージョンから最新バージョンの製品まで対応させて頂きます本サービスは委任契約の技術支援サービスとなりますのでお客様のところで発生した障害などの解決をお約束するものでは御座いません 29 Copyright 2011 Hewlett-Packard Development Company, L.P. サービス内容お問い合わせ方法メール ( 電話でのお問い合わせについてはご相談ください ) お問い合わせ頂ける担当者は 3 人までとさせて頂きますお問い合わせ時間平日 ( 祝祭日年末年始を除く ) 一次応答時間の目安 AM 受付は当営業日中 PM 受付は翌営業日 AM 中お問い合わせ頂ける質問数には制限がございませんお問い合わせ単位もしくは月次で弊社担当者の稼働時間を報告いたしますお問い合わせ頂ける内容インストール方法パラメータ調査設定方法仕様確認複数 OSS 製品の連携接続方法障害調査障害原因のログ解析回避方法の提案過去事例の調査コミュニティからの情報収集ソースコードの調査既存パッチに関する情報提供オプションでの対応お客様先でのオンサイト作業は本サービスでは対象外となりますが別途対応可能ですのでご相談ください場合によっては保守契約のある別製品に関する問い合わせ窓口の代行も可能ですのでご相談下さいサービス問合せ窓口本サービスのお見積ご質問に関しては jpn_tc_solution_desk@hp.com へお問い合わせください

30 サービス対象 OSS 製品 OS( オペレーティングシステム ) CentOS, Debian GNU/Linux, Ubuntu Server, opensuse, FreeBSD Red Hat Enterprise Linux その他 Linux はご相談下さいネットワーク web サーバー BIND Samba vsftp Apache HTTP Server mod_jk mod_proxy mod_alias, mod_rewrite, mod_jk2 Squid Postfix, Sendmail procmail,dovecot OpenLDAP OpenSSL OpenSSH memcached ミドルウェア Hadoop new memcached 30 Copyright 2011 Hewlett-Packard Development Company, L.P. データベース MySQL PostgreSQL アプリケーションサーバ Tomcat JBoss Application Server Java OpenJDK Struts Spring JBoss ESB JBoss jbpm JBoss Hibernate JBoss Drools JBoss Seam 開発 Eclipse CVS Subversion bash, csh などのシェル Perl 管理監視 ZABBIX リストに載っていない製品はご相談下さい

32 チューニング項目一覧 (HDFS パラメータ ) 項目既定値推奨値設定値備考 dfs.block.size dfs.datanode.ha ndler.count or dfs.replication 新規ファイルのブロックサイズ (byte) DataNode 上でブロックリクエストを処理するスレッド数可用性をどこまで担保するかによる速度優先であれば 2 を推奨 32 Copyright 2011 Hewlett-Packard Development Company, L.P.

34 チューニング項目一覧 (MapReduce パラメータ ) 項目既定値推奨値設定値備考 mapred.child.java.o pts mapred.job.tracker. handler.count mapred.reduce.para llel.copies mapred.reduce.slow start.completed. maps -Xmx200m 10 5 mapred.reduce.tasks 1 mapred.tasktracker. map.tasks.maximum mapred.tasktracker.r educe.tasks.ma ximum クラスタ構成に依存全 TaskTracke ノード数の 4% Map スロット数の半数 -Xmx1024m TaskTracker の子プロセスに渡される Java オプションからクラスタ中の Reduce タスク数の 90% 程度搭載コア RAM 量で処理可能な数搭載コア RAM 量で処理可能な数 JobTracker 用のサーバスレッド数多ければ多いほど多数の TaskTracker からのリクエストをハンドルし易い 8 Reduce が Copy 段階で使うパラレル転送数 Reduce が Job のスケジュールをする前に終わっていなければいけない Map の割合 84 ジョブあたりの Reduce タスク数 TaskTracker によって同時稼働可能な Map タスクの最大数 HT を使用している場合は搭載コア数の 1.2~1.5 倍が目安 TaskTracker によって同時稼働可能な Map タスクの最大数 HT を使用している場合は搭載コア数の 1.2~1.5 倍が目安 34 Copyright 2011 Hewlett-Packard Development Company, L.P.

35 チューニング項目一覧 (MapReduce パラメータ ) 項目既定値推奨値設定値備考 mapred.jobtrack er.taskscheduler tasktracker.http.t hreads org.apache.ha doop.mapred.j obqueuetasks cheduler 40 org.apache.h adoop.mapre d.fairschedul er 20 台以上のノードで構成されたクラスタの場合 60 または 80 org.apache.ha doop.mapred.j obqueuetasks cheduler 40 io.sort.mb or io.sort.factor mapred.job.redu ce.input.buffer.p ercent mapred.job.reus e.jvm.num.tasks タスクスケジュール用クラス HTTP サーバに許可された Worker Thread 数 ( 中間 Map 出力をフェッチするために Reducer が利用 ) Mapper 上でファイルソートを行う際にマージストリームに割当てられるバッファメモリ量 (MB) タスクの JVM アロケーションによるファイルソートを行う際に一度にマージ可能なストリーム数オープンしたファイルハンドル数を決定 reduce の過程で map の出力を保持するために使われるバッファの総ヒープサイズに対する比率タスク JVM の再利用を有効にする設定 35 Copyright 2011 Hewlett-Packard Development Company, L.P.

36 チューニング項目一覧 ( その他 ) noatime オプションでディスクをマウントファイルの読み込み時に最終アクセス時刻の情報を書かないようにするものシステムの swappiness を減らす /etc/sysctl.conf 内の vm.swappiness を 0 に設定 RAID 構成より Hadoop 側でラウンドロビンの読み書きをする JBOD 構成 RAID0の読込書込は RAIDアレイ内で最も遅いディスクの速度に合せて行われる Yahooが行なった調査によれば JBODのパフォーマンスはRAID0と比較して10 30% 良好 snappy により MapReduce の中間データを圧縮中間データの snappy 圧縮は CDH3u1 から使用可能 36 Copyright 2011 Hewlett-Packard Development Company, L.P.

copy reduce copy reduce map copy reduce reduce 37

37 MapReduce 処理時の CPU 使用率推移 DataNode3 ノード構成時の DataNode1 DataNode8 ノード構成時の DataNode1 map reduce copy reduce copy reduce map copy reduce reduce 37 Copyright 2011 Hewlett-Packard Development Company, L.P.

38 MapReduce 処理時の Write/Read 量推移 DataNode3 ノード構成時の DataNode1 DataNode8 ノード構成時の DataNode1 map reduce copy reduce copy reduce map copy reduce reduce 38 Copyright 2011 Hewlett-Packard Development Company, L.P.

39 MapReduce 処理時の Disk %Util 推移 DataNode3 ノード構成時の DataNode1 DataNode8 ノード構成時の DataNode1 map reduce copy reduce copy reduce map copy reduce reduce 39 Copyright 2011 Hewlett-Packard Development Company, L.P.

40 MapReduce におけるシャッフルとソート map タスク入力スプリット m a p メモリ内のバッファ分割ソートディスクへのスプリット別の map タスク別の map タスクディスク上でのマージ別の reduce へ reduce タスクマージマージ同じキーを持つものが複数集められるマージ r e d u c e 出力 map タスクパーティション key1 のグループメモリ内とディスク上にデータが混在コピーフェーズソートフェーズ ( マージフェーズ ) Reduce フェーズ入力スプリット m a p 40 Copyright 2011 Hewlett-Packard Development Company, L.P. 別の map タスク別の map タスク別の reduce へマージマージマージ r e d u c e reduce タスク出力

ジョブ管理ソフトウェア LoadStar Scheduler ご紹介資料 ~ システム運用品質の向上とコスト削減を実現 ~

ジョブ管理ソフトウェア LoadStar Scheduler ご紹介資料 ~ システム運用品質の向上とコスト削減を実現 ~ はじめに LoadStar Scheduler はシステム運用管理者による視点でソフトバンクによって自社開発された運用ジョブ管理ソフトウェアでソフトバンク社内のシステム運用管理において既に 4 年間の実績があり業務効率化やコスト削減に大きな成果を挙げている製品です 2 LoadStar

Hadoopによる バッチ処理検証

Hadoopによるバッチ処理検証