OSS 体験セミナー Hadoop の概要高スケーラブルな分散管理基盤 2 つのコア機能分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDF

Size: px

Start display at page:

Download "OSS 体験セミナー Hadoop の概要高スケーラブルな分散管理基盤 2 つのコア機能分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDF"

しまながうん
6 years ago
Views:

1 Hadoop スタートアップセミナー Hadoop スタートアップセミナー NEC ラーニングテクノロジー研修事業部土井正宏

2 OSS 体験セミナー Hadoop の概要高スケーラブルな分散管理基盤 2 つのコア機能分散ファイルシステム (HDFS) 分散処理フレームワーク (Map/Reduce) BigData の管理基盤として注目分散処理基盤 (Map/Reduce) Hadoop 分散ファイルシステム (HDFS) OS OS OS NEC Group Internal Use Only Apache Hadoop( 以下 Hadoop) は高い拡張性を持つ分散処理基盤ソフトウェアで BigData の管理基盤として注目されています Hadoop は以下の機能を提供します分散ファイルシステム (HDFS) 複数サーバーの HDD を束ねて仮想的なファイルシステムを構成する機能分散処理フレームワーク (Map/Reduce) 大量のデータに対する処理を複数のサーバーで実行する機能

Hadoop スタートアップセミナー BigData 概要無尽蔵に増え続ける非構造データ ( 表で管理できない ) 例 : メール本文つぶやきアクセスログ更新は発生しない一度送ったメール本文はあとから修正できない解析構造化が必要そのままだとゴミデータの山社員の情報 ( 表構造

データ項目に分類できないデータのことです例えば社員の情報は社員番号や社員名といった全社員に共通する項目に分類できますが社員が送付したメールの本文は決まった項目に分類できません更新がない BigData は一度送付した電子メールの内容は変更することができないように基本的

3 Hadoop スタートアップセミナー BigData 概要無尽蔵に増え続ける非構造データ ( 表で管理できない ) 例 : メール本文つぶやきアクセスログ更新は発生しない一度送ったメール本文はあとから修正できない解析構造化が必要そのままだとゴミデータの山社員の情報 ( 表構造 ) メール本文 ( 非構造データ ) Page 3 NEC Corporation 2010 BigData とは無尽蔵に増え続けるデータのことです BigData には以下の特徴があります非構造データ ( 例 : 電子メールつぶやき画像データなど ) 非構造データとはデータ項目に分類できないデータのことです例えば社員の情報は社員番号や社員名といった全社員に共通する項目に分類できますが社員が送付したメールの本文は決まった項目に分類できません更新がない BigData は一度送付した電子メールの内容は変更することができないように基本的には更新処理は発生しませんメール以外にもブログつぶやき画像データ映像データ GPS の位置情報アクセスログといったデータも BigData に分類されます BigData はそのままの状態では情報がまとまっていないためビジネスに活用できませんよって共通する項目を見つけ出してデータを構造化する必要があります

4 OSS 体験セミナーなぜ BigData が注目されているのか? 今までは BigData をビジネスに活用できなかった長期的に保存できない ( 大容量のストレージが必要 ) 解析処理に大量の CPU リソースを食う古いデータは削除 Hadoop の登場により BigData を活用しやすくなった BigData の中にビジネスに有益な情報が眠っている業績 UP 新しいサービスの創出 Page 4 NEC Corporation 2010 今まで企業は保有リソースの問題から BigData をビジネスに活用することができませんでしたが現在では Hadoop の登場によって BigData を扱いやすくなりました一部の企業で BigData が活用されその結果業績アップにつながった事例が報告されており現在注目を集めています

5 Hadoop スタートアップセミナー Hadoop の活用場面 BigData 解析センサーネットワーク DWH/BI 基幹系バッチ処理の高速化 Page 5 NEC Corporation 2010 Hadoop の活用場面は現在様々な企業で模索されておりますが現状では主に以下の 4 つの用途で活用できると考えられます BigData 解析 DWH/BI 基幹バッチ処理の高速化センサーネットワーク

6 OSS 体験セミナー BigData 解析テキストマイニングソーシャルメディア分析つぶやきブログの解析思いもよらなかった製品サービスの強み弱みを発見つぶやき収集 BigData 分析分析結果ブログ好評丌評若者に人気 etc Page 6 NEC Corporation 2010 BigData を分散処理により解析します解析結果は DWH にロードし従来の BI ツールで分析することができますまた BigData は自社内だけにとどまらずソーシャルメディアの中にも存在しています例えばブログやつぶやきの文字列からキーワードを抜き出して整理集計すると企業や製品の好感度を把握することができます

サイトの商品ページへのアクセスや購入履歴の分析結果をおすすめ商品として提示するレコメンドシステムが挙げられますこのような処理は RDB でも実現できますが Hadoop

7 Hadoop スタートアップセミナー DWH/BI レコメンドシステム ( おすすめ ) RDB よりも高速に処理エコシステムの活用 Hive Pig 構造データの解析 EC サイトアクセスログ購入履歴分析分析結果あなたへのおすすめ商品は Page 7 NEC Corporation 2010 DWH/BI 用途での活用例として EC サイトの商品ページへのアクセスや購入履歴の分析結果をおすすめ商品として提示するレコメンドシステムが挙げられますこのような処理は RDB でも実現できますが Hadoop により分析時間が格段に短縮された事例が報告されていますまたこの用途では明確な構造をもったデータを扱うことが多いので Hive や Pig といった関連プロダクトを活用することでより効率よく分析できます

8 OSS 体験セミナーセンサーネットワーク GPS や各種センサーが収集した情報を解析渋滞予測気象予報電力予測 etc 車載 GPS 温度湿度センサー電力計 Page 8 NEC Corporation 2010 各種センサーが収集する情報の管理もまた Hadoop が得意とする場面です Hadoop のスケーラビリティによりセンサーが送り続けるデータを効率よく管理できます車載 GPS から渋滞を予測したりスマートフォンの GPS からショッピングモール内の人の流れを解析したり電力計の情報から必要な電力量を予測するなどの用途で活用できると考えられます

9 Hadoop スタートアップセミナー基幹系バッチ処理の高速化 Hadoop のスケーラビリティを活用して一時的に超高性能な処理基盤を構築月次日次バッチ処理の高速化 Iaas の活用平常時バッチ処理実行時バッチ処理終了 Page 9 NEC Corporation 2010 Hadoop のスケーラビリティを利用し Hadoop クラスタを一時的なスーパーコンピューターとして利用することも考えられますまた IaaS のサービスを活用すれば自社内にリソースを所有する必要がなく費用削減につながります

10 OSS 体験セミナー Hadoop クラスタの構成マスタースレーブ方式マスターメタデータを管理 (NameNode) ジョブを監視 (JobTracker) スレーブデータを保存 (DataNode) タスクを実行 (TaskTracker) マスターノード群 JobTracker Hadoop クラスタ NameNode Secondary NameNode スレーブノード群 TaskTracker DataNode TaskTracker DataNode TaskTracker DataNode Page 10 NEC Corporation 2010 Hadoop クラスタは構成するサーバー間に親子関係があり親をマスターノード子をスレーブノードと言います ( マスタースレーブ方式 ) マスターノードとスレーブノードの役割は以下の通りですマスターノード NameNode:HDFS のメタデータを管理 JobTracker:Map/Reduce のタスクを監視スレーブノード DataNode: データブロックを保存 TaskTracker:Map/Reduce のタスクを実行各プロセスは別々の物理サーバーで起動することもできますが一般的に NameNode と JobTracker DataNode と TaskTracker をそれぞれ共存させます

Hadoop スタートアップセミナー分散ファイルシステム (HDFS) スレーブノード (DataNode) のディスクを仮想的に一台に見せるマシンを追加するだけで簡単に拡張可能データブロックに分割レプリカを保持 300G ファイルブロック A ブロック C ブロック A データ B データ B ブロック C 100G 100G 100G Page 11 NEC Corporation

11 Hadoop スタートアップセミナー分散ファイルシステム (HDFS) スレーブノード (DataNode) のディスクを仮想的に一台に見せるマシンを追加するだけで簡単に拡張可能データブロックに分割レプリカを保持 300G ファイルブロック A ブロック C ブロック A データ B データ B ブロック C 100G 100G 100G Page 11 NEC Corporation 2010 Hadoop のコア機能の一つである HDFS(Hadoop 分散ファイルシステム :Hadoop Distributed File System) はスレーブノードの HDD を束ねて大容量の仮想ストレージを構成します空き容量が減ってきた際は新規スレーブノードを立ち上げることで簡単に容量を増やすことができますファイルを HDFS 上に配置するとデータブロックという単位に分割されてスレーブに配置されます各データブロックは障害に備え別ノードにコピー ( レプリカ ) を持っていますマスターノードがスレーブノードの死活監視を行っておりスレーブが停止すると該当するデータブロックのレプリカを作成しますこの仕組みにより常に一定数のレプリカが保障されます

OSS 体験セミナーハンズオン HDFS 上にローカルのファイルをアップロードします WebUI ( http://master:50070 ) でクラスタの構成を確認 HDFS 上にディレクトリを作成 HDFS にファイルをロード WebUI (

12 OSS 体験セミナーハンズオン HDFS 上にローカルのファイルをアップロードします WebUI ( ) でクラスタの構成を確認 HDFS 上にディレクトリを作成 HDFS にファイルをロード WebUI ( ) でファイルを確認 Page 12 NEC Corporation 2010 本セミナーでは講師マシンをマスターとする Hadoop クラスタを操作します 1. WebUI( からクラスタの構成を確認します

13 Hadoop スタートアップセミナー 2. HDFS 上にディレクトリを作成します端末を開き以下のコマンドを実行します ~]$ hadoop dfs -mkdir foo ~]$ hadoop dfs ls drwxr-xr-x - hadoop supergroup :22 /user/hadoop/foo 3. data ファイルを HDFS 上に配置します [hadoop@localhost ~]$ hadoop dfs -put data./foo 大きなサイズのファイルを配置するため時間がかかります [hadoop@localhost ~]$ hadoop dfs -ls./foo Found 1 items -rw-r--r-- 3 hadoop supergroup :23 /user/hadoop/foo/data 4. アップロードしたファイルを WebUI から確認します Brouse File System user hadoop foo data の順にクリックします 4 ブロック 3 レプリカに分割されていることを確認します

14 OSS 体験セミナー Map/Reduce 分散処理のフレームワーク Job の自動管理データローカリティの実現プログラム (Job) Job Job を Task に分解 Task Task Task Task を実行 Task Task Task Page 13 NEC Corporation 2010 Map/Reduce は Hadoop が提供する分散処理のフレームワークですユーザーは実行したい処理をジョブとして渡すと JobTracker がタスクに分解し各 TaskTracker に割り当てます TaskTracker は割り当てられたタスクを実行しますなお従来の分散処理と違いユーザーはタスク割り当てを意識する必要がありませんまた JobTracker がタスクの進行を監視しエラーが起きたタスクは再実行しますそのためプログラムにエラー処理を記述する必要がありませんスレーブノードは可能な限り自分が管理するデータブロックを処理しますそのためノード間のデータの通信が発生しにくくネットワークトラフィックを抑制できますこのことをデータローカリティといいます 1 1 もしも処理対象のデータが別ノードに存在する場合はノード間の通信を行い処理対象データを修得します

Hadoop スタートアップセミナー Map/Reduce のしくみ Map 分析の対象となる <Key,Value> ペアを作成 Shuffle&Sort Key の値でソートし集約 Reduce 各 <Key,Value> ペアに対し処理を行う ( 例 :Value の値の合計値を求める ) Page 14 NEC Corporation

のサンプルプログラムに含まれる wordcount( 文章中の英単語を数える ) では < 単語,1> のペア作ります ( 例 :<To,1>) Shuffle&Sort Map の実行結果を Key の値で集約し <Key,Values> のペアを作りますこの処理は自動的に行われます 2 ( 例 :<To,1,1>) Reduce

15 Hadoop スタートアップセミナー Map/Reduce のしくみ Map 分析の対象となる <Key,Value> ペアを作成 Shuffle&Sort Key の値でソートし集約 Reduce 各 <Key,Value> ペアに対し処理を行う ( 例 :Value の値の合計値を求める ) Page 14 NEC Corporation 2010 Map/Reduce の処理は以下の 3 つのフェーズで構成されていますただし Job を定義する際にユーザーが指定するのは Map と Reduce の処理内容のみで Shuffle&Sort については定義する必要はありません Map 分析の対象になる <Key,Value> のペアを作成します例えば Hadoop のサンプルプログラムに含まれる wordcount( 文章中の英単語を数える ) では < 単語,1> のペア作ります ( 例 :<To,1>) Shuffle&Sort Map の実行結果を Key の値で集約し <Key,Values> のペアを作りますこの処理は自動的に行われます 2 ( 例 :<To,1,1>) Reduce Values に対し集計などの処理を行います wordcount では Values の値の合計値を算出します ( 例 :<To,2>) 2 Shuffle&Sort はネットワーク通信が発生しやすいためボトルネックになる傾向がありますそのため Map 処理で可能な限りデータの絞り込みを行うことがパフォーマンスチューニングのポイントの一つになります

16 OSS 体験セミナーハンズオン Map/Reduce サンプルプログラムを実行 (WordCount) 事前に用意されたプログラムで data を解析 WebUI ( ) で M/R の進行を確認 WebUI ( ) で出力ファイルを確認 Page 15 NEC Corporation プログラムを実行します HDFS 上の data ファイルに出現する単語をカウントします [hadoop@localhost ~]$ hadoop jar WordCount.jar WordCount./foo/data./foo/output

Hadoop スタートアップセミナー 2. JobTracker の WebUI ( http://master:50030 ) から Map/Reduce の進行を確認します画面に表示された job_id をチェックします 12/02/05 14:54:44 INFO mapred.

17 Hadoop スタートアップセミナー 2. JobTracker の WebUI ( ) から Map/Reduce の進行を確認します画面に表示された job_id をチェックします 12/02/05 14:54:44 INFO mapred.jobclient: Running job: job_ _ /02/05 14:54:45 INFO mapred.jobclient: map 0% reduce 0% 12/02/05 14:55:28 INFO mapred.jobclient: map 11% reduce 0% 12/02/05 14:55:29 INFO mapred.jobclient: map 19% reduce 0% 12/02/05 14:55:30 INFO mapred.jobclient: map 30% reduce 0% 12/02/05 14:55:31 INFO mapred.jobclient: map 43% reduce 0%

18 OSS 体験セミナー 3. NameNode の WebUI ( ) から作成されたファイルの中身を確認します

19 Hadoop スタートアップセミナー Hadoop 注意点 ( よくある誤解 ) Hadoop はデータベースではない ( データベースの下のレイヤーに相当 ) 従来のデータベースに置き換わる技術ではない Oracle OS SQL Server OS HBase Hadoop OS OS 共有ストレージとしての利用はできない小さなファイルの管理には向かないファイルの中身の編集ができない内容の変更がなく無尽蔵に増加していく BigData の管理に特化 Page 16 NEC Corporation 2010 Hadoop はデータベースのソフトウェアではありません HDFS はデータベースの下のレイヤーに位置します現在 HDFS 上にデータを格納するデータベースのソフトウェアとして NoSQL データベースの HBase が提供されていますまた HDFS は共有ストレージとしての利用はできません HDFS はシステム上小さなファイルの格納には向きませんファイル数が増えるとメタデータが増大し NameNode を圧迫するからですまた Hadoop は IO 分散による高スループットを目的として設計されており低レイテンシな特性が求められる操作には向いていませんさらに HDFS 上のファイルはメモ帳などで中身を変更することができません以上のことから Hadoop は共有ストレージの代わりではなく BigData の管理に特化した基盤ソフトウェアと言えます

20 OSS 体験セミナー NEC ラーニングの研修サービス Hadoop 基礎 [ コースコード :DB081] 1 日コース :42,000 円 ( 税込 ) マシン実習付き今回のセミナー内容に加えインストールパラメーターの設定データ書き込み読み込み時の動作 Hadoop の関連プロダクトなどについて学習しますこれから Hadoop の導入を検討している技術者の方営業部門の方新入社員の方におすすめのコースですより実践的な後続コースも近日提供予定提供開始時は HP およびメールマガジンでアナウンスします Page 17 NEC Group Internal Use Only

21 Hadoop スタートアップセミナー近日提供予定コース Cloudera Apache Hadoop 管理者向けトレーニング [ コースコード :DB090] Cloudera Apache Hadoop 開発者向けトレーニング [ コースコード :DB091] 提供開始のアナウンスは弊社 HP またはメールマガジンで行いますこの機会に是非 RSS およびメルマガ登録をお願いします!!! Page 18 NEC Corporation 2010

22 OSS 体験セミナー Page 19 NEC Corporation 2012

無料セミナー資料：ビッグデータ管理基盤ソフトウェアHadoop入門

無料セミナー資料：ビッグデータ管理基盤ソフトウェアHadoop入門ビッグデータ管理基盤ソフトウェア Hadoop 入門 NEC ラーニングテクノロジー研修事業部土井正宏アジェンダ Hadoopとは? HDFSの概要 Map/Reduceのしくみ Hadoopのエコシステム ( 関連製品 ) Hadoop 0.23について Page 2 NEC Corporation 2010 Hadoop の概要高スケーラブルな分散管理基盤グリッドコンピューティング 2つのコア機能