Elastic MapReduce bootcamp

Size: px

Start display at page:

Download "Elastic MapReduce bootcamp"

なおたつざわ
5 years ago
Views:

1 EMR Controls, Debugging, Monitoring アマゾンデータサービスジャパン株式会社

4 EMR ジョブの構成 Hadoopクラスターの開始終了 EMRではjob flowと呼ぶ job flowを構成するもの Bootstrap Action Hadoop 起動前 ( クラスタ起動後 ) に実行するプログラム群追加ソフトウェアのインストール Hadoopの設定等起動パラメータで指定 Job flow 稼働中の実行は不可 Step Hadoopに投げるジョブの構成要素ステップはJob flow 稼働中に追加可能 Task 各 Step を構成する MapReduce 処理の実体

5 コンソールでのログ閲覧 Enable Debugging で制御 No の場合 Step レベルの情報ログのみ閲覧可能 Yes の場合 Step レベルに加えて Hadoop レベルの情報ログを閲覧可能

6 マスタノード上のログ EMR のログはマスタノードに集約されている /mnt/var/log/ hadoop/ *.log steps/ マスタノードのデーモンプロセスログ類ステップ毎のログ ( ) ( ) Management Console からも閲覧可能

7 S3 上のログ --log-uri で指定した S3 の格納先に保存マスタノードに集約されたログが保存される ( 約 5 分後 ) <job id>/ s3n://<< 指定したバケツ名 >>/<job id> daemons/ <node id> ノード毎のデーモンプロセスのログ jobs/ Job 毎のログ nodes/ <node id> ノード毎のログ steps/ task-attempts/ <step no> yyyymmddhhmmxxxx/ ステップ毎のログ ( ) タスク毎の実行ログ ( ) ( ) Management Console からも閲覧可能

8 ステップログの種類ステップログは以下の4 種類 controller ステップ起動準備から完了までのログ stdout Mapper/Reducerの実行されたステータスなど stderr ステップの標準的なエラーメッセージ syslog AWS 提供ソフトウェア以外のログ情報を含む

10 EMR ジョブの管理モニタリング方法 AWS Management Console Job の起動停止やクラスターのモニタリング EMR Ruby Client (CLI) EMR クラスターを完全に管理可能開始変更 step 追加リサイズ停止一覧 SSH ログインやログ取得も可能自作管理用スクリプトに組み込み可能 EMR マスターノード Hadoop ツール Hadoop UI サードパーティツール Ganglia 等

11 EMR ジョブ管理用ツール AWS EMR Management Console クラスタの管理とジョブの状況確認

AWS CloudWatch ジョブの進捗状況クラスタの状況リソース状況各インスタンスの状況 http://aws.typepad.

12 AWS CloudWatch ジョブの進捗状況クラスタの状況リソース状況各インスタンスの状況

13 CloudWatch Alarm 通知設定例 HDFS 利用率 80% 以上クラスターがアイドル状態

14 EMR ジョブ管理用ツール Hadoop UI (Job Tracker, NameNode) 実行中のジョブの状況 HDFSの状況を閲覧可能 JobTracker マスタノード >>:9100/ NameNode マスタノード >>:9101/

15 EMR ジョブ管理用ツール Hadoop UI(JobTracker) で確認できる項目 Cluster Summary 稼働中のスレーブノードの状況閲覧 Scheduling Information Hadoop ジョブスケジュールの進捗状況閲覧 Running Jobs 処理中ジョブの進捗状況閲覧 Completed Jobs タスク完了ジョブ一覧 Failed Jobs 処理中に失敗したジョブの状況閲覧 Local Logs ローカルログジョブトラッカーの履歴閲覧

16 EMR ジョブ管理用ツールマスターノード指定したkey pairsを使って hadoopユーザでsshログイン /var/mnt/log/ 配下のログ閲覧 Parallel jobも可能テキストブラウザでのHadoop UI 閲覧

17 Tools for Debugging EMR Jobs Ganglia bootstrap action でインストール可能

18 Tools for Debugging EMR Jobs collectd デフォルトで全ノードにインストール済み S3に出力するように設定済み多数のフォーマットをサポート ( 例 : csv, rrd, )

19 モニタリング IF の比較モニタリングツールを使い分けることで障害調査をより柔軟に行うことが可能ステータスパフォーマンス Job Flow Step Task node スループットリソース AWS Management Console Ruby CLI Hadoop WebUI Ganglia

22 ハンズオンの流れ EMR クラスタでサンプルのジョブフローを実行 Amazon CloudFront (CDN) のログを解析するサンプル WebUI 閲覧設定 FoxyProxy 設定 Putty SSH トンネリング設定各種メトリクスログを確認 Management Console ログ CloudWatch Hadoop UI ノード数やインスタンスタイプを変えて再実行し各種参照余力があれば CloudWatch の Alarm を作ってみる t/developerguide/usingemr_viewingmetrics.html

23 サンプル Job Flow 実行実行する Job Flow CloudFront HTTP Log Analyzer CloudFront で生成されたアクセスログを集計するデータ Input: HTTP ログ (CloudFront 形式 : 〇〇 GB) Output の一部 5 分毎のリクエスト数ヒストグラム (1.9KB) 5 分毎のレスポンスコード別のリクエスト数 (4.5KB) エッジロケーション毎の転送バイト数合計 (195byte) IP アドレス毎のリクエスト数 (215byte) IP アドレス毎のレスポンスコード別リクエスト数 (546byte) IP アドレス毎の転送バイト数 (268byte)

24 サンプル Job Flow 実行手順確認項目コンソールの振る舞い確認各 IFでのログの出力内容確認 CloudWatchでのメトリクス確認 Hadoop UIでのタスク進捗確認可変パラメータ Enable Debugging:Yes/Noで得られるログの違いを確認インスタンス数タイプ : 負荷処理速度の違いを見てみる

25 Hadoop UI 閲覧方法 EMR の JobTracker と NameNode マスタノード上でローカルからのみ閲覧可能閲覧方法マスタノード上でテキストブラウザ Lynx を使う # linux (JobTracker) # linux (NameNode) SSH トンネリングを使う SSH トンネリング + プロキシを使うブラウザアドオン FoxyProxy を利用 Ssh/Putty 等でトンネリング

26 Putty での SSH トンネリング ( その 1) SSH 接続時にトンネリングを設定 Connection->SSH- >Tunnles Source Port に 8157 を指定し ADD を押下 Forwarded Port に D8157 が表示されていることを確認ユーザ名 hadoop でマスターノードにログイン

27 Putty での SSH トンネリング ( その 2) FoxyProxy をインストール Firefox に FoxyProxy Standard 3.4 をインストール FoxyProxy 設定 Tool -> FoxyProxy Standard Add New Proxy を押下以下の設定を行う手動プロキシ設定 : チェック Host or IP Address :localhost ポート :8157 (Putty で設定した値をあわせる ) SOCKS プロキシ : チェック SOCKS v5 : チェックプロキシパターン : *compute.amazonaws.com* 接続 Firefox にて以下の URL にアクセス

AWS Deck Template

AWS Deck Template はじめての Elastic Beanstalk Amazon Data Services Japan Elastic Beanstalk とは AWS 上のベストプラクティス構成を自動作成コードをデプロイするだけで Web アプリケーションを開始 Instance WAR deploy! Elastic Load Balancer Amazon RDS Instance CloudWatch Auto