自己紹介名前 : 小川貴士 ( おがわたかし ) 所属 : アマゾンウェブサービスジャパンソリューションアーキテクト (CAE/HPC) 経歴 : SIerでCAE/HPCのインフラエンジニア出現場所 :CAE/HPC 系のイベントやユーザ会好きなAWSサービス :Amazon EC2 AWS B

Size: px

Start display at page:

Download "自己紹介名前 : 小川貴士 ( おがわたかし ) 所属 : アマゾンウェブサービスジャパンソリューションアーキテクト (CAE/HPC) 経歴 : SIerでCAE/HPCのインフラエンジニア出現場所 :CAE/HPC 系のイベントやユーザ会好きなAWSサービス :Amazon EC2 AWS B"

よいかずがうん
6 years ago
Views:

1 AWS Black Belt Online Seminar AWS Batch アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト小川貴士

2 自己紹介名前 : 小川貴士 ( おがわたかし ) 所属 : アマゾンウェブサービスジャパンソリューションアーキテクト (CAE/HPC) 経歴 : SIerでCAE/HPCのインフラエンジニア出現場所 :CAE/HPC 系のイベントやユーザ会好きなAWSサービス :Amazon EC2 AWS Batch 2

AWS Black Belt Online Seminar とは AWSJのTechメンバがAWSに関する様々な事を紹介するオンラインセミナーです火曜 12:00~13:00 主にAWSのソリューションや業界カットでの使いどころなどを紹介 (例 IoT 金融業界向け etc.

3 AWS Black Belt Online Seminar とは AWSJのTechメンバがAWSに関する様々な事を紹介するオンラインセミナーです火曜 12:00~13:00 主にAWSのソリューションや業界カットでの使いどころなどを紹介 (例 IoT 金融業界向け etc.) 水曜 18:00~19:00 主にAWSサービスの紹介やアップデートの解説 (例 EC2 RDS Lambda etc.) 開催曜日と時間帯は変更となる場合がございます最新の情報は下記をご確認下さいオンラインセミナーのスケジュール&申し込みサイト 3

4 AWS Black Belt Online Seminar へようこそ! 質問を投げることができます! Adobe Connect の Q&A ウィンドウから質問を書き込んでください ( 書き込んだ質問は主催者にしか見えません ) 今後のロードマップに関するご質問はお答えできませんのでご了承ください Twitter へツイートする際はハッシュタグ #awsblackbelt をご利用ください 1Q&A ウィンドウ右下のフォームに質問を書き込んでください 2 吹き出しマークで送信してください 4

5 内容についての注意点本資料では 2017 年 2 月 8 日時点のサービス内容および価格についてご説明しています最新の情報は AWS 公式ウェブサイト ( にてご確認ください資料作成には十分注意しておりますが資料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合 AWS 公式ウェブサイトの価格を優先とさせていただきます価格は税抜表記となっています日本居住者のお客様が東京リージョンを使用する場合別途消費税をご請求させていただきます AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided. 5

6 目次 AWS Batchとはバッチコンピューティングについて AWS Batchの基礎利用シーンの例まとめ 6

7 目次 AWS Batchとはバッチコンピューティングについて AWS Batchの基礎利用シーンの例まとめ 7

com/jp/blogs/news/aws-batch-run-batch-computingjobs-on-aws/ https://aws.

8 AWS Batchの発表 AWS re:invent 2016 の Day2 Keynote (2016年12月1日) にて発表された新サービスプレビュー版の提供を経て 2017年1月5日に正式リリース (General Availability) 8

9 AWS Batchの概要フルマネージド型のバッチ処理実行サービス多量のバッチジョブ実行をクラスタの管理を行うことなしに容易に実現できるジョブとして登録したアプリケーションやコンテナイメージをスケジューラが実行利用するインスタンスタイプや数スポット利用有無などはCompute Environmentとして任意に指定可能スケジュール実行処理を依頼 AWS Batchで管理 9

10 AWS Batchの概要 AWS Batchの利用料金は無料起動したリソースについて課金される現在バージニアリージョンにて利用可能 10

似て非なるバッチジョブ管理システム俗に言うバッチジョブ管理システムは2つに大別される A)システム管理者が使用するジョブ管理システム夜間バッチのような予めジョブの起動や順序を定義しておいてジョブの実行管理をするシステム A) 毎日23:00起動 JobA 土曜00:00起動 JobD JobB JobC 類するミドルウェア Hinemos SOS JobScheduler etc.

11 似て非なるバッチジョブ管理システム俗に言うバッチジョブ管理システムは2つに大別される A)システム管理者が使用するジョブ管理システム夜間バッチのような予めジョブの起動や順序を定義しておいてジョブの実行管理をするシステム A) 毎日23:00起動 JobA 土曜00:00起動 JobD JobB JobC 類するミドルウェア Hinemos SOS JobScheduler etc. JobF JobE B)システム利用者が使用するジョブ管理システムユーザが任意に投入したジョブをキューイングしてリソース状況に合わせて効率良く実行するシステム類するミドルウェア SGE Torque OpenLAVA etc. B) コンピューティングノード群 JobB dispatch AWS Batchはこちらの種に属するセントラルマネージャ submit 11 AWS Batchは負荷の高いコンピューティングを効率的に行うためのサービス 5:00までに完了 JobA JobA dispatch キューイング submit JobB

12 目次 AWS Batchとはバッチコンピューティングについて AWS Batchの基礎利用シーンの例まとめ 12

13 昔はコンピュータリソースは高価で貴重だった CRAY-1:1976 世界で最初の商用スーパーコンピューター毎秒 1 億 6700 万回の演算速度当時の価格で $886 万 USD ( 内ストレージに $100 万 USD) 13 CRAY-1 on display in the hallways of the EPFL in Lausanne.

にあわせて順番に処理させて効率良く処理させることが可能になる処理 B 処理 A < ジョブスケジューラの処理 > ユーザが投入したジョブを待ち行列に貯める

14 バッチジョブスケジューラの役割り高価なスーパーコンピュータは多人数で共有して利用する多人数の重い処理を当時に処理するとリソース不足を招き非効率な状態に陥るバッチジョブスケジューラを用いることで複数の計算処理 ( ジョブ ) をコンピュータの資源 (CPU やメモリ搭載量 ) にあわせて順番に処理させて効率良く処理させることが可能になる処理 B 処理 A < ジョブスケジューラの処理 > ユーザが投入したジョブを待ち行列に貯める (queueing) 空いているコンピュータにジョブを割り当てて処理させる (dispatch) 空いているコンピュータが無い時はジョブを待ち行列で待機させコンピュータが空いた時点で dispatch し処理を開始させる処理 A 処理 B 14

15 クラウドにより変わる計算リソースの考え方従来は処理のピークに合わせてリソースを予め用意していたピーク時に賄えないリソースはジョブスケジューラにより処理するタイミングをずらして対応 Time クラウドの場合はその時に必要なリソースを立ち上げて処理を実行する 15 Time

16 多数のジョブを同時実行して処理時間を短縮できるコア数 16 コア数 1日 1週間従来は手持ちの限られたリソースで逐次処理していたジョブもクラウドであれば必要な台数インスタンスを起動して一斉処理 AWSのインスタンス費用は時間台数なのでどちらも同じ

17 バッチコンピューティング on AWS の事例は豊富 Media & Entertainment: Scientific Research: Healthcare & Life Sciences: Engineering and Design: Internet Companies: 17

18 バッチコンピューティング on AWSの具体例 HGST ドライブヘッド設計で数百万パターンに及ぶパラメータスタディ実行ピーク時70000以上のコアを同時利用従来1ヶ月かかる処理を8時間で完了 Fermilab AWS上に58000コアを伸縮自在に追加するシステムを構築 290万ジョブを処理し従来6週間かかるシミュレーションを10日で完了 NOVARTIS 万の化合物のスクリーニング実行ピーク時約90000コアを同時利用し39年分の計算処理を9時間で完了

19 オンプレミスのバッチコンピューティング環境従来のクラスタ構成は固定固定のリソースにジョブをスケジューリング 19 M オンプレミス環境

20 クラウドのバッチコンピューティング環境(理想型) クラウド環境従来のクラスタ構成は固定 M 固定のリソースにジョブをスケジューリング 20 M オンプレミス環境

21 クラウドのバッチコンピューティング環境(理想型) $ aws ec2 run-instances --image-id ami-5769f956 --key-name plc id_rsa --security-groups default --instance-type c4.8xlarge 従来のクラスタ構成は固定 M 固定のリソースにジョブをスケジューリング 21 M オンプレミス環境クラウド環境

22 クラウドのバッチコンピューティング環境(理想型) 従来のクラスタ構成は固定クラウド環境必要に応じて必要な台数でクラスタを構成ジョブをスケジューリング M 固定のリソースにジョブをスケジューリング 22 M オンプレミス環境

23 クラウドのバッチコンピューティング環境(理想型) クラウド環境従来のクラスタ構成は固定 M 固定のリソースにジョブをスケジューリング 23 M オンプレミス環境ジョブが終了したらインスタンスを終了課金停止

24 ただし仕組みを作るのは大変 AWS サービス : EC2 Spot Fleet Auto-Scaling SNS SQS CloudWatch AWS Lambda S3 DynamoDB API Gateway 24

25 Cfnclusterで楽になるが 1.Cfnclusterインストール 2.Cfncluster用コンフィグ設定 3.Cfnclusterコマンド実行(cfnテンプレートを自動生成してAWSに投入) クラスタ管理者テンプレート 4. 以下の様な環境が構築される Public subnet Master Node NFS Server Scheduler(Queue) Private subnet Compute Node NFS client ssh/scp クラスタ利用者 5. ユーザはマスターノードに接続してジョブを投入マスターノードの管理運用アプリケーションのセットアップ各種サービスの理解 etc. が必要 Auto Scaling group DynamoDB 計算ノードの管理に利用 25 待ちjob数に応じてautoscalingで Compute Nodeが自動で増減

26 AWS Batch の利点フルマネージドバッチ環境のためのソフトウェアやサーバの管理が不要各種 AWS サービスと統合 AWS の各種サービスと統合されている ECS, Autoscaling, S3, EFS などコスト最適な計算基盤 AWS Batch はサブミットされたジョブに必要な計算機リソースを自動で用意する Spot インスタンスも利用可能 AWS Batch 自体は無料 26

27 AWS Batch のアーキテクチャ概要事前に作成保存 Docker Image submit-job list-jobs describe-jobs cancel-jobs terminate-jobs JobQueue JobDefinition job ディスパッチ事前に定義 Compute Environment Autoscaling する ECS 環境データ読み書き ECR/Docker Registry S3/EFS/NFS 27

28 AWS Batchがもたらす環境完全に管理されたバッチコンピューティングの基本環境指定するのはアプリケーションスクリプト Linux実行可能ファイル Docker イメージとそのリソース要件本来の目的であるジョブの実行に専念できる 28

29 目次 AWS Batchとはバッチコンピューティングについて AWS Batchの基礎利用シーンの例まとめ 29

30 AWS Batch で設定する 4 つの定義 Jobs ( ジョブ ) Job Definitions ( ジョブ定義 ) Job Queues ( ジョブキュー ) Compute Environments ( コンピュート環境 ) 30

31 AWS Batchで設定する4つの定義 Jobs (ジョブ) Jobs(ジョブ)は Amazon EC2上で動作するコンテナ化されたアプリケーションとしてAWS Batchによって実行される作業単位コンテナイメージコマンドおよびパラメータを参照して処理を実行する各Jobsは必ず後述のJob Definitions(ジョブ定義)を参照する必要がありますが Job Definitionsに指定している多くのパラメータはオーバーライドが可能ジョブで指定する属性の一部は次のとおり雛形となる Job Definitions (詳細は次ページ) 実行先が示された Job Queues (詳細は次の次のページ) 実行するコマンド vcpuとメモリ要件 31 $ aws batch submit-job --job-name variant-calling --job-definition gatk --job-queue genomics

32 AWS Batchで設定する4つの定義 Job Definitions (ジョブ定義) Job Definitions(ジョブ定義)はジョブの雛形となるテンプレートのようなものでジョブの実行方法を定義する Job Definitionsで指定されている属性の一部は次のとおりジョブに関連付けるIAMロールコンテナイメージ実行するコマンド vcpuとメモリ要件ボリュームとマウントポイント環境変数 $ aws batch register-job-definition --job-definition-name gatk --container-properties... 32

33 AWS Batchで設定する4つの定義 Job Queues (ジョブキュー) Job Queues(ジョブキュー)は投入されたジョブの待ち行列となる場所 Jobが投入されると Job Queuesに送信されコンピューティングリソースにスケジュールすることができるまで待機するジョブキューで定義する属性は次のとおりジョブのプライオリティ (整数値=値が小さい方が優先度高) 実行先のCompute Environment (複数指定可詳細は次ページ) $ aws batch create-job-queue --job-queue-name genomics --priority compute-environment-order... 33

34 AWS Batchで設定する4つの定義 Compute Environment (コンピュート環境) Compute Environment(コンピュート環境)はjobが実行されるコンピューティング環境 Compute Environmentで定義する属性は次のとおりです IAM Role EC2 key pair Provisioning Model (オンデマンド or スポットインスタンスの選択) Instance type vcpu数 (最小/最大/希望の数) Networking (VPC/subnet/security group) EC2タグ 34

35 AWS Batch コンセプト(Compute Environmentの補足) Job Queuesはバッチジョブを実行するために使用する 1つ以上のCompute Environmentsにマッピングされる Compute environment typeがmanagedのものはリソース要件インスタンスタイプ最小/最大/希望vCPU およびスポット入札価格をオンデマンド価格に対してで指定を指定することができジョブのリクエスト状況によりリソースを立ち上げ拡張を行う Compute environment typeがunmanagedを指定することで Compute environmentとして独自のリソースを起動して管理することもできるインスタンスにはECSエージェントが含まれており LinuxおよびDockerのそれぞれサポートされているバージョンを実行する必要がある (詳細はECSのガイドを参照) 35

36 AWS Batch コンセプト(ジョブのスケジューリングについて) スケジューラは Job Queuesに送信されたJobをいつどこでどのように実行するかを評価するジョブは基本的にジョブが送信された順序で実行される (FIFO) 36

AWS Batch コンセプト(コンテナ環境) AWS BatchのコンピューティングリソースはAWSのコンテナ管理サー

AWSのマネージド型DockerコンテナレジストリであるAmazon EC2 Container

Amazon ECR ECS,ECR,Dockerを深く知ることで AWS Batchの理解も深まる 37

37 AWS Batch コンセプト(コンテナ環境) AWS BatchのコンピューティングリソースはAWSのコンテナ管理サービスであるAmazon EC2 Container Service(ECS)でありジョブはコンテナ上で実行されるアプリケーションはコンテナイメージを指定して呼び出す Docker Hubなどの公開レジストリから使いたいコンテナイメージをデプロイするか AWSのマネージド型DockerコンテナレジストリであるAmazon EC2 Container Registry(ECR)にイメージを保存デプロイしての利用がベースとなる AWS Batch Amazon ECS Amazon ECR ECS,ECR,Dockerを深く知ることで AWS Batchの理解も深まる 37 ECSの詳しくはECSのBlackBelt資料を参照ください

38 38 Getting started

39 操作イメージ ( ウィザード画面による初期構築とジョブ投入 ) バージニアリージョン選択 AWS Batch はコンピューティングのカテゴリにあります 39

40 操作イメージ ( ウィザード画面による初期構築とジョブ投入 ) 初めて利用する際はこの画面 Get started をクリック 40

41 操作イメージ ( ウィザード画面による初期構築とジョブ投入 ) Step1:Define job の画面コンテナイメージの指定 Linux コマンド群の実行イメージ busybox を指定左下の続きジョブ実行まで設定する場合はこちらジョブで実行するコマンド ( ここでは echo hello world) ジョブで使用する vcpu メモリの量を指定 Job definition 設定 41 右上に続く Next をクリックして次へ

42 操作イメージ ( ウィザード画面による初期構築とジョブ投入 ) Step2:Configure compute environment and job queue の画面左下の続きオンデマンドかスポットか選択使用するインスタンスタイプ選択 Compute environment の名前を指定要求する vcpu の最小 / 希望 / 最大数を指定 42 右上に続く次ページに続く

43 操作イメージ ( ウィザード画面による初期構築とジョブ投入 ) Step2:Configure compute environment and job queueの画面 ( 続き ) 左下の続きインスタンス起動先の VPC/ サブネットを指定 Job queue の名前を指定セキュリティグループ指定 43 右上に続く Create で構成開始

44 操作イメージ ( ウィザード画面による初期構築とジョブ投入 ) インスタンス起動先の VPC/ サブネットを指定数十秒でシステム構成からジョブ投入まで完了する Job queue の名前を指定セキュリティグループ指定 View dashboard でジョブの状態確認画面へ 44

45 操作イメージ ( ウィザード画面による初期構築とジョブ投入 ) Dashboard の画面でジョブの状態遷移が確認できる最終的にジョブは Failed か Succeed の状態で終了 45

46 操作イメージ ( 追加でジョブを投入してみる ) Jobs を選択 Submit job をクリック 46

47 操作イメージ ( 追加でジョブを投入してみる ) ジョブの名前を指定 Job definition, Job queue を選択実行するコマンドや CPU メモリ要件を変えたい場合は編集 Submit job でジョブ投入 47

48 操作イメージ ( ジョブの状態確認 ) ジョブの状態遷移は Dashboard の他 Jobs の画面でも確認可能 Dashboard 画面 Jobs 画面選択した状態のジョブが表示される 48

49 操作イメージ ( ジョブの状態確認 ) ジョブの詳細情報は Jobs 画面で該当のジョブをクリックして表示 49 詳細を見たいジョブ名をクリックすると詳細がポップアップ表示される

50 操作イメージ ( ジョブの標準出力確認 ) ジョブの標準出力は CloudWatch に出力される CloudWatch はマネジメントコンソールの管理ツールカテゴリにあります 50 ログを選択して /aws/batch/job を選択

51 操作イメージ ( ジョブの標準出力確認 ) 確認したいログストリームをクリック ( 先頭が Job name になっているので判別できます ) 今回実行した hello world の出力が確認できます 51

52 操作イメージ(その他の状態確認) Compute environmentで指定したインスタンスの状態は ECSならびに EC2の管理画面から確認が可能 EC2管理画面 ECS管理画面 52

53 目次 AWS Batchとはバッチコンピューティングについて AWS Batchの基礎利用シーンの例まとめ 53

54 54 遺伝子情報解析

55 55 創薬のバーチャルスクリーニング

56 56 メディア変換

57 57 アニメーションレンダリング

58 58 金融取引の分析

59 目次 AWS Batchとはバッチコンピューティングについて AWS Batchの基礎利用シーンの例まとめ 59

60 まとめ AWS Batch により自動でスケールイン / アウトするバッチコンピューティング環境が容易に構成できるバッチコンピューティングを行なっている様々なシーンに適用できる AWS の他のサービスとの連携や API による自動化も行える 60

参考資料製品のホームページ ( 日本語 ) https://aws.amazon.

61 参考資料製品のホームページ ( 日本語 ) ドキュメント ( 英語 ) 61

62 62 Q&A

オンラインセミナー資料の配置場所 AWS クラウドサービス活用資料集 http://aws.amazon.

63 オンラインセミナー資料の配置場所 AWS クラウドサービス活用資料集 AWS Solutions Architect ブログ最新の情報セミナー中のQ&A等が掲載されています 63

64 公式 Twitter/Facebook AWS 検索もしくは最新技術情報イベント情報お役立ち情報お得なキャンペーン情報などを日々更新しています! 64

65 AWS の導入お問い合わせのご相談 AWS クラウド導入に関するご質問お見積り資料請求をご希望のお客様は以下のリンクよりお気軽にご相談ください AWS 問い合わせで検索してください 65

18:00-19:00 Amazon EC2 Systems Manager 2月28日(火) 12:00-13:00

66 AWS Black Belt Online Seminar 2月の配信予定 2月1日(水) 18:00-19:00 AWS OpsWorks 2月8日(水) 18:00-19:00 AWS Batch 2月9日(木) 12:00-13:00 Docker on AWS 2月22日(水) 18:00-19:00 Amazon EC2 Systems Manager 2月28日(火) 12:00-13:00 IoT向け最新アーキテクチャパターン申し込みサイト (もしくは AWS イベントで検索) 66

67 簡単なアンケートにご協力ください画面に表示されるアンケートフォームに入力をお願いします皆様のご意見は今後の改善活動に活用させて頂きますコメント欄には 1 行で自由な内容を書き込み下さい例 ) - 本オンラインセミナーへのご意見 - 今後オンラインセミナーで取り上げて欲しい題材 - 発表者への激励等々 Q&A 同様に書き込んだ内容は主催者にしか見えません 67

68 68 ご参加ありがとうございました

69 69

Presentation Title Here

Presentation Title Here AWS Black Belt Online Seminar Amazon Pinpoint 2017.04.26 アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト清水崇之 0 自己紹介清水崇之ソリューションアーキテクト ( 西日本担当 ) 大阪から沖縄まで西日本のお客様にもプライム対応で参上します AWS 芸人 ( 詳しくは https://www.slideshare.net/shimy_net/)