HPC on Azure

Size: px

Start display at page:

Download "HPC on Azure"

あおいあかさか
5 years ago
Views:

1 HPC on Azure 1

2 アジェンダ Microsoft Azure のご紹介 Microsoft Azure における HPC HPC 運用モデル HPC 向けインスタンス Microsoft Azure を用いた HPC 利用シナリオ Azure が提供するサービスを利用した共同研究を加速させるシナリオ HPC 関連のドキュメント

3 Microsoft Azure のご紹介

4 (2017年 11月 27日現在) 世界最大のインフラストラクチャー 36 の地域でサービス中 42 の地域まで拡大予定 100カ所以上のデータセンター AWS の 2 倍 Google 6 倍の地域サポート米国国防総省 (US DoD) も採用稼働中アナウンス済み / 構築中 4

5 マイクロソフトのネットワークは世界第 2 位の規模 (上にいるのは米国政府のネットワークのみ)

6 The Azure Platform Platform Services Security & Management Portal Cloud Services Service Fabric Web Apps API Apps SQL Database Data Warehouse DocumentDB Hybrid Operations Azure AD Health Monitoring Azure Active Directory Azure AD B2C Batch RemoteApp Mobile Apps Logic Apps Redis Cache Azure Search Storage Tables AD Privileged Identity Management Domain Services Multi-Factor Authentication Automation Storage Queues BizTalk Services API Management Notification Hubs Backup Scheduler Hybrid Connections Service Bus HDInsight Machine Learning Stream Analytics Data Lake Operational Analytics Key Vault Visual Studio Azure SDK Data Factory Event Hubs Data Catalog Import/Export Store/ Marketplace VM Image Gallery & VM Depot Media Services Content Delivery Network (CDN) VS Online App Insights Infrastructure Services IoT Hub Mobile Engagement Azure Site Recovery StorSimple

7 Microsoft Azure における HPC 7

8 Azure における HPC 関連テクノロジースタック HPC テクノロジースタック Azure N series VMs Third Party ISV s Azure VMs 8

9 アプリケーション Intersect (Schlumberger) NAMD LS-DYNA FLUENT STAR-CCM+ RADIOSS ACU-SOLVE OPENFOAM PAM-CRASH LANDMARK (Halliburton) ABAQUS MSC NASTRAN OPTISTRUCT 推奨スケジューラー PBS-PRO/COMPUTE MANAGER HPC-PACK サポートする MPI Intel MPI, Platform MPI MS-MPI on Windows 並列ファイルシステム Intel Lustre サポートする OS SLES 12 SP1, CENTOS 6.5, 7.1 & RedHat, WINDOWS SERVER 2012, R2, 2008 R2, etc. 9

10 HPC ジョブ実行をサポートするテクノロジーハイパフォーマンス VM ノード間通信が重要なワークロードに対応したハイパフォーマンス高バンド幅低レイテンシのネットワーク (RDMA(InfiniBand) ネットワーク ) 付の VM ノード間の通信が必要ない or 非常に少ないワークロードの向けの高クロックのハイパフォーマンスな VM (RDMA(InfiniBand) ネットワークなし ) 共有ストレージ Lustre や NFS による並列ファイルシステム Vnet( 仮想ネットワーク ) のセットアップオンプレミス環境への接続性のため IP レンジの制御を設定スケジューラー複数ユーザがクラウドの HPC サービスを利用する場合に有効 10

11 HPC/ビッグコンピュートの3つのカテゴリー HPC/シミュレーション可視化ディープラーニング

12 HPC on Azure の発展より大規模なクラスター対応 2016/12 GPU 付き N シリーズリリース 2016/9 新 H シリーズリリース Ethernet ネットワークの高速化 (SR- IOV) 25Gbps 複数の MPI 対応 2012 クラウドコンピューティング 2014 Windows HPC on Azure 2015/7 Linux RDMA (InfiniBand) on Azure 時間

13 マイクロソフトのパートナーシップ Hardware & Software Infrastructure Big Compute Marketplace Certified Applications Visualization

14 Azure インスタンスラインナップ A D Dv2 G F A0-7: 低価格汎用 A8-11: HPC 向け SSD 搭載 D シリーズ 2 CPU 進化大容量メモリ SSD 搭載高 CPU 低メモリ計算用途 NC NV H ND NCv2 NVIDIA GPU K80 計算用途 InfiniBand 搭載 (NC24r) NVIDIA GPU M60 搭載可視化用途最速 CPU InfiniBand FDR 搭載 NVIDIA P40 搭載 Deep Learning InfiniBand 搭載 (ND24rs) NVIDIA P100 搭載計算用途 InfiniBand 搭載 (NCv2 24rs) 14

15 Marketplace 上の HPC ソリューション

16 簡易にクラスターをデプロイする Azure テンプレート

17 HPC 運用モデル 17

18 フルクラウドモデルヘッドノード + 計算ノード on Azure 18

19 フルクラウドモデルの構成イメージ 19

20 ハイブリッドモデル計算ノード on Azure Scheduler ヘッドノード + 計算ノード 20

21 ハイブリッドモデルの構成イメージ 21

22 HPC 向けインスタンス 22

23 HPC v2 インスタンス : H シリーズスペック H16r H16mr H8 H8m H16 H16m コア数 CPU メモリ標準データディスクフロントネットワークバックエンドネットワークリージョン DDR GB 2.0 TB SSD DDR GB Xeon E v3 3.2 GHz - Haswell DDR 4 56 GB DDR GB DDR GB DDR GB 2.0 TB SSD 1.0 TB SSD 1.0 TB SSD 2.0 TB SSD 2.0 TB SSD FDR InfiniBand with RDMA 40G bps Ethernet N/A 米国東部西部中北部中南部北ヨーロッパ西ヨーロッパ東日本など

計算用途 GPU インスタンス : NC シリーズスペック NC6 NC12 NC24 NC24r コア数 6 12 24 24 CPU GPU 1 x K80 GPU 1/2 物理カード Xeon

112 GB 224 GB 224 GB 標準データディスクフロントエンドネットワークバックエンドネットワーク 380GB SSD 680GB SSD 1.44 TB SSD 1.

24 計算用途 GPU インスタンス : NC シリーズスペック NC6 NC12 NC24 NC24r コア数 CPU GPU 1 x K80 GPU 1/2 物理カード Xeon E v3 - Haswell 2 x K80 GPU (1 物理カード ) 4 x K80 GPU (2 物理カード ) 4 x K80 GPU (2 物理カード ) メモリ 56 GB 112 GB 224 GB 224 GB 標準データディスクフロントエンドネットワークバックエンドネットワーク 380GB SSD 680GB SSD 1.44 TB SSD 1.44 TB SSD N/A Azure Network FDR InfiniBand with RDMA 価格円 /hour 円 /hour 円 /hour 円 /hour

可視化用GPUインスタンス: NVシリーズスペック NV6 NV12 NV24 コア数 6 12 24 CPU Xeon E5-2690 v3 - Haswell GPU

25 可視化用GPUインスタンス: NVシリーズスペック NV6 NV12 NV24 コア数 CPU Xeon E v3 - Haswell GPU 1 x M60 GPU (1/2 物理カード) 2 x M60 GPU (1 物理カード) 4 x M60 GPU (2 物理カード) メモリ 56 GB 112 GB 224 GB 標準データディスク 380GB SSD 680GB SSD 1.44 TB SSD ネットワーク Azure Network Azure Network Azure Network 価格円/hour 円/hour 円/hour GRIDライセンス GRIDライセンス込 GRIDライセンス込込

26 Tesla P100を採用: NCv2シリーズスペック NC6 v2 NC12 v2 NC24 v2 NC24r v2 コア数 GPU 1 x P100 GPU 2 x P100 GPU 4 x P100 GPU 4 x P100 GPU メモリ 112 GiB 224 GiB 448 GiB 448 GiB 標準データディスク 336GiB 672GiB 1344GiB 1344GiB フロントエンドネットワーク Azure Network バックエンドネットワーク価格 FDR InfiniBand with RDMA N/A /hour /hour /hour /hour P100でNC シリーズの 2 倍以上の計算性能 26

27 TeslaP40を採用: NDシリーズスペック ND6 ND12 ND24 ND24r コア数 GPU 1 x P40 GPU 2 x P40 GPU 4 x P40 GPU 4 x P40 GPU メモリ 112 GiB 224 GiB 448 GiB 448 GiB 標準データディスク 336GiB 672GiB 1344GiB 1344GiB フロントエンドネットワーク Azure Network バックエンドネットワーク価格 FDR InfiniBand with RDMA N/A /hour /hour /hour /hour AI やディープラーニングのワークロードで必要とされる設計に特化した GPU ファミリ 27

28 Benchmark on Azure

29 LINPACK ベンチマーク Azure がベストパフォーマンスを記録 Comparative benchmarking of cloud computing vendors with High Performance Linpack Mohammad Mohammadi, Timur Bazhirov, Exabyte Inc. Azure A9, H16がトップライン Azure H16がトップライン

30 Microsoft Azure を用いた HPC 利用シナリオ 30

CONSUME クラウド上でプロジェクト作業すべてが完結する共同研究をより効率化

計算結果の共有 HPC 向け VM を利用し並列計算 Compute データの集約 Storage /

road 作業端末の高機能化 Main office モバイル利用 Satellite office

31 CONSUME クラウド上でプロジェクト作業すべてが完結する共同研究をより効率化 Collaboration 共同研究者との連携 Collaboration Researcher 計算結果の共有 HPC 向け VM を利用し並列計算 Compute データの集約 Storage / Workspace Workstations データ転送がなくなることによる時間の短縮高性能 GPU を利用した HPC 計算結果の可視化海外の研究者との共同研究では Azure の専用回線を用いたデータ転送最寄りのデータセンタを利用し快適に作業共同研究者との連携 On the road 作業端末の高機能化 Main office モバイル利用 Satellite office CREATE 高価な WorkStation が必要なくなる ( コスト削減 ) Source: Alex Herrera, Jon Peddie Research

32 HPC 関連のドキュメント 32

33 HPC/ビッグコンピュート関連リソース MPI アプリケーションを実行するように Linux RDMA クラスターを設定する 33

本書に記載した情報は本書各項目に関する発行日現在の Microsoft の見解を表明するものです Microsoft は絶えず変化する市場に対応しなければならないためここに記載した情報に対していかなる責務を負うものではなく提示された情報の信憑性については保証できません本書は情報提供のみを目的としています Microsoft は明示的または暗示的を問わず

34 本書に記載した情報は本書各項目に関する発行日現在の Microsoft の見解を表明するものです Microsoft は絶えず変化する市場に対応しなければならないためここに記載した情報に対していかなる責務を負うものではなく提示された情報の信憑性については保証できません本書は情報提供のみを目的としています Microsoft は明示的または暗示的を問わず本書にいかなる保証も与えるものではありませんすべての当該著作権法を遵守することはお客様の責務です Microsoft の書面による明確な許可なく本書の如何なる部分についても転載や検索システムへの格納または挿入を行うことはどのような形式または手段 ( 電子的機械的複写レコーディングその他 ) および目的であっても禁じられていますこれらは著作権保護された権利を制限するものではありません Microsoft は本書の内容を保護する特許特許出願書商標著作権またはその他の知的財産権を保有する場合があります Microsoft から書面によるライセンス契約が明確に供給される場合を除いて本書の提供はこれらの特許商標著作権またはその他の知的財産へのライセンスを与えるものではありません 2015 Microsoft Corporation. All rights reserved. Microsoft, Windows, その他本文中に登場した各製品名は Microsoft Corporation の米国およびその他の国における登録商標または商標ですその他記載されている会社名および製品名は一般に各社の商標です 34

Microsoft Azure Microsoft Corporation Global Blackbelt Sales Japan OSS TSP Rio Fujita

Microsoft Azure Microsoft Corporation Global Blackbelt Sales Japan OSS TSP Rio Fujita Agenda Microsoft Azure Microsoft Azure Microsoft OSS 2 Microsoft Azure Promotion 3 https://azure.microsoft.com/ja-jp/free/