Amazon EC2 Innovation at Scale - 革新を続けるハイパースケール EC2 サービスの最新情報を EC2 サービス責任者がご紹介

Size: px

Start display at page:

Download "Amazon EC2 Innovation at Scale - 革新を続けるハイパースケール EC2 サービスの最新情報を EC2 サービス責任者がご紹介"

まなあいきょう
5 years ago
Views:

EC2 Innovation at Scale Raj Pai, Director of Product Management, EC2 June 2,

2 Amazon Elastic Compute Cloud(EC2) - クラウドの伸縮自在な仮想サーバーゲスト 1 ゲスト 2 ゲスト n ハイパーバイザーホストサーバー AWS のグローバルリージョンの物理サーバー

3 10 年前の Amazon EC2... シングルインスタンスファミリ / サイズ m1.small(1 個の vcpu 1.7GiB の RAM 160GB のストレージ ) Linuxのみオンデマンド料金のみ

4 あれから 10 年 M4 は 64 個の vcpu 256GB の RAM 当初の m1.small と比べて vcpu は 64 倍 RAM は 150 倍! それに加えて... インスタンスの選択肢をさらに追加リザーブドインスタンスとスポットインスタンス OS とアプリケーションのサポート Amazon Elastic Block Store(EBS) Elastic IP アドレス Amazon VPC Auto Scaling Elastic Load Balancing パフォーマンスセキュリティ管理可能性スケーラビリティの改善 Amazon ECS Lambda Amazon Machine Learning 他にもいろいろ

5 EC2 インスタンス数の増加 60+ インスタンスのイノベーションを加速させることで顧客の選択の幅を広げている

6 現在の EC2 インスタンスの特徴 CPU メモリストレージ GPU 拡張ネットワーキング

7 コンピュートイノベーション EC2 の Elastic GPU Lightsail T2 M4 D2 R4 X1 I3 C5 G2 P2 F1 Simple VPS Burstable Dense storage Large memory Compute intensive General Purpose General Purpose Memory intensive High I/O Graphics intensive GPU FPGAs

EC2 インスタンスイノベーション : コンピュート最適化大量の演算を行うワークロードに最適トラフィック量の多いフロントエンド群 MMO ゲーミングメディア処理トランスコーディング HPC(High Performance Computing) アプリケーション C5 次世代のコンピュート最適化インスタンス ( まもなく登場!

8 EC2 インスタンスイノベーション : コンピュート最適化大量の演算を行うワークロードに最適トラフィック量の多いフロントエンド群 MMO ゲーミングメディア処理トランスコーディング HPC(High Performance Computing) アプリケーション C5 次世代のコンピュート最適化インスタンス ( まもなく登場!) 最新の Intel Skylake プロセッサ新しい高度なベクトル拡張命令セットである AVX-512 をサポートピークパフォーマンス (AVX2) ではクロックサイクルあたりの FLOPS が最大で 2 倍最大サイズ c5.18xl では 72 個の vcpu 144GiB のメモリ 20Gbps の専用ネットワーク帯域幅

9 EC2 インスタンスイノベーション : メモリーの最適化 R 年 12 月出荷 GiB と vcpu の比率は 8:1 より大きな新しいインスタンスのサイズ (r4.16xl) 64 vcpu RAM 488 GiB Intel E5 v4 Broadwell プロセッサ (AVX2) TSX 改良された高性能メモリ DDR4 メモリネットワーク帯域最大 20 Gbps X1 GiB あたりメモリ最大価格は最安値 GiB と vcpu の比率は 16:1 2TB RAM/128 vcpu 1TB RAM/64 vcpu Intel E7 v3 Haswell 4-socket CPU ( より高速な QPI 速度 ) SAP HANA インメモリデータベース / アナリティクスシミュレーションレンダリング今年後半 : X1E インスタンス 4 TB の RAM 2018 年までのロードマップ : 8TB と 16TB のメモリインスタンス!

10 EC2 インスタンスイノベーション : ストレージ最適化インスタンス I 年 2 月に登場した次世代の High I/O インスタンス Intel E5 v4 Broadwell プロセッサ (AVX2 TSX) VME(Non-Volatile Memory Express) ベースの SSD ランダムリードは最大 330 万 IOPS シーケンシャルリードのトータルスループットは 16GB/s 1 475GB の NVME SSD を搭載した i3.large から 8 1.9TB の NVME SSD を搭載した i3.16xlarge までサイズは 6 種類トランザクション対応のワークロードハイパフォーマンスデータベースリアルタイム分析 NoSQL データベースに最適 I2 に比べて IOPS が 9 倍ストレージが 2.3 倍メモリが 2 倍 vcpu が 2 倍!

11 EC2 インスタンスイノベーション : バースタブルインスタンス T2 バースタブルパフォーマンスインスタンスはベースラインレベルの CPU パフォーマンスを提供する一方でベースラインを超える需要にも対応できる機能を提供 t2.xlarge と t2.2xlarge は 2016 年 12 月から提供開始最大 8 個の vcpu と 32GiB のメモリ開発環境データベースアプリケーションサーバー Web サーバーに最適 T2.nano T2.micro T2.small T2.medium T2.large T2.xlarge T2.xlarge 0.5GiB 1 GiB 2 GiB 4 GiB 8 GiB 2X memory 16 GiB 4X memory 32 GiB 1 vcpu 1 vcpu 1 vcpu 2 vcpu 2 vcpu 4 vcpu 8 vcpu

12 大量の演算を実行するワークロード CPU でのスケーリングバッチジョブ : スポットインスタンスもっとうまく行うことは可能? ワークロードによっては事実上 CPU だけで実行することは不可能 - 数週間かかる実行時の遅延の削減パフォーマンスとコスト最適化

13 ハードウェアアクセラレーションとは何か? 一部の機能を CPU で実行されるソフトウェアよりも効率よく実行するための特別なハードウェア ( ハードウェアアクセラレータ ) を使用 GPU FPGA Custom Accelerator

14 ハードウェアアクセラレーションとは何か? CPU がスイスアーミーナイフのようなものだとすれば... ハードウェアアクセラレータはエッグスライサーのようなもの

をさまざまな EC2 インスタンスにアタッチすることで最適なパフォーマンスを実現

15 グラフィックアクセラレーション Elastic GPU - プレビュー Amazon EC2 インスタンスに安価なグラフィックアクセラレーションをネットワーク経由で追加することが可能幅広いサイズ展開 GPU をさまざまな EC2 インスタンスにアタッチすることで最適なパフォーマンスを実現どのようなグラフィックスアプリケーションでも実行できる自信につながる OpenGL への準拠 G P U メモリ 1 G i B 現世代の E C 2 インスタンス 2 G i B 4 G i B 8 G i B

16 GPU による高速コンピューティングユビキタス高度なデータ並列処理浮動小数点演算の割合が高い一貫性の高い優れたAPIドキュメント (CUDA OpenGL) 幅広いISVとオープンソースフレームワークによるサポート

GPU コンピュートインスタンス P2 GPGPU インスタンスと Deep Learning AMI - 9 月から提供 16 個の NVIDIA Tesla K80 GPU と 192GB の GPU メモリ完全な GPUDirect P2P 機能 40,000 個の CUDA コア 70TFLOPS の単精度浮動小数点演算性能 23TFLOPS を超える倍精度浮動小数点演算性能機械学習

17 GPU コンピュートインスタンス P2 GPGPU インスタンスと Deep Learning AMI - 9 月から提供 16 個の NVIDIA Tesla K80 GPU と 192GB の GPU メモリ完全な GPUDirect P2P 機能 40,000 個の CUDA コア 70TFLOPS の単精度浮動小数点演算性能 23TFLOPS を超える倍精度浮動小数点演算性能機械学習数値流体力学金融工学地震解析分子モデル構築ゲノミクスレンダリングのための並列処理を実現次世代の GPGPU インスタンス NVIDIA と AWS はクラウドでの GPU アクセラレーションを最適化するために数年前から緊密な共同作業を行っており NVIDIA Volta GPU のローンチパートナーになることをとても楽しみにしている NVIDIA と AWS の次の GPGPU インスタンスファミリは今年後半に Volta の提供が開始された時点で Volta ベースとなる

18 FPGA による高速コンピューティング特別なアルゴリズムのためのカスタムハードウェア標準以外のデータ構造のサポートフィールドリプログラマビリティに基づくより容易なメンテナンスデータフロープログラミングスレッド間の依存性が高いアプリケーション向き大きなローカルメモリと高いメモリ帯域幅を提供コスト効率

Amazon FPGA Image と F1 インスタンス F1 は顧客によるプログラミングが可能なアプリケーションアクセラレーションのための FPGA

インスタンスから高性能な FPGA への専用アクセスにより最大 30 倍までアプリケーションを高速化 HDK(Hardware Developer

イノベーションを提供トランスコーディング金融リスクモデリングゲノム解析ビッグデータ処理大規模なシミュレーションを含め

19 Amazon FPGA Image と F1 インスタンス F1 は顧客によるプログラミングが可能なアプリケーションアクセラレーションのための FPGA ハードウェアを初めて搭載したコンピュートインスタンス FPGA イノベーションの開発とデプロイを容易にする Amazon FPGA Image F1 インスタンスから高性能な FPGA への専用アクセスにより最大 30 倍までアプリケーションを高速化 HDK(Hardware Developer Kit) と開発者 AMI により開発時間を大幅に短縮 AWS Marketplace との統合により 100 万人以上の顧客に FPGA イノベーションを提供トランスコーディング金融リスクモデリングゲノム解析ビッグデータ処理大規模なシミュレーションを含めパイプライン段数が多いデータフローアプリケーションに最適コードの開発シミュレーションデバッグコンパイル F P G A イメージとしてパッケージ化 F1 インスタンスカスタムロジックを F P G A で実行

インスタンスの拡張機能 : ネットワーク機能 Elastic Network Adapter(ENA) X1 と新世代のインスタンスで提供スケーラビリティの改善高いスループットと pps(packet per second) パフォーマンス一貫した低遅延を目的として Amazon によって構築されたカスタムネットワークドライバネットワークパフォーマンスの改善 IPv6

20 インスタンスの拡張機能 : ネットワーク機能 Elastic Network Adapter(ENA) X1 と新世代のインスタンスで提供スケーラビリティの改善高いスループットと pps(packet per second) パフォーマンス一貫した低遅延を目的として Amazon によって構築されたカスタムネットワークドライバネットワークパフォーマンスの改善 IPv6 より大きなインスタンスでのスループット X1 P2 M4 R4 I3 C5 では 20Gbps より小さなインスタンスでのスループットより小さなインスタンス (R4 I3 C5 およびその他のインスタンス ) でのピーク帯域幅は 10Gbps PC に IPv6 CIDR ブロックを関連付けることで VPC の EC2 インスタンスで IPv6 アドレスを使用することが可能

21 インスタンスの拡張機能 :EBS ストレージ新しいスループット最適化 HDD ボリューム ST1 最大スループットは500MB/s ベースラインは40MB/s($0.045/GB) SC1 最大スループットは250MB/s ベースラインは12MB/s($0.025/GB) パフォーマンスの改善 PIOPS IOPS と GB の比率を 30:1 から 50:1 に改善 EBS の暗号化とカスタムキー AWSのリージョンおよびアカウントの間で暗号化されたスナップショットをコピー暗号化されたブートボリューム

22 EC2 のコストを最適化

23 Amazon EC2 の購入オプションオンデマンドコンピュートキャパシティを時間単位で支払い長期契約なしスパイキーなワークロードにまたはニーズを定義するためにリザーブド契約期間は 1 年または 3 年オンデマンドと比べて大幅な割引確定済みのワークロードにまたはベースラインでの使用にスポット未使用のコンピュートキャパシティに対して市場価格で支払いオンデマンドと比べてかなり割引フォールトトレラントなワークロード時間的に余裕のあるワークロードまたは一過性のワークロードに

24 EC2 オンデマンドインスタンスの料金低コストで柔軟開発とテスト短期間スパイキー予測不能

25 EC2 リザーブドインスタンスの料金定常的 New 必要に応じてキャパシティを予約前払いによるコスト削減

26 リザーブドインスタンスの概要ニーズに最適な RI オプションを決定節約の可能性インスタンスファミリ OS テナンシーの変更リース期間スタンダード最大 75% なし 1 年または3 年コンバーティブル最大 66% あり 3 年のみ AZ インスタンスサイズ (Linux) ネットワークタイプの変更支払いあり前払いなし一部前払い全額前払いあり前払いなし一部前払い全額前払いリージョンに関する特典ありあり

27 コンバーティブルリザーブドインスタンス (RI) コンバーティブルリザーブドインスタンスでは以下が可能 : 新しいインスタンスファミリに交換 : R3 C3 T2 M4など新しいインスタンス料金に交換 : AWSがインスタンスの定価を値下げした場合新しいOSに交換 : WindowsからLinuxへの交換など新しいインスタンスサイズに交換テナンシーを交換 : ハードウェア占有 (dedicated) インスタンスからデフォルトへの交換など別の支払いオプションに交換 : 前払いなしから一部前払いへの交換など

28 リージョンに関する特典の概要キャパシティ予約の特典? AZ 間の自動的な割引? インスタンスサイズ間の自動的な割引? RI Marketplace での販売? ゾーナルありなしなしありリージョナルなしありありなし

29 EC2 スポットインスタンスの料金時間またはインスタンスが柔軟コスト重視のビジネスを実験または構築緊急性の高いコンピューティングニーズを持つまたは追加のキャパシティを大量に必要としているユーザー

30 スポットインスタンスの詳細オプションインスタンスの可用性を維持するためのスポットフリート継続的に実行しなければならないワークロードに対するスポットブロックの継続期間 (1~6 時間 ) コミットレベルなし * 特定の EC2 インスタンスタイプリージョン AZ に基づくオンデマンド価格との比較

31 スポットインスタンスのルールコンピュートの市場価格は需要と供給に基づいて変動入札価格を超える支払いは発生しないオンデマンドの 50% で入札オンデマンドの 75% で入札オンデマンドの 25% で入札市場価格の 85% 割引で支払い!

32 購入モデルを組み合わせて使用 /Spot 1. 既知の定常的なワークロードにはリザーブドインスタンスを使用 2. 複数の Auto Scaling グループをセットアップオンデマンドスポットリザーブド 3. スポットオンデマンドまたは両方を使ってスケーリング

33 単純なワークロードの要件はたいてい単純 Web サイトブログ開発環境プロトタイピングビルドサーバー

34 : AWS での取り組みを開始するための最も簡単な方法 VPS(Virtual Private Server) 永続ストレージネットワーキング

35 事前に設定されたインスタンスイメージを選択オペレーティングシステムアプリケーション開発スタック

36 VPS インスタンスをワンクリックで起動 Go! VM を起動 SSD ストレージをアタッチ IAM を管理内部の処理セキュリティグループを作成 SSH キーを管理

37 必要なものをどれでも予測可能な低価格で

38 使いやすいインターフェイス

39 世界中をライトセイリング!

40 まとめ AWS のインスタンスロードマップを決定するのは顧客 AWS は実行すべき顧客のジョブとパフォーマンスの定義を理解しているこの作業をより効果的に行うために新しいハードウェアとソフトウェアを調査しているパフォーマンスの改善を可能にする次世代のインスタンスと顧客の新しいニーズを解決するための新しいインスタンスファミリとインスタンス機能を提供する AWS では新しいインスタンス機能コンピュートモデルを使ってすべてのワークロードをカバーするためにコンピュートサービスのイノベーションに取り組んでいる

PowerPoint Presentation

PowerPoint Presentation グローバルバンクにおける最新クラウド活用事例 AWS で実現するハイパフォーマンスコンピューティング Pawan Agnihotri Global Financial Services Solutions Architect 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 金融サービスにおけるリスク管理