PowerPoint プレゼンテーション

Size: px

Start display at page:

Download "PowerPoint プレゼンテーション"

なぎさあいしま
5 years ago
Views:

1 Amazon EBS パフォーマンスベンチマーク 2015 アマゾンデータサービスジャパン株式会社小林正人 (Kobayashi Masato)

2 Gold Sponsors Global Sponsors Silver Sponsors

3 Bronze Sponsors Global Tech Sponsors Logo Sponsors

4 ハッシュタグ #AWSSummit で皆さんのツイートが展示エリアの大画面に表示されますをフォローするとロゴ入りコースターをプレゼントコースター配布場所メイン展示会場メイン会場 1F 受付デベロッパーカンファレンス会場

5 自己紹介小林正人 ( こばやしまさと ) エンタープライズソリューション部ソリューションアーキテクト主に大企業のお客様を担当しいわゆる社内 IT のみならず幅広い分野でお客様をご支援 AWS ブログ週刊 AWS の和訳もやってます好きな AWS のサービス :EBS

6 アジェンダ Amazon EBSについてのおさらい EBSのパフォーマンスを律速する要素ベンチマークに見るEBSのパフォーマンス特性典型的な構成例まとめ

7 Amazon EBS(Elastic Block Store) についてのおさらい

8 Amazon Elastic Block Store(EBS) EC2 インスタンスにアタッチして使用するブロックレベルのストレージサービス OS やアプリケーションデータの置き場所など様々な用途で利用される Snapshot 機能によるバックアップやディスクの暗号化機能を提供 % の可用性を備えるように設計されている EC2 EBS 製品紹介ページ :

9 EBS の特徴容量は 1GB 単位で指定できる最大 16TB( マグネティックは 1TB まで ) アベイラビリティゾーン (AZ) 毎に独立しているため同一 AZ のインスタンスからのみ利用可能 Snapshot から任意の AZ に復元できる EC2 インスタンスに複数の EBS を接続することはできるが現時点で EBS を複数のインスタンスで共有することはできない

10 アーキテクチャボリュームのデータは AZ 内で複数の HW にレプリケートされる一般的にはさらなる冗長化は不要実体はネットワーク接続型ストレージだがユーザはネットワークを意識する必要はないセキュリティグループによる通信制御の対象外全ポートを閉じても EBS は利用できる

11 EBS のボリュームタイプユースケースに応じて 3 種類から選択できる汎用 SSD(General Purpose(SSD)) Provisioned IOPS(SSD) マグネティック (Magnetic) ボリュームタイプに応じて性能特性や課金体系が変わってくる Snapshot を経由することでボリュームタイプや容量を変更できるテストの結果性能不足が判明したら後から変更可能

12 汎用 SSD General Purpose(SSD) デフォルトのボリュームタイプで費用対効果が高い一時的に I/O 性能を 3,000IOPS まで引き上げるバースト機能を備える容量 : 1GB~16TB IOPS: 1GB あたり 3IOPS を常時確保 1,000GB 以下の容量では 3,000IOPS までバースト最大 10,000IOPS スループット : 最大 160MB/ 秒 (214GB 以上 )

13 汎用 SSD 容量と IOPS IOPS 1,000GB 以下では 3,000IOPS までのバーストが可能 3,334GB 以上では常時 10,000IOPS 容量 (GB)

14 汎用 SSD バーストの継続時間バーストの継続時間は I/O クレジットの残高によって決まるバーストが発生すると I/O クレジットを消費し I/O 負荷がベースパフォーマンスを下回ると I/O クレジットが蓄積される容量ベースパフォーマンス残高上限時のバースト時間常時 100% 負荷と仮定 100GB 300IOPS 約 33 分 5 時間 I/O クレジット補充時間残高 0 から上限まで 214GB 642IOPS 約 38 分約 4.4 時間 500GB 1,500IOPS 1 時間 1 時間 1,000GB 3,000IOPS ( バースト対象外 ) ( バースト対象外 ) 1,000GB 以上容量 3IOPS ( 最大 10,000IOPS) ( バースト対象外 ) ( バースト対象外 )

15 汎用 SSD 容量とスループットスループット (MB/s) 214GB 以上の容量では常に 160MB/s 170GB 以下の容量では 128MB/s 170GB~214GB では容量に応じてスループットが上がる容量 (GB)

16 Provisioned IOPS(SSD) - PIOPS 最もパフォーマンスの高いタイプ 1 年間のうち 99.9% の時間について指定した IOPS 値の ±10% の範囲の性能を発揮する容量 : 4GB~16TB IOPS: 100IOPS から 20,000IOPS の間で指定可能容量の 30 倍が上限となるスループット : 最大 320MB/ 秒 (1280IOPS 以上 )

17 Provisioned IOPS IOPS とスループットスループット (MB/s) 1IOPS あたり 256KB/s のスループット 1280IOPS 以上では常時 320MB/s IOPS 設定値

18 マグネティック - Magnetic 最もコストが安価な磁気ディスクタイプ汎用 SSD の登場以前は Standard という名称でデフォルトのボリュームタイプだった容量 : 1GB~1TB IOPS: 平均 100IOPS 最大数百 IOPS へバーストできる場合があるスループット : 40MB/ 秒 ~90MB/ 秒唯一 I/O リクエスト回数による課金がある

19 EBS のパフォーマンスを律速する要素

20 EBS のパフォーマンスを律速する要素 EBS のパフォーマンスは 3 つの要素で律速されるのでシステム全体としてのボトルネックを把握することが重要 1. EC2 インスタンス側のスループット 2. EBS 自体の I/O 処理性能 (IOPS) 3. 各 EBS ボリュームのスループット上限 2EBS 自体の I/O 処理性能 1EC2 インスタンス側のスループット上限 Data EBS 3EBS ボリュームのスループット上限 EC2 Data EBS

21 1. EC2 インスタンス側のスループットを改善する EBS 最適化 (EBS-Optimized) を有効にするインスタンスタイプによって決まる EBS スループットの上限値に到達していないかを確認する CloudWatch の Volume Read/Write Bytes の合計値 OS で EBS ボリュームへの総流量を確認 (iostat や perfmon など ) 上限に到達している場合はインスタンスタイプを大きくすることでスループットを改善する増速! EC2 EBS EC2 EBS Data Data

22 EBS 最適化インスタンス (EBS-Optimized) EBS 最適化なし EC2 w/o EBS Optimized EBS 最適化あり EBS Network EBS EBS 最適化を有効にすることで独立した EBS 帯域を確保大きいインスタンスタイプほど使える帯域が広いインスタンスタイプ c3.xlarge EBS 帯域 500 Mbps (62.5 MB/sec) EC2 with EBS Optimized Network c3.4xlarge c4.2xlarge c4.4xlarge 2,000 Mbps(250 MB/sec) 1,000 Mbps(125 MB/sec) 2,000 Mbps(250 MB/sec) 詳細情報 :

23 2. EBS 側の I/O 処理性能を改善する EBS 側の実績 IOPS を確認する CloudWatchのVolume Read/Write Opsを参照 OSでEBSへのI/O 命令回数を確認 (iostatやperfmonなど) 上限に到達していればボリュームの変更を検討タイプを変更 ( マグネティック汎用 SSD, 汎用 SSD PIOPS) スペックを変更 ( 汎用 SSD: 容量を増加, PIOPS:IOPS 値を増加 ) 増速! EC2 Data EBS Magnetic EC2 Data EBS PIOPS

24 3. EBS 側のスループットを改善する個々の EBS ボリュームのスループットを確認する CloudWatchのVolume Read/Write Bytesを参照 OSでEBSボリュームへの総流量を確認 (iostatやperfmonなど) 上限に到達していればボリュームの変更を検討タイプを変更 ( マグネティック汎用 SSD, 汎用 SSD PIOPS) PIOPS 化する際は平均ブロックサイズから必要値を算出する増速! EC2 Data EBS 汎用 SSD EC2 Data EBS PIOPS

25 事前ウォーミング (Pre-Warming) EBS の各ブロックへの初回アクセス時に限り IOPS が 5% から 50% の低下する事前ウォーミング (Pre-Warming) を行うことで回避することが可能性能測定を実施する際は予め実施しておく実運用時は事前ウォーミングが不可能なケースもあるため運用要件から判断して実行可能であれば取り込む程度で OK 例 )Auto Scaling で起動したインスタンス詳細情報 :

26 事前ウォーミングの実行新規ボリュームに対する事前ウォーミング Linux $sudo dd if=/dev/zero of=/dev/(target) bs=1m Windows C:\>format (drive_letter): /p:1 またはGUIで完全フォーマットを実施 Snapshot から復元したボリュームに対する事前ウォーミング Linux $sudo dd if=/dev/xvdf of=/dev/xvdf conv=notrunc bs=1m Windows Windows 版のddコマンドを利用詳細情報 :

27 RAID 構成単体の EBS の IOPS やスループットでは不足がある場合 RAID 構成を取ることで解決を図る EBS はデフォルトで冗長化されているため原則不要ではあるが RAID0 構成がどうしても不安な場合は RAID1+0 を利用する RAID5 や RAID6 はパリティ書き込みの処理により IOPS が消費されるため非推奨 RAID 構成でもパフォーマンスが不足する場合インスタンスストアの利用を検討する

28 RAID 構成時の Snapshot RAID 構成では複数ボリュームの Snapshot の整合性に注意複数の Snapshot が生成されるためタグの活用を考える 1 ボリュームの場合 RAID の場合 EBS Snapshot が複数になるため各ボリュームの整合性に注意 EBS EC2 EBS EBS EBS

29 ベンチマークに見る EBS のパフォーマンス特性

30 注意事項セッションでは AWS の仕様を公開している訳ではなく今回の為に実際に測定した検証結果を一例として説明していますベンチマークと実ワークロードではパフォーマンスに違いが出る場合があります実ワークロードを想定したベンチマークの実施をお勧めします

31 ベンチマークの目的それぞれのボリュームタイプについて仕様どおりの IOPS やスループットが利用できることを確認する RAID0 構成を取ることでシングルボリュームでは達成できない高いパフォーマンスを得られることを確認する

32 検証環境 - EBS 性能特性 c3.8xlarge FIO settings rw=randread,randrw blocksize=[1k 4096k] numjobs=64 size=10g direct=1 loops=1 runtime=300 Iodepth=32 group_reporting EBS c3.8xlarge I/O 帯域が最大のもの 10GbpsのNICを利用可 Amazon Linux File System : xfs EBS 各種 EBS タイプを利用 Pre-Warming を実施ツール fio 2.1.5

33 テスト構成 c3. 8xlarge マグネティック汎用 SSD 3.4TB c3. 8xlarge 汎用 SSD 1TB (3,072IOPS) c3. 8xlarge 汎用 SSD 3.4TB c3. 8xlarge c3. 8xlarge 汎用 SSD 3.4TB (10,000IOPS) Provisioned IOPS(SSD) 4,000IOPS 汎用 SSD 3.4TB 汎用 SSD 3.4TB 汎用 SSD 3.4TB c3. 8xlarge Provisioned IOPS(SSD) 20,000IOPS 汎用 SSD 3.4TB

34 8KB ブロックランダム読み込み

35 8KB ブロックランダム読み込み 320MB/s 160MB/s 320MB/s 160MB/s

36 16KB ブロックランダム読み込み

37 16KB ブロックランダム読み込み 320MB/s 160MB/s

38 4MB ブロックランダム読み込み

39 4MB ブロックランダム読み込み 320MB/s 160MB/s

40 8KB ブロックランダム読み書き

41 8KB ブロックランダム読み書き 320MB/s 160MB/s

42 4MB ブロックランダム読み書き

43 4MB ブロックランダム読み書き 320MB/s 160MB/s

44 インスタンスストアと EBS インスタンスタイプに応じて追加コスト無しでインスタンスストアが利用できる実体は EC2 の物理ホストのローカルディスクなのでスループットは EC2 インスタンスの EBS スループットに依存しないインスタンスを停止 (Stop) するとデータが消去される特性があるただし再起動 (Reboot) では消去されないアプリケーションが利用する一時的なデータの置き場所や分散ファイルシステムのストレージとして活用する

45 EBS とインスタンスストアの利用ケース EC2 Windows C: D: E: システムデータ EBS データファイル EBS 一時データ Instance Store OS ブートディスクとしての利用データ格納ディスクとしての利用データ計算用など一時的な利用

46 検証環境 - インスタンスストア性能特性 i2.8xlarge FIO settings rw=randread,randrw blocksize=[1k 4096k] numjobs=64 size=10g direct=1 loops=1 runtime=300 Iodepth=32 group_reporting Instance Store i2.8xlarge 最もランダムアクセスに適したインスタンスストアを持つものを選択 Amazon Linux File System : xfs ストレージインスタンスストアを利用 800GB SSD x8 (RAID0) ツール fio 2.1.5

47 インスタンスストアのパフォーマンス IOPS スループット (MB/s) 最大 40 万 IOPS と EBS と比較して高いパフォーマンスを発揮スループットについても最大 3.5GB/ 秒と高い性能を期待できる

48 インスタンスストアのパフォーマンス IOPS スループット (MB/s) 100% 読み込みと比較してやや IOPS は落ちるが最大 35 万 IOPS を発揮インスタンス料金のみで利用できるので揮発性であることを許容できるユースケースでは非常に有効

49 ボリュームの暗号化 EBS ボリュームの作成時に指定すると AES-256 による暗号化処理が行われるボリュームの利用方法は従来どおり主に現行世代のインスタンスタイプで利用可能暗号化キーは AWS Key Management Service で管理するハードウェア機能を使って処理を行うため暗号化の有無はパフォーマンスにほぼ影響しない利用可能インスタンスタイプ : AWS Key Management Service:

50 検証環境 - EBS 暗号化の性能への影響 c3.8xlarge FIO settings rw=randread blocksize=[8k] numjobs=64 size=10g direct=1 loops=1 runtime=300 Iodepth=32 group_reporting EBS c3.8xlarge Amazon Linux File System : xfs EBS 汎用 SSD 10,000IOPS Provisioned IOPS 20,000IOPS 暗号化あり / なしで測定ツール fio 2.1.5, iostat, vmstat 8KBランダム読み込みで実施

51 汎用 SSD 10,000IOPS IOPS 時間経過 ( 秒 )

52 汎用 SSD 10,000IOPS CPU Util% 時間経過 ( 秒 )

53 Provisioned IOPS 20,000IOPS IOPS 時間経過 ( 秒 )

54 Provisioned IOPS 20,000IOPS CPU Util% 時間経過 ( 秒 )

55 典型的な構成例

56 構成例 : 小さいデータへのアクセスが多い場合必要 IOPS が得られるよう EBS を構成する IOPS 重視 ( 汎用 SSD or PIOPS) ブロックサイズが小さければインスタンスタイプは小さめでもスループットがボトルネックになることは少ない汎用 SSD で本来必要な容量よりも大きな容量を確保することにより IOPS を引き上げることも有用 IOPS 重視 ( 汎用 SSD or PIOPS) RAID0 単一ボリュームで処理しきれない場合は RAID0 構成を検討する

57 構成例 : 大きいデータへのアクセスが多い場合 PIOPS (IOPS は抑える ) 大きいファイルへのアクセスが多い場合やシーケンシャルアクセスを行う場合は IOPS よりもスループットを重視する EC2 インスタンス側のスループットがボトルネックとなる事が多いため必要に応じてインスタンスタイプを大きくする PIOPS (IOPS は抑える ) RAID0 IOPS を抑えることで費用削減が可能ボリュームタイプとスループットの関係に着目

58 構成例 : 低コストなストレージが必要な場合汎用 SSD ( 起動ボリューム ) マグネティック ( データボリューム ) マグネティック ( データボリューム ) アクセス頻度が低いデータやハイパフォーマンスが必要無いデータはマグネティックに保存するコストを重要視する場合にもマグネティックを選択することができるがパフォーマンス要求には注意が必要マグネティックは最大容量が 1TB なので大容量が必要な場合は RAID 構成を取る

59 構成例 : 極めて高い I/O 性能が必要な場合 EBS では処理しきれない I/O パフォーマンスが必要な場合インスタンスストアを利用する EBS ( 起動ボリューム ) インスタンスストア ( データボリューム ) OS やアプリケーションをはじめとする永続化が必要なデータは EBS に保存するインスタンスストアのデータはインスタンスを停止 (Stop) すると失われるため何らかの対策が必要となる点に注意

60 まとめ

61 まとめ EBS 利用時は 3 つのボリュームタイプから適切なものを選択するパフォーマンスが不足する場合は何がボトルネックとなっているかを正しく理解し適切な対策を取るユースケースに応じてインスタンスストアを活用することも視野に入れる

62 AWS AWS Summit Tokyo セルフペースラボ :@ パミール 1F 瑞光 AWS クラウドに実際に触れてみませんか? ご自分の AWS アカウントをおつくりいただけなくても AWS クラウドを体験いただけます AWS 認定試験 ( 有償 ):@ パミール 1F 黄玉特設認定試験会場を AWS Summit Tokyo 2015 会場に開設 Devops エンジニア - プロフェッショナル認定試験を先行受験いただけます AWS 認定資格者取得専用ラウンジ :@ パミール 1F 青玉他の AWS 認定資格をお持ちの方とのネットワーキングにぜひラウンジをご活用くださいお席や充電器お飲物などを用意し皆様をお待ちしております

PowerPoint Presentation

PowerPoint Presentation Amazon EBS ボリュームの性能特性と構成方法を習得する! 松本大樹 (Matsumoto Hiroki) 2014 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole or in part without the express