AWS のストレージサービス入門

AWS のストレージサービス入門 アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト焼尾徹 2017.05.31 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

本セッションの Feedback をお願いします 受付でお配りしたアンケートに本セッションの満足度やご感想などをご記入くださいアンケートをご提出いただきました方には もれなく素敵な AWS オリジナルグッズをプレゼントさせていただきます アンケートは受付 パミール 3F の EXPO 展示会場内にて回収させて頂きます

自己紹介 名前 : 焼尾徹 ( やきおとおる ) 所属 : ロール : アマゾンウェブサービスジャパンソリューションアーキテクト インサイド SA 好きなサービス : Amazon Wind Farm ( サービスじゃないけど )

本セッションの狙い 1. 数ある AWS のサービスの中で ( データ保存目的の ) ストレージサービスの存在を知り 特徴を理解する 2. 検討するシステムの要件に対して どのストレージサービスが合いそうか 取捨選択できるようになる マッチ! データ活用の特性データ保護の要件

目次 AWS クラウドストレージの特徴 AWS のストレージに関連するサービスの位置付け 各サービスの特徴と用途 Amazon Elastic Block Store (EBS) Amazon Simple Storage Service (S3) / Amazon Glacier Amazon Elastic File System (EFS) AWS Storage Gateway まとめ

AWS クラウドストレージの特徴 オンプレミス データセンター 設置 電源 空調の準備 といった概念がない コントローラ概念なし RAID も考えなくていい 初期投資不要 サイジングからの解放 やり直ししやすい データ保護もしやすい 監視もしやすい AWS クラウドコンピューティング

AWS ストレージ関連サービス Amazon EBS ( 不揮発性 ) Amazon EC2 インスタンスストア ( 揮発性 ) ブロック Amazon EFS ファイル Amazon S3 Amazon Glacier オブジェクト 移行 取り込み バッチ ストリーム AWS Snowball AWS Storage Gateway AWS Direct Connect 3 rd Party Connectors Transfer Acceleration Amazon Kinesis Firehose

AWS ストレージ関連サービス Amazon EBS ( 不揮発性 ) Amazon EC2 インスタンスストア ( 揮発性 ) ブロック Amazon EFS ファイル Amazon S3 Amazon Glacier オブジェクト 移行 取り込み バッチ ストリーム AWS Snowball AWS Storage Gateway AWS Direct Connect 3 rd Party Connectors Transfer Acceleration Amazon Kinesis Firehose

格納ストレージの分類 ブロックストレージ 主に SCSI( ないしは類するプロトコル ) にて ブロックの集合体をデバイスとして OS に提供するデータの倉庫 ファイルストレージ 主に NFS/SMB( ないしは類するプロトコル ) にて ファイルシステム上のファイルを格納するデータの倉庫 オブジェクトストレージ オブジェクト それに付随するメタデータ そのオブジェクトにアクセスするためのユニークな ID で構成されるデータの倉庫 (Key Value Store) オペレーティングシステム File File key key key Block 番号 Block 番号 File File File ファイルシステム オブジェクト オブジェクト オブジェクト

格納ストレージの分類 ブロックストレージ 主に SCSI( ないしは類するプロトコル ) にて ブロックの集合体をデバイスとして OS に提供するデータの倉庫 ファイルストレージ 主に NFS/SMB( ないしは類するプロトコル ) にて ファイルシステム上のファイルを格納するデータの倉庫 オブジェクトストレージ オブジェクト それに付随するメタデータ そのオブジェクトにアクセスするためのユニークな ID で構成されるデータの倉庫 (Key Value Store) オペレーティングシステム File File key key key Block Block 番号番号 EBS に相当 File File File EFS に相当 ファイルシステム S3 に相当 オブジェクト オブジェクトオブジェクト

歴史 2006 年 3 月 Amazon S3 リリース 2012 年 8 月 Amazon Glacier リリース 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2008 年 8 月 EC2 において EBS 利用可能に 2015 年 5 月 Amazon EFS リリース (2016.6 月 GA) 2012 年 1 月 AWS Storage Gateway リリース (2012.10 月 GA)

Amazon Elastic Block Store (EBS) Amazon S3/Glacier Amazon EFS AWS Storage Gateway

Amazon Elastic Block Storage (EBS) Amazon Elastic Block Store (Amazon EBS) は AWS クラウド内で Amazon EC2 インスタンスと組み合わせて使用できる 永続的なブロックストレージボリュームです EC2 EBS

EC2 のストレージと使い分け インスタンスストア EC2 インスタンス A EC2 EBS EC2 インスタンス B ホスト Amazon EC2 インスタンスストア EC2 と不可分 EC2 を Terminate( 終了 ) するとクリアされる Terminate 前に必要なデータを逃す ( 保存する ) 必要がある 性能 容量はインスタンスタイプごとに規定 主に性能重視した一時領域 Amazon Elastic Block Store (EBS) eph0 eph1 インスタンスストア Amazon EBS EC2 とは独立管理 EC2 を Terminate( 終了 ) しても EBS は保持可能 Volume ごとに性能 容量を定義可能 Snapshot を取得し S3 で保護可能 きっちり保管しつつ I/O を行うことを重視

Amazon EBS ユースケースから見る選択肢 汎用 SSD プロビジョンド IOPS SSD スループット最適化 HDD Cold HDD gp2 io1 st1 sc1 ほとんどのワークロードに推奨されるシステムブートボリューム仮想デスクトップ低レイテンシーのインタラクティブなアプリケーション開発 テスト環境 持続的な IOPS パフォーマンスを要するビジネスアプリケーションや大規模なデータベースワークロード MongoDB, Cassandra, Microsoft SQL Server, MySQL, PostgreSQL, Oracle 目安 10,000 IOPS 以上 低コストで安定した高速スループットを必要とする用途ストリーミング処理ビッグデータデータウェアハウスログ処理ブートボリュームには使用できない アクセス頻度の低い大量データ用のスループット指向ストレージ低いコストが重視されるシナリオニア アーカイブログ蓄積ブートボリュームには使用できない

バーストバケットの考え方 ( 汎用 SSD gp2 の場合 ) gp2 流入 :GB あたり 3IOPS 分の流入例えば 500GB ならば 1500 IOPS の流入 = ベースパフォーマンス io1= バーストの考え方ではなく IOPS を指定 st1,sc1 = TB あたりの帯域流入 540 万 I/O クレジット (3000 IOPS の I/O を 30 分継続できるくらい ) 流出 : バーストパフォーマンス 3000 IOPS ボリュームサイズを大きくすることで 得られる性能も向上する

サイズやタイプの変更が可能 活用例 EC2 EC2 Elastic Volume アタッチ済みEBSの大きさ拡張 タイプ 変更 IOPS値変更(io1, Provisioned IOPSの場合)することができる EC2 EBS EBS 現在EBSを サイズを SSD(gp2)で 大きく 利用中 EBS EBS sc1に 変更 SSD 新しい領域 としてgp2 を利用 HDD 汎用SSD プロビジョンド IOPS スループット最 適化HDD Cold HDD gp2 io1 st1 sc1 例１ 急に ランダムなアクセスが行われると 思われるI/O要件になりそうなので HDDタイ プからSSDタイプに変更する 例２ そのボリュームの使用頻度が低くなった ので SSDタイプのEBSをHDDタイプに変更す る 例３ 容量が足らなくなったので ボリューム サイズを大きくする 高性能なストレージに変更することで ホ スト側の帯域が課題となる場合は ホスト 側に EBS最適化インスタンス を選択す ることも重要

サイズやタイプの変更が可能 続き 初期設定 後から変更どちらでも 要件が変わってしまっても その 要件にいつでも追随すればよい

EBS データ保護 リージョン Availability Zone Availability Zone EC2 EC2 EBS EBS EBS EBS EBS EBS スナップショット 実体は Amazon S3上にある KMS EBSのスナップショット EBSの１操作としてSnapshotを作成でき 取得したsnapshotがS3に保存される S3で の管理操作ではないので バケットからは見 えない Snapshotバックアップから EBSボリュー ムを作成可能 EC2におけるOSルート領域の イメージの 作成 は この応用で マイAMI (Amazon Machine Image)として活用できる EBSの暗号化 ボリューム内の保存データ および ボ リュームとインスタンス間で移動するデータ が暗号化される AWS Key Management Serviceと連携した 鍵管理 I/Oには全て透過的で スナップショットも 暗号化される

Amazon EBS Amazon Simple Storage Service 及び Amazon Glacier Amazon EFS AWS Storage Gateway

Amazon Simple Storage Service (S3) Amazon Simple Storage Service (S3) は ユーザがデータを安全に どこからでも 容量制限なく 保存が可能な Web 時代のオブジェクトストレージ Glacier EC2 EBS S3

Amazon S3 特徴 容量無制限 高い耐久性 99.999999999% 安価なストレージ 容量単価 : 月額 1GB / 約 3 円 スケーラブルで安定した性能 データ容量に依存しない性能 ( ユーザが サーバ台数 媒体本数や RAID RAID コントローラを考える必要がない ) 2017 年 5 月 https://aws.amazon.com/jp/s3/pricing/ スタンダードストレージ 東京リージョン US$0.025/GB

Amazon S3のデータ配置 複数箇所で自動複製 高い耐久性を実現 ネットワーク越し にファイルを格納 ユーザがデータを格納する AWSリージョンを指定する ので 勝手に意図しない地域 にデータが格納されるもので はない データセンタ C バケット データセンタ A データセンタ B 例 東京リージョン データ

Amazon S3 用語 Amazon S3 ( リージョン ) バケット (contents-bucket) バケット (web-site-bucket) バケット (analysis-bucket) オブジェクト (video/sample.mp4) オブジェクト (img1.jpg) オブジェクト (index.html) オブジェクト (img/pic01.jpg) オブジェクト (2017.csv) オブジェクト (archive/01.gz) オブジェクトはバッケット内にフラットに格納される キーのパス指定でフォルダ階層のように表示も可能 マネジメントコンソールでは / を区切り記号として フォルダ構造を表現する 例 )video/sample.mp4 の video/ の部分をプレフィックスという

Amazon S3 の操作 全てのオペレーションが SDK, CLI, Management Console や 3rd Party Tool で実行でき 用途に合わせて使い分け可能 操作 利用イメージ アプリケーション連携 コマンドラインやシェル AWS SDK AWS CLI PutObjectRequest putobjectrequest = new PutObjectRequest(bucketName, Key, file); PutObjectResult result = this.client.putobject(putobjectrequest) $ aws s3 cp xxxx.mp4 s3://bucketname/ $ aws s3api get-object --bucket-name <bucket-name> --key <prefix/file-name> 手動 人間の操作 主に GUI AWS Management Console 3 rd Party Tools

Amazon S3の操作(続き) バケットの作成はここからスタート リージョンを指定する

Amazon S3の操作(続き) オブジェクトを選ぶと その詳細がわかり やすく表示される

Amazon S3 の操作 ( 続き ) 分析のフィルターを定義すると ストレージ利用状況の簡易表示が可能 この例では 徐々にデータが増えている様子

Amazon S3 の操作 ( 続き ) Amazon Glacier の使い所 直感的な コンフィグレーションのウィザード ( 例 ライフサイクルルールの設定 )

ライフサイクルルールにおける STANDARD- IA クラスと Glacier の活用 バケット内のオブジェクトに対して ストレージクラスの変更や 削除処理に関する自動化する バケット全体もしくはプレフィックスに対して オブジェクトの更新日をベースに日単位での指定が可能 登録 / 更新 S3 (Standard) S3 (STANDARD-IA) 移動アーカイブ Glacier 削除 削除 削除 使用頻度の低くなるデータをより低価格なストレージに格納する 一定期間経過したデータを削除する

ライフサイクルにおける Glacier へのアーカイブ及び復元 アーカイブ オブジェクトのデータは Glacier に移動 ( アーカイブ後 マスターは Glacier になる ) オブジェクトの復元 (restore) オブジェクト毎に復元 データは一時的に S3 の低冗長化ストレージに指定日数間複製される 復元にかかる時間は 3 種類から選択 Expedited: 少ない数のファイルについて 緊急のアクセスを要する場合の取得 Standard: 3-5 時間の間にファイルを取得する標準的な取得 Bulk: 5-12 時間の間にファイルを取得する最も低価格で 大量のデータを取得 S3 S3 にコピーされる 保持期間を過ぎると元の状態になる Glacier オブジェクトの実体 復元

ユースケース : データハブストレージ データレイクを中心としたデータ処理基盤の例 S3の汎用性を活用して データ分析に必要なツールをじっくり試せる場所を作る 前処理 EMR オンプレミスシステム データレイク 分析 可視化 収集 S3 Redshift - トランザクショナルデータ - ログデータ Direct Connect 分析 QuickSight 外部データソース - 市況情報 - ソーシャルメディア 収集 Kinesis 元データ 変形済データ中間データ Glacier 結果 EMR Athena BI tool on EC2

ユースケース : バックアップ /DR ストレージ 用途に合わせてバックアップ /DR 環境を安価に構築可能 クラウドバックアップ用途 VPC でのデータ保護先 クロスリージョンでデータの複製を保持 (DR 等 ) NAS Backup SW クラウドバックアップ ( バックアップ ) 災害時リストア バックアップストレージ バックアップ Production 環境 S3 DR 環境 グローバル DR ( レプリケーション ) 災害時リストア バックアップストレージ S3 災害時リストア DR 環境 オンプレ 東京リージョン シンガポールリージョン

ユースケース : 静的コンテンツの Web サーバ 容量が多くなりがちなデータを S3 にオフロードする 写真などのコンテンツを含む動的 Web サイト フルマネージドコンテンツ配信サーバとして配信負荷をオフロード写真や動画などのファイルサイズの大きなものを S3 に配置する クライアント 動的ページアクセス 静的コンテンツ取得 CloudFront フルマネージドコンテンツ配信サーバ S3 Web サーバ CMS 静的ファイルやコンテンツを S3 に配置

S3 におけるデータ保護 バージョニンング ユーザやアプリケーションの誤操作による削除対策に有効 古いバージョンのオブジェクトが バージョン ID が付与されて裏で残すことができる 暗号化 保管時 (Amazon S3 データセンター内のディスクに格納されているとき ) のデータを暗号化して保護するもの

Amazon EBS Amazon S3/Glacier Amazon Elastic File System (EFS) AWS Storage Gateway

NFS サーバを EC2+EBS で構築する場合 NFS サービスの設定 EC2 死活監視 EC2 拡張性の検討 データ同期 容量の検討 EBS EBS 可用性の検討 Availability Zone Availability Zone

Amazon Elastic File System (EFS) EC2 EC2 Amazon Elastic File System (Amazon EFS) は AWS クラウドで Amazon EC2 インスタンスと共に使用するための シンプルでスケーラブルな NFS ファイルストレージシステムです EFS EC2 ファイルシステム

EFS = マネージドの NFS サーバ Availability Zone Availability Zone NFS サービス 性能のスケール 容量の自動拡張 マルチ AZ

EFS = マネージドの NFS サーバ mount t nfs4 [file system DNS name]:/ /[user s target directory] マウントターゲット EC2 EC2 EC2 EC2 セキュリティグループ Availability Zone Availability Zone NFS サービス 性能のスケール 容量の自動拡張 マルチ AZ

EFS 活用シーン HPC や分析アプリケーション 大量のサーバに分散して分析する際に分析データの共有する コンテンツのレポジトリ AutoScaling する Web サーバ群で ユーザがアップロードした画像ファイルを全サーバで共有 ( 注意 ) EFS が利用が利用できるリージョン : アイルランド シドニー バージニア北部 オハイオ オレゴン 2017.5 月現在

Amazon EBS Amazon S3/Glacier Amazon EFS AWS Storage Gateway

AWS Storage Gateway とは 標準的なストレージプロトコルを利用して AWS のストレージサービスへのアクセスを可能にするハイブリッドストレージソリューション お客様環境 データ連携 Amazon S3 AWS Storage Gateway 仮想アプライアンス 1) ファイルゲートウェイ (NFS) 2) ボリュームゲートウェイ (iscsi) 3) テープゲートウェイ (VTL) Amazon Glacier Amazon EBS snapshots

AWS Storage Gateway 活用シーン お客様環境 Amazon S3 AWS Storage Gateway データ連携ファイルを活用 Amazon Glacier 分析基盤 アプリケーションサーバ Cache Storage Upload Buffer EBS snapshots リストア EBS EC2 EC2 で活用 NFS iscsi ブロック iscsi VTL 例 1)DBオンプレミス環境の拡張的位置付けをCSVに吐き出して S3に格納して 分析にクラウドへのバックアップやアーカイブ活用する例 2) クラウドの広大なストレージ空間を活用してバックラウドへの段階的移行の手助けクアップやアーカイブ先とする

まとめ

サイジングから解放され システムの用途や I/O 特性の整理に集中できる Amazon EBS Amazon S3 / Glacier Amazon EFS AWS Storage Gateway 汎用的ブロックストレージ 汎用 SSD gp2 の用途は広く I/O 特性に応じて io1,st1,sc1 も有効活用 容量を気にしなくて良い広大なオブジェクトストレージ データの利用頻度に応じて ライフサイクルを有効活用する マネージド NFS サービス S3, EBS snapshot への橋渡し役となるゲートウェイ 要件が変わっても 柔軟に変更ができる ないしはスケールする特性を把握しておけば安心

本セッションの Feedback をお願いします 受付でお配りしたアンケートに本セッションの満足度やご感想などをご記入くださいアンケートをご提出いただきました方には もれなく素敵な AWS オリジナルグッズをプレゼントさせていただきます アンケートは受付 パミール 3F の EXPO 展示会場内にて回収させて頂きます

ご静聴ありがとうございました