AWS r e : I n v e n t 2018 ダイジェスト AWS ストレージサービス 西日本ソリューション部ソリューションアーキテクト藤原吉規 / Yoshinori Fujiwara
様々なワークロード向けの AWS ストレージ ブロックストレージ ファイルストレージ EFS Standard プロビジョンド IOPS SSD スループット最適化 HDD コールド HDD Elastic Amazon EBS Amazon EC2 AWS Storage Gateway Family Amazon EFS Amazon FSx for Windows File Server Amazon FSx for Lustre NEW! NEW! EFS Infrequent Access NEW! オブジェクトストレージ S3 Standard NEW! S3 Intelligent-Tiering 適材適所の選択 Right tool for the right job Amazon S3 & S3 Glacier S3 Standard-IA S3 One Zone-IA S3 Glacier COMING S3 Glacier Deep Archive SOON!!
データ転送の選択肢 AWS Direct Connect Amazon Kinesis Firehose Amazon Kinesis Data Streams Amazon Kinesis Video Streams Amazon S3 Transfer Acceleration AWS Storage Gateway NEW! NEW! NEW! AWS Snowball AWS Snowball Edge Storage Optimized AWS Snowball Edge Compute Optimized AWS Snowmobile AWS DataSync AWS Transfer for SFTP
Amazon S3 Archiving Analytics Website hosting Backup & restore Origin storage for CDN Enterprise applications Mobile sync and storage
S3 Intelligent-Tiering NEW! 自動的なコスト節約 アクセスパターンの変化に応じて オブジェクトを 2 つのアクセス階層間で自動的に移動 : 高頻度のアクセス用に最適化された階層 低頻度のアクセス用に最適化された階層 オブジェクトレベルでの監視と自動階層化 (S3 標準または S3 標準 -IA の料金に加え 1,000 オブジェクトあたり $0.0025 の料金 ) 機能 / 耐久性 / パフォーマンスについては通常の S3 と同等
Amazon S3 Glacier Deep Archive NEW! クラウドで利用可能な最小コストのストレージ テープ管理不要 11x9 の耐久性 時間単位での復旧 S3 Glacier の 1/4 以下のコスト $0.00099/GB/ 月 COMING IN 2019
Amazon S3 ストレージクラスの選択肢 NEW! NEW! S3 Standard S3 Intelligent- Tiering S3 Standard-IA S3 One Zone-IA S3 Glacier 高頻度 アクセス頻度 S3 Glacier Deep Archive 低頻度 アクティブ 頻繁にアクセスするデータ ミリ秒アクセス > 3 AZ $0.0210/GB~ 変化するアクセスパターンのデータ ミリ秒アクセス > 3 AZ $0.0210~$0.0125/GB オブジェクト毎の管理料金 最低保持期限 低頻度アクセスデータ ミリ秒アクセス > 3 AZ $0.0125/GB~ GB 毎の取り出し料金 最低保持期限 最小オブジェクトサイズ 再作成可能な低頻度アクセスデータ ミリ秒アクセス 1 AZ $0.0100/GB~ GB 毎の取り出し料金 最低保持期限 最小オブジェクトサイズ アーカイブデータ 分 ~ 時間アクセス > 3 AZ $0.0040/GB~ GB 毎の取り出し料金 最低保持期限 最小オブジェクトサイズ アーカイブデータ 時間アクセス > 3 AZ $0.00099/GB~ GB 毎の取り出し料金 最低保持期限 最小オブジェクトサイズ
Amazon S3 Glacier NEW! Direct PUT S3 CRR の Glacier 対応 リストア通知 復元速度のアップグレード S3 API で直接 S3 Glacier ストレージクラスに PUT が可能 CRR 先のリージョンで S3 Glacier ストレージクラスを指定可能 ジョブの開始および完了時に SNS/SQS で通知を発行 一度発行した復元リクエストを より高速な取り出しオプションで上書き ( 標準 迅速 一括 標準 一括 迅速 )
S3 Object Lock NEW! S3 オブジェクトを削除 / 上書き不可に Write Once Read Many (WORM) の保護を実現 バケット単位で設定 保持期限の管理 バケットレベルのデフォルト設定で保持期限を設定 保持期限は個々のオブジェクトレベルで設定可能 法的保留のシナリオをサポート データ保護とコンプライアンス Cohasset Associates 社が SEC 17a-4 CFTC FINRA に対して評価済み 偶発的あるいは悪意のある削除に対する強固な保護
S3 Object Lock モード NEW! コンプライアンスモード コンプライアンス用途 root アカウントでさえオブジェクトの変更 / 削除は不可 Cohasset Associates 社による評価済み ガバナンスモード データ保護用途 オブジェクトに対する明示的な許可がある場合のみオブジェクトの変更 / 削除が可能 コンプライアンスモードに変更可能
S3 Batch Operations (Preview) NEW! 数千 数百万 数十億のオブジェクトに対する API アクションを一括実行
S3 Batch Operations (Preview) NEW! 数千 数百万 数十億のオブジェクトに対する API アクションを一括実行
フルマネージド型クラウドファイルシステム ファイルベースのアプリケーション対応のニーズに応じたファイルシステムオプションを提供 ビジネスアプリケーション向けファイルシステム コンピューティング集約型アプリケーション向けファイルシステム Amazon EFS Amazon FSx for Windows File Server Amazon FSx for Lustre 幅広い Linux ベースのビジネスアプリケーション用のフルマネージド型クラウドネイティブファイルシステム LINUX-BASED WORKLOADS ビジネスアプリケーション用のフルマネージド型 Windows ファイルサーバ Windows Server 上に構築され Windowsファイルシステムの機能をネイティブにサポート WINDOWS-BASED WORKLOADS コンピューティング集約型ワークロード向けのフルマネージド型 Luster ファイルシステム オープンソースの並列ファイルシステムとして人気の高い Lustre を提供
Amazon FSx for Windows File Server Windows ネイティブなフルマネージド型ファイルシステム
Windows ワークロードの約 2/3 が AWS 上で稼働 Note: Includes Windows instances deployed in the public cloud IaaS market during 2017 Source: IDC estimates, 2018 IDC, Windows Server Operating Environment Market Update, Doc # US44217118, Aug 2018 https://d1.awsstatic.com/analyst-reports/idc_slide_windowsonaws_jm181015.pdf
Amazon FSx for Windows File Server Windows ファイルストレージを完全マネージド型の Windows ファイルサーバとしてリフト & シフト Windows ネイティブ互換 高速で柔軟なパフォーマンス エンタープライズ対応 幅広い接続性 フルマネージド型
Windows ネイティブ互換 SMB AD Windows ネイティブ互換 NTFS SMB ネイティブ対応 2.0 to 3.1.1 Microsoft AD とのインテグレーションと Windows ACL のサポート DFS 名前空間と DFS レプリケーション Windows Server
高速で柔軟なパフォーマンス SSD ベースで構成 高いスループット 高い IOPS 高速で柔軟なパフォーマンス ストレージ容量と独立したスループットの選択 一貫したミリ秒未満のレイテンシ
高速で柔軟なパフォーマンスストレージ容量と独立したスループットの選択 スループット能力 (MB/s) 8 16 32 64 128 256 512 1,024 2,048 ベースライン (MB/s) 8 16 32 64 128 256 512 1,024 2,048 バースト (MB/s) 200 200 200 250 450 450 - - - キャッシングでさらに高いパフォーマンスを提供 : 600 MB/s - 3 GB/s
エンタープライズ対応 (1/2) 高い可用性と耐久性 ハードウェア障害の検出と解決 AZ 内でデータをレプリケーション バックアップは S3 に保管 DFS 名前空間と DFS レプリケーションによるマルチ AZ 配置
エンタープライズ対応 (2/2) 保管データと伝送データの暗号化 AD 統合と Windows ACL のサポート Amazon VPC セキュリティグループによるネットワークトラフィックのアクセス制御 セキュリティとコンプライアンス AWS IAM による管理 API アクセスの制御 AWS CloudTrail による API コールの監視とログ PCI-DSS ISO HIPAA 準拠
幅広い接続性 Amazon EC2 VMware Cloud on AWS Amazon WorkSpaces Amazon AppStream 2.0 幅広い接続性 Microsoft Windows Server 2008+ Windows 7+ Linux (Samba client) SMB 2.0 3.1.1 Windows Server
フルマネージド型 フルマネージド型 ファイルサーバとストレージボリュームのプロビジョニング セットアップ 管理 Windows ソフトウェアを最新状態にアップデート バックアップの取得と管理の自動化
幅広いユースケースのサポート ホームディレクトリ LoB アプリケーション Web サイトとコンテンツ管理 ソフトウェア開発環境 メディアワークフロー 分析
AD 認証 ファイルシステムを AWS Directory Service for Microsoft ADで管理されるADにJoinして利用 自社管理のADは AWS Directory Service for Microsoft ADと片方向の信頼関係を結ぶことで利用可能 Windows ACLを適用する場合 ユーザーの資格情報がADを使用して検証される
アーキテクチャ Region VPC Availability zone A Subnet 1 Instances Elastic network interface
Multi-AZ アーキテクチャ Region VPC Availability zone A Subnet 1 Instances Availability zone B DFS Replication Subnet 2 Instances
オンプレミスファイルの移行 On-Premise Region VPC Availability zone A Subnet 1 File server Instances VPN Connection
料金モデル ストレージ容量 : $0.130 GB- 月 スループット容量 : $2.200 MB/s- 月 バックアップ : $0.050 GB- 月 料金試算例 ファイルシステムが米国東部 ( バージニア北部 ) リージョンにあり 800 GB のストレージ容量と 8 MB/s のスループット容量を割り当て 毎月平均で 400 GB のバックアップストレージを消費 800 GB- 月 x $0.130 GB- 月 + 8 MB/s- 月 x $2.200 MB/s- 月 + 400 GB- 月 x $0.050 GB- 月 = $141.600 米国東部 ( バージニア北部 ) リージョンの 2018 年 12 月 11 日時点の料金
提供リージョン 米国西部 (オレゴン) 米国東部 (バージニア北部 ) 米国東部 (オハイオ) 欧州 (アイルランド)
Amazon FSx for Lustre フルマネージド型のコンピューティング集約型ファイルシステム
Lustre とは 15+ 60% 並列ファイルシステム オープンソース 15 年以上の実績 Top100スパコン の60% が利用 計算負荷の高いワークロードの多くで利用 地質探査 地理空間解析 ファイナンシャルモデリング メディアレンダリング トランスコード 電子設計自動化
Amazon FSx for Lustre コンピューティング集約型ワークロードのためのフルマネージドなファイルシステム 高いスケール性能 Amazon S3 とのシームレスな統合 シンプルなフルマネージド型 ネイティブなファイルシステムインタフェース コンピューティング集約型ワークロードに向けたコスト最適化 セキュアとコンプライアンス
高いスケール性能 並列ファイルシステム SSD ベースで構成 高いスケール性能 100 GiB/s 以上のスループット数百万 IOPS 一貫したミリ秒未満のレイテンシ 数十万 CPU コアのサポート
ストレージ容量に合わせてリニアにスケールするスループットと IOPS 1 TB のストレージ容量ごとに 200 MB/s のスループットを提供 ファイルシステムは数百 GB/s のスループット 数百万 IOPS までスケール可能
Amazon S3 とのシームレスな統合 Amazon S3 のデータセットと Amazon FSx for Lustre ファイルシステムを関連付ける S3 に保存したデータを処理するために Amazon FSx にインポート 処理結果を保存するため S3 にエクスポート 処理が終了したら ファイルシステムを削除すれば課金されない
オンプレミス環境のクラウド拡張にも対応 オンプレミス AWS AWS Direct Connect VPN
シンプルなフルマネージド型 Lustre シンプルなフルマネージド型 ファイルサーバやストレージボリュームのセットアップ Lustre ソフトウェアの設定や管理 Amazon S3 からのデータ入出力の管理
既存のアプリケーションとの互換性 POSIX 互換性 Linux OS の既存のファイルシステムと同様に扱える アプリケーションの変更は不要 Read-afterwrite/close の整合性モデル ファイルロックのサポート
セキュリティとコンプライアンス 保存時のデータ暗号化 PCI-DSS ISO HIPAA 準拠 Amazon VPC セキュリティグループによるネットワークトラフィックのアクセス制御 セキュリティとコンプライアンス AWS IAM による管理 API アクセスの制御 AWS CloudTrail による API コールの監視とログ
コンピューティング集約型ワークロードに向けたコスト最適化 性能とコストの最適化 コスト最適化 ファイルシステム内ではレプリケーションしない 長期保管用のデータはオンプレミスまたは S3 を利用 作成や削除は数分以内に完了 使用したリソースのみへの支払い FSx for Lustre 料金モデル : $0.14 GB- 月 ($0.20 TB- 時 ) 秒単位の課金
幅広いユースケースのサポート ハイパフォーマンスコンピューティング 機械学習 メディアレンダリング トランスコード ビッグデータ解析 電子設計自動化 ファイナンシャルモデリング オイル ガス地質調査 自立システムのトレーニング
提供リージョン 米国西部 (オレゴン) 米国東部 (バージニア北部 ) 米国東部 (オハイオ) 欧州 (アイルランド)
様々なファイルベースのワークロードを支える AWS のファイルストレージ DATABASE BUSINESS APPLICATIONS FINANCIAL SERVICES OCR FILE SERVICES NFS SOFTWARE DEVELOPMENT TOOLS COMPUTE-INTENSIVE WORKLOADS B A C K U P & R E S T O R E CONTAINERS EDA LINUX FILE SHARING GENOMICS EDI FILE SYSTEMS DATA TRANSFER MEDIA AND ENTERTAINMENT DATA ANALYTICS HYBRID STORAGE MACHINE LEARNING HPC WEB SERVING DATA LAKE
AWS DataSync オンプレミスストレージとクラウドのデータ転送をシンプルに 自動で 高速に実行するオンライン転送サービス 高速な転送 簡単に利用可能 安全で高信頼性 セキュリティとコンプライアンス 高コスト効率 ネットワーク高速化ソフトウェアによる高速性と信頼性をオープンソースツールの経済性で提供
エージェント毎に最大 10Gbps の転送が可能 AWS DataSync 専用の転送プロトコル マルチスレッド 大きなファイルの並列転送 スケールアウト 高速な転送 差分転送による効率化 自動圧縮 スパースファイルの検知 Amazon S3 と EFS への読み書きに最適化 ネットワーク帯域のスロットリングに対応
データ移動の管理を容易にする コンソールや CLI/SDK で設定 管理 インフラのデプロイや管理が不要 簡単に利用可能 オンプレミス側のエージェントは自動更新 メタデータは維持される CloudWatch によるモニタリング
信頼性の高いデータ転送 TLS1.2 による通信路暗号化 KMS による保存データの暗号化に対応 安全で高信頼性 VPC 内の AWS サービスにアクセスが可能 転送中 保存中のデータバリデーション I/O エラーや転送エラーからの自動リカバリ
セキュリティとコンプライアンス PCI-DSS に準拠 HIPAA に対応 セキュリティとコンプライアンス アクセス制御に AWS IAM を利用 AWS CloudTrail による監査
高コスト効率 前払いや最小利用量の制約なしで コピーしたデータ 1 GB あたり $0.04 の課金料金例 : 100 GB を EFS に取り込むと $4 高コスト効率 AWS のインフラはフルマネージドかつ 利用状況に応じてスケール オンプレミスのエージェントは自動更新され 管理の手間が不要
AWS DataSync の動作概要 On-Premise Region AWS storage resources NFS TLS Amazon S3 bucket Shared file systems AWS DataSync agent AWS DataSync Amazon EFS file system エージェントはローカルストレージに高速にアクセスするためにオンプレミスに配置 WAN 経由のデータ転送 ( 送 / 受信 ) は専用プロトコルを使用 AWS 内のサービスが AWS ストレージサービスを読み書き マネジメントコンソールか CLI で管理
3 ステップの操作 エージェントを導入して AWS アカウントと紐付け 転送元 / 先とオプションを選択してタスクを作成 タスクの開始と監視 1 2 3 VMware ESXi 8 vcpu 32 GB memory オンプレミスの NFS と S3 バケットまたは EFS ファイルシステム コンソール あるいは Amazon CloudWatch で監視
エージェントを導入して AWS アカウントと紐付け console.aws.amazon.com/datasync 1 2 3
転送元 / 先とオプションを選択してタスクを作成 1 2 3
タスクの開始と監視 1 2 3
タスクオプション タスクの作成時に構成 タスク実行時に設定は変更可能 タスク実行後にファイルレベルのバリデーション ファイルのメタデータの維持を選択 転送元で削除済みのファイルを転送先で保持 共有ネットワーク利用時の帯域制限を設定
提供リージョン 米国東部 (バージニア北部) 米国東部 (オハイオ) 米国西部 (北カリフォルニア) 米国西部 (オレゴン) 欧州 (フランクフルト) 欧州 (アイルランド) アジアパシフィック (東京) アジアパシフィック (ソウル) アジアパシフィック (シンガポー ル) アジアパシフィック (シドニー)
AWS Transfer for SFTP SFTP でデータ転送を行い Amazon S3 に保存可能なフルマネージド型サービス 既存のワークロードのシームレスな移行 フルマネージド型 セキュリティとコンプライアンス AWS サービスとの連携 高コスト効率 簡単に利用可能
3 ステップで SFTP サービスをセットアップ ホスト名の指定 S3 バケットの選択 ユーザのセットアップ 1 2 3 サーバのエンドポイントにホスト名を関連付ける 特定の S3 バケットにアクセスし SFTP でデータ転送を行うための IAM ロールを作成する ユーザを作成しファイル操作を行うための IAM ロールを割り当てる AWS SFTP サーバのエンドポイント経由でデータ転送可能に
これからの SFTP サービスのアーキテクチャ AWS Transfer for SFTP + シームレスな移行 + フルマネージド型 + セキュリティとコンプライアンス AWS SFTP Amazon S3 + AWS サービスとの連携 アプリケーション プロセス クライアントソフトウェアの構成や動作の変更は不要 + 高コスト効率 + 簡単に利用可能
既存のワークロードのシームレスな移行 AWS への移行はエンドユーザには影響を与えない Amazon Route 53 を利用して既存の SFTP 用ドメインをサービスのエンドポイントに移行 既存の転送用クライアントを利用可能 ホスト名と認証情報は既存のものを継続して利用可能 既存の ID プロバイダ (Microsoft AD LDAP) を用いたユーザ認証も可能
フルマネージド型 SFTP サーバを管理する労力と時間を削減 需要に応じてリアルタイムでオートスケール リージョン内の複数 AZ で冗長化
セキュリティとコンプライアンス HIPAA に対応 PCI-DSS に準拠 保存時の暗号化オプション (SSE-S3 or SSE-KMS) CloudWatch によるユーザ行動のトラッキング
AWS サービスとの連携 データは Amazon S3 バケットに保存され アーカイブや加工 解析に活用 S3 events を利用してアップロード後に自動で処理 AWS IAM を利用したリソースのアクセス制御 サーバサイド暗号化 (S3 or KMS)
高コスト効率 SFTP エンドポイント料金 : $0.30/ 時 SFTP アップロード / ダウンロード : $0.04/GB 料金例 : 10GB/ 日 $2.7K/ 年 100GB/ 日 $3.6K/ 年 注意 : エンドポイント課金を停止するためには サーバの停止ではなく削除が必要 https://docs.aws.amazon.com/transfer/latest/userguide/api_stopserver.html
簡単に利用可能 AWS マネジメントコンソールや API から簡単にセットアップ可能 IT の専門家でなくとも SFTP サーバやユーザアクセスの設定が可能
簡単に利用可能
サービスマネージドのユーザアクセス サービス内でユーザIDとキーを保管 管理 1. AWSマネジメントコンソールでユーザの資格情報とキーを構成 2. 既存のクライアントと資格情報を使用してサービスを利用 3. ファイル転送中はIAMロールを使用してAmazon S3にアクセス 1 3 2 AWS SFTP AWS Transfer for SFTP Amazon S3
カスタム ID プロバイダー (IdP) の利用 独自のIdPを使用したい場合は Amazon API Gatewayで統合 1. API GatewayのメソッドでIdPを統合 2. API Gateway 経由でIdPを使用してユーザ認証 3. ファイル転送中はIAMロールを使用してAmazon S3にアクセス 1 3 VPC 2 AWS SFTP AWS Transfer for SFTP Amazon S3
提供リージョン 米国東部 (バージニア北部) 米国東部 (オハイオ) 米国西部 (北カリフォルニア) 米国西部 (オレゴン) カナダ (中部) 欧州 (フランクフルト) 欧州 (ロンドン) 欧州 (アイルランド) 欧州 (パリ) アジアパシフィック (東京) アジアパシフィック (ソウル) アジアパシフィック (シンガポー ル) アジアパシフィック (シドニー)
Thank you!