AWS r e : I n v e n t 2018 ダイジェスト AWS ストレージサービス西日本ソリューション部ソリューションアーキテクト藤原吉規 / Yoshinori Fujiwara 2018, Amazon Web Services, Inc. or its affiliates. A

Size: px

Start display at page:

Download "AWS r e : I n v e n t 2018 ダイジェスト AWS ストレージサービス西日本ソリューション部ソリューションアーキテクト藤原吉規 / Yoshinori Fujiwara 2018, Amazon Web Services, Inc. or its affiliates. A"

とよみかみこ
5 years ago
Views:

2 AWS r e : I n v e n t 2018 ダイジェスト AWS ストレージサービス西日本ソリューション部ソリューションアーキテクト藤原吉規 / Yoshinori Fujiwara

様々なワークロード向けの AWS ストレージブロックストレージファイルストレージ EFS Standard

EBS Amazon EC2 AWS Storage Gateway Family Amazon EFS

Lustre NEW! NEW! EFS Infrequent Access NEW!

S3 Intelligent-Tiering 適材適所の選択 Right tool for the right

4 様々なワークロード向けの AWS ストレージブロックストレージファイルストレージ EFS Standard プロビジョンド IOPS SSD スループット最適化 HDD コールド HDD Elastic Amazon EBS Amazon EC2 AWS Storage Gateway Family Amazon EFS Amazon FSx for Windows File Server Amazon FSx for Lustre NEW! NEW! EFS Infrequent Access NEW! オブジェクトストレージ S3 Standard NEW! S3 Intelligent-Tiering 適材適所の選択 Right tool for the right job Amazon S3 & S3 Glacier S3 Standard-IA S3 One Zone-IA S3 Glacier COMING S3 Glacier Deep Archive SOON!!

5 データ転送の選択肢 AWS Direct Connect Amazon Kinesis Firehose Amazon Kinesis Data Streams Amazon Kinesis Video Streams Amazon S3 Transfer Acceleration AWS Storage Gateway NEW! NEW! NEW! AWS Snowball AWS Snowball Edge Storage Optimized AWS Snowball Edge Compute Optimized AWS Snowmobile AWS DataSync AWS Transfer for SFTP

7 Amazon S3 Archiving Analytics Website hosting Backup & restore Origin storage for CDN Enterprise applications Mobile sync and storage

8 S3 Intelligent-Tiering NEW! 自動的なコスト節約アクセスパターンの変化に応じてオブジェクトを 2 つのアクセス階層間で自動的に移動 : 高頻度のアクセス用に最適化された階層低頻度のアクセス用に最適化された階層オブジェクトレベルでの監視と自動階層化 (S3 標準または S3 標準 -IA の料金に加え 1,000 オブジェクトあたり $ の料金 ) 機能 / 耐久性 / パフォーマンスについては通常の S3 と同等

9 Amazon S3 Glacier Deep Archive NEW! クラウドで利用可能な最小コストのストレージテープ管理不要 11x9 の耐久性時間単位での復旧 S3 Glacier の 1/4 以下のコスト $ /GB/ 月 COMING IN 2019

10 Amazon S3 ストレージクラスの選択肢 NEW! NEW! S3 Standard S3 Intelligent- Tiering S3 Standard-IA S3 One Zone-IA S3 Glacier 高頻度アクセス頻度 S3 Glacier Deep Archive 低頻度アクティブ頻繁にアクセスするデータミリ秒アクセス > 3 AZ $0.0210/GB~ 変化するアクセスパターンのデータミリ秒アクセス > 3 AZ $0.0210~$0.0125/GB オブジェクト毎の管理料金最低保持期限低頻度アクセスデータミリ秒アクセス > 3 AZ $0.0125/GB~ GB 毎の取り出し料金最低保持期限最小オブジェクトサイズ再作成可能な低頻度アクセスデータミリ秒アクセス 1 AZ $0.0100/GB~ GB 毎の取り出し料金最低保持期限最小オブジェクトサイズアーカイブデータ分 ~ 時間アクセス > 3 AZ $0.0040/GB~ GB 毎の取り出し料金最低保持期限最小オブジェクトサイズアーカイブデータ時間アクセス > 3 AZ $ /GB~ GB 毎の取り出し料金最低保持期限最小オブジェクトサイズ

11 Amazon S3 Glacier NEW! Direct PUT S3 CRR の Glacier 対応リストア通知復元速度のアップグレード S3 API で直接 S3 Glacier ストレージクラスに PUT が可能 CRR 先のリージョンで S3 Glacier ストレージクラスを指定可能ジョブの開始および完了時に SNS/SQS で通知を発行一度発行した復元リクエストをより高速な取り出しオプションで上書き ( 標準迅速一括標準一括迅速 )

12 S3 Object Lock NEW! S3 オブジェクトを削除 / 上書き不可に Write Once Read Many (WORM) の保護を実現バケット単位で設定保持期限の管理バケットレベルのデフォルト設定で保持期限を設定保持期限は個々のオブジェクトレベルで設定可能法的保留のシナリオをサポートデータ保護とコンプライアンス Cohasset Associates 社が SEC 17a-4 CFTC FINRA に対して評価済み偶発的あるいは悪意のある削除に対する強固な保護

13 S3 Object Lock モード NEW! コンプライアンスモードコンプライアンス用途 root アカウントでさえオブジェクトの変更 / 削除は不可 Cohasset Associates 社による評価済みガバナンスモードデータ保護用途オブジェクトに対する明示的な許可がある場合のみオブジェクトの変更 / 削除が可能コンプライアンスモードに変更可能

14 S3 Batch Operations (Preview) NEW! 数千数百万数十億のオブジェクトに対する API アクションを一括実行

15 S3 Batch Operations (Preview) NEW! 数千数百万数十億のオブジェクトに対する API アクションを一括実行

17 フルマネージド型クラウドファイルシステムファイルベースのアプリケーション対応のニーズに応じたファイルシステムオプションを提供ビジネスアプリケーション向けファイルシステムコンピューティング集約型アプリケーション向けファイルシステム Amazon EFS Amazon FSx for Windows File Server Amazon FSx for Lustre 幅広い Linux ベースのビジネスアプリケーション用のフルマネージド型クラウドネイティブファイルシステム LINUX-BASED WORKLOADS ビジネスアプリケーション用のフルマネージド型 Windows ファイルサーバ Windows Server 上に構築され Windowsファイルシステムの機能をネイティブにサポート WINDOWS-BASED WORKLOADS コンピューティング集約型ワークロード向けのフルマネージド型 Luster ファイルシステムオープンソースの並列ファイルシステムとして人気の高い Lustre を提供

18 Amazon FSx for Windows File Server Windows ネイティブなフルマネージド型ファイルシステム

19 Windows ワークロードの約 2/3 が AWS 上で稼働 Note: Includes Windows instances deployed in the public cloud IaaS market during 2017 Source: IDC estimates, 2018 IDC, Windows Server Operating Environment Market Update, Doc # US , Aug

20 Amazon FSx for Windows File Server Windows ファイルストレージを完全マネージド型の Windows ファイルサーバとしてリフト & シフト Windows ネイティブ互換高速で柔軟なパフォーマンスエンタープライズ対応幅広い接続性フルマネージド型

21 Windows ネイティブ互換 SMB AD Windows ネイティブ互換 NTFS SMB ネイティブ対応 2.0 to Microsoft AD とのインテグレーションと Windows ACL のサポート DFS 名前空間と DFS レプリケーション Windows Server

22 高速で柔軟なパフォーマンス SSD ベースで構成高いスループット高い IOPS 高速で柔軟なパフォーマンスストレージ容量と独立したスループットの選択一貫したミリ秒未満のレイテンシ

23 高速で柔軟なパフォーマンスストレージ容量と独立したスループットの選択スループット能力 (MB/s) ,024 2,048 ベースライン (MB/s) ,024 2,048 バースト (MB/s) キャッシングでさらに高いパフォーマンスを提供 : 600 MB/s - 3 GB/s

24 エンタープライズ対応 (1/2) 高い可用性と耐久性ハードウェア障害の検出と解決 AZ 内でデータをレプリケーションバックアップは S3 に保管 DFS 名前空間と DFS レプリケーションによるマルチ AZ 配置

25 エンタープライズ対応 (2/2) 保管データと伝送データの暗号化 AD 統合と Windows ACL のサポート Amazon VPC セキュリティグループによるネットワークトラフィックのアクセス制御セキュリティとコンプライアンス AWS IAM による管理 API アクセスの制御 AWS CloudTrail による API コールの監視とログ PCI-DSS ISO HIPAA 準拠

26 幅広い接続性 Amazon EC2 VMware Cloud on AWS Amazon WorkSpaces Amazon AppStream 2.0 幅広い接続性 Microsoft Windows Server Windows 7+ Linux (Samba client) SMB Windows Server

27 フルマネージド型フルマネージド型ファイルサーバとストレージボリュームのプロビジョニングセットアップ管理 Windows ソフトウェアを最新状態にアップデートバックアップの取得と管理の自動化

28 幅広いユースケースのサポートホームディレクトリ LoB アプリケーション Web サイトとコンテンツ管理ソフトウェア開発環境メディアワークフロー分析

29 AD 認証ファイルシステムを AWS Directory Service for Microsoft ADで管理されるADにJoinして利用自社管理のADは AWS Directory Service for Microsoft ADと片方向の信頼関係を結ぶことで利用可能 Windows ACLを適用する場合ユーザーの資格情報がADを使用して検証される

30 アーキテクチャ Region VPC Availability zone A Subnet 1 Instances Elastic network interface

31 Multi-AZ アーキテクチャ Region VPC Availability zone A Subnet 1 Instances Availability zone B DFS Replication Subnet 2 Instances

32 オンプレミスファイルの移行 On-Premise Region VPC Availability zone A Subnet 1 File server Instances VPN Connection

33 料金モデルストレージ容量 : $0.130 GB- 月スループット容量 : $2.200 MB/s- 月バックアップ : $0.050 GB- 月料金試算例ファイルシステムが米国東部 ( バージニア北部 ) リージョンにあり 800 GB のストレージ容量と 8 MB/s のスループット容量を割り当て毎月平均で 400 GB のバックアップストレージを消費 800 GB- 月 x $0.130 GB- 月 + 8 MB/s- 月 x $2.200 MB/s- 月 GB- 月 x $0.050 GB- 月 = $ 米国東部 ( バージニア北部 ) リージョンの 2018 年 12 月 11 日時点の料金

34 提供リージョン米国西部 (オレゴン) 米国東部 (バージニア北部 ) 米国東部 (オハイオ) 欧州 (アイルランド)

35 Amazon FSx for Lustre フルマネージド型のコンピューティング集約型ファイルシステム

36 Lustre とは % 並列ファイルシステムオープンソース 15 年以上の実績 Top100スパコンの60% が利用計算負荷の高いワークロードの多くで利用地質探査地理空間解析ファイナンシャルモデリングメディアレンダリングトランスコード電子設計自動化

37 Amazon FSx for Lustre コンピューティング集約型ワークロードのためのフルマネージドなファイルシステム高いスケール性能 Amazon S3 とのシームレスな統合シンプルなフルマネージド型ネイティブなファイルシステムインタフェースコンピューティング集約型ワークロードに向けたコスト最適化セキュアとコンプライアンス

38 高いスケール性能並列ファイルシステム SSD ベースで構成高いスケール性能 100 GiB/s 以上のスループット数百万 IOPS 一貫したミリ秒未満のレイテンシ数十万 CPU コアのサポート

39 ストレージ容量に合わせてリニアにスケールするスループットと IOPS 1 TB のストレージ容量ごとに 200 MB/s のスループットを提供ファイルシステムは数百 GB/s のスループット数百万 IOPS までスケール可能

40 Amazon S3 とのシームレスな統合 Amazon S3 のデータセットと Amazon FSx for Lustre ファイルシステムを関連付ける S3 に保存したデータを処理するために Amazon FSx にインポート処理結果を保存するため S3 にエクスポート処理が終了したらファイルシステムを削除すれば課金されない

41 オンプレミス環境のクラウド拡張にも対応オンプレミス AWS AWS Direct Connect VPN

42 シンプルなフルマネージド型 Lustre シンプルなフルマネージド型ファイルサーバやストレージボリュームのセットアップ Lustre ソフトウェアの設定や管理 Amazon S3 からのデータ入出力の管理

43 既存のアプリケーションとの互換性 POSIX 互換性 Linux OS の既存のファイルシステムと同様に扱えるアプリケーションの変更は不要 Read-afterwrite/close の整合性モデルファイルロックのサポート

44 セキュリティとコンプライアンス保存時のデータ暗号化 PCI-DSS ISO HIPAA 準拠 Amazon VPC セキュリティグループによるネットワークトラフィックのアクセス制御セキュリティとコンプライアンス AWS IAM による管理 API アクセスの制御 AWS CloudTrail による API コールの監視とログ

45 コンピューティング集約型ワークロードに向けたコスト最適化性能とコストの最適化コスト最適化ファイルシステム内ではレプリケーションしない長期保管用のデータはオンプレミスまたは S3 を利用作成や削除は数分以内に完了使用したリソースのみへの支払い FSx for Lustre 料金モデル : $0.14 GB- 月 ($0.20 TB- 時 ) 秒単位の課金

46 幅広いユースケースのサポートハイパフォーマンスコンピューティング機械学習メディアレンダリングトランスコードビッグデータ解析電子設計自動化ファイナンシャルモデリングオイルガス地質調査自立システムのトレーニング

47 提供リージョン米国西部 (オレゴン) 米国東部 (バージニア北部 ) 米国東部 (オハイオ) 欧州 (アイルランド)

48 様々なファイルベースのワークロードを支える AWS のファイルストレージ DATABASE BUSINESS APPLICATIONS FINANCIAL SERVICES OCR FILE SERVICES NFS SOFTWARE DEVELOPMENT TOOLS COMPUTE-INTENSIVE WORKLOADS B A C K U P & R E S T O R E CONTAINERS EDA LINUX FILE SHARING GENOMICS EDI FILE SYSTEMS DATA TRANSFER MEDIA AND ENTERTAINMENT DATA ANALYTICS HYBRID STORAGE MACHINE LEARNING HPC WEB SERVING DATA LAKE

50 AWS DataSync オンプレミスストレージとクラウドのデータ転送をシンプルに自動で高速に実行するオンライン転送サービス高速な転送簡単に利用可能安全で高信頼性セキュリティとコンプライアンス高コスト効率ネットワーク高速化ソフトウェアによる高速性と信頼性をオープンソースツールの経済性で提供

51 エージェント毎に最大 10Gbps の転送が可能 AWS DataSync 専用の転送プロトコルマルチスレッド大きなファイルの並列転送スケールアウト高速な転送差分転送による効率化自動圧縮スパースファイルの検知 Amazon S3 と EFS への読み書きに最適化ネットワーク帯域のスロットリングに対応

52 データ移動の管理を容易にするコンソールや CLI/SDK で設定管理インフラのデプロイや管理が不要簡単に利用可能オンプレミス側のエージェントは自動更新メタデータは維持される CloudWatch によるモニタリング

53 信頼性の高いデータ転送 TLS1.2 による通信路暗号化 KMS による保存データの暗号化に対応安全で高信頼性 VPC 内の AWS サービスにアクセスが可能転送中保存中のデータバリデーション I/O エラーや転送エラーからの自動リカバリ

54 セキュリティとコンプライアンス PCI-DSS に準拠 HIPAA に対応セキュリティとコンプライアンスアクセス制御に AWS IAM を利用 AWS CloudTrail による監査

55 高コスト効率前払いや最小利用量の制約なしでコピーしたデータ 1 GB あたり $0.04 の課金料金例 : 100 GB を EFS に取り込むと $4 高コスト効率 AWS のインフラはフルマネージドかつ利用状況に応じてスケールオンプレミスのエージェントは自動更新され管理の手間が不要

AWS DataSync の動作概要 On-Premise Region AWS storage resources NFS TLS Amazon S3 bucket Shared file systems AWS DataSync agent AWS DataSync Amazon

56 AWS DataSync の動作概要 On-Premise Region AWS storage resources NFS TLS Amazon S3 bucket Shared file systems AWS DataSync agent AWS DataSync Amazon EFS file system エージェントはローカルストレージに高速にアクセスするためにオンプレミスに配置 WAN 経由のデータ転送 ( 送 / 受信 ) は専用プロトコルを使用 AWS 内のサービスが AWS ストレージサービスを読み書きマネジメントコンソールか CLI で管理

57 3 ステップの操作エージェントを導入して AWS アカウントと紐付け転送元 / 先とオプションを選択してタスクを作成タスクの開始と監視 VMware ESXi 8 vcpu 32 GB memory オンプレミスの NFS と S3 バケットまたは EFS ファイルシステムコンソールあるいは Amazon CloudWatch で監視

58 エージェントを導入して AWS アカウントと紐付け console.aws.amazon.com/datasync 1 2 3

59 転送元 / 先とオプションを選択してタスクを作成 1 2 3

60 タスクの開始と監視 1 2 3

61 タスクオプションタスクの作成時に構成タスク実行時に設定は変更可能タスク実行後にファイルレベルのバリデーションファイルのメタデータの維持を選択転送元で削除済みのファイルを転送先で保持共有ネットワーク利用時の帯域制限を設定

62 提供リージョン米国東部 (バージニア北部) 米国東部 (オハイオ) 米国西部 (北カリフォルニア) 米国西部 (オレゴン) 欧州 (フランクフルト) 欧州 (アイルランド) アジアパシフィック (東京) アジアパシフィック (ソウル) アジアパシフィック (シンガポール) アジアパシフィック (シドニー)

64 AWS Transfer for SFTP SFTP でデータ転送を行い Amazon S3 に保存可能なフルマネージド型サービス既存のワークロードのシームレスな移行フルマネージド型セキュリティとコンプライアンス AWS サービスとの連携高コスト効率簡単に利用可能

65 3 ステップで SFTP サービスをセットアップホスト名の指定 S3 バケットの選択ユーザのセットアップサーバのエンドポイントにホスト名を関連付ける特定の S3 バケットにアクセスし SFTP でデータ転送を行うための IAM ロールを作成するユーザを作成しファイル操作を行うための IAM ロールを割り当てる AWS SFTP サーバのエンドポイント経由でデータ転送可能に

66 これからの SFTP サービスのアーキテクチャ AWS Transfer for SFTP + シームレスな移行 + フルマネージド型 + セキュリティとコンプライアンス AWS SFTP Amazon S3 + AWS サービスとの連携アプリケーションプロセスクライアントソフトウェアの構成や動作の変更は不要 + 高コスト効率 + 簡単に利用可能

67 既存のワークロードのシームレスな移行 AWS への移行はエンドユーザには影響を与えない Amazon Route 53 を利用して既存の SFTP 用ドメインをサービスのエンドポイントに移行既存の転送用クライアントを利用可能ホスト名と認証情報は既存のものを継続して利用可能既存の ID プロバイダ (Microsoft AD LDAP) を用いたユーザ認証も可能

68 フルマネージド型 SFTP サーバを管理する労力と時間を削減需要に応じてリアルタイムでオートスケールリージョン内の複数 AZ で冗長化

69 セキュリティとコンプライアンス HIPAA に対応 PCI-DSS に準拠保存時の暗号化オプション (SSE-S3 or SSE-KMS) CloudWatch によるユーザ行動のトラッキング

70 AWS サービスとの連携データは Amazon S3 バケットに保存されアーカイブや加工解析に活用 S3 events を利用してアップロード後に自動で処理 AWS IAM を利用したリソースのアクセス制御サーバサイド暗号化 (S3 or KMS)

71 高コスト効率 SFTP エンドポイント料金 : $0.30/ 時 SFTP アップロード / ダウンロード : $0.04/GB 料金例 : 10GB/ 日 $2.7K/ 年 100GB/ 日 $3.6K/ 年注意 : エンドポイント課金を停止するためにはサーバの停止ではなく削除が必要

72 簡単に利用可能 AWS マネジメントコンソールや API から簡単にセットアップ可能 IT の専門家でなくとも SFTP サーバやユーザアクセスの設定が可能

73 簡単に利用可能

74 サービスマネージドのユーザアクセスサービス内でユーザIDとキーを保管管理 1. AWSマネジメントコンソールでユーザの資格情報とキーを構成 2. 既存のクライアントと資格情報を使用してサービスを利用 3. ファイル転送中はIAMロールを使用してAmazon S3にアクセス AWS SFTP AWS Transfer for SFTP Amazon S3

75 カスタム ID プロバイダー (IdP) の利用独自のIdPを使用したい場合は Amazon API Gatewayで統合 1. API GatewayのメソッドでIdPを統合 2. API Gateway 経由でIdPを使用してユーザ認証 3. ファイル転送中はIAMロールを使用してAmazon S3にアクセス 1 3 VPC 2 AWS SFTP AWS Transfer for SFTP Amazon S3

76 提供リージョン米国東部 (バージニア北部) 米国東部 (オハイオ) 米国西部 (北カリフォルニア) 米国西部 (オレゴン) カナダ (中部) 欧州 (フランクフルト) 欧州 (ロンドン) 欧州 (アイルランド) 欧州 (パリ) アジアパシフィック (東京) アジアパシフィック (ソウル) アジアパシフィック (シンガポール) アジアパシフィック (シドニー)

78 Thank you!

PowerPoint Presentation

PowerPoint Presentation AWS AWS AWS AWS AWS AWS AWS オンプレミスデータセンター AWS Storage Gateway Amazon Kinesis Firehose EFS File Sync S3 Transfer Acceleration AWS Direct Connect Amazon Macie AWS QuickSight AWS Lambda AWS CloudFormation

AWS r e : I n v e n t 2018 ダイジェスト AWS ストレージサービス 西日本ソリューション部ソリューションアーキテクト藤原吉規 / Yoshinori Fujiwara 2018, Amazon Web Services, Inc. or its affiliates. A

AWS r e : I n v e n t 2018 ダイジェスト AWS ストレージサービス西日本ソリューション部ソリューションアーキテクト藤原吉規 / Yoshinori Fujiwara 2018, Amazon Web Services, Inc. or its affiliates. A