Presentation Title Here

Transcription

1 AWS Black Belt Online Seminar Amazon Elastic File System アマゾンウェブサービスジャパン株式会社西日本担当ソリューションアーキテクト辻義一

2 自己紹介 辻義一 ( つじよしかず ) 西日本担当ソリューションアーキテクト簡単な経歴 大阪生まれの大阪育ち 独立系 SIerでインフラエンジニア AWSのすきな所 安い 早い おもしろい , Amazon Web Services, Inc. or its affiliates. All rights reserved.

3 AWS Black Belt Online Seminar とは AWSJ の Tech メンバが AWS に関する様々な事を紹介するオンラインセミナーです 火曜 12:00~13:00 主に AWS のソリューションや業界カットでの使いどころなどを紹介 ( 例 :IoT 金融業界向け etc.) 水曜 18:00~19:00 主に AWS サービスの紹介やアップデートの解説 ( 例 :EC2 RDS Lambda etc.) 最新の情報は下記をご確認下さい オンラインセミナーのスケジュール & 申し込みサイト 3

4 AWS のストレージサービス Amazon EBS Instance Store Amazon S3 Amazon Glacier Amazon EFS ブロック オブジェクト ファイル

5 EFS 提供状況 6/29より一般提供 (General Availability) 開始以下のリージョンで提供中 米国東部 ( バージニア北部 ) 米国西部 ( オレゴン ) EU ( アイルランド ) 他のリージョンは現時点では未定

6 EFS は NFS でアクセスできるストレージ 複数の EC2 から NFS を使ってネットワーク経由でアクセス NFS v4 を利用 Linux からマウントして利用できる EFS へのアクセスはファイル単位 EBS はブロック単位 EFS ファイルシステム PC から使用できるファイル共有サービスではない

7 NFS (Network File System) とは Unix / Linux でネットワーク経由でファイルシステムを 共有するための標準的な仕組みとプロトコル ストレージを利用するサーバ群 ストレージを提供するサーバ / /usr /home /opt /mnt /efs / /usr /home /opt /share /dev/sdx リモートのファイルシステムをマウント LAN ローカルのファイルシステムを公開

8 幅広いユースケースで利用できる 例えば パッケージアプリで S3 に対応させるなどの修正できない ビックデータ /HPC 大量のサーバに分散して分析する際に分析データの共有 コンテンツのレポジトリ AutoScaling する Web サーバ群で ユーザがアップロードした画像ファイルを全サーバで共有

9 CDP:NFS Sharing パターンが変わる 元々の注意点 NFS サーバーの管理が必要となる EC2 インスタンスが多くなると NFS アクセスのパフォーマンスの考慮が必要となる NFS サーバーが SPOF になるのを防ぐためには GlusterFS などのソリューションを検討する EC2 を使った NFS サーバのパフォーマンス課題や構築 運用の手間を解消

10 EFS の特徴 シンプル 柔軟スケーラブル 高耐久性高可用性

11 シンプル フルマネージド型 サーバ ディスクなどの管理は不要 数秒で作成できる 既存のツールやアプリがそのまま使える NFS v4 でマウントできる 標準の OS API から利用できる 標準的なファイルシステムの仕組み 保存された合計容量だけの課金 簡単に料金予測しやすい

12 柔軟 スケーラブル 拡張 縮小などは不要 1 つのファイルシステムにペタバイトまで保存可能 性能がスケール 保存容量に応じてスループット IOPS 性能が向上 小容量時に有利なクレジット制でバーストも SSDベースでIOの応答は1 桁ミリ秒程度 数千の NFS 同時接続をサポート

13 高耐久性 高可用性 複数 AZ に複製されて保存される 複数の AZ から同時に読み書き可 複数の AZ にある複数の EC2 インスタンスから読み書きできる 書き込み完了直後には他でも反映される

14 EFS の基本

15 管理単位 ファイルシステム ファイルシステム EFS の最上位の管理単位 ファイルやディレクトリを保管する場所 1 つの AWS アカウントに複数の ファイルシステム を作成できる

16 接続先 マウントターゲット EFS EC2 EC2 EC2 マウントターゲット AZ - A AZ- B AZ - C VPC 内の各 AZ にあるマウントターゲットが NFS の接続先 各 EC2 インスタンスからは 同じ AZ にあるマウントターゲットに接続 各マウントターゲットの DNS 名と IP アドレスは固定

17 セキュリティグループでアクセス制限 マウントターゲット 各マウントターゲットごとにセキュリティグループを設定 EFS EC2 AZ - A NACL でのアクセス制限も可能 AZ- B EC2 EC2 AZ - C

18 パフォーマンスのモード Update at GA デフォルト General Purpose モード 一般的な用途を想定したモード Max I/O モード 何十台 何百 何千台の EC2 から同時に利用するような大規模な利用の際に IO 操作のレイテンシより 合計スループットを優先してスケールさせるモード 基本的には General Purpose モードを推奨 Max I/O モードの方がメリットがあるかどうかは CloudWatch の PercetIOLimit から判断

19 利用する EC2 環境 NFS 4.0/4.1 をサポートしている Linux であること Linux kernel 4.0 以降や Amazon Linux AMI を推奨 Windows はサポートしておらず 利用不可 必要な NFS パッケージをインストール Amazon Linux や Redhat など $ sudo yum install nfs-utils Ubuntu など $ sudo apt-get install nfs-common

20 EC2 上でマウント コマンドライン ( アベイラビリティゾーンを自動判定 ) $ sudo mount -t nfs4 -o vers=4.1 $(curl -s /efs-mount-point /etc/fstab への設定 ( アベイラビリティゾーンを明示指定 ) availability-zone.file-system-id.efs.aws-region.amazonaws.com:/ /efs-mount-point nfs4 defaults,vers= マウント時のオプション NFS 4.1 を利用する方がパフォーマンスが良いため明示指定を推奨 OS 環境によってデフォルト値が異なれば 以下のオプションも指定を推奨 rsize= ,wsize= ,hard,timeo=600,retrans=2

21 複数の EC2 から同時アクセス可 EFS EC2 EC2 EC2 AZ - A AZ- B AZ - C 同じファイルシステムに どの AZ にある EC2 からも同時にアクセス可 ( ただし同一 VPC 内のみ ) 強い一貫性があり 全ての読み込みは最新のデータが反映されていることを保証 ファイルのロックが可能 ( ファイル単位 バイト範囲単位 )

22 AWS の他サービスとの連携 CloudWatch - ファイルシステムごとに以下のメトリック メトリック名単位有効な統計設定意味 BurstCreditBalance バイト平均 / 最小 / 最大 ファイルシステムが持っているクレジット量 保存している GB ごとに 0.05 MB/s 追加され 利用したスループットで減少する ClientConnections 接続数合計 1 分毎 NFS の同時接続数 通常接続している EC2 インスタンス数 DataReadIOBytes DataWriteIOBytes MetadataIOBytes TotalIOBytes バイト バイト 回数 合計 最小 / 最大 / 平均 サンプル数 該当間隔において 読み込み 書き込み メタデータ操作 すべて がされた合計バイト数 スループットを確認できるが 間隔設定に注意 該当間隔における 読み込み 書き込み メタデータ操作 すべて における最小 最大 平均バイト数 該当間隔における 読み込み 書き込み メタデータ操作 すべて がされた回数 IOPS を確認できるが 間隔設定に注意 PercentIOLimit % 最大 ( 平均 ) General Purpose モードでの I/O 限界にどの程度達しているか 100% に届く事が度々発生する場合は Max I/O モードの検討を PermittedThroughput バイト /s 最小 / 最大 / 平均 ファイルシステムに保管されている容量やクレジット量に基づいて 処理できる最大スループット

23 AWS の他サービスとの連携 タグ付け - 説明付けや料金の振り分け IAM - EFS 管理 APIのアクセス制御 CloudTrail - EFS 管理 APIの呼び出し記録 CloudFormation - EFS 構成の自動化 Data Pipeline - EFS ファイルシステム間コピーなど

24 画面イメージ

25

26

27

28

29

30 EC2 からの見え方 ( 例 ) $ sudo mount -t nfs4 -o nfsvers=4.1 $(curl -s /mnt/efs $ df -h Filesystem Size Used Avail Use% Mounted on /dev/xv 7.8G 2.2G 5.6G 28% / devtmpfs 30G 68K 30G 1% /dev tmpfs 30G 0 30G 0% /dev/shm us-east-1b.fs-cd0bcd84.efs.us-east-1.amazonaws.com:/ 8.0E 17T 8.0E 1% /mnt/efs

31 パフォーマンス

32 ファイルストレージの負荷特性 容量が大きくなれば よりスループット性能が必要になる ピーク性が高いことが多い Amazon EFS はスケーラブルでバースト可能な性能を提供

33 EFS のパフォーマンス特性 内部的に多数のストレージサーバにまたがった分散アーキテクチャ ペタバイトまで柔軟にスケールする事ができる 複数のEC2インスタンスからの並列アクセスに対応できる 従来のファイルサーバにありがちなボトルネックや制約を回避 全体でかなりのスループット IOPS 性能を得られる 分散アーキテクチャのため IO 処理 ファイル操作にはレイテンシーのオーバーヘッドがある (IO の処理サイズが大きい 並列化されている 非同期化されているなどの際には無視できるレベルである事が多い )

34 EFS のパフォーマンス特性 パフォーマンス特性も考慮して利用するストレージサービスを選定を 個々のシステムによって要件は異なるため PoC をして確認を ユースケース メディアデータ処理遺伝子解析ビックデータ並列ジョブ Web サイトコンテンツ管理 ソフトウェアのビルドメタデータ保管 ユースケースが必要とするパフォーマンス特性 並列 I/O スループット重視 シリアル I/O レイテンシ重視 S3 EFS 適したストレージ ( スループット最適 ) EBS ( 汎用 SSD Provisioned IOPS)

35 スループット (MB/s) スループット性能は容量に応じてスケール 全クライアント合計のファイルシステム全体でのスループット性能 バースト時 ベース性能 容量 (TB) 各 EC2 インスタンスでの性能は最大 250MB/s まで 加えてインスタンス性能の上限もあり

36 スループット性能がクレジットの仕組みでバースト 連続 12 時間バーストまで蓄積可 保存している GB ごとに 0.05 MB/s 追加 ( ベース性能 ) どのようなファイルシステムも最低限ベース性能のスループットがあるベース性能からバーストして より高いスループットを得られる新しく作ったファイルシステムは 最大までクレジットが蓄積されている クレジットを消費して以下までスループットが出せる 保管 1TB まで :100MB/s それ以上保管 :1TB あたり 100MB/s

37 スループット性能の例 保存容量 読み込み 書き込みのスループット性能 100GB 1TB 10TB 常時 5 MB/s 以上 1 日最大 72 分間 100 MB/s までバースト可 常時 50 MB/s 以上 1 日 12 時間 100 MB/s までバースト可 常時 500 MB/s 以上 1 日 12 時間 1 GB/s までバースト可

38 まとめ AWS のストレージサービスの比較 EBS (SSD) EFS S3 タイプ ブロック ファイル オブジェクト プロトコル 仮想化されたディス (SCSI) NFS HTTP API (Webサーバにも) 既存アプリとの親和性 API 対応要 料金 単位容量 ( + 性能 ) 容量容量 + リクエスト数 容量単価 $ 0.12 /GB $ 0.30 /GB $ 0.03 /GB 保存容量最大 16 TB ( ボリュームあたり ) 無制限無制限 複数のサーバから同時利用 直接は不可可可 可用性 耐久性 1 AZ 内で複製複数 AZ で複製 3 箇所以上で複製 スループット性能 IOPS 性能 最大 320MB/s ( ボリューム当たり ) GB 当たり 3 iops など GB 当たり 0.05MB/sでスケール ( デフォルトで最大 3GB/sまで ) スケーラブル (GeneralPurpose Modeでは最大 7000ファイルシステム操作 ) スケーラブル レイテンシ IO 負荷によるが数ミリ秒未満 (Provisioned IOPS の場合 ) 少しあり 比較的あり

39 その他 現時点での仕様や制限 プロトコル :NFSv4.0/4.1 (TCP 2049 ポート ) CIFS のサポートなし 推奨クライアント : 現行 Linux NFSv4 クライアント NFS v4の機能であっても未サポートの機能あり パーミッション設定は可能だが ACL 設定は不可 Kerberos 認証機能未提供など 数量などの制限あり 1 台の EC2 インスタンスから同時にオープンできるファイル数 32,768 まで ファイル名 ディレクトリ名は 255 バイト 1000 階層まで パフォーマンスのモードを変更できず 再作成が必要 同一 VPC 内からのみアクセス可 インターネット インターネット VPN Direct Connect VPC Peering などからアクセス不可 バックアップ機能 バージョニング機能は未提供 耐久性は高いが 誤削除から守る必要があれば別途対策が必要別 EFS ファイルシステムや EBS/EBS Snapshot へのバックアップなど サーバサイド暗号化機能は未提供 ( まもなく提供予定 )

40 参考資料 AWS Elastic File System メインページ : FAQ: ユーザガイド : リミット パフォーマンス

41 41 Q&A

42 オンラインセミナー資料の配置場所 AWS クラウドサービス活用資料集 AWS Solutions Architect ブログ 最新の情報 セミナー中の Q&A 等が掲載されています 42

43 公式 Twitter/Facebook AWS 検索 もしくは 最新技術情報 イベント情報 お役立ち情報 お得なキャンペーン情報などを日々更新しています! 43

44 AWS の導入 お問い合わせのご相談 AWS クラウド導入に関するご質問 お見積り 資料請求をご希望のお客様は 以下のリンクよりお気軽にご相談ください 44 AWS 問い合わせ で検索してください

45 45 ご参加ありがとうございました

46 46