Hundreds of Thousands of Customers in 190 Countries

Size: px

Start display at page:

Download "Hundreds of Thousands of Customers in 190 Countries"

なおちかわかはら
5 years ago
Views:

1 基幹業務をAWSクラウドで実現する勘所 ~ 高可用性システム / バックアップのためのアーキテクチャ設計 ~ Kiyonori Kitasako Solutions Architect

2 Wifi は全セッション会場展示会場にてご利用いただけます SSID: awssummit #awssummit

3 自己紹介名前北迫清訓所属アマゾンデータサービスジャパンソリューションアーキテクト経歴ハードウェアベンダーにて通信メディア系のお客様を中心にシステムコンサルから構築プロジェクトマネージメントを担当

4 基幹業務システムとは? 企業の情報システムのうち業務内容と直接に関わる販売や在庫管理財務などを扱うものあるいは単に業務やサービスの中核となる重要なシステム扱うデータの大半は定型的なもので扱う人間も事務員や発注担当者など操作に慣れているものが多いため複雑なインタフェースや出力の柔軟性よりも安定性と正確さが要求される ( 引用 ) IT 用語辞典 e-words

5 システムの安定性安定性可用性 (Availability) 稼働率 9 35 days % 4 days 9 hours 52 mins 5 mins 9 32 sec

6 可用性稼働率の向上インフラレイヤーにおける可用性稼働率の向上アプローチ冗長化予備機への切換を簡素化しいかにダウンタイムを短縮させるかがポイント

7 従来の可用性の考え方物理から仮想への変革

8 従来の可用性向上の考え方ハードウェアアプローチ筐体の冗長化各種部品の冗長化回線ネットワーク経路の冗長化ソフトウェアアプローチ負荷分散機能によるActive / Active 構成クラスタ機能によるActive / Standby 構成予備部品の確保予備への切換の自動化データのバックアップ保険

9 従来の可用性向上の考え方物理システムアーキテクチャ構成図 Internet ネットワークレイヤー回線の 2 重化ネットワーク機器の 2 重化 L3 L3 Front End レイヤー LB の 2 重化 (Act / Stb) LB による AP の負荷分散 (Act / Act) LB (Act) AP (Act) LB (Stb) AP (Act) Back End レイヤークラスタソフトウェアによる冗長化 (Act / Stb) DB (Act) DB (Stb) Backup Backup レイヤー大半がシングル構成 Storage Storage レイヤー大型共有ストレージに依存

10 従来の可用性向上の考え方アプローチ Single Point of Failure(SPOF) の回避予備機切換の自動化稼働率内での一時的なサービス停止は許容その結果予備設備含め管理対象機器が増えトータル運用コストの増加自動切り替え実装によるシステムの複雑化予備機やり切換部分での障害ポイントの増加システム要件とインフラ構成のサービスレベルのミスマッチ

11 従来の可用性向上の考え方 ( 技術の進化 ) 仮想化によるシステム統合アプローチミドルウェアの仮想化により同一環境に複数のアプリをデプロイハイパーバイザーを利用したインフラの共有利用サーバ台数の大幅削減仮想レイヤーでのHAの実現システム要件とインフラ構成のサービスレベルの柔軟性冗長化を維持した柔軟なインフラ

従来の可用性向上の考え方 ( 技術の進化 ) 仮想システムアーキテクチャ構成図 Internet ネットワークレイヤー物理同様 Front End レイヤー L3 LB (Act) L3 LB (Stb) Storage レイヤー大型共有ストレージに依存ストレージへの依存度増加 LB の 2 重化

12 従来の可用性向上の考え方 ( 技術の進化 ) 仮想システムアーキテクチャ構成図 Internet ネットワークレイヤー物理同様 Front End レイヤー L3 LB (Act) L3 LB (Stb) Storage レイヤー大型共有ストレージに依存ストレージへの依存度増加 LB の 2 重化 (Act / Stb) ハイパーバイザー HA 機能でリソースの有効活用 AP(Act) VM Backup レイヤーハイパーバイザーの HA 機能により可用性向上 Back End レイヤーハイパーバイザー HA 機能により簡易的な HA 化も実現可能 DB(Act) VM VM Storage Backup VM

13 従来の可用性向上の考え方 ( 技術の進化 ) アプローチシステムごと別 HW に移動させるという新たな冗長性複雑なクラスタ実装からの脱却進化した結果. 仮想化技術によりシステムの冗長化に関する考え方の大きな変革可用性に対する選択肢の増加ただしリソースは有限

14 AWS におけるの可用性の考え方 AWS による新たな可能性

15 AWS における可用性向上の考え方マネージドサービスの活用予備設備運用からの脱却大量リソースを活用した可用性の実現データセンターレベルでの冗長化不要なコストの削減冗長構成のシンプル化複雑な冗長化アーキテクチャをシンプル化必要なところにリソースやコストを集中

AWS における可用性向上の考え方ネットワークレイヤー Internet フルマネージド Storage レイヤー Front End レイヤーマネージド LB 冗長化即座なリソースの切替え Back End レイヤー即座なリソース切換え SW と組み合わせた HA 化 AP

16 AWS における可用性向上の考え方ネットワークレイヤー Internet フルマネージド Storage レイヤー Front End レイヤーマネージド LB 冗長化即座なリソースの切替え Back End レイヤー即座なリソース切換え SW と組み合わせた HA 化 AP (Act) DB (Act) ELB (Act) EBS Backup AP (Act) ELB (Act) インスタンス間の Disk の付け替え Backup レイヤーマネージドサービスとしての提供データセンターデータセンタレベルでの可用性 Amazon S3 Region

17 Network レイヤーでの可用性ネットワークフルマネージドネットワーク冗長化されたInternet 回線内部 NWの冗長化ハイブリッド環境での冗長化専用線サービス (AWS Direct Connect) での回線冗長化 VPN 接続サービスでのコネクション冗長化専用線およびVPN 接続混在型でのルーティングの冗長化 X 2 Direct Connect X 2 VPN Connection & Direct Connect VPN Connection

Front End レイヤーでの可用性負荷分散装置 (Load Balancer) マネージドLB Amazon Elastic Load Balancing (ELB) 自動スケールする上障害を検知すると自動復旧マルチAZ 構成で ELB 自身も冗長化可能 ELB LB プロダクトの利用商用

18 Front End レイヤーでの可用性負荷分散装置 (Load Balancer) マネージドLB Amazon Elastic Load Balancing (ELB) 自動スケールする上障害を検知すると自動復旧マルチAZ 構成で ELB 自身も冗長化可能 ELB LB プロダクトの利用商用 :F5 Big-IP, Citrix NetScaler, Riverbed Stingray etc OSS:HA Proxy, LVS, mod_proxy_balancer etc.. プロダクトの冗長化機能の利用 Amazon Route 53 と組み合わせた LB プロダクトの冗長化 Route53

19 Front End レイヤーでの可用性 Route53 を利用した LB プロダクトの冗長化 SLA100% DNS サービス Amazon Route53 Routing Policy Health Check 死活監視生存 IP に誘導 EIP サービスドメイン名名前解決 Internet EIP Client LB LB AP AP AP AP Region

Front / Back End サーバレイヤーでの可用性サーバインスタンス Amazon

Checkによるインフラレベル障害の自動検知およびオペレーションの自動化 Region 監視 SW

20 Front / Back End サーバレイヤーでの可用性サーバインスタンス Amazon Elastic Compute Cloud() インスタンスの STOP / STARTにより別 HWへの即時移動マルチAZ 構成でより高い可用性の実現 DC 越しの冗長化即時移動インスタンス障害 Status Checkによるインフラレベル障害の自動検知およびオペレーションの自動化 Region 監視 SW と連動したシステム監視 Cloudwatch JP1, WebSAM, System Center, Systemwalker Zabbix, Nagios etc CloudWatch SNS

Back End レイヤーでの可用性 HA ソフトウェアによる冗長化商用 :NEC CLUSTER PRO

ミドルウェア機能による冗長化 DB プロダクト等のクラスター機能を利用 MySQL Cluste,r MHA,

Amazon Relational Database Service (RDS) RDBMS

21 Back End レイヤーでの可用性 HA ソフトウェアによる冗長化商用 :NEC CLUSTER PRO OSS:Heartbeat, Pacemaker, DRBD etc AWS:AWS APIを駆使した冗長化ミドルウェア機能による冗長化 DB プロダクト等のクラスター機能を利用 MySQL Cluste,r MHA, Oracle DataGuard, SQL Server Replication etc マネージド RDB Amazon Relational Database Service (RDS) RDBMS のサービスとインフラ監視データバックアップを完全自動化シングル AZ でのインスタンス自動復旧マルチ AZ での自動 HA クラスタの構成 RDS

22 ストレージレイヤーでの可用性データ格納ストレージ Amazon Elastic Block Store (EBS) 冗長化された Disk (Mirroring 構成不要 ) Software RAID の併用による冗長性の向上インスタンス間での EBS ボリュームの付け替え Snapshot の利用 EBS 付替え EBS EBS Snapshot Amazon S3 Region Restore

バックアップレイヤーでの可用性 Snapshot API, Management Console で容易に取得可能システムイメージや EBS ボリュームの Snapshot RDS, Storage Gateway などのデータボリュームの Snapshot 同一 AZ, マルチ AZ, マルチ Region 間での Snapshot 共有利用

23 バックアップレイヤーでの可用性 Snapshot API, Management Console で容易に取得可能システムイメージや EBS ボリュームの Snapshot RDS, Storage Gateway などのデータボリュームの Snapshot 同一 AZ, マルチ AZ, マルチ Region 間での Snapshot 共有利用 AMI EBS RDS Snapshot Amazon S3 Storage Gateway Amazon Simple Storage Service (S3) Snapshot や Amazon Machine Images 格納先物理的に異なる 3 ヵ所以上の DC への自動複製によりバックアップデータの外部保管先としての利用 Amazon S3

24 データセンタレベルでの可用性マルチアベイラビリティーゾーン物理的に異なるデータセンターを活用したシステムの冗長化 (AZ) 間は専用線で接続マルチAZに対応した多数のAWSサービス, RDS, ELB, VPC, S3 etc Region マルチリージョン地域 (Region) を跨いだデータセンター間でのシステムの冗長化 AMI, EBS Snapshot 転送によるデータのレプリケーション Region 間はインターネット通信

25 AWS による HA クラスタの実現 HA クラスタをシンプルに

26 AWS による HA クラスタの実現シングルAZでのクラスター化即時切換シンプルな構成コストの効率化マルチAZでのクラスター化データセンターレベルの冗長化比較的高速な切換実装に多少のコツシンプルな HA BCP を実現する HA

27 AWS による HA クラスタの実現仮想 IP 切換一般的な HA クラスタの仕組み Disk 接続切換 1. 障害検知 AP Process Data Disk Data Disk AP Process 2. サービスの停止 3. ディスクマウントの切換 4. サービスの再起動停止プロセス監視起動 / 停止制御切換起動 / 停止制御プロセス監視 5. 仮想 IP の切換死活監視死活監視 Active 機 Standby 機データの受け渡し & 接続ポイントの切換

28 AWS による HA クラスタの実現 AWS でのクラスター化におけるポイント仮想 NIC のため複数 NIC の利用は不要移動用の仮想 IP アドレス指定は ENI と OS 両方での指定が必須 VPC の利用により IP アドレスの固定化インスタンスの STOP/START は同一 AZ 内での移動 EBS は AZ 毎に存在 EBS データの AZ 間受け渡しは Snapshot 経由 VPC Subnet は AZ で CIDR が異なる AZ 跨ぎのインスタンスの切換は Private IP が変わる

29 シングル AZ での HA クラスタインスタンスの移動インスタンスの STOP/START のみ STOP START 複雑な切換え実装が不要スタンバイ機が不要同一 AZ 内での切換 ENI (Act) EBS ENI (Stb) EBS 監視サーバ監視切換制御 VPC Subnet Region

30 シングル AZ での HA クラスタコールドスタンバイ機への切換 STOP 状態のインスタンスに ENI と EBS を切換 ENI Service 用 START ENI 監視サーバ AWS APIのみでの実装が可能スタンバイ機のコスト削減同一 AZ 内での切換 (Act) EBS VPC Subnet (Stb) EBS 監視切換制御 Region

31 シングル AZ での HA クラスタホットスタンバイ機への高速切換 HAクラスタソフトの利用切換の完全自動化プロセスやログなどのきめ細かな監視実装のハードルが高い ENI (Act) Pacemaker Heartbeat Secondary IP 移動 (VIP) EBS DRBD VPC Subnet 死活監視データ同期 ENI (Stb) Pacemaker Heartbeat EBS DRBD Region

32 マルチ AZ での HA クラスタ仮想 IP の切換 Private IP アドレスが変更されることへの対応データの受け渡し AZ を跨いだ EBS データの共有

33 マルチ AZ での HA クラスタ仮想 IP の切換 ~Private IP アドレスが変更されることへの対応 ~ 内部 DNS を利用した接続先 Private IP の切換 AWS に依存せず実績のある実装 DNS 構築 & 運用が必要 VPC Subnet Route Tables の書き換え AWS の設定のみで実現可能構成が多少複雑化 Front End サーバ内部 DNS サーバ監視サーバ Front End サーバ監視サーバ向き先変更 IP 書換え ENI GW 変更 LoopBack IP で GW に接続 ENI RouteTables 書換え別 IP (Act) VPC Subnet 別 IP (Stb) VPC Subnet LoopBack IP (Act) LoopBack IP (Stb) Region Region

34 マルチ AZ での HA クラスタデータの受け渡し ~AZ を跨いだ EBS データの共有 ~ SW データレプリケーション機能の利用 AWS に依存せず実績のある実装 EBS Snapshot からの共有切換時にSnapshotを取得切換時のSnapshot 時間を短縮するため定期的な取得が重要 (Act) DRBD EBS VPC Subnet データ同期 Region (Stb) DRBD EBS VPC Subnet (Act) EBS VPC Subnet (Stb) EBS VPC Subnet Region Snapshot Amazon S3 Restore

35 AWS による HA クラスタの実現リソースの有効活用しシンプルな 2 段構えの HA 化 OR ENI (Act) STOP/ START Phase1 ENI (Stb) Front End サーバ ENI (Stb) Phase2 監視サーバ監視 Heartbeat OR EBS VPC Subnet EBS START EBS 切換制御 Snapshot Amazon S3 Region Restore AMI

36 AWS によるバックアップの実現今日から始めようクラウドバックアップ

37 AWS によるバックアップの実現 AWS におけるデータバックアップの考え方いかに簡単に Amazon S3 へ格納するかファイルの整合性チェック堅牢性 % セキュア 3 ヵ所以上の DC に自動複製低コスト

38 AWS によるバックアップの実現クラウドバックアップ AWS 外のバックアップデータの格納先として S3 を利用データの外部保管先としての利用 AWS データバックアップ AWS 上のシステムのバックアップデータ格納先として S3 を利用様々なツールを利用して S3 に格納 Snapshot API などの AWS 機能をベースに S3 に格納

39 AWS によるバックアップの実現クラウドバックアップ AWS データバックアップ OSS ツール NAS アプライアンスアップロード Storage EBS RDS Redshift Gateway GW アプライアンス Amazon S3 Snapshot Log 転送 etc.. (AMI) バックアップ SW Archive EMR Beanstalk CloudFront Amazon Glacier

40 Amazon S3 へのデータ転送社内 NW Internet クライアント PC アプライアンス製品専用線 (Direct Connect) 1Gbps/10Gbps Public AS Private AS Amazon S3 サーバシステム Internet VPN Proxy サーバ AWS Import/Export パトナー様サービス

41 まとめ業務システムでの高可用性とバックアップの実現安定性と正確さ冗長化仮想化 HA クラスタクラウドバックアップサービス継続ができる仕組みが重要 AWS を活用し全てのレイヤーで可用性を高める選択肢を提供適正なコストによる稼働環境からバックアップ環境までを提供シンプルなアーキテクチャを採用することでシステムの安定化を図る

42 Thank You 基幹業務をAWSクラウドで実現する勘所 ~ 高可用性システム / バックアップのためのアーキテクチャ設計 ~ Kiyonori Kitasako Solutions Architect

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション AWS クラウドデザインパターン -E コマース編 - 自己紹介名前北迫清訓 ( きたさこきよのり ) 所属アマゾンデータサービスジャパン株式会社ソリューションアーキテクト ID Facebook: Kiyonori Kitasako 好きなAWSサービス Amazon Glacier 好きなCDP Web Storage Archiveパターン AWS クラウドデザインパターンとは... AWS