Leveraging Cloud Computing to launch Python apps

Size: px

Start display at page:

Download "Leveraging Cloud Computing to launch Python apps"

ようじろうなつ
5 years ago
Views:

1 クラウド時代のアーキテクチャ設計 - 次世代アーキテクトが押さえるべきキーポイント - 玉川憲エバンジェリスト v July 21st, 2011

2 オープンソースソフトのライセンス費を90% 削減 AWSクラウドインフラの総運用費を90% 削減 Where open-source computing gave us a 90% reduction in our software, Amazon gave us a 90% reduction in our total operating costs Mark Suster

3 アーキテクチャ設計

4 クラウドアーキテクトの心構え 7 つのプラクティスさいごに

5 クラウドアーキテクトとしてインフラをソフトウェアのように扱う次世代のスケーラビリティ物理デバイス vs. クラウドの特性を理解コスト効率を考える

6 Demo: インフラをソフトウェアのように扱う EC2 でサーバーを瞬時に起動

7 iphone からも

8 Web コンソールライブラリ & SDK コマンドライン Amazon Web Services API

9 クラウドアーキテクトとしてインフラをソフトウェアのように扱う次世代のスケーラビリティ物理デバイス vs. クラウドの特性を理解コスト効率を考える

10 これまでのスケーラビリティ一方通行 Medium Large Small

11 次世代のスケーラビリティドラスティックに伸び縮み Medium Large Small

12 次世代のスケーラビリティドラスティックに伸び縮みする中で : パフォーマンスを維持する運用がやりやすい回復力に富んでいるコスト効率が良い

13 クラウドアーキテクトとしてインフラをソフトウェアのように扱う次世代のスケーラビリティ物理デバイス vs. クラウドの特性を理解コスト効率を考える

14 物理的なストレージ DAS (Direct-Attached Storage) SAN (Storage Area Network) NAS (Network-Attached Storage)

15 クラウド時代のストレージ EC2 ( ローカルストレージ ) EBS (Elastic Block Store) S3 (Simple Storage Service) SimpleDB, SQS, etc.

16 特性を理解する例えば S3 の耐久性は : % 1 万個のファイルを 1 千万個おいても失わない設計 S3 (Simple Storage Service)

17 クラウド用語集! EBSを付けたEC2をELBの配下におき Route 53で独自ドメインをつけ Cloudfrontで動画配信 S3にバックアップ DBをマルチAZのRDSで動かす

18 クラウドアーキテクトとしてインフラをソフトウェアのように扱う次世代のスケーラビリティ物理デバイス vs. クラウドの特性を理解コスト効率を考える

19 キャパシティプラニングの弊害 Amazon.com の週間アクセス数

20 キャパシティプラニングの弊害 Amazon.com の週間アクセス数

21 キャパシティプラニングの弊害 Amazon.com の 11 月のアクセス数

22 キャパシティプラニングの弊害 Amazon.com の 11 月のアクセス数

23 インフラコストコスト / 規模を線形に規模感実際理想システムへのリクエストの数

24 クラウドアーキテクトの心構え 7 つのプラクティスさいごに

25 故障に備えた設計 Intro End

26 フェイルセーフの例

27 故障に備えた設計ディスクレベル EBS のスナップショットでバックアップサーバーレベル AMIを取得していつでも起動 Elastic IP アドレスロードバランサで冗長構成データセンターレベル複数の DC に分散させる ( マルチ AZ)

28 Demo: EBS のスナップショット

29 Demo: AMI 作成 ElasticIP

30 AWS の世界規模のインフラ

31 AWS のリージョンリージョン : 複数のデータセンターで構成 US West オレゴン US East 東京リージョン US West EU West AP Singapore

32 アベイラビリティゾーン (AZ) EC2 における AZ は地理的に離れた場所に US West オレゴン A B US West US East A B C D A B C EU West 東京リージョン A B A B C A B AP Singapore

33 アベイラビリティゾーン (AZ) AZ 同士は地理的に離れた場所にリージョン内のネットワークは高速 US West A B C US East A B C D A B C EU West AP Japan A B A B AP Singapore

34 マルチ AZ 構成 Amazon Route 53 オートスケーリングでサーバ増設 / 縮退自動化東京リージョンアベイラビリティゾーン A ELB アベイラビリティゾーン B Route 53 で名前解決ロードバランサーで負荷分散 RDS で DB のインストール最適化不要バックアップパッチ当ても自動化スペックも後から変更可能 EC2 RDS マスタ自動同期 EC2 RDS スレーブマルチ AZ を用いて自動レプリケーション自動フェイルオーバサーバーを異なる AZ に配置可能時間課金で Oracle DB( ライセンス込 ), MySQL が利用可能

35 Demo: ELB で負荷分散 RDS のマルチ AZ

36 疎結合にする Intro End

37 Amazon SQS (Simple Queuing Service) プロセスプロセス SQS リージョンキュー世界中に拠点あり &API 完備キューのアクセス権の細かな制御が可能メッセージプロセスプロセスメッセージキューキューメッセージ注 : このイメージはあくまでコンセプト図です

38 例 : ビデオエンコーディングシーケンシャルな作業 A B C D インプット保存エンコード公開

39 例 : ビデオエンコーディング非同期で行える A インプット B C D 保存エンコード公開 M M M SQS キュー SQS キュー SQS キュー

40 例 : ビデオエンコーディング簡単にスケール! A インプット C B C D 保存エンコード公開 M M M SQS キュー SQS キュー SQS キュー

41 伸縮自在にする Intro End

42 Elasticity: 伸縮自在性スケールアップスケールアウト

43 スケールアップ / スケールアウトスケールアップ ( 垂直 )

44 Demo: EC2 のスケールアップ

45 スケールアップ / スケールアウトスケールアウト ( 水平 )

46 Elastic Load Balancing ロードバランサ EC2 EC2サーバを増減するメカニズムゾーンA ゾーンB CPU 利用率 Auto Scaling アラーム CloudWatch モニタリングサービス

47 動 / 静的データの配置 Intro End

48 動的データ / 静的データの配置動的データは EC2 の近くに配置する例 : 大規模データ処理は同じ AZ を使う静的データはユーザの近くに配置する例 : Cloudfront を用いたコンテンツ配信

49 リージョンに加えて

50 Amazon Cloudfront + Route 53 コンテンツ配信ネットワーク (CDN) + DNS Palo Alto Seattle Newark Amsterdam New York London Dublin Stockholm Tokyo Los Angeles Ashburn Paris Frankfurt Jacksonville Dallas St.Louis Miami ブラジル Singapore Hong Kong

51 こんなつぶやきも

52 並列処理を活かす Intro End

53 新幹線は並列処理? 車体ごとにモーター

54 クラウドは時短テクニック! ビフォージョブ数 n 時間データアフターデータ

55 並列処理を使い倒す Elastic Load Balancing Elastic Map Reduce (EMR): Hadoop クラスタ

56 Demo: Elastic Map Reduce

57 制約を恐れない Intro End

58 制約を恐れないデータベースのパフォーマンスがでない? 抽象的なクラウドリソース + オンデマンドな調達モデル無限の可能性

59 制約を恐れないデータベースのパフォーマンスがでない? シャーディング / リードレプリカ

60 制約を恐れないデータベースのパフォーマンスがでない? シャーディング / リードレプリカ RAM がもっと必要? 分散キャッシュ (Memcached): AWS ElastiCache

61 制約を恐れないデータベースのパフォーマンスがでない? シャーディング / リードレプリカ RAM がもっと必要? 分散キャッシュ (Memcached): AWS ElastiCache もっと早いディスクが必要? 複数の EBS を Raid で

62 全レイヤでセキュリティ Intro End

63 セキュリティ

64 全レイヤでセキュリティを考慮 DC ハード OS アプリネットワーク

65 全レイヤでセキュリティを考慮 DC ハード OS アプリネットワーク第 3 者認証 : ISO PCI-DSS レベル1 等暗号化 : SSL Encrypted FS セキュリティグループ VPC: Virtual Private Cloud IAM: Identity Access Management

66 セキュリティグループ自分の PC ( ) RDS-servers インターネット RDS RDS RDS web-servers app-servers DB-servers EC2 EC2 EC2 EC2 any EC2 22 EC EC2 EC2 EC2

67 Virutal Private Cloud VPN 接続リージョン EC2 EC2 内に分離した領域を作成イントラ VPC プライベートサブネット

68 専有インスタンス : Dedicated Instance 一部のコンプライアンスに対応するためハードの専有が可能なサービス = デディケイティッドインスタンスを用意通常の EC2 物理サーバー顧客 A 顧客 B 顧客 C Dedicated Instance 物理サーバー顧客 A 顧客 B 顧客 C

69 Virutal Private Cloud は仮想ネットワーキング VPN 接続リージョン EC2 EC2 内に分離した領域を作成インターネットイントラ VPC プライベートサブネット NAT パブリックサブネットゲートウェイ

70 AWSクラウドに専用線接続を可能とする Direct Connectも米国でサービス開始 ( 日本は年度内に計画 ) リージョン EC2 イントラ VPC プライベートサブネット専用線接続

71 新しいリージョン AWS GovCloud (US) 米国政府専用のクラウド

72 IAM: Identity Access Management AWSアカウントの下に子ユーザ / グループセキュリティ証明書をそれぞれ作成可 APIへのアクセスコントロール特定のリソースへのアクセスコントロール LDAPとの連携可能コストは無料

73 クラウドアーキテクトの心構え 7 つのプラクティスさいごに

74 7 つのプラクティス 1. 故障に備えた設計 2. 疎結合にする 3. 伸縮自在にする 4. 動的データ / 静的データの配置 5. 並列処理を活かす 6. 制約を恐れない 7. 全レイヤでセキュリティを考慮

75 最古の建築十書強がなければ用は果たせない強と用がなければ美は形だけのものそして美がなければ建築とはいえない By ウィトルウィウス

76 最古の建築十書 Firmitas 強 ( 冗長構成レプリカ ) Utilitas 用 ( サービスを自在に組合せ ) Venustas 美 ( 伸縮自在自動化無駄なし )

77 AWS はディベロッパーのためのレゴブロック

3S3にwebコンテンツ保存 http://www.slideshare.net/kentamag awa/s3web 他にも下記の資料をご参考に! 1AWS アカウント開設 http://t.co/3ebghag 2EC2 で Web サーバー立ち上げ http://t.co/hiinygi 3S3 に web コンテンツ保存 http://www.slideshare.net/kentamaga wa/s3web 4EC2 で Windows サーバ立ち上げ http://www.

78 3S3にwebコンテンツ保存 awa/s3web 他にも下記の資料をご参考に! 1AWS アカウント開設 2EC2 で Web サーバー立ち上げ 3S3 に web コンテンツ保存 wa/s3web 4EC2 で Windows サーバ立ち上げ wa/ec2windows 5CloudFormation で Redmine 立ち上げ wa/aws-cloudformation-redmine

自己紹介 Amazon 100 AWS の無料使用枠 Google 30 Salesforces 毎月

SimpleDB 750 時間分の仮想サーバ 10 GB/ 月の仮想外部ディスク (Elastic

79 自己紹介 Amazon 100 AWS の無料使用枠 Google 30 Salesforces 毎月下記の分無料で使えます 10?? 5 GB/ 月の仮想ストレージ (Amazon S3) 10 万回の Amazon SQS リクエスト 10 万回の Amazon SNS リクエスト 1 GB のストレージ分の Amazon SimpleDB 750 時間分の仮想サーバ 10 GB/ 月の仮想外部ディスク (Elastic Block Storage) 750 時間のロードバランサ (Elastic Load Balancer) 15 GB のインターネットデータ送信 15 GB のインターネットデータ受信

80 AWS ブログで最新情報を!!

81 お問い合わせは

82 操船術が大事ぜよ

83 明日 11/19 AWSユーザーグループ札幌 14 時 ~ 是非ご参加ください!

Leveraging Cloud Computing to launch Python apps

Leveraging Cloud Computing to launch Python apps (Twitter: @KenTamagawa) v 1.1 - July 21st, 2011 (Ken Tamagawa) Twitter: @KenTamagawa 2011 8 6 Japan Innovation Leaders Summit IT IT AWS 90% AWS 90% アーキテクチャ設計 Intro }7 Intro 1 2 3 4 5 6 7 Intro 1 2 3 4