Presentation Title Here

Size: px

Start display at page:

Download "Presentation Title Here"

きょういちすわ
4 years ago
Views:

1 AWS CodeCommit AWS CodePipeline AWS CodeDeploy 2015/10/28 AWS Black Belt Tech Webinar 2015 アマゾンデータサービスジャパン株式会社コンサルタント佐藤聖規 1

2 サービスの頻繁なリリースはビジネスの成功に欠かせないビジネスは常に変化する Amazon.com はインターネット書店としてスタート現在は AWS や Kindle など創業当時とは違う多くのビジネスを手がけている 1 発 1 中は難しい頻繁にリリースしエンドユーザやビジネスのフィードバックを受けてサービスを育てていく 2

3 AWS のイノベーションのペース Amazon EC2 Container Service Amazon EC2 Amazon EBS AWS Import & Export AWS Identity & Access Management Amazon SNS Elastic Load Balancing Auto Scaling Amazon VPC Amazon RDS Amazon EMR Amazon CloudWatch GovCloud AWS Direct Connect AWS Elastic Beanstalk AWS CloudFormation Amazon ElastiCache Amazon SES Amazon CloudSearch Amazon Dynamo DB Amazon Glacier Amazon Redshift Amazon Route 53 AWS Storage Gateway Amazon SWF Amazon AppStream Amazon Elastic Transcoder Amazon Kinesis AWS OpsWorks Amazon CloudHSM Amazon CloudTrail AWS Data Pipeline Amazon WorkSpaces AWS CodeDeploy AWS Lambda Amazon Aurora AWS Directory Service Amazon Zocalo Amazon Cloud Trail EC2 T2 Instances EBS Encripion VPC Peering

4 DevOps とは? ソフトウェア開発のライフサイクルデリバリのパイプライン build test release 開発者 plan monitor 顧客フィードバックループ DevOps = ライフサイクルを高速化する効率の良さ 4

5 5 Amazon における DevOps の物語

6 6

7 モノリシックな開発のライフサイクル build test release 開発者アプリデリバリパイプライン 7

8 Service-Oriented Architecture (SOA) 単一の目的 API でのみ連携 Microservices 8

9 Two-pizza teams 全ての主導権全ての責任良くしようとする動機 DevOps 9

10 足りないツール??? 開発者サービスデリバリパイプライン 10

11 セルフサービステクノロジに依らないベストプラクティスサービスは単一の目的 11

12 デプロイサービスダウンタイム無しヘルスチェックバージョニングした成果物ロールバック 12

13 Pipelines 継続的デリバリコミットから本番環境まで自動化されたアクションと遷移 >90%のチームが利用 13

14 Microservice の開発ライフサイクル build test release build test release build test release build test release build test release 開発者サービス build test release デリバリパイプライン 14

15 数千のチーム Microservice アーキテクチャ継続的デリバリ複数の環境 = 5000 万回 / 年のデプロイ 15

16 デリバリパイプラインのセットアップ 1) ソフトウェアのデプロイを自動化 deploy deploy deploy deploy development test staging productio n 2) リリースプロセスを自動化 release: source > build > test > staging > production 16

17 デリバリパイプラインのセットアップ 0) ソフトウェアのバージョン管理 AWS CodeCommit 1) ソフトウェアのデプロイを自動化 AWS CodeDeploy 2) リリースプロセスを自動化 AWS CodePipeline 17

18 AWS CodeCommit/AWS CodePipeline/AWS CodeDeploy の位置づけ Code Build Test Deploy Provision Monitor Elastic Beanstalk Code Commit Code Pipeline OpsWorks Code Deploy Cloud Formation Cloud Watch 18

19 19 AWS CodeCommit

20 バージョン管理システムと Git ファイルの変更履歴を保管する誰がいつどのような変更を行なったか自動的に記録するなぜはコメントとして残すことができる好きな状態に戻すことができるファイルの変更を保管しているデータベースをリポジトリと呼ぶ近年分散バージョン管理システムである Git がよく採用される 20

21 よくある課題可用性冗長性バージョン管理システムがダウンすると開発作業が進められない耐久性リポジトリが消失するとソースコードの安定版が消失リポジトリサイズ開発が長期にわたるとリポジトリが大きくなりディスクサイズが足りなくなるパフォーマンス開発規模が大きくなるとバージョン管理システム自体のパフォーマンスが劣化 21

22 AWS CodeCommit 安全スケーラブルマネージドな Gitソース管理 SSH or HTTPS git push 22 AWS CodeCommit Availability Zoneを跨ぎデータを冗長化データは暗号化されて保存 IAMとの統合リポジトリのサイズは無制限 Gitのオブジェクトは Amazon S3 Gitのインデックスは Amazon DynamoDB 暗号化鍵は AWS KMS

23 AWS CodeCommit の特徴 AWS のフルマネージド Git 用のインスタンスを立てて Git を管理する必要がないリポジトリのサイズは無制限各ファイルは 2GB まで普通の Git リポジトリとして使える既存のリポジトリからの移行が容易 AWS KMS を使って保存データは暗号化されるアクセス権を IAM でコントロールできる ssh 公開鍵無しに AWS CLI と連携した認証も可能 23

24 Getting Started with https Step 1: AWS CodeCommit を使うための IAM ユーザの作成や AWS CLI のセットアップ Step 2: Git のインストール Step 3: Credential Helper のインストール Step 4: AWS CodeCommit リポジトリの作成と Clone 手順 Mac/Linux g-up-https-unixes.html 手順 Windows g-up-https-windows.html 24

25 Step 3: Credential Helperのインストール Mac/Linuxでのサンプル Credential Helperの設定 $git config --global credential.helper '!aws --profile default codecommit credential-helper $git config --global credential.usehttppath true ~/.gitconfigの中身 [credential] helper =!aws --profile CodeCommitProfile codecommit credential-helper UseHttpPath = true Mac OS Xの場合はKeychainの設定をしないと約15分で接続できなくなるので注意 25

26 Step 3: Credential Helper のインストール Windows でのサンプル Credential Helper の設定 cd %PROGRAMFILES(X86)%\AWS Tools\CodeCommit git-credential-awss4.exe -p default %HOME%/.gitconfig の中身 [credential] helper =!'C:\\Users\\user-name\\AppData\\Roaming\\GitCredStore\\git-credential-AWSSV4.exe' --profile=codecommitprofile UseHttpPath = true 26

27 Getting Started with ssh Step 1: AWS CodeCommit を使うための IAM ユーザの作成 Step 2: Git のインストール Step 3: SSH 公開鍵の登録と秘密鍵の設定 Step 4: AWS CodeCommit リポジトリの作成と Clone 手順 Mac/Linux g-up-ssh-unixes.html 手順 Windows g-up-ssh-windows.html 27

28 Step 3: SSH 公開鍵の登録と秘密鍵の設定 IAM ユーザへの SSH 公開鍵の登録注意 iam:uploadsshpublickey のポリシー設定が必要です 28

29 29 Step 3: SSH 公開鍵の登録と秘密鍵の設定

30 30 Step 3: SSH 公開鍵の登録と秘密鍵の設定

31 Step 3: SSH 公開鍵の登録と秘密鍵の設定 ~/.ssh/config ファイルに以下を追記 User には SSH Key ID を指定 Host git-codecommit.*.amazonaws.com User APKAEIBAERJR2******* IdentityFile ~/.ssh/codecommit_rsa Windows ではユーザ ID を SSH Key ID として指定 git clone my-demorepo 31

32 32 コンソールでソースコードを閲覧ファイルの一覧

33 コンソールでソースコードを閲覧ソースコードの表示 33

34 34 コンソールでソースコードを閲覧 MarkDown のレンダリング

35 AWS CodeCommit の料金ユーザ課金 1 アクティブユーザ毎に $1/ 月無料利用枠 5 アクティブユーザ / 月 50 GB/ 月 10,000 req/ 月アクティブユーザとはその月に 1 回でも CodeCommit にアクセスがあった IAM user/role 等が対象ストレージ課金 10 GB/1 アクティブユーザ / 月が無料超過分は $0.06/GB/ 月 Git リクエスト課金 2,000req/1 アクティブユーザ / 月が無料超過分は $0.001/req pull と push が対象データ転送が無ければ対象外 35

36 よくある課題を AWS CodeCommit で解決可用性冗長性 AWS のマネージドサービスで可用性や冗長性を確保耐久性データは S3 に配置されるため高い耐久性を誇るリポジトリサイズリポジトリサイズは無制限パフォーマンスパフォーマンスはスケーラブル 36

37 37 AWS CodePipeline

38 デプロイメントパイプラインとはソースコードからビルドやテストなどのステージを自動化したプロセスプロセスは開発チームやサービスそれぞれで異なるスムーズなデプロイメントには欠かせないソースコードビルドテストステージデプロイ UAT 本番デプロイデプロイメントパイプライン 38

39 よくある課題デプロイメントパイプラインの設定が複雑デプロイ職人が生まれてしまう標準化されないデプロイメントパイプラインデプロイメントパイプラインを他プロジェクトで再現できないデプロイメントパイプラインのバックアップ消失するとデプロイできなくなる 39

40 AWS CodePipeline 継続的デリバリーリリース自動化を Amazonの様に Source Build Beta 1) ビルド 1) デプロイ 2) Unitテスト 2) UIテスト Gamma Production 1) デプロイ 1) カナリアデプロイ 2) 負荷テスト 2) リージョン1 デプロイ 3) リージョン2 デプロイカスタマイズ可能なワークフローエンジンパートナーやカスタムのシステムと連携ビジュアルエディターと可視化されたステータス 40

41 AWS CodePipeline の特徴 AWS マネージドのワークフローコントローラ Build/Test/Deploy を組み合わせた複雑なワークフロー AWS サービスやサードパーティとの連携が充実 Deploy として AWS CodeDeploy や AWS Elastic Beanstalk Build や Test を Jenkins サーバと連携見やすい UI マネージメントコンソールで確認操作ができる 41

42 開発のスタイルにあったワークフローを自由に例えばソースコードビルドユニットテストステージデプロイ A機能画面テストステージデプロイ B機能画面テスト本番デプロイ CodePipeline 42

43 開発のスタイルにあったワークフローを自由に 43

44 44 AWS CodePipeline パートナー連携

45 Custom Action CodePipeline S3 開発者がコミット 1. エージェントでポーリング 2. ジョブの詳細 3. ジョブの Ack 5. ジョブの成功カスタムジョブワーカーカスタムアクションリソースカスタムビルドアクション 4. ビルドの実行 45

46 AWS CodePipeline の料金 1 アクティブパイプライン毎に $1/ 月アクティブパイプラインとはその月に 1 度でもアクションを実行したパイプライン無料利用枠 1 パイプライン / 月 46

47 よくある課題を AWS CodePipeline で解決デプロイメントパイプラインの設定が複雑見やすい UI で設定できるもちろん CLI でも標準化されないデプロイメントパイプライン CodePipeline なら標準化も簡単デプロイメントパイプラインのバックアップマネージドサービスで消失の可能性は低い 47

48 48 AWS CodeDeploy

49 デプロイとはアプリケーションやアセットの更新をサーバに反映させること実際には更新されたファイル群を対象のサーバ群に配布する 49 v2 Availability Zone Availability Zone

50 デプロイとビルドプロビジョニングの違いビルドソースコードから配布すべき成果物を生成するビルドソースコード ex. mvn, bundle プロビジョニングデプロイサーバにソフトウェアをインストール&設定オーケストレーション DBやLBとのつなぎ込みデプロイアセットの更新をサーバに反映 50 Amazon Linux Apache, Nginx Ruby, JDK Config, etc. WEB プロビジョニング ex. chef, puppet オーケストレーション LB DB

51 よくあるデプロイ手法と課題 Push型デプロイ元からデプロイ先へ FTP, rsync, git pull Capistrano, Fabric 課題自動化できていない人間がサーバにログインしてコマンドを手動で実行しているデプロイサーバの負荷シングルポイント新規サーバ構築時にデプロイ対象がわからない複数人でデプロイがぶつからない様に管理するのが面倒 51

52 デプロイの効率化安定化質の高いリリースのためには必要不可欠効率的で安定している仕組みがあるならそれを使わない手はない AWS CodeDeploy が選択肢 52

53 AWS CodeDeploy 自動デプロイのコーディネートを Amazonの様に Application revisions v1, v2, v3 53 Deployment groups AWS CodeDeploy Dev Staging Production 1台も数千台も同じやり方で開発環境もステージング環境もプロダクションも同じやり方でダウンタイム無くデプロイ中央でデプロイをコントロールモニタリング

54 AWS CodeDeploy概要デプロイに特化したサービス指定したグループに指定したファイルを指定した割合ずつ TagやAuto Scaling Groupでグループ指定エージェントを入れれば利用可能 Deployment groups Agent Agent Agent Agent Agent Agent Agent Dev Staging Production Pull型のデプロイ EC2以外でも Linux & Windows対応関連する処理をフックで実行可能アプリ再起動なども自動化できる 54 v1, v2, v3 AWS CodeDeploy

55 AWS CodeDeployの動作 1. 配布物をアップロード Amazon S3 / GitHub Application Amazon S3 2. Deploy Downloa d Deployment group 2. デプロイを指示 files 配布物ダウンロード files: 所定の場所に配置 hooks: 任意の処理実行 /dst hook s Agent Polling 55 or 1. Upload Agent Agent

56 Deployment config デプロイのスピード OneAtATime (1 台ずつ ) v2 v1 v1 v1 v1 v1 v1 v1 HalfAtATime ( 半分ずつ ) v2 v2 v2 v2 v1 v1 v1 v1 AllAtOnce ( 全て一度に ) v2 v2 v2 v2 v2 v2 v2 v2 任意の割合の config も作成可能 56

57 AppSpec File デプロイの手順書 files どのファイルをどこに配置するか指定 version: 0.0 os: linux files: - source: config destination: /etc/app - source: target/hello.war destination: /var/lib/tomcat6/webapps hooks: ApplicationStop: - location: deploy_hooks/stop-tomcat.sh ApplicationStart: - location: deploy_hooks/start-tomcat.sh 57 hooks 以下の黄色のEventで実行する処理を指定

58 Application 成果物 + AppSpec File フォルダ構成 appspec.yml (必須) ビルド済の成果物その他配布物 hookスクリプトアップロード Amazon S3のObject zip/tar/tgz形式対応 GitHubのRepository zip形式でダウンロードされる 58 / appspec.yml config/ config.xml deploy_hooks/ start-tomcat.sh stop-tomcat.sh target/ hello.war or Amazon S3 注: ソースコードではなくmavenやbundle後のファイル群をput/pushすることをオススメ

59 AWS CodeDeploy でやることやらないことやることファイルをサーバに配る hook スクリプトの実行アプリ再起動オーケストレーション ELB 付け外し等これらの実行を中央管理進捗やエラーログがブラウザや API で確認可能やらないことビルドプロビジョニングいずれも hook スクリプトで実行できなくはないが効率や安定性の面でオススメしない 59

60 AWS CodeDeployとAuto Scaling Group(ASG) スケールアウト時に最新のリビジョンが自動でデプロイされる ASGのLifecycle Hookを利用追加インスタンスのみにデプロイ Deployment GroupにASGを指定するだけで利用可能 60 デプロイに成功した最新のリビジョンが自動でデプロイ

61 AWS CodeDeploy パートナー連携 61

62 AWS CodeDeployの料金 Amazon EC2へのデプロイは全て無料 Amazon S3 を使う場合は S3 の利用料オンプレミスインスタンスへのデプロイ $0.02/ インスタンス / デプロイ 62

63 よくある課題を AWS CodeDeploy で解決自動化できていないもちろん自動的にデプロイデプロイサーバの負荷シングルポイントマネージドサービスのためパフォーマンス耐障害性も気にしなくて良くなる新規サーバ構築時にデプロイ対象がわからない CodeDeploy なら AutoScaling と連動し自動でデプロイ複数人でデプロイがぶつからない様に管理するのが面倒 AWS CodeDeploy で一元管理 63

64 64 まとめ

65 CodeCommit/CodePipeline/CodeDeploy リリース状況 CodeCommit 2015 年 7 月に GA! N. Virginia のみ CodePipeline 2015 年 7 月に GA! N. Virginia / Oregon CodeDeploy 2015 年 8 月東京リージョンで利用可能に! 2015 年 10 月 28 日現在 65

66 質の高い開発のためには質の高いツールを質の高い開発を継続するにはツールが重要ただしツールだけではなく同時にアーキテクチャやプロセスと組織の整備も重要 AWS CodeCommit AWS CodePipeline AWS CodeDeploy の利用をご検討ください 66

67 67 参考資料 AWS 初心者向け Webinar AWS のプロビジョニングからデプロイまで AWS CodeCommit User Guide AWS CodePipeline User Guide AWS CodePipeline API Reference AWS CodeDeploy User Guide AWS CodeDeploy Demo

68 AWS Black Belt Tech Webinar 2015 AWS のサービスをディープにご紹介今後の配信予定デプロイ & プロビジョニング月間! 10 月 28 日 ( 水 ) 18:00 AWS CodeCommit / AWS CodePipeline / AWS CodeDeploy 11 月 4 日 ( 水 ) お休み 11 月 11 日 ( 水 )18:00 AWS OpsWorks 11 月 18 日 ( 水 )18:00 AWS CloudFormation 11 月 25 日 ( 水 )18:00 AWS Elastic Beanstalk 申し込みサイト 68

69 Webinar資料の配置場所 AWS クラウドサービス活用資料集 69

70 公式 Twitter/Facebook AWS 検索最新技術情報イベント情報お役立ち情報お得なキャンペーン情報などを日々更新しています! 70 もしくは

71 AWS 初心者向け Webinar AWS をこれからご使用になる向けのソリューションカットのオンラインセミナー申し込みサイト 71

72 72 ご参加ありがとうございました

Presentation Title Here

Presentation Title Here AWS Black Belt Online Seminar Developer Tools AWS Code Series Part 2 AWS CodeDeploy AWS CodePipeline AWS CodeStar 編アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト福井厚 2017.06.28 2017, Amazon Web Services, Inc. or its