PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

ゆみかたかはし
4 years ago
Views:

1 [AWS Black Belt Online Seminar] AWS Command Line Interface サービスカットシリーズアマゾンウェブサービスジャパンソリューションアーキテクト内田大樹 2019/7/24 AWS 公式 Webinar 過去資料

2 自己紹介内田大樹 (うちだひろき) インダストリソリューション部ソリューションアーキテクト普段の業務エンタープライズのお客様を担当主に製造業のお客様を担当しお客様の AWS活用を技術的にサポート好きなAWSのサービス AWS Command Line Interface

3 AWS Black Belt Online Seminar とはサービス別ソリューション別業種別のそれぞれのテーマに分かれてアマゾンウェブサービスジャパン株式会社が主催するオンラインセミナーシリーズです質問を投げることができます書き込んだ質問は主催者にしか見えません今後のロードマップに関するご質問はお答えできませんのでご了承下さい ① 吹き出しをクリック ② 質問を入力 ③ Sendをクリック Twitter ハッシュタグは以下をご利用ください #awsblackbelt

4 内容についての注意点本資料では 2019 年 7 月 24 日時点のサービス内容および価格についてご説明しています最新の情報は AWS 公式ウェブサイト ( にてご確認ください資料作成には十分注意しておりますが資料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合 AWS 公式ウェブサイトの価格を優先とさせていただきます価格は税抜表記となっています日本居住者のお客様が東京リージョンを使用する場合別途消費税をご請求させていただきます AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.

5 アジェンダと想定読者アジェンダ概要セットアップ方法操作方法設定操作パターン集想定読者 AWS Command Line Interfaceをこれから利用される方 AWS Command Line Interfaceを利用中の方

6 概要

7 AWS 環境に対するオペレーション方法手段実行対象アプリケーション手作業自作スクリプト CodeDeploy アプリケーションアプリケーション設定ミドルウェア手作業 OpsWorks Chef Ansible ミドルウェアミドルウェア設定 AWS AWS Command Line Interface AWS Management Console Amazon EC2 Amazon RDS AWS CloudFormation SDK Amazon Simple Storage Service (S3) Amazon VPC

8 AWS Command Line Interface (AWS CLI)とは AWSの各種サービスをコマンドで操作できるOSSの統合ツールです AWS CLIのサブコマンドはAWSのAPI実装に追従しておりほぼ全てのAWSサービス APIの操作を網羅しています Windows Linux Mac Unixプラットフォームに対応しており S3用にはsyncなどの便利な機能(High-Level API)もご利用できます Compute Block chain Media Security, Identity and Compliance Management & Governance Analytics Robotics Business Applications Application Integration Networking & Content Delivery 新機能の追加に従って常に更新されるため定期的にAWS CLIをアップデートすることを推奨します Mobile

9 ( 参考 ) AWS Tools for Windows PowerShell AWSPowerShell モジュール内のコマンドレットから AWS サービスを操作可能前提条件としては Windows XP 以降 PowerShell 2.0 以降の PowerShell です設定手順使用方法につきましては下記 URL をご参照ください

10 何故AWS CLIを使うのか (1/2) コマンドラインインターフェースで迅速な作業が行えるため ex. S3にファイルアップロード $ aws s3 cp test.txt s3://mybucket/test.txt

11 何故 AWS CLI を使うのか?(2/2) スクリプトによる作業自動化ができるため ex. 開発環境の構築 VPC EC2 AWS Identity and Access Management (IAM) それぞれを AWS CLI から操作 VPC の作成 EC2 インスタンスの作成 IAM ロールの作成人間によるGUI 操作はオペレーションミスが発生する可能性があるため自動化することでインシデントを事前に防げます

12 通信経路 ( 端末から操作する場合 ) パターン 1: インターネット経由でアクセスするパターン 2: 閉域でアクセスするインターネット AWS API エンドポイントオンプレミス VPC VPC エンドポイント SSH AWS Direct Connect

13 通信経路 ( バッチ等でサーバから操作する場合 ) パターン 1: インターネット経由でアクセスするオンプレミスインターネット AWS API エンドポイント VPC インターネット GW EC2

14 通信経路 ( バッチ等でサーバから操作する場合 ) パターン 2: 閉域でアクセスするオンプレミス VPC VPC エンドポイント AWS Direct Connect EC2

15 概要のまとめ AWS CLI は AWS 環境を操作する手段のうちの 1 つ AWS CLI は AWS API に追従しておりほぼ全ての AWS のサービスの操作を網羅 AWS CLI を利用することで迅速な作業作業自動化可能通信経路としてインターネット経由閉域網の両方を選択可能

16 アジェンダ概要セットアップ方法操作方法設定操作パターン集

17 セットアップ方法

18 セットアップの流れ 1. IAMの設定 2. AWS CLIのインストール 3. 初期設定各手順の詳細につきましては公式ドキュメントを参照してください

19 Step 1 - IAM の設定 1. IAM ユーザ IAM ロールを用意する PC オンプレミスサーバーから利用いずれの方式にせよ認証は必ず行われているためセキュア IAM ユーザーの作成 EC2 インスタンス上から利用アクセスキーシークレットアクセスキーの作成 IAM ロールの作成 EC2 インスタンスにロールの割当 2. IAM ユーザー IAM ロールに AWS のリソースを操作する権限を IAM ポリシーで付与する

20 AWS CLI の認証の仕組み高 aws --profile export AWS_ACCESS_KEY_ID=... ~/.aws/credentials ~/.aws/config Amazon Elastic Container Service (ECS) container credentials AWS credentials AWS CLI $ aws s3 ls 低 Amazon EC2 Instance Metadata Credential chain

21 Step 2 - AWS CLIのインストール前提条件 Python 2 バージョンまたは Python 3 バージョン 3.3+ Windows Linux, macos, or Unix Python2系のEOLが 2020/1/1のため Python3系を推奨セットアップ方法各プラットフォーム毎 (Windows Linux, macos, Unix) にセットアップ方法が異なりますプラットフォーム毎に以下の方法から選択してください pip(仮想環境なし)を利用したインストール pip(仮想環境あり)を利用したインストールインストーラを使用したインストール

22 Step 3 - 初期設定 aws configure コマンドが AWS CLI のインストールをセットアップするための最も簡単な方法です $ aws configure AWS Access Key ID [None]: xxx AWS Secret Access Key [None]: xxx Default region name [None]: ap-northeast-1 Default output format [None]: json Step 1 で作成したアクセスキーシークレットアクセスキーをここで入力しデフォルトリージョン出力形式を設定します (EC2 のロールを割り当てた場合は 2 つのアクセスキーは不要 ) ここで入力された機密性の高い認証情報 ( アクセスキーシークレットアクセスキー ) 機密性の低い設定オプション ( リージョン出力形式 ) をそれぞれ ~/.aws/credentials ~/.aws/config に区別して保存します ( Windows であれば $HOME/.aws/credentials $HOME/.aws/config ) 上記設定は最低限のものとなっておりますその他設定につきましては後述します

Cloud9 クラウドの統合開発環境こちらもAWS CLIがインストール済みですロールはデフォル

23 (参考) AWS CLIを簡単に実行する環境のご紹介 EC2 Amazon Linuxインスタンスにインストール済み AWS CLIを利用するにはロールの付与が必要です Cloud9 クラウドの統合開発環境こちらもAWS CLIがインストール済みですロールはデフォルトで付与されているものの操作できないものがあるため必要に応じて権限を付与してください

24 セットアップのまとめ AWS CLIは各種プラットフォームにインストール可能初期設定については aws configure コマンドを利用すると簡単に設定可能

25 アジェンダ概要セットアップ方法操作方法設定操作パターン集

26 操作方法

27 AWS CLIの操作方法について実行コマンドの形式各種オプションについて --profile オプション --region オプション --output オプション --query オプション各種サブコマンドについて help サブコマンド wait サブコマンドリターンコード CLIスケルトンの生成実行コマンド補完

28 実行コマンドの形式 $ aws [options] <command> <subcommand> [parameters] AWS コマンド全体で共通のパラメータ -- から始まる ec2, s3 など主にサービス名 ( 例外は configure, help) サービスごとのコマンド例 : 東京リージョンの EC2 インスタンスを最大 2 つ表示するコマンド毎のパラメータ -- から始まる $ aws --region ap-northeast-1 ec2 describe-instances --max-items 2

29 --profile オプション設定ファイル ( プロファイル ) を指定することで環境ごとの設定の切り替えができます設定ファイルの詳細につきましては後述いたします $ aws --profile (profile name) <command> <subcommand> [parameters] dev を指定 ~/.aws/credentials [default] aws_access_key_id=xxx aws_secret_access_key=xxx [profile dev] aws_access_key_id=yyy aws_secret_access_key=yyy ~/.aws/config [default] region=us-west-2 output=json [profile dev] region=ap-northeast-1 output=table

30 --region オプションコマンドを実行するリージョンを指定します設定ファイルで指定されたリージョン設定より優先されます $ aws --region (region) <command> <subcommand> [parameters] リージョン ap-northeast-1 ap-southeast-1 ap-southeast-2 eu-central-1 eu-west-1 リージョン名アジアパシフィック ( 東京 ) リージョンアジアパシフィック ( シンガポール ) リージョンアジアパシフィック ( シドニー ) リージョン欧州 ( フランクフルト ) リージョン欧州 ( アイルランド ) リージョン

31 --output オプションコマンドの出力形式を変更できます JSON Text Table のいずれかを指定できますデフォルトは JSON 形式です $ aws --output (output type) <command> <subcommand> [parameters] json text tabl { e } "Places": [ { City : Seattle, "State": "WA" }, { "City": Las Vegas", "State": "NV" } ] PLACES Seattle WA PLACES Las Vegas NV SomeOperationName Places City State Seattle WA Las Vegas NV

32 --query オプション (1/7) AWS CLI で出力される JSON 形式の標準出力を JMESPath の仕様に準拠してフィルタリングできるオプションです API のエンドポイント側ではなくクライアント側で適用されるフィルターです $ aws --query (String) <command> <subcommand> [parameters] 例 : EC2 の EBS ボリュームの 1 つ目を表示 $ aws ec2 describe-volume $ aws ec2 describe-volumes --query 'Volumes[0]' { "Volumes": [ { "Attachments": [ { "AttachTime": " T10:42:03.000Z", }, { } { } "Volumes": [ { "Attachments": [ { "AttachTime": " T10:42:03.000Z", } } ]

33 --query オプション (2/7) (--query なし ) --query Users[0].[UserName,Path,UserId] { "Users": [ { "Arn": "arn:aws:iam::xxxx:user/james", "UserId": "userid", "CreateDate": " T23:36:32Z", "Path": "/", "UserName": "james" } ] } マルチセレクト [ ] "james", "/", "userid"

34 --query オプション (3/7) $ aws ec2 describe-instances {... "Reservations": [ { "Groups": [], "Instances": [ { "InstanceId": "i-xxx", "InstanceType": "c3.2xlarge", $ aws ec2 describe-instances --query Reservations[].Instances[].[InstanceI d, InstanceType] [ ] [ ], [ ] 階層の絞り込み "i-xxx", "c3.2xlarge" "i-yyy", "t2.medium" 表示項目の絞り込み

35 --query オプション (4/7) $ aws ec2 describe-instances --query Reservations[].Instances[].[InstanceI d, InstanceType] 表示項目の追加 $ aws ec2 describe-instances --query 'Reservations[].Instances[].{id: InstanceId, type: InstanceType}' [ ] [ ], [ ] "i-xxx", "c5.xlarge" "i-yyy", "t2.medium" [ ] [ ], [ ] "id": "i-xxx", "type": "c5.xlarge" "id : "i-yyy", "type": "t2.medium"

36 --query オプション (5/7) $ aws ec2 describe-instances --query Reservations[].Instances[].[InstanceI d, InstanceType] [ ] [ ], [ ] "i-xxx", "t2.micro" "i-yyy", "c5.xlarge" 部分一致でアイテムの絞り込み $ aws ec2 describe-instances --query 'Reservations[].Instances[?InstanceTyp e==`t2.micro`].[instanceid, InstanceType][]' [ ] 完全一致でアイテムの絞り込み [ ] "id": "i-xxx", "type": "t2.micro" $ aws ec2 describe-instances --query 'Reservations[].Instances[?contains(In stancetype,`t2`)!=`true`].[instanceid, InstanceType][]' [ ] [ ] "id": "i-yyy", "type": "c5.xlarge"

37 --query オプション (6/7) AND 条件で絞り込み $ aws ec2 describe-instances --query 'Reservations[].Instances[].[InstanceI d, InstanceType, State.Name]' [ ] [ ], [ ], [ ] "i-xxx", t2.micro "stopped" "i-yyy", "t2.micro" "running" "i-zzz", "t2.micro" "running" $ aws ec2 describe-instances --query 'Reservations[].Instances[?State.Name! =`stopped`][] [?InstanceType==`t2.micro`].[InstanceI d, InstanceType, State.Name]' [ ] [ ] "i-xxx", "t2.micro" "stopped

38 --query オプション (7/7) $ aws ec2 describe-instances --query 'Reservations[].Instances[].[InstanceI d, InstanceType, State.Name]' 絞り込みした配列の数を表示 $ aws ec2 describe-instances --query 'length(reservations[].instances[?inst ancetype==`t2.micro`][instanceid][])' [ ] [ ], [ ], [ ] "i-xxx", t2.micro "stopped" "i-yyy", "t2.micro" "running" "i-zzz", "t2.micro" "running" 3

39 JMESPath について (1/3) JMESPath とは JSON 用のクエリー言語ですパースフィルター整形ができますクエリー種別インプットクエリー結果キー {"a": "foo", "b": "bar"} a foo キー ( 階層 ) {"a": { "b": { "c":"value" } } } a.b.c インデックス ["a", "b", "c", "d", "e", "f"] [1] b value スライス [0, 1, 2, 3, 4, 5] [0:4] [0, 1, 2, 3] スライス ( スキップ ) [0, 1, 2, 3, 4, 5] [::2] [0, 2, 4] パイプ [0, 1, 2, 3, 4, 5] [::2] [1] 2

40 JMESPath について (2/3) クエリー種別インプットクエリー結果 == {"machines": [ {"name": "a", "state": "running" }, {"name": "b", "state": "stopped" } ]} machines[?state== 'running'].name [ ] "a"!= {"machines": [ {"name": "a", "state": "running" }, {"name": "b", "state": "stopped" } ]} machines[?state!= 'running'].name [ ] "b" マルチセレクト {"machines": [{ "name": "a", "state": {"name": "running"} },{ "name": "b", "state": {"name": "stopped"} }]} machines[].[name, state.name] [ ] [ "a","running" ], [ "b","stopped" ]

41 JMESPath について (3/3) JMESPath ファンクションについてクエリー種別インプットクエリー結果 length { "people": [ {"name": "a" }, {"name": "b" }, {"name": "c" }]} length(people) 3 max_by {"people": [ {"name": "a", "age": 30}, {"name": "b", "age": 50}, {"name": "c", "age": 40}]} contains {"myarray": [ "foo", "bar", "foobar", "barfoobaz"]} max_by(people, &age).name myarray[?contains(@, 'foo') == `true`] b [ ] "foo", "foobar", "barfoobaz"

( 参考 ) JMESPath の動作確認ツール JMESPath Terminal https://github.com/jmespath/jmespath.

42 ( 参考 ) JMESPath の動作確認ツール JMESPath Terminal $ echo '{"myarray": ["foo", "bar", "foobar", "barfoobaz"]}' jpterm $ aws ec2 describe-instances jpterm AWS CLIの出力でも JMESPathの確認ができます

43 処理速度向上について --filter 実行されるのはサーバーサイド実行できるサブコマンドは限られるので注意 (list-* や describe-* で使えるケースが多い) 1000以上の大きいデータセットを取得するようなユースケースで使うと効果的上記のような大きいデータセットで -page-size オプションもあわせて使うとさらに効果的出力されるJSON構造を意識せずに記述できる $ aws ec2 describe-instances --filters Name=instance-type,Values=c5.xlarge --query 実行されるのはクライアントサイドすべてのサブコマンドにて実行可能です JMESPathを利用したクエリで絞り込みできます $ aws ec2 describe-instances --query "Reservations[].Instances[?InstanceType == 'c5.xlarge']"

44 help サブコマンド各コマンドの詳細を確認できるサブコマンド AWS CLI を使う際に必須と言えるほどよく使うサブコマンドですので是非使い方を覚えてください $ aws [options] <command> help [parameters] 例 1: EC2 のコマンド確認 $ aws ec2 help 例 2: EC2 の describe-instances のコマンド確認 $ aws ec2 describe-instances help

45 wait サブコマンド特定の条件が満たされるまで AWS CLI を待機させられますこのサブコマンドを利用することでイベントが完了されるまで待機できます試行回数が一定回数を超えてタイムアウトが発生した場合 255 のリターンコードを返します $ aws [options] <command> wait [parameters] 例 1: 特定のインスタンスが起動されるまで待機させる $ aws ec2 wait instance-running --instance-ids $instance_id 例 2: クラスター ID が x asdfg のクラスターが実行されるまで待機させる例 $ aws emr wait cluster-running --cluster-id xxxxx

46 リターンコードリターンコード 0 エラー無しでコマンド実行が成功説明 1 s3コマンドで制限値に到達最低 1つのs3 転送が失敗 2 パラメータ不足などのエラーまたはs3コマンドで一部ファイルのみ転送失敗 130 SIGINT (Ctrl + C) をAWS CLIコマンドが受け取り中断した 255 コマンド実行失敗 CLIまたはサービス側のエラー上記リターンコードを確認する方法は以下の通りです $ aws ec2 describe-instances $ echo $? 0 なお --debug オプションをつけるとコマンド実行の詳細を確認できエラー時に活躍しますリターンコードについて公式ドキュメントでも確認できますが aws help return-codes でも参照できます

47 CLI スケルトンの生成実行特定のAWS CLIコマンドのすべてのパラメータを含んだファイルを生成できます 1. --generate-cli-skeleton を指定してコマンドを実行しファイルを生成 $ aws ec2 run-instances --generate-cli-skeleton > ec2runinst.json 2. ファイルを開き不要なパラメータの削除パラメータ修正 { } "DryRun": false, "ImageId": "ami-dfc39aef", "KeyName": "mykey", "SecurityGroups": [ "my-sg" ], "InstanceType": "t2.micro", "Monitoring": { "Enabled": true } 3. --cli-input-json でファイルを指定して実行 $ aws ec2 run-instances --cli-input-json file://ec2runinst.json

48 コマンド補完 aws コマンドを入力後 [Tab] キーを押す度に補完が行われます Amazon Linux ではコマンド補完が自動的に設定されていますがほとんどのシステムではこの機能が設定されていないため手動で設定する必要があります 1. シェルを識別する 2. AWS コンプリータを見つける 3. コンプリータのフォルダをパスに追加する 4. コマンド補完を有効にする 5. コマンド補完のテスト $ aws s[tab] s3 ses sqs sts swf s3ap sns storagegateway support

49 操作方法のまとめ AWS CLIの実行コマンドの形式のご紹介各種オプションサブコマンドについて --profile オプション --region オプション --output オプション --query オプション help サブコマンド wait サブコマンドリターンコード CLIスケルトンコマンド補完について

50 アジェンダ概要セットアップ方法操作方法設定操作パターン集

51 設定

52 よく使う AWS CLI の設定複数プロファイルの設定実行方法複数プロファイルの作成方法切り替え方法他アカウントのリソースへアクセスプロファイルの設定項目について MFA ( 多要素認証 ) を使ったアクセス S3コマンドの設定 HTTPプロキシの設定

53 複数プロファイルの設定実行方法 (1/5) 開発環境 (dev) 商用環境 (prod) のように環境ごとに設定内容を変更して保存可能 $ aws --profile prod configure AWS Access Key ID [None]: xxx AWS Secret Access Key [None]: xxx Default region name [None]: ap-northeast-1 Default output format [None]: table また実行時にプロファイルを指定して実行可能 $ aws --profile prod ec2 describe-instances prod 開発環境 dev 商用環境

54 複数プロファイルの設定実行方法 (2/5) 他アカウントのリソースへアクセスする 1. IAMでロールの作成 2. ロールの新しいプロファイルを ~/.aws/config ファイルに追加 ~/.aws/config [profile admin-group] aws_access_key_id = XXX aws_secret_access_key = ABC... admin-group [profile dev-a-group] source_profile = admin-group role_arn = arn:...:role/admin-team-account 3. プロファイルを切り替えて AWS CLI を実行 $ aws --profile dev-a-group s3 ls dev-a-group admin-group のユーザーが dev-a-group のリソースへアクセス

55 複数プロファイルの設定実行方法 (3/5) プロファイルの設定項目について ~/.aws/config [default] aws_access_key_id = XXX aws_secret_access_key = ABC... [profile admin-group] credential_process = [profile dev-a-group] source_profile = default role_arn = arn:...:role/admin-team-account [profile mfa-access] source_profile = default role_arn = arn:...:role/mfa-access-role mfa_serial = arn:...:mfa/mfa-of-user [ ] で囲われているものがプロファイル名 [default] はデフォルトとして使われる特別なプロファイル名外部認証との連携設定 ( 次スライドにて説明 ) 指定したプロファイルに切り替えた上で認証設定を引き継ぐ Assume Role をするための ARN 指定 Assume Role をする時に使われる多要素認証 (MFA) デバイスの指定セキュリティをより強固にしたい場合に用いられます上記設定はあくまでサンプルのためそれぞれの項目で意味のある値ではないためご注意ください

56 複数プロファイルの設定実行方法 (4/5) [default] aws_access_key_id = AKIDF... aws_secret_access_key = 1rHl... [profile dev] credential_process = /usr/local/bin/awscreds-custom ~/.aws/config InvokeProcess(/usr/local/bin/awscreds-custom) AWS credentials AWS CLI $ aws s3 ls --profile dev { } stdout (rc=0) AccessKeyId : ADIF..., SecretAccessKey : 2rFt..., Version : 1 awscreds-custom , 本説明のデモについては Amazon Web Services, Inc. re:invent or its Affiliates. 2017: All AWS rights CLI: reserved and Beyond 24 分あたりをご覧ください

複数プロファイルの設定実行方法 (5/5) MFA ( 多要素認証 ) を使ったアクセス mfa-access-role の信頼関係 {"Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": {"arn:aws:iam::.

57 複数プロファイルの設定実行方法 (5/5) MFA ( 多要素認証 ) を使ったアクセス mfa-access-role の信頼関係 {"Version": " ", "Statement": [ { "Effect": "Allow", "Principal": {"AWS": {"arn:aws:iam::...:user/normal-user"}}, "Action": "sts:assumerole", "Condition": {"Bool": {"aws:multifactorauthpresent": "true"}} }]} normal-access プロファイル MFA mfa-access-role ロール取得時に MFA コードが必要 ~/.aws/config [profile normal-access] aws_access_key_id = AKIDF... aws_secret_access_key = 1rHl... [profile mfa-access] source_profile = normal-access role_arn = arn:...:role/mfa-access-role mfa_serial = arn:...:mfa/mfa-of-user $ aws --profile normal-access s3 ls s3://public-bkt/... $ aws --profile mfa-access s3 ls s3://restrict-bkt/ Enter MFA code for arn:...:mfa/mfa-of-user...

58 S3 コマンドの設定 S3 のアップロードの設定が以下の通りにできます ~/.aws/config [default] region=ap-northeast-1 output=json s3 = max_concurrent_requests = 20 max_queue_size = max_bandwidth = 50MB/s multipart_threshold = 64MB multipart_chunksize = 16MB use_accelerate_endpoint = true AWS CLI のスループットを検討する場合に変更するもの最大同時リクエスト数タスクキューの最大数 S3アップロード時に使う最大の帯域幅マルチパートに切り替えるファイルサイズのしきい値マルチパートのファイル1つあたりのサイズ S3 Accelerate endpointの使用可否大きなファイルを扱う場合に変更するもの各項目のデフォルト値詳細については公式ドキュメントを参照してください aws help s3-config, aws help s3-faq でも確認できます

59 aws s3 cp の仕組み Thread 1 Thread 2 IO Queue IO Thread Thread 3 Thread pool Amazon S3 bucket AWS CLI Disk

60 aws s3 cp の仕組み Thread 1 Thread 2 IO Queue IO Thread Thread 3 Thread pool Amazon S3 bucket AWS CLI Disk

61 aws s3 cp の仕組み Thread 1 Thread 2 IO Queue IO Thread Thread 3 Thread pool Amazon S3 bucket AWS CLI Disk

62 aws s3 cp の仕組み Thread 1 Thread 2 IO Queue IO Thread Thread 3 Thread pool Amazon S3 bucket AWS CLI Disk

63 aws s3 cp の仕組み Thread 1 Thread 2 IO Queue IO Thread Thread 3 Thread pool Amazon S3 bucket AWS CLI Disk

64 aws s3 cp の仕組み Thread 1 Thread 2 IO Queue IO Thread Thread 3 Thread pool Amazon S3 bucket AWS CLI Disk

65 aws s3 cp の仕組み Thread 1 Thread 2 IO Queue IO Thread Thread 3 Thread pool Amazon S3 bucket AWS CLI Disk

66 aws s3 cp の仕組み Thread 1 Thread 2 IO Queue IO Thread Thread 3 Thread pool Amazon S3 bucket AWS CLI Disk

67 aws s3 cp の仕組み [default] region = ap-northeast-1 s3 = max_concurrent_requests = 3 max_bandwidth = 50MB/s Thread 1 Thread 2 IO Queue IO Thread Thread 3 Thread pool Amazon S3 bucket AWS CLI Disk

68 aws s3 cp の仕組み [default] region = ap-northeast-1 s3 = max_queue_size = multipart_threshold = 64MB multipart_chunksize = 16MB 160MB Thread 1 IO Queue IO Thread multipart_threshold = 64MB max_queue_size config.html#configuration-values multipart_chunksize = 16MB

69 AWS CLI のエイリアス作成方法 aws whoami のようなエイリアスコマンドを設定できます設定ファイルは ~/.aws/cli/alias に配置します $ git clone $ mkdir -p ~/.aws/cli $ cp awscli-aliases/alias ~/.aws/cli/alias ~/.aws/cli/alias [toplevel] whoami = sts get-caller-identity $ aws whoami { } "Account": , "UserId": sample, "Arn": "arn:aws:iam:: :user/sample"

70 HTTP プロキシの設定プロキシサーバーを使用して AWS にアクセスするには以下のとおりに HTTP_PROXY および HTTPS_PROXY 環境変数にプロキシの URL を設定します Linux, macos, or Unix $ export HTTP_PROXY= $ export HTTP_PROXY= $ export HTTPS_PROXY= $ export HTTPS_PROXY= Windows C: > set HTTP_PROXY C: > set HTTP_PROXY= C: > set HTTPS_PROXY= C: > set HTTPS_PROXY=

71 設定のまとめ複数プロファイルの設定実行方法複数プロファイルの作成方法切り替え方法他アカウントのリソースへアクセスプロファイルの設定項目について MFA ( 多要素認証 ) を使ったアクセス S3コマンドの設定 HTTPプロキシの設定

72 アジェンダ概要セットアップ方法操作方法設定操作パターン集

73 操作パターン集

74 AWS CLI の操作パターン集サービス EC2 S3 IAM ユースケース S3 に置かれたファイルをディスクに保存せず圧縮したい AWS のアカウント ID を確認したい CloudFormation のスタックが作成完了するまで待機させたい AWS CLI の実行履歴を確認したいオンプレミス S3 間のファイルアップロードダウンロード

75 サービス (1/3) EC2 オレンジ色の下線で示されているパラメータ値はご自身の値に置き換えてください EC2 のインスタンス ID の一覧取得 $ aws ec2 describe-instances --query 'Reservations[].Instances[].[InstanceId, InstanceType, State.Name]' --output table EC2 のインスタンス停止過去の実行履歴の確認 $ aws ec2 stop-instances --instance-ids ${ インスタンス ID} EC2 のインスタンス起動過去の実行履歴の確認 $ aws ec2 start-instances --instance-ids ${ インスタンス ID} EC2 のインスタンス作成 $ aws ec2 run-instances --image-id ami-xxxxxxxx --count 1 --instance-type t2.micro --keyname MyKeyPair --security-group-ids sg-xxxxx --subnet-id subnet-xxxxx

76 サービス (2/3) S3 High-Level Command S3 バケットの作成 $ aws s3 mb s3://${ バケット名 } S3 バケットの一覧表示 $ aws s3 ls S3 バケットの削除 $ aws s3 rb s3://${ バケット名 } S3 バケットへのファイルのアップロード $ aws s3 cp file.txt s3://${ バケット名 }/ S3 バケットのファイルフォルダの同期 $ aws s3 sync./folder s3://${ バケット名 }/

77 サービス (3/3) IAM IAM グループの作成 $ aws iam create-group --group-name MyIamGroup IAM ユーザーの作成 $ aws iam create-user --user-name MyUser IAM グループの詳細確認 $ aws iam get-group --group-name MyIamGroup IAM ユーザーへ IAM ポリシーのアタッチ $ aws iam attach-user-policy --user-name MyUser --policy-arn ${ ポリシーの ARN} IAM ユーザーにアタッチされた IAM ポリシーの確認 $ aws iam list-attached-user-policies --user-name MyUser

78 ユースケース (1/5) S3 に置かれたファイルをディスクに保存せず圧縮したい $ aws s3 cp s3://bucket/key bzip2 --best aws s3 cp - s3://bucket/key.bz2 aws s3 cp コマンドでは入出力パラメーターにハイフン - を指定することで標準入出力と S3 との間でダウンロードアップロードが可能です 1. S3 からファイルをダウンロード 3. 圧縮ファイルをアップロード erence/s3/cp.html 2. 圧縮ただしディスクにファイルを保存しない

79 ユースケース (2/5) AWS のアカウント ID を確認したい $ aws sts get-caller-identity { } "UserId": "XXX ", "Account": " ", "Arn": "arn:aws:iam:: :user/hoge" 別アカウントのプロファイルであれば --profile をつけて別アカウントのアカウント ID も確認可能開発環境 Account ID: 商用環境 Account ID:

80 ユースケース (3/5) CloudFormation のスタックが作成完了するまで待機させたい $ aws cloudformation wait stack-create-complete --stack-name ${ スタック名 } スタックステータスが CREATE_COMPLETE になるまで待機指定したステータスになるまで 30 秒ごとにポーリングし確認に 120 回失敗するとリターンコード 255 で終了します CloudFormation スタックの実行

81 ユースケース (4/5) AWS CLI の実行履歴を確認したいリスト形式での表示コマンド ID 日付引数リターンコードが含まれる $ aws history list XXXX-XXXX-XXXX-XXXX :00:01 AM iam get-group 255 XXXX-XXXX-XXXX-XXXX :00:00 AM ec2 describe-instances 0 実行結果の詳細表示 aws history list で表示されたコマンド ID も指定可能 $ aws history show AWS CLI command entered at time: :00: with AWS CLI version: aws-cli/ Python/3.7.3 Darwin/ botocore/ with arguments: ['ec2', 'describe-instances', '--output', 'table'] [0] API call made at time: :00:

82 ユースケース (5/5) オンプレミス S3 間のファイルアップロードダウンロード単一ファイルであれば aws s3 cp 複数ファイルがあれば aws s3 sync のコマンドで実現できます閉域で行いたい場合は VPC エンドポイントをご利用くださいオンプレミスインターネット AWS Cloud VPC インターネット GW EC2 VPC エンドポイント

83 ユースケースのまとめサービス EC2 S3 IAM ユースケース S3 に置かれたファイルをディスクに保存せず圧縮したい AWS のアカウント ID を確認したい CloudFormation のスタックが作成完了するまで待機させたい AWS CLI の実行履歴を確認したいオンプレミス S3 間のファイルアップロードダウンロード

84 まとめ

85 まとめ本日以下のことをお伝えしました AWS CLIの概要 AWS CLIのセットアップ方法 AWS CLIの操作方法 AWS CLIの設定方法操作パターン集

(参考) AWS CLI Version 2について re:invent 2018にてVersion 2が発表されました現在はプレビュー版ですのでご興味のある方は使ってみて是非フィードバックをください主な特徴は以下の通りです自動補完の性能向上 Wizard形式での実行が可能に Mac

86 (参考) AWS CLI Version 2について re:invent 2018にてVersion 2が発表されました現在はプレビュー版ですのでご興味のある方は使ってみて是非フィードバックをください主な特徴は以下の通りです自動補完の性能向上 Wizard形式での実行が可能に Mac Linuxでもインストーラーを選択できるように (今まではWindowsのみ)

87 ( 参考 ) AWS CLI の過去の発表 Deep Dive: AWS Command Line Interface AWS re:invent 2017: AWS CLI: 2017 and Beyond AWS re:invent 2017: Introduction to the AWS CLI AWS re:invent 2018: [REPEAT 1] What's New with the AWS CLI

88 JAWS-UG CLI 専門支部のご紹介 AWS CLI に興味がある使いこなしたい広めたいユーザーが集まるユーザーグループです 2019 年 7 月時点で 130 回を超えるイベントを開催しておりハンズオンを通して理解を深める場となっております気軽に相談議論ができる場が提供されているのでご興味のある方は是非ご参加ください JAWS-UG CLI 専門支部 :

89 Q&A お答えできなかったご質問については AWS Japan Blog にて後日掲載します

7 月の Black Belt Online Seminar 配信予定 https://amzn.

年主要アップデートまとめ 7/16 ( 火 ) 12:00-13:00 Amazon Personalize 7/17 ( 水 ) 18:00-19:00 Amazon Simple Queue

90 7 月の Black Belt Online Seminar 配信予定 7/3 ( 水 ) 18:00-19:00 Amazon MQ 7/5 ( 金 ) 18:00-19:00 AWS Summit TOKYO/OSAKA 2019 振り返り 2019 年主要アップデートまとめ 7/16 ( 火 ) 12:00-13:00 Amazon Personalize 7/17 ( 水 ) 18:00-19:00 Amazon Simple Queue Service(SQS) 7/23 ( 火 ) 12:00-13:00 AWS CloudHSM 7/24 ( 水 ) 18:00-19:00 AWS Command Line Interface 7/30 ( 火 ) 12:00-13:00 Amazon CloudFront 7/31 ( 水 ) 18:00-19:00 Amazon ECS Deep Dive

91 AWS の日本語資料の場所 AWS 資料で検索

92 AWS Well-Architected 個別技術相談会毎週 W-A 個別技術相談会を実施中 AWSのソリューションアーキテクト (SA) に対策などを相談することも可能申込みはイベント告知サイトから ( AWS イベントで [ 検索 ]

93 ご視聴ありがとうございました AWS 公式 Webinar 過去資料

PowerPoint Presentation

PowerPoint Presentation ~ コード化の開始から頻出パターンまで ~ 大村幸敬 Amazon Web Services ソリューションアーキテクト Agenda Who am I? 大村幸敬 ( おおむらゆきたか ) Solutions Architect @Amazon Web Services Japan エンタープライズのお客さまを担当 Management Tools & DevOps 系サービスを担当好きなサービス