目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名

Transcription

1 最新事例 AWS Lambdaを使った サーバレスのアプリケーション開発 Ｅｘａ Ｖａｌｕｅ Ｆｏｒｕm 年 11月 7日 株式会社エクサ テクノロジーイノベーション部 萩森 省吾 冨田 大樹

2 目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名称は各社の登録商標または商標です 2

3 １ はじめに 目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名称は各社の登録商標または商標です 3

4 １ はじめに サーバレスコンピューティングとは The phrase serverless doesn t mean servers are no longer involved. It simply means that developers no longer have to think that much about them. Computing resources get used as services without having to manage around physical capacities or limits. Ken Fromm Why The Future Of Software And Apps Is Serverless (2012/10/15 ReadWrite)より < サーバがもはや必要となくなった という意味ではない 開発者がインフラについて多くの事を考える必要がなくなった コンピューティングリソースがサービスとして提供され 開発者が物理的な容量や限 界を管理する必要がない サーバやインフラを気にかけず 主力製品に集中できる 4

5 １ はじめに 近年のクラウドサービスの動き 近年 サーバレスコンピューティングはAWSに続き 主要クラウド サービスの全てがサービスを展開し 急速に注目を集めている AWS Lambda Azure Functions Google Cloud Platform Cloud Functions IBM Cloud Functions マイクロサービスベースとなるため 構築が早く 変更も容易となるシステムが開発できる サーバレスの知見を得る事により 新たなビジネスチャンスが生まれる 5

6 １ はじめに 研修実績管理システムのリプレース 現在の研修実績管理システムの問題点 サーバ老朽化による故障で 昨年から臨時サーバで運用 臨時環境であり 恒久的な運用に耐えられない アプリケーション本体もFWやDBが古く サポート切れ UIが使いにくく社員がシステムを活用できていない AWS上でサーバレスアプリケーションとしてリプ レースする事に 6

7 ２ 研修実績管理システムの概要 目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名称は各社の登録商標または商標です 7

8 ２ 研修実績管理システムの概要 研修実績管理システムについて 研修受講システム 社内研修の 受講申請をする 研修実績管理システム 社員 自己研鑽 社外研修の 実績を登録する 年間総受講日数の確認 をする 社内研修受講実績 データ 全社の研修受講状況 レポートを作成する 研修実績 データ 育成担当 技術管理システム スキルレベルを確認する 研修受講計画を考える 8

9 ２ 研修実績管理システムの概要 リプレース要件 1. 社員がいつでもどこでも 研修実績を 登録することができる 社員個人が頻繁に使う機能は 会社支給 iphoneか らも簡単に利用できるインターフェースとして チャットボットで提供 2. 育成担当が効率よく作業できる 主に育成担当が使う 複数件一括登録や 対象 件数が多い参照機能は Webで提供 3. 他の社内システムと同じユーザIDとパ スワードを使って認証できる チャットボットはG suiteへのログインで利用可 Webは GoogleのOpenID Connectを利用して Gsuiteの認証と同じ認証機構をつかうようにした 9

10 ２ 研修実績管理システムの概要 新研修実績管理システムの全体アーキテクチャ WAF Cognito IAM CloudFront API Gateway Lambda IF Google Cloud Platform Dynamo DB Google Apps Script S3 Hangouts Chat JavaScript 社員 CodeCommit CloudFormation ブラウザ 開発者 YAML CodeBuild CodePipeline CloudWatch 開発者用サービス 10

11 ２ 研修実績管理システムの概要 主な使用サービス一覧 種類 AWSサービス 名前 説明 WAF AWSのWeb Application Firewall CloudFront CDN(Contents Delivery Network)サービス API Gateway APIのエンドポイントを作成 (Lambdaと繋げる) Lambda サーバの管理必要なしでコードを実行できるコンピューティングサービス DynamoDB KVS型のNoSQLデータベース S3 オブジェクトストレージ Cognito AWSの認証 認可用サービス IAM AWSでのユーザ管理 CodeCommit Gitリポジトリホスティングサービス CodeBuild コンテナ上で任意のシェルスクリプトを実行可能 CloudFormation AWSサービスのオーケストレーション CodePipeline CI/CD(継続的インテグレーション / デリバリー)サービス CloudWatch ログ AWS上でのイベントの管理 11

12 ２ 研修実績管理システムの概要 主な言語 フレームワーク ライブラリ一覧 1/2 種類 言語 フレームワーク ライブラリ 名前 説明 JavaScript Lambda関数 Webアプリクライアントで使用 YAML CloudFormationのテンプレートファイルの記述で使用 Google Apps Script チャットボットの IFに使用 Node.js JavaScript実行環境 AWS SDK Node.jsで使用するAWSのSDK React.js フロントエンドの UI作成ライブラリ AWS SAM CloudFormation用サーバレスアプリケーションモデル SAM Local AWS SAMをローカルで構築できる CLIツール webpack フロントエンドのモジュールバンドラ babel JavaScript コンパイラ Material UI コンポーネントライブラリ 12

13 ２ 研修実績管理システムの概要 主な言語 フレームワーク ライブラリ一覧 2/2 種類 フレームワーク ライブラリ 名前 説明 Mocha テスト全般で使用するテストフレームワーク power-assert アサーションライブラリ Mochawesome テストレポート出力ライブラリ Enzyme React.jsコンポーネントテストのためのユーティリティライブラリ TestMyBot チャットボットAPI用テストフレームワーク Puppeteer Google Chromeオートメーションライブラリ 13

14 ２ 研修実績管理システムの概要 アプリケーションアーキテクチャ IF Google Cloud Platform CloudFront API Gateway Lambda Cognito Dynamo DB Google Apps Script Hangouts Chat S3 社員 ブラウザ WAF IAM 14

15 ３ AWS Lambdaを利用した開発 目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名称は各社の登録商標または商標です 15

16 ３ AWS Lambdaを利用した開発 Lambdaとは AWSが提供しているコンピューティングサービス サーバをプロビジョニングしたり管理しなくてもコードを実行できる JavaScript, Java, C#, Go, Python が対応 最大処理時間15分 バッチ処理には向かない イベントにより コンテナが処理中のみ立ち上がって関数が実行さ れる APIへのリクエスト 時間 各種AWSサービスのイベント等 16

17 ３ AWS Lambdaを利用した開発 Lambda関数から別のLambda関数の呼び方 1/2 Lambda関数をモジュール単位で分割して開発したい 例 ボット用 ウェブ用 Lambda Dynamo DB 実績登録 ロジック 実績 テーブル しかし Lambdaは各関数が隔離されたコンテナで動作するため 言語仕様上の呼び出し方では不可能 実行サーバ bot.js const register = require(./register );... エラー イメージ図 resiter bot web 17

18 ３ AWS Lambdaを利用した開発 Lambda関数から別のLambda関数の呼び方 2/2 AWS SDK のLambda関数呼び出しメソッドを利用 bot.js const AWS = require( aws-sdk ); const lambda = new AWS.Lambda({... }); SDKは require 可能... 関数名(FunctionName)を 指定して呼び出し lambda.invoke({ FunctionName: register, Payload: parameters }); 18

19 ３ AWS Lambdaを利用した開発 DynamoDBとは AWSで提供されているKey Value Store型のデータ ベース 読み込み 書き込みが早い トランザクションは使えない コミット ロールバックなし 複数レコードの一貫性が保たれなくても本当に問題ないか 十分に検討 する必要がある 代替手段として Amazon RDS (フルマネージドのRDBサービス) 19

20 ３ AWS Lambdaを利用した開発 Lambda関数のユニットテスト手法 Lambda関数に依存するAPIやDBはクラウド上のサービスとなってい るため 通常はLambda関数のユニットテストはクラウドにあげて行う 必要がある AWS公式ツールを用いてローカル環境でテストが可能 SAM Local (現 SAM CLI) DynamoDB ローカル ローカルPC上でLambda関数の開発が可能 20

21 ３ AWS Lambdaを利用した開発 SAM Local AWSのサーバレス環境をローカルPCのDockerコンテ ナ上で構築できるコマンドラインツール CloudFormationテンプレートを利用する事で 本番と同等 の環境が構築可能 構築できるのは API Gateway と Lambda のみ ローカルで任意のタイミングで素早くテスト出来る環境 はアジャイル開発においては必須 SAM Localのセットアップ方法 ( ) 21

22 ３ AWS Lambdaを利用した開発 DynamoDBローカル ダウンロード可能なDynamoDB Javaアプリケーション コマンドラインから起動 停止が可能 SAM LocalではDynamoDBは構築されないため 使 用する必要がある 22

23 ３ AWS Lambdaを利用した開発 ローカルPC環境全体図 Lambdaから参照 仮想AWS環境 Docker DynamoDBローカル ソースコード / テストコード JDK 8 Node.js SAM Local コンテナ立ち上げ 環境構築 コンテナ立ち上げ CentOS 7.1 Virtual Box Windows 7 ローカルPC 社用PCだとセキュリティソフトとの兼ね合い (?)でWindows 7上で Dockerが動作しなかったため Linuxの仮想OS上で環境を構築 23

24 ４ チャットボットの開発 目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名称は各社の登録商標または商標です 24

25 ４ チャットボットの開発 チャットボットのアーキテクチャ図 チャットボット インターフェース Hangout Chat用IF Hangouts Chat Google Cloud Platform WAF CloudFront Google Apps Script API Gateway Lambda DynamoDB ボット本体の機能を提供 Hangouts Chatとボットの架け橋 こんにちは コンニチハ 会話1往復で左端から右端まですべて実行される 25

26 ４ チャットボットの開発 チャットボットの会話の流れ ユーザ チャットボット DB 機能 会話の開始 登録する 研修名は サーバーレス 研修日は 状態保持 状態保持 2018/06/12 登録しました 一つの機能を提 供するために 1 回以上のやり取 りが必要 登録実行 会話の終了 会話の進行に合わせてその状態は保持する必要がある 26

27 ４ チャットボットの開発 会話の状態保持 Lambdaは処理が終わるとインスタンスが破棄されてしまう そのためユーザとの会話の状態はDBなどを利用して保存した データ構造 { user_id: abc intent_id: sample session:{ index: 2 entities:{ name: サーバーレス } } ユーザのID 進行中の話題 何番目の会話まで進んだか 会話の中で得た情報 } 27

28 ４ チャットボットの開発 テストの手法 ITとSTフェーズでテストをする範囲は以下の様に定めた テスト種類 使用フレームワーク テスト内容 UT LambdaとGoogle Apps Scriptそれぞれのテスト QUnit for Google Apps Script ITa Bot API が正常に動作するかをテストする TestMyBot ITb インターフェースとBot APIの連携をテストする QUnit for Google Apps Script ST 実際にチャットクライアントを使用してテストする ー 自動化 28

29 ４ チャットボットの開発 TestMyBotの特徴 技術者でなくても理解できる形式でテストコードを 記述する - お客様にテストコードを直接レビューいただくことが可能 テストケース表を別途作成する必要がなくなる テストコード一例 #me ユーザの入力 登録 #bot ボットからの応答 どんな研修を受けましたか タイトルを入れてください #me サーバーレスアプリケーション開発 #bot サーバーレスアプリケーション開発 ですね 29

30 ４ チャットボットの開発 レスポンスの問題発生 実装したものを触ってみると ユーザの入力からボットの応答があるまでの 時間が非常に遅いことがわかった ⅰ 1.5秒 ⅱ 0.4秒 ⅲ 0.8秒 ⅳ 0.4秒 30

31 ４ チャットボットの開発 Botの応答速度改善 ⅰ イベントが発火する時間 (1.5秒) ⅲ Lambdaの起動にかかる時間 (0.8秒) Hangout Chat用IF Hangouts Chat Google Cloud Platform API Gateway Lambda DynamoDB Google Apps Script ⅱ Spread Sheetの操作時間(0.4秒) スプレッドシート ⅳ Lambdaの処理にかかる時間 (0.4秒) 試した内容 成果 ⅰ Googleが完全に隠蔽している領域なので断念した ー ⅱ スプレッドシートの操作にキャッシュを適用した 読込 0.13秒に短縮 書込 変化なし ⅲ 15分に1度Lambdaを実行する(コンテナを常時ホットスタンバイにする ) 効果なし ⅳ Lambda実行時に使用するメモリサイズを 128MBから512MBに増やす 0.4秒が0.1秒に短縮 TOTAL 4秒 3.5秒 31

32 ５ Webアプリケーションの開発 目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名称は各社の登録商標または商標です 32

33 ５ Webアプリケーションの開発 Webアプリケーション概要 ブラウザ WAF React.js CloudFront API Gateway Lambda Dynamo DB REST APIを実装 アプリケーションの形態は Single Page Application とした フロントエンドのライブラリとして React.js を採用 Single Page Application とは 単一ページで構成されるWebアプリケーション サーバサイドではデータのみを返すREST APIを実装 クライアントサイドでJavaScriptを用いてDOMを操作してページを切り替える 単純な関数であるLambdaとは相性が良い 33

34 ５ Webアプリケーションの開発 Single Page Application の特徴 Single Page Application 従来のWebアプリケーション サーバサイド処理の 違い データのみをクライアントへ返し クライ アントサイドで描画する 必要箇所のみ再描画するため レスポ ンスも速い サーバサイドで HTMLを描画してクラ イアントへ返す セッションの有無 無し DBで保持する もしくはクライアントサ イドで保持する必要がある (Cookie等) 有り ブラウザとの依存性 ブラウザがJavaScriptをサポートしてい る必要がある 特に無し 34

35 ５ Webアプリケーションの開発 Single Page Application の特徴 Single Page Application 従来のWebアプリケーション サーバサイド処理の 違い データのみをクライアントへ返し クライ アントサイドで描画する 必要箇所のみ再描画するため レスポ ンスも速い サーバサイドで HTMLを描画してクラ イアントへ返す セッションの有無 無し 次スライドで詳しく説明 DBで保持する もしくはクライアントサ イドで保持する必要がある (Cookie等) 有り ブラウザとの依存性 ブラウザがJavaScriptをサポートしてい る必要がある 特に無し 35

36 ５ Webアプリケーションの開発 処理フロー図 例 研修実績登録時 ① 実績を入力し 登録ボタンをクリック ② APIに対してリクエスト ③ 対応するLambda関数 が実行される DynamoDB Lambda I/F 実績登録 ロジック API Gateway ユーザ ④ DynamoDBに 実績データを挿入 実績 テーブル ブラウザ ⑦ APIのレスポンスを受け取り 画面を再描画 ⑥ レスポンスを クライアントに返す ⑤ レスポンスを API Gatewayに渡す 入力値のバリデーション システムプロパティ作成 36

37 ５ Webアプリケーションの開発 処理フロー図 例 研修実績登録時 ①シンプルなREST 実績を入力し APIを実装 登録ボタンをクリック ② APIに対してリクエスト { ③ 対応するLambda関数 が実行される DynamoDB Lambda statuscode: 200, data: { } } ユーザ I/F ④ DynamoDBに 実績データを挿入 実績登録 ロジック API Gateway 実績 テーブル ブラウザ データをJSONを返す ⑦ APIのレスポンスから 非同期で画面を再描画 ⑥ レスポンスを クライアントに返す ⑤ レスポンスを API Gatewayに渡す 入力値のバリデーション システムプロパティ作成 37

38 ５ Webアプリケーションの開発 処理フロー図 登録ボタンクリック前 例 研修実績登録時 ① 実績を入力し 登録ボタンをクリック ② APIに対してリクエスト ③ 対応するLambda関数 が実行される Dynamo DB Lambda I/F API Gateway ユーザ ④ DynamoDBに 実績データを挿入 実績登録 ロジック 実績 テーブル ブラウザ ⑦ APIのレスポンスを受け取り 画面を再描画 ⑥ レスポンスを クライアントに返す 登録ボタンクリック後 ⑤ レスポンスを API Gatewayに渡す 入力値のバリデーション システムプロパティ作成 38

39 ５ Webアプリケーションの開発 React.jsについて A JavaScript library for building user interfaces 引用 コンポーネント単位で実装 コンポーネントとは UI部品の見た目と振る舞いをセッ トにしたもの 例 ボタンとクリック時のイベントハンドラ コンポーネントとDOMは1 1対応 DOMの粒度は実装者が決定 39

40 ５ Webアプリケーションの開発 React.jsで実装してみての気づき ① どの粒度でコンポーネントを分割すべき 資料を作る UI部品(DOM)は全て コンポーネント 追加 部屋の掃除をする 本を買う メールを返す 粒度を小さくすれば再利用性の高いコンポーネントを作れるが コンポーネント間の包含 関係が複雑になる 最初は大きい粒度で実装した方がやりやすい (コンポーネント分割は後からでも可能) 40

41 ５ Webアプリケーションの開発 React.jsで実装してみての気づき ② state設計が大切... this.state = { name: Tomita }... 値の状態を管理 (React.jsアプリのモデル ) render( 画面上で Hello,Tomita と表示される return(<p>hello,{this.state.name}</p>); ); stateの値に変更があると必要最低限の DOMのみ再描画される React.js は stateと画面表示を同期してくれるライブラリ と言える 今後の機能追加 修正も見据えてstateを設計しておくと 仕様変更に強いコードになる 41

42 ５ Webアプリケーションの開発 テスト手法 テスト種類 UT (クライアント側) テスト内容 実装したコンポーネントの動きをテスト コンポーネントが問題なく作られるかどうか コンポーネント中の要素 がクリックされた時の動きを仮想的にシミュレートする APIにリクエストして期待のレスポンスが返ってくるか AWSの結合テ スト ITa ITb ST AjaxでAPIにリクエストを送るコードを書き テストする ブラウザ上からの E2Eテスト Headless Chromeを自動操作してテストする ブラウザ上から手動でテスト システムエラーを起こしてみてちゃんとハンドリングできているか確認 使用lib 自動化 Enzyme - Puppeteer - 42

43 ５ Webアプリケーションの開発 Enzyme React.js用テストユーティリティライブラリ React.jsコンポーネントの処理を画面に描画せずとも 仮想的にシミュレートできる 対象のコンポーネントが生成されたかどうか コンポーネント中の要素がクリックされた時に正しくイベント ハンドラが動作するか 子コンポーネントが生成されたかどうか 等 43

44 ５ Webアプリケーションの開発 Puppeteer Google Chromeを制御するライブラリ Headless Chromeも制御可能 Seleniumとは違いGoogle Chrome以外は動かせない DOMが生成される / 削除されるまで処理を待機させる 事が可能のため Single Page Application と相性が良 い 44

45 ６ アクセス制御と認証 目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名称は各社の登録商標または商標です 45

46 ６ アクセス制御と認証 セキュリティに関する考え方 本システムは 秘匿性の高いデータを持っていない また 社員が通常業務を行う上で ミッションクリティカルなものではないため 以下の観点で基本的な対策をとることとした 1. 正当な権利を持った人だけが使用できる a. b. c. ユーザ認証を行う チャットボットへのアクセス制御を行う Webアプリへのアクセス制御を行う 2. 正当な権利を持たない人に変更されない a. WAFを使用し CSRF XSSなど基本的な対策を実施する 3. 個人情報を漏洩させない a. b. AWS上に社員の個人情報を保持しない プログラム処理上必要な個人特定のためのキー情報は ハッシュ化する 46

47 ６ アクセス制御と認証 Webアプリでのユーザ認証 ユーザが社内の共通認証基盤でログイン出来るように Google の OpenID Connect を利用してユーザを認証する 認証フロー 項番 内容 ① 利用するWebページを取得 ② 社内の共通認証基盤でログインし IDトークンを取得する ③ IDトークンからユーザの認証情報を生成し返却する ④ ③で取得した認証情報を付与してAPIへリクエストを送信する ⑤ 認証情報を検証し 認可されていればLambdaを実行する 47

48 ６ アクセス制御と認証 チャットボットのアクセス制御 研修実績管理システムのプログラム以外から ボットAPIを利用できないようにする ブロック項目 手法 ①作成したプログラム以外からのアクセス WAFを使用してリクエストにIFキーが存在するかをチェックする ②API Gateway への直接アクセス Cloud Frontを使用してリクエストにAPIキーを付与し API Gatewayで存在をチェックする IFキーの送信 APIキーの付与 Google Apps Script Hangouts Google Cloud Chat Platforms CloudFront API Gateway Lambda DynamoDB ②APIキーの存在チェック WAF ①IFキーの存在チェック 48

49 ６ アクセス制御と認証 Webアプリのアクセス制御 社員以外の人がWebアプリにアクセス出来ないようにする ブロック項目 手法 ①社外IPからのアクセス WAFを使用して IPアドレスのチェックする ②S3への直接アクセス CloudFront経由のアクセスかをS3でチェックする ③未認証ユーザのAPI Gatewayへのアクセス API Gatewayでユーザの認証をチェックする ②Cloud Front経由チェック S3 ブラウザ CloudFront API Gateway Lambda DynamoDB ③認証チェック ①IPアドレスチェック WAF 49

50 ６ アクセス制御と認証 個人情報の保護 社員の個人情報をAWSで保持しない設計とした 社員を特定するキーとなるようなプログラム上必要な情報はユーザのメールアド レスをハッシュ化した物を利用した なりすましを防ぐためにユーザのメールアドレスはユーザが入力したものではな く サーバー側でGoogle から取得して生成した チャットボットでの ID生成箇所 IF インターフェースのイベントが発火した際に渡される情報には 実行したユー ザの情報が含まれている その情報の一つにメールアドレスがあるためそれを利用する WebアプリでのID生成箇所 Google によって発行された IDトークン を検証する際にユーザ情報を取得す ることが出来る その情報の一つにメールアドレスがあるためそれを利用する 50

51 ７ CI/CD実現のためのポイント 目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名称は各社の登録商標または商標です 51

52 ７ CI/CD実現のためのポイント CI/CD環境が何故必要か 開発手法としてアジャイル開発を取る事に決定 スプリント毎にフィードバックをもらうため 早く リリースできる環境を整える必要がある CI/CD環境の構築が必要不可欠 52

53 ７ CI/CD実現のためのポイント CI/CD環境構築時の考慮点 サーバを直接参照できない warを作ってscpでアプリサーバにコピーして...は不可能 ソースコードをコミットするだけでパイプラインが走る様にする CLIからアップロードする事も可能だが 開発者のローカルPCの 環境構築が煩雑 クラウド上のサービスのみを使ってCI/CD環境を作る 自前でCIサーバは立てない 53

54 ７ CI/CD実現のためのポイント CI/CDプロセスの概略図 54

55 ７ CI/CD実現のためのポイント Build AWSリソース CloudFormationテンプレートをデプロイ可能 形式に変換 Webアプリクライアント S3のWebアプリ配信用バケットにクライアント リソース(HTML + js)をアップロード 55

56 ７ CI/CD実現のためのポイント Deploy AWSリソース テンプレートを基に各種サービスを デプロイ Lambda関数 DynamoDBのテーブル API Webアプリクライアント 特になし デプロイで使用しているサービスの都合上 Webアプリク イアントはBuildプロセスにてデプロイ ラ 56

57 ７ CI/CD実現のためのポイント Test 各種テストを実行 テスト実行後 各種テストレ ポートとWebアプリのITbの 実行中に撮られたスクリーン ショットをS3のバケットに保 存 57

58 ７ CI/CD実現のためのポイント 複数環境へのデプロイ 本番機とは別に検証用にStaging環境が必要 本番環境へ影響を与えずにStaging環境を自動構築できる様にし たい 実開発前にブランチモデルの策定 本番環境とStaging環境で構成が異なってしまう事を避けるため CloudFormationテンプレートファイルは1つにしたい CloudFormationパラメータ Lambda環境変数を活用 58

59 ７ CI/CD実現のためのポイント 実開発前にブランチモデルの策定 ソースコードの構成管理として Git-flow というブランチモデルを使用する事を策定した masterのソースコードに 変更があると 本番環境用Pipelineが実行 master release develop bugfix feature branches developのソースコードに 変更があると Staging環境用Pipelineが実行 59

60 ７ CI/CD実現のためのポイント CloudFormationパラメータ Lambda環境変数を活用 Staging環境用 CodePipeline 設定画面 (CloudFormationの設定) CloudFormation Template Regiser: # 登録ロジックLambdaの定義 FunctionName:!Sub tr_${envname}_register... Environment: RESULT_TABLE:!Sub tr_${envname}_result... Lambda関数名 環境変数 60

61 ７ CI/CD実現のためのポイント Webアプリクライアントの複数環境対応 同じソースコードでPipeline上のBuildプロセス時に特定の箇所を 置換できる様にしたい... let url = API_ENDPOINT;... stg... let url =[Staging用URL];... Staging用 Pipeline Build org prod Deploy Test... let url =[本番用URL];... 本番用 Pipeline Build Deploy webpack というビルダーを活用 ソースコード中の特定の文字列をビルド時に置換するプラグインを使用 61

62 ８ おわりに 目次 はじめに 研修実績管理システムの概要 AWS Lambdaを利用した開発 チャットボットの開発 Webアプリケーションの開発 アクセス制御と認証 CI/CD実現のためのポイント おわりに 本資料に記載されているロゴ システム名称 企業名称 製品名称は各社の登録商標または商標です 62

63 ８ おわりに サーバレスアプリケーションを開発しての気付き ミドルウェアを意識しなくて良いのは楽 ビルドとデプロイの自動化は必須 ローカルPCでユニットテストが行える環境があると開発を効率 化できる マイクロサービスアーキテクチャとなるので 他システムとリソー スの再利用が可能 63

64 ８ おわりに まとめ デモンストレーションを見ていただきます チャットボットからの実績登録と照会 Webからの実績登録 64

65 ご清聴いただき ありがとうございました ｘ ｅ ａ 信頼という底力 65

66 付録 ボットとインターフェースの役割詳細 ボット本体 ユーザ個人の会話の状態や流れを管理 制御する インターフェース Hangout Chat用IF 会話の進行を制御する(戻ることもある) 今の話題や会話の進行度を管理する 機能の実行に必要な情報を収集 管理する 情報が揃ったときに適切な機能を実行する ユーザに適切なメッセージで応答する ユーザとボットの架け橋を行う ユーザがチャットを操作したときのイベントを受け取る ボットへのリクエストをボットが期待する形に整形する ボットの応答をHangoutsChatが期待する形に整形する APIがユーザ個人を識別できる情報を付加する 66

67 付録 会話の設計 用語 インテント 会話の 意図 目的 を表す エンティティ 会話の目的を達成するために必要な 情報 のこと フルフィルメント 目的の達成に必要な物が揃ったときに実行される 67

68 付録 インテント システムが提供する機能単位でインテントを定義した 登録 削除 照会 ユーザとの会話はインテントを基準に進行する 目的が達成されるまで(エンティティが揃うまで)繰り返される １つのインテントに1往復以上の会話が存在する 68

69 付録 エンティティ 目的(インテント)を達成するために収集される情報 インテントごとに内容は様々 ユーザから聞き出す必要のあるものと無いものがある 収集されたエンティティを使ってフルフィルメントが実行される 69

70 付録 フルフィルメント 必要なエンティティがすべて揃ったときに最後に呼び出される DBに実績を格納する 等のWeb ボット共通の処理を行う 70

71 付録 ボット本体の設計 インテントA ボット IF インテント コントローラー API Gateway インテントB インテントC インテントD Lambda フルフィルメントA フルフィルメントB Lambda 機能(インテント)の増加や修正等のインパクトをなるべく抑えるために上記のように切 り分けを行った また インテントも共通部の処理は切り出し 会話の実装方法も固定化した 71

72 付録 ボット本体の設計 ボット Bot API へのリクエスト処理のエントリーポイントになる DBに格納されている 会話の状態 や ユーザの発言 を元に実行するイ ンテントを決定する インテント コントローラー ボット から渡された 会話の状態 と インテント を使って 会話の 進行を制御する 進行した 会話の状態 を DBへ保存する インテント 一つのインテントで行われる会話の内容を定義する ユーザの発言から必要なエンティティを抽出しバリデーションも行う フルフィルメントを実行するための処理も定義する フルフィルメント システムの核となる機能を持つ インテントによって実行される インテントとフルフィルメントは 1対1になるとは限らない 72

73 付録 ボット本体の簡易シーケンス図 インテント コントローラー ボット フルフィルメント インテント インテントの決定 生成 コントローラーの生成 run(input)を実行 run(input)を実行 応答メッセージと成否 バリデーションと エンティティの抽出 インテント終了時 executefullfilment(entity)を実行 成否 invoke(entity)を実行 成否 会話状況の更新 応答メッセージと成否 73

74 付録 DynamoDB バックアップ方法検討 1/3 バックアップ 種類 メリット Webインタフェース上で手軽にバックアップ が取れる オンデマンド バックアップ バックアップ対象の読み込みキャパシティ を消費しない バックアップ処理は早い 2018年11月現在 デメリット 自動化のための敷居が高い Webインタフェース上では 1度きりのバック アップしか取れないため AWS CLIや各 種SDK経由で行うスクリプトを書いて実行 させる必要がある 定期実行が可能 バックアップ処理が遅い Data Pipeline による バックアップ バックアップは S3上にファイルとして作られ るので取り回しが良い 読み込みキャパシティを消費する Point In Time Recovery (PITR) 1秒単位でデータをバックアップして 35日間 分保存 35日分しか保存されない 有効化するだけなので簡単 Data Pipeline上で処理を定義する必要が あるため導入の敷居が少し高い テーブルが削除されるとバックアップデータ もなくなる 74

75 付録 DynamoDB バックアップ方法検討 2/3 PITR が手軽かつ強力 追加料金が発生するが 本プロジェクト程度の規模の場合であ れば計算上は年間1ドルかからない しかし... テーブルが削除されるとバックアップデータがなくなって しまう事を懸念 AWSサポートに連絡する事で 削除したテーブルのバックアップを復元する事も可能ではある 75

76 付録 DynamoDB バックアップ方法検討 3/3 本プロジェクトでは以下を併用する事とした a. PITR b. Data Pipelineにとるバックアップ 1秒単位で復元ができ 万が一テーブル自体が削除 されても1日前には戻せる 事が可能に b. はバックアップ処理が遅いが毎日深夜に処理を実 行させる事で処理の遅さを許容 76

77 付録 PITR 設定方法 ここを有効化するだけ 77

78 付録 Data Pipeline 作成方法 テンプレートがあるため 基本的な 事は自動で設定される バックアップ対象のテーブル バックアップ出力先のS3バケッ ト バックアップスケジュール は自分で設定する必要がある 78