Amazon Elastic Transcoder AWS Black Belt Tech Webinar 2015 ( 旧マイスターシリーズ ) アマゾンデータサービスジャパン株式会社星野豊

Size: px

Start display at page:

Download "Amazon Elastic Transcoder AWS Black Belt Tech Webinar 2015 ( 旧マイスターシリーズ ) アマゾンデータサービスジャパン株式会社星野豊"

なおみはらしない
4 years ago
Views:

1 Amazon Elastic Transcoder AWS Black Belt Tech Webinar 2015 ( 旧マイスターシリーズ ) アマゾンデータサービスジャパン株式会社星野豊

2 自己紹介星野豊 ( ほしのゆたか facebook.com/conmame ソリューションアーキテクト経歴全てオンプレ環境のインフラエンジニア全 AWS 環境のインフラエンジニア担当 Web サービス / game / Video Live Streaming などのメディア系のお客様

3 Agenda Amazon Elastic transcoder とは? トランスコード機能のご紹介アーキテクチャ最新アップデート AWS サービスとのインテグレーション Pricing まとめ Q & A

4 Amazon Elastic transcoder

5 Amazon Elastic transcoder 高いスケーラビリティ使いやすさ経済性を実現する設計で様々なデバイスに対応した動画ファイルをトランスコードできるサービストランスコードデジタル映像を別のフォーマット解像度などに変換する技術スマートフォン向けに動画ファイルの画面サイズ解像度を変換するなど再生デバイスに合わせコンテンツの変換を行う

6 トランスコードの課題日々増加するコンテンツ容量量トランスコードインフラの管理理デバイス毎に異異なるコンテンツ

7 今までのトランスコードオンプレミスハードウェアオンプレミスソフトウェアクラウドを利利用した DIY ( 自主構築 ) クラウドサービス製品が高価性能での制限がある技術の陳腐化が早い技術ハードルが高い製品が高価性能での制限がある定期的な SW Update ハードウェアドングル環境構築が複雑ライセンス管理理スケールさせるためのアーキテクチャスキル非常に技術ハードルが高い簡単に利利用可能スケーラブル従量量課金金コストベンダー依存の機能ライセンスが高い場合も

8 Amazon Elastic Transcoder の特徴低コスト ( ライセンスなし / 初期費用不不要の完全従量量課金金 ) フルマネージド ( トランスコーダー SW/ ストレージの管理理不不要 ) スケーラブル ( トランスコードの並列列処理理 ) シンプル ( 簡単に利利用できる GUI/API によるプログラム連携 )

9 Amazon Elastic Transcoder の特徴サポートコンテンツ変換元ファイル一般的なウェブコンシューマプロフェッショナルのメディアフォーマットをサポート ( 例 :3GP, AAC, AVI, FLV, MP4, MPEG-2 など ) 変換先ファイル Video codec : H.264, vp8 Audio codec : AAC, Vorbis, MP3 Container : mp4, MPEG-TS, webm, mp3, ogg Etc: HLSv3, HLSv4, Smooth Streaming

10 Amazon Elastic Transcoder の特徴サムネイル画像を生成機能ウォーターマークやキャプションの挿入プリセットによる変換形式の定義マルチフォーマットへの同時変換 IAMによるアクセス管理やCloudTrailによる監査 S3 Server-side encryptionやkmsによるコンテンツ保護 Amazon S3との連携による低コスト高堅牢性コンテンツストレージ低冗長化ストレージを選択可能 Amazon SNSと連携した処理結果通知

11 今までのアーキテクチャ 2 ストレージサーバに保存 1 アップロードアップロードサーバストレージ 3 トランスコード 4 配信エンコードサーバ群配信サーバ群 Upload Encode でキューが必要なケースも

12 動画数が増えてくると様々な悩みがアップロード数が増加してくるとストレージサーバの容量増加トランスコードサーバの増強が必要様々な形式デバイスに対応するのが手間トランスコードミドルウェアのビルドや設定アップロード配信サーバの増設キューイングやトランスコード状態のトラッキングコンテンツ保護

13 Amazon Elastic Transcoder を使用したアーキテクチャデジタルコンテンツのアップロード Management Console AWS SDK/ API オペレーション / 管理理 Amazon Elastic Transcoder Service デジタルコンテンツのダウンロード / 配信 Amazon S3 (Input Bucket) Amazon S3 (Output Bucket) 処理理結果通知 Amazon SNS

Amazon Elastic Transcoder を使用したアーキテクチャアップロード数が増加しても S3 を使用することで容量を気にする必要がなく安全に保管が可能トランスコードの設定は予め AWS 側で用意しているのですぐに使い始められるカスタムも可能

14 Amazon Elastic Transcoder を使用したアーキテクチャアップロード数が増加しても S3 を使用することで容量を気にする必要がなく安全に保管が可能トランスコードの設定は予め AWS 側で用意しているのですぐに使い始められるカスタムも可能 S3 に直接アップロードすることでアップロードサーバが不要になりトランスコードも Amazon Elastic Transcoder が負荷に応じてスケールアウトするトランスコード状態は Amazon SNS を使用して通知が簡単に可能コンテンツ保護機能も提供

15 Amazon Elastic Transcoder で使われる用語 Pipline トランスコードを実行する要求処理 (Job) を管理 Pipeline を複数準備することでトランスコードの並列処理が可能変換元および変換先 S3 Bucket の管理 SNS の通知設定 Job 各コンテンツのトランスコード処理を管理 Preset の指定による簡易変換変換元および変換先のファイル名指定サムネイル生成指定変換元ファイルの個別詳細情報の設定 (Frame Rate, Aspect Ratio, Container 等 ) Preset 様々なデバイスに適した変換方式の設定パラメータを管理カスタム Preset の作成も可能

16 Amazon Elastic Transcoder で使われる用語構成要素 Pipeline Job Preset

17 Input Input Input Output JOB1 Output JOB2 Pipeline1 Output JOB3

18 Elastic Transcoder の使い方

19 Pipeline Pipeline の作成デフォルトで 4 つまで作成可能ファイルの取得元と出力先 S3 Bucket の指定サムネイルの出力先 S3 Bucket の指定出力先オブジェクトは Storage Class を指定可能 (Standard/RRS) 出力オブジェクトのパーミッションも指定可能 SNS Topic を利用した Notification の指定実行イベントワーニング完了エラー Server Side Encryption の設定

20 Job 動画用 Job の作成 Pipeline を選択 INPUT ファイルの選択 OUTPUT フォルダ (Prefix) とファイル名の指定 ( 拡張子も含める ) Preset の選択 ( 映像変換 Preset を選択 ) 1Job で最大 30 個までオプションサムネイル出力ファイル名の指定クリップ作成開始点および Duration を指定 Watermark 画像の選択および差し込み位置の指定 Caption の指定 Encryption の指定 Manifest file の指定 (Adaptive bitrate の場合 ) User Metadata の指定

21 Job 映像変換 Job の作成 (HLS) 標準パラメータは通常の映像変換同様固有パラメータセグメントファイルの Duration Adaptive Bitrate を行う場合 1. 異なる Bitrate で Output Details を準備 2. Playlistで準備したOutputを選択 HLSの映像ファイル構造 Master Playlist( マニフェストファイル m3u8) Playlist(m3u8): 例例 2Mps にトランスコードした映像セグメントファイル 01(ts): 分割された 1Mbps の映像ファイルセグメントファイル02(ts): 分割された1Mbpsの映像ファイル : Playlist(m3u8): 例例 600kbps にトランスコードした映像セグメントファイル 01(ts): 分割された 512kbps の映像ファイルセグメントファイル02(ts): 分割された512kbpsの映像ファイル :

Job 音声変換 Job の作成 Pipeline を選択 INPUT ファイルの選択 OUTPUT フォルダ (Prefix) とファイル名の指定 ( 拡張子も含める ) Encryption の指定 Add Another Output で別のフォーマットにも同時出力 1Job で最大 30

22 Job 音声変換 Job の作成 Pipeline を選択 INPUT ファイルの選択 OUTPUT フォルダ (Prefix) とファイル名の指定 ( 拡張子も含める ) Encryption の指定 Add Another Output で別のフォーマットにも同時出力 1Job で最大 30 個までオプション Album Art の指定 Replace: 指定したファイルに差し替え Prepend: 先頭に指定ファイルを差し込み Append: 一番後ろに指定ファイルを差し込み Fallback: 元音声ファイルの中にすでに設定されていれば変更しない設定されていなければ指定ファイルを差し込み

23 Job (Optional) コンテナやフレームレート情報の自動判定がうまくいかない場合は基本的には自動で判定されますがうまく自動判定が動かない場合や明示的に指定したい場合も指定が可能です

24 Preset カスタム Preset の作成デフォルトのプリセットをベースに作成デフォルトプリセットを除き 50 個まで登録可能 Video Audio コンテナコーデックビットレート解像度 FrameRate Watermarks などを定義コンテナコーデック Sample Rate ビットレートチャンネルなどを定義 Thumbnails ファイルフォーマット取得インターバル画面サイズなどを定義

25 Job 検索 Job の成功失敗やエラー理由を確認 Job Status が Complete になっていない場合はエラー理由を確認 Output Duration でトランスコード後の時間を確認

26 並列トランスコード 1Job に 30Outputs 指定可能 1job 内で指定された Output ファイルは同時にトランスコードされる 1Pipeline 内では 12 20jobs が同時実行される並列度はリージョン依存 ( 東京リージョンは 12) developerguide/limits.html

27 トランスコードトランスコード時間は元動画の % 程度トランスコード形式元動画 Elastic Transcoder の状態による Elastic Transcoder はトータルの負荷でスケールアウトなどが行われる

28 エンコード状態管理 Amazon SNS (HTTP(S)) を使用通知の状態トランスコード中トランスコードエラートランスコード完了警告 DynamoDB を使用してメディアファイルのトランスコード状態管理 Amazon SNS と組み合わせる仕組みを作成トランスコードするメディアファイルのメタ情報 ( ファイル名ファイルサイズ再生数投稿者など ) と一緒に管理も容易に

29 最新アップデート

30 Caption Support Caption の挿入が可能に! 入力対応形式 : CEA-608 / CEA-708 / TTML / DFXP / EBU-TT/ SRT / WebVTT / SCC / mov-text 出力形式 : DFXP / SRT / WebVTT / SCC / mov-text マージポリシー Merge and Retain: embedded caption に含まれていない Sidecar caption を使用 ( 言語毎 ) Merge and Override: Sidecar caption に含まれていない embedded caption を使用 ( 言語毎 ) Override: sidecar caption だけを使用

31 HLSv4 / smooth streaming 対応 HLSv4 ios (5+) と Android (4.4+) などで対応 Byte-Range: ビットレート毎に 1 つの segment ファイルだけで良くなるためファイルの管理が行いやすくなる (v3 ではビットレート毎にセグメント毎にファイルが生成されていた ) Late Binding Audio: 動画と音声を別々に配信することが可能になるため複数の言語対応などが行いやすくなった I-Frame Only Playback: I-Frame (Key Frame) だけを使用して高速にシークなどが行える trick play と呼ばれる

HLSv4 / smooth streaming 対応 Master マニフェスト

32 HLSv4 / smooth streaming 対応 Master マニフェスト Audio マニフェスト I-Frame マニフェスト #EXTINF: , #EXT-X-BYTERANGE:14271@564 demo1mv.ts #EXTINF: , #EXT-X-BYTERANGE:13819@ demo1mv.ts 音声データ本体動画データ本体動画データマニフェスト例 : I-frame マニフェスト

33 HLSv4 / smooth streaming 対応 smooth streaming XboxやWindows Phone で対応 CloudFrontもsmooth streamingに対応しているため CloudFrontを使用して配信も簡単! ファイル構造 ISM: マスターマニフェスト ISMV: セグメント情報を格納 ISMC: セグメントファイル

34 CloudTrail 対応誰がいつどの動画をどうのようにトランスコードしたかを記録 Creating a job. The value of eventname is CreateJob. Listing jobs by status Getting a job Deleting a Preset Deleting a pipeline コンテンツが不正にトランスコードされていないか監査が容易にリクエスト IP/User Name(IAM account)/ リクエスト日時 /Create Job で与えられたパラメータレスポンスパラメータどのコンテンツをどのようにトランスコードされたかがわかる

35 AWS Key Management Service 対応 AWS Key Management Service と連携してトランスコードデータのサーバサイド暗号化が可能にトランスコード済データやサムネイルなど出力ファイルそれぞれに指定可能 Pipeline 作成時に KMS を指定

36 AWS Key Management Service 対応トランスコード Job 作成時に Encryption 形式を指定 KMS の Master Key の Key Usage に Pipeline 作成時に指定した IAM Role を指定 Default では Elastic_Transcoder_Default_Role

AWS Key Management Service 対応様々な方式に対応 S3: Amazon S3 標準の Key を使用 S3-AWS-KMS: Amazon S3 + KMS を使用して独自の Master Key を使用 Pipeline 作成時に KMS が指定されていない場合は S3 デフォルトの Key を使用

37 AWS Key Management Service 対応様々な方式に対応 S3: Amazon S3 標準の Key を使用 S3-AWS-KMS: Amazon S3 + KMS を使用して独自の Master Key を使用 Pipeline 作成時に KMS が指定されていない場合は S3 デフォルトの Key を使用 AES-CBC-PKCS7: HLS 標準 Padded cipher-block モード AES-CTR: AES Counter Mode - PlayReady DRM で使用される形式 AES-GCM: AES Galois Counter Mode - 改ざんされたファイルキーまたは初期化ベクトルでは複合が失敗する認証済み暗号化モード

38 User metadata トランスコード Job 作成時の Metadata を付与することが可能にトランスコード Job 管理が容易に Job の結果を SNS 経由で受け取る際に Metadata が一緒に送られてくる

39 User metadata ユースケースユーザ投稿でコンテンツバージョンユーザ ID やカテゴリ管理トランスコード状態管理トランスコード Job をタグで管理 { "state" : "COMPLETED", "usermetadata" : { "ContentsCode" : "a19b", "UserID" : "10", "Version" : "1" } }

40 AWS サービスとインテグレーション

41 S3 と CloudFront だけで配信可能な形式 HLS Smooth Streaming RTMP S3 + CloudFront S3 と CloudFront だけでこれら 3 形式の配信が可能 S3 にオリジナルファイルを配置するだけで急激なアクセス増加による負荷にも耐え CloudFront を経由して低遅延でユーザに配信出来る環境が作成可能

42 今までのアーキテクチャ 2Store to Storage 1Upload Video Upload Servers Storage 3Encoding 4Distribution Encode Servers Stream Servers Upload Encode でキューが必要なケースも

43 今までのアーキテクチャ Upload してからエンコード処理完了まで状態を管理する DB やキューメッセージをやりとりする仕組みを用意する必要があるエンコード状況に応じてエンコードサーバの台数を増減させにいく Upload 数が増加してくると認証アップロードサーバの負荷やコネクション数の問題限定配信の場合は仕組みを実装 Upload ユーザの認証の仕組みを実装

44 AWS サービスを使用したアーキテクチャ 1 配信 Storage 認証通知アップロード Job submit ジョブ管理 API 状態更新トランスコード状態管理

45 AWS サービスを使用したアーキテクチャ 2 配信 Storage 認証 Job submit アップロード

AWS サービスを使用したアーキテクチャアップロードは Cognito を使い認証を行い S3 に直接行うことで認証アップロードサーバの負荷やサーバを起動する必要がないので運用負荷が下がる例 : facebook ID 毎にディレクトリを作ってそのディレクトリは認証されたその ID を持つユーザのみアクセス可能 Elastic Transcoder を使うことで

46 AWS サービスを使用したアーキテクチャアップロードは Cognito を使い認証を行い S3 に直接行うことで認証アップロードサーバの負荷やサーバを起動する必要がないので運用負荷が下がる例 : facebook ID 毎にディレクトリを作ってそのディレクトリは認証されたその ID を持つユーザのみアクセス可能 Elastic Transcoder を使うことでエンコード数が増減してもサーバの追加や削除を行う必要がないのでコスト削減が可能プリセットだけ作成しておけば後は Job を投げるだけ DynamoDB で状態管理を行うことで実装の容易さと堅牢性が向上する CloudFront / S3 共に Signed URL を発行する仕組みがあり SDK を使うことで簡単に限定 URL のストリームを作成出来る API も Elastic Beanstalk を使うことで簡単に環境が作成でき AutoScaling でアクセスの増減にも簡単に対応可能

47 Elastic Transcoder Tips S3 のライフサイクルポリシーの活用ファイルサイズファイル数が多くなるオリジナルファイルは一定期間後に Glacier に移動することでコスト削減例 : 30 日後に Glacier に移動

Elastic Transcoder Tips AWS SDK や CLI tool の活用 SDK

Input: { Key: InputKey, FrameRate: 'auto', Resolution: 'auto',

48 Elastic Transcoder Tips AWS SDK や CLI tool の活用 SDK を活用することでアプリケーションやモバイルアプリから簡単にトランスコードを実行可能サービスへのインテグレーショが容易 var ets = new AWS.ElasticTranscoder(); ets.createjob({ PipelineId: pipelineid, OutputKeyPrefix: 'demo/', Input: { Key: InputKey, FrameRate: 'auto', Resolution: 'auto', AspectRatio: 'auto', Interlaced: 'auto', Container: 'auto', }, Output: { Key: 'sample.mp4', ThumbnailPattern: 'sample-thumbs-{count}', PresetId: presetid, Rotate: 'auto' } }, function(error, data) { if(error) { debug(error); } else debug(data); });

49 Elastic Transcoder Tips SQS と DynamoDB の活用システムを疎結合にし状態管理のための運用負荷軽減 Elastic Transcoder はトランスコード状態管理を Job 毎に行わない Elastic Transcoder は Pipeline 間のキューの状態を管理しない Pipeline 毎に並列度があるためトランスコード数が増加した場合は Pipeline に分散して Job を実行させることでエンコード速度を上げることが期待出来る Pipeline 内でも待機キューはある

50 Elastic Transcoder Pricing " ETS 処理理料料金金 " S3 データ格納料料金金 [ 価格例例 ] トランスコード 2 時間の HD 動画 : 約 400 円 2 時間の SD 動画 : 約 200 円 2015 年年 1 月時点の東京リージョン

51 まとめ高いスケーラビリティ使いやすさ経済性を実現する設計で様々なデバイスに対応した動画ファイルをトランスコードできる CloudFront や S3/KMS などと連携してセキュアにアクセスやコンテンツの増加に安定して対応可能 SDK を使用して簡単にサービスに統合可能

52 参考資料 Amazon Elastic Transcoder Developer Guide developerguide/introduction.html Amazon Elastic Transcoder FAQ Amazon Elastic Transcoder Pricing AWS SDKs

53 Q&A

54 Webinar 資料の配置場所 AWS クラウドサービス活用資料集

55 公式 Twitter/Facebook AWS 検索もしくは最新技術情報イベント情報お役立ち情報お得なキャンペーン情報などを日々更新しています!

Amazon Elastic Transcoder - 開発者ガイド

Amazon Elastic Transcoder - 開発者ガイド Amazon Elastic Transcoder 開発者ガイド Amazon Elastic Transcoder: 開発者ガイド Table of Contents Amazon Elastic Transcoder とは... 1 Elastic Transcoder にアクセスする... 2 リージョンとエンドポイント... 2 Elastic Transcoder リソースのリージョンの選択...

Amazon Elastic Transcoder AWS Black Belt Tech Webinar 2015 ( 旧マイスターシリーズ ) アマゾンデータサービスジャパン株式会社 星野豊

Amazon Elastic Transcoder AWS Black Belt Tech Webinar 2015 ( 旧マイスターシリーズ ) アマゾンデータサービスジャパン株式会社星野豊