レーベルゲート音楽配信プラットフォームと AWS Snowball を利用したデータ移行

Size: px

Start display at page:

Download "レーベルゲート音楽配信プラットフォームと AWS Snowball を利用したデータ移行"

しげのぶこやぎ
5 years ago
Views:

1 音楽配信プラットフォームと AWS Snowball を利用したデータ移行 AWS Summit Tokyo 株式会社レーベルゲート

2 プロフィール配信ビジネス部ソリューション課課長久慈道晃史 ( くじみちてるふみ ) 1979 年静岡県三島市に生まれる 2002 年商社系 SIer ソリューション部門 2006 年ソニーフェリカネットワークスおサイフケータイ関連事業 2010 年ソニーミュージックレーベルゲートにて音楽配信事業 2017/5/31 2

3 とは? 2017/5/31 3

4 レーベルゲートとは? 2000 年 4 月レコード会社の共同出資により設立著作権侵害増加を危惧し株式会社ソニーミュージックエンタテインメントが中核となり音楽業界各社出資の下株式会社レーベルゲート設立 2004 年 4 月 10 月世界初のレコード会社が運営する音楽配信サービス mora を開始 Windows Media Player 対応の音楽 / 動画配信サービス mora win を開始 2005 年レコード会社各社への音楽配信への楽曲提供プラットフォーム提供 2010 年 4 月 Android で国内初の音楽配信サービス mora touch を開始 2012 年 10 月 nondrm 配信を公式サービスとして日本で最初に開始同時に AWS の利用を開始 2017/5/31 4

5 AAC 最高音質 - AAC-LC 320kbps ビデオ - MP4 無圧縮 FLAC(FLAC-uncompressed) - FLAC 44.1kHz~192kHz 24bit DSD - DSD 2.8MHz~11.2MHz 1bit 国内最大級規模のハイレゾ音源を保有 2017/5/31 5

6 2017/5/31 6

7 2017 年 3 月音楽専門配信サイト初キャリア決済 2017/5/31 7

8 レーベルゲートの音楽配信プラットフォームのご紹介 2017/5/31 8

9 配信プラットフォームの概要音楽レーベル製品管理システムストアシステム配信システム mora ユーザ基幹システム 2017/5/31 9

10 配信プラットフォームの概要音楽レーベル製品管理システムストアシステム 4 3 １ 2 製品管理配信情報管理ストアサーバ商品閲覧検索 AWS CloudFront 配信システムオーサリング処理 5 オーサリング処理後配信コンテンツ配信制御サーバ AWS CloudFront SignedURL 試聴ダウンロード基幹システムオーサリング処理前製品マスター 2017/5/31 アカウント管理サーバ決済サーバ 10

11 AWS: オンプレミスシステム環境推移グループ初コンシューマーサービスへの AWS 利用サーバ購入を停止仮想環境 AWS 移行 AWS 完全移行 FY 月 FY2014 FY2015 FY2016 FY /5/31 11

Instances 2 Instances 1000 10 10 10 2017 年 4

12 規模の変化 Amazon S3 Amazon CloudFront Amazon EC2 Amazon RDS 2012 年 10 月 800 GB 200 TB 10 Instances 2 Instances 年 4 月 800 TB 2PB 100 Instances 20 Instances 2017/5/31 12

13 AWS の利用を拡大する理由稼働率と可用性の高さ予測不能のアクセス数に対応可能セキュアで高速なダウンロードサービスの提供毎日増加を続けるコンテンツを保存可能な信頼性の高いストレージサービススモールスタートも柔軟なシステム構成変更も可能 2017/5/31 13

14 順調に見えた AWS 移行だったが 2017/5/31 14

15 2013 年 10 月ハイレゾ音源の配信を開始平均ファイルサイズ 4MB 200MB 2017/5/31 15

16 ストレージ使用量の推移ストレージ消費が加速 1 ヶ月で 10TB 増加製品マスター 300TB の S3 移行を決意 2017/5/31 16

17 Snowball 導入プロセスと実績 2017/5/31 17

18 検討と選択移行データ :300TB Snowball インターネット回線専用線転送量 : 10TB/ 日転送量 : 0.5TB/ 日転送量 : 10TB/ 日必要日数 : 32 日必要日数 : 600 日必要日数 : 60 日費用 : 費用 : 追加なし費用 : 準備期間 :2 日 DC 内のネットワーク :1Gbps インターネットへの出口 :200Mbps 実測転送速度 :7MB/s サービス業務のトラフィックも共用契約準備期間 :30 日 DC 内のネットワーク :1Gbps は変わらないため転送量は Snowball との差がないと想定 2017/5/31 18

19 Snowball を選択転送量 : 必要日数 : 費用 : Snowball 10TB/ 日 32 日小 < 選択の理由 > ストレージの消費ペース短期間移行へのチャレンジ継続的ではなく 1 回の移行 2017/5/31 19

20 参考 :Snowball の費用 <Snowball の費用 > Snowball Job 毎の利用料 $250 (80TB) $200 (50TB) 転送量 : 10TB/ 日 ex: $250 台数必要日数 : 費用 : 32 日小追加利用料データ転送 (S3 インポート ) $15 / 日 $0 ( 無料 ) 転送期間が 10 日を超えた日数配送費用配送場所によって異なるプレビュー期間時点 2017/5/31 20

21 Snowball の台数 1 台 Snowball 80TB 実行領域 :70TB 移行データ 300TB 5 台 2017/5/31 21

22 Snowballの利用手順事前準備端末の準備 Snowballクライアント設定データ転送速度の見積り Snowballコマンドジョブ作成 Jobの作成 AWSコンソール 1ジョブ１ノード運搬受領配送先はDCに直接配送先設置先日時指定ができないため注意データ転送返送付属の返送用伝票を使用 S3インポート SnowballのデータをS3へImport プレビュー期間時点 2017/5/31 22

23 Snowball を設置した際の環境概要 Storage 1GbE client 2 台 1GbE AWS Snowball import AWS S3 Bucket スケールアウト NAS 高スループット高 IOPS 推奨 CPU Memory Network I/F 16 Core 64 GB 10 GbE 今回使用 24 Core 64 GB 1 GbE 2017/5/31 23

24 机上では 32 日で移行が完了する予定だったが 2017/5/31 24

25 実績事前準備端末の準備 Snowballクライアント設定データ転送速度の見積り Snowballコマンドジョブ作成 Jobの作成 AWSコンソール 1ジョブ１ノード運搬受領初回受領分の日数並行処理分は未加算データ転送日 14日かかった１台は平行で転送していたため未加算返送最終返送分の日数並行処理分は未加算 S3インポート最終返送分のインポート日数並行処理分は未加算 Total: 2017/5/31 4日 30 分 2日 39 日 2日 2日 49 日 25

26 転送完了までの流れと経過日数日事前準備発送発送発送転送[10日] 発送転送[14日] 60TB 発送転送[10日] 60TB 発送 70TB 転送[10日] 発送 2017/5/31 発送転送[9日] 70TB 発送 40TB 26

27 参考 :1 台でのデータ移行時の推定日数事前準備端末の準備 Snowball クライアント設定データ転送速度の見積り (Snowball コマンド ) 4 日ジョブ作成 Job の作成 (AWS コンソール ) 1 ジョブ =1 ノード 30 分運搬 ~ 受領受取先は DC に直接 ( 日時指定ができないため注意 ) 2 日データ転送データ量とファイル数によって異なる (1GbE, 転送量 10TB/ 日程度の想定 ) 7~10 日返送付属の返送用伝票を使用 2 日 S3インポート SnowballのデータをS3へImport 2 日 Total: 20 日 2017/5/31 27

28 まとめ想定よりも日数はかかったものの他の方法よりも短期間でのデータ移行を実現準備転送作業などがかんたん作業者も 1 人で完了したワンポイントの大量データ移行に非常に向いている S3 へ移行した結果管理運用コストの削減も実現 2017/5/31 28

29 LINE MUSIC とのシステム連携概要プロジェクト概要 2017/5/31 29

30 2017/5/31 30

31 開発スケジュール 2014 年 2015 年 12 月 1 月 2 月 3 月 4 月 5 月 6 月要件定義 API 設計システム開発 LINE MUSIC への楽曲連携開始開発期間 5 ヶ月 2017/5/31 31

32 配信プラットフォームの概要フロント側を変更することで対応音楽レーベル製品管理システムストアシステム製品管理配信情報管理ストアサーバ AWS CloudFront 商品閲覧検索配信システムオーサリング処理 SignedURL オーサリング処理後配信コンテンツ配信制御サーバ AWS CloudFront 試聴ダウンロード基幹システムオーサリング処理前製品マスター 2017/5/31 アカウント管理サーバ決済サーバ 32

33 LINE MUSICへの楽曲連携プラットフォーム新規開発音楽レーベル製品管理システム APIシステム製品管理配信情報管理 APIサーバカタログ管理配信情報連携配信システムオーサリング処理 SignedURL オーサリング処理後配信コンテンツ配信制御サーバファイル送付 AWS CloudFront 追加開発オーサリング処理前製品マスター 2017/5/31 33

34 2nd 開発 ( 海外音源の大量増曲 ) さらに短い開発期間 API 設計システム開発 LINE MUSIC への楽曲連携開始開発期間 3 ヶ月 2017/5/31 34

35 2nd開発後のプラットフォーム音楽レーベル製品管理システム APIシステム製品管理配信情報管理カタログ管理 APIサーバ配信情報連携配信システムオーサリング処理 SignedURL オーサリング処理後配信コンテンツ配信制御サーバファイル送付 AWS CloudFront オーサリング処理前製品マスター海外音楽レーベル 2017/5/31 35

36 LINE MUSIC への楽曲連携で感じた AWS のメリット稼働率と可用性の高さ予測不能のアクセス数に対応可能セキュアで高速なダウンロードサービスの提供毎日増加を続けるコンテンツを保存可能な信頼性の高いストレージサービススモールスタートも柔軟なシステム構成変更も可能 + 設計 / 検証期間短縮開発後のコスト削減の効果 2017/5/31 36

37 レーベルゲートの API をご紹介 2017/5/31 37

38 API のご紹介配信情報取得 API コンテンツ情報取得 API コンテンツ取得 API 試聴 API PIN 認証 API mora 購入履歴取得 API mora ダウンロード API 外部サービスへ提供他社製プレイヤーへの提供 2017/5/31 38

39 API のご紹介各社ハイレゾアプリ mora 対応続々 KaiserTone 2016 年 10 月対応 Wireless Hi-Res Player~Stellanova~ 2016 年 11 月対応 NePLAYER 2016 年 8 月対応 iaudiogate 2016 年 8 月対応 2017/5/31 39

40 APIのご紹介 2017年 4月九州電力様との IoTとAIを活用した家庭向けサービスハイレゾ配信プラットフォームを共同検討 2017/5/31 40

41 音楽を楽しむ環境を創り出すパートナー様求む! 2017/5/31 41

42 プロフィール配信ビジネス部ソリューション課係長松本信也まつもとしんや 35歳 1981年群馬県館林市に生まれる 2005年独立系SIer入社インフラ部門 2013年金融系SIer入社プライベートクラウド基盤部門へ配属 2016年ソニーミュジック入社レーベルゲートで音楽配信事業へ配属 2017/5/31 42

43 マネージドサービスを駆使した環境構想 2017/5/31 43

44 現在 2017/5/31 44

45 現在配信システム製品管理システム 2017/5/31 ストアシステム基幹システム APIシステム他基幹システムの一部 45

46 マネージドサービスを積極的に使うワケ短期超短期開発設計時間検討時間の削減少数精鋭人依存の解消見える化運用コストの削減コスト削減スケーリング運用コスト管理コストの削減 2017/5/31 46

47 マネージドサービスを駆使した環境構想安いサーバレス化コスト削減 Website Hosting ファイル連携にも高冗長化高速安心ストレージ管理不要 Amazon EC2 (Amazon Linux) 見える化 AWS Lambda 一括更新無料の証明書 Amazon S3 Amazon Aurora 開発コスト削減管理からの開放 Amazon CloudWatchLogs AWS Certificate Manager AWS CloudFormation 時間削減 2017/5/31 47

48 オンプレミス環境と AWS 環境構成 2017/5/31 48

49 移行時に意識したことしていること単純移行ではなくマネージドサービスを活用した移行疎結合の環境構築 2017/5/31 49

50 AWS を利用したシステム運用開発効率へのアプローチ 2017/5/31 50

51 2017/5/31 51

52 メンテナンス時間ゼロへの挑戦メンテナンス時間 2012 年 10 月 2017 年 4 月定期メンテナンス : 月 2 時間定期メンテナンス : 隔月 1 時間 DB の性能向上も加えて実現年間 24 時間のサービス停止年間 6 時間のサービス停止サービス停止時間を 1/4 に削減年間稼働率 99.72% 年間稼働率 99.93% 2017/5/31 52

53 メンテナンス時間ゼロへの挑戦構成イメージ Blue/Green Deployment Elastic Load Balancing 最新アプリケーションをデプロイしたインスタンスを用意し ELB に組み込み古いインスタンスを切り離すダウンタイムを 0 とするリリース方法現在は CodeDeploy も Blue/Green に対応 Auto Scaling Group Blue Auto Scaling Group Green 2017/5/31 53

54 メンテナンス時間ゼロへの挑戦目的 SEO 対策 mora.jp mora.jp CloudFront sitea.mora.jp siteb.mora.jp / /sitea /siteb メインサイトサイト A サイト B メインサイトサイト A サイト B 2017/5/31 54

55 メンテナンス時間ゼロへの挑戦マルチオリジン化メンテナンス性の確保 - メンテナンスや改修開発がやりやすい環境 - 巨大なサーバにしない - パス単位でのメンテナンス - メンテナンス性を損ない結果としてメンテナンス時間の増長にもつながる - パス単位でリソース調整もメンテナンス作業も可能 2017/5/31 55

56 Road to 99.99% 2017/5/31 56

57 クラウド化の次のステップマネージドサービスの利用拡大とコスト削減 2017/5/31 57

58 2017/5/31 58

59 マネージドサービスで作るサーバレスの構成 Amazon Cognito Amazon Kinesis AWS Lambda Redis (Multi-AZ) AWS Lambda API Gateway REST なインタフェース S3 Bucket Website Hosting 2017/5/31 59

60 IoT とシステム運用 Amazon EC2 Amazon CloudFront Amazon EC2 Amazon EC2 Start/Stop キャッシュクリア環境切替 2017/5/31 60

61 レーベルゲートは AWS を積極活用していきます! ご清聴ありがとうございました 2017/5/31 61

PowerPoint プレゼンテーション

PowerPoint プレゼンテーション AWS のいろは株式会社神戸デジタルラボ開発管理部情報システムチーム戎秀和自己紹介 Hidekazu Ebisu ( 戎秀和 ) - 4 年目 - 情シス - わんこ本日おはなしする内容 AWS についてメリットセキュリティコスト 3 本日おはなしする内容 AWS についてメリットセキュリティコスト 4 本日おはなしする内容 http://aws.amazon.com/jp/aws_history/