IIJ Technical WEEK 2013 甲 子 園 ライブ 配 信 2013/11/21 株 式 会 社 インターネットイニシアティブ プロダクト 開 発 部 アプリケーションサービス 課 唐 沢 智 之 tomoyuki-k@iij.ad.jp
2 自 己 紹 介 唐 沢 智 之 (からさわ ともゆき) プロダクト 本 部 アプリケーションサービス 課 ストリーミングに 関 わるサービス 運 用 をメインで 担 当 しています ナガレモノ これまでの 取 り 組 みの 紹 介 皆 既 日 食 ライブ 配 信 (2009 年 )» 皆 既 日 食 の 様 子 をFlash Video HLS (Apple HTTP Live Streaming) で 配 信 するプロジェクト» カメラ エンコーダを 担 いでトカラ 列 島 中 之 島 へ 単 身 上 陸 Smooth Streaming を 使 った 国 内 初 ライブ 配 信 の 提 供 (2009 年 : チーム 実 績 )» IIS Media Services + ARR (Application Request Routing) で 実 現 冬 のスポーツイベント(2010 年 冬 季 ) ライブ 配 信 基 盤 の 構 築 運 用» Flash Video ストリーミングによる 国 内 向 け 配 信 基 盤 を 構 築 マルチデバイス 配 信 (2011 年 春 )» ECサイト 様 向 けにワンソースマルチユース 型 のライブ 配 信 サービスを 先 駆 けて 提 供 HTTPストリーミングを 用 いた 大 規 模 配 信 (2012 年 春 ~)» 公 営 競 技 様 向 けにHDS (Adobe HTTP Dynamic Streaming) / HLS による 大 規 模 な 配 信 プラットフォームの 提 案 構 築 運 用 を 実 施 HTTPストリーミングの 早 期 商 用 展 開
甲 子 園 のライブ 配 信 について 3
甲 子 園 インターネットライブ 配 信 への 取 り 組 み 甲 子 園 ライブ 配 信 の 概 要 高 校 野 球 の 全 国 大 会 ( 夏 の 甲 子 園 ) 大 会 初 日 第 一 試 合 から 大 会 最 終 日 の 決 勝 戦 までの 全 試 合 をライブ 配 信» 名 称 : 第 95 回 全 国 高 校 野 球 選 手 権 記 念 大 会» 主 催 : 日 本 高 等 学 校 野 球 連 盟» 期 間 : 2013 年 8 月 8 日 ~8 月 23 日» テレビ 放 送 インターネットライブ 配 信 : 朝 日 放 送 株 式 会 社 朝 日 放 送 とIIJのこれまでの 取 り 組 み 2011 年» PC 向 け 配 信 : Smooth Streaming (Silverlight)» 順 々 決 勝 以 降 の 試 合 をIIJ から 配 信 2012 年» PC 向 け 配 信 : Smooth Streaming» 全 試 合 をIIJ から 配 信 2013 年» PC 向 け 配 信 : Smooth Streaming» Android 向 け 配 信 : HLS» 全 試 合 をIIJ から 配 信 PC 向 け 甲 子 園 専 用 Webページ 内 での 配 信 用 のプレイヤー 4
5 ライブ 配 信 のワークフローと 役 割 分 担 各 種 制 作 からエンコーディングまでが 朝 日 放 送 パッケージング 配 信 までをIIJ 企 画 撮 影 編 集 エンコーディング Ingest パッケージング 大 規 模 配 信 視 聴 朝 日 放 送 様 IIJ 一 般 視 聴 者
6 ストリーミング 配 信 方 式 について 対 象 デバイスは2つ PC 向 け Android 向 け HTTPストリーミング Smooth Streaming HLS 対 象 デバイス 方 式 映 像 ソース ビットレート( 映 像 ソース1 本 あたり) PC Smooth Streaming 3 本 1. スイッチングアウト 2. ピッチャー 専 用 カメラ 3. 野 手 専 用 カメラ 650kbps 500kbps 350kbps Android HLS (Apple HTTP Live Streaming) 1 本 アルプススタンドの 様 子 650kbps 500kbps 350kbps
7 本 講 演 の 要 旨 最 大 80Gbps という 広 帯 域 な 配 信 を 実 現 サーバインフラについてIIJの 取 り 組 みを 紹 介 します 企 画 撮 影 編 集 エンコーディング Ingest パッケージング 大 規 模 配 信 視 聴 朝 日 放 送 様 IIJ 一 般 視 聴 者 最 大 帯 域 80Gbps 同 時 接 続 数 11.8 万
サーバインフラについてIIJの 取 り 組 み 8
9 昨 年 (2012 年 )と 今 年 (2013 年 )における 構 成 の 比 較 昨 年 と 今 年 の 構 成 の 違 いは 赤 い 太 字 区 分 項 目 昨 年 (2012 年 ) 今 年 (2013 年 ) 配 信 ユニット トラフィック 30Gbps 80Gbps ロードバランサ(LB) 有 無 / 有 混 在 1Uサーバ1 台 のNIC 1Gbps 10Gbps 設 置 場 所 集 中 拠 点 Core 拠 点 キャッシュエンジン ARR ARR オリジンサイト サーバソフトウェア IIS Media Services IIS Media Services Adobe Media Server トラフィック 数 十 Mbps 約 80Mbps 設 置 場 所 集 中 拠 点 クラウド (IIJ GIO) ARR : Application Request Routing トラフィック : 期 間 中 最 大 の 値
昨 年 (2012 年 ) のハイライトと 構 成 2012 年 の 甲 子 園 ライブ 配 信 におけるピーク 配 信 帯 域 30Gbps ( 決 勝 戦 ) Smooth Streaming (PC 向 け) のみ オリジンサイト (Smooth Streaming) Ingest» エンコーダからのストリームを 受 信 する パッケージング» Smooth Streaming 用 に セグメント 化 配 信 ユニット 大 規 模 配 信» クライアントからの 接 続 を 受 ける» リバースプロキシ セグメント 化 したデータを 大 規 模 に 配 信 キャッシュエンジンはARR を 採 用 (Application Request Routing) 10
11 今 年 (2013 年 ) の 構 成 図 集 中 拠 点 モデルから 配 信 ユニッ トとオリジンサイトを 分 離 する モデルへ トラフィックが 集 中 的 に 流 れる Core 拠 点 を 複 数 選 定 し 配 信 ユ ニットを 分 散 して 配 置 ネットワークインタフェースを 全 台 10Gbps 化 ロードバランサの 無 しのサーバ を 投 入» Coreルータ 直 結 安 全 のためロードバランサ 有 の 構 成 も 継 続 オリジンサイトをクラウド 上 へ 構 築 IIJ GIO を 利 用
今 年 (2013 年 )に 向 けての 構 想 2013 年 春 先 に 試 算 80Gbps を 想 定 した 配 信 設 備» 視 聴 者 数 の 増 加 を 予 測 PC 向 け 配 信 だけでなくスマートフォン 向 け 対 応 等 にも 考 慮» チャンネル 数 の 増 加 1 本 あたりの 動 画 の 高 ビットレート 化 既 存 の 集 中 拠 点 の 余 剰 では 足 りないので 拡 張 が 必 要 80Gbps を 占 有 することを 前 提 とした 設 計 80Gbps を 実 現 するために 昨 年 (2012 年 )の 延 長 線 で 単 純 に 考 えると 配 信 ユニット» 集 中 拠 点 を 拡 大 サーバ 台 数 を30 台 設 置 80 台 設 置 コストとの 戦 いなのか? オリジンサイト» 配 信 方 式 ごとのオリジンサイトを 構 築 期 間 限 定 の 利 用 12
13 配 信 ユニットの 最 適 化 Smooth Streaming, HLS いずれもHTTPストリーミング 配 信 ユニットは 配 信 方 式 によらずキャッシュサーバを 共 用 できる キャッシュサーバを 集 約 1G NICを 搭 載 したARR のパフォーマンス 1Gbps をワイヤレート 吐 いてもCPU 使 用 率 は 数 % 程 度» ライブストリーミングではマシンパワーを 殆 ど 使 うことなくNIC 使 用 率 が100%となる 10G NICを 搭 載 大 規 模 に 配 信 することが 分 かっている トラフィックが 多 いCore 拠 点 に 配 信 ユニットを 配 置 複 数 のCore 拠 点 に 配 信 ユニットを 分 散
14 オリジンサイトの 最 適 化 オリジンサイトはNICも 余 裕 ライブストリーミングでは 配 信 ユニット 側 でほぼキャッシュされる 期 間 限 定 利 用 専 用 の 機 材 を 手 配 するのか クラウド (IIJ GIO) を 使 う
仮 説 と 事 前 検 証 事 前 検 証 10G NIC 1 台 で 実 際 どこまで 吐 くことができるのか 負 荷 生 成 装 置 を 使 った 事 前 検 証 を 実 施 検 証 概 要 配 信 ユニット1 台 オリジンサイト2 台 を 構 築 450kbps のストリームに 対 して 同 時 17,000» Smooth Streaming の 挙 動 も 模 倣 検 証 結 果 1. キャッシュサーバ ( 配 信 ユニット)» 9.1~9.7Gbos» エラーレートは 無 視 できるレベル 2. オリジンサーバ (オリジンサイト)» 約 20Mbps / 1 台 あたり Xcellon-Ultra XT80 v2 (イクシアコミュニケーションズ 株 式 会 社 ) 得 られた 仮 説 10Gbps をフルに 利 用 できるはずである キャッシュサーバがほぼオフロードするはずである 15
2013 年 の 結 果 ( 甲 子 園 を 終 えて) 夏 の 甲 子 園 の 配 信 が 終 わりました 配 信 ユニットは 最 大 80Gbps» 決 勝 戦 同 時 視 聴 者 数 は 約 11.8 万» ほぼSmooth Streaming (PC 向 け) 配 信 LB 無 の10G NICサーバ 1 台 あたり 最 高 で9.8Gbps» 秒 間 1 万 8 千 セッション» キャッシュヒット 率 90% 超» CPU usage は30~40% 程 度 1 CPU 4コア オリジンサイト(Smooth Streaming) 1 台 あたりは 約 40Mbps» 2 台 で 合 計 約 80Mbps 仮 説 通 りの 着 地 をした 16
2013 年 のトラフィック トラフィック 傾 向 1 試 合 ごとのトラフィックは 右 肩 上 がり» 試 合 が 終 盤 (9 回 ) に 差 し 掛 かるほど 盛 り 上 がる» ただし 突 発 的 な 盛 り 上 がりはそれほど 発 生 しない» 全 試 合 右 図 と 同 様 のグラフを 描 く 準 決 勝 決 勝 とトラフィックが 一 気 に 増 える» 準 決 勝 : 一 般 戦 の3~4 倍» 決 勝 戦 : 一 般 戦 の6~7 倍 決 勝 戦 (8/22) の 開 始 から 終 了 までのトラフィックのイメージ 休 日 よりも 平 日 の 方 がトラフィックが 伸 びる» 休 日 は 平 日 の7,8 割 程 度» 休 みの 日 は 大 画 面 で 鑑 賞?» では 平 日 は 誰 が 視 聴 しているのでしょうか? 1 日 分 ( 全 4 試 合 ) のトラフィックのイメージ 緑 色 が 平 日 橙 色 が 休 日 17
まとめと 今 後 の 展 望 HTTPストリーミングが 標 準 の 時 代 配 信 ユニットとオリジンサイトの 分 離» Core 拠 点 への 展 開» クラウドの 積 極 活 用 より 高 帯 域 な 配 信 を 目 指 して» 配 信 ユニットの 集 約 10G NICを 搭 載 したサーバを 標 準 化 配 信 の 特 性 に 合 わせたキャッシュサーバのチューニング» Core 拠 点 への 展 開 拡 大 スマート 化 した 配 信 ユニットを 定 型 化 案 件 規 模 に 応 じた 展 開 撤 退 が 可 能» 大 規 模 な 配 信 にも 迅 速 に 対 応 IIJ の 海 外 展 開 と 連 動 100Gbps のライブストリーミングを 吐 きたい! 1Uサーバを10 台 並 べましょう 18
最 後 に デモ 展 示 を 行 っています 本 講 演 会 場 手 前 のオープンスペースに1Uサーバ1 台 で10Gbps を 吐 き 出 すデモを 行 って います» 1U サーバは 甲 子 園 配 信 でも 利 用 された 本 番 機 です» モニタリングができます ありがとうございました 19