ｽﾗｲﾄﾞﾀｲﾄﾙなし

Size: px

Start display at page:

Download "ｽﾗｲﾄﾞﾀｲﾄﾙなし"

あきひろふじつぐ
5 years ago
Views:

1 画像情報特論 (8) - ストリーミング IP 放送情報理工学専攻甲藤二郎 katto@waseda.jp

2 ストリーミングシステム構成プロトコルメタファイルファイルフォーマット

3 システム構成 (1) シンプルな構成キャプチャ & 圧縮 & ストリーミングインターネット小規模構成インターネット放送局キャプチャ & 圧縮ストリーミング & WWW & ファイアウォールインターネット

4 システム構成 (2) 大規模構成インターネット放送局ミラー放送局キャプチャ & 圧縮 WWW サーバファイアウォールインターネットストリームサーバ CDN (Content Delivery Network)

5 システム構成 (3) よくある使い方 HTTP インターネットクリックストリーミング WWW ページストリーミングビューア

6 プロトコル (1) HTTP ストリーミングと専用プロトコルを用いたストリーミング HTTP ストリーミング専用プロトコルを用いたストリーミング (RTSP, MMS 等 ) 方式 HTTP サーバがすべて担当する方式ストリーミング専用サーバを用意する方式長所手間がかからない ( 通常のHTTPサーバを用意するだけ ) ファイアウォールを超えられる (HTTPポートは外部に開かれている場合が多い ) ストリーミングに適したふくそう制御 Real: SureStream TurboPlay MS: Intelligent Streaming FastStreaming ライブ放送マルチキャストに適している短所ストリーミングに適したふくそう制御が実行困難 (TCP に依存 ) ライブ放送に適さないファイアウォールを越えられない場合がある条件インテリジェントなビューアインテリジェントなサーバ

7 プロトコル (2) HTTP ストリーミングサーバクライアント HTTP WWW サーバ 1 ファイル要求 2 メタファイル 4 ファイル要求 Web ブラウザ 3 ビューアの起動メタファイル 5 ストリーミングビューアストリームファイルすべて HTTP によるデータ転送ダウンロードをストリーミングに見せかける

8 プロトコル (3) 専用プロトコルを用いたストリーミングサーバクライアント HTTP メタファイル WWW サーバ 1 ファイル要求 2 メタファイル Web ブラウザ 3 ビューアの起動ライブ入力ストリームファイル 4 制御ストリームサーバ 5ストリーミング制御 : RTSP / MMS メディア : UDP TCP IP Multicast... ビューアストリーミングに最適化

9 メタファイル (1) WWW ブラウザからビューアを起動する仕掛け (12 手順 ) HTTP サーバ GET sample.ram HTTP クライアント *.ram MIME タイプ MIME タイプ HTTP 200 OK Content-Type: audio/x-pn-realaudio... sample.ram rtsp://rtsp_server/sample.rm MIME タイプ RealPlayer MIME タイプメタファイル MIME: Multipurpose Internet Mail Extensions encoding ストリーミングビューア

10 メタファイル (2) メタファイルとレイアウト記述 (1) 分離する場合クライアント rtsp://rtsp_server/sample.smi メタファイル (*.ram) rtsp://rtsp_server/sample.rm 1 ファイル要求 2 メタファイル 4 ファイル要求 Web ブラウザ 3 ビューアの起動レイアウト記述 (*.smi) ストリームファイル (*.rm) 5 レイアウト記述 6 ストリーム要求 7 ストリーミングストリーミングビューア

11 メタファイル (3) メタファイルとレイアウト記述 (2) 結合する場合クライアント rtsp://rtsp_server/sample.rm レイアウト記述 (*.smi) 1 ファイル要求 2 レイアウト記述 ( 兼メタファイル ) Web ブラウザ 3 ビューアの起動ストリームファイル (*.rm) 4 ストリーム要求 5 ストリーミングストリーミングビューア MIME タイプが正しく定義されていればどちらの方法を用いてもよい

12 メタファイル (4) ストリーミング関連の MIME タイプとメタファイル名称 MIME タイプファイル拡張子 RealSystem audio/vnd.rn-realmedia application/smil audio/x-pn-realaudio audio/x-pn/realaudio-plugin rm smi smil ram rpm Windows Media Technologies video/x-ms-wmv wmv audio/x-ms-wma wma video/x-ms-asf asf asx メタファイル Apple QuickTime video/quicktime mov qt

13 ファイルフォーマット (1) ( 複数の ) 圧縮ストリームと制御データから構成されるひとつのファイル一種の多重化フォーマット (rm ファイル等 ) ファイル属性ストリーム属性その他の属性圧縮ストリームファイル属性 : ストリーム属性 : その他の属性 : 圧縮ストリーム : ファイルサイズビットレートストリーム数などストリームの種類圧縮アルゴリズムビットレートなど各ストリームの開始位置ランダムアクセス位置などオーディオビデオほか各種メディアの圧縮ストリーム 1 2 n 1 2 n * スケーラブルなストリームを一つのファイルに多重化

14 ファイルフォーマット (2) ファイルフォーマットの使用方法 HTTP ストリーミング : サーバそのまま TCP 転送クライアントファイルフォーマットファイルフォーマットの中身は考慮しない圧縮ストリーム中の同期ワード探索によるストリーミング再生専用プロトコルを用いたストリーミング : サーバ RTP パケット化クライアントファイルフォーマットストリーム属性を考慮したパケット化 ( 例 : QuickTime のヒントトラック ) RTP によるストリーミング再生

15 ファイルフォーマット (3) ファイルフォーマットの具体例名称ファイルフォーマット仕様 RealSystem Media Technologies QuickTime rm wmv, wma, asf mov, qt 非公開 ( 以前は公開 ) 非公開 ( 以前は公開 ) 公開 (MPEG4) *.rm: RealMedia File Format *.asf: Advanced Streaming Format *.mp3, *.mpg 等も一種のファイルフォーマット

16 プロトコル階層ストリーミング専用プロトコルを用いた場合のプロトコル階層ストリーミングサーバ WWW サーバ ( 番組案内 ) 音声ビデオ制御プレゼンテーション記述データファイルフォーマット N.A. RTP N.A. RTCP RTSP 等 SMIL 等レイアウト記述番組案内 & メタファイル HTTP メタファイル UDP (or TCP) TCP TCP IP IP

17 IETF RTSP RFC 2326: Realtime Streaming Protocol

18 RTSP (1) ストリーミング専用の制御プロトコルメソッド方向要求条件内容 DESCRIBE C->S 推奨セッション情報の取得 (SDP 等 ) ANNOUNCE C->S, S->C オプショナル C->S: クライアントからのセッション情報の通知 S->C: セッション情報の更新 GET_PARAMETER C->S, S->C オプショナルセッションパラメータの取得 OPTIONS C->S, S->C 必須オプション機能のチェック PAUSE C->S 推奨メディア転送の中断 PLAY C->S 必須メディア転送の開始再開 RECORD C->S オプショナルメディア情報の記録 REDIRECT S->C オプショナルリダイレクション SETUP C->S 必須セッションの初期化 SET_PARAMETER C->S, S->C オプショナルセッションパラメータの設定 TEARDOWN C->S 必須セッションの終了 RFC 2326

19 RTSP (2) セッション開始サーバ GET クライアント HTTP プレゼンテーション記述 (SMIL 等 ) DESCRIBE メディア情報 (SDP) SETUP SDP IPアドレス / ポートトランスポートプロトコル符号化アルゴリズム使用帯域など RTSP OK PLAY OK ( 送信準備完了 ) ( 送信開始 ) RTP ストリーミング

20 RTSP (3) セッション制御と終了サーバクライアントストリーミング PAUSE OK PLAY OK ストリーミング VCRコマンド ( 停止 ) ( ストリーミングの停止 ) VCRコマンド ( 再開 ) ( ストリーミングの再開 ) VCRコマンド : 開始停止再開早送り早戻しスキップなど TEARDOWN OK ( セッションの終了 )

21 RTSP (4) 状態遷移 Init TEARDOWN Ready SETUP PAUSE PLAY TEARDOWN Play RECORD TEARDOWN Record

22 RTSP (5) 実例方向 RTSP メソッド内容 C->S S->C C->S S->C DESCRIBE rtsp://foo.com/sample RTSP/1.0 CSeq: 1 Accept: application/sdp, application/rtsl, application/mheg RTSP/ OK CSeq: 1 Content-Type: application/sdp Content-Length: 200 ( 以下は SDP) v=0 o= IN IP s=rtsp Session m=video 0 RTP/AVP 31 a=control:rtsp://foo.com/sample SETUP rtsp://foo.com/sample RTSP/1.0 CSeq: 2 Transport: RTP/AVP/UDP;unicast;client_port=6970 RTSP/ OK CSeq: 2 Transport: RTP/AVP/UDP;unicast;client_port=6970;server_port=7200 セッション情報の要求 (SDP 等 ) 応答 : 2xx: 成功 3xx: リダイレクション 4xx: クライアントエラーセッション初期化要求 ( トランスポートパラメータ等 ) 応答

23 RTSP (6) 実例方向 RTSP メソッド内容 C->S S->C S->C C->S S->C PLAY rtsp://foo.com/sample RTSP/1.0 CSeq: 3 Range: npt=0- Session: RTSP/ OK CSeq: 3 Session: ストリーミング転送 TEARDOWN rtsp://foo.com/sample RTSP/1.0 CSeq: 4 Session: RTSP/ OK CSeq: 4 Session: メディア転送開始要求応答セッション終了要求応答

24 RTSP (7) 実例 Ethereal による RealPlayer のキャプチャ例

25 ストリーミングの実際

26 ストリーミングソフトウェア組織名システム名称 URL リアルネットワークス RealSystem マイクロソフト Windows Media アップル QuickTime Adobe Flash Video シスコシステムズ IP/TV NTT SoftwareVision ( 閉鎖?) KDDI QualityMotion 東芝 MobileMotion キャノン WebView

27 RealSystem (1) 圧縮放送局ストリーミングサーバビューア個人 RealPlayer インターネット RealProducer RealServer 企業プロキシビューア RealProxy RealPlayer 兼キャッシュサーバ

28 RealSystem (2) 目的名称入出力フォーマットプロトコルキャプチャエンコーダレイアウト記述メタファイル RealProducer 各種エディタ ramgen 入力 : ライブ,.avi,.mov 他出力 :.rm (RealVideo, RealAudio) ファイル :.smi メタファイル :.ram ファイル :.rm,.smi 他ストリームサーバ RealSystem Server 制御 : RTSP, PNA* メディア : RTP, RDT*, UDP, TCP, HTTP, IP Multicast プロキシ RealSystem Proxy 制御 : RTSP, PNA*, HTTP メディア : RTP, RDT*, UDP, TCP, HTTP, IP Multicast コンテント保護 Media Commerce Suite 独自ビューア RealPlayer 入力 :.rm,.smi,.avi,.mov,.mpg 他 * PNA, RDT はリアルネットワークス社の独自プロトコル

29 RealSystem (3) プロトコル階層ストリーミングサーバ WWW サーバ ( 番組案内 ) 音声ビデオ制御プレゼンテーション記述データ.rm Real Audio RTP / RDT Real Video RTCP RTSP SMIL.smi 番組案内 & メタファイル HTTP.ram UDP (or TCP) TCP TCP IP IP

30 RealSystem (4) ふくそう制御 : SureStream RTSP ストリーミング用ストリーミングサーバビューア *.rm セッション中に適応的にストリーム切り替え廃棄率受信速度等 * TCP フレンドリと同様のメカニズムが適用可能 1 R RTT 3 2 p 複数レートの圧縮ストリームをひとつのファイルに混合詳細は未公開

31 RealSystem (5) ふくそう防止 : SMIL の switch タグ HTTP ストリーミング用 HTTP サーバ 1 SMIL 記述 2 ストリームファイル指定ビューア ISDN.rm LAN.rm レート毎に複数の圧縮ストリームを用意セッション開始時に <smil> ストリームを選択 <body> <switch> <ref <ref src="lan.rm" system-bitrate="150000" /> /> <ref src="isdn.rm" system-bitrate="45000" /> /> <ref <ref src="modem56.rm" system-bitrate="32000" /> /> <ref <ref src="modem28.rm" system-bitrate="20000" /> /> </switch> </body> </smil>

32 RealSystem (6) TurboPlay ( プリフェッチング : 表示開始を速くする ) 対象 : 帯域幅に余裕のある片方向インターネット放送条件 : 転送レート << 接続リンク速度推定レートデータ量早めに送信してしまう受信データ再生データ 0 新プレイアウト遅延プレイアウト遅延の削減時間

33 Windows Media (1) ビューア圧縮放送局ストリーミングサーバ個人 MediaPlayer インターネット MediaEncoder MediaServer 企業プロキシビューア MediaServer MediaPlayer

34 Windows Media (2) 目的名称入出力フォーマットプロトコルキャプチャエンコーダレイアウト記述メタファイル Media Encoder 等 Metafile Creator 他各種エディタ入力 : ライブ,.avi,.mov 他出力 :.wmv,.wma (WM Video, WM Audio),.asf メタファイル :.asx ファイル :.wmv,.wma,.asf 他ストリームサーバ Media Server 制御 : MMS*, RTSP (v.9 より ) メディア : RTP, UDP, TCP, HTTP, IP Multicast プロキシ Media Service 制御 : MMS*, RTSP (v.9 より ) メディア : RTP, UDP, TCP, HTTP, IP Multicast コンテント保護 Media Rights Manager 独自ビューア Media Player 入力 :.wmv,.wma,.asf,.avi,.mpg 他 * MMS はマイクロソフト社の独自プロトコル

35 Windows Media (3) プロトコル階層ストリーミングサーバ WWW サーバ ( 番組案内 ) 音声ビデオ制御プレゼンテーション記述データ.wma.wmv MS Audio RTP? MS Video RTCP MMS ASX.asx 番組案内 & メタファイル HTTP UDP (or TCP) TCP TCP IP IP

36 Windows Media (4) メディア圧縮独自 Intelligent Streaming Fast Streaming 詳細非公開それぞれ SureStream TurboPlay と同様の効果 ASX: メタファイル兼プレゼンテーション記述 <ASX version="3"> <Entry> <ref HREF="mms://mms_server/sample.wmv" /> /> </Entry> </ASX> このほかプレゼンテーション記述に関係する多数のタグを定義

37 QuickTime (1) 圧縮放送局ストリーミングサーバビューア個人 QuickTime インターネット QuickTime Pro QuickTime Streaming Server 企業プロキシビューア QuickTime Proxy QuickTime

38 QuickTime (2) 目的名称入出力フォーマットプロトコルキャプチャエンコーダプレゼンテーション記述メタファイルストリームサーバ QuickTime Pro, Sorenson, Qdesign 他各種エディタ QuickTime Streaming Server 入力 :.mov,.qt 他出力 :.mov,.qt 他ファイル :.smi メタファイル :.mov ( 詳細不明 ) ファイル :.mov,.qt,.smi 他制御 : RTSP メディア : RTP, UDP, TCP, HTTP, IP Multicast ビューア QuickTime Player 入力 :.mov,.mpg 他

39 QuickTime (3) プロトコル階層ストリーミングサーバ WWW サーバ ( 番組案内 ) 音声ビデオ制御プレゼンテーション記述データ.mov Qdesign Audio RTP Sorenson Video RTCP RTSP SMIL.smi 番組案内 & メタファイル HTTP.mov UDP (or TCP) TCP TCP IP IP もっとも国際標準方式に忠実な実装

40 その他 Flush Video (Adobe) Sorenson H.263 On2 TrueMotion VP6/VP7 (~ MPEG-4) theora.org (Open Source) OggVorbis On2 VP3 Microsoft VC-1 SMPTE 421M AVS 中国のオーディオビデオ圧縮規格 XVD (~ wavelet?) XVD Corporation

41 まとめ

42 ストリーミングの歴史 UC Berkeley: mpegplay, vic/rat/sdr IP 電話ソフトウェアデコーダ Mbone 実験 1990~ 各社乱立時代 1994~ vivo: HTTPストリーミング VDOnet, Vxtreme: wavelet, スケーラブル符号化 Xing: MPEG1ストリーミング etc, etc RealNetworks: RTSP, SMIL Apple: MPEG4 File Format Microsoft: 独自路線 ( 当時 ) 三社に収束国際標準化の進展 1997~ CDN, P2P, etc 新技術の導入 2000~ SureStream, TurboPlay, FMC/IMS, IPTV, 放送通信統合 PerfectPlay, ネットワークの統合融合 2004~

ｽﾗｲﾄﾞﾀｲﾄﾙなし

ｽﾗｲﾄﾞﾀｲﾄﾙなし (10) - (3) IETF RTSP 2002.06.25 E-Mail: katto@katto.comm.waseda.ac.jp (1) & WWW cf. CDN (Content Delivery Network) (2) WWW (3) HTTP WWW (1) (1) HTTP HTTP ( HTTP ) (HTTP ) (SureStream ) (TCP ) HTTP (RTSP,

ｽﾗｲﾄﾞ ﾀｲﾄﾙなし

ｽﾗｲﾄﾞﾀｲﾄﾙなし