Microsoft PowerPoint - gazotokuron-Video.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - gazotokuron-Video.ppt"

なおにかどり
5 years ago
Views:

1 画像情報特論 () ビデオ圧縮 : H.6/AVC ビデオ圧縮の基礎情報ネットワーク専攻甲藤二郎 katto@waseda.jp ディジタルビデオ () 時間方向空間方向のサンプリング CCIR 6 フォーマットディジタルビデオ () カメラビデオキャプチャ :: :: :: フレーム Y Y Y RGB / YV 変換フレーム周期 (/ 秒 ~) 時間 V V V R G B RGB 各ビット Y..6 V R. G. B Y V YV 各ビット YV 解像度同じ V 垂直解像度半分 V 水平垂直解像度半分通常のビデオ圧縮 : :: フォーマット高画質ビデオ圧縮 : :: フォーマットディジタルビデオ () 莫大な情報量 (RGB 各ビット無圧縮の場合 ) ビデオ圧縮の仕組み MC+DCT ハイブリッド予測符号化 ( 年間変わらない方式 ) 用途解像度データ量符号量制御 TV 会議 5x Mbit/s 画像入力 DCT 量子化エントロピー符号化圧縮ストリーム TV HDTV 7x 9x Mbit/s 9Mbit/s 逆量子化データ圧縮の必要性動き補償動き検出メモリ逆 DCT + 局所デコーダ : MC ( 動き補償 : motion compensation) 空間方向の相関除去 : DCT ( 離散コサイン変換 : discrete cosine transform) Q: 局所デコーダが必要な理由を説明せよ

2 ビデオ復号の仕組みフレーム内符号化空間方向の相関除去エンコーダのローカルデコードに同じ DCT フレーム圧縮ストリームエントロピー復号逆量子化逆 DCT + 復号画像ブロック画像信号の性質 : 隣接画素間の相関が非常に高い ( 相関係数 :.9 ~) 動き補償メモリ直交変換 DCT ( 離散コサイン変換 ) 特定の変換係数にエネルギーが集中隣接ブロック間でさらに予測 ( 特に直流成分 ) 直交変換 () 空間方向の相関除去直交変換 () 空間方向の相関除去 DCT が使われる理由 Wavelet 変換 ( 対抗 ) 圧縮効率 GAIN (db) KLT, DCT, DFT の符号化利得の比較 OPTIMM (ρ.95) KLT, DCT DFT 6 6 SIZE 理論的最適値直交変換のブロックサイズ KLT: 理論的に最適な直交変換 DCT: 相関の高い入力に対する KLTへの漸近性及び高速アルゴリズムが存在通常は x サイズのDCTを使用 h (n) x(n) h (n) h (n) h (n) LLL LLH LH H 角周波数 π 長所 : ブロックひずみが少ない短所 : ブロック動き補償と相性が悪い h (n) LLL h (n) LLH LH H 分割フィルタバンクのツリー接続 LL LH H ピラミッド表現直交変換 () 空間方向の相関除去フレーム間符号化 () DCT と Wavelet の比較 IP 予測圧縮効率 DCT, Wavelet の符号化利得 OPTIMM (ρ.95) 理論的最適値 DCT(6) 9 DCT() GAIN (db) 7 DCT() I P P P P P P 6 5 Wavelet: 直交 CQF (6tap) SSKF (5/) STAGES Wavelet の多段接続数 DCT: 動画 ( ビデオ ) 圧縮 Wavelet: 静止画圧縮 (JPEG) ビデオ信号の性質 : 隣接フレーム間の相関が非常に高い ( 相関係数 :.9 ~) フレーム間の予測誤差がほとんどゼロ I: I ピクチャ ( フレーム内符号化 ) P: P ピクチャ ( フレーム間符号化 ) さらに動き検出動き補償予測

3 フレーム間符号化 () フレーム間符号化 () IPB 予測フレームフィールド適応予測 I B B P B B P I B B P B B P 片方向で予測を行うより両方向で予測を行うほうが予測効率が高い ( ただしフレーム間の距離に依存 ) I: I ピクチャ ( フレーム内符号化 ) P: P ピクチャ ( 片方向予測 ) B: B ピクチャ ( 両方向予測 ) 奇数フィールド偶数フィールドディジタルTV 放送に対応 (MPEG) 動き補償 : フィールド予測フレーム予測デュアルプライム予測予測効率の改善 DCT: フレーム DCT フィールド DCT 動き検出と動き補償 () 動き検出 ( ブロックマッチング ): 過去の画像 ( 参照フレーム ) から現在の画像 ( カレントフレーム ) に最も類似しているブロックを探索し動きベクトルを求める動き検出と動き補償 () 半画素精度動き補償 : 線形内挿を行い.5 画素精度の動きベクトルを算出し予測画像を作成動き補償 : 動き検出で求めた動きベクトルからカレントフレームの予測画像 ( 予測フレーム ) を作成する予測誤差動き検出画素線形内挿画素内挿フィルタ :.5.5 参照フレームカレントフレーム予測フレーム動きベクトル類似ブロックブロック各々.5 動き補償動き検出と動き補償 () オーバーラップ動き補償 : 隣接ブロックの動きベクトルも利用しブロックの平滑化加算によって予測画像を作成特性比較予測誤差の低減効果動き検出と動き補償 ().5 整数画素精度ブロック動き補償に対する半画素精度オーバーラップ動き補償の予測利得通常のブロックマッチング参照フレーム予測フレーム.5 Gain (db) オーバーラップ + 半画素.5 半画素のみオーバーラップ動き補償参照フレーム予測フレーム.5 オーバーラップのみ整数精度ブロックマッチング平滑化 : 台形ウィンドウコサインウィンドウなど平滑化動き予測しにくい画像の場合 Estimation Reliability 動き予測しやすい画像の場合

4 ビットストリーム構造ピクチャシーケンスヘッダスタートコード + 各種制御情報ピクチャヘッダスライスヘッダフレーム k スライス or GOB スライスヘッダ動きベクトル+DCT 係数国際標準方式ピクチャヘッダフレーム k+ (6x6) スライスヘッダブロック (x) 国際標準方式 () 国際標準方式 () 団体名称時期符号化レート当初の用途 MC ( 動き補償 ) DCT MC+DCT の基本構成 B ピクチャ半画素精度フィールド予測スケーラビリティ誤り耐性形状符号化 ITT ISO H.6 99 年 6kb/s~Mb/s ISDN 用テレビ電話 H 年数十 kb/s~ アナログ回線用テレビ電話 H.6+ MPEG MPEG * 99 年 99 年 995 年数十 kb/s~ ~.5Mb/s 数 Mb/s~ 数十 Mb/s インターネット移動体 H.6 年数十 kb/s~ インターネット移動体 CDROM ディジタル放送 ITT H. Subrate H.6 H.6 / H.6+ Joint (ITT & ISO).5M K 6K.5M ISDN MPEG / H.6 放送 DVD HDTV モデム, Internet, 移動体 H.6 Internet, 移動体 MPEG 999 年数十 kb/s~ インターネット移動体 * MPEG/H.6 H.6/AVC (MPEG Part ) はISOとITTのジョイント規格 ISO MPEG CDROM MPEG Internet, 移動体国際標準方式 () 代表的な機能の比較名称 H.6 H.6 MPEG MPEG MC+DCT / 画素 IPB 予測フィールド形状符号化再同期スケーラビリティ ITT H.6/AVC (MPEG Part ) H.6+ MPEG FGS H.6 SVC インターネット放送で有効 + 符号量制御 ( 後述 )

5 H.6/AVC の応用 H.6/AVC の基本構成 () Broadcast over cable, satellite, cable modem, DSL, terrestrial Interactive or serial storage on optical and magnetic devices (e.g. DVD) Conversational services over IDSN, Ethernet, LAN, DSL, wireless and mobile networks Videoondemand (VoD) or multimedia streaming services over ISDN, cable modem, DSL, LAN, wireless and mobile networks Multimedia messaging services (MMS) over ISDN, DSL, Ethernet, LAN, wireless and mobile networks VCL NAL T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. H.6/AVC の基本構成 () Improved Prediction Variable blocksize motion compensation (x to 6x6) Quartersampleaccuracy motion compensation (/pel) Picture boundary extrapolation for motion compensation Multiple reference picture motion compensation Flexibility in picture display ordering Flexibility in picture referencing Prediction with weights and offsets (for fading) Motion inference in skipped area Directional spatial prediction for intra coding Intheloop deblocking filtering T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. Improved Coding Efficiency Small blocksize transform (x) Hierarchical block transform (x, x, 6x6) Short wordlength transform (6bit arithmetic) Exactmatch inverse transform (no calculation error) Arithmetic entropy coding (CABAC) Contextadaptive entropy coding (CAVLC & CABAC) Robustness & Flexibility Flexible parameter set structure NAL unit syntax structure (network abstraction) Flexible slice size (like MPEG) Flexible macroblock ordering by slice groups Arbitrary slice ordering Redundant picture representation (after data loss) Data partitioning (for error resiliency) SP/SI picture types (for decoder synchronization and switching) T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. 5

. NAL: Network Abstraction. NAL: Network Abstraction Inband sign

フレーム MP ファイル RTP パケット MPEG TS パケット Outband signaling (e.g. by TCP) T.Wiegand et al: Overview of the H.

Frame & Field PAFF: pictureadaptive frame/field coding (odd/even fields) MBAFF: macroblockadaptive frame/field coding

6 . NAL: Network Abstraction. NAL: Network Abstraction Inband signaling (e.g. by RTP) Sequence / Picture Parameter set (SPS & PPS) Slices H. フレーム MP ファイル RTP パケット MPEG TS パケット Outband signaling (e.g. by TCP) T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul... Frame & Field. Frame & Field PAFF: pictureadaptive frame/field coding (odd/even fields) MBAFF: macroblockadaptive frame/field coding (top/bottom MBs) T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul... Slice H.6/AVC の符号化の基本単位 :. Slice Not using FMO (flexible macroblock ordering) sing FMO (flexible macroblock ordering) Slice groups ~ ROI (Region of Interest) T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. 6

7 Islice: Pslice: Bslice: SP/SIslice:. Slice I macroblock only I,P macroblocks I,P,B macroblocks (for bitstream switching). IntraFrame Prediction Intra_x encoded samples Prediction directions SPslice (A, AB, B) A A A A A AB ストリーム A から B への切り替え早送り等 : Islice よりも SPslice の方が効率がよい B B B B B x block to be predicted T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul... IntraFrame Prediction Intra_x: nine modes. IntraFrame Prediction Intra_6x6: four modes copy copy average Mode : vertical prediction Mode : horizontal prediction Mode : DC prediction Mode : plane prediction Modes ~ : diagonaldownleft, diagonaldownright, verticalright, horizontaldown, verticalleft, and horizontalup T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. 5. InterFrame Prediction Macroblock partitioning (for variable blocksize MC) 5. InterFrame Prediction Quarterpel accuracy motion compensation /pel accuracy: 6tap FIR b ( E 5F + G + H 5I + J ) b ( b + 6) >> 5 h ( A 5C + G + M 5R + T ) h ( h + 6) >> 5 j ( cc 5dd + h + m 5ee + ff ) j ( j + 5) >> Maximally 6 motion vectors (x case) T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. pixel /pel accuracy: tap FIR a ( G + b + ) >> e ( b + h + ) >> T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. 7

5. InterFrame Prediction Multiframe (multireference) motion compensation 5.

reference pictures Direct prediction: MV prediction and no overhead transmission T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. M.Flierl et al: Generalized BPictures and the Draft H.

8 5. InterFrame Prediction Multiframe (multireference) motion compensation 5. InterFrame Prediction Bslices: generalized Bpictures Applied to Pslices and Bslices PSkip mode BSkip mode List prediction + no coefficients List prediction Bipredictive prediction: using two reference pictures Direct prediction: MV prediction and no overhead transmission T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. M.Flierl et al: Generalized BPictures and the Draft H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. x integer transform H x 6. Transform a b b a H DCT (x) b a a b π π a cos.6, b cos.5 6bit integer arithmetic G x 5.dB for ρ.9 G DCT 5.9dB for ρ.9 ( x) H.S.Malvar et al: LowComplexity Transform an Quantization in H.6/AVC, IEEE CSVT, Jul.. 7. Entropy Coding expgolomb code: for syntax elements except quantized transform coefficients syntax code elements ExpGolomb code: L { xx L x prefix separator suffix 5,,, L 6 7 M M T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. 7. Entropy Coding CAVLC: contextadaptive variable length coding (for quantized transform coefficients) 7. Entropy Coding CABAC: contextadaptive binary arithmetic coding (for quantized transform coefficients) 7 6 (6 coefficients) N 5: number of nonzero quantized coefficients Ts : number of ± at the end of scan (trailing s) sign flag + : sign of Ts coefficient values in reverse order 6 7 total zeros : number of zeros before the last nonzero run before, : how total zeros are distributed in reverse order Binarization: 多値二値変換 Context modeling: 確率モデル更新適応 Binary arithmetic coding vs CAVLC の改善効果 Contextadaptive: 過去の符号化結果に応じて適応的に VLC table を切替える T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. D.Marpe et al: ContextBased Adaptive Binary Arithmetic Coding, IEEE CSVT, Jul..

List et al: Adaptive Deblocking Filter, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.

9 . InLoop Deblocking Filter block boundary ブロックひずみとエッジをどのように区別するか? p q < α( QP) p p < β ( QP) q q < β ( QP) ならばフィルタリングを実行する QP: Quantization Parameter (~5) H.6/AVC Evolution Foreman e.g. α β QP /6 ( QP). ( ) ( QP).5 QP 7 ' p ( p + p + p + q + q )/ ' p ( p + p + p + q )/ ' p ( p + p + p + p + q )/ conventional H.6/AVC P.List et al: Adaptive Deblocking Filter, IEEE CSVT, Jul.. T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. H.6/AVC Evolution Tempete 圧縮効率の改善効果 ( 非公式 ) 手法効果 CABAC ~5% 可変ブロック動き補償 ~5% Integer 変換 ~5% 複数参照ピクチャ ~5% RD 最適化 ( 次回 ) ~5% 総計 % 以上 T.Wiegand et al: Overview of the H.6/AVC Video Coding Standard, IEEE CSVT, Jul.. 9

ｽﾗｲﾄﾞﾀｲﾄﾙなし

ｽﾗｲﾄﾞﾀｲﾄﾙなし (1) - E-Mail: katto@waseda.jp Y U V R G B (1/30 ) RGB / YUV = B G R V U Y 0.31 0.52 0.21 0.32 0.28 0.60 0.11 0.59 0.30 RGB YUV CCIR 601 4:4:4 4:2:2 4:2:0 Y Y Y U V U V U V YUVUV UV 4:2:0 4:2:2 (RGB8 )