1601_R&D 報告01（3校）.indd

Size: px

Start display at page:

Download "1601_R&D 報告01（3校）.indd"

かおりつちた
5 years ago
Views:

1 01 8K 放送に向けた HEVC/H.265 符号化復号装置の開発と伝送実験杉藤泰子井口和久市ヶ谷敦郎千田和博境田慎一 Development of HEVC/H.265 Codec System and Transmission Experiments Aimed at 8K Broadcasting Yasuko SUGITO, Kazuhisa IGUCHI, Atsuro ICHIGAYA, Kazuhiro CHIDA and Shinichi SAKAIDA 要約 ABSTRACT 本稿では, 世界初となる 8K 放送規格準拠の符号化復号装置と, この装置を用いて実施した放送衛星による伝送実験について紹介する 8Kスーパーハイビジョン (8K) は, 臨場感の高い8K 映像と22.2マルチチャンネル音響を提供する次世代の放送システムである日本では,8K 放送の国内規格が2014 年に策定され,2016 年には試験放送の開始が予定されている当所では, この国内規格に準拠した HEVC(High Efficiency Video Coding)/ H.265 方式による 8K 符号化復号装置を開発した本稿では, はじめに 8K 放送の特徴とロードマップについて説明し, 次に今回開発した 8K HEVC/H.265 符号化復号装置の技術内容を紹介するまた, この装置を用いて実施した放送衛星による伝送実験について述べるこの実験の結果より, 開発した装置は, 試験放送で想定されるビットレートで,8K 信号を高品質に伝送できることが確認できた This report introduces the world s first video and audio codec system that complies with 8K broadcasting standards and describes transmission experiments via a broadcasting satellite using this system. 8K Super Hi- Vision (8K) is a broadcasting system capable of highly realistic 8K video and 22.2 multichannel audio. In Japan, domestic standards for 8K broadcasting were formulated in 2014 and 8K test broadcasting will begin in We have developed an 8K High Efficiency Video Coding (HEVC)/H.265 codec system that complies with the domestic standards. In this report, we first explain the features and a roadmap for 8K broadcasting. We then introduce the features of the 8K HEVC/H.265 codec system developed. Finally, we describe transmission experiments using a satellite system that is equivalent to the one that will be used in test broadcasting. The results allowed us to confirm that the developed system provides high-quality transmission at the expected bit rate during test broadcasting. 22 NHK 技研 R&D/No.155/2016.1

2 報告 01 1 表 8K スーパーハイビジョンと現行の 2K 衛星デジタル放送のパラメーター 8K スーパーハイビジョン 2K 衛星デジタル放送空間解像度 ( 横縦の画素数 ) 7,680 4,320 1,920 1,080 アスペクト比 16:9 16:9 映像画面走査方式プログレッシブインターレースフレーム周波数 (Hz) 120, 120/1.001, 60, 60/ /1.001 量子化ビット数 (bit) 10, 12 8 色域 Rec.2020 Rec.709 チャンネル数 (ch) 22.2 最大 5.1 音声サンプリング周波数 (khz) 48, 96( オプション ) 32, 44.1, 48 量子化ビット数 (bit) 16, 20, 以上 1. まえがき現在, 次世代の放送システムとして, 臨場感の高い 8K 映像と22.2マルチチャンネル ( 以下,22.2ch) 音響を提供する8Kスーパーハイビジョン ( 以下,8K) の開発が進められている日本では,2014 年に8K 放送のための国内規格が策定され,2016 年には放送衛星による8K 試験放送が開始される予定である 8K 放送を実現するためには, 映像の品質を保ちながら, 映像データを衛星放送で伝送可能な容量にまで圧縮することが必要である上記の国内規格においては,8K 放送を実現するための映像符号化, 音声符号化, 多重化, 伝送方式などが規定されている一方,ISO/IEC( 国際標準化機構 / 国際電気標準会議 ) およびITU-T( 国際電気通信連合電気通信標準化部門 ) において,2013 年に新たな映像符号化方式 MPEG-H HEVC/H.265 1) ( 以下,HEVC) が標準化された HEVCは8Kの映像フォーマットに対応しており, 従来方式であるMPEG-4 AVC(Advanced Video Coding)/H.264( 以下,AVC) の約 2 倍の圧縮性能を持つ HEVCは, 特に8Kのような高解像度の映像で, 従来方式と比較して符号化性能を大幅に改善することができるその一方で,HEVCの符号化復号処理の演算量は大きく,AVCの2 倍を上回るとされているこのため,HEVCの符号化復号処理をリアルタイムに行うことは, 従来は困難とされていた当所では,8K 放送規格に準拠したHEVC/H.265リアルタイム符号化復号装置を世界で初めて開発したこの装置は,22.2ch 音声符号化復号装置と映像音声多重化機能を包含しており, これらの機能は映像符号化復号装置に一体化されている本装置を用いて,2015 年に放送衛星による伝送実験を行った本稿では, まず8K 放送の特徴とロードマップについて説明し, 開発した8K HEVC/H.265 符号化復号装置の技術内容を紹介するさらに, この装置を用いて実施した放送衛星による伝送実験について報告する 2.8K 放送の概要 2.1 8Kのパラメーター 8Kは, 高臨場感の8K 映像と22.2ch 音声を提供する次世代の放送システムである 1 表に8Kと現行の2K 衛星デジタル放送 ( 以下, 現行の衛星放送 ) とのパラメーターの比較を示す 8Kの映像音声パラメーターは, 現行の衛星放送に比べて, 忠実度が非常に高いものとなっている 8Kの映像フォーマットはITU-R 勧告 BT ) として国際標準化されているこのフォーマットは, 水平方向の画素数が7,680( 約 8,000) であることから 8K と呼ばれている (Kはキロ,1,000 倍を表す ) 非圧縮の8K 映像信号 ( 色差フォーマット 4:4:4, 量子化ビット数 12bit, フレーム周波数 60Hz) のビットレートは約 72Gbpsである 22.2ch 音声はSMPTE(Society of Motion Picture and Television Engineers) ) として国際標準化されている非圧縮の22.2ch 音声信号 ( サンプリング周波数 48kHz, 量子化ビット数 24bit) のビットレートは約 25Mbpsである非圧縮の8K 映像はビットレートが非常に高いため, 8K 放送においては, 映像を高品質なまま800 分の1 程度のデータ量に圧縮することが重要となる 2.2 8K 放送のロードマップ総務省が主導する官民の協議会は,2014 年に8K 放送のロードマップに関する中間報告を公表した 4) このロードマップによると,2016 年に8K 試験放送が開始さ NHK 技研 R&D/No.155/

8K 映像 /22.2ch 音声符号化システム 8K 映像 /22.2ch 音声復号システム符号化装置復号装置 1 図 8K HEVC/H.265 符号化復号システム 2 表 8K HEVC/H.265 符号化復号装置の仕様符号化方式 MPEG-H HEVC / H.265 映像空間解像度 / フレーム周波数 7,680 4,320 / 59.

2ch 48kHz / 24bit 入出力インターフェース MADI 3 (AES10 4 ) 多重化多重化方式 MPEG-H MMT 5 入出力インターフェース RJ-45 6 1 1 Serial Digital Interface 3 Multichannel Audio Digital Interface 5 MPEG Media Transport 2 Advanced Audio

3 8K 映像 /22.2ch 音声符号化システム 8K 映像 /22.2ch 音声復号システム符号化装置復号装置 1 図 8K HEVC/H.265 符号化復号システム 2 表 8K HEVC/H.265 符号化復号装置の仕様符号化方式 MPEG-H HEVC / H.265 映像空間解像度 / フレーム周波数 7,680 4,320 / 59.94P 色差フォーマット / 量子化ビット数 4:2:0 / 10bit 入出力インターフェース 3G-SDI 1 17 音声符号化方式入出力チャンネル数サンプリング周波数 / 量子化ビット数 MPEG-4 AAC 2 LC(Low Complexity) 22.2ch 48kHz / 24bit 入出力インターフェース MADI 3 (AES10 4 ) 多重化多重化方式 MPEG-H MMT 5 入出力インターフェース RJ Serial Digital Interface 3 Multichannel Audio Digital Interface 5 MPEG Media Transport 2 Advanced Audio Coding 4 Audio Engineering Society 10 6 Registered Jack 45 れ,2018 年には8K 実用放送が開始される予定であるこれらの放送では, 放送衛星の使用が前提となっているさらに, 東京オリンピックパラリンピックが開催される2020 年には,8K 放送の本格的な普及が期待されており, 目指す姿として, 多くの視聴者が市販のテレビで8K 番組を楽しんでいることが挙げられている 3.8K HEVC/H.265 符号化復号装置当所では, 世界初となる8K 放送規格準拠のHEVC/ H.265 符号化復号装置を開発した 1 図に8K HEVC/H.265 符号化復号システムの外観を示す本システムは, 映像音声データを圧縮する符号化装置, 圧縮された映像音声データを復号する復号装置, 符号化装置の入力信号および復号装置の出力信号を変換する装置から構成されている符号化装置は 2013 年に 5), 復号装置は2015 年に開発した 2 表に8K HEVC/H.265 符号化復号装置の仕様を示す本章では, この符号化復号装置の特徴を紹介する 3.1 8K 映像のリアルタイムHEVC 符号化復号処理 8K HEVC/H.265 符号化復号装置は, 演算量が膨大な8K 映像のHEVC 符号化復号処理をリアルタイムに行うことができる 2 図に符号化装置の構成を示す符号化装置においては, リアルタイム処理を実現するために, 映像の各フレームは空間的に17 分割され, 各分割領域は並列に符号化される符号化装置は17 枚の符号化基板から構成される各符号化基板は1つの分割領域 24 NHK 技研 R&D/No.155/2016.1

4 報告 01 2 図 8K HEVC/H.265 符号化装置の構成を処理し, 隣り合う基板と符号化に必要な動きの情報を共有するこの分割方法は, 符号化基板間での情報の伝送量,3G-SDIインターフェースの有効画素数, 水平方向の動き探索範囲を広くとれる方が符号化効率が良いことを考慮して決定した本符号化復号装置は, 映像符号化方式としてHEVC を採用している前述のように,HEVCは2013 年に国際標準化された最新の映像符号化方式であるその符号化性能は従来方式に比べて向上しており, 特に8Kのような高解像度映像で顕著であるこれは,HEVCが従来方式に比べてより多くの符号化モードを備えるためであるその反面, 多くの符号化モードから最適なものを選択することが,HEVCのリアルタイム処理を行う上での課題となっているこの課題を解決するために, 符号化装置では, 原画像の複雑度, 符号化結果, ビットレート設定に応じて, 符号化パラメーターを決定している 2015 年に開発した復号装置も, 符号化装置と同様の構成となっている復号装置は17 枚の復号基板で構成され, 各復号基板は映像フレームの1つの分割領域を並列に処理している 3.2 音声符号化復号装置と多重化機能本符号化復号装置は,MPEG-4 AAC(Advanced 6) Audio Coding) 方式による22.2ch 音声符号化復号装置と, 圧縮した映像音声データを束ねて伝送するためのMPEG-H MMT 7) (MPEG Media Transport) 方式による多重化多重分離機能を包含している 2 図に示すように, 音声符号化装置は1 枚の基板に実装されており,8K HEVC/H.265 符号化装置に組み込まれている音声復号装置も同様に1 枚の基板で構成されている多重化機能は,8K HEVC/H.265 符号化装置の制御基板の一機能として実装されているこの制御基板は, 映像音声符号化基板から出力される符号化データを束ねてMMT 形式で出力する受信側では,MMT 形式のデータを解釈して映像音声復号基板に分配するための多重分離機能が,8K HEVC/H.265 復号装置の制御基板に組み込まれている 3.3 国内の8K 放送規格への準拠開発した符号化復号装置は, 国内の8K 放送規格に準拠している 8K 放送のための規格は,2014 年にARIB (Association of Radio Industries and Businesses: 電波産業会 ) で策定されたこの規格では, 映像符号化, 音声符号化, 多重化, 伝送方式などが規定されている開発した符号化復号装置の映像符号化, 音声符号化, 多重化の方式は,2014 年 12 月に改定されたARIB STD-B32 NHK 技研 R&D/No.155/

5 3 図 ARIB 規格に準拠した符号化装置の画面分割方法受信側送信側 4 図 8K 衛星放送実験の展示会場 3.1 版 ( 以下,ARIB 規格 ) に準拠している ARIB 規格で規定された8K 映像符号化の処理方法に準拠させるために,8K HEVC/H.265 符号化装置を改修した 3 図に,ARIB 規格に準拠した符号化装置の画面分割方法を示す ARIB 規格では,8K 映像符号化処理において, 各フレームの4 分割 ( 水平方向は7,680 画素 ) を必須としている画面の上から3つの分割領域では垂直方向が1,088 画素であり,4つ目の分割領域では1,056 画素である (3 図 ) ARIB 規格では, この4 分割領域の内部を再分割することを許容しているため,3 図に示すように,4 分割領域の内部を既存の17 分割に沿って再分割するように改修したまた, 符号化装置の動き探索範囲やパラメーターなどをARIB 規格に準拠するように変更した 4.8K 衛星放送実験開発した8K HEVC/H.265 符号化復号装置を使用して, 世界初となる放送衛星による伝送実験 ( 以下,8K 衛星放送実験 ) を行ったこの実験は,2015 年 5 月のNHK 3 表 8K 衛星放送実験における映像音声のビットレート設定と圧縮率圧縮ビットレート非圧縮ビットレート圧縮率 ( 倍 ) 映像 85 Mbps 72 Gbps 840 音声 1.4 Mbps 25 Mbps 20 技研公開で展示された 8) 4 図に8K 衛星放送実験の展示会場の写真を示す本展示では, 送信側と受信側の装置を同じ場所に設置した 4.1 8K 衛星放送実験システム 5 図に8K 衛星放送実験システムの系統図を示す (1) 送信側本実験システムでは, 非圧縮の映像音声信号が信号源 ( 記録装置や, カメラとマイクロホン ) から出力される符号化装置は, 映像音声信号を伝送可能なビットレートに圧縮し, 圧縮データをMMT 形式で出力する 3 表に映像音声のビットレート設定と圧縮率を示す 8K 放送における映像音声のビットレートは検討中であるが, 本実験においては, 放送衛星の伝送容量とデータ放送や伝送ヘッダーの容量を勘案して設定した本シ 26 NHK 技研 R&D/No.155/2016.1

6 報告 01 5 図 8K 衛星放送実験システムの系統図ステムにおける非圧縮の映像音声フォーマットはそれぞれ8K/4:4:4( 色差フォーマット )/59.94Hz( フレーム周波数 )/12bit( 量子化ビット数 ),22.2ch/48kHz( サンプリング周波数 )/24bit( 量子化ビット数 ) である HEVC 方式を採用しているため, 映像の圧縮率は約 840 倍と非常に高くなっている映像音声の圧縮データと字幕データはMMT 多重化装置によって束ねられ, スクランブル装置で暗号化される暗号化データは, 伝送路に適合させるため100Mbps を超えないように制限され, 変調装置とアンテナを介して放送衛星に伝送される以上で説明した送信側の装置は, 通常は放送局内に設置されるテレビ放送の伝送においては, 映像データの容量が支配的である非圧縮 8K 映像のビットレートは72Gbps と非常に大きな値となっている本実験システムでは, HEVC 方式の採用と伝送方式の改善によって8K 伝送を実現している HEVCの圧縮性能は, 現行の衛星放送で使用されているMPEG-2の約 4 倍であるまた, 本実験で使用した放送衛星は, 現行の衛星放送で使用されている衛星と同じであるが, 伝送方式の改善によって, 現行の衛星放送の約 2 倍 ( 約 100Mbps) のデータを伝送することができる 9) この衛星伝送方式は,2014 年に改定されたARIB STD-B 版で規格化されている本実験で使用した放送衛星は,2016 年の8K 試験放送においても使用される予定である (2) 受信側 5 図に示すように, 放送衛星から伝送されたデータは, アンテナを介して復調装置で受信され, デスクランブル装置で復号される MMT 多重分離装置は, 復号されたデータを字幕データと映像音声の圧縮データに区切って分配する映像音声の圧縮データは, 復号装置によって非圧縮形式のデータに復号され, 字幕が映像に合成される 6 図に, 展示に使用した8Kモニターを示す 6 図の受信映像においては, 復号された映像の下部と右上に, 字幕が合成されているモニターの周囲には12 個の小型スピーカーから構成される枠型スピーカーが取り付けられており,22.2ch 音声を再現する 10) 受信側は以上の装置から構成されており,2020 年までには, 同等の機能を備える受信機が家庭へ導入可能となる予定である 4.2 8K 衛星放送実験の結果前節で述べた,ARIB 規格に準拠した映像符号化, 音声符号化, 多重化, 伝送方式による実験システムを用 NHK 技研 R&D/No.155/

6 図 8K モニター枠型スピーカーいて,8Kの伝送実験を行ったその結果,8K 映像と 22.2ch 音声が正しく符号化, 伝送, 復号されていること, 開発した装置が8K 試験放送で想定されるビットレートで高品質な映像と音声を伝送可能であることが確認できた非圧縮映像入力と復号映像出力との遅延時間を計測した結果, 約 3.5 秒であった 5.

7 6 図 8K モニター枠型スピーカーいて,8Kの伝送実験を行ったその結果,8K 映像と 22.2ch 音声が正しく符号化, 伝送, 復号されていること, 開発した装置が8K 試験放送で想定されるビットレートで高品質な映像と音声を伝送可能であることが確認できた非圧縮映像入力と復号映像出力との遅延時間を計測した結果, 約 3.5 秒であった 5. むすび国内の8K 放送規格に準拠したHEVC/H.265 符号化復号装置を開発し, 放送衛星による伝送実験を行った実験結果より, 開発した符号化復号装置は8K 放送に適用できることが確認できたなお,8K HEVC/H.265 符号化復号装置の開発は, 三菱電機 ( 株 ) と共同で行った本稿は,IBC2015 Conferenceに投稿した以下の論文を元に加筆修正したものである Y. Sugito, K. Iguchi, A. Ichigaya, K. Chida, S. Sakaida, H. Sakate, Y. Matsuda, Y. Kawahata and N. Motoyama: HEVC/H.265 Codec System and Transmission Experiments Aimed at 8K Broadcasting, The Best of IET and IBC ,Vol.7,pp.24-29(2015) 28 NHK 技研 R&D/No.155/2016.1

報告 01 参考文献 1)ISO/IEC 23008-2, High Efficiency Coding and Media Delivery in Heterogeneous Environments - Part 2: High Efficiency Video Coding Rec. ITU-T H.

2020-1, Parameter Values for Ultra-high Definition Television Systems for Production and International Programme Exchange (2014) 3)SMPTE 2036-2-2008, Ultra High Definition

pdf 5)Y. Sugito, K. Iguchi, A. Ichigaya, K. Chida, S. Sakaida, Y.Shishikui, H. Sakate, T. Itsui, N. Motoyama and S. Sekiguchi: Development of the Super Hi-Vision HEVC/H.

1-16(2013) 6)ISO/IEC 14496-3:2009/Amd 4, Coding of Audio-visual Objects - Part3:Audio (2013) 7)ISO/IEC 23008-1, High Efficiency Coding and Media Delivery in Heterogeneous

Tanaka, T. Ikeda and N. Okumura: Transmission System for 8K Super Hi-Vision Satellite Broadcasting, IBC2014 Conference, p.8.4(2014) 10) 松井 : 家庭用 22.2マルチチャンネル音響再生システム, NHK 技研 R&D,No.

8 報告 01 参考文献 1)ISO/IEC , High Efficiency Coding and Media Delivery in Heterogeneous Environments - Part 2: High Efficiency Video Coding Rec. ITU-T H.265, High Efficiency Video Coding (2013) 2)Rec. ITU-R BT , Parameter Values for Ultra-high Definition Television Systems for Production and International Programme Exchange (2014) 3)SMPTE , Ultra High Definition Television Audio Characteristics and Audio Channel Mapping for Program Production (2008) 4) 総務省 : 4K 8Kロードマップに関するフォローアップ会合中間報告, content/ pdf 5)Y. Sugito, K. Iguchi, A. Ichigaya, K. Chida, S. Sakaida, Y.Shishikui, H. Sakate, T. Itsui, N. Motoyama and S. Sekiguchi: Development of the Super Hi-Vision HEVC/H.265 Realtime Encoder, SMPTE Conf. Proc., Vol.2013, No.10, pp.1-16(2013) 6)ISO/IEC :2009/Amd 4, Coding of Audio-visual Objects - Part3:Audio (2013) 7)ISO/IEC , High Efficiency Coding and Media Delivery in Heterogeneous Environments - Part 1: MPEG Media Transport (MMT) (2014) 8) 8K 衛星放送実験, 9)Y. Suzuki, K. Tsuchida, Y. Matsusaki, A. Hashimoto, S. Tanaka, T. Ikeda and N. Okumura: Transmission System for 8K Super Hi-Vision Satellite Broadcasting, IBC2014 Conference, p.8.4(2014) 10) 松井 : 家庭用 22.2マルチチャンネル音響再生システム, NHK 技研 R&D,No.148,pp.45-54(2014) すぎとう杉やすこ藤泰子い井ぐち口かずひさ和久 2010 年入局同年から放送技術研究所において, 映像符号化の研究に従事現在, 放送技術研究所テレビ方式研究部に所属 1993 年入局同年から放送技術研究所において, ハイビジョン方式変換, シーン記述, 映像符号化の研究に従事現在, 放送技術研究所テレビ方式研究部主任研究員いちがや市ヶ谷あつろう敦郎ちだ千田かずひろ和博 1998 年入局名古屋放送局を経て,2000 年から放送技術研究所において, 映像符号化の研究に従事現在, 放送技術研究所テレビ方式研究部上級研究員 2009 年入局帯広放送局を経て,2012 年から放送技術研究所において, 映像符号化の研究に従事現在, 放送技術研究所テレビ方式研究部に所属さかいだしんいち境田慎一 1991 年入局同年から放送技術研究所において, 映像符号化, 画像処理の研究に従事現在, 放送技術研究所テレビ方式研究部上級研究員博士 ( 工学 ) NHK 技研 R&D/No.155/

1601_R&D 解説01（4校）.indd

1601_R&D 解説01（4校）.indd 01 映像符号化技術の標準化動向市ヶ谷敦郎 1970 年代末に開発されたDCT(Discrete Cosine Transform: 離散コサイン変換 ) とハフマン符号化技術を用いて,1980 年代から1990 年代にかけて, 静止画像用の符号化方式であるJPEGの標準化が行われたその技術は, 複数枚の静止画像の集合である動画像信号に拡張され, デジタル方式の映像符号化方式として H.261およびMPEG-1が,