映像ソリューション向けメディア処理技術

Size: px

Start display at page:

Download "映像ソリューション向けメディア処理技術"

うきえみのしま
4 years ago
Views:

Media Processing Technologies for Audio-Visual Solutions あらまし富士通研究所では, 富士通が展開する映像ソリューションの基盤となる, オーディオ / ビデオなどのメディア符号化に関する高品質化技術と,

1チャネル音声に対応し, 原音と差異のない高音質性能を実現するAAC(Advanced Audio Coding) 圧縮技術を紹介するつぎにビデオ符号化技術として,H.

共通インタフェースによるマルチコーデックへの迅速な対応を特長とする高速トランスコードシステムを紹介する Abstract Fujitsu Laboratories Ltd.

technologies required to develop solutions using these technologies. In this paper, we describe some of the latest results being used in Fujitsu products.

1-channel audio that is subjectively indistinguishable from the original audio signal. Then, we discuss an H.

1 Media Processing Technologies for Audio-Visual Solutions あらまし富士通研究所では, 富士通が展開する映像ソリューションの基盤となる, オーディオ / ビデオなどのメディア符号化に関する高品質化技術と, これらの技術をソリューションとして展開するためのシステム化技術の研究開発を行っている本稿では, 富士通の製品に適用された最新成果を紹介するまずオーディオ符号化技術として,5.1チャネル音声に対応し, 原音と差異のない高音質性能を実現するAAC(Advanced Audio Coding) 圧縮技術を紹介するつぎにビデオ符号化技術として,H.264 MPEG-4 AVCにおいて, 放送の生中継への適用を目的として, 世界最高水準である300 msの映像伝送の低遅延化を実現した技術を紹介する最後に, システム化技術として, 並列処理による高速化と, 共通インタフェースによるマルチコーデックへの迅速な対応を特長とする高速トランスコードシステムを紹介する Abstract Fujitsu Laboratories Ltd. has been developing underlying technologies for Fujitsu s audiovisual solutions to improve the quality of audio-video coding, along with related system technologies required to develop solutions using these technologies. In this paper, we describe some of the latest results being used in Fujitsu products. We first introduce a high-performance Advanced Audio Coding (AAC) compression technology for 5.1-channel audio that is subjectively indistinguishable from the original audio signal. Then, we discuss an H.264/MPEG-4 AVCcompliant video coding technology for live broadcasting that achieves market-leading end-to-end video-transfer latency of 300 ms. Finally, we introduce a high-speed transcoding system that achieves its high speed through parallel processing and supports multiple coding standards via a common programming interface. 鈴木政直 ( すずきまさなお ) 画像バイオメトリクス研究センター所属現在, 音声符号化方式, 実現技術, 応用の研究開発に従事数井君彦 ( かずいきみひこ ) 画像バイオメトリクス研究センター所属現在, 動画像符号化方式の研究開発に従事此島真喜子 ( このしままきこ ) 画像バイオメトリクス研究センター所属現在, 映像配信システムの研究開発に従事 104 FUJITSU. 60, 1, p (01, 2009)

2 まえがき 2011 年に予定されるアナログ放送の終了を背景に, 地上デジタル放送への移行が進んでいる一方, 有線, 無線網のブロードバンド化, 端末の高性能化に伴い,YouTube などインターネット上の動画共有サービスや, アクトビラ, 地上デジタル放送のIP 再送信などの映像配信サービスが年々増加している富士通研究所では, 今後ますます需要が高まる, オーディオ, ビデオのメディア符号化の要素技術, およびシステム化技術の研究開発を行っている本稿では, 製品化された最新の成果として, オーディオでは高音質 AAC ( Advanced Audio Coding) 符号化技術, ビデオでは映像伝送の低遅延化技術, システム化では符号化方式を実時間の 1/nで高速変換するトランスコードシステムについて述べるオーディオ符号化技術映像配信サービスでは, 従来のステレオよりも臨場感に優れた5.1チャネル音声のコンテンツが増加しており,5.1チャネル音声を高音質に圧縮できるオーディオ符号化技術への需要が高まっている国際標準化団体 ISO/IEC ( International Organization for Standardization/International Electrotechnical Commission) では, マルチメディア専門家グループであるMPEG(Moving Picture Experts Group) において,5.1チャネル音声に対応したオーディオ符号化方式としてMPEG-2 AAC (1) ( 以下,AAC) を標準化した AACは, 日本の地上 / 衛星 /IPデジタル放送規格(2) やアクトビラなどに採用されているただし,ISO/IECではAACのデータ形式とデコード方式のみを規格化し, エンコード方式を規定していないこのため, エンコード技術の優劣がコンテンツの音質を左右する重要なかぎとなっている本章では, 富士通が提供するBroadsight, FENICS IP ビデオ配信サービスなどの映像ソリューションに採用された5.1チャネルAACエンコード技術について述べる本技術は, 独自の圧縮技術により, 低ビットレートで原音に近い音質を実現する開発技術の仕様開発したAACエンコード技術の仕様を表 -1に示す本技術はMPEG-2 規格に準拠しているサンプリング周波数は24 khzと48 khzに対応し, モノラルから5.1サラウンドまでの幅広い音声チャネル数に対応する課題 5.1チャネル音声は, 映画やDVDでも採用されており, 前方 3チャネル, 後方 2チャネルおよび低域効果用の1チャネル (0.1と表記する) の計 6 個の音声チャネルで再生するため, 従来のステレオに比べて, 音の広がりや重低音の表現力が優れている AACは,5チャネル音声に対して320 kbpsで原音に近い音質を実現することを目標として標準化されているが, 日本のデジタル放送では, 実質 6チャネル分の情報量を持つ5.1チャネル音声に対して, 同じ 320 kbpsの低ビットレート条件で符号化するため, 音質に関して以下の問題がある (1) 各チャネルの情報量配分の問題多くの情報を必要とする音を少ない情報量 ( ビットレート ) で符号化すると音質が劣化するとくに,5.1 チャネル音声では,1チャネルあたりの情報量が少ないため, 各チャネルの情報量を固定値とすると, 符号化に多くの情報量が必要なチャネルでは音質が劣化し, 逆に少ない情報量で十分なチャネルでは情報量が無駄に使用されるしたがって, 入力信号の性質に応じて各チャネルの情報量を決定する必要がある (2) アタック音の符号化効率の問題アタック音 ( 打楽器などの音 ) は, 定常音に比べて符号化に必要な情報量が多くなる複数のチャネルにアタック音が存在すると,5.1チャネル全体の情報量が目標値を超える可能性が増え, 単純な情報量の削減ではアタック音の音質が劣化するしたがって, アタック音の符号化効率を改善する必要がある表 -1 開発した AAC エンコード技術の仕様符号化方式準拠規格出力形式サンプリング周波数チャネル数ビットレート MPEG-2 AAC ISO/IEC ,ARIB STD-B32 ADTS(Audio Data Transport Stream) 形式 24 khz,48 khz モノラル, ステレオ, デュアルモノラル, 5.1サラウンド 32~384 kbps FUJITSU. 60, 1, (01, 2009) 105

3 特長 (1) 情報量配分技術の改良による音質向上独自の心理聴覚分析技術により, 聴覚特性を考慮して入力音の複雑度を算出し, 複雑度に基づいて各チャネルの情報量を決定するつまり, 複雑度が大きいチャネルには多くの情報量が必要と判定して符号化のための情報量を多く割り当て, 複雑度が小さいチャネルには割り当てる情報量を少なくすることにより, 合計の情報量を変えずに音質を向上した (2) アタック音の音質向上主観的に重要なアタック音の近傍では時間分解能を細かく ( 情報量を多く ) して符号化し, アタック音の近傍以外では時間分解能を粗く ( 情報量を少なく ) することにより, 全体の情報量を増やさずにアタック音の音質を向上した音質評価結果開発方式の音質をMUSHRA(MUlti Stimulus test with Hidden Reference and Anchor) (3) 法により評価した MUSHRA 法は, 原音と符号化音を聞き比べ, 各符号化音の音質を0( 非常に悪い ) ~100( 非常に良い ) の範囲で評価する方法である評価音として, 打楽器, 映画, 交響楽, ポップスなどの10 種類の5.1チャネル音源 ( サンプリング周波数 48 khz) を用い, 開発方式のビットレートは320 kbpsとした音楽の専門家 24 名による評価結果を図 -1に示すこの結果より, 開発方式は,320 kbpsの低ビットレート条件で, 原音に対して統計的な有意差がなく, ほぼ同等の音質であることを確認した 95% 信頼度区間図 -1 音質評価結果 Fig.1-Listening test result for AAC encoder compared with original signal(not compressed). まとめと今後の展開富士通が提供するBroadsight,FENICS IPビデオ配信サービスなどの映像ソリューションに採用された,5.1チャネルAACエンコード技術について述べた開発方式は,320 kbpsの低ビットレート条件で原音に近い高音質を提供できる今後は, さらなる高音質化を図っていく予定であるビデオ符号化における低遅延化技術 H.264 MPEG-4 AVC (4),(5) ( 以下,H.264/AVC) は,ITU-T(International Telecommunication Union Telecommunication Standardization Sector ) と ISO/IECが共同で策定した最新の映像圧縮の国際標準で, その高い圧縮率と高画質性を生かし, モバイルからブロードバンドまでの通信や放送などに幅広く利用されている富士通は早期からH.264/AVC の研究開発 (6) を行っており, その成果を応用し,2006 年にリアルタイム映像伝送装置 IP-9500を発表した IP-9500は, その高画質性が国内外の放送局に高く評価され, 導入が進められている放送局での利用シーンは, 局間の素材伝送のほかに, リアルタイム性が必要な衛星回線を利用した取材先からの生中継,IP 網を利用した遠隔地の天気カメラや河川監視カメラ映像の収集蓄積にも広がっているリアルタイム伝送を実現するためには, カメラ入力から符号化, 復号, 再生画像表示までに必要な時間 ( 以下, 遅延 ) を減らすことが非常に重要であるとくに生中継では, スタジオと現場との掛け合いの際に, 違和感なく会話を行うためには遅延を300 ms ( ネットワーク伝送を含む場合は500 ms) 以下に抑える必要がある IP-9500は, 当初は高画質性を優先したため遅延が1 s 以上あったこのため,IP-9500を導入した放送局からは, 生中継向けの低遅延化が強く要望されていたそこでH.264/AVC の高画質性を維持しつつ低遅延化を実現する技術を開発した課題ビデオ符号化における遅延は主に, フレーム ( 動画像の各画面 ) ごとに変動する発生情報量に起因するビデオ符号化では一般的に, 圧縮効率を高めるために過去のフレームと現在のフレームの差分のみ 106 FUJITSU. 60, 1, (01, 2009)

4 を符号化するインターフレームと, ビットストリームを画像崩れを起こさずに途中から再生すること ( 再引込み ) を可能にするために現在のフレーム内情報のみで符号化するイントラフレームを用いるが, イントラフレームでの発生情報量は, インターフレームの数倍以上に大きくなり, 固定レートで伝送する場合, 数フレーム以上の時間がかかるすなわち, イントラフレームの符号化データは, すべてを受信復号表示するまでの遅延が大きくなり, リアルタイム伝送の課題であったイントラスライス方式の採用遅延を小さくするには, 各フレームの発生情報量を均一化するイントラスライス方式が有効であるイントラスライス方式の原理を図 -2に示す各フレームはインターフレームのみから構成されるイントラフレームを帯状に裁断化したイントラスライスを, インターフレームの中に巡回配置するこれにより, イントラフレームでの発生情報量が一巡時間 ( イントラスライス周期 ) の中に分散され, 各フレームの発生情報量が均一になるその結果, 300 msの遅延を達成した H.264/AVCへの適用イントラスライス方式をH.264/AVC に適用する場合, 二つの課題がある (1) 再引込みの保証再引込みを確実に行うために, 現在のフレーム ( 例図 -2のフレーム3) を差分符号化する際, 過去のフレーム ( 同, フレーム2) 中の, イントラスライスが巡回済みで画像崩れのない領域, 具体的にはイントラスライスとその上側の領域 ( 同, フレーム 2の太枠内 ) のみを使用する制御にしたさらに, 画質向上のために適用する画面内フィルイントラスライスインターフレームフレームイントラスライス周期図 -2 イントラスライス方式の原理 Fig.2-Principle of Intra-Slice technique. 時間タで, イントラスライスが巡回しておらず画像崩れの可能性がある領域, 具体的にはフレーム3の太線より下のデータを処理に用いないことで画像崩れの影響がイントラスライス巡回済みの領域に波及することを防いだ (2) イントラスライス適用時の画質改善 H.264/AVC では, イントラフレームの画質と, インターフレームの画質が異なるイントラスライス適用時には, フレーム内でイントラスライスとそれ以外の領域の間に画質の違いが発生し, 結果巡回するイントラスライスが知覚されてしまうこれを回避するために, 情報量割当てを工夫することで, 高画質化を実現した製品化と今後の展開本低遅延機能は,IP-9500に追加されお客様への提供を開始した 300 msという業界最高水準の低遅延が認められ, 衛星中継, ロードレース中継などで活躍している今後も, さらなる低遅延化, および画質改善を図っていく予定である高速トランスコードシステムハイビジョンから携帯電話まで, 様々な映像配信サービスが年々増加しており, 再生条件の異なるネットワークや端末への配信の需要が高まっている例えば, ユーザが投稿した様々な符号化方式の映像を即時に配信する場合, 映像を高速にトランスコード ( 符号化方式変換 ) する必要があるまた, 放送と比較して進化の速いネットワーク映像配信技術に対応し, かつSaaS(Software as a Service) などでトランスコードサービスを行う場合は, ソフトウェアで実現することが好ましい本章では, 一方式のファイルから他方式のファイルへの変換を対象とした, 汎用サーバで動作可能なソフトウェアによる高速トランスコードシステムについて述べる課題 (1) トランスコード処理の高速化高速化には一般的に並列処理が有効である並列処理には, 処理を分割する方法 ( 処理分割 ) とデータを分割する方法 ( データ分割 ) の2 種類があり, 処理分割による並列化では, トランスコード処理内において処理待ちが頻繁に発生し, 高速化が難しい FUJITSU. 60, 1, (01, 2009) 107

5 (2) 様々な方式間での変換処理お客様の幅広い要求仕様である複数の符号化方式に柔軟かつ迅速に対応する必要がある高速化への対応処理分割に対しデータ分割は, トランスコード処理において処理待ちが発生するのが, それぞれ分割したデータの処理完了時点であり, 高速化に有効であるそこで, 本システムでは, 変換元のファイルを同一時間長の複数の小ファイルに分割し, 複数台のサーバでそれぞれの小ファイルを処理する構成とした本システムの構成と処理方法を図 -3に示す (1) ファイルの分割と結合ビットストリームの途中からの復号を可能にするため, 現在のフレーム内情報のみで符号化するイントラフレームの先頭をファイル分割の区切りとした分割したファイルを独立してトランスコード処理した場合, 結合点において, 符号化による画質の劣化度合いが異なるために違和感が生じることが多いこのため, それぞれのサーバで互いに数秒のフレームを重複して処理し, 重複部分のビットストリーム解析と符号化条件の調整を行うことにより, 結合点前後の映像連続性を確保した (2) プログラム構造システム全体は, 各分割ファイルのトランスコード処理を行うスレーブスレッド ( 処理単位 ) と, 複数サーバ間の連携およびサーバ内で複数のスレーブスレッドを並列実行するマスタースレッドから構成されるマスタースレッドは, 使用可能なサーバ数, 各サーバのCPU 使用率に基づき, 各サーバで最適なスレッド数を動的に割り当てることにより, 柔軟な制御を実現している本システムのトランスコード処理性能を表 -2に示す MPEG-2のHDTV( i)3 分間のストリームをH.264/AVC に変換した場合であるサーバは富士通製 PRIMERGY RX200 S4(CPUは Xeon X 個で8 CPUコア,3.16 GHz) で, 1スレッドあたり2 CPUコアを使い, 富士通研究所作成の多重化, ビデオ, オーディオソフトウェアライブラリを用いて測定した本システムでは, サーバ3 台による並列処理で実時間の1/3.9での高速変換を達成しているトランスコード処理の全体制御ブロック変換元ファイルキャプチャ / 受信共通インタフェースを設定するコンポーネント多重化分離ビデオデコーダオーディオデコーダビデオ解像度変換オーディオサンプリング変換メタデータ変換ビデオエンコーダオーディオエンコーダ多重化出力送出変換後ファイル入力変換元のファイル直接参照またはコピートランスコード処理スレーブスレッド 1 変換後のファイル ( 結合前 ) (a) スレーブスレッド 2 (b) は重複分 (b) (a) (a) (a) 処理領域を一部重複させるマスタスレッド (b) の重複箇所は取り除いて規格違反をチェックした後 1 本にまとめる指示トランスコード処理スレーブスレッドn トランスコード処理 (b) 出力変換後のファイル図 -3 並列処理方法 Fig.3-Parallel processing method for transcoder. 108 FUJITSU. 60, 1, (01, 2009)

6 処理性能表 -2 処理性能と測定条件分割ファイル数分割なしサーバ台数 CPU コア数処理時間 (s) 実時間比 2.0 1/1.5 1/2.7 1/3.9 測定条件ストリーム 3 分,HDTV( i) 変換元変換後多重化 MPEG-2 PS MPEG-2 TS ビデオ MPEG-2 Video H.264/AVC オーディオ MPEG-1 Layer2 MPEG-2 AAC 複数の符号化方式への対応幅広い要求仕様に柔軟かつ迅速に対応するためには, デコーダ, エンコーダ, 多重化などのトランスコーダのコンポーネント ( 図 -3 上部参照 ) 追加時の開発コストを抑える必要がある本システムでは, これらコンポーネントの制御を行うトランスコード処理の全体制御フローを同一とするため, 共通インタフェースとして, ほとんどの大手電機, 家電, LSIメーカが共同参画するKhronos Groupが策定した業界標準 OpenMAXを採用した (7) OpenMAXは, システムの環境を限定せず, 抽象度が高いことを特長とし, コーデック内部の処理ブロック, コーデック, アプリケーションの間についてそれぞれインタフェースを定めている本システムでは, 全体制御部とコーデック間のインタフェースである OpenMAX IL(Integration Layer) を実装した共通インタフェースを, 個々のコンポーネント固有のAPI(Application Programming Interface) の上位 APIとして定義することにより, コンポーネントを追加する際の開発箇所を,APIと共通インタフェースの間に限定することが可能となった現在,MPEG-2,MPEG-4,H.264/AVC などの国際標準化方式だけでなく,Windows Mediaなどの代表的なデファクトコーデックや,BML (Broadcast Markup Language), 字幕, 番組情報など, メディア情報のメタデータに対応しているまた,OpenMAXに準拠したコンポーネントの追加実装が容易となった製品化と今後の展開本トランスコードシステムは, 基盤技術として, FENICS IPビデオ配信サービスをはじめ, 各種メディアサービス用のトランスコードシステムとして採用されている今後は, 様々なソリューションに対応するため,OS 環境 ( システムコールやコマンド ) まで含めた共通化インタフェースを開発する予定であるむすび富士通が提供するBroadsight, FENICS IPビデオ配信サービスなどの映像ソリューションに採用され, それらの特長となっているオーディオ / ビデオコーデック, およびシステム化技術の最新の成果について述べた富士通研究所では, 今後もオーディオ符号化, ビデオ符号化の高品質化および低遅延化を図るとともに,Linux, RTOSなど複数のOSや組込み機器などにも適用可能なシステム化技術の研究開発により, 様々な映像ソリューションに対応していく予定である参考文献 (1) ISO/IEC Generic coding of moving pictures and associated audio information. - Part 7Advanced Audio Coding(AAC) (2) ARIB STD-B32 デジタル放送における映像符号化, 音声符号化および多重化方式標準規格. 電波産業会. (3) ITU-R Recommendation BS Method for the subjective assessment of intermediate quality level of coding systems (4) ITU-T Recommendation H.264Advanced Video Coding for generic audiovisual service (5) ISO/IEC Information Technology -- Coding of audio-visual objects -- Part 10Advanced Video Coding (6) 中川章 H.264/AVC の適用動向と富士通の取組み. FUJITSU,Vol.58,No.2,p (2007). (7) The Khronos Group IncOpenMAX TM Integration Layer Application Programming Interface Specification Version 1.0. December 16, FUJITSU. 60, 1, (01, 2009) 109

資料2-3　要求条件案.doc

資料2-3　要求条件案.doc 資料 2-3 社団法人電波産業会デジタル放送システム開発部会高度 BS デジタル放送及び高度広帯域 CS デジタル放送の要求条件 ( 案 ) 1 システムインターオペラビリティ衛星放送地上放送 CATV 蓄積メディアなど様々なメディア間でできる限り互換性を有することサービス実時間性高機能化 / 多様化拡張性アクセサビリティシステム制御著作権保護個人情報保護現行のデジタルHDTVを基本とした高画質サービスを可能とすること

映像ソリューション向けメディア 処理技術

映像ソリューション向けメディア処理技術