3Dコンテンツ識別手法

Size: px

Start display at page:

Download "3Dコンテンツ識別手法"

ようじろういせき
4 years ago
Views:

1 3D コンテンツの識別手法について 2010 年 8 月 19 日 Dpa 技術委員会 1

2 目次 1.1 3D 識別信号仕様策定の考え方 1.2 3D 映像フォーマット 1.3 MPEG-2 映像ストリームにおける3D 識別信号仕様 1.4 MPEG-4 AVC 映像ストリームにおける3D 識別信号仕様 1.5 SIにおける3D 映像を含むイベントの識別仕様 2

3 1.1 3D 識別信号仕様策定の考え方当面利用が想定される 3D 方式を検討範囲とするサービス利用が明確な Side-by-Side 方式に限定してサービス運用及び受信機実装が可能な詳細仕様を規定する受信機において 2D 映像か 3D 映像かを識別して期待される適切な動作を可能とする視聴者への表示告知や切り替え制御のための 3D 映像フォーマットや 3D 映像ストリームの識別手段 EPG などで番組情報表示や検索のための 3D 映像を含むイベントの識別手段 3D 識別信号方式は世界的な標準化動向を考慮する MPEG-4 AVC については MPEG で規定された ( 注 ) Frame Packing Arrangement SEI を適用する MPEG-2 video に関しては参照すべき規格がないが上記 SEI をベースとして MPEG-4 AVC と整合のとれた規定を策定する ( 注 ) 2010 年 6 月 4 日現在 Pre-Publish 版として ITU-T Rec. H.264 ( ) が公開されている 3

4 将来の 3D 方式の拡張性を考慮する MVC の導入等将来想定しうる 3D 関連規格に対して互換性の確保に留意する尚本 3D 識別信号仕様案は MPEG-2 video 及び MPEG-4 AVC の映像 ES に閉じた仕様でありまた Top&Bottom 等の他の Frame Compatible 方式の拡張性も考慮する 3D 専用サービスと 2D/3D 混在サービスの両方を想定する特に 2D コンテンツと 3D コンテンツが同一チャンネルで混在編成されているサービスにおける 2D/3D の切り替え時の送出運用及び受信機動作に考慮するサービス運用の柔軟性を考慮する規格策定後送出設備更新対応までの過渡期や 3D 放送に対し社会的認知が進むまでの期間においては受信機における動作と映像表示に問題を生じさせない範囲で 3D 放送の一時的または試験的なサービス運用が発生する可能性があるこの場合の 2D/3D 識別信号の運用ケースにも配慮する 4

5 1.2 3D 映像フォーマット 3D 映像の対象となる入力映像フォーマットとしては ARIB STD-B32 に規定されるもののうち当面 1080/60/I に限定する 3D 方式としては当面 Side-By-Side 方式に限定する Side-by-Side フォーマットとは左眼用および右眼用映像を水平方向にのみ 1/2 に縮小 (Horizontal sub-sampling) して 1 画面の左右位置に配置した方式をいうその際画面上の配置は視聴者から見て左側の映像が左眼用右側の映像が右眼用であること左眼用映像と右眼用映像との境界は 1 走査線当たりの有効標本化数の 1/2 の標本位置であること水平方向 1/2 縮小時の標本化位置は左眼用映像右眼用映像で同一とし走査線間で固定とする Side-By-Side 方式における左右画像の合成方法と画素配置を図 2-1 に示す尚上記は映像符号化として MPEG-2 video か MPEG4 AVC かに依存しないものとする 5

6 左眼用奇数 ( 偶数 ) フィールド映像右眼用奇数 ( 偶数 ) フィールド映像 L 1080/2 ライン R 1080/2 ライン 1920 画素サブサンプリング標本化位置 1920 画素水平方向を 1/2 に縮小水平方向を 1/2 に縮小 2 画面合成後の奇数 ( 偶数 ) フィールド映像 L R 1080/2 ライン 960 画素 960 画素図 2-1 Side-by-Side 方式における画面合成と画素配置 6

7 1.3 MPEG-2 映像ストリームにおける 3D 識別信号仕様 2D/3D 映像の識別の為に MPEG-2 Video ピクチャレイヤの user_data に 2D/3D 識別信号を定義するなお user_data 内のデータ配置は ISO/IEC (MPEG4-AVC 規格 ) のシンタクスを参考とし構成要素の最適化を行う D 識別信号符号化規定表 3-1 の MPEG-2 video で定義される video_sequence 内ピクチャレイヤにて user_data を運用する 7

8 表 3-1 video_sequence video_sequence() { next_start_code() sequence_header() if ( nextbits() = = extension_start_code ) { sequence_extension() do { extension_and_user_data( 0 ) do { if (nextbits() = = group_start_code) { group_of_pictures_header() extension_and_user_data( 1 ) } picture_header() picture_coding_extension() extensions_and_user_data( 2 ) picture_data() } while ( (nextbits() = = picture_start_code) (nextbits() = = group_start_code) ) if ( nextbits()!= sequence_end_code ) { sequence_header() sequence_extension() } } while ( nextbits()!= sequence_end_code ) } else { /* ISO/IEC */ } sequence_end_code } 8

9 user_data 内では表 3-2 に従い Stereo_Video_Format_Signaling を定義する尚 Stereo_Video_Format_Signaling() は user_data() 内に 1 つのみ配置すること表 3-2 user_data データ構造ビット数ビット列表記 user_data() { user_data_start_code 32 uimsbf Stereo_Video_Format_Signaling_identifier 32 uimsbf while( nextbits()!= ' ' ) { Stereo_Video_Format_Signaling() } next_start_code() } user_data_start_code : 固定値 0x000001B2 を記載 Stereo_Video_Format_Signaling_identifier : 固定値 0x4a ( JP3D ) を記載 Stereo_Video_Format_Signaling () は表 3-3で定義する 9

10 表 3-3 Stereo_Video_Format_Signaling データ構造ビット数ビット列表記 Stereo_Video_Format_Signaling() { Stereo_Video_Format_Signaling_Length 8 uimsbf Reserved 1 1 Stereo_Video_Format_Signaling_type 7 bslbf Reserved 16 0x04FF } Stereo_Video_Format_Signaling_Length :Stereo_Video_Format_Signaling の本フィールドより Stereo_Video_Format_Signaling_type : 後のバイト長を示す固定値 3を記載 3D 映像フォーマットを識別するもので表 3-4に従って各フォーマットの種別を示す表 3-4 Stereo_Video_Format_Signaling_type Stereo_Video_Format_Signaling_type 値説明 D Side-by-Side 映像 D 映像上記以外 Reserved 10

11 D 識別信号運用ガイドライン 3D 識別信号を運用する場合には Video の Picture header Picture Coding Extension に続く全ての picture の userdata 領域に Stereo_Video_Format_Signaling() を含むよう符号化を行うことまたこの場合下記の運用制約に従うこと Stereo_Video_Format_Signaling_type は 3D 映像の場合は 3 (Side-by-Side) 2D 映像の場合は 8 を記載すること 3D と 2D との切換えを行う場合は Picture data() が切り替わるフレームと Stereo_Video_Format_Signaling() が切り替わるフレームとを一致させることを推奨する ( 注 ) 映像ストリームに Stereo_Video_Format_Signaling() がない場合は Stereo_Video_Format_Signaling_type は 8 と判断する 11

12 D 識別信号運用に当たっての留意事項 3D 識別信号の運用において下記の理由により頻繁な 2D/3D の切り換えが生じないよう留意すること本信号を受信機での映像信号切り換え制御に利用している場合切り替えに数秒程度の時間を要する場合がある 2 眼式立体表示の場合映像切り替えに伴い視聴者はメガネの着脱を始めとした 3D 視聴環境の切り替えを余儀なくされる 12

13 1.3.4 受信機における考慮事項 STB で受信する場合 Stereo_Video_Format_Signaling() で 2D/3D を識別し HDMI 1.4a の規定に従った 3D 映像を出力することができる既存の 2D のみの放送サービスも含め映像ストリームにおいて Stereo_Video_Format_Signaling() を含まない picture を検知した場合には該当する picture は 2D 信号と判断する一方識別信号が無い放送信号に対して手動で 3D 視聴設定が選択される場合があることに留意する必要がある放送システム放送信号 MPEG-2 SideBySide 識別信号 (STBで受信) Stereo_Video_Format_Signaling() (TV で直接受信 ) 3D 対応 STB HDMI 3D 信号 [v1.4a] 3D 対応 TV L R L R L R 13

14 1.4 MPEG-4 AVC 映像ストリームにおける 3D 識別信号仕様 D 識別信号符号化規定 2D/3D 映像の識別の為にアクセスユニットにおいてフレーム格納配置 (Frame Packing Arrangement)SEI( 表 4-1) を運用する本 SEI は Side-by-Side 3D 映像フォーマット等 frame compatible 形式の 3D 映像を格納するアクセスユニットを含む映像サービスにおいて運用する尚 Frame Packing Arrangement SEI の payloadtype は 45 と MPEG にて規定されている尚アクセスユニットを構成する NAL ユニットおよび SEI メッセージの順序は GOP の先頭およびそれ以外のアクセスユニットでそれぞれ図 4-1 に示す通りとし記載のない NAL ユニットおよび SEI メッセージについては運用しないこととする本 3D 識別信号符号化規定としては Frame Packing Arrangement SEI の運用を表 4-2 に示す通り制約する 14

15 GOP の先頭のアクセスユニット AU Delimiter SPS PPS SEIs Slices (Primary Coded Picture) (1 以上 ) Filler data End of sequence Buffering period SEI message Recovery point SEI message (open GOP の場合のみ必須 1 コ ) Picture timing SEI message Pan-scan rectangle SEI message Decoded reference picture marking SEI message Frame packing arrangement SEI message GOP の先頭以外のアクセスユニット AU Delimiter PPS SEIs Slices (Primary Coded Picture) (1 以上 ) Filler data End of sequence Picture timing SEI message Pan-scan rectangle SEI message Decoded reference picture marking SEI message Frame packing arrangement SEI message : 必須 : 必須ではない図 4-1 アクセスユニットのデータ構造 15

16 表 4-1 MPEG-4 AVC Frame Packing Arrangement SEI Syntax ISO/IEC ITU-T Rec. H.264 より frame_packing_arrangement( payloadsize ) { frame_packing_arrangement_id frame_packing_arrangement_cancel_flag if(!frame_packing_arrangement_cancel_flag ) { frame_packing_arrangement_type quincunx_sampling_flag content_interpretation_type spatial_flipping_flag frame0_flipped_flag field_views_flag current_frame_is_frame0_flag frame0_self_contained_flag frame1_self_contained_flag if(!quincunx_sampling_flag && frame_packing_arrangement_type!= 5 ) { frame0_grid_position_x frame0_grid_position_y frame1_grid_position_x frame1_grid_position_y } frame_packing_arrangement_reserved_byte frame_packing_arrangement_repetition_period } frame_packing_arrangement_extension_flag } Descriptor ue(v) u(1) u(7) u(1) u(6) u(1) u(1) u(1) u(1) u(1) u(1) u(4) u(4) u(4) u(4) u(8) ue(v) u(1) 16

17 表 4-2 Frame packing arrangement SEI 符号化内容シンタックス要素運用備考 frame_packing_arrangement_id 0 0 固定 frame_packing_arrangement_cancel_flag 0 または 1 0: 以下に続くフィールドが存在する 1: 以下に続くフィールドが存在しない frame_packing_arrangement_type 3 3:3D Side-by-Side 方式 quincunx_sampling_flag 0 0:quincunx_sampling は運用しない content_interpretation_type 1 1: 画像左半分が左眼用画像 spatial_flipping_flag 0 0: 画像の左右半分いずれも反転しない frame0_flipped_flag 0 0 固定 field_views_flag 0 0 固定 current_frame_is_frame0_flag 0 0 固定 frame0_self_contained_flag 0 0: 左眼用画像が右眼用画像を参照する可能性あり frame1_self_contained_flag 0 0: 右眼用画像が左眼用画像を参照する可能性あり frame0_grid_position_x 0 左眼用画像の左上画素の水平位置 frame0_grid_position_y 0 左眼用画像の左上画素の垂直位置 frame1_grid_position_x 0 右眼用画像の左上画素の水平位置 frame1_grid_position_y 0 右眼用画像の左上画素の垂直位置 frame_packing_arrangement_reserved_byte 0 0 固定 frame_packing_arrangement_repetition_period 0 0: 本 SEI は当該フレームのみに有効 frame_packing_arrangement_extension_flag 0 0 固定 17

18 D 識別信号運用ガイドライン 3D 識別信号を運用する場合には frame packing arrangement SEI を含むよう符号化することまたこの場合下記の運用制約に従うこと frame_packing_arrangement_cancel_flag は 3D 映像の場合は 0 2D 映像の場合は 1 を記載すること frame_packing_arrangement_type は 3D 映像の場合は 3 (Side-by-Side) とする 3D と 2D との切換えを行う場合はスライスデータが切り替わるフレームと frame_packing_arrangement_cancel_flag が切り替わるフレームとを一致させることを推奨する ( 注 ) 映像ストリームに frame packing arrangement SEI が無い場合は frame_packing_arrangement_cancel_flag= 1 と同様と判断する 18

19 D 識別信号運用に当たっての留意事項 3D 識別信号の運用において下記の理由により頻繁な 2D/3D の切り換えが生じないよう留意すること本信号を受信機での映像信号切り換え制御に利用している場合切り替えに数秒程度の時間を要する場合がある 2 眼式立体表示の場合映像切り替えに伴い視聴者はメガネの着脱を始めとした 3D 視聴環境の切り替えを余儀なくされる 19

20 1.4.4 受信機における考慮事項 STB で受信する場合 frame packing arrangement SEI で 2D/3D を識別し HDMI 1.4a の規定に従った 3D 映像を出力することができる既存の 2D のみの放送サービスも含め映像ストリームにおいて frame packing arrangement SEI を含まないアクセスユニットを検知した場合には該当するアクセスユニットは 2D 信号と判断する一方識別信号が無い放送信号に対して手動で 3D 視聴設定が選択される場合があることに留意する必要がある放送システム放送信号 MPEG-4 AVC SideBySide 識別信号 (STBで受信) Frame packing arrangement SEI (TV で直接受信 ) 3D 対応 STB HDMI 3D 信号 [v1.4a] 3D 対応 TV L R L R L R 20

21 1.5 SI における 3D 映像を含むイベントの識別仕様 3D 映像を含むイベントが EPG など番組情報表示時にも利用者に容易に識別できるよう EIT に配置されるコンテント記述子における番組特性コードを拡張定義する D 映像番組識別情報符号化規定 TR-B15 第二分冊第一部 BS デジタル放送運用規定第四編付録 B に対し表 5-1 に示すように番組特性コード表の user_nibble に 3D 映像放送番組識別情報を追加する 21

22 表 5-1 BS デジタル放送用番組付属情報 user_ni bble の下位 4 ビット user_nibble の上位 4 ビット 0x0 0x1 0x2 流動編成関連付属情報 BS デジタル放送番組特性情報 3D 映像放送番組識別情報 0x3~0xE 0xF 0x0 中止の可能性あり中断ニュースあり当該イベント中に 3D 映像あり 0x1 延長の可能性あり当該イベントに関連する臨時サービスあり 0x2 中断の可能性あり 0x3 0x4 0x5 同一シリーズの別話数放送の可能性あり編成未定枠未定義 ( 地上デジタルテレビジョン放送で使用 ) reserved reserved reserved 未定義 0x6~ 0xE reserved 0xF 未定義未定義未定義未定義 22

23 D 映像番組識別情報の送出運用規則 EIT のコンテント記述子に記載する番組属性情報 ( user_nibble) の送出運用規則を次の通りとする 0x20 : 当該イベント中に 3D 映像あり当該イベントに 3D 映像を含む放送サービスが予定されている場合に使用する 0x21 ~ 0x2E :reserved 将来 3D 映像放送番組識別情報を追加する場合のために確保しておくエリア当面はこれらの値は指定しない 0x2F : 未定義当面この値は指定しない 23

24 D 映像番組識別情報の受信処理規準 EIT のコンテント記述子に記載する番組付属情報 ( user_nibble) の受信処理規準を次の通りとする 0x20 が指定された場合 : 3D 映像ありなどの表示が可能である 0x21 ~ 0x2E 0x2F が指定された場合 : 当面当該コンテントループは無視する 24

資料2-3　要求条件案.doc

資料2-3　要求条件案.doc 資料 2-3 社団法人電波産業会デジタル放送システム開発部会高度 BS デジタル放送及び高度広帯域 CS デジタル放送の要求条件 ( 案 ) 1 システムインターオペラビリティ衛星放送地上放送 CATV 蓄積メディアなど様々なメディア間でできる限り互換性を有することサービス実時間性高機能化 / 多様化拡張性アクセサビリティシステム制御著作権保護個人情報保護現行のデジタルHDTVを基本とした高画質サービスを可能とすること