動 画 像 符 号 化 標 準 H.264/AVCに おける 高 性 能 VLSIの 開 発 宋 天 島 本 隆 徳 島 大 学 大 学 院 ソシオテクノサイエンス 研 究 部 情 報 ソリューション 部 門 計 算 機 システム 工 学 大 講 座 1
背 景 1997 年 ~2004 年 白 川 研 究 室 ( 大 阪 大 学 ) 2004 年 ~ 今 徳 島 大 学 來 山 研 究 室 助 教 2004 年 ~ 今 ( 株 )シンセシス 主 任 研 究 員 研 究 暦 : 1997 年 ~2004 年 H.263, H.263+を 中 心 とする 動 画 像 符 号 化 アルゴリズム VLSI 化 設 計 2004 年 ~ 今 H.264/AVC 実 装 に 向 けアルゴリズム およびそのVLSIアーキテクチャ 2
動 画 像 符 号 化 標 準 の 歴 史 I T U T M P E G H.261 (90) MPEG-1 (93) H.263 (95/96) MPEG-2 (94/95) H.263+ (97/98) 90 91 92 93 94 95 96 97 98 99 00 01 02 03 H.263++ (00) MPEG-4v1 (98/99) MPEG-4v2 (99/00) MPEG-4v3 (01) H.264 (02/03) 3
H.264/AVCの 特 徴 広 範 囲 な 帯 域 での 利 用 を 想 定 低 ビットレート 携 帯 端 末 から デジタルシネマまで 携 帯 ワンセグ 放 送 蓄 積 媒 体 ゲーム 機 など 高 い 符 号 化 効 率 従 来 のMPEG-4の 約 2 倍 の 圧 縮 率 新 たなアルゴリズムの 導 入 フレーム 間 予 測 :7 種 類 ブロックサイズ 動 き 補 償 フレーム 内 予 測 : 多 種 多 様 な 予 測 モード 算 術 符 号 化 手 法 CABAC 演 算 量 の 大 幅 増 加 4
Rate Distortion Optimization すべてのブロックサイズでの 動 き 探 索 すべての 予 測 モードに 対 して 評 価 する 符 号 化 コストを 評 価 し 最 適 符 号 化 モードを 決 定 する J MODE =SSD+λ MODE R J MODE :コスト 関 数 SSD : 画 像 の 歪 み( 現 画 像 と 複 合 画 像 の 差 ) R :ビット 数 膨 大 な 演 算 量! 従 来 の 手 法 では, 画 質 の 劣 化 が 著 しい! 5
研 究 テーマ Rate Ctrl Input DCT Q CAVLC CABAC Bit stream 3.DQ Engine IQ IDCT 6. 高 速 CABAC + MC ME (Motion Estimation) RAM DF 4. 低 遅 延 メモリアクセス 手 法 5. 高 速 DFアーキテクチャ 1.RDOアーキテクチャ 2. 低 演 算 量 ME 6
RDOアーキテクチャ Interpolation Memory (IM) ME INTER INTRA MC- DCT Q FEGB DF MC+ IDCT IQ MC distortion RDO bits DQ Efficient Motion Compensation Architecture with Rate-Distortion Optimization for H.264/AVC, SIGMAP, Barcelona, July 2007 7
動 き 探 索 アーキテクチャ(ME) 概 要 MEを 行 い ブロックサイズ 動 きベクトルの 情 報 を 生 成 特 徴 TAD+Top-down method の 実 装 探 索 範 囲 を 適 応 的 に 制 御 可 能 な 設 計 並 列 演 算 法 の 実 装 目 標 画 質 の 劣 化 は 最 小 限 にとどめる HDTV 720p (1280x720, 30fps) のリアルタイム 演 算 Efficient variable search range motion estimation architecture for real-time RDO of H.264/AVC, NCSP, Shanghai, March 2007 8
低 演 算 量 ME 適 応 的 探 索 範 囲 過 去 のフレーム 符 号 化 フレーム 動 きが 大 きいシーケンス 過 去 のフレーム 符 号 化 フレーム 動 きの 少 ないシーケンス 冗 長 な 探 索 範 囲 が 存 在 動 きの 激 しさに 応 じ 適 応 的 に 探 索 範 囲 を 決 定 Adaptive search range motion estimation algorithm for H.264/AVC, ISCAS, New Orleans, May, 2007 9
高 速 DCT/ 量 子 化 エンジン DQ 16 DCT 16 Q 16 VLC MC AllZero 16 generated bits IDCT 16 16 IQ FEGB MC DCT Q IQ IDCT VLC All-zeroブロックの 判 定 : 冗 長 な 処 理 を 省 く 生 成 ビット 数 の 高 速 予 測 : 高 速 RDOを 実 現 :Motion Compensation :Discrete Cosine Transform :Quantization :Inverse Q :Inverse DCT :Variable Length Coding Fast Transform and Quantization Architecture with All-Zero Detection and Bit Estimation for, IWSDA, Chengdu, Sep. 2007 10
低 遅 延 フレームメモリアクセス 手 法 DMA ME MC 1 ME_req 4 data 5 MC_req 6 data DMA 制 御 部 データ 圧 縮 SRAM 2 address 4 data メモリ 制 御 部 3 access 4 data SDRAM ME,MCの 処 理 特 徴 を 利 用 し SRAMを 設 置 現 画 像 データをロスレス 圧 縮 Reference Frame Data Compression Method for H.264/AVC, IEICE Electronics Express, vol.4, no.3, pp.122-126 H.264/AVCにおけるフレームメモリアクセス 手 法, IEICE VLD 研 究 会, 北 海 道, June, 2007 11
高 速 デブロッキングフィルタ 設 計 cif 画 像 (352 288) 4 画 素 4 画 素 ブロック 境 界 16 画 素 H.264/AVCデコーダにおける 低 演 算 量 デブロッキングフィルタ 実 装 手 法, IEICE VLD 研 究 会, 北 海 道, June, 2007 16 画 素 画 素 の 特 徴 を 用 いる 高 速 処 理 : 192サイクル 以 下 /ブロック 12
CABACの 全 体 構 成 CABAC コンテキスト 計 算 部 発 生 確 率 多 値 信 号 (+3,-6, ) 2 値 化 部 2 値 信 号 算 術 符 号 化 器 符 号 ビット (0,1,0,0,1) CAVLCより 高 い 圧 縮 率 達 成 する 符 号 化 手 法 並 列 処 理 が 困 難 : 1ビット/1サイクル 実 現 高 解 像 度 アプリケーションに 対 応 できず 1サイクルに 複 数 のビット 処 理 を 実 現 するアーキテクチャ 13
高 速 CABACアーキテクチャ symbol1 symbol2 context1 Context memory1 Context memory2 Context Memory Manager RAM context2 updated context1 updated context2 MSE Context Update MSE rlps Selector rlps1 [4] rlps2 [4] MSE Range Update Trans rlps1 Trans rlps2 MSE Low Update Parsng area1 Parsng area2 Stage 1 Stage 2 Stage 3 Stage 4 Efficient Multi-State Estimated Architecture of CABAC for H.264/AVC Encoder, NCSP, Shanghai, March 2007 ( 特 許 : PCT/JP2007-54358 ) 14
研 究 のまとめ H.264/AVC VLSI 化 実 装 技 術 1.RDOアーキテクチャ 2. 低 演 算 量 ME 3.DQ Engine 4. 低 遅 延 メモリアクセス 手 法 5. 高 速 DFアーキテクチャ 6. 高 速 CABAC ( 適 応 的 CAVLC/CABAC 符 号 化 ) 7.MPEG-2/H.264 Transcoding 8.SVC(Scalable Video Coding) H.264/AVCコーデックの 実 現 1. 各 機 能 ブロックの 技 術 が 完 成 2. 全 体 アーキテクチャが 研 究 レベルで 完 成 3. 実 機 検 証 は 未 完 成 15
想 定 された 用 途 高 解 像 度 アプリケーション 特 に 高 いビットレートが 要 求 される 製 品 に 組 み 込 む 専 用 LSI 高 い 圧 縮 率 が 求 められる 製 品 (HDレコーダ 用 LSI) リアルタイム 処 理 アプリケーション ビデオカメラ 録 画 機 器 携 帯 機 器 携 帯 端 末 向 け 動 画 像 符 号 化 (ビデオ 携 帯 Webcam) テレビ 電 話 16
実 用 化 に 向 けた 課 題 現 在 中 核 技 術 に 関 してはソフトウェアや コン ピュータシミュレーション 上 の 動 作 確 認 済 み 今 後 具 体 的 アプリケーションに 特 化 した 全 体 制 御 部 分 の 設 計 が 残 されている アーキテクチャをハードウェア 実 装 を 行 い 実 機 で 動 作 を 検 証 する 必 要 がある 17
企 業 への 期 待 技 術 難 題 を 克 服 したため 商 品 化 に 向 け 特 定 の 需 要 を 定 めたい H.264/AVCの 全 体 設 計 について 共 同 研 究 を 希 望 する 関 連 技 術 の 共 同 研 究 も 希 望 する 動 画 像 の 処 理 に 関 係 する 企 業 の 難 題 を 一 緒 に 解 決 したい 18
研 究 に 関 する 知 的 財 産 権 発 明 の 名 称 : 算 術 符 号 化 装 置 算 術 符 号 化 方 法 算 術 符 号 化 プ ログラムを 格 納 したコンピュータで 読 み 取 り 可 能 な 記 録 媒 体 出 願 番 号 :PCT/JP2007/54358 出 願 人 : 徳 島 大 学 発 明 者 : 宋 天 ( 大 学 院 ソシオテクノサイエンス 研 究 部 ) 山 田 篤 ( 大 学 院 工 学 研 究 科 ) 島 本 隆 ( 大 学 院 ソシオテクノサイエンス 研 究 部 ) 19
お 問 い 合 わせ 先 宋 天 (ソウ テン) 徳 島 大 学 大 学 院 ソシオテクノサイエンス 研 究 部 ( 研 究 部 ) 情 報 ソリューション 部 門 計 算 機 システム 工 学 大 講 座 ( 教 育 部 ) 電 気 電 子 創 生 工 学 コース 知 能 電 子 回 路 講 座 ( 学 部 ) 電 気 電 子 工 学 科 知 能 電 子 回 路 講 座 Tel:088-656-7484, FAX:088-656-7471 内 線 : 5105 Email: tiansong@ee.tokushima-u.ac.jp 国 立 大 学 法 人 徳 島 大 学 知 的 財 産 本 部 知 的 財 産 部 門 特 許 管 理 室 知 的 財 産 研 究 員 増 田 隆 男 770-8506 徳 島 市 南 常 三 島 町 2-1 TEL : 088-656-4997( 内 線 4997) FAX : 088-656-9814 E-Mail : t-masuda@ccr.tokushima-u.ac.jp ( 株 )テクノネットワーク 四 国 ( 通 称 : 四 国 TLO) 技 術 移 転 部 課 長 田 村 英 樹 760-0033 香 川 県 高 松 市 丸 の 内 2 番 5 号 TEL: 087-811-5039 FAX: 087-811-5040 E-mail: tamura@s-tlo.co.jp 20