<4D6963726F736F667420576F7264202D20482E32363482CC93AE89E688B38F6B8B4B8A6982C982C282A282C4>

H.264 の 動 画 圧 縮 規 格 について 岡 山 理 科 大 学 総 合 情 報 学 部 澤 見 研 究 室 I02I101 野 村 雄 一 I02I102 羽 田 慎 也

目 次 1. はじめに 2 2. 動 画 3 3. ビットレート 4 4. 動 画 のデータ 量 4 5. コーデック 5 5.1. H.264(MPEG-4 AVC,MPEG-4 Part 10) 5 6. H.264 の 圧 縮 技 術 6 6.1 動 画 圧 縮 の 原 理 6 6.1.1. 離 散 コサイン 変 換 (DCT) 7 6.1.2. フレーム 間 予 測 8 6.1.3. 動 き 補 償 10 6.1.4. エントロピー 符 号 化 11 6.2. H.264 の 特 徴 12 6.2.1. フレーム 内 予 測 12 6.2.2. フレーム 間 予 測 16 6.2.3. デブロッキングフィルタ 19 7. 実 験 20 7.1. 画 質 の 比 較 20 7.1.1. H.264 の 画 質 比 較 (720 480pixel,29.97fps,2000kbps) 20 7.1.2. H.264 の 2000kbps,1000kbps,100kbps による 画 質 比 較 23 (720 480pixel,29.97fps) 7.2. ファイルサイズ 比 較 26 7.2.1. H.264 のファイルサイズの 比 較 (720 480pixel,29.97fps,2000kbps) 26 7.2.2. H.264 の 2000kbps,1000kbp,100kbps によるファイルサイズ 比 較 27 (720 480pixel,29.97fps) 7.2.3. H.264 の 2000kbps~5kbps によるファイルサイズ 比 較 28 7.2.4. 解 像 度 による 実 験 値 と 理 論 値 (720 480pixel,29.97fps) 29 7.2.5. 解 像 度 による 実 験 値 と 理 論 値 (620 480pixel,29.97fps) 30 7.2.6. 解 像 度 による 実 験 値 と 理 論 値 (320 240pixel,29.97fps) 31 7.2.7. フレームレートによる 実 験 値 と 理 論 値 32 8. 考 察 33 9. まとめ 34 参 考 文 献 35 1

1. はじめに 動 画 像 のデータ 圧 縮 とは, 元 の 情 報 に 存 在 する 冗 長 な 情 報 を 削 除 して 必 要 最 小 限 の 情 報 を 取 り 出 す 処 理 のことである. 冗 長 とは, 無 駄 が 多 くて 長 いという 意 味 であり,そ れを 除 くことで 画 質 を 落 とすことなく 情 報 量 を 大 幅 に 削 除 することが 可 能 である.しかし, 動 画 像 のデジタル 処 理 技 術 が 大 きく 発 展 したとしても, 画 像 の 高 画 質 化, 大 画 面 化 が 進 む につれ 冗 長 な 情 報 を 削 除 したとしてもデータ 量 が 増 加 してくる. 本 研 究 では, 最 近 注 目 さ れている 動 画 圧 縮 規 格 H.264 について 調 べた.なお,ここでは 音 声 については 取 り 扱 わず, 動 画 像 のみに 関 して 研 究 した.ソフトとして QuickTime7.0 のみを 用 いる. 2

2. 動 画 動 画 とは, 同 じスクリーンに 連 続 的 に 再 生 された 静 止 画 群 のことである( 図 1). 簡 単 に 言 えばパラパラ 漫 画 である. 動 画 になっているように 見 えるのは, 人 間 の 目 の 錯 覚 を 利 用 しているからであり,1 秒 間 でどれだけの 静 止 画 群 で 構 成 されているかをフレームレート (frame per second:fps)で 表 す.フレームレートは,24~30fps が 実 用 的 であり,fps が 多 ければ 滑 らかな 動 画 になる( 図 2). 図 1 静 止 画 群 と 動 画 図 2 フレームレート 3

3. ビットレート ビットレートとは, 単 位 時 間 あたりに 何 ビットのデータあるいは 送 受 信 されるかを 表 す. 単 位 として ビット 毎 秒 (Bits Per Second:bps) を 使 うのが 一 般 的 である.ビットレー トには, 固 定 ビットレート(Constant Bit Rate:CBR)と 可 変 ビットレート(Variable Bit Rate:VBR)の 2 種 類 が 存 在 する. 固 定 ビットレートとは,エンコードするときに 常 に 一 定 のビットレートを 保 って 圧 縮 する 方 式 である. 可 変 ビットレートとは, 動 きが 少 ないシ ーンでビットレートを 下 げ, 動 きの 多 いシーンでは 多 くのビットレートを 割 り 当 てること で, 効 率 のよいエンコードを 行 う.ここでは, 後 者 を 用 いる. 4. 動 画 のデータ 量 データを 圧 縮 していない 場 合 のデータ 量 を 計 算 する.データを 圧 縮 していない 場 合 の 計 算 式 は,( 幅 高 さ 3B) fps 秒 である.これは 1 画 素 3B(byte)の 場 合 の 計 算 式 である. 例 を 示 すと,MPEG-2 の 解 像 度 (720 480pixel)と 30fps の 場 合 1 秒 間 の 総 データは, (720 480 3B) 30 1 = 31,104,000B となり, 約 31MB になる.これが 1 時 間 の 場 合 3600 秒 なので 30fps とすると 総 データは, (720 480 3B) 30 3600 = 111,974,400,000B となり, 約 112GB と 膨 大 な 値 になる. 4

5. コーデック 符 号 化 と 復 号 の 機 能 を 併 せ 持 つ 装 置 やソフトウェアである. 本 研 究 の 対 象 となる H.264, H.261,H.263,MPEG-4 について 紹 介 する. 5.1. H.264(MPEG-4 AVC,MPEG-4 Part10) 本 研 究 の 主 体 である H.264 は,2003 年 に ITU( 国 際 電 気 通 信 連 合 )よって 勧 告 された 動 画 データの 圧 縮 符 号 化 方 式 のひとつである. 最 近 では,ソニーの 携 帯 ゲーム 機 PSP, 次 世 代 DVD の HD DVD や Blu-ray Disc などに 用 いられている.また, 携 帯 電 話 のテ レビ 電 話 の 低 速, 低 画 質 の 用 途 からハイビジョンテレビ 放 送 などの 大 容 量 高 画 質 の 動 画 まで 幅 広 く 用 いられている. 符 号 化 の 方 式 は, 動 き 補 償, 整 数 制 度 DCT 変 換,エントロピー 符 号 化 などに 様 々な 工 夫 を 加 えているため, 処 理 時 間 が 長 い. 5

6. H.264 の 圧 縮 技 術 H.264 に 使 用 されている 圧 縮 技 術 について 紹 介 する. 6.1. 動 画 圧 縮 の 原 理 一 般 に, 動 画 像 信 号 には, 空 間 方 向 と 時 間 方 向 とも 近 傍 画 素 間 に 高 い 相 関 がある.この 画 素 間 での 予 測 を 行 うことにより, 符 号 化 すべき 情 報 量 を 削 減 することができる. 空 間 方 向 の 相 関 を 利 用 し, 冗 長 度 を 削 減 するのが 直 交 変 換 である. 直 交 変 換 の 代 表 的 なものとし て 離 散 コサイン 変 換 があげられる.また, 時 間 方 向 の 相 関 を 利 用 し, 冗 長 度 を 削 減 するの がフレーム 間 予 測 と 呼 ばれる. 以 上 の 予 測 や 変 換 によって 信 号 を 偏 らせた 後, 量 子 化 によっていくつかの 代 表 値 で 近 似 することによって 情 報 圧 縮 がなされる.また,そのデータの 発 生 頻 度 に 応 じた 符 号 長 を 割 り 当 てる 可 変 長 符 号 化 を 使 うことによって,さらに 情 報 圧 縮 が 可 能 となる. 近 年 での 動 画 像 圧 縮 符 号 化 は 動 き 補 償 フレーム 間 予 測 (Motion Compensation:MC)と 離 散 コサイン 変 換 (Discrete Cosine Transform:DCT)にエントロピー 符 号 化 を 組 み 合 わ せたハイブリッド 符 号 化 によって 圧 縮 されている( 図 3). 符 号 量 制 御 画 像 入 力 DCT 量 子 化 エントロピー 符 号 化 ビット ストリーム 逆 量 子 化 逆 DCT 動 き 補 償 メモリ 動 き 検 出 図 3 MC +DCT ハイブリッド 符 号 化 6

6.1.1. 離 散 コサイン 変 換 (Discrete Cosine Transform:DCT) 離 散 コサイン 変 換 とは, 入 力 されるアナログの 元 画 像 を, 低 周 波 や 高 周 波 などの 周 波 数 成 分 に 分 解 する 仕 組 みをもっている 変 換 技 術 である. 画 面 中 の 画 素 領 域 を 周 波 数 領 域 に 変 換 し,これによって 元 画 像 を 圧 縮 しやすくしている. 一 般 に, 人 間 の 眼 の 視 覚 特 性 は, 低 周 波 成 分 に 敏 感 であり, 高 周 波 成 分 には 鈍 感 であるため,このような 特 性 を 利 用 するうえ で, 離 散 コサイン 変 換 が 最 も 利 用 される( 図 4). 図 4 DCT 変 換 の 仕 組 み 変 換 処 理 として, 自 然 画 像 から 8 画 素 8 ラインのブロックを 取 り 出 す.そして 下 記 の 式 を 使 うことによって DCT 変 換 処 理 を 行 う. 変 換 前 の 画 素 ブロックの 画 素 値 を f ( x, y) とす ると 次 式 で 与 えられる. F( u, v) = 1 4 C( u) C( v) 7 7 x= 0 y= (2x + 1) uπ (2y + 1) v f ( x, y) cos cos 0 16 16 π ただし C( u) C( v) = 1 ( u, v = 0) 2 1( u, v 0) 7

変 換 により 得 られる F( u, v) を DCT 係 数 とよぶ. 図 に 示 すように,DCT 係 数 は 直 流 (DC: Direct Current) 成 分 と 交 流 (AC:Alternate Current) 成 分 から 構 成 されており, 左 上 の 一 つだけが DC 成 分 で, 他 の 63 個 が AC 成 分 となっている. 左 上 から 右 および 下 にいくほ ど 高 い 周 波 数 成 分 となっている. 自 然 画 像 は,なだらかであり, 変 化 が 少 ないので 高 周 波 成 分 はあまり 含 まれていない. そこで,AC 係 数 のなかでも 高 周 波 成 分 に 相 当 する AC 係 数 を 削 除 し, 情 報 を 圧 縮 すること ができる. 6.1.2. フレーム 間 予 測 フレーム 間 予 測 とは, 異 なる 時 刻 のフレームに 基 づいて 予 測 画 像 を 生 成 し, 入 力 画 像 と 予 測 画 像 の 差 分 画 像 を 符 号 化 する 方 式 である. 動 画 像 において 連 続 するフレームは 人 間 の 目 にはわからないほど 似 ている. 動 画 像 を 圧 縮 する 場 合 は,このような 隣 り 合 ったフレームが 似 ている 仕 組 みを 利 用 する. なお,フレーム 間 予 測 では, 時 間 的 に 前 のフレームから 予 測 する 方 法 ( 前 方 向 予 測 )だ けではなく, 後 のフレームから 予 測 する 方 法 ( 後 方 向 予 測 )や 前 後 のフレームから 予 測 す る 方 法 ( 双 方 向 予 測 )がある. 一 般 に 予 測 する 方 法 によって 三 つのピクチャタイプがある ( 図 5). 符 号 化 フレーム 参 照 フレーム 非 参 照 フレーム 予 測 なし 前 方 前 方 後 方 予 測 予 測 予 測 時 間 時 間 時 間 (1) I ピクチャ (2) P ピクチャ (3) B ピクチャ 図 5 予 測 モードとフレームタイプ 8

(1)Iピクチャ(Intra Picture) Iピクチャとは, 前 後 のフレームとは 関 係 なくそのフレーム 内 だけで 独 立 して 符 号 化 す ることによって 得 られるピクチャのことである. 時 間 方 向 の 動 き 予 測 を 行 うことはなく, フレーム 内 の 情 報 のみを 用 いて 符 号 化 処 理 を 行 う. (2)Pピクチャ(Predictive Picture) Pピクチャとは,フレーム 間 の 前 方 向 予 測 符 号 化 によって 得 られるピクチャのことであ る.IピクチャもしくはPピクチャを 予 測 画 像 として,フレーム 間 予 測 を 用 いて 符 号 化 処 理 が 行 われる.Pピクチャは,ほかのフレームに 依 存 し, 独 立 には 複 合 化 できないが,I ピ クチャにくらべ 圧 縮 率 の 向 上 が 期 待 できる. (3)Bピクチャ(Bi directional Predictive Picture) Bピクチャとは, 過 去 と 未 来 の 双 方 向 からの 予 測 符 号 化 によって 得 られるピクチャのこ とである.IピクチャもしくはPピクチャを 予 測 画 像 として, 時 間 軸 上 で, 予 測 するピク チャより 過 去 もしくは 未 来,またはその 両 方 からの 双 方 向 予 測 が 可 能 である.Bピクチャ は, 独 立 には 複 合 化 できず,フレームの 遅 延 も 生 ずるが,I,Pピクチャとくらべ 圧 縮 率 の 向 上 が 期 待 できる. また,フレーム 間 予 測 では,より 高 い 圧 縮 率 を 実 現 するために 動 き 補 償 と 呼 ばれる 技 術 が 同 時 に 用 いられる. 9

6.1.3. 動 き 補 償 (Motion Compensation:MC) 二 つの 連 続 したフレームで 形 の 変 わらない 物 体 が 動 く 場 合, 動 いた 方 向 と 動 き 量 を 知 る ことができれば, 物 体 の 形 に 関 する 情 報 は 既 知 であるため 正 確 な 予 測 画 像 を 作 ることがで き, 効 率 のよいフレーム 間 予 測 が 可 能 になる.この 動 いた 方 向 と 動 き 量 をベクトルデータ で 示 し, 圧 縮 する 際 にこのベクトルデータを 検 出 し, 転 送 するデータと 残 り 差 分 を 含 める. また, 伸 張 する 際 には,ベクトルデータと 差 分 データを 合 成 し, 元 の 画 像 を 再 現 すること になる. 物 体 の 動 きをベクトルデータという 形 で 効 率 よく 差 し 引 くことによって, 差 分 デ ータはベクトルデータを 無 視 した 場 合 の 差 分 データより 極 端 に 少 なくてすみ, 高 い 圧 縮 率 を 得 ることが 可 能 である.これが 動 き 補 償 の 技 術 である( 図 6). 過 去 現 在 未 来 動 きベクトル 動 きベクトル MC 予 測 フレーム MC 前 方 向 MC 予 測 双 方 向 MC 予 測 図 6 動 き 補 償 (MC)の 例 10

6.1.4. エントロピー 符 号 化 ( 可 変 長 符 号 化 ) エントロピー 符 号 化 とは, 出 現 頻 度 の 高 い 値 には 短 い 符 号 を 割 り 振 り, 出 現 頻 度 の 低 い 値 には 長 い 符 号 を 割 り 振 る 符 号 化 である. 予 測 や 変 換 処 理 した 結 果 は, 何 らかの 値 を 示 す 数 字 で 表 されている.それらの 中 には 頻 繁 に 現 れる 値 もあれば,たまにしか 現 れない 値 も ある.これらの 偏 りを 利 用 し, 平 均 的 な 符 号 長 を 短 くして, 圧 縮 率 を 上 げることができる. 例 えば,A,B,C,D という 文 字 の 出 現 確 率 が 等 しいときには, 一 定 の 符 号 長 で 符 号 化 を 行 う 固 定 長 符 合 化 で 行 い,00,01,10,11 の 2 桁 の 符 号 にしておけば, 平 均 符 号 長 は 2 ビットになる.ところが, 表 で 示 すように 出 現 確 率 に 違 いがあった 場 合, 可 変 長 符 号 化 で 行 うと 最 も 出 現 確 率 が 高 い A に 1 ビット 符 号 0,2 番 目 に 高 い B には 2 ビット 符 号 01, 最 も 低 い C と D は 3 ビット 符 号 011,111 を 割 り 当 てることになる.このとき, 平 均 符 号 長 は 以 下 のようになる( 表 1). 表 1 可 変 長 符 号 化 の 例 登 場 する 文 字 出 現 確 率 符 号 符 号 長 A 0.5 0 1 B 0.3 01 2 C 0.1 011 3 D 0.1 111 3 (1) 固 定 長 符 号 化 ( 常 に 一 定 の 符 号 長 ) 平 均 符 号 長 =0.5 2+0.3 2+0.1 2+0.1 2=2 ビット (2) 可 変 長 符 号 化 ( 状 況 に 応 じて 符 号 長 を 変 化 ) 平 均 符 号 長 =0.5 1+0.3 2+0.1 3+0.1 3=1.7 ビット 出 現 する 文 字 に 対 し, 固 定 長 符 号 化 の 場 合 では 合 計 2 ビットであるのに 比 べ, 可 変 長 符 号 化 の 場 合 では 1.7 ビットと 15%もビット 数 が 少 なくてすみ, 圧 縮 効 果 を 高 めることがで きることがわかる. 11

6.2. H.264 の 特 徴 H.264 自 体 は 従 来 の MPEG と 同 様, 動 き 補 償 フレーム 間 予 測 と 離 散 コサイン 変 換 にエン トロピー 符 号 化 を 組 み 合 わせたハイブリッド 符 号 化 で 構 成 されている. 低 レートや 低 解 像 度 での 符 号 化 時 において 符 号 化 効 率 向 上 の 効 果 は 特 に 大 きく, 既 存 の MPEG-2/4 などでは ブロックノイズが 多 く 発 生 するようなビットレートであっても,ブロックノイズの 見 えに くい 画 像 に 符 号 化 処 理 することが 可 能 である.これは, 可 変 ブロックサイズ 動 き 補 償 予 測, ループ 内 デブロッキングフィルタなど, 従 来 処 理 量 が 大 きかったり 処 理 が 複 雑 であったり することから 標 準 には 採 用 されなかった 符 号 化 ツールを 採 用 した 部 分 が 大 きく 影 響 を 与 え ている. 6.2.1. フレーム 内 予 測 フレーム 内 の 予 測 処 理 として,MPEG-2/4 では 周 波 数 領 域 (DCT 係 数 ) 上 の 予 測 を 行 い 符 号 量 の 削 減 を 図 っているが,H.264 では 空 間 領 域 ( 画 素 領 域 ) 上 での 予 測 を 行 い 符 号 量 の 削 減 を 図 っている.MPEG-2/4 で 採 用 されている 周 波 数 領 域 上 での 予 測 は 少 ない 演 算 量 で 処 理 ができるように 構 成 されているが,H.264 で 採 用 されている 空 間 領 域 上 での 予 測 は, 多 くの 演 算 量 を 必 要 とするが,さまざまな 手 法 を 採 用 しているため 高 い 予 測 効 率 を 得 るこ とが 可 能 である. H.264 では, 輝 度 信 号 に 対 しては 2 種 類 の 予 測 方 式 が 定 められており,そのうちの 一 方 をマクロブロック 単 位 に 選 択 できる. 色 差 信 号 に 対 しては 1 種 類 の 予 測 方 式 が 定 められて いる.それぞれの 予 測 方 式 ごとに 複 数 のモードが 設 けられている. 12

(1)16 16 予 測 輝 度 信 号 16 16 画 素 ブロックを 一 度 に 予 測 する 方 式 であり, 図 に 示 す 4 通 りのモードの いずれかをマクロブロック 単 位 に 選 択 する. 画 面 の 上 端 や 左 端 のマクロブロックにおいて は 画 面 内 に 位 置 する 画 素 のみを 使 用 し, 画 面 外 からの 予 測 処 理 は 行 わない. 垂 直 に 予 測 をするモード 0, 水 平 に 予 測 をするモード 1, 上 ブロックと 左 ブロックの 合 計 32 画 素 の 平 均 値 を 予 測 値 として 予 測 をするモード 2, 上 ブロックの 画 素 と 左 ブロックの 画 素 を 斜 め 方 向 に 画 素 値 を 内 挿 し 予 測 値 とするモード 3 の 4 通 りの 予 測 方 法 から 1 通 りを 選 択 して 予 測 する. 4 4 予 測 と 比 べ, 予 測 方 向 の 符 号 化 に 必 要 なビット 数 が 少 ないため, 青 空 などのような 平 坦 な 画 像 部 分 で 大 幅 な 圧 縮 が 期 待 できる( 図 7). 図 7 16 16 予 測 13

(2)4 4 予 測 マクロブロック 内 の 輝 度 信 号 16 16 画 素 ブロックを 4 4 画 素 ブロックで 構 成 される 16 個 のブロックに 分 割 し, 図 に 示 す 9 通 りのモードのいずれかをブロック 単 位 に 選 択 する. 画 面 の 上 端 や 左 端 であったり, 復 号 処 理 をまだ 終 えていない 画 素 については 予 測 に 使 用 で きない. 4 4 予 測 のモード 情 報 は, 一 つのマクロブロック 当 り 16 個 必 要 となる.モード 情 報 その ものの 符 号 量 を 削 減 するために,モード 情 報 そのものは 隣 接 するブロック 間 との 相 関 が 高 いことを 利 用 して, 隣 接 するブロックのモード 情 報 から 予 測 処 理 を 行 っている.4 4 予 測 は 予 測 処 理 の 単 位 が 小 さいため, 複 雑 な 画 像 に 対 しても 比 較 的 効 率 の 高 い 予 測 効 果 が 得 ら れる( 図 8). 図 8 4 4 予 測 14

(3) 色 差 信 号 の 予 測 色 差 信 号 の 予 測 は,マクロブロック 内 の 8 画 素 8 ラインに 対 して, 図 に 示 す 4 つのモー ドのいずれかを 選 択 して 行 う. 予 測 方 向 は, 輝 度 信 号 の 16 16 画 素 単 位 の 予 測 と 同 様 に, 平 均 値 予 測, 水 平 予 測, 垂 直 予 測, 平 面 予 測 の 4 通 りである.モード 3 の 平 面 予 測 や,モ ード 0 の 平 均 値 予 測 の 計 算 方 法 も,ブロックの 大 きさが 16 画 素 か 8 画 素 の 違 いを 除 けば, 16 16 画 素 単 位 の 予 測 と 同 じである( 図 9). 図 9 色 差 信 号 の 予 測 15

6.2.2. フレーム 間 予 測 動 き 補 償 フレーム 間 予 測 符 号 化 という 意 味 では, 従 来 の MPEG-2/4 などと 同 じ 技 術 であ るが,H.264 ではより 多 くのモードと 複 雑 な 演 算 処 理 を 採 用 することにより, 予 測 効 率 を 高 めている. (1) 可 変 ブロックサイズ 動 き 補 償 予 測 H.264 では,16 16 画 素 から 4 4 画 素 の 7 通 りの 動 き 補 償 ブロックサイズが 用 意 され ている.このブロックサイズは, 図 で 示 すようにマクロブロック 単 位 とサブマクロブロッ ク 単 位 の 2 つに 分 けて 階 層 的 に 示 される.まず,マクロブロックごとに 16 16 画 素,16 8 画 素,8 16 画 素,8 8 画 素 のいずれかを 選 択 し,8 8 が 選 択 されている 場 合 にはサ ブマクロブロックごとに 8 8 画 素,8 4 画 素,4 8 画 素,4 4 画 素 のいずれかを 選 択 す る. 図 10 動 き 補 償 予 測 のブロックサイズ 16

(2) 複 数 参 照 フレーム 予 測 これまでのフレーム 間 予 測 では, 動 き 補 償 予 測 の 参 照 に 使 用 できるフレームは,P ピクチ ャの 場 合 は 過 去 の 1 フレームのみ,Bピクチャの 場 合 は 過 去 と 未 来 の 1 フレームのみであ り,かつBピクチャを 参 照 できないなどの 制 限 があった. しかし,H.264 では 過 去, 未 来 の 複 数 のフレームをメモリ 内 に 蓄 えておき, 蓄 えられて いる 複 数 あるフレームの 中 から 選 択 できる 仕 組 みがとられている. 複 数 の 参 照 フレームを 持 つことによって,シーンチェンジや 移 動 物 体 を 考 慮 してより 前 のフレームを 参 照 フレー ムとして 指 定 することが 可 能 となっている.また,B フレームについては 未 来 方 向 のフレー ムを 使 わずに 過 去 の 2 フレームを 参 照 フレームとして 指 定 したり, 別 の B フレームを 参 照 フレームとして 指 定 したりすることが 可 能 となっている. 17

(3) 重 み 付 け 予 測 重 み 付 け 予 測 とは, 画 像 の 明 るさを 予 測 する 処 理 である. 従 来 の 動 画 像 符 号 化 方 式 は, 動 き 補 償 によって 画 像 の 動 きを 予 測 する 仕 組 みはあったものの, 画 像 の 明 るさを 予 測 する 仕 組 みはなかった.このため, 明 るさが 時 間 的 に 変 化 する 画 像 で, 符 号 化 画 像 の 品 質 が 大 幅 に 劣 化 する 原 因 となっていた.そこで H.264 では, 複 数 の 参 照 フレームに 対 して 明 るさ に 関 する 重 み 係 数 を 掛 けた 信 号 を 予 測 に 用 いることで,この 問 題 を 解 決 している.H.264 の 重 み 付 け 予 測 の 様 子 を 下 の 図 に 示 す( 図 11, 図 12). ピクチャ X ピクチャ Y ピクチャ Z 図 11 フェード 画 像 ( 明 るさが 時 間 的 に 変 化 ) 従 来 の 方 式 明 るさ 予 測 (Y) Y Z 符 号 化 済 み 符 号 化 対 象 ピクチャ ピクチャ ノイズ 時 間 H.264 明 るさ X 予 測 (WX X+WY Y+D) X,Y: 予 測 信 号 WX,WY,D: 重 み 係 数 Y 時 間 Z 符 号 化 済 み 符 号 化 対 象 ピクチャ ピクチャ 図 12 重 み 付 け 予 測 の 特 徴 18

6.2.3. デブロッキングフィルタ デブロッキングフィルタとは, 画 像 の 符 号 化 字 に 生 じるブロックの 境 界 の 歪 みを 減 少 さ せるためのフィルタである.H.264 では,このデブロッキングフィルタがループ 内 フィル タとして 符 号 化 ループに 組 み 込 まれている.メリットとしては,ブロックノイズの 除 去 さ れた 画 像 を 参 照 画 像 として 用 いることができる 点 である. 参 照 画 像 からブロックノイズが 除 去 されることにより, 動 き 補 償 予 測 による 予 測 誤 差 からブロックノイズの 影 響 が 除 かれ, 符 号 化 効 率 が 向 上 する. 19

7. 実 験 ビデオカメラで 撮 影 した 動 画 を 標 準 動 画 (720 480pixel,29.97fps)として,H.264 の 画 質 の 比 較 とファイルサイズの 比 較 について 実 験 を 行 う. 7.1. 画 質 の 比 較 H.264 の 画 質 について 調 べてみる. 7.1.1. H.264 の 画 質 比 較 標 準 動 画 ( 図 13)をもとに,H.264( 図 14),H.263( 図 15),H.261( 図 16),MPEG-4( 図 17)で 圧 縮 した 動 画 (720 480pixel,29.97fps,2000kbps,10 秒 )の 画 質 を 比 較 する. 図 13 標 準 動 画 (720 480pixel,29.97fps,2000kbps) 20

図 14 H.264 (720 480pixel,29.97fps,2000kbps) 図 15 H.263 (720 480pixel,29.97fps,2000kbps) 21

図 16 H.261 (720 480pixel,29.97fps,2000kbps) 図 17 MEPG-4 (720 480pixel,29.97fps,2000kbps) 22

7.1.2 H.264 の 2000kbps,1000kbps,100kbps による 画 質 比 較 次 にH.264 のビットレートを 2000kbps( 図 14),1000kbps( 図 18),100kbps( 図 19) による 圧 縮 動 画 (720 480pixel,29.97fps)の 画 質 を 比 較 する. 図 18 H.264 (720 480pixel,29.97fps,1000kbps) 23

図 19 H.264 (720 480pixel,29.97fps,100kbps) 24

圧 縮 した 画 質 を 比 較 した 結 果,H.264 は 他 の 動 画 に 比 べて 全 体 的 に 色 が 薄 くなっている. そこで 色 が 薄 くなる 原 因 について 調 べてみた. 標 準 動 画 と H.264 のテレビ 信 号 の 明 度 で 現 すと H.264 の 黒 レベルの 基 準 が 高 いことが 判 明 した( 図 20, 図 21). 標 準 動 画 の 黒 レベル の 基 準 が 約 5IRE に 対 して H.264 の 基 準 は 約 11IRE である. 黒 レベルが 高 いと 色 が 鮮 やかに なり, 黒 レベルが 低 いと 黒 くなります.つまり H.264 の 黒 レベルを 下 げれば 標 準 動 画 のよ うな 明 度 になると 考 えられます. 図 20 標 準 動 画 の 明 度 図 21 H.264 の 明 度 25

7.2. ファイルサイズの 比 較 画 質 の 比 較 に 続 いて,H.264 のファイルサイズについて 比 較 する. 7.2.1. H.264 のファイルサイズ 比 較 標 準 動 画 をもとに,MPEG-4,H.261,H.263,H.264 で 圧 縮 した 動 画 (720 480pixel,29.97fps, 2000kbps)のパラメータによるファイルサイズを 比 較 する( 図 22).H.264 の 圧 縮 率 が 高 い のがわかる. (KB) 350,000 300,000 720 480pixel,29.97fps,2000kbps 303,763 250,000 200,000 150,000 100,000 50,000 0 16,642 10,726 6,685 3,202 標 準 動 画 MPEG-4 H.261 H.263 H.264 規 格 ファイルサイズ 図 22 ファイルサイズ 26

7.2.2. H.264 の 2000kbps,1000kbps,100kbps によるファイルサイズ 比 較 更 にビットレートを 2000kbps,1000kbps,100kbps による 動 画 (720 480pixel, 29.97fps)のファイルサイズを 比 較 する( 図 23).ビットレートが 下 がるとそれに 比 例 して ファイルサイズも 減 る. (KB) 350,000 300,000 250,000 200,000 150,000 303,763 720 480pixel,29.97fps 100,000 50,000 0 16,642 15,783 7,947 10,726 6,685 3,202 10,667 6,685 1,649 8,161 6,250 1,296 標 準 動 画 MPEG-4 H.261 H.263 H.264 規 格 2000kbps 1000kbps 100kbps 図 23 ビットレートによるファイルサイズ 27

7.2.3. H.264 の 2000kbps~5kbps によるファイルサイズ 比 較 次 にビットレートを 細 かく 指 定 し,ファイルサイズを 比 較 する( 図 24).やはりビットレ ートが 下 がるとファイルサイズが 減 る.しかし 900kbps 以 降 ファイルサイズにあまり 変 化 が 見 られない. (KB) 3,500 3,000 2,500 3,202 2,415 H.264 (720 480pixel,29.97fps) 2,000 1,500 1,422 1,649 1,394 1,498 1,386 1,386 1,296 1,405 1,389 1,386 1,296 1,296 1,000 500 0 2000 1500 1000 900 800 700 600 500 400 300 200 100 10 5 (kbps) ファイルサイズ 図 24 ビットレートによるファイルサイズ 28

7.2.4. 解 像 度 による 実 験 値 と 理 論 値 (720 480pixel,29.97fps) 実 際 に H.264 で 圧 縮 した 実 験 値 と 2000kbps を 基 準 に 理 論 値 を 求 め 比 較 する( 表 2, 図 25). 理 論 値 を 求 める 際, 小 数 点 は 四 捨 五 入 する. 結 果 900kbps 以 降 実 験 値 と 理 論 値 の 差 が 現 れていて,その 差 はビットレートが 下 がるにつれて 大 きくなる. 表 2 実 験 値 と 理 論 値 (720 480pixel,29.97fps) ビットレート 実 験 値 理 論 値 ビットレート 実 験 値 理 論 値 2000kbps 3,202 3,202 500kbps 1,389 800 1500kbps 2,415 2,400 400kbps 1,386 640 1000kbps 1,649 1,600 300kbps 1,386 480 900kbps 1,498 1,440 200kbps 1,386 320 800kbps 1,422 1,280 100kbps 1,296 160 700kbps 1,405 1,120 10kbps 1,296 16 600kbps 1,394 960 5kbps 1,296 8 (KB) 3,500 H.264 (720 480pixel,29.97fps) 3,000 2,500 2,000 1,500 1,000 500 0 2000 1500 1000 900 800 700 600 500 400 300 200 100 10 5 (kbps) 実 験 値 理 論 値 図 25 実 験 値 と 理 論 値 (720 480pixel,29.97fps) 29

7.2.5. 解 像 度 による 実 験 値 と 理 論 値 (640 480pixel,29.97fps) 更 に 解 像 度 を 720 480pixel から 640 480pixel に 下 げ 実 験 値 と 理 論 値 を 比 較 する( 表 3, 図 26). 結 果,700kbps 以 降 実 験 値 と 理 論 値 の 差 が 大 きくなる. 表 3 実 験 値 と 理 論 値 (640 480pixel,29.97fps) ビットレート 実 験 値 理 論 値 ビットレート 実 験 値 理 論 値 2000kbps 3,163 3,163 500kbps 1,186 790 1500kbps 2,388 2,370 400kbps 1,180 632 1000kbps 1,642 1,580 300kbps 1,097 474 900kbps 1,478 1,422 200kbps 1,097 316 800kbps 1,330 1,264 100kbps 1,097 158 700kbps 1,216 1,106 10kbps 1,097 16 600kbps 1,195 948 5kbps 1,097 8 (KB) H.264 640 480pixel 29.97fps 3,500 3,000 2,500 2,000 1,500 1,000 500 0 2000 1500 1000 900 800 700 600 500 400 300 200 100 10 5 (kbps) 実 験 値 理 論 値 図 26 実 験 値 と 理 論 値 (640 480pixel,29.97fps) 30

7.2.6. 解 像 度 による 実 験 値 と 理 論 値 (320 240pixel,29.97fps) 更 に 解 像 度 を 620 480pixel から 320 240pixel に 下 げ 実 験 値 と 理 論 値 を 比 較 する( 表 4, 図 27). 結 果,200kbps 以 降 実 験 値 と 理 論 値 の 差 が 大 きくなる.つまり 解 像 度 が 低 いほど, 実 験 値 と 理 論 値 の 差 は 少 なくなる. 表 4 実 験 値 と 理 論 値 (320 240pixel,29.97fps) ビットレート 実 験 値 理 論 値 ビットレート 実 験 値 理 論 値 2000kbps 3,129 3,129 500kbps 812 785 1500kbps 2,358 2,355 400kbps 656 628 1000kbps 1,587 1,570 300kbps 514 471 900kbps 1,433 1,413 200kbps 501 313 800kbps 1,286 1,256 100kbps 499 157 700kbps 1,136 1,099 10kbps 458 16 600kbps 981 942 5kbps 458 8 (KB) 3,500 H.264 (320 240pixel,29.97fps) 3,000 2,500 2,000 1,500 1,000 500 0 2000 1500 1000 900 800 700 600 500 400 300 200 100 10 5 (kbps) 実 験 値 理 論 値 図 27 実 験 値 と 理 論 値 (320 240pixel,29.97fps) 31

7.2.7. フレームレートによる 実 験 値 と 理 論 値 今 度 はフレームレート fps を 29.97fps~1fps に 分 け, 実 験 値 と 理 論 値 を 比 較 する( 表 5, 図 28). 結 果,フレームレートによる 実 験 値 と 理 論 値 の 差 はあまり 見 られない.つまりビッ トレートと 解 像 度 がファイルサイズに 大 きく 関 わっていることがわかる. 表 5 フレームレートによる 実 験 値 と 理 論 値 720 480 720 480 640 480 320 240 fps 実 験 値 理 論 値 理 論 値 理 論 値 29.97fps 3,202 3,202 3,163 3,129 25fps 2,671 2,675 2,605 2,600 24fps 2,567 2,568 2,544 2,496 15fps 1,609 1,605 1,590 1,560 12fps 1,289 1,284 1,272 1,248 10fps 1,077 1,070 1,060 1,040 8fps 863 856 848 832 6fps 652 642 636 624 5fps 545 535 530 520 1fps 116 107 106 104 (KB) 3,500 H.264 (2000kbps) 3,000 2,500 2,000 1,500 1,000 500 0 29.97 25 24 15 12 10 8 6 5 1 (fps) 720 480の 実 験 値 720 480の 理 論 値 640 480の 理 論 値 320 240の 理 論 値 図 28 フレームレートによる 実 験 値 と 理 論 値 32

8. 考 察 画 質 を 比 較 した 場 合,H.264 は 他 の 動 画 と 比 べて 全 体 的 に 色 が 薄 くなっている.そこで 色 が 薄 くなる 原 因 について 調 べてみたところ,H.264 の 黒 レベルの 基 準 が 高 いことが 判 明 した ( 図 20 図 21). 黒 レベルが 高 いと 色 が 鮮 やかになり, 黒 レベルが 低 いと 黒 くなります.つ まり H.264 の 黒 レベルを 下 げれば 標 準 動 画 のような 明 度 になると 考 えられます.また, 多 少 画 質 の 劣 化 が 見 られるが,アルファべットや 数 字 ははっきりと 見 える.H.261 などと 比 べ ると 画 質 が 向 上 し 圧 縮 率 も 上 がっていることがわかる.また,ビットレートを 下 げた 場 合, やはり 画 質 の 劣 化 が 見 られブロックノイズが 生 じている.しかし 解 像 度 を 低 くした 場 合 同 じビットレートでも 画 質 の 劣 化 が 見 られない. ファイルサイズを 比 較 した 場 合, 比 較 した 規 格 の 中 では H.264 が 一 番 データ 圧 縮 率 が 高 い. 標 準 動 画 に 比 べて 約 99% 圧 縮 している( 図 22).H.264 は 動 き 補 償, 整 数 制 度 DCT 変 換, エントロピー 符 号 化 に 様 々な 工 夫 を 加 えているため, 従 来 の 圧 縮 技 術 よりも 処 理 時 間 が 長 くなる.そのためある 程 度 以 上 のマシンスペックが 必 要 ではないかと 考 えられる.また, 同 じ 解 像 度 でもビットレートの 設 定 次 第 では,ファイルサイズに 変 化 がなく 画 質 の 劣 化 だ けが 見 られる. 実 際 に 解 像 度 を 下 げ 実 験 値 と 理 論 値 を 求 めると 徐 々に 差 がなくなっていく のが 理 解 できる.fps を 変 えた 場 合 では, 実 験 値 と 理 論 値 の 差 はあまり 見 られない.つまり ビットレートと 解 像 度 が 大 きくファイルサイズに 関 係 していることがわかる. 33

9. まとめ H.264 は, 以 前 の 企 画 に 比 べて 圧 縮 率 が 高 いことが 判 明 した. 更 に 圧 縮 率 を 上 げるために 以 下 の 項 目 を 調 整 することが 考 えられる. (1)ビットレート ビットレートを 下 げるとファイルサイズが 減 るが, 画 質 劣 化 がひどくなる. 圧 縮 処 理 速 度 は 変 わらないが 一 定 の 解 像 度 である 場 合,ビットレートを 下 げてもファイルサイズはあ まり 変 わらない. (2) 解 像 度 解 像 度 を 下 げると 圧 縮 処 理 速 度 が 速 くなり,ファイルサイズも 減 るが 画 面 が 小 さくなり 見 づらくなる. (3)フレームレート fps を 減 らした 場 合, 少 ないほど 圧 縮 処 理 速 度 は, 飛 躍 的 に 速 くなりファイルサイズも 減 るが,fps を 低 くし 過 ぎると 動 画 がぎくしゃくして 見 づらくなる. H.264 で 圧 縮 する 場 合, 鑑 賞 するならば 640 480pixel,29.97fps,3000kbps 程 度 がベ ストではないかと 考 える( 図 29). 図 29 H.264 (640 480pixel,29.97fps,3000kbps) また, 今 後 の 課 題 として,H.264 と 同 等 画 質 と 言 われている Windows Media Video 9 と 比 較 してみたいと 考 えています. 34

参 考 文 献 [1] Nagasima s Page http://www.rikkyo.ne.jp/~nagasima/mat/movie/index.html [2] 株 式 会 社 アイ ビー イー http://www.mpeg.co.jp/libraries/mpeg_labo/winpc_20.html [3] IT 用 語 辞 典 e-word http://e-words.jp/ [4] 大 久 保 榮,H.264/AVC 教 科 書, 株 式 会 社 インプレス(2004) [5] Adobe Premiere Pro 1.5 日 本 語 版 [6] QuickTime 7.0 [7] SONY DCR-TRV30 DVC [8] QTConverter 1.3.0 35