1. 序 論... 5 1.1. 研 究 背 景... 5 1.2. 研 究 目 的... 5 2. 関 連 技 術... 6 2.1. 色 空 間... 6 2.1.1. RGB... 6 2.1.2. CMY CMYK 色 空 間... 6 2.1.3. YCbCr YPbPr 色 空 間...

平 成 23 年 度 修 士 論 文 ビット 深 度 スケーラブル 符 号 化 方 式 における 非 線 形 フィルタを 用 いたレイヤ 間 予 測 手 法 早 稲 田 大 学 大 学 院 基 幹 理 工 学 研 究 科 情 報 理 工 学 専 攻 5110B081-1 竹 内 健 指 導 甲 藤 二 郎 教 授 2012 年 1 月 31 日 指 導 教 授 印 受 付 印 - 1 -

1. 序 論... 5 1.1. 研 究 背 景... 5 1.2. 研 究 目 的... 5 2. 関 連 技 術... 6 2.1. 色 空 間... 6 2.1.1. RGB... 6 2.1.2. CMY CMYK 色 空 間... 6 2.1.3. YCbCr YPbPr 色 空 間... 7 2.2. 信 号 の 圧 縮 符 号 化 に 関 する 基 礎 技 術... 10 2.2.1. 差 分 符 号 化... 10 2.2.2. 離 散 コサイン 変 換 (DCT)... 11 2.2.3. 量 子 化... 13 2.2.4. エントロピー 符 号 化... 14 2.2.5. ランレングス 符 号 化... 15 2.2.6. 動 き 補 償 フレーム 間 予 測... 15 2.2.7. GOP... 15 2.3. 評 価 指 標... 16 2.3.1. PSNR... 16 2.3.2. SSIM... 17 2.3.3. BD-PSNR, BD-RATE... 17 2.4. H.264... 18 2.4.1. 直 交 変 換... 18 2.4.2. フレーム 間 予 測 (インター 予 測 )... 19 2.4.3. フレーム 内 予 測 (イントラ 予 測 )... 19 2.4.4. ループフィルタ... 19 2.4.5. エントロピー 符 号 化... 20 2.5. H.264/SVC(Scalable Video Coding)... 20 2.5.1. スケーラビリティ... 20 2.5.2. SVC ストリームの 構 成... 20 2.5.3. 時 間 性 スケーラビリティ... 21 2.5.4. 空 間 性 スケーラビリティ... 21 2.5.5. SNR スケーラビリティ... 22 3. 高 ビット 深 度 広 ダイナミックレンジ(HDR) 画 像 信 号 の 符 号 化... 23 3.1. Tone Mapping, Inverse Tone Mapping... 23 3.1.1. Tone Mapping... 23 3.1.2. 非 線 形 な Tone Mapping... 25-2 -

3.1.3. Inverse Tone Mapping... 27 3.1.4. Lloyd-Max アルゴリズムによる TMO 生 成... 28 3.1.5. 階 層 型 Lloyd-Max アルゴリズムによる TMO 生 成... 30 3.1.6. Genetic Lloyd-Max アルゴリズムによる TMO 生 成... 31 3.2. ビット 深 度 スケーラブル 符 号 化... 34 3.2.1. ビット 深 度 スケーラビリティ... 34 3.2.2. 複 数 MCP ループ 型... 35 3.2.3. 単 一 MCP ループ 型... 35 3.2.4. ビット 深 度 スケーラビリティの 規 格 化 への 取 り 組 み... 35 3.2.5. レイヤ 間 予 測 としての Inverse Tone Mapping... 36 3.2.6. Inverse Tone Mapping における 問 題 点... 36 4. 提 案 手 法... 39 4.1. 提 案 法 の 枠 組 み... 39 4.2. ヒストグラム 予 測... 39 4.2.1. ヒストグラム 予 測 における 課 題... 39 4.2.2. 処 理 概 要... 40 4.3. グラデーション 補 間... 41 4.3.1. グラデーション 補 間 における 課 題... 41 4.3.2. 処 理 概 要... 42 4.4. 適 用 結 果... 42 4.5. 可 変 ブロック 単 位 での 選 択 的 適 用 検 討... 46 4.5.1. 可 変 ブロック 構 造... 46 4.5.2. 符 号 構 文... 46 4.5.3. コスト 関 数 による 最 適 化... 47 4.5.4. 可 変 ブロック 構 造 最 適 化 結 果 例... 48 5. 実 験... 50 5.1. 実 験 環 境... 50 5.1.1. 使 用 シーケンス... 50 5.1.2. 実 装 構 成... 52 5.1.3. 使 用 パラメータ... 52 5.2. 固 定 QP 下 での R-D 特 性... 55 5.2.1. 実 験 条 件... 55 5.2.2. 実 験 結 果... 55 5.2.3. 考 察... 57 5.3. レートコントロール 下 での R-D 特 性... 61 5.3.1. 実 験 条 件... 61-3 -

5.3.2. 実 験 結 果... 61 6. まとめ... 67 6.1. 総 括... 67 6.2. 今 後 の 課 題... 67 謝 辞... 68 参 考 文 献... 69 発 表 文 献 リスト... 71-4 -

1. 序 論 1.1. 研 究 背 景 近 年 ディスプレイや 撮 像 機 器 の 広 ダイナミックレンジ(HDR: High Dynamic Range) 化 に 伴 い より 細 やかな 階 調 表 現 が 可 能 な 10bit-per-sample などの 高 ビット 深 度 な 環 境 の 今 後 の 普 及 が 期 待 されている 高 ビット 深 度 環 境 の 普 及 の 過 程 では 従 来 の 8bit 環 境 と 高 ビット 深 度 環 境 が 共 存 すると 考 えられ これら 2 つの 異 なる 環 境 に 向 け 同 時 に 高 効 率 に HDR 高 ビット 深 度 映 像 信 号 を 符 号 化 可 能 な 方 式 として ビット 深 度 スケーラブル 符 号 化 方 式 が 検 討 されている 1.2. 研 究 目 的 高 ビット 深 度 信 号 を 従 来 環 境 で 表 示 させる 際 は 黒 潰 れ 白 飛 びを 避 け 階 調 表 現 を 出 来 るだけ 損 なわない 様 に 変 換 する Tone Mapping 処 理 を 要 する ビット 深 度 スケーラブル 符 号 化 方 式 では 原 画 像 に 対 し Tone Mapping を 施 した 従 来 環 境 向 け 信 号 を 基 本 レイヤとして 符 号 化 高 ビット 深 度 信 号 は 基 本 レイヤからの 復 号 信 号 か らの 予 測 (レイヤ 間 予 測 ) 信 号 との 残 差 を 予 測 に 要 する 情 報 と 合 わせ 拡 張 レイヤとし て 符 号 化 し それぞれを 伝 送 する 従 来 環 境 向 け 信 号 は 基 本 レイヤのみから 高 ビット 深 度 信 号 はストリーム 全 体 を 用 いて 復 号 可 能 となる [1]などの 従 来 方 式 では レイヤ 間 予 測 として Tone Mapping の 逆 処 理 である Inverse Tone Mapping による 1 対 1 の 階 調 値 変 換 を 主 に 用 いるが 予 測 信 号 が Tone Mapping の 過 程 で 失 われた 中 間 階 調 値 を 持 たない 為 グラデーション 領 域 における 原 信 号 との 残 差 は 増 大 する 残 差 成 分 は 変 換 量 子 化 の 過 程 で 劣 化 してしまうため 復 号 側 では 滑 らかなグラデー ションを 復 元 することができない 本 稿 では 1 対 多 の 階 調 値 変 換 が 可 能 な Inverse Tone Mapping 手 法 を 用 いたレイヤ 間 予 測 により レイヤ 間 予 測 の 精 度 向 上 と それに 伴 う 符 号 化 特 性 の 改 善 を 図 る 方 式 を 提 案 する - 5 -

2. 関 連 技 術 2.1. 色 空 間 色 空 間 とは 色 を 複 数 の 数 値 の 組 み 合 わせ(ベクトル)により 表 現 した 空 間 である 本 節 では 一 般 的 に 用 いられている 色 空 間 について 述 べる 以 下 [2]を 一 部 参 考 2.1.1. RGB RGB はそれぞれ 光 の 三 原 色 の 赤 (Red) 緑 (Green) 青 (Blue)の 頭 文 字 である 加 法 混 色 の 一 種 で 光 を 重 ねて 色 を 表 現 する ディスプレイ 等 において 扱 われる 色 空 間 である 図 2.1 に 加 法 混 色 の 様 子 を 示 す 一 つ 一 つの 色 は これらの 強 度 階 調 値 を 組 み 合 わせた 3 次 元 空 間 である RGB 色 空 間 を 構 成 する 3 次 元 ベクトルで 定 義 される 各 々の 強 度 階 調 値 を 表 現 するために 割 り 当 てられる 情 報 量 ビット 数 のことを 色 深 度 (ビット 深 度 )と 呼 ぶ RGB が 8bit 深 度 の 256 階 調 で 表 現 されるならば 表 現 可 能 な 色 数 は 256 256 256 =1677 万 7216 色 となる 全 ての 階 調 値 が 最 大 ならば 白 最 小 なら 黒 が 表 現 される 図 2.1 加 法 混 色 2.1.2. CMY CMYK 色 空 間 CMY は 色 の 三 原 色 の シアン(Cyan) マゼンタ(Magenta) イエロー(Yellow)の 頭 文 字 である RGB が 加 法 混 色 であるのに 対 して CMY は 減 法 混 色 であり インクを 重 ねて 色 を - 6 -

表 現 する プリンタなどで 扱 われる 色 空 間 である 図 2.2 に 減 法 混 色 の 様 子 を 示 す 全 て の 階 調 値 が 最 大 ならば 黒 最 小 なら 白 が 表 現 される こちらも RGB と 同 じく 三 色 の 混 合 に よって 理 論 上 多 彩 な 色 を 表 現 出 来 るが 実 際 の 印 刷 時 に CMY の 三 色 のインクのみで 黒 を 表 現 することは 難 しく 濁 った 色 となってしまう そこで 4 番 目 の 色 として 黒 (Key)を 用 意 し 綺 麗 な 黒 を 表 現 する CMYK 色 空 間 も 用 いられる 図 2.2 減 法 混 色 2.1.3. YCbCr YPbPr 色 空 間 YCbCr 色 空 間 では RGB 色 空 間 CMY 色 空 間 の 様 に 混 色 で 色 を 指 定 するのではない が RGB と 等 価 に 互 いに 変 換 可 能 な 色 空 間 であり 同 様 に Y Cb Cr の 三 種 類 の 値 で 表 現 される Y 値 はその 色 が 人 間 の 視 覚 に 感 じさせる 明 るさの 強 さを 表 し 輝 度 値 と 呼 ばれ る Cb Cr の 二 つ 値 は 組 み 合 わせ その 色 の 種 類 ( 色 相 )やその 濃 度 ( 彩 度 )を 表 現 する Cb 値 は RGB 色 空 間 における B 値 から Y 値 を Cr 値 は R 値 から Y 値 を 差 し 引 いた 値 に 定 数 を 掛 けた 値 として 定 義 されるため 色 差 値 と 呼 ばれる 図 2.3 に 一 定 の Y 値 と Cb, Cr 値 の 変 化 に 対 する 表 現 色 の 変 化 を 示 す - 7 -

図 2.3 CbCr 空 間 (Y=50% 横 軸 Cb 縦 軸 Cr,) YCbCr は 画 像 信 号 の 情 報 量 圧 縮 に 適 する 色 空 間 として 知 られている 人 間 の 視 覚 は 輝 度 の 変 化 に 対 しては 敏 感 であるが 一 方 で 色 差 の 変 化 には 鈍 感 であるという 性 質 を 持 って いる 画 像 情 報 を 再 現 するために 割 かれる 情 報 量 と その 再 現 度 合 い( 画 質 )は 両 天 秤 の 関 係 にある しかし 色 差 情 報 を 再 現 するためのデータ 量 を 削 減 することで 視 覚 的 には 少 ない 画 質 の 劣 化 で 大 規 模 な 人 間 の 視 覚 に 画 質 の 劣 化 をほぼ 感 じさせずに 情 報 量 を 削 減 が 可 能 となる この 性 質 から 限 られた 帯 域 で 画 像 信 号 を 伝 送 しなければならない 放 送 分 野 や 記 録 媒 体 への 画 像 信 号 の 記 録 には 一 般 的 に RGB ではなく YCbCr などの 輝 度 色 差 で 表 現 される 色 空 間 が 広 く 用 いられている YCbCr の 色 空 間 を 用 いて 情 報 量 を 減 らす 際 には 色 差 成 分 である Cb Cr の 信 号 を Y に 対 して 間 引 く 手 段 が 用 いられ よく 用 いられるフォーマットとして YUV444 YUV422 YUV420 がある 図 2.4 に 示 す 様 に YUV444 はデータの 削 減 をしない 方 式 YUV422 は UV 信 号 のみを 水 平 方 向 に 1 ピクセルずつ 間 引 く 方 式 YUV420 は UV 信 号 のみを 水 平 方 向 垂 直 方 向 にそれぞれ 1 ピクセルずつ 間 引 く 方 式 である - 8 -

図 2.4 YUV444, YUV422, YUV420 先 述 した 様 に YCbCr 色 空 間 は RGB 色 空 間 と 相 互 変 換 可 能 である RGB 色 空 間 の 信 号 値 から YCbCr 色 空 間 の 各 信 号 値 への 変 換 式 は 国 際 電 気 通 信 連 合 (ITU)により ITU-R BT.601 の 中 で 規 定 されている その 変 換 式 を 式 (2.1)に 示 す Y = 0.299 R + 0.587 G + 0.114 B Cb = 0.169 R 0.331 G + 0.500 B (2.1) Cr = 0.500 R 0.419 G 0.081 B 一 方 で YCbCr 信 号 からの RGB 信 号 への 変 換 式 は 式 (2.2)で 表 される R = Y + 1.402 Cr G = Y 0.344 Cb 0.714 Cr (2.2) - 9 -

B = Y + 1.772 Cb YCbCr 色 空 間 は 日 本 のアナログ 放 送 などで 用 いられていた NTSC 規 格 で 採 用 されてい たものであり 現 在 のハイビジョン 放 送 などでは ITU-R BT.709 の 中 で 規 定 されている YPbPr 色 空 間 を 用 いている YCbCr 色 空 間 とは 若 干 変 換 式 が 異 なり 順 逆 方 向 はそれぞ れ 式 (2.3) (2.4)として 定 義 される 現 在 では こちらも 同 様 に YCbCr と 呼 称 されるケース がある YPbPr における Y 値 は YCbCr に 比 べ 相 対 的 に G 値 の 比 率 が 大 きくなってい る Y = 0.213 R + 0.715 G + 0.072 B Pb = 0.115 R 0.385 G + 0.500 B (2.3) Pr = 0.500 R 0.454 G 0.046 B R = Y + 1.575 Pr G = Y 0.187 Pb 0.468 Pr (2.4) B = Y + 1.856 Pb 2.2. 信 号 の 圧 縮 符 号 化 に 関 する 基 礎 技 術 本 節 では 画 像 信 号 などの 情 報 量 の 圧 縮 及 びその 符 号 化 に 用 いられる 技 術 について 説 明 を 行 う 2.2.1. 差 分 符 号 化 0 から 15 の 16 種 類 の 値 を 取 る 8 つの 値 の 集 合 を 元 となる 信 号 とし この 信 号 を 記 録 または 伝 送 するとする この 信 号 を 単 純 に 符 号 化 しようとする 場 合 一 つの 値 は log 2 16 = 4bit の 情 報 量 を 持 つため 合 計 では 4 8=32bit のデータとなる 表 2.1 原 信 号 10 7 9 9 16 23 23 20 一 方 で 表 2.1 の 様 に 原 信 号 の 各 々が 隣 接 する 値 に 対 して 相 関 が 高 い 場 合 2 番 目 以 降 の 値 に 関 しては 直 前 の 値 との 差 分 を 代 わりに 符 号 化 することでデータ 量 の 削 減 が 可 能 である この 手 法 を 差 分 符 号 化 と 呼 ぶ 表 2.2 にその 差 分 を 示 す - 10 -

表 2.2 差 分 信 号 10-3 4 0 7 7 0-3 差 分 を 取 ることによって 信 号 値 の 絶 対 値 が 小 さくなり 割 り 当 てる bit 数 を 削 減 出 来 るだ けでなく 同 じ 信 号 値 が 頻 発 しやすくなるため 後 述 するエントロピー 符 号 化 と 組 み 合 わ せることで 対 象 データによっては 可 逆 でありながら 大 幅 なデータ 量 削 減 が 可 能 である 2.2.2. 離 散 コサイン 変 換 (DCT) 一 般 に 画 像 信 号 は 空 間 的 低 周 波 成 分 を 多 く 持 ち 高 周 波 成 分 は 相 対 的 に 少 ない この 性 質 を 利 用 するため JPEG や MPEG といった 画 像 映 像 の 符 号 化 方 式 では 離 散 コサイ ン 変 換 (DCT: Discrete Cosine Transform)などの 周 波 数 変 換 を 用 い 画 像 信 号 を 周 波 数 領 域 で 取 り 扱 う DCT と 逆 変 換 (IDCT)は 式 (2.5)で 表 される f(x)は 入 力 信 号 F(u)は 変 換 信 号 である N 1 F(u) = 2 (2x + 1)uπ C(u) f(x) cos N 2N N 1 x=0 f(x) = 2 (2x + 1)uπ C(u)F(u) cos N 2N u=0 2 (u = 0) C(u) = { 1 (u 0) (2.5) この DCT を 画 像 情 報 に 適 用 する 場 合 例 えば 8 画 素 8 画 素 を 1 つのブロックとし 各 々 のブロック 単 位 で 独 立 して 二 次 元 の DCT を 行 う 二 次 元 信 号 へと 拡 張 した DCT と IDCT は 式 (2.6)で 表 される この 式 に 基 づいて 二 次 元 DCT を 行 うことは 対 象 ブロックの 各 々の 行 に 対 して 独 立 して 一 次 元 DCT を 行 い 更 に 列 方 向 へ 行 うことと 等 価 である F(u, v) = 2 MN N 1 M 1 (2x + 1)uπ C(u)C(v) f(x, y) cos 2N x=0 y=0 (2y + 1)vπ cos 2M N 1 N 1 f(x, y) = 2 (2x + 1)uπ (2y + 1)vπ C(u)C(v)F(u, v) cos cos MN 2N 2M C(i) = { 1 2 u=0 u=0 (i = 0) 1 (i 0) (2.6) - 11 -

例 として 図 2.5 で 表 される 画 像 を 二 次 元 DCT に 掛 けると 図 2.7 で 表 される DCT 係 数 行 列 が 得 られる 図 2.5(a) 原 信 号 53 51 54 60 54 55 64 61 62 52 48 52 49 47 48 48 62 49 40 47 47 42 33 38 56 50 45 52 50 41 35 57 69 67 62 63 58 52 54 72 79 83 73 73 70 66 62 62 59 80 75 70 68 62 54 44 28 69 78 73 64 58 55 51 図 2.5(b) 原 信 号 - 12 -

456 26-8 -11 5-8 -5-6 -45-11 24 15 18 11 4 0 6-12 -23-8 -22 4-7 2 47-3 10 2-2 4-2 1-5 -22-2 -18 1-2 0-1 -8 3-5 4 0-2 -1-1 4-2 -2 1-1 0-1 -2-3 2 0 1-2 0-1 0 図 2.6 DCT 係 数 行 列 ( 整 数 へ 量 子 化 済 ) DCT を 行 ったことで 左 上 の 低 周 波 部 へ 係 数 が 集 中 している 2.2.3. 量 子 化 デジタル 信 号 処 理 においては 信 号 は 完 全 に 離 散 化 され 扱 われる 必 要 がある 例 えば 現 実 において 音 声 とは 連 続 的 に 変 化 する 空 気 の 震 えであり アナログな 情 報 であるが こ れをデジタル 化 する 際 には まずマイクにおいてこの 震 えの 強 弱 を 電 圧 変 化 で 表 現 される 電 気 信 号 に 変 換 し その 強 弱 を 時 間 方 向 に 一 定 の 周 期 で 取 得 ( 標 本 化 )する そうして 得 られたそれぞれの 標 本 値 (サンプル)は 強 弱 の 方 向 にも 離 散 化 が 行 われ 数 値 化 される この 強 弱 の 離 散 化 を 量 子 化 と 呼 ぶ また 電 圧 変 化 に 変 換 されたアナログ 信 号 の その 取 りうる 電 圧 の 最 小 値 と 最 大 値 の 比 率 をダイナミックレンジと 呼 ぶ 信 号 のアナログ/デジ タル 変 換 における 振 幅 方 向 への 解 像 度 は このダイナミックレンジとビット 深 度 によって 決 まる 量 子 化 に 用 いるビット 深 度 を 削 減 することでデジタル 化 される 情 報 量 の 削 減 が 可 能 だが 解 像 度 も 下 がるため 信 号 を 振 幅 方 向 に 正 しく 表 現 出 来 ず 歪 みが 生 じる この 歪 み を 量 子 化 歪 み または 量 子 化 誤 差 と 呼 ぶ このため ビット 深 度 はその 信 号 のダイナミッ クレンジにあわせて 適 切 に 決 めなければならない 一 般 的 に 音 声 信 号 は 1 サンプルあた り 16bit 画 像 信 号 は 8bit に 量 子 化 されている 実 際 は 量 子 化 はデジタル 信 号 処 理 において 実 世 界 データのデジタル 化 だけでなく 様 々 な 場 面 で 用 いられており 特 に JPEG や MPEG などの 符 号 化 方 式 では 画 像 信 号 を DCT 係 数 へ 変 換 し 記 録 伝 送 するが その DCT 係 数 列 に 対 し 量 子 化 を 行 うことで 情 報 量 の 削 減 を 行 っている この 操 作 には 当 然 量 子 化 歪 みが 伴 うが DCT 係 数 列 において 人 間 に 歪 みが 知 覚 されやすい 低 周 波 領 域 の 係 数 には 細 かい 量 子 化 知 覚 されにくい 高 周 波 領 域 では 粗 い 量 子 化 を 用 いることで 視 覚 的 な 劣 化 を 抑 制 出 来 る 図 2.7(a)に 量 子 化 された DCT 係 数 を 示 す この 行 列 に 対 し 量 子 化 時 の 除 数 と 同 じ 整 数 を 掛 け 更 に 二 次 元 IDCT を 掛 ける ことで 復 元 された 信 号 を 図 2.7(b)に 示 す 高 周 波 成 分 が 失 われていても 画 像 信 号 の 見 た 目 には 影 響 がされにくいことが 確 認 出 来 る - 13 -

57 3 0-1 0 0 0 0-5 -1 3 1 2 1 0 0 0-1 -2 0-2 0 0 0 5 0 1 0 0 0 0 0 0-2 0-2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 図 2.7(a) 均 等 に 量 子 化 された 図 2.7(b) 図 2.7(b) 図 2.7(a)から 復 元 された 信 号 2.2.4. エントロピー 符 号 化 エントロピー 符 号 化 とは 符 号 量 を 減 少 させる 様 に 符 号 を 割 り 当 てる コンパクト 符 号 の 概 念 の 一 つであり 情 報 源 から 発 生 する 符 号 対 象 (シンボル)のなかで 頻 発 するものに は 短 い 符 号 語 を 稀 に 出 現 するものには 長 い 符 号 語 を 割 り 当 てることで 効 率 よく 符 号 化 を 行 う 最 適 な 符 号 を 割 り 当 てた 場 合 その 平 均 符 号 長 は 情 報 源 のエントロピーに 等 しく なる エントロピーを 式 (2.7)に 示 す ここで n は 要 素 数 P n はその 中 の 任 意 の 要 素 n の 出 現 確 率 を 表 している 具 体 的 な 例 としてはハフマン 符 号 化 や 算 術 符 号 化 があり 情 報 圧 縮 に 広 く 用 いられている entropy = P n log 2 P n n (2.7) - 14 -

2.2.5. ランレングス 符 号 化 ランレングス 符 号 化 では 連 続 するデータ 列 をその 連 なり(ラン)の 長 さを 表 す 数 字 に 置 き 換 えることで 圧 縮 を 行 う 例 えば IGAAAAAAAAAAAA というデータ 列 に 対 して 適 用 する 場 合 は A が 12 個 並 んでいるので IGA12 といった 文 字 列 に 置 き 換 えられる 画 像 符 号 化 の 分 野 においては ファクシミリの 様 な 白 か 黒 しか 出 現 せず 余 白 部 などではデータが 連 続 しやすい 二 値 画 像 や 図 2.7(a)の 様 に 0 が 頻 発 する 量 子 化 された DCT 係 数 などの 符 号 化 に 用 いられる 2.2.6. 動 き 補 償 フレーム 間 予 測 図 2.8 動 き 補 償 の 原 理 時 系 列 方 向 へ 広 がりをもつ 映 像 信 号 においては その 時 間 方 向 の 相 関 性 を 利 用 したフレ ーム 間 予 測 符 号 化 が 可 能 である 例 えば 図 2.8 の 様 な 物 体 が 移 動 する 様 な 映 像 に 対 し 符 号 化 を 行 うとし N-1 フレーム 目 については 符 号 化 が 完 了 しているとする このとき N フ レーム 目 の 物 体 部 分 は N-1 フレーム 目 に 存 在 する 物 体 はどの 位 置 へ 移 動 したか という 情 報 だけを 送 るだけで 復 元 時 に 一 意 に 復 元 可 能 である この 様 に 物 体 の 動 きを 利 用 し 符 号 化 対 象 ブロックの 符 号 量 を 削 減 する 手 法 を 動 き 補 償 フレーム 間 予 測 と 呼 ぶ 実 際 には 物 体 単 位 でなくブロック 単 位 で 行 われ また 動 き 情 報 ( 動 きベクトル)だ けでなく 符 号 化 済 みフレームから 補 償 された 物 体 領 域 ( 予 測 画 像 )と 原 信 号 との 差 分 ( 予 測 残 差 画 像 )もまた 圧 縮 対 象 となる 2.2.7. GOP フレーム 間 予 測 を 用 いた 符 号 化 は 高 い 圧 縮 率 が 得 られる 一 方 で 動 きベクトルの 算 出 を 要 する 分 計 算 量 が 増 大 する また フレーム 間 予 測 を 用 いたフレームを 復 号 する 際 には 参 照 されるフレームを 保 持 するためのメモリを 用 意 する 必 要 がある また データの 欠 落 などによる 他 フレームでの 劣 化 が そのフレームに 依 存 するフレーム 全 てへ 伝 播 してしま うなど 一 概 に 無 計 画 に 多 用 されるものではない そこで MPEG2 や H.264 といった 映 像 符 号 化 方 式 では シーケンスを GOP(Group Of Picture)とよばれる 単 位 に 区 切 り それ - 15 -

ぞれが 他 の GOP に 依 存 せず 独 立 して 復 号 可 能 となる 様 に 符 号 化 を 行 っている GOP は I ピクチャ P ピクチャ B ピクチャの 3 種 類 から 構 成 されている I ピクチャ I ピクチャはフレーム 間 符 号 化 を 用 いないため 他 のフレームに 依 存 せずに 復 号 可 能 であ る しかし 符 号 量 は 他 の 種 類 に 比 べて 増 大 する P ピクチャ P ピクチャでは 自 身 よりも 過 去 に 存 在 するフレーム 1 つを 用 いてフレーム 間 符 号 化 を 行 う I ピクチャに 対 し 符 号 量 は 削 減 される B ピクチャ B ピクチャも 同 様 にフレーム 間 符 号 化 を 行 うが P ピクチャとは 異 なり 過 去 と 未 来 から 自 身 の 符 号 化 の 前 に 既 に 符 号 化 されているフレームを 2 つまで 用 いることが 出 来 る また 3 種 類 のピクチャの 中 で 最 もデータ 量 は 小 さくなる 2.3. 評 価 指 標 画 質 の 評 価 指 標 には 計 算 により 画 質 を 求 める 客 観 的 評 価 と 実 際 に 人 間 の 目 によって 判 断 する 主 観 的 評 価 がある ここでは 客 観 的 画 質 の 評 価 手 法 について 述 べる また それ を 応 用 し 異 なる 2 つの 符 号 化 方 式 間 の 符 号 化 効 率 特 性 の 比 較 評 価 を 行 う 指 標 についても 述 べる 2.3.1. PSNR 画 像 の 劣 化 具 合 を 客 観 的 に 評 価 する 指 標 として 最 も 用 いられるのが PSNR(Peak Signal-to-Noise Ratio)である その 算 出 式 を 式 (2.8)に 示 す PSNR=10 log 10 MAXVAL 2 MSE= 1 MN MSE M 1 N 1 X(i, j) Y(i, j) 2 i=0 j=0 (2.8) X(i, j) は 原 画 像 Y(i, j) は 劣 化 画 像 を 表 し M, N は 画 像 の 縦 横 の 画 素 数 MAXVAL は 原 画 像 がとりうる 最 大 の 画 素 値 を 表 す MSE は 平 均 二 乗 誤 差 (Mean Square Error)を 表 し ており PSNR は MSE の 逆 数 の 対 数 に 比 例 する 劣 化 画 像 の 劣 化 が 少 なければ 少 ない 程 - 16 -

その PSNR は 大 きな 値 となる 2.3.2. SSIM SSIM(Structural Similarity)[3]とは PSNR よりも 主 観 評 価 に 近 い 評 価 値 を 出 すものと して 開 発 された 客 観 評 価 手 法 であり 式 (2.9)によって 求 められる SSIM(X, Y) = (2μ xμ y + C 1 )(2σ xy + C 2 ) (μ x 2 + μ y 2 + C 1 )(σ x 2 + σ y 2 + C 2 ) (2.9) X を 原 画 像 Y を 劣 化 画 像 とすると μ x, μ y はそれぞれの 輝 度 値 の 平 均 σ x, σ y はそれ ぞれの 輝 度 値 の 分 散 σ xy は X と Y の 輝 度 値 の 共 分 散 を 表 す また C 1, C 2 は 定 数 で C 1 = (K 1 L) 2, C 2 = (K 2 L) 2 で 定 義 される L は 輝 度 値 のダイナミックレンジを 表 す K 1, K 2 の 標 準 値 はそれぞれ 0.01, 0.03 としている 2.3.3. BD-PSNR, BD-RATE 一 般 的 に 動 画 像 の 符 号 化 過 程 は 不 可 逆 であり 生 成 される 符 号 量 と その 符 号 から 復 号 される 信 号 の 画 質 はトレードオフの 関 係 にある 先 述 の 例 では DCT 係 数 の 量 子 化 時 の 除 数 を 大 きくすればするほど 符 号 量 は 減 り 復 号 信 号 の 画 質 (PSNR)は 劣 化 する しかし ながら 単 位 時 間 で 発 生 する 符 号 量 (ビットレート:Bit-Rate)と PSNR( 符 号 化 歪 み: Distortion)の 関 係 は 符 号 化 方 式 により 異 なる 各 々の 符 号 化 方 式 が 持 つビットレートと 符 号 化 歪 みの 関 係 を R-D 特 性 と 呼 ぶ R-D 特 性 は 一 般 的 に 図 2.9 の 様 な 曲 線 を 描 き 低 ビッ トレート 領 域 ではレートの 増 加 に 対 して PSNR は 急 激 に 増 加 し ビットレートが 一 定 より 高 くなると PSNR の 向 上 は 抑 制 される 図 2.9 には 2 つの R-D 特 性 曲 線 が 描 かれている これらはそれぞれ 動 画 像 符 号 化 方 式 A 方 式 B に 同 じシーケンスを 入 力 として 与 えた 場 合 の R-D 特 性 であり 方 式 A の 曲 線 は 方 式 B の 曲 線 に 対 し 以 下 の 2 点 が 言 える 同 じ PSNR でビットレートが 少 ない 同 じビットレートで PSNR が 高 い よって 符 号 化 方 式 A は 方 式 B よりも 圧 縮 効 率 が 高 いと 判 断 出 来 る BD-PSNR, BD-RATE[4]は この 2 曲 線 間 の 圧 縮 効 率 の 差 を 数 値 として 算 出 する 手 法 で あり BD-PSNR は 同 じビットレートでの PSNR の 差 [db] をビットレート 方 向 に 平 均 した 値 BD-RATE は 同 じ PSNR でのビットレートの 相 対 的 な 違 い[%] を PSNR 方 向 へ 平 均 した 値 をそれぞれ 表 す - 17 -

図 2.9 BD-PSNR, BD-RATE の 概 念 2.4. H.264 H.264(MPEG-4 Part 10 Advanced Video Coding, H.264/AVC)[5]は ITU と MPEG が 共 同 し Joint Video Team(JVT)として 策 定 し 2003 年 に 勧 告 された 動 画 像 圧 縮 規 格 で ある 圧 縮 の 原 理 は MPEG-2 などと 同 様 に DCT などの 直 交 変 換 とフレーム 間 予 測 を 併 用 した ハイブリッド 符 号 化 であるが 圧 縮 率 向 上 のための 様 々な 工 夫 がなされている 以 下 [2]を 参 考 2.4.1. 直 交 変 換 従 来 の JPEG や MPEG-2 では すべて 8 8 ブロックでの DCT が 用 いられてきた H.264 では 4 4(High プロファイルでは 8 8 単 位 も 導 入 )の 整 数 精 度 DCT と DHT( 離 散 アダマール 変 換 )を 併 用 している 4 4 単 位 での DCT の 長 所 としては 以 下 が 挙 げられる 8x8 に 比 べて 4x4 単 位 のほうが 各 々のブロックで 相 対 的 に 低 周 波 成 分 へ 係 数 が 集 まり - 18 -

やすい また 一 度 に 扱 うデータ 数 が 少 なく 演 算 の 有 効 桁 数 が 少 ないため 実 装 が 容 易 である 他 のフローの 最 小 処 理 単 位 が 4 4 であるため 整 合 性 を 取 っている また DCT 係 数 が 実 数 ではなく 整 数 精 度 で 出 力 されるため 各 々のデコーダ 側 での 浮 動 小 数 点 数 演 算 の 実 装 法 によって 変 換 結 果 が 合 わず 復 号 結 果 が 全 てのデコーダで 一 致 し ないといった 問 題 が 発 生 せず また 整 数 精 度 DCT の 実 装 自 体 が 加 減 算 とビットシフトの みで 実 装 可 能 なため ハードウェア 実 装 が 容 易 であるメリットもある H.264 は 4x4 ブロックで 整 数 精 度 DCT を 行 う 関 係 で 相 対 的 に 直 流 係 数 が 多 く 発 生 し 16x16 のブロック 領 域 からは 16 個 の DC 係 数 が 生 成 される これらの 係 数 は 4x4 にリサイ ズされた 画 像 信 号 と 等 価 であり これらの 係 数 に 対 しても 同 様 に 直 交 変 換 が 有 効 であり 整 数 精 度 DCT を 用 いるが 特 定 の 条 件 において DHT を 用 いる DHT は 加 減 算 のみで 実 装 が 可 能 であり 整 数 精 度 DCT よりも 実 装 が 容 易 である 2.4.2. フレーム 間 予 測 (インター 予 測 ) MPEG-2 や MPEG-4 など 従 来 のフレーム 間 予 測 では P ピクチャでは 直 前 のフレーム B ピクチャでは 直 前 直 後 のフレームからしか 参 照 が 出 来 なかった H.264 では 過 去 方 向 未 来 方 向 それぞれで 2 枚 まで 参 照 フレームを 持 つことが 可 能 な 上 それらのリストの 中 から 過 去 未 来 に 寄 らず 最 大 2 枚 までのピクチャをブロック 単 位 で 自 由 に 選 び 参 照 可 能 となっている また H.264 では 各 フレームを 16 16 単 位 をマクロブロックとしてい るが 予 測 に 用 いるブロックサイズは 16 16, 16 8, 8 16, 8 8 から 選 択 出 来 更 に 8 8 については 8 8, 8 4, 4 8, 4 4 の 4 つのサブマクロブロックタイプから 選 択 可 能 であ る フレーム 間 予 測 に 用 いるブロックサイズの 自 由 度 が 高 く 動 く 物 体 の 境 界 に 対 しての 最 適 なブロック 構 造 が 選 択 可 能 である 他 にも 動 きベクトルの 算 出 精 度 を 1/4 画 素 精 度 で 求 めている 符 号 化 済 のベクトル 情 報 から 動 きベクトル 情 報 自 体 を 予 測 し 符 号 量 を 削 減 するなど 多 くの 工 夫 が 為 されている 2.4.3. フレーム 内 予 測 (イントラ 予 測 ) H.264 では 同 一 フレーム 内 の 隣 接 するブロック 間 との 相 関 を 利 用 したイントラ 予 測 を 採 用 している イントラ 予 測 では 符 号 化 対 象 のブロックに 対 し 隣 接 する 4 つの 符 号 化 済 ブ ロックから 画 素 を 参 照 補 間 し 複 数 の 方 向 に 対 し 補 間 を 試 み 各 々 予 測 画 像 を 生 成 し 近 似 を 図 る 符 号 化 対 象 のブロック 周 りが 単 純 な 指 向 性 を 持 った 柄 である 場 合 などに 特 に 有 効 となる 2.4.4. ループフィルタ H.264 も JPEG などと 同 様 ブロック 単 位 で 符 号 化 を 行 っているため それぞれのブロ ック 境 界 が 不 連 続 となり それがブロックノイズとして 知 覚 される H.264 ではブロック 境 界 に 対 して 平 滑 化 を 行 い 目 立 たなくする デブロッキングフィルタを 採 用 している デ - 19 -

ブロッキングフィルタは 動 き 補 償 処 理 のループの 中 で 反 復 して 掛 けられるため ループフ ィルタとも 呼 ばれる ただし デブロッキングフィルタは 処 理 量 が 大 きいため その 適 用 の 有 無 を 指 定 出 来 る 様 になっている 2.4.5. エントロピー 符 号 化 H.264 では エントロピー 符 号 化 手 法 として 指 数 ゴロム 符 号 CALVC(Context-Adaptive Variable Length Coding:コンテキスト 適 応 型 可 変 長 符 号 化 方 式 )の 二 つを 使 用 している High プロファイルでは 新 たに CABAC(Context-Adaptive Binary Arithmetic Coding: コンテキスト 適 応 型 2 値 算 術 符 号 化 方 式 )が 選 択 可 能 となった 2.5. H.264/SVC(Scalable Video Coding) H.264/SVC は H.264/AVC 規 格 に 基 づいた 拡 張 規 格 であり スケーラビリティ 機 能 を 適 供 する 以 下 は[6]を 参 考 2.5.1. スケーラビリティ ハイエンド PC や 携 帯 電 話 など 映 像 情 報 の 受 け 手 (デコード 側 )は 多 様 化 してきた こ れらの 処 理 性 能 も 解 像 度 も 異 なる 様 々なデコード 側 端 末 に 応 じて また インターネッ ト 配 信 時 のネットワーク 状 況 に 応 じて 適 切 な 解 像 度 やフレームレートの 制 御 を 行 う 機 能 がスケーラビティ 機 能 である この 機 能 を 単 純 に 実 現 するためには ハイエンド PC 向 け 携 帯 電 話 向 け ブロードバンド 向 け ナローバンド 向 けといった 複 数 の 機 器 状 況 に 対 応 したストリームを 複 数 用 意 し 状 況 に 応 じて 適 切 なストリームを 配 信 すればよいが こ れらのストリームは 独 立 してそれぞれエンコードしなければならない 上 それらのストリ ーム 間 には 共 通 する 情 報 が 多 く 全 体 として 冗 長 性 がとても 大 きい H.264/SVC では 複 数 の 品 質 向 けのストリームを 同 時 にエンコード 出 来 るだけでなく それらのストリーム 間 の 冗 長 性 を 限 りなく 排 除 している 2.5.2. SVC ストリームの 構 成 SVC によって 生 成 されるストリームは 一 つの 基 本 レイヤ(base layer)と 複 数 の 拡 張 レイ ヤ(enhancement layer)から 構 成 されている 基 本 レイヤでは H.264/AVC に 準 拠 した 動 画 像 符 号 化 が 行 われ 基 本 レイヤストリームのみからは 最 低 品 質 の 映 像 が 復 号 される 拡 張 レイヤにはそれを 補 助 し 品 質 を 向 上 するための 情 報 を 内 包 している 符 号 化 は 基 本 レ イヤ 拡 張 レイヤの 順 に 行 われ 拡 張 レイヤの 符 号 化 時 には レイヤ 間 の 冗 長 性 を 省 くた め 予 測 処 理 が 行 われる 現 行 の SVC では Temporal( 時 間 性 )と Spatial( 空 間 性 ) Quality(SNR)の 3 つの 品 質 に 対 するスケーラビリティを 提 供 している - 20 -

2.5.3. 時 間 性 スケーラビリティ 時 間 性 スケーラビリティは 復 号 に 用 いるレイヤの 数 に 応 じて 異 なるフレームレートで のデコードを 可 能 とする 時 間 性 スケーラビリティを 実 現 するため 図 2.10 において 赤 青 緑 の 順 に 優 先 的 に 符 号 化 を 行 う また 優 先 度 の 低 い 階 層 にあるフレーム( 緑 )は より 優 先 度 の 高 いフレーム( 赤 青 )の 符 号 化 には 用 いない 図 2.10 空 間 性 スケーラリティにおけるレイヤ 間 予 測 ( 黒 矢 印 )と 時 間 性 スケーラビリティを 考 慮 したフレーム 間 予 測 ( 赤 青 緑 矢 印 )[6] 2.5.4. 空 間 性 スケーラビリティ 空 間 スケーラビリティは 復 号 に 用 いるレイヤの 数 に 応 じて 異 なる 解 像 度 でのデコード を 可 能 とする 空 間 性 スケーラビリティでは 下 位 レイヤが 低 解 像 度 上 位 レイヤとして 高 解 像 度 が 対 応 し 図 2.10 の 黒 線 に 表 される 様 なレイヤ 間 予 測 を 行 う その 主 な 目 的 は 上 位 レイヤの 符 号 化 効 率 改 善 に 可 能 な 限 り 下 位 レイヤの 情 報 を 用 いることにある 具 体 的 には 下 位 レイヤからの 復 号 信 号 をアップサンプリングし それを 予 測 信 号 として 減 算 する しかし 仮 に 下 位 レイヤにおける 復 号 信 号 が 劣 化 の 無 い 完 璧 なものであったとして も それをアップサンプリングしたものと 上 位 レイヤにおけるレイヤ 内 (フレーム 間 ) 予 測 による 信 号 とでは 後 者 の 方 がより 良 い 予 測 となる 場 合 もある これは 原 信 号 が 細 か な 空 間 情 報 を 持 ち 動 きの 少 ないシーケンスであった 場 合 に 特 に 顕 著 になる そこで 下 位 レイヤの 対 象 ブロックがイントラ 符 号 化 されている 場 合 はそのままアップサンプリング を 行 い 上 位 レイヤにおける 予 測 信 号 とするレイヤ 間 イントラ 予 測 下 位 レイヤの 対 象 ブロ ックの 残 差 信 号 をアップサンプリングし 上 位 レイヤでの 残 差 信 号 として 用 いるレイヤ 間 残 差 予 測 下 位 レイヤの 対 象 ブロックがインター 予 測 ブロックの 場 合 その 動 き 情 報 を 利 用 し 上 位 レイヤでもインター 予 測 を 行 うレイヤ 間 動 き 予 測 などのモードが 採 用 されてい る - 21 -

2.5.5. SNR スケーラビリティ SNR スケーラビリティは 復 号 に 用 いるレイヤの 数 に 応 じて 異 なる SNR ビットレート でのデコードを 可 能 とする SNR スケーラビリティは 下 位 レイヤと 上 位 レイヤとの 解 像 度 が 同 一 な 特 殊 な 場 合 の 空 間 性 スケーラビリティとしても 考 慮 される この 方 針 を Course-Grain quality Scalable coding (CGS)と 呼 ぶ CGS ではレイヤ 間 予 測 を 空 間 性 スケ ーラビリティの 時 と 同 様 に 行 うが レイヤ 間 においてアップサンプリングを 行 わない 点 に 違 いがある しかし この 方 針 では 選 択 出 来 る 復 号 ビットレートは 少 なく また 異 なる CGS レイ ヤ 間 の 切 替 えも 特 定 のポイントでなければ 実 行 できない 加 えて 復 号 ビットレートの 通 りを 増 やすために CGS レイヤを 増 やせば 符 号 化 効 率 の 相 対 的 な 低 下 を 招 いてしまうこ とが 分 かっている そこで それらを 解 消 する 方 針 として Medium-Grain quality Scalability(MGS)が 提 供 されている CGS との 違 いは あらゆるアクセスユニットにおいて 異 なる MGS レイヤ の 切 り 替 えを 許 していることと 用 意 された MGS レイヤの 間 でも 複 数 のレートを 選 択 可 能 なことにある - 22 -

3. 高 ビット 深 度 広 ダイナミックレンジ(HDR) 画 像 信 号 の 符 号 化 近 年 ディスプレイなどの 表 示 機 器 や カメラセンサなどの 撮 像 機 器 のダイナミックレ ンジ 特 性 向 上 により 広 ダイナミックレンジを 持 った 画 像 データが 普 及 し 始 める 様 になっ た また 従 来 ダイナミックレンジの 画 像 データを 合 成 し HDR 画 像 を 得 る 手 法 なども 提 案 され 一 般 に 普 及 するデジタルカメラや 携 帯 電 話 スマートフォンにその 機 能 が 搭 載 さ れるなど その 動 向 は 著 しい 広 いダイナミックレンジを 持 つ 画 像 情 報 は その 振 幅 ( 明 度 ) 方 向 への 解 像 度 を 十 分 に 持 たせるためには ビット 深 度 もまた 多 く 取 らなければならない この 為 従 来 広 く 用 い られていた 8bit 深 度 よりも 高 い 10bit や 12bit といったビット 深 度 に 対 応 するハードウェ ア ソフトウェアもまた 普 及 し 始 めている 現 在 NHK が 研 究 開 発 を 行 っている 次 世 代 放 送 方 式 Super Hi-Vision では 12bit のビット 深 度 で 放 送 を 行 う 予 定 であり それに 伴 い 今 後 は 急 激 に 高 ビット 深 度 環 境 への 移 行 が 進 むと 推 察 される 本 章 では 高 ビット 深 度 画 像 信 号 と その 符 号 化 に 関 連 する 技 術 について 解 説 を 行 う 3.1. Tone Mapping, Inverse Tone Mapping 3.1.1. Tone Mapping 図 3.1 に HDR 従 来 環 境 のそれぞれで 表 現 可 能 なダイナミックレンジと 現 実 世 界 にお ける 光 の 強 度 との 関 係 を 示 す - 23 -

図 3.1 現 実 世 界 における 光 の 強 度 と 各 々の 環 境 で 表 現 可 能 な 明 度 の 関 係 現 実 には 身 近 なものでは 太 陽 の 光 の 明 るさから 暗 室 の 中 の 暗 さまで とても 広 い 幅 の 明 るさが 存 在 しうるが 今 現 在 となっても その 様 なとても 広 い 明 暗 を 同 時 に 記 録 出 来 る センサ 表 現 出 来 るディスプレイは 実 現 されてはいない 図 3.1 の 左 に 示 す 様 な 明 暗 の 範 囲 の 内 の 図 3.1 の 中 央 に 示 す 様 な 限 られた 範 囲 で 記 録 表 示 を 行 うこととなる デジタルカ メラで 現 実 風 景 を 撮 像 する 場 合 では この 明 暗 の 幅 (ダイナミックレンジ)の 外 の 領 域 に おける 明 るさの 変 動 は 表 現 できず 全 て 最 高 明 度 もしくは 最 低 明 度 として 記 録 されてしま う( 白 飛 び 黒 潰 れ) 記 録 可 能 なダイナミックレンジや その 感 度 域 の 絶 対 的 な 明 度 は そのダイナミックレンジのそのカメラに 搭 載 されたセンサの 性 能 や 絞 り 値 露 光 時 間 (シ ャッタースピード)などの 要 素 によって 変 化 する この 様 にして 高 性 能 なセンサなどで 撮 像 された 10bit 深 度 の HDR 画 像 信 号 を ダイ ナミックレンジが 狭 い 従 来 環 境 の 8bit 深 度 ディスプレイで 表 示 する 場 合 を 考 える この 10bit 深 度 信 号 を 8bit 信 号 へ 変 換 する 最 も 単 純 な 手 段 は 下 位 ビットの 切 り 捨 てであるが 微 細 な 階 調 変 化 が 失 われることで 表 現 力 が 大 きく 低 下 してしまう また 階 調 変 化 を 詳 細 に 保 持 するために 10bit 階 調 値 における 限 られた 値 域 ( 例 :10~265)のみを 8bit の 256 階 調 値 へマッピングする 手 段 も 考 えられるが この 場 合 その 値 域 以 外 の 変 化 を 保 持 できず 白 飛 び 黒 潰 れを 起 こすといった 問 題 が 発 生 する この 様 な 問 題 を 回 避 し 表 現 力 を 出 来 - 24 -

るだけ 落 とさずにダイナミックレンジを 縮 小 しビット 深 度 を 削 減 する 手 法 は Tone Mapping と 呼 ばれ いくつかの 手 法 が 提 案 されてきた 以 降 ダイナミックレンジの 狭 い 従 来 環 境 を 標 準 ダイナミックレンジ(SDR: Standard Dynamic Range) 環 境 SDR 環 境 向 け 8bit 離 散 値 信 号 を SDR 信 号 と 呼 称 する 3.1.2. 非 線 形 な Tone Mapping 先 述 の HDR 信 号 における 10bit 階 調 値 の 下 位 ビットを 切 り 捨 て SDR 信 号 とする 場 合 その 入 力 値 と 出 力 値 の 関 係 は 図 3.2(a)で 表 される 様 な 線 形 的 な 関 係 となる 図 3.2(a) 線 形 な Tone Mapping における 階 調 値 関 係 この 様 な 入 力 の HDR 信 号 に 対 する 出 力 の SDR 信 号 との 関 係 を Tone Mapping Operator(TMO)と 呼 ぶ この TMO を 用 いて Tone Mapping を 行 った 場 合 HDR 信 号 値 に おける 全 ての 領 域 に 対 し 平 等 な 階 調 値 圧 縮 が 行 われることとなる 一 方 で 人 間 の 視 覚 特 性 に 合 わせ 高 感 度 域 に 多 くの 階 調 値 を 割 り 当 てる 様 に 図 3.2(b)に 表 される 様 な 非 線 形 なトーンカーブを 用 いることもある この 様 な 非 線 形 な 変 換 は 実 装 上 は 変 換 表 (LUT: Look-Up Table)を 用 いるか 図 3.2(c)に 表 される 様 な 区 間 的 な 線 形 関 係 で 近 似 することとなる - 25 -

図 3.2(b) 非 線 形 な Tone Mapping における 階 調 値 関 係 図 3.2(c) 区 間 線 形 な Tone Mapping における 階 調 値 関 係 非 線 形 Tone Mapping には 例 えば[7]では x を 入 力 の HDR 信 号 値 y を 出 力 の SDR 信 号 値 としたとき y = ax 1 + x で 表 される 様 な 非 線 形 関 数 を 用 いている ここで α はパラメータと 入 力 信 号 強 度 の 幾 何 平 - 26 -

均 によって 決 まる 定 数 であり この 値 によって HDR 信 号 におけるどの 値 域 が 詳 細 に 変 換 さ れるかが 決 定 する また Tone Mapping は HDR 信 号 における 画 素 全 てこの 様 な 入 出 力 特 性 を 同 じく 適 用 す るのではなく 画 面 内 の 局 所 的 な 特 徴 を 考 慮 し 関 数 を 変 えるものもあれば 前 処 理 や 後 処 理 として 空 間 的 フィルタリングを 伴 うものもある TMO とは 厳 密 には 入 出 力 を 決 める 関 数 や LUT だけでなく 変 換 に 用 いた 一 連 の 処 理 フロー 全 体 を 指 す 画 面 の 局 所 的 特 徴 を 用 いず 一 様 な 変 換 が 適 用 される TMO を global な TMO 局 所 的 得 量 を 考 慮 するものを local な TMO と 呼 ぶ TMO の 設 計 単 位 としては 原 信 号 が RGB 色 空 間 であった 場 合 は 各 成 分 で 独 立 に 設 計 される 場 合 もあれば 3 成 分 に 共 通 に 適 用 される 様 設 計 する 場 合 もある YCbCr 色 空 間 に 代 表 される 輝 度 色 差 で 表 現 される 色 空 間 では 輝 度 と 色 差 で 大 きく 階 調 値 分 布 などの 信 号 特 性 が 異 なるため 3 成 分 共 通 では 設 計 せず 各 成 分 で 独 立 して 設 計 する か 輝 度 色 差 別 でそれぞれ 設 計 する 方 法 を 取 る 3.1.3. Inverse Tone Mapping Tone Mapping を 用 いて SDR 信 号 値 に 変 換 された HDR 信 号 値 は 用 いられた TMO の 逆 となる 様 な 処 理 を 掛 けることで HDR 信 号 値 へ 復 元 することが 出 来 る この 様 な 逆 処 理 を Inverse Tone Mapping と 呼 ぶ しかし 用 いられた TMO が 既 知 でない 場 合 や TMO は 既 知 であっても 用 いられたパラメータが 分 からない 場 合 には 復 元 は 難 しく そして 何 よりも SDR 信 号 値 に 変 換 された 時 点 でビット 深 度 が 削 減 されていることから 望 まれる 復 元 度 合 いはある 程 度 に 留 まる Tone Mapping は 量 子 化 と 同 じく 歪 みを 伴 う 操 作 であり Tone Mapping と Inverse Tone Mapping を 経 ることで 生 まれた 歪 みを Tone Mapping 歪 み と 呼 ぶ Global で 階 調 値 変 換 ベースの TMO を 用 いた 場 合 この 歪 みの 度 合 いは TMO の LUT(もしくは 特 性 を 表 す 関 数 )に 依 存 し 式 (3.1)で 評 価 される MSE(f) = 1 N x f 1 (f(x)) 2 2 (3.1) ここで x は 入 力 の 原 信 号 を 表 すベクトル N はそのベクトルの 要 素 数 ( 画 素 総 数 ) f は HDR 信 号 値 から SDR 信 号 値 への 写 像 f 1 はその 逆 変 換 とする MSE は HDR 原 信 号 値 と その 値 が 順 逆 Tone Mapping を 経 て 復 元 された 値 との 平 均 二 乗 誤 差 を 示 している TMO における 階 調 値 変 換 が LUT として 定 義 実 装 されるとき fは HDR 階 調 値 のどの 範 囲 (ゾーン)がそれぞれの SDR 階 調 値 に 割 り 当 てられるのかを 表 す 区 切 り(partition)とし て 表 現 され f 1 は HDR 階 調 値 のそれぞれのゾーンの 代 表 値 (codebook)を 表 す その 関 係 を 表 3.1 に 示 す - 27 -

表 3.1 partition と codebook の 関 係 index 0 1 2 3 4 5 6 partition 0(~3) 4(~7) 8(~11) 12(~15) 16(~19) 20(~23) 24(~27) codebook 2 6 10 14 18 22 26 3.1.4. Lloyd-Max アルゴリズムによる TMO 生 成 入 力 信 号 x に 対 し 最 も 適 切 な TMO は 極 端 には 存 在 しうる 全 ての partition を 式 (3.1) で 評 価 し MSE が 最 も 低 いものを 探 し 出 すことで 得 られる しかし 考 えられる partition の 数 は 1024 階 調 からその 256 階 調 を 区 切 りとして 選 ぶ 場 合 の 組 み 合 わせの 数 であり それ は 3.46 10 248 通 りとなる この 膨 大 な 数 を 総 当 たりで 探 索 することは 無 謀 であるため 最 適 解 に 近 似 する 解 を 探 索 するためのアルゴリズムが 考 えられてきた ある x に 対 し codebook を 固 定 した 場 合 式 (3.1)の MSE を 最 小 化 する 最 適 な partition は その codebook の 中 点 を 取 るものとして 得 られる また partition を 固 定 した 場 合 の 最 適 な codebook は partition で 区 切 られた HDR 信 号 値 の 重 心 を 求 めることで 得 られる この 二 つを 反 復 して 行 うことにより x に 対 し MSE を 最 小 化 する 様 な 最 適 な codebook, partition を 得 ようとするアルゴリズムとして Lloyd-Max アルゴリズム[8]がある しかし Lloyd-Max アルゴリズムは 反 復 開 始 時 に 初 期 値 として 与 えた codebook もしくは partition に 近 いに 対 して 最 終 出 力 が 依 存 する 局 所 解 問 題 がある 入 力 信 号 x として 図 3.3(a)の 10bit グレースケール 画 像 を 与 える この 信 号 の 階 調 値 分 布 (ヒストグラム)を 図 3.3(b)に 示 す 図 3.3(a) 対 象 HDR 信 号 - 28 -

図 3.3(b) ヒストグラム Tone Mapping 歪 みを 抑 える 観 点 では 図 3.3(b)における 750 付 近 の 様 な 頻 出 する 階 調 値 域 に 対 し 細 かく 階 調 値 を 割 り 当 てる 様 な codebook, partition が 最 適 とされる この 信 号 に 対 し 初 期 状 態 として 図 3.2(a)の 線 形 な TMO を 与 え Lloyd-Max アルゴリズムによって 得 ら れた TMO を 図 3.4(a)に 示 す 反 復 終 了 条 件 としては 1000 回 の 反 復 を 設 定 した 図 3.4(a) Lloyd-Max アルゴリズムによって 得 られた TMO 結 果 Tone Mapping 歪 みによる MSE は 1.503 から 1.310 へ 減 少 しているが TMO 自 体 は 初 期 状 態 からの 僅 かな 変 化 しか 得 られていないことが 確 認 出 来 る 元 々Lloyd-Max アル ゴリズムは 実 数 値 の 入 力 信 号 から 有 限 な 離 散 値 を 持 つ 出 力 信 号 へ 量 子 化 する 際 に 最 適 な - 29 -

codebook を 求 める 為 の 手 法 であり その 入 力 信 号 と 出 力 信 号 の 取 りうる 信 号 値 の 比 は 無 限 大 である 一 方 で 今 回 のケースは 1024 階 調 から 256 階 調 への 写 像 問 題 であり その 比 は 4:1 ととても 小 さい codebook を 更 新 するための 重 心 を 得 る 際 一 つ 一 つのゾーンに 割 り 当 てられている 入 力 値 が 平 均 して 4 個 と 量 子 化 時 と 相 対 的 にとても 細 かい 区 切 りとなり 重 心 を 取 る 対 象 要 素 の 種 類 が 少 なくなるため 重 心 に 変 化 が 生 まれにくく それらの 中 点 と して 求 められる partition にも 変 化 が 生 まれにくくなるため 全 体 として 更 新 の 伝 播 が 上 手 く 行 かず 大 域 解 へ 近 似 していかない 結 果 になっていると 考 えられる 3.1.5. 階 層 型 Lloyd-Max アルゴリズムによる TMO 生 成 そこで TMO 作 成 時 における Lloyd-Max アルゴリズムの 改 良 として 入 力 信 号 に 基 づ いて 重 心 の 移 動 がなされやすい 低 ビット 小 分 割 で Lloyd-Max アルゴリズムを 適 用 させた 後 そうして 得 られた TMO を 更 に 分 割 数 の 高 い Lloyd-Max アルゴリズムの 初 期 値 として 使 用 し 最 終 的 に 8bit 精 度 の TMO を 得 る 階 層 型 の Lloyd-Max アルゴリズムを 用 いた 図 3.4(b)に 出 力 された TMO を 3.4(c)にその 導 出 経 過 を 示 す 図 3.4(a)とは 異 なり 入 力 信 号 のヒストグラムに 基 づいた 非 線 形 なトーンカーブが 生 成 されていることが 確 認 出 来 る MSE 値 は 0.697 であり 単 純 な Lloyd-Max 法 に 比 べ 半 分 以 上 低 下 している 図 3.4(b) 階 層 型 Lloyd-Max アルゴリズムによって 得 られた TMO - 30 -

図 3.4(c) 階 層 型 Lloyd-Max TMO の 導 出 経 過 3.1.6. Genetic Lloyd-Max アルゴリズムによる TMO 生 成 階 層 型 の Lloyd-Max 法 を 用 いることにより 大 域 解 に 近 い TMO を 得 られるが 更 に 適 す る TMO を 求 めるために 遺 伝 的 アルゴリズムを 利 用 した Genetic Lloyd-Max アルゴリズ ム[9]を 用 いて TMO を 得 る 遺 伝 的 アルゴリズムとは 進 化 的 アルゴリズムの 一 つであり 各 々の 解 を 遺 伝 子 に 見 立 て それらにランダムな 操 作 を 行 い 偶 然 生 まれた 優 秀 な 個 体 を 残 し 淘 汰 を 行 う これを 反 復 して 行 い 近 似 解 を 求 める Genetic Lloyd-Max アルゴリズム においては 個 体 は partition に 対 応 する 図 3.5 にその 処 理 フローを 示 す - 31 -

図 3.5 Genetic Lloyd-Max アルゴリズムのメインフローチャート 決 められた 個 体 数 N 個 の 異 なる partition を 用 意 し それらから N/2 個 のペアを 作 る こ れらのペアに 対 し 交 差 率 として 設 定 した 確 率 で 交 差 処 理 を 行 う 交 差 処 理 では 親 となる 2 つの partition をそれぞれ 同 じ 個 所 で 切 断 し 組 み 替 えた 個 体 を 生 成 し それらを 子 個 体 として 候 補 に 加 える その 処 理 概 念 図 を 図 3.6(a)に 示 す - 32 -

図 3.6(a) 交 差 処 理 切 断 を 行 う 個 所 は 図 3.6 の 例 の 様 に 組 み 替 えを 行 った 場 合 にそれらの 子 個 体 がインデッ クスに 対 して 単 純 増 加 する 様 な 個 所 に 限 られる 例 えば 図 3.6(b)で 示 される 個 所 で 組 み 替 えを 行 った 場 合 子 個 体 2 が 単 純 増 加 で 無 くなるため この 様 な 交 差 処 理 は 許 可 されない 図 3.6(b) 不 正 な 交 差 処 理 交 差 処 理 を 終 えると 元 々の N 個 の 親 個 体 に 加 え 0~N 個 の 子 個 体 が 生 成 される 以 降 の 処 理 にはこの 親 子 関 係 は 考 慮 されず N~2N 個 の 個 体 群 として 扱 われる 次 にこれらの 各 々の 個 体 に 対 し 突 然 変 異 操 作 を 行 う 突 然 変 異 操 作 は partition の 各 要 素 に 対 して 独 立 に 行 われ 変 異 率 として 設 定 した 確 率 で その 要 素 を 増 加 もしくは 減 少 - 33 -

させる 方 向 へ 1 変 化 させる ここでも partition の 隣 り 合 う 要 素 が 同 一 となる 0~1023 の 範 囲 を 逸 脱 するなど 結 果 として 不 正 な partition となる 様 な 操 作 は 禁 止 される 突 然 変 異 を 行 った 後 は それぞれの 個 体 の MSE を 算 出 し 淘 汰 処 理 に 入 る 淘 汰 操 作 は N 個 の 個 体 を 次 世 代 へ 残 し 他 を 捨 て 去 る 操 作 であり その 選 択 法 にはルーレット 選 択 ランキング 選 択 などが 挙 げられる ルーレット 選 択 ルーレット 選 択 では 各 々の 個 体 の MSE が 低 ければ 低 いほどその 個 体 が 次 世 代 に 残 る 確 率 が 高 くなる 様 確 率 を 定 め その 確 率 に 基 づいて 選 択 する 方 法 である この 方 法 では 優 秀 な 個 体 が 必 ずしも 次 世 代 に 残 るとは 限 らず 偶 然 性 が 生 まれるが 個 体 間 の MSE の 格 差 が 激 しい 場 合 には 結 局 優 秀 な 個 体 に 生 存 確 率 が 偏 ってしまう ランキング 選 択 ランキング 選 択 では N~2N 個 の 個 体 群 を MSE の 小 さい 順 にソートし 予 め 順 位 に 応 じて 決 めておいた 確 率 でルーレット 選 択 と 同 様 に 選 択 する 手 法 である この 手 法 では MSE の 格 差 に 生 存 確 率 が 依 存 しない 為 偶 然 性 が 相 対 的 に 高 くなる 表 3.2 に 選 択 法 としてルーレット 選 択 を 用 いた 場 合 での 世 代 別 のエリート 個 体 (その 世 代 の 中 で 最 も MSE が 低 い 個 体 )の MSE を 示 している 入 力 としては 図 3.3(a)の 信 号 を 親 個 体 群 の 数 N としては 16 を 交 差 率 には 0.6 要 素 毎 の 突 然 変 異 率 を 0.01 に 設 定 し 初 期 個 体 には 先 述 の 階 層 型 Lloyd-Max TMO を 含 め 残 りをランダムに 生 成 した 表 3.2 世 代 数 ( 反 復 数 )と MSE の 関 係 例 Gen. 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 MSE 0.6949 0.6942 0.6940 0.6939 0.6938 0.6937 0.6937 0.6921 0.6916 0.6913 階 層 型 Lloyd-Mac TMO の MSE は 0.6969 であるが 10000 世 代 を 経 て その 個 体 群 の 中 のエリート 個 体 の MSE は 0.6913 まで 低 下 している 3.2. ビット 深 度 スケーラブル 符 号 化 SVC における 空 間 性 時 間 性 SNR の 3 つのスケーラビティと 同 様 に ビット 深 度 に 関 しても 同 様 なスケーラビリティを 考 えることが 出 来 る 3.2.1. ビット 深 度 スケーラビリティ ビット 深 度 スケーラビリティでは SVC と 同 様 に 従 来 の AVC を 用 いて 符 号 化 された 基 本 レイヤのみからは 8bit 深 度 の SDR 信 号 が 復 号 可 能 であり 拡 張 レイヤと 組 み 合 わせること で 10bit 深 度 HDR 信 号 をデコード 出 来 る 下 位 レイヤのソースとしては 8bit へ Tone Mapping された SDR 信 号 を 上 位 レイヤには 原 信 号 そのままを 与 える 実 装 の 方 針 として - 34 -

は 例 えば[10][11]では 既 存 の 空 間 性 スケーラビリティや SNR スケーラビリティの 枠 組 みを 元 にしており こちらでは 基 本 レイヤと 拡 張 レイヤの 符 号 化 両 方 でフレーム 間 予 測 を 用 い ている 一 方 [1]では フレーム 間 予 測 を 基 本 レイヤのみで 行 い レイヤ 間 予 測 のみで 拡 張 レイヤを 構 成 する 方 針 を 取 っている 3.2.2. 複 数 MCP ループ 型 [10][11]で 提 案 されている 手 法 と 既 存 の SVC における 空 間 スケーラビリティとの 違 いは 空 間 スケーラビリティでは 各 レイヤに 入 力 される 解 像 度 が 異 なるのに 対 し 解 像 度 は 同 じ でビット 深 度 が 異 なる 点 基 本 レイヤからの 信 号 予 測 に 空 間 アップサンプリングの 代 わり にビット 深 度 アップサンプリング(Inverse Tone Mapping)を 用 いる 点 が 挙 げられる 基 本 レイヤのイントラ 符 号 化 済 マクロブロックを Inverse Tone Mapping し 拡 張 レイヤの 予 測 信 号 として 用 いるビット 深 度 レイヤ 間 イントラ 予 測 や 基 本 レイヤにおける 残 差 信 号 に 対 して Inverse Tone Mapping し 拡 張 レイヤでも 用 いるビット 深 度 レイヤ 間 残 差 予 測 など を 採 用 している この 方 式 では 基 本 拡 張 レイヤの 両 方 でフレーム 間 予 測 を 行 う 為 動 き 補 償 予 測 (MCP: Motion-Compensated Prediction)ループは 各 レイヤにそれぞれ 必 要 であ り 符 号 側 だけでなく 復 号 側 にも 複 雑 な 構 成 を 要 する 3.2.3. 単 一 MCP ループ 型 [1]などで 提 案 される 基 本 レイヤのみで 動 き 補 償 予 測 を 行 う 単 一 MCP ループ 型 のビッ ト 深 度 スケーラブル 符 号 化 の 枠 組 みを 図 3.7 に 示 す 図 3.7 単 一 MCP ループ 型 ビット 深 度 スケーラブル 符 号 化 の 枠 組 み この 方 式 のメリットは MCP ループが 一 つだけであるため 符 号 復 号 側 の 両 方 において 要 求 されるメモリ 量 や 計 算 処 理 性 能 が 低 く 抑 えられることにある 3.2.4. ビット 深 度 スケーラビリティの 規 格 化 への 取 り 組 み ビ ッ ト 深 度 ス ケ ー ラ ビ リ テ ィ の 規 格 化 へ 向 け JVT お よ び そ の 後 継 の Joint - 35 -

Collaborative Team on Video Coding(JVC-VC) によってそ れ を 協 議 す る Ad hoc Group(AhG) for chroma format and bit-depth scalability が 立 ち 上 げられた 標 準 化 会 議 の 場 においては 2006 年 に 初 めて[10][11]の 前 身 となるビット 深 度 スケーラビリティについ ての 提 案 書 [12]が 出 され 以 降 [1]の 前 身 となる[13]や ビット 切 捨 てではなく 非 線 形 TMO の 利 用 する 考 えを 初 めてビット 深 度 スケーラビリティに 取 り 入 れ その TMO 情 報 の 符 号 化 法 を 提 案 した[14] マクロブロック 単 位 での TMO 設 定 法 を 提 案 する[15] レイヤ 間 予 測 に おいて 適 応 フィルタリングを 用 い レイヤ 間 予 測 残 差 を 抑 制 する[16]などの 様 々な 提 案 書 が 出 されてきたが 規 格 化 までには 至 らず 現 在 は AhG としての 活 動 は 停 止 している 状 態 で ある 3.2.5. レイヤ 間 予 測 としての Inverse Tone Mapping 先 述 の 通 り ビット 深 度 スケーラビリティでは 基 本 レイヤ 拡 張 レイヤへ それぞれ HDR 原 信 号 に Tone Mapping を 施 した SDR 信 号 と HDR 原 信 号 を 入 力 する そして レ イヤ 間 予 測 には ビット 深 度 アップサンプリングの 手 段 として Inverse Tone Mapping を 用 いている Inverse Tone Mapping に 用 いる TMO は 2 つの 入 力 信 号 に 対 し Tone Mapping 歪 みが 最 小 となる 様 な TMO をエンコーダ 側 にて 算 出 し これをストリームに 補 助 情 報 とし て 付 加 している TMO を 生 成 する 際 には マクロブロック 単 位 で 生 成 を 行 う[15]などの 例 外 はあるものの シーケンス 単 位 やピクチャ 単 位 で 1 つの TMO を 用 いる 様 に TMO の 学 習 が 行 われ SPS や PPS に 格 納 される TMO の 生 成 は 式 (3.2)で 表 される 様 な MSE を 最 小 化 する 様 に 行 われる MSE(f) = 1 N x HDR f(x SDR ) 2 2 (3.2) x HDR, x SDR はそれぞれ TMO 生 成 対 象 となる HDR 原 信 号 と SDR 信 号 を 表 すベクトル N はそのベクトルの 要 素 数 ( 画 素 総 数 ) f は SDR 階 調 値 から HDR 階 調 値 への 写 像 とする 3.2.6. Inverse Tone Mapping における 問 題 点 前 節 で 示 した 方 式 によって 生 成 された TMO は x HDR を Scale x SDR + Offsetと 見 做 した ときの Scale, Offset の 組 や x HDR, x SDR の 関 係 を 表 3.3 の 様 に LUT で 表 したものとして 定 義 される 表 3.3 x HDR と x SDR の 関 係 を 示 す LUT x SDR 0 1 2 3 4 253 254 255-36 -

x HDR 0 3 6 8 12 1016 1019 1022 図 3.8 にこの 様 な LUT を 用 いて Inverse Tone Mapping を 用 いた 場 合 における 信 号 とそ のヒストグラムの 推 移 を 示 す 図 3.8 階 調 値 変 換 により 生 成 される HDR 信 号 とそのヒストグラム 左 側 に 示 されている HDR 原 信 号 は Tone Mapping により 中 央 に 示 される SDR 信 号 へ 変 換 される この 際 ビット 深 度 は 10bit から 8bit へ 削 減 され HDR 信 号 の 下 に 示 されてい るそのヒストグラムは 滑 らかな 分 布 を 持 っているのに 対 し SDR 信 号 のヒストグラムは 階 調 値 の 不 均 一 な 統 合 により 滑 らかでない 人 工 的 なヒストグラムとなっている 更 にその 右 は LUT を 用 いた Inverse Tone Mapping によって 生 成 された HDR 予 測 信 号 であり 見 か け 上 左 の HDR 原 信 号 とは 殆 ど 変 らないが そのヒストグラムを 観 察 すると 飛 び 飛 びの 階 調 値 しか 持 っておらず 櫛 状 の 様 なものとなっている これは 表 3.3 の 様 な LUT を 用 いた 階 調 値 変 換 では 出 力 HDR 階 調 値 として 1 や 5 といった 中 間 の 階 調 値 は 出 現 し 得 ない 為 である レイヤ 間 予 測 において 中 間 階 調 値 が 生 成 されないことは その 残 差 信 号 の 符 号 化 に 影 響 を 与 えると 考 える 図 3.9 に HDR 信 号 でのグラデーション 領 域 ( 滑 らかに 明 暗 が 推 移 し ている 領 域 )における 原 信 号 予 測 信 号 とその 差 分 である 残 差 信 号 の 模 式 図 を 示 す - 37 -

図 3.9 グラデーション 領 域 におけるレイヤ 間 予 測 残 差 信 号 の 特 性 実 際 には Inverse Tone Mapping などの 一 連 の 処 理 は 二 次 元 信 号 である 画 像 信 号 に 対 して 行 われるが 図 3.9 では 簡 単 の 為 に 一 次 元 信 号 表 現 を 行 っている 原 信 号 が 滑 らかであって も Tone Mapping, Inverse Tone Mapping を 経 たその 予 測 信 号 は 中 間 階 調 値 を 持 ってお らず 故 に 滑 らかな 階 調 値 推 移 を 表 現 することが 出 来 ない 残 差 信 号 は 予 測 信 号 が 滑 らか でない ステップ 状 の 波 形 を 持 つが 為 に 鋸 状 の 波 形 として 生 成 される レイヤ 間 予 測 に おいて 実 際 に 周 波 数 変 換 量 子 化 を 経 て 符 号 化 されるのはこの 残 差 信 号 であり デコー ド 側 ではレイヤ 間 予 測 による 予 測 信 号 と 符 号 化 劣 化 を 経 た 残 差 信 号 を 元 に 信 号 を 再 構 成 することとなる 滑 らかな 原 信 号 の 波 形 を 復 元 するには この 鋸 状 波 形 を 完 全 に 再 現 出 来 る 様 に 符 号 化 を 行 わなければならないが 一 般 に 残 差 信 号 のパワーが 高 ければ 高 いほど 一 般 に 残 差 信 号 として 送 らなければならない 情 報 量 は 増 えるため これは 難 しい 残 差 として 送 る 信 号 の 符 号 量 を 減 らし 原 信 号 を 忠 実 に 再 現 するためには レイヤ 間 予 測 時 における 予 測 精 度 向 上 が 求 められる 単 純 な LUT による 階 調 値 変 換 では 中 間 階 調 は 生 成 されないが 例 えば 階 調 値 の 空 間 的 な 推 移 から 元 々の HDR 階 調 値 ではどの 様 な 滑 らか な 推 移 をしていたのかは 人 間 の 眼 にはある 程 度 の 判 別 が 出 来 る 為 これを 信 号 に 対 する 平 滑 化 処 理 として 実 現 することが 出 来 る また 予 測 HDR 信 号 のヒストグラムは 中 間 階 調 を 持 たないが 為 に 櫛 状 となっているものの 原 信 号 のヒストグラムが 一 般 的 な 自 然 画 像 と 同 様 に 滑 らかな 推 移 を 持 っていると 仮 定 すれば 元 々の HDR 原 信 号 のヒストグラムは 推 定 可 能 であり 失 われた 中 間 階 調 がどの 程 度 復 元 されるべきかを 推 定 することが 可 能 である これらの 方 針 により 予 測 HDR 信 号 として 十 分 に HDR 原 信 号 に 近 い 滑 らかな 波 形 を 復 元 することが 可 能 であれば 残 差 信 号 としての 伝 送 量 を 大 幅 に 減 らし 符 号 化 効 率 を 向 上 させることが 出 来 ると 考 える 次 章 に これらの 方 針 を 反 映 した 新 しいレイヤ 間 予 測 手 法 を 提 案 する - 38 -

4. 提 案 手 法 4.1. 提 案 法 の 枠 組 み 図 4.1 に 提 案 レイヤ 間 予 測 手 法 の 流 れ 図 を 示 す 図 4.1 提 案 法 フロー 提 案 法 では 単 一 MCP ループ 型 構 成 をベースとし HDR SDR 原 信 号 からの LUT 生 成 階 調 値 変 換 に 加 え ヒストグラム 予 測 及 びグラデーション 補 間 と 呼 ばれる 処 理 を 用 い 1 対 多 の 階 調 値 変 換 を 実 現 し HDR 予 測 信 号 の 精 度 向 上 を 試 みる ヒストグラム 予 測 では SDR 復 号 信 号 の 櫛 状 ヒストグラムを 入 力 とし HDR 原 信 号 のヒストグラムへ 非 線 形 補 間 を 用 い て 推 測 する グラデーション 補 間 処 理 では ヒストグラム 予 測 処 理 において 推 測 されたヒ ストグラムを 用 い HDR 予 測 信 号 と 組 み 合 わせグラデーションを 補 間 する 様 非 線 形 空 間 フィルタリングを 行 う 4.2. ヒストグラム 予 測 ヒストグラムの 予 測 処 理 では SDR 信 号 の 256 個 のビンを 持 つヒストグラム( 以 下 SDR ヒストグラム)から HDR 信 号 の 例 えば 1024 個 のビンを 持 つヒストグラム( 以 下 HDR ヒストグラム)の 生 成 を 行 う 生 成 の 際 には SDR ヒストグラムに 対 する 1 対 1 の 階 調 値 変 換 によって 得 た 櫛 状 HDR ヒストグラムを 経 由 する 4.2.1. ヒストグラム 予 測 における 課 題 表 4.1 に codebook, partition, 櫛 状 ヒストグラムのサンプルを 示 す - 39 -

表 4.1(a) codebook 101 102 103 104 105 106 107 108 404 407 410 414 417 420 423 426 表 4.1(b) partition 101 102 103 104 105 106 107 108 403 406 409 412 416 419 422 425 表 4.1(c) 櫛 状 HDR ヒストグラム 403 404 405 406 407 408 409 410 0 158861 0 0 151223 0 0 148073 これらの 情 報 を 元 に HDR ヒストグラムを 推 測 したい また 生 成 されるヒストグラムは 中 間 階 調 が 生 成 されている 滑 らかなものであることだけでなく LUT による SDR 階 調 と HDR 階 調 との 関 係 を 守 らなければならない つまり SDR 信 号 におけるある 階 調 を 持 つ 画 素 の 総 数 は HDR 信 号 においてそれに 対 応 する 階 調 を 持 つ 画 素 数 と 一 致 しなければならな いという 問 題 がある 言 い 換 えると 表 4.1(c)には 櫛 状 ヒストグラムの 一 部 を 示 しており インデクス 部 の 色 分 けはそれぞれの SDR 階 調 値 に 対 する HDR 階 調 値 のグループ 分 けを 表 しているが 例 えば SDR 階 調 値 101 に 対 応 する HDR 階 調 値 403~405 のグループには 158861 画 素 が 属 していることとなる ヒストグラムを 補 間 した 結 果 この 3 つの HDR 階 調 値 の 中 で 所 属 画 素 数 が 変 動 することはあっても その 総 数 は 変 化 してはならない 4.2.2. 処 理 概 要 ヒストグラムを 補 間 する 際 に 考 えられる 単 純 な 方 法 は このヒストグラムに 対 し 線 形 な 平 滑 化 フィルタを 掛 ける 方 法 だが その 出 力 ヒストグラムは 滑 らかであっても 先 述 の 制 約 が 守 られる 保 証 は 無 い そこで 以 下 の 手 順 を 取 る partition から それぞれの SDR 階 調 値 に 属 する HDR 階 調 値 の 数 (ステップ)を 求 める 表 4.1 の SDR 階 調 値 101 の 場 合 そのステップは 3 となる そのステップの 代 表 値 に 属 する HDR 画 素 の 数 を 取 得 する codebook(101)は HDR 階 調 値 404 であり 158861 画 素 が 属 する 代 表 値 に 属 する 画 素 数 とステップの 商 を 取 り 推 測 HDR ヒストグラムにおいてその 値 を ステップに 属 する HDR 階 調 値 に 対 して 均 等 に 与 える 158861 と 3 の 商 は 52953 となる 表 4.2(a)に 推 測 HDR ヒストグラムの 途 中 経 過 を 示 す - 40 -

表 4.2(a) 推 測 HDR ヒストグラム( 途 中 ) 403 404 405 406 407 408 409 410 52953 52953 52953 50407 50407 50407 49357 49357 代 表 値 に 属 する 画 素 数 をステップで 割 った 剰 余 を 推 測 HDR ヒストグラムの 各 代 表 値 の 画 素 数 に 加 算 する 先 述 の 制 約 を 守 るために 行 う 158861 と 3 との 除 算 の 剰 余 は 2 となる 表 4.2(b)に 最 終 結 果 を 示 す 表 4.2(b) 推 測 HDR ヒストグラム( 最 終 ) 403 404 405 406 407 408 409 410 52953 52955 52953 50407 50409 50407 49357 49359 なお 推 測 ヒストグラムをより 滑 らかに 復 元 する 手 段 は 例 えば 線 形 補 間 で 滑 らかなヒス トグラムを 生 成 した 後 制 約 条 件 を 満 たす 様 に 微 調 整 を 行 うなど 様 々に 考 えられるが 本 手 法 によって 生 成 されたヒストグラムを 用 いてレイヤ 間 予 測 を 行 う 場 合 と 正 解 である HDR 原 信 号 のヒストグラムを 用 いた 場 合 でそれほど 違 いが 得 られなかったことから 簡 素 な 処 理 に 留 めている 4.3. グラデーション 補 間 次 に グラデーション 補 間 について 述 べる グラデーション 補 間 では 中 間 階 調 を 持 っ ていない HDR 予 測 信 号 を 中 間 階 調 を 持 つ 信 号 へと 作 り 変 える その 際 補 間 後 の 予 測 信 号 は 前 段 のヒストグラム 予 測 で 生 成 されたヒストグラムと 同 じヒストグラムを 持 つ 様 調 整 される 4.3.1. グラデーション 補 間 における 課 題 ここでの 課 題 は SDR 階 調 値 から HDR 階 調 値 への 1 対 多 の 変 換 を 実 現 するために SDR 信 号 では 同 じ 階 調 値 を 持 っていた 画 素 群 を 区 別 し 異 なる HDR 階 調 値 を 持 つ 画 素 としなけ ればならないことである 例 えば 表 4.1(c)のヒストグラムにおいては HDR 階 調 値 404 に 対 応 する 画 素 は 158861 個 有 り それらは 表 4.2(b)に 示 す 様 に HDR 階 調 値 403~405 へ それぞれ 52953, 52955, 52953 個 の 画 素 として 割 り 当 てられる 必 要 がある しかし 同 じ SDR 階 調 値 を 持 つ 画 素 であっても その 周 りに 明 るい 画 素 が 多 ければ HDR 階 調 値 での 対 応 するステップの 中 でより 明 るい 階 調 値 を 持 つ 可 能 性 が 高 いと 考 えられ その 逆 も 言 える と 考 える 各 々の 画 素 の 近 隣 情 報 を 用 いこれらの 区 別 を 行 う 手 順 を 以 降 に 示 す - 41 -

4.3.2. 処 理 概 要 処 理 は 以 下 の 手 順 を 取 る 各 画 素 に 対 して 評 価 値 (スコア)を 算 出 し スコアマップとして 取 得 スコアマップと 推 測 ヒストグラムに 基 づいて 階 調 値 を 割 り 当 てる スコアを 求 める 際 の 方 針 としては 2 つあげられる 一 つは SDR 信 号 値 での 階 調 値 の 大 小 関 係 と スコアの 大 小 関 係 を 守 る 様 にスコアを 算 出 することである これは この 大 小 関 係 が 守 られずに 後 段 の 割 り 当 て 処 理 が 行 われた 場 合 SDR 階 調 値 に 対 して 対 応 し 得 ない HDR 階 調 値 が 割 り 当 てられてしまう 恐 れがある 為 である また もう 一 つは SDR 階 調 値 が 同 じ 画 素 同 士 は その 近 隣 画 素 の 重 み 付 き 和 によって 区 別 するという 方 針 である これ らを 踏 まえ スコアマップ R は 式 (4.1) 及 び(4.2)によって 与 えられる R(x, y) = X(x, y) + α(x(x, y)) O(X(x, y)) (4.1) α(k) = Step(k) max( O(X) ) (4.2) ここで (x, y)は 画 素 位 置 を X は 補 間 前 の HDR 入 力 信 号 を Step(k) は HDR 階 調 値 k が 属 するグループに 属 する HDR 階 調 数 を O( ) は Gaussian などのカーネルを 表 す 実 装 上 は 各 画 素 の 近 隣 画 素 の 重 み 付 き 和 を 取 る 操 作 は Gaussian フィルタの 適 用 によ り 実 現 している しかし その 出 力 O(X) をそのままスコアマップとするのでは 第 一 の 方 針 である SDR 階 調 値 における 大 小 関 係 を 守 れている 保 証 がない そこで R を 2 項 の 関 数 とし それぞれ 第 一 方 針 と 第 二 方 針 を 満 足 させる 様 な 項 とした 第 1 項 としては 補 間 前 の HDR 階 調 値 がそのまま 入 っている LUT による 階 調 値 変 換 では SDR 階 調 値 での 大 小 関 係 と HDR 階 調 値 での 大 小 関 係 は 保 たれることから この 第 1 項 は SDR 階 調 値 における 大 小 関 係 が 反 映 されることとなる 次 に 第 2 項 であるが O(X) をそのまま 用 いず 係 数 関 数 α によってスケーリングしたものを 使 用 している スケーリングにより 値 を 小 さくする ことで O(X) の 変 動 によって X における 大 小 関 係 が 破 られない 様 にしている スコアマップが 求 まると 推 測 ヒストグラムと 照 らし 合 わせ スコアの 低 い 画 素 から 順 に 階 調 値 の 割 り 当 てを 行 う 例 えば 推 測 ヒストグラム 上 で HDR 階 調 値 0 に 属 する 画 素 数 が 100 の 場 合 スコアマップ 上 で 下 から 100 位 までの 画 素 の HDR 階 調 値 を 0 として 確 定 する これを HDR 階 調 値 1023 まで 順 に 行 い 最 終 的 な HDR 予 測 信 号 値 を 得 る : 提 案 法 を 1920 1080 などの 高 解 像 度 な 画 像 信 号 へ 適 用 する 場 合 画 像 全 体 に 対 し 一 括 で スコアマップを 求 めると 自 分 の 画 素 から 遠 い 画 素 の 影 響 を 受 ける 恐 れがある 為 空 間 的 に 分 割 を 行 ったうえで 独 立 にスコアマップ 算 出 階 調 値 割 り 当 てを 行 う 4.4. 適 用 結 果 本 節 では ヒストグラム 予 測 とグラデーション 補 間 による 一 連 の 提 案 法 の 適 用 結 果 を - 42 -

示 す 適 用 対 象 としては 図 4.2 に 示 す 1920 1080 の 空 間 解 像 度 を 持 つ 画 像 を 用 いた 図 4.2 適 用 対 象 画 像 この 画 像 信 号 は 元 々10bit 深 度 の 精 度 を 持 っているが Tone Mapping, LUT 変 換 を 経 て 中 間 階 調 が 失 われた 10bit 信 号 を 処 理 対 象 とする 10bit 深 度 精 度 での 差 異 を 明 瞭 にするため 補 間 前 信 号 と 提 案 法 による 補 間 後 信 号 の 200x100 の 領 域 をそれぞれ 2 か 所 切 り 出 し かつ 特 定 階 調 域 のコントラストを 強 調 させた その 図 を 図 4.3, 4.4 に 示 す - 43 -

図 4.3(a) 補 間 前 信 号 図 4.3(b) 補 間 後 信 号 - 44 -

図 4.4(a) 補 間 前 信 号 図 4.4(b) 補 間 後 信 号 図 4.3(a) 図 4.4(a)では 中 間 階 調 の 欠 落 により 急 激 な 階 調 の 変 化 を 持 つ 階 調 値 の 分 布 と なっているが 図 4.3(b) 図 4.4(b)では それらはかなり 軽 減 されている この 様 な 効 果 は Gaussian フィルタや Non-linear Diffusion フィルタなどの 平 滑 化 フィル タによっても 得 ることが 出 来 る しかし これらによる 空 間 フィルタリングでの 平 滑 化 で は 必 ずしも 原 信 号 に 近 づく 様 に 働 くとは 限 らず 中 間 階 調 も 十 分 に 生 成 されない 問 題 が ある [17][18] 本 手 法 では codebook と partition 情 報 を 元 に 各 々の 階 調 値 が 存 在 するステ ップから 逸 脱 しない 様 かつ 隣 接 する 画 素 同 士 でグラデーションを 構 成 する 様 に 処 理 を 行 う 為 HDR 原 信 号 へより 近 似 出 来 ると 考 える - 45 -

4.5. 可 変 ブロック 単 位 での 選 択 的 適 用 検 討 提 案 法 はヒストグラムと 空 間 的 画 素 分 布 が 階 調 方 向 空 間 方 向 にそれぞれ 相 関 を 持 っ ている 前 提 として 行 っているが 故 に 信 号 の 全 領 域 に 対 して 一 貫 して 原 信 号 を 推 測 する 様 な 働 きをみせるとは 限 らない そこで 本 手 法 が 前 提 とする 所 のグラデーション 領 域 など 改 善 効 果 の 高 くなる 領 域 のみに 選 択 的 に 提 案 法 を 適 用 する 様 試 みた また 単 位 としては 四 分 木 構 造 からなる 可 変 ブロック 単 位 を 用 いた 4.5.1. 可 変 ブロック 構 造 提 案 法 の 適 用 の 有 無 の 指 定 を 画 像 領 域 毎 に 細 かくすればする 程 予 測 信 号 の HDR 原 信 号 との PSNR は 向 上 するが 適 用 の 有 無 の 指 定 フラグ 情 報 もまたサイド 情 報 として 伝 送 する 必 要 がある 極 端 な 例 では 画 素 単 位 で 適 用 の 有 無 を 指 定 した 場 合 その 指 定 に 必 要 な 符 号 量 は 一 画 素 あたり 1 ビット 1 フレーム 当 たり 約 2MB となり それによる PSNR 向 上 効 果 に 釣 り 合 わない その 為 フラグ 符 号 量 の 削 減 の 為 適 用 の 指 定 はある 程 度 大 まかに 行 う 必 要 が 生 まれる 本 手 法 では 図 4.5 に 示 す 様 な 四 分 木 可 変 ブロック 構 造 を 用 いる 可 変 ブ ロック 構 造 では 領 域 毎 にフラグ 記 述 の 詳 細 度 を 変 えられるメリットがある 以 降 にフラグ 符 号 量 削 減 と PSNR 向 上 の 間 のトレードオフ 関 係 の 最 適 化 を 行 う 手 順 を 述 べる 図 4.5 四 分 木 可 変 ブロック 構 造 4.5.2. 符 号 構 文 まず 四 分 木 可 変 ブロック 構 造 によるフラグ 情 報 の 符 号 構 文 を 表 4.3 の 通 りに 定 義 した - 46 -

表 4.3 符 号 構 文 flag_tree(x0, y0, log2blksize) { 記 述 子 if(log2blksize > log2minblksize ) split_block_flag[ x0 ][ y0 ] bool(1bit) if( split_block_flag[ x0 ][ y0 ] ) { x1 = x0 + ( ( 1 << log2blksize ) >> 1 ) y1 = y0 + ( ( 1 << log2blksize ) >> 1 ) flag_tree( x0, y0, log2blksize 1) flag_tree( x1, y0, log2blksize 1) flag_tree( x0, y1 log2blksize 1) flag_tree( x1, y1, log2blksize 1) } else { gradation_prediction_flag[ x0 ][ y0 ] bool(1bit) } } ここで log2blksize は 現 在 探 索 中 のブロックの 辺 長 の 2 を 底 とした 対 数 を log2minblksize は 最 小 サイズのブロックの 辺 長 の 2 を 底 とした 対 数 を 表 す この 符 号 構 文 は 再 帰 的 な 構 造 を 取 っており また 分 割 を 細 かくすればするほど 符 号 量 が 増 える 記 述 子 は 現 在 のブロックが 分 割 を 許 されている 場 合 において 分 割 されているかを 示 す split_block_flag と 分 割 せずに 適 用 の 有 無 を 記 述 する gradation_prediction_flag の 二 種 類 が 存 在 し それぞれ 1bit の 情 報 量 を 持 つ 4.5.3. コスト 関 数 による 最 適 化 前 節 の 符 号 構 文 に 基 づいて 発 生 する 符 号 量 と 実 現 される 予 測 精 度 との 最 適 化 を 図 る 為 式 (4.3)のコスト 関 数 を 定 義 する J = SSD + λ GenBit (4.3) SSD は 予 測 信 号 と 原 信 号 との 誤 差 ( 二 乗 誤 差 和 )を 表 し GenBit は 発 生 符 号 量 を λ はラ グランジュ 乗 数 を 表 す λ は H.264 の B ピクチャにおけるモード 判 定 に 用 いるラグランジ ュ 乗 数 [2][19]に 習 い λ = 4 0.85 2 QP 3 とした 最 適 な 分 割 法 を 得 る 為 には 図 4.6 のフローを 用 いて 探 索 を 行 う - 47 -

図 4.6 四 分 木 構 造 探 索 フローチャート 探 索 は 再 帰 的 に 行 われ 現 在 の 対 象 ブロックに 対 して 以 下 の 2 つの 場 合 を 式 (4.3)で 評 価 し 最 適 なモードとして 決 定 する そのまま 分 割 をせずにフラグ 構 造 を 記 述 する 場 合 に 得 る SSD と 符 号 量 4 分 割 を 行 い 各 々のブロックで 最 適 化 を 行 った 後 での SSD と 符 号 量 の 総 量 4.5.4. 可 変 ブロック 構 造 最 適 化 結 果 例 この 処 理 により 得 られる 四 分 木 構 造 の 例 を 図 4.7 に 示 す 1920 1080 の 解 像 度 の 画 像 に 対 し 最 大 処 理 単 位 128 128 最 深 探 索 深 度 2 で 探 索 を 行 った 青 赤 の 表 示 はそれぞれ その 単 位 での 適 応 の 有 無 の 指 定 を 表 している - 48 -

図 4.7 四 分 木 構 造 取 得 結 果 - 49 -

5. 実 験 前 章 に 示 した 提 案 のレイヤ 間 予 測 手 法 の 評 価 を 行 う 為 のシミュレーション 実 験 を 行 った 以 下 にその 実 験 環 境 及 び 実 験 結 果 を 示 す 5.1. 実 験 環 境 5.1.1. 使 用 シーケンス 符 号 化 対 象 となるシーケンスは 図 5.1 に 示 す 3 つのシーケンスを 用 いた - 50 -

(a) SteamLocomotiveTrain (b) Night (c) Horse Racing(dirt) 図 5.1 HDR 原 シーケンス - 51 -

5.1.2. 実 装 構 成 図 4.1 の 提 案 法 フローを 以 下 の 構 成 で 実 装 を 行 った 基 本 レイヤエンコーダ 部 JM エンコーダ[20]を 使 用 レイヤ 間 予 測 部 階 調 値 変 換 ヒストグラム 予 測 グラデーション 補 間 MATLAB にて 実 装 最 適 可 変 ブロック 構 造 探 索 C++にて 実 装 残 差 信 号 符 号 化 部 JM エンコーダ[20]を 使 用 5.1.3. 使 用 パラメータ 以 降 の 実 験 における 共 通 パラメータを 示 す 使 用 TMO 図 5.1 の HDR シーケンスから SDR シーケンスを 得 る 際 に 使 用 する TMO としては 輝 度 成 分 色 差 成 分 別 に 各 シーケンス 別 で 同 一 の 物 を 用 いた 輝 度 成 分 Genetic Lloyd-Max TMO により 生 成 1 世 代 あたりの 個 体 数 を 16 とし 初 期 シードとしては[7]に 基 づく 非 線 形 TMO を 1 つ 階 層 型 Lloyd-Max 法 による TMO を 3 つ 与 え 残 りはランダムに 生 成 され たものを 用 いた 交 差 率 は 0.6 突 然 変 異 率 は 0.01 とし 世 代 数 は 1000 とした また 突 然 変 異 はエリート 個 体 に 対 しては 行 われないものとした 色 差 成 分 線 形 TMO を 指 定 x HDR = 4 x SDR + 2の 関 係 とした 図 5.2 に 図 5.1 のシーケンスに 対 する Tone Mapping 結 果 を 示 す - 52 -

(a) SteamLocomotiveTrain (b) Night (c) Horse Racing(dirt) 図 5.2 SDR 原 シーケンス - 53 -

TMO の 符 号 法 TMO は 10bit 256 とし 2560bit の 情 報 量 として 加 算 した TMO の 符 号 につい ては 差 分 符 号 化 やエントロピー 符 号 化 を 用 いることで 更 なる 符 号 量 削 減 が 可 能 であると 考 えられる グラデーション 補 間 表 5.1 映 像 フォーマット 使 用 カーネル Gaussian カーネルサイズ 7 σ 値 0.45 空 間 分 割 ( 輝 度 ) 垂 直 2 水 平 2 空 間 分 割 ( 色 差 ) 分 割 無 し 可 変 ブロック 最 適 化 最 大 処 理 単 位 を 256 256 画 素 ブロック 探 索 深 度 を 3 とした 映 像 フォーマット 表 5.2 映 像 フォーマット YUV フォーマット YUV420(YCbCr) 空 間 解 像 度 1080p(1920 1080) フレームレート 30fps フレーム 数 30frames HDR 信 号 ビット 深 度 10bit/sample SDR 信 号 ビット 深 度 8bit/sample エンコーダ 設 定 表 5.3 エンコーダ 設 定 共 通 設 定 使 用 プロファイル High プロファイル RD 最 適 化 モード 決 定 無 効 基 本 レイヤ 設 定 Iピクチャ 周 期 15 GOP 構 造 IBPBPBPBPBPBPBPI 拡 張 レイヤ 設 定 I ピクチャ 周 期 1( 全 て I ピクチャ) - 54 -

5.2. 固 定 QP 下 での R-D 特 性 5.2.1. 実 験 条 件 前 節 に 示 した 環 境 においてターゲットビットレート 付 近 となる 様 に QPI( 基 本 レイヤの I ピクチャにおける QP 値 )を 固 定 し 符 号 化 を 行 った 際 のビットレート PSNR を 提 案 レイヤ 間 予 測 手 法 の 有 無 それぞれの 場 合 で 算 出 し その R-D 特 性 の 差 を BD-RATE を 用 い て 算 出 した また 適 用 無 しと 4 章 5 節 にて 述 べた 選 択 的 適 用 の 場 合 とでも BD-RATE の 算 出 を 行 った 表 5.4 にこの 実 験 で 用 いた 追 加 のパラメータを 示 す 表 5.4 追 加 パラメータ 基 本 レイヤターゲットレート QPP( 基 本 レイヤ P ピクチャの QP 値 ) QPB( 基 本 レイヤ B ピクチャの QP 値 ) QPE( 拡 張 レイヤの QP 値 ) 15, 20, 25, 30 Mbps QPI+1 QPI+2 QPI+12 5.2.2. 実 験 結 果 図 5.3 に 提 案 法 不 適 用 全 面 適 用 選 択 的 適 用 の 場 合 の それぞれの 輝 度 成 分 における RD 特 性 曲 線 を 示 している (a) SteamLocomotiveTrain - 55 -

(b) Night (c) Horse Racing(dirt) 図 5.3 HDR 信 号 符 号 化 時 の R-D 特 性 曲 線 図 5.3 の 特 性 曲 線 から 求 めた BD-RATE を 表 5.5 に 示 す - 56 -

表 5.5 HDR 信 号 符 号 化 時 の BD-RATE[%] シーケンス 名 全 面 適 用 選 択 的 適 用 SteamLocomotiveTrain -1.940-1.909 Night -0.815-0.766 Horse racing(dirt) -0.727-0.740 アンカー: 提 案 法 全 面 不 適 用 表 5.5 の 左 列 から 提 案 法 のレイヤ 間 予 測 の 有 無 により 符 号 量 を SteamLocomotiveTrain シーケンスに 対 しては 1.940%の Night シーケンスに 対 しては 0.815%の Horce racing(dirt)シーケンスに 対 しては 0.727%の 削 減 を 達 成 していることが 確 認 出 来 る 表 5.5 の 右 列 には 可 変 ブロック 構 造 を 用 いて 提 案 法 の 適 用 の 有 無 を 指 定 させた 場 合 と 提 案 法 を 全 面 的 に 適 用 しない 場 合 との 比 較 を 示 しており こちらは SteamLocomotiveTrain シーケンスに 対 しては 1.909%の Night シーケンスに 対 しては 0.766%の Horce racing(dirt)シーケンスに 対 しては 0.740%の 削 減 と 左 列 の 全 面 適 用 との 比 較 結 果 と 同 等 の 符 号 量 削 減 効 果 が 得 られているものの Horse racing(dirt)シーケンスを 除 いて 全 面 適 用 時 の BD-RATE と 比 べて 削 減 効 果 が 低 下 してしまっている 5.2.3. 考 察 コスト 関 数 最 適 化 を 用 いても 選 択 的 適 用 手 法 の R-D 特 性 が 最 適 化 無 しの 場 合 に 対 して 下 がってしまう 要 因 としては 2 つが 考 えられる 1 つは 可 変 ブロック 最 適 化 により 選 択 されたフラグ 構 造 が ほぼ 全 面 適 用 と 同 じ 結 果 と なることによる 問 題 である 図 5.4 に 各 シーケンスのターゲットレート 4 点 における 可 変 ブロック 構 造 最 適 化 結 果 を 示 す 図 5.4(a-d) SteamLocomotiveTrain シーケンスにおける 可 変 ブロック 構 造 最 適 化 結 果 左 上 (a):qpi=30, 約 15Mbps 右 上 (b):qpi=29, 約 20Mbps - 57 -

左 下 (c):qpi=28, 約 25Mbps 右 下 (d):qpi=27, 約 30Mbps 図 5.4(e-h) Night シーケンスにおける 可 変 ブロック 構 造 最 適 化 結 果 左 上 (e):qpi=32, 約 15Mbps 右 上 (f):qpi=28, 約 20Mbps 左 下 (g):qpi=27, 約 25Mbps 右 下 (g):qpi=25, 約 30Mbps 図 5.4(i-l) Horse racing(dirt)シーケンスにおける 可 変 ブロック 構 造 最 適 化 結 果 左 上 (i):qpi=32, 約 15Mbps 右 上 (j):qpi=29, 約 20Mbps 左 下 (k):qpi=27, 約 25Mbps 右 下 (l):qpi=26, 約 30Mbps SteamLocomotiveTrain と Horse racing(dirt)の 両 シーケンスでは ほぼ 青 色 で 示 された 提 案 法 適 用 のブロックが 占 めている 図 5.4(a) 及 び(d)では 全 てのブロックで 分 割 なし 提 案 法 適 用 が 選 択 されている この 場 合 得 られる PSNR は 全 面 適 用 に 対 して 全 く 変 ら ないにも 関 わらず 可 変 ブロック 構 造 の 記 述 には 例 え 一 切 の 分 割 を 行 わない 場 合 でも 最 低 限 一 定 の 符 号 量 を 要 する 為 相 対 的 に BD-RATE は 低 下 してしまう もう 1 つは コスト 関 数 に 残 差 信 号 の 符 号 量 が 考 慮 されていないことが 挙 げられる 現 在 用 いている 式 (4.3)のコスト 関 数 では 発 生 する 符 号 量 の 考 慮 対 象 はフラグ 情 報 のみとし - 58 -

ている 図 5.5 にレイヤ 間 予 測 信 号 の PSNR と 基 本 レイヤストリームにレイヤ 間 予 測 に 用 いるサイド 情 報 の 符 号 量 を 加 えたビットレートをプロットした HDR 予 測 信 号 の R-D 特 性 を 示 す (a) SteamLocomotiveTrain (b) Night - 59 -

(c) Horse Racing(dirt) 図 6.5 HDR 予 測 信 号 の R-D 特 性 曲 線 図 5.5 の 特 性 曲 線 から 求 めた BD-RATE を 表 5.6 に 示 す 表 5.6 HDR 予 測 信 号 の BD-RATE[%] シーケンス 名 全 面 適 用 選 択 的 適 用 SteamLocomotiveTrain -2.066-2.085 Night -1.054-1.085 Horse racing(dirt) -0.651-0.676 アンカー: 提 案 法 全 面 不 適 用 式 (4.3)のコスト 関 数 は 表 5.6 の BD-RATE を 最 適 化 する 様 に 働 いており 左 列 と 右 列 を 比 較 しても 全 てのシーケンスにおける 向 上 が 確 認 出 来 る 特 に SteamLocomotiveTrain シーケンスでは 図 5.4(a-d)に 示 す 通 りほぼ 全 面 適 用 と 同 じ 選 択 結 果 であったのにも 関 わら ず BD-RATE は 向 上 している つまり 式 (4.3)の 範 疇 での 最 適 化 は 上 手 くいっており 無 駄 なフラグ 符 号 増 加 分 を 補 填 するだけの PSNR 向 上 効 果 は レイヤ 間 予 測 の 時 点 では 十 分 に 得 られていることになる よって R-D 特 性 が 選 択 的 適 用 によって 必 ずしも 向 上 しない 要 因 としては 後 者 の 要 因 が 大 きく 影 響 していると 考 えられる - 60 -

5.3. レートコントロール 下 での R-D 特 性 5.3.1. 実 験 条 件 次 に より 実 用 的 な 条 件 として 基 本 レイヤ 符 号 化 及 びレイヤ 間 予 測 信 号 符 号 化 時 での レートコントロールを 有 効 にした 場 合 の R-D 特 性 の 差 を 同 様 に BD-RATE を 用 いて 算 出 した 表 5.7 にこの 実 験 で 用 いた 追 加 のパラメータを 示 す 表 5.7 追 加 パラメータ Rate B ( 基 本 レイヤターゲットレート) 15, 20, 25, 30 Mbps 基 本 レイヤ 開 始 QP 値 30 拡 張 レイヤターゲットレート Rate B の 10, 20, 30, 40, 50, 80, 100, 200% 拡 張 レイヤ 開 始 QP 値 40 5.3.2. 実 験 結 果 HDR 信 号 符 号 化 時 の 輝 度 成 分 における BD-RATE を 図 5.6 に 示 す -2.5-2 BD-RATE[%] -1.5-1 全 面 適 用 選 択 的 適 用 -0.5 0 10% 20% 30% 40% 50% 80% 100% 200% (a) SteamLocomotiveTrain - 61 -