学生 23 省メモリ指向一枚超解像アーキテクチャとその FPGA 実装北海道大学大学院情報科学研究科大平貴徳真田祐樹築田聡史五十嵐正樹池辺将之浅井哲也本村真人 1

Size: px

Start display at page:

Download "学生 23 省メモリ指向一枚超解像アーキテクチャとその FPGA 実装北海道大学大学院情報科学研究科大平貴徳真田祐樹築田聡史五十嵐正樹池辺将之浅井哲也本村真人 1"

なおちかかわらい
4 years ago
Views:

1 学生 23 省メモリ指向一枚超解像アーキテクチャとその FPGA 実装北海道大学大学院情報科学研究科大平貴徳真田祐樹築田聡史五十嵐正樹池辺将之浅井哲也本村真人 1

2 研究背景映像機器の高機能化に伴う映像の高解像化ーレティナディスプレイー 4K ハイビジョンテレビ低解像度の映像コンテンツが数多く存在 4K テレビ解像度を高める研究 ( 超解像 ) ー高速ー低コストー解像度の精度省メモリ指向ハードウェアアーキテクチャ一枚超解像の FPGA 実装 Ser Resolu2on image- processing 2

3 超解像の分類再構成型 1 映像や連写から複数枚の画像を用意 2 それぞれの位置を合わせる 3 画素を情報を対比させ繰り返しの処理を行う学習型 1 予め画像のパターンを学習 2 入力画像とパターンを比較 3 パターンにより画素情報を復元し出力 3

4 実装するアルゴリズムの位置づけ従来の超解像複数枚の画像から高解像な画像を生成学習パターンから高解像な画像を生成本研究で用いた一枚超解像一枚画像のみ使用繰り返しなしのストレートフォワード処理演算処理演算処理繰り返し演算とても奇麗な出力が得られるがー複数画像やデータベースを使用するので高コストー位置合わせやイタレーションが必要なため演算量が多いーハードウェア指向ー高速処理ー低コスト 4

5 一枚超解像アルゴリズム一枚超解像アルゴリズムフロー 1 縦横それぞれ 2 倍に拡大 2 拡大された画像にハイパスフィルタを施しエッジ信号を抽出 3 非線形処理によりエッジから高調波を取得 4 発生した高調波を元画像に加算することにより高解像な出力を得る拡大 [1] では Lanczos 補間を用いて画像の拡大を行っている本研究ではこれを提案手法へ拡張 [1]S.Goshi, A new signal processing method for video Reproduce the frequency spectrum exceeding the Nyquist frequency-, Proc. 3 rd Mul2media Systems Conf.,pp.47-52,

境界部におけるジャギーが少ない低コストかつ高精度な補間が可能サンプリングポイント ( 右側のみ ) Lanczos2 ではジャギーが無視できない Lanczos3

6 拡張した拡大部の説明 Lanczos 補間 sinc 関数に基づく補間法 Lanczos2 フィルタ 4 行の入力ラインバッファバイキュービック補間に類似 Lanczos3 フィルタ 7 行の入力ラインバッファ理想的な補間考案手法 4 行の入力ラインバッファボックスフィルタリングに基づく処理整数演算ハードウェア指向境界部におけるジャギーが少ない低コストかつ高精度な補間が可能サンプリングポイント ( 右側のみ ) Lanczos2 ではジャギーが無視できない Lanczos3 は高精度であるが計算コストや資源量が大きい Lanczos kernel B. Pribyl, Fine image re algrothm Proceedings of CESCG

7 拡大アルゴリズムのフロー 1 バイリニア補間を用いて入力画像を 4 倍する 2 拡大した画像の最隣 4 画素の最大値と最小値を算出 3 拡大した画像に 7 7 の移動平均フィルタをかけジャギーを除去 4 算出した最大値最小値を用いてジャギーを除去した画像のエッジを復元 5 画像を半分に縮小し最終的に入力画像の 2 倍の画像を出力 input Up bilinear x2 Up bilinear x2 Max, Min 4 neighbor Box filtering 7 7 Max Min Edge refinement Down output 7

8 拡大 : バイリニア拡大線形補間を用いた拡大法再近傍の平均を取り画素を補間加算器セレクタシフタにより構成 input Up bilinear Max,Min 4 neighbor A B A B Box filtering 7 Edge Refine C D C D Down bilinear 1/2 output 回路セル P 1 = A + C 2, P = P 1 + P 2 3, P 2 = B + D 2 2, input1 Reg >>1 output1 input2 Reg >>1 >>1 output2 Bilinear 2 Bilinear 2

9 ) input Up bilinear Box filtering 7 回路セル Add data Shift Reg Max,Min 4 neighbor

9 拡大 : ボックスフィルタリング 7 7 の移動平均フィルタジャギーを除去しエッジを平滑化 1 行のラインバッファシフタ加算器により構成 P1 P2 P3 P4 P5 P6 P7 P P9 3 3 のカーネルの場合 P1 P2 P3 P4 P5 P6 P7 P P9 P 5 = 1 9 (P 1 + P P 9 ) input Up bilinear Box filtering 7 回路セル Add data Shift Reg Max,Min 4 neighbor Edge Refine Down bilinear 1/2 Reg output output boxfiltering 7 7 Sub data Next data 9

10 拡大 :Max,Min の算出最近傍点における輝度の最大値と最小値を算出レジスタ比較器により構成 input Up bilinear Max,Min 4 neighbor P1 P2 P3 P4 P5 P2 P1 P3 P4 Box filtering 7 Edge Refine P5 回路セル Down bilinear 1/2 output Max Min P 3 = max(p 1, P 2, P 5 ) P 3 = min(p 1, P 2, P 5 ) n e c w s Max 2nd 3rd 4th Min Max Min Reg Reg 10

11 拡大 : エッジリファイン最近傍における輝度の最大値と最小値の間で傾きを立ち上げるルックアップテーブルセレクタ加算器により構成 Max Max input Up bilinear Box filtering 7 Max,Min 4 neighbor Edge Refine Max Min P Min Min 回路セル Down bilinear 1/2 output P' = (Max Min)*(1+ tanh(10 *(P / ))) 2 Min Boxfilter Look-Up Table Min Max Output Edge Refine

12 拡大 : バイリニア縮小線形補間を用いた画像の縮小近傍画素の平均を取り画像を縮小レジスタ加算器シフタにより構成 input Up bilinear Max,Min 4 neighbor A B AP B Box filtering 7 Edge Refine C D P = A + B + C + D 4 C 回路セル Down bilinear 1/2 output input1 Reg >>2 Reg Output bilinear 1/2 input2 Reg 12

13 拡大部回路構成図 Max, Min Down bilinear 1/2 line Buffer line Buffer Max / Min Max / Min Max / Min Max / Min box filter box filter edge refinement edge refinement edge refinement edge refinement down down line Buffer line Buffer enlarged image (serial output) input image serial input) line Buffer 0 flow Up bilinear 4 flow box filter box filter line buffer Box filtering Edge refinement 13

14 ボックスフィルタ回路構成図 sub1 Box filter Shift Register add1 add2 add3 add4 output1 15 box filter box filter box filter box filter sub2 Shift Register output2 15 line buffer Box filtering sub3 Shift Register Shift Register output3 15 output4 sub4 15 Line buffer 14

15 超解像回路構成図 c' = c +α(c 4c + w + e + n + s ) 3 = c + α (4c w e n s)3 9 2 Input data s c n e s w n e line buffers (2N pixels) x 2 w n w c e (4c-s-n-w-e) (4c-s-n-w-e) EXT0 +1 : 9 output s c 15

16 FPGA 実装結果 FPGA についてボード :PowerMedusa,MU300-DVI, StartiX II (Altera) ソフトウェア : Quartos II 拡大部開発言語 :Verilog HDL Register ALUT Fmax 1,62 2, MHz 超解像部開発言語 :VHDL Verilog HDL DVI 入出力 60fps, VGA Register ALUT FPGA CLK 31,732 16,651 90MHz FPGA ボード MU300- DVI 16

17 画像出力結果入力画像 ( ) 提案手法による拡大 ( ) 超解像出力 ( ) バイキュービック補間 + 超解像出力 ( ) bit グレースケール 200*200 画素の画像提案手法とバイキュービック補間による超解像を比較境界部におけるジャギーが大幅になくなり高精度に高解像化 17

18 まとめ研究の目的ー高速かつハードウェア指向である一枚超解像の FPGA 実装ー画像の拡大における提案手法への拡張 FPGA 実装結果拡大部 Register ALUT Fmax 1,62 2, MHz 超解像部 Register ALUT FPGA CLK 31,732 16,651 90MHz 画像出力結果ー拡大部を提案手法に拡張した事で省メモリかつジャギーの少ない高精度な超解像を実現 1

スライド 1

スライド 1 超解像技術とは? 動画や静止画連写などで得られる複数の低解像度 (= 小さな ) 画像を組み合わせ演算により高解像度の (= 大きな ) 画像を作り出す技術の事を一般に超解像技術と呼びます超解像処理高解像処理 (1 枚超解像 ) 超解像のように複数の画像を用いるのではなく 1 枚の画像が持つ情報を深く解析する事で高解像度の画像を得る最新技術ですでは最新の画像処理技術によりこの高解像処理を実現しました

学生 23 省メモリ指向一枚超解像 アーキテクチャとその FPGA 実装 北海道大学大学院情報科学研究科 大平貴徳 真田祐樹 築田聡史 五十嵐正樹 池辺将之 浅井哲也 本村真人 1

学生 23 省メモリ指向一枚超解像アーキテクチャとその FPGA 実装北海道大学大学院情報科学研究科大平貴徳真田祐樹築田聡史五十嵐正樹池辺将之浅井哲也本村真人 1