あらまし 画像処理アルゴリズムの開発から製品実装に至るまでには膨大な工数が必要とされている. まず研究開発段階においてアルゴリズムが発案され, ソフトウェア上での実装, 評価を経てアルゴリズムが確立される. その後製品にハードウェアとして実装するにあたり, アルゴリズムの近似化や高速化が行われ, ハ

Transcription

1 博士論文 セルラ進化型回路網による画像処理回路の自動構築とそのハードウェア化 Automatic Construction of Image Processing Circuit with Cellular Evolutionary Network and Its Hardware Implementation 国立大学法人 横浜国立大学 大学院環境情報学府 永田智洋 Tomohiro NAGATA 2015 年 3 月

2 あらまし 画像処理アルゴリズムの開発から製品実装に至るまでには膨大な工数が必要とされている. まず研究開発段階においてアルゴリズムが発案され, ソフトウェア上での実装, 評価を経てアルゴリズムが確立される. その後製品にハードウェアとして実装するにあたり, アルゴリズムの近似化や高速化が行われ, ハードウェア実装方法が検討される. 最後に製品の設計 実装段階において, 製品のハードウェア上にアルゴリズムが組み込まれる. 近年, 電子機器に搭載される画像処理技術が高度化しそのアルゴリズムも複雑になってきているため, 開発工数の削減が望まれている. 筆者らの研究グループでは,Cellular Neural Networks (CNN) の単位ユニット ( セル ) を, 進化計算法によって神経回路網の構造を最適化する進化型神経回路網のひとつである Real-valued Flexibly Connected Neural Networks (RFCN) に置き換えた, セルラ進化型回路網 (Cellular Evolutionary Network; CEN) を提案している. これは CNN の設計コストの低さや並列計算性と,RFCN の高い計算能力を融合した神経回路網モデルである. 同一の構造を有する RFCN を格子状に整列させることで, これまで最適化が困難であった多入力多出力の問題である画像変換, 画像分類に対して, 回路構造の最適化が可能である.CEN は構造が規則的なため並列計算による処理の高速化が可能であり, またセル同士の相互作用によって複雑な処理を行うことができる. さらにセルはプリミティブな処理を行うユニットで構成されており, ハードウェア化が容易であるという特徴を有する. これらの特性によれば,CEN を用いて画像処理回路を自動構築しそれをハードウェアに落とし込むことによって, 上述したようなアルゴリズムの発案やハードウェア実装方法の検討を行うことが不要となり, 開発工数の大幅な削減が可能となる新たな開発プロセスへの応用が期待できる. 現在までに CEN はその基本方式が確立されており, 手書き文字除去処理などの画像変換と顔 非顔分類問題などの画像分類への有効性が示されている. しかし, その他の画像処理への応用やハードウェア化の試みはまだ行われていない. そこで本論文では,CEN の他の画像処理回路の自動構築への応用とそのハードウェア化を行い, その有効性とハードウェア上での実現可能性を検証する. まず, 近傍同士のセルの相互作用によって実現可能と思われる超解像処理回路の自動構築法を提案する. 提案手法する超解像処理回路では低解像度画像を線形補間した画像を CEN に入力し, GPU を用いて各セルを並列計算することによって超解像処理を行う.3 パターンの傾向の画像セットについて実験を行い, 従来手法と比較して高精度な処理を非常に高速に行うことができることを示す. 次に, 遠方同士のセルの相互作用によって実現可能と思われる処理の応用として, 視差伝搬に基づくステレオマッチング回路の自動構築法を提案する. 視差伝搬に基づくステレオマッチング回路では, まず簡易な方法で左右画像それぞれに対する初期視差を算出し,CEN を用いて初期視差をその信頼度をもとに伝搬させることによってステレオマッチングを行う.Middlebury stereo dataset を用いて実験を行い, 従来手法と比較して多様な画像に対して安定的に高精度な視差を高速に出力できることを示す. その後, さらに高精度で高速なステレオマッチング回路を目指し, 視差拡散 吸収に基づくステレオマッチング回路の自動構築法を提案する. 視差拡散 吸収に基づくステレオマッチング回路では, 初期視差計算時に最適化したマッチングコスト関数を用いることで初期視差を最適化する. i

3 また初期視差の信頼度に基づいてセルを拡散性または吸収性に役割分担した上で視差伝搬を行う. Middlebury stereo dataset を用いて実験を行い, 視差伝搬に基づくステレオマッチング回路に対して計算コストを低減した上で精度向上を実現できることを示す. 最後に, 超解像処理回路を例として自動構築した画像処理回路のハードウェア化を試みる. 自動構築した回路を Verilog-HDL を用いて設計してシミュレーションを行い, ハードウェア上での実現可能性を検証する. またシミュレーションを行って得られた知見を基に, 自動構築法にフィードバックすべき点について検討する. ii

4 Abstract Development and implementation of image processing algorithm take up a lot of time and work. First an algorithm is invented in the research phase, and established through software implementation and performance evaluation. Then the algorithm is modified for approximation or speeding up, and the means of hardware implementation is examined. Finally the algorithm is implemented on hardware as a part of product.recently, image processing technology on electronic devices is becoming more sophisticated and more complex, thus there is a need to shorten the research and development period. We previously proposed cellular evolutionary neural networks (CEN), which is a combined model of cellular neural networks (CNN) and real-valued flexibly connected neural networks (RFCN), a type of evolutionary neural networks. CEN consists of a lattice array of identical RFCNs as cells, which are locally connected with each other as with CNN. Namely, each RFCN corresponds to each cell in CNN. The structural uniformity of CEN reduces the cost of designing (i.e. we need to optimize only one cell) and enables parallel computation as with that of CNN does. Besides that, CEN has higher computational power than CNN due to the evolutionary optimization of RFCN and their cellular interaction; and it is easy to implement CEN on hardware since its cell consists of primitive processing units. According to these characteristics, automatically constructing image processing circuit using CEN can be a novel development methodology and shorten the research and development period described above. We had proposed basic idea of CEN, and our previous work has demonstrated that CEN showed high performance in image conversion, such as extraction of printed character on a scanned document, and face-non-face image classification. However no study on CEN s other image processing application or attempt to hardware implementation has yet been conducted. In this paper, therefore, we propose further applications of CEN to image processing and its hardware implementation, and show its effectivity and feasibility. First we propose an automatic construction algorithm of single frame super-resolution circuit as CEN s application, which requires interaction of neighboring cells. Our algorithm first bilinear-interpolates a low-resolution image, and then produces a high-resolution image using CEN. The state transition of each cell is performed in parallel with GPU. We test our algorithm with 3 types of image sets, and experimental results show our algorithm is able to produce state-of-the-art results at high speed compared to conventional methods. Many algorithms for single frame super-resolution have been proposed because of its broad range of applications. For most of previous algorithms, however, there is a trade-off between quality and running time. In this paper, As another application, which requires interaction of distant cells, we propose an automatic construction algorithm of stereo matching circuit based on disparity propagation. Our algorithm calculates initial disparities with a simple method, and then propagates those disparities using CEN. The direction of propagation is controlled by a reliability map, which is created by checking left-right consistency of the initial disparity maps. We test our algorithm with the Middlebury stereo dataset, and experimental results show iii

5 that our algorithm is able to produce more accurate disparities than conventional methods for various types of scenes with low computational cost. To improve our automatic construction algorithm of stereo matching circuit, we propose an initial disparity optimization and disparity diffusion/absorption-based approach. The first feature mainly calculates initial disparities by an evolutionary-optimized matching cost function. The second feature then diffuse or absorb them according to the reliability of the initial disparity by utilizing state transition of CEN. Experimental results show that our new algorithm exceeds the conventional methods and our previous one with lower computational cost, indicating the key features boost accuracy, especially for textureless regions, without being computationally expensive. Finally, we attempt to implement the super-resolution circuit constructed by CEN as an example. We designed and simulate the circuit by Verilog-HDL, and verify its feasibility on hardware. In addition, we examine hardware-oriented CEN based on knowledge obtained by the simulation. iv

6 目次 第 1 章 序論 背景と目的 本論文の構成 第 2 章 関連研究 Real-valued Flexibly Connected Neural Network (RFCN) Cellular Evolutionary Network (CEN) CEN の基本構造 CEN による画像処理 まとめ 第 3 章 超解像処理回路の自動構築 はじめに シングルフレーム超解像処理の従来研究 従来研究の問題点 CEN による超解像処理 概要と主な特徴 セルの構造 処理の流れ 回路の最適化 並列処理による高速化 超解像処理実験 実験設定 実験結果と考察 まとめ 第 4 章 視差伝搬に基づくステレオマッチング回路の自動構築 はじめに ステレオマッチングの従来研究 従来研究の問題点 CEN による視差伝搬に基づくステレオマッチング 概要と主な特徴 処理の流れ 回路の最適化 視差算出実験 実験設定 実験結果と考察 v

7 4.4 まとめ 第 5 章 視差拡散 吸収に基づくステレオマッチング回路の自動構築 はじめに CEN による視差拡散 吸収に基づくステレオマッチング 概要と主な特徴 処理の流れ 回路の最適化 視差算出実験 実験設定 実験結果と考察 まとめ 第 6 章 自動構築した画像処理回路のハードウェア化 超解像処理回路を例として はじめに 超解像処理回路の設計 概要 回路の設計 超解像処理回路のシミュレーション 概要 RTL シミュレーション タイミング解析 ゲートレベルシミュレーション ハードウェア指向 CEN の検討 まとめ 第 7 章 結論 本論文で得られた成果 今後の課題 謝辞 65 参考文献 65 本研究に関する発表 70 vi

8 図目次 2.1 RFCN の回路構造の例 CEN の構造例 CEN を階層的に用いた画像分類回路 CEN による超解像処理 近傍入力 I i の結合荷重 テスト画像に対する結果の一部 ( 顔 ) テスト画像に対する結果の一部 ( 建物 ) テスト画像に対する結果の一部 ( テキスト ) 構築された回路構造 ( 顔 ) 構築された回路構造 ( 建物 ) 構築された回路構造 ( テキスト ) 構築された回路の状態遷移の様子 ( 顔 ) CEN によるステレオマッチング 近傍入力 I i の結合荷重 信頼度に基づくセルの結合関係 学習画像セットと重み画像の例 学習画像, テスト画像の一部に対する各手法の視差画像 各テスト画像に対する ER 1.0 と RMS 構築されたセルの回路構造 tr2 と ts15 に対する回路の状態遷移の様子 CGP によるマッチングコスト関数のイメージ セルの役割と結合関係 CGP の遺伝子型と表現型 各学習画像, テスト画像の一部に対する各手法の視差画像 CEN (prev.) と CEN (new) の処理時間の割合 CGP によって最適化されたマッチングコスト関数 ts6 と ts15 に対する初期視差画像 ts6 と ts15 の左右画像に対するマッチングコスト関数適用結果 構築されたセルの回路構造 tr6 と ts15 に対する回路の状態遷移の様子 Verilog-HDL による回路記述の例 Verilog-HDL による超解像処理 セットアップ解析とホールド解析 vii

9 6.4 処理のパイプライン化 viii

10 表目次 2.1 遺伝子型の例 遺伝子型から表現型への変換表の例 遺伝子型の例 CEN のパラメータ 出力関数の種類 GA のパラメータ 比較手法のパラメータ 各手法の PSNR,SSIM による評価 各手法の処理時間の比較 学習時とテスト時で画像の傾向を変えた場合の PSNR,SSIM CEN のパラメータ 出力関数の種類 GA のパラメータ 比較手法のパラメータ 各手法の ER th,rms と処理時間 CGP に関するパラメータ CGP の演算ノード 各手法の ER th,rms と処理時間 設計した回路の詳細 各回路の LE 数と I/O ピン数 章の実験結果 (GPU) と RTL シミュレーション結果の比較 各回路の最高クロック周波数 ゲートレベルシミュレーションの設定 ゲートレベルシミュレーションの結果から見積もった処理時間 ix

11 第 1 章 序論 1.1 背景と目的 画像処理アルゴリズムの開発から製品実装に至るまでには膨大な工数が必要とされている. まず研究開発段階においてアルゴリズムが発案され, ソフトウェア上での実装, 評価を経てアルゴリズムが確立される. その後製品にハードウェアとして実装するにあたり, アルゴリズムの近似化や高速化が行われ, ハードウェア実装方法が検討される. 最後に製品の設計 実装段階において, 製品のハードウェア上にアルゴリズムが組み込まれる. 近年, 電子機器に搭載される画像処理技術が高度化しそのアルゴリズムも複雑になってきているため, 開発工数の削減が望まれている. 筆者らの研究グループでは,Cellular Neural Networks (CNN)[1,2] の単位ユニット ( セル ) を, 進化計算法によって神経回路網の構造を最適化する進化型神経回路網のひとつである Real-valued Flexibly Connected Neural Networks(RFCN)[3,4] に置き換えた, セルラ進化型回路網 (Cellular Evolutionary Network; CEN) を提案している [5,6]. これは CNN の設計コストの低さや並列計算性と,RFCN の高い計算能力を融合した神経回路網モデルである. 同一の構造を有する RFCN を格子状に整列させることで, これまで最適化が困難であった多入力多出力の問題である画像変換, 画像分類に対して, 回路構造の最適化が可能である.CEN は構造が規則的なため並列計算による処理の高速化が可能であり, またセル同士の相互作用によって複雑な処理を行うことができる. さらにセルはプリミティブな処理を行うユニットで構成されており, ハードウェア化が容易であるという特徴を有する. これらの特性によれば,CEN を用いて画像処理回路を自動構築しそれをハードウェアに落とし込むことによって, 上述したようなアルゴリズムの発案やハードウェア実装方法の検討を行うことが不要となり, 開発工数の大幅な削減が可能となる新たな開発プロセスへの応用が期待できる. 現在までに CEN はその基本方式が確立されており, 印刷文字の抽出処理などの画像変換と顔 非顔分類問題などの画像分類への有効性が示されている. しかし, その他の画像処理への応用やハードウェア化の試みはまだ行われていない. 本論文では,CEN の他の画像処理回路の自動構築への応用とそのハードウェア化を行い, その有効性とハードウェア上での実現可能性を検証する. 1.2 本論文の構成 本論文の構成は次の通りである. まず第 2 章で, 関連研究である CEN について述べる. 第 3 章では, 近傍同士のセルの相互作用によって実現可能と思われる処理への応用として, 超解像処理回路の自動構築法を提案し, その有効性を検証する. 第 4 章では, 遠方同士のセルの相互作用によって実現可能と思われる処理への応用として, 視差伝搬に基づくステレオマッチング回路の自動構築法を提案し, その有効性を検証する. 第 5 章では, さらに高精度で高速なステレオマッチング回路を目指した, 視差拡散 吸収に基づくステレオマッチング回路の自動構築法を提案し, その有 1

12 効性を検証する. 第 6 章で, 自動構築した回路のハードウェア化として, 超解像処理回路を例に Verilog-HDL による設計とシミュレーションを行い, ハードウェア上での実現可能性を検証する. また, 得られた知見から自動構築法にフィードバックすべき点の検討を行う. 最後に第 7 章で, 本論文のまとめと今後の課題について述べる. 2

13 第 2 章 関連研究 2.1 Real-valued Flexibly Connected Neural Network (RFCN) 筆者らの研究グループでは, 進化計算法によって神経回路網 (Neural Network) の構造を最適化する進化型神経回路網のひとつである,Real-valued Flexibly Connected Neural Network (RFCN) を提案している [3,4].RFCN は, 神経回路網の構造を二次元配列の遺伝子型で表現し, それを遺伝的アルゴリズム (Genetic Algorithm; GA) によって最適化することで問題に応じた任意の回路構造を自動構築する手法である. これまでに実数値環境下でのエージェントの制御などに適用され, 高い性能が示されている [4].RFCN は次の 2 つの特徴を持つ. (1) 二次元配列の遺伝子型 RFCN の構造は, 表 2.1 に示すように各ユニット間の結合荷重, 各ユニットの出力関数の種類, 出力関数のパラメータ, 応答速度, しきい値に整数値を割り当て, 二次元配列の遺伝子型によって表現される. 遺伝子型の各項目の整数値は表 2.2 に示す変換表によって対応する値や関数に置き換えられ, 図 2.1 に示すよう表現型である回路構造に変換される. このように, ユニット特性, 任意のユニット間の結合の有無 (feedback 結合も含む ), 結合荷重の全てを 1 つの二次元配列の遺伝子型として表現するため, 実装が非常に容易で, ユニット特性の追加や除外などの変更も簡単に行うことができる. 遺伝子操作のオペレータとしては, 遺伝子の突然変異, ユニット数の突然変異, 交叉を用いる. ユニット数の突然変異ではユニットの追加と削除を行う. 交叉では二次元配列を分割して生成されたブロックの交換を行う. I 0 I H 0 B α = d Θ = Response order = 0 H1 C α = b Θ = H 2 A α = c Θ = Response order = 1 O 0 D α = a Θ = 図 2.1: RFCN の回路構造の例 3

14 表 2.1: 遺伝子型の例 Output Hidden O 0 H 0 H 1 H 2 Activation function Gain α Threshold θ Response order Weight from input I I Weight from hidden H H H 表 2.2: 遺伝子型から表現型への変換表の例 No. Activation function Gain α Threshold θ Weight 0 A a B b C c D d (2) 多様なユニットの特性 RFCN ではユニットに応答速度という特性をもたせて, ユニットの動作を多様にしている. 応答速度が速いユニットから順に出力することで, 一度の遷移で遅いユニットがより速いユニットの出力を入力として使えるため, 全てのユニットが同期して出力する場合よりも複雑な状態遷移が可能となる. また出力関数をシグモイド関数, 線形関数, 区分線形関数, ステップ関数など複数用意し, 関数内にパラメータを与えることで, ユニットに様々な出力を可能とさせている.RFCN はこれらのユニット特性によって大幅に回路の表現力が向上している. 例えば出力関数の種類が 4 種類, 関数内のパラメータが 4 種類, しきい値が 6 種類, 応答速度が 2 種類であった場合, ユニットは = 192 通りの特性をもつことができ, 同一のトポロジ構造であっても多様な応答をする回路を表現することができる. 4

15 2.2 Cellular Evolutionary Network (CEN) (Cellular Evolutionary Network; CEN) 5 6 RFCN CEN Cellular Neural Networks (CNN) 1 2 RFCN 3 CEN RFCN CEN RFCN CEN RFCN RFCN CEN RFCN RFCN CNN CEN 2.2 CEN CEN RFCN RFCN RFCN 1 RFCN I e RFCN RFCN I i 2 O e RFCN O i 2 RFCN I e I i GA CEN CEN CEN M N [pixel] r =} 0, 1,...,n [pixel] n 1. [0.0, 1.0] 5

16 Genotype Phenotype from to O 0 O 1 H 0 Function Gain Threshold Responseorder I I InternalinputsI i ExternalinputI e Internaloutput O i Externaloutput O e 図 2.2:CEN の構造例 2.x={1,2,...,M },y={1,2,...,n} のすべての座標 (x,y) のセルに対して,I e に入力画像の座標 (x,y) の値を,I i に入力画像の座標 (x±r,y±r) の値をそれぞれ初期値として入力. 3. すべてのセルを同期的に状態遷移. 4. すべての座標 (x,y) のセル対して, 座標 (x±r,y±r) のセルの O i の出力値を I i へ入力. 5.3,4 を規定回数だけ反復. 6. すべての座標 (x,y) の O e の出力値を [0,255] に変換し, 出力画像の階調値として取得. これまでに画像変換回路と画像分類回路の構築がなされ, その有効性が示されている. 次に CEN による画像変換と画像分類の概要について述べる. 画像変換 CEN の画像変換への応用として, 先行研究 [5,6] では印刷文字の抽出処理を行っている. これは, 印刷文字と鉛筆で書かれた手書き文字が混在する画像から, 印刷文字だけを抽出する処理である. 処理対象である画像を入力として, 前述した基本動作に基づいて処理を行い,CEN の O e の出力値を [0,255] に変換して出力する. また CEN の学習は, 入力画像, 手書き文字が除去された理想的な目標画像, 及び各座標の評価の重みを表した重み画像の組を与え,CEN の出力画像と目標画像の誤差が小さくなるように行っている. 学習に用いた画像に, 最適化した CEN を適用した結果, 印刷文字を抽出し理想的な処理を行っている. テスト画像に対しても, わずかに手書き文字が除去できていない部分があるが, 良好な結果が得られている. 更にセルを外部出力 O e のが 2つの回路に拡張し, 印刷文字の抽出と手書き文字の抽出を同時に処理する実験を行っている. 印刷文字の抽出実験と同様に, 学習画像, テスト画像の両方に対して, 良好な結果を示しており, 目的の画像変換処理を行う外部出力 O e を 2つ有する回路を構築できることを示している. 画像分類 先行研究 [7] では,CEN を階層的に用いた画像分類回路の構築法を提案している. 図 2.3 に CEN を階層的に用いた画像分類回路の構造を示す. この画像分類回路は,CEN が階層的に並んだ特徴 6

17 図 2.3: CEN を階層的に用いた画像分類回路 量抽出部と, 特徴量抽出部の最終層に接続された RFCN 単体の分類部で構成される. 特徴抽出部の各層と分類部の RFCN は独立の遺伝子をもつため, 特徴量抽出部の層数が 3 層の場合,4 つの RFCN を同時に最適化を行う. 特徴量抽出部は, 徐々にサイズが縮小していく CEN の層で構成される. 第 1 層では分類対象の画像を入力し,2 層目以降は, 前層の出力画像を 1/R i に縮小した画像を入力として, 第 1 層から順に状態遷移を行う. ここで R i は各層 i での縮小係数である. この特徴量抽出部は, 入力画像の画素単位の特徴が, 状態遷移によって抽出されるとともに, 階層構造によって徐々に大局的な特徴量に統合されていくことをねらいとしている. 分類部では, 特徴量抽出部の出力を入力として, どのクラスに属するかを判定する. 分類クラスが N の場合, 外部出力ユニット O e の数は N であり, 最も大きな出力の出力ユニットに対応するクラスに画像が属すると判定する. CEN を用いた画像分類実験として, 顔 非顔の 2 クラス分類問題, 頭部 非頭部の 2 クラス分類問題, 男性 女性の 2 クラス分類問題の 3 つの問題に適用している. 特徴量抽出部が有効に働いていることを示すために, 入力画像を分類部の入力ユニット数に単純に縮小し, 分類部の RFCN 単体だけで分類する手法と比較を行っている. その結果, 適用した 3 つの問題において, 学習に用いた画像に対する最良個体の分類率は約 9 割であり, 比較手法と比べて精度良く分類できている. また, 特徴量抽出部のない比較手法では, 学習時と比べてテスト画像に対する分類率が大幅に低下するのに対して,CEN では分類率の低下が小さく汎化性能が向上している. この結果から CEN の層で構成された特徴量抽出部が分類部において分類しやすいように大局的な特徴を抽出していることが考察されている. 2.3 まとめ 本章では, 本研究に関連する RFCN と CEN について述べた.RFCN は任意の回路構造を GA を用いて最適化することによって自動構築する手法である. 構造は二次元配列の遺伝子型で表現され, 多様な応答をする回路を表現することができるという特徴をもつ.CEN は RFCN をセルとして格子状に整列させ, 近傍結合させたものであり, 低設計コスト, 高い計算能力, 並列計算性があるという特徴をもつ. これまでに CEN によって画像変換回路と画像分類回路の構築がなされ, そ 7

18 の有効性が示されている. 8

19 第 3 章 超解像処理回路の自動構築 3.1 はじめに 近年, ディスプレイの低価格化 大画面化に伴う映像機器の高解像度化が進み, 一般消費者でもテレビやモバイル機器などのデバイスで手軽に高解像度な画像, 映像を楽しめるようになってきている. そこで, 過去に記録された画像, 映像などを高解像度で観賞したいというニーズから, 超解像処理技術が注目されている. 超解像処理とは, 低解像度画像を高解像度画像に変換する技術であり, 動画コンテンツ, セキュリティカメラ, ロボットビジョンなど様々な応用範囲が存在する. 超解像処理は動画像を用いるマルチフレーム超解像 [8] と, 静止画像を用いるシングルフレーム超解像に分類される. マルチフレーム超解像は複数フレームの位置合わせを行い標本点を増やすことで高解像度化するため, 真のデータを復元することが可能である. しかし計算コストが膨大であるため, オンライン処理は現状困難であり, 主に記録済みのデータに対してオフラインで処理を行うことが目的とされている. 一方シングルフレーム超解像は,1 枚の静止画像から高解像度画像を推定するため, 真のデータの復元を保証することはできない. しかしマルチフレーム超解像と比較して計算コストが低いため, 表示機器上でオンラインで動作させることを目的として広く研究 開発が行われている. 本論文ではシングルフレーム超解像を対象とし, 以下単に超解像という場合はシングルフレーム超解像のことを示すものとする シングルフレーム超解像処理の従来研究 シングルフレーム超解像は大きく interpolation-based 法,reconstruction-based 法,example-based 法の 3 つのアプローチに分類される. これら 3 つのアプローチについて述べる. Interpolation-based 法 Interpolation-based 法 [9 12] は画像の各画素とその近傍の加重平均を用いて補間を行う手法である. 最も単純で一般的な手法は, 各画素に対してカーネル関数を用いて畳み込み処理を行うことによって補間を行う bilinear や bicubic,lanczos[9] である. また近傍画素の共分散を用いて補間を行う,New edge-directed interpolation (NEDI)[10] が Li らによって提案されている.NEDI は局所的なエッジの方向に沿った補間を行うため, ボケやブロックノイズを抑えた補間を行うことができる. Reconstruction-based 法 Reconstruction-based 法 [13 16] は, 主に低解像度画像と高解像度画像の間の関係性を事前知識として利用し, その事前知識から設計したエネルギーを最小化することによって高解像度画像を推定する手法である.Sun らは web 上から収集した 1000 枚の自然画像とそれらの縮小画像を用いて 9

20 低解像度画像と高解像度画像の勾配特性の関係を分析し, その結果を用いて処理対象の画像の局所 的な勾配分布を仮定し, 超解像処理を行った [15]. Example-based 法 Example-based 法 [17 19] は, あらかじめ様々な低解像度画像と高解像度画像の組から作成した事例ベースを用いる手法である. 処理対象の画像の各局所領域に対し, 確率伝搬法などの大域的最適化法を用いて適切な事例を選び, パッチワークのように貼付けていくことで処理を行う. 予め事例ベースを作成せずに, 処理対象の画像 1 枚だけを用いる手法も提案されている [20,21].Glasner らは処理対象の画像とその縮小画像から事例を作り出し, 更に画像中の共通領域を複数のフレームとみなして利用することで example-based とマルチフレーム超解像を統合した手法を提案した [20] 従来研究の問題点 Interpolation-based 法は処理が単純であるためリアルタイム処理が可能であるが, 高画質な画像を生成するのは困難である.Reconstruction-based 法は interpolation-based 法と同様計算コストは低いが, 事前知識に依存するため不自然にエッジを先鋭化し過ぎたり, 適用できる画像の傾向が限定されたりするという問題点がある.Example-based 法は前者 2 つのアプローチと比較して一般に高画質であるものの, 大域的最適化を行うため計算コストが高く, また保持している事例に依存する. 予め事例ベースを作成しない Glasner らの手法は, 多様な画像に対して高画質な画像を生成することができ現状で最高レベルの手法として知られているが, 処理が非常に複雑であるため計算コストが非常に高い. 以上のように, 従来手法は一般的に画質と計算コストがトレードオフの関係にあり, また様々な画像に対して安定的に高画質な画像を生成することは困難である. 3.2 CEN による超解像処理 概要と主な特徴提案する CEN による超解像処理の原理を図 3.1 に示す. 提案手法では, まず低解像度画像を線形補間した画像の各画素の階調値を CEN の各セルに入力する.GPU を用いて各セルを並列計算し, 最適化された遷移回数だけ同期的に状態遷移を行う. その後, 各セルの外部出力値を超解像処理後の画像の階調値として得る. 学習時には, 目標画像を縮小した画像に対してこのような処理を行い, 出力画像と目標画像の誤差が小さくなるようにセルの構造を GA によって最適化する. 次に従来手法に対する提案手法の主な特徴を示す. 1. 高度な補間処理一般的な先鋭化処理では画像全体に対して一様な処理を行うため, エッジ部分にジャギーがみられたりフラットな部分にノイズが発生してしまう. しかし CEN ではセルが相互作用しながら処理を行うことによって, 画像の傾向や領域ごとに適切な処理が行われ, ジャギーやノイズの少ない画像を生成することができると考えられる. 10

21 Low-res. image I l (M N) Input image I b (am an) CEN (am an) Output image (am an) Bilinear interpolation 図 3.1: CEN による超解像処理 = 25 inputs 6 types of weight 図 3.2: 近傍入力 I i の結合荷重 2. 汎用性進化計算法によって補間ルールを獲得することで, 従来手法のように補間ルールが事前知識や事例ベースに依存せず, 多様な画像に対して安定的に高画質化を行う補間処理の獲得が期待できる. 3. 高速処理セルラ構造であるため各セルを GPU を用いて並列計算させることで高速処理が可能であり, またハードウェア化も容易である. したがって従来手法で問題となっていた画質と計算コストのトレードオフを解消できる セルの構造 CEN を超解像処理に適用するにあたり,RFCN の構造の変更を 2 点行う. 1 つ目は, 近傍出力 O i と外部出力 O e の統合である. 従来の CEN では出力ユニットを O i と O e の 2 種類用いることで, 外部への出力とは別に, 処理に必要な情報を O i で作り出している. しか し超解像処理においては, 出力画像の階調値となる O e が毎回の遷移で必要な情報となるため,O e をそのままフィードバックした方が良いと考えられる. したがって各 RFCN の出力ユニットを O の 1 つとする. 2 つ目は, 近傍入力 I i の結合荷重の回転対称化である. 画像中の物体の向きに依存しない処理を 行うため, 図 3.2 に示すよう,5 5 近傍の場合,25 種類の結合荷重を回転対称にして 6 種類にす る. このようにすることで, 画像の回転に不変な構造となると同時に, 最適化する結合荷重の種類 数も減るため探索空間を減少させることができる. 11

22 3.2.3 CEN r =} 0, 1,...,n n 1. M N I l a am an I b CEN 2. I b [0.0, 1.0] 3. (x, y) I e I b (x, y) I i I b (x r, y r) (x, y) I e I b (x, y) I i (x r, y r) O 6. 4, 5 7. O [0, 255] GA GA 3 P c 2 P m P h m 1 12

23 3.1: Output Hidden O 0 H 0 H 1 H 2 Activation function Gain Threshold Response order Weight from input I I Weight from hidden H H H Iterations P c 1 2 P m GA GA fitness M N w(x, y) o(x, y) t(x, y) fitness = 1 y=1 x=1 V max M N w(x, y) (3.1) y=1 x=1 N, M o(x, y) t(x, y) (x, y) w(x, y) w(x, y) t(x, y) V max [0.0, 1.0] 3 3 sobel fitness 13

24 3.2.5 CEN GPU GPU GPU API OpenGL GPU Cg (C for graphics) 22 GPU GPU GPU CPU GPU RGBA4 GPU RGBA Labeled Faces in the Wild Database 23 Caltech Buildings Dataset [pixel] [pixel] [pixel] /2 2 PSNR SSIM 25 SSIM PSNR PSNR SSIM Vmax 2 PSNR = 10 log 10 [db] (3.2) 1 M N o(x, y) t(x, y) 2 MN SSIM = 1 MN M N y=1 x=1 y=1 x=1 p{ W(x,y) (2μ o μ t + c 1 )(2σ ot + c 2 ) (μ 2 o + μ 2 t + c 1 )(σ 2 o + σ 2 t + c 2 ) W(x, y) (x, y) μ o μ t W(x, y) σ 2 o σ2 t W(x, y) σ ot W(x, y) c 1 c 2 c 1 = 0.01 V max, c 2 = 0.03 V max CEN GA 3.4 interpolation-based lanczos 9 NEDI 10 reconstruction-based Sun 15 example-based Glasner 20 (3.3) 14

25 し, 提案手法 5 試行中の最良個体と比較する. これら比較手法のパラメータを表 3.5 に示す.NEDI は著者のウェブページ 1 のソースコードを用いた.Sun らの手法は [16] の著者のウェブページ 2 のソースコードを,Glasner らの手法は [21] の著者のウェブページ 3 のソースコードを基に筆者らが作成した. 実験は全て Dell Precision T3500(CPU: Xeon 2.53GHz, メモリ :4GB,GPU:NVIDIA Quadro FX MB) 上で行った. 1 xinl/publications.html 2 yuwing.kaist.ac.kr/projects/superresolution/index.htm 3 eng.ucmerced.edu/people/cyang35 15

26 3.2: CEN Parameter Value Internal input units I i 5 5 = 25 (face, building) 3 3 = 9 (text) External input units I e 1 Output units O 1 See Table 3.3. Gain α 0.25, 0.5, 1.0, 2.0 Threshold 0.0, 0.5, 1.0, 2.0 Response order 0 (faster), 1 (slower) Weight 0.0, 0.5, 1.0, 2.0, 4.0 Iterations 3, 4, 5, 6, 7, 8, 9, 10 Function 3.3: Formula Sigmoid f (x) = exp( αx) Linear f (x) = αx 0 (x 0) Piecewise linear f (x) = αx (0 < x 1/α) 1 (1/α x) αx (x > 0) Threshold f (x) = 0 (x 0) ) Gaussian f (x) = 1 exp x 2 2πα 2 2α 2 Average f (x) = 1 N Ni x i Max f (x) = x 0 Min f (x) = x N Range f (x) = max(x) min(x) (x is sorted x in descending order.) 16

27 表 3.4: GA のパラメータ Parameter Value Generations Generation alternation model MGG* Population size 100 Children 30 Crossover rate P c 0.7 Mutation rate P m 0.05 Mutation rate (number of hidden units) P h m 0.1 *Minimal Generation Gap[26] 表 3.5: 比較手法のパラメータ Method Parameter Value Lanczos Radius of kernel r 2 NEDI Window size M 8 Edge pixel threshold th 8 Sun Step size τ 0.2 Weight of gradient constraint β 0.5 Iterations 20 Freeman Low resolution patch size 7 7 High resolution patch size 4 4 Interval size 3 Overlap size 2 Nearest patches 30 Iterations for belief propagation 50 Glasner Patch size 5 5 Resolution levels 5 Nearest patches 2 Iterations for back projection 3 17

28 3.3.2 実験結果と考察従来手法との比較提案手法と他の手法の PSNR,SSIM を比較した結果を表 3.6 に示す.CEN の列はそれぞれの傾向に特化して学習して得られた結果,CEN (all types) の列は 3 種類の傾向を全て学習して得られた結果である. 全ての傾向において,Glasner らの手法が PSNR,SSIM 両方で最も高い値を示している. しかし傾向に特化した提案手法もそれに近い値が得られており, 全てにおいて lanczos,nedi, Sun らの手法を上回っている.3 つ全ての傾向を学習した場合は特化した結果よりも劣るが, 同様に Glasner らの手法を除く他の手法を上回っている. この結果から, 提案手法はある傾向に特化させると非常に高画質な画像を生成することができ, 様々な傾向に対応させても一般的な従来手法より安定的に高画質な画像を生成することができる手法であると考えられる. テスト画像に対する各手法の出力画像の一部を切り出したものを図 3.3,3.4,3.5 に示す.Lanczos は全ての傾向の画像に対して全体的にボケた画像になっている.NEDI は細かいエッジ付近のノイズや平滑化され過ぎている部分が見られる. 例えば, 図 3.3 の最下段の画像においては目の部分にノイズが見られ, 図 3.4 の 2 段目の画像においては格子や柱の模様が平滑化されている. 図 3.5 においても文字が薄くなっていることがわかる.Sun らの手法は建物に対しては比較的良好な結果を示している. しかし, 顔に対しては目の部分が白と黒で塗りつぶされていたり, テキストに対しては文字が膨張していたり, 背景の階調値が低くなっている. このように,reconstruction-based の手法は事前知識に依存してしまうため, 画像の傾向によって不自然な処理が行われてしまう.Glasner らの手法は, 他の比較手法で見られるノイズやボケが少なく, 全ての傾向において最も目標画像に近い画像が得られている. しかし提案手法もそれとほぼ同等な画質で,lanczos,NEDI,Sun らの手法よりも良好な結果が得られている. 図 3.3 の 3 段目の画像に対する提案手法の結果は,Glasner らの手法と比較して少しボケているものの, 他の顔や建物, テキストに対しては Glasner らの手法と同様に目標画像に近い画像が得られている. 例えば, 図 3.4 の 2 段目の画像においては,Glasner らの手法と同様に格子や柱の模様がはっきり見られ, 図 3.5 においても,Glasner らの手法, 提案手法ともにコントラストの高い画像が得られている. 処理時間の比較を表 3.7 に示す.NEDI と Glasner らの手法は Matlab 上で実行した.PSNR,SSIM が最も高く, 主観的にも最も良い結果を示した Glasner らの手法は, 実行環境の違いはあるものの, 最も処理が複雑であるため, 他の手法と比較して圧倒的に計算コストが高いことがわかる. 一方で GPU 実装の提案手法は最も処理が単純な lanczos よりも速く, 全て 1 秒以下である.Glasner らの手法と比較すると 10,000 倍以上高速である. 以上の結果から, 提案手法は現状で最高レベルとされている Glasner らの手法とほぼ同等な精度で, かつ非常に高速に処理を行うことができる手法であるといえる. 18

29 表 3.6: 各手法の PSNR,SSIM による評価 PSNR Lanczos NEDI Sun Glasner CEN CEN (all types) Face Training Test Building Training Test Text Training Test SSIM Lanczos NEDI Sun Glasner CEN CEN (all types) Face Training Test Building Training Test Text Training Test 表 3.7: 各手法の処理時間の比較 Lanczos NEDI*1 Sun Glasner*1 CEN (CPU) CEN (GPU)*2 Face [sec/image] Building [sec/image] Text [sec/image] *1 Executed with Matlab., *2 4 images processed simultaneously. 19

30 Lanczos Sun CEN NEDI Glasner 図 3.3: テスト画像に対する結果の一部 顔 Ground truth Lanczos Sun CEN NEDI Glasner 図 3.4: テスト画像に対する結果の一部 建物 Ground truth 20

31 Lanczos NEDI Sun Glasner CEN Ground truth 図 3.5: テスト画像に対する結果の一部 ( テキスト ) 21

32 Fitness: # of hidden units:4 # of transitions:3 Internal inputs External input 図 3.6: 構築された回路構造 ( 顔 ) 構築された回路に関する考察 それぞれの傾向に特化して学習させて得られた回路構造を図 3.6, 図 3.7, 図 3.8 に示す. ここでは図 3.6 の顔の回路について考察する. 近傍入力の結合荷重を回転対称化したため, 入力ユニットの種類が 7, 外部出力と近傍出力を統合したため出力ユニットが 1, 中間ユニット数が 4 というシンプルな回路が構築された.4 つの中間ユニットのうち, 黒いユニット (range) は応答速度の速いユニットである. ユニット間の結線に付随する数値は結合荷重を示している. この回路の遷移の様子を図 3.9 に示す. 画像中のエッジ部分とフラットな部分を切り出して遷移の様子を比較すると, エッジ部分では徐々に先鋭化される処理が行われており, フラットな部分は t = 1 で階調値が変化するが入出力間ではほぼ変化が見られない. 一般的な先鋭化処理では画像全体に対して一様な処理を行うため, エッジ部分にジャギーが見られたりフラットな部分にノイズが発生してしまう. しかし CEN ではセルが相互作用しながら徐々に処理を行うことによって, ジャギーやノイズを抑えた画像を生成することができる. 表 3.8 に学習時とテスト時で画像の傾向を変えた場合の PSNR,SSIM を示す.PSNR,SSIM ともに学習の傾向とテストの傾向が一致している場合に最も高い値が得られている. しかし 3 つの傾向全てを学習した場合より, 顔または建物に特化した場合の方が全ての傾向に対して高い PSNR を示している. これは学習画像中に他の傾向にも存在する局所的なパターンが多く含まれていたためであると考えられる. したがって, 単に複数の傾向の画像をそのまま与えて学習させるよりも, パターンの出現性を考慮した適切な学習セットを与えれば, 様々な画像に対してより安定的に高い性能を示すことができる可能性がある. 22

33 Fitness: # of hidden units:3 # of transitions:3 Internal inputs External input 図 3.7: 構築された回路構造 ( 建物 ) Fitness: # of hidden units:5 # of transitions:6 Internal inputs External input 図 3.8: 構築された回路構造 ( テキスト ) 23

34 Edge part Flat part t=0 (input) t=1 t=2 t=3 (output) 図 3.9: 構築された回路の状態遷移の様子 ( 顔 ) 表 3.8: 学習時とテスト時で画像の傾向を変えた場合の PSNR,SSIM PSNR SSIM Test set type Test set type Face Building Text Face Building Text Face Training Building set type Text All types

35 3.4 まとめ 本章では,CEN による超解像処理回路の自動構築法を提案し, 顔, 建物, テキストと定義した 3 パターンの傾向の画像セットについて超解像処理実験を行い提案手法の有効性を検証した. 従来手法が画質とスピードにトレードオフをもつのに対し, 提案手法は現状の最高レベルの手法と同等な精度で高速に処理を行うことができることを示した. また 3 パターン全ての傾向に対応させた場合, 一般的な従来手法より全ての傾向に対して安定的に良好な処理を行うことができることを示した. さらに, 学習時とテスト時で画像の傾向を変えた場合について比較を行い, 適切な学習セットを与えることができれば様々な画像に対してより高い性能を示すことができる可能性があることが分かった. 25

36 local global Local Local block matching I L (x, y) W l I R (x, y) W r d =} 0, 1,...,d max C(x, y, d) d max (4.1) C(x, y, d) d d(x, y) = arg min d C(x, y, d) (4.1) W N W th Sum of Absolute Difference (SAD) C SAD (x, y, d) = Sum of Squared Difference (SSD) C SSD (x, y, d) = (i, j){ W (i, j){ W Sum of Truncated Absolute Difference (STAD) C STAD (x, y, d) = (i, j){ W I L (x + i, y + j) I R (x d+ i, y + j) (4.2) (I L (x + i, y + j) I R (x d+ i, y + j)) 2 (4.3) min( I L (x + i, y + j) I R (x d+ i, y + j), th) (4.4) 26

37 Normalized Cross Correlation (NCC) (I L (x + i, y + j) I R (x d+ i, y + j)) 2 C NCC (x, y, d) = (i, j){ W (i, j){ W (I L (x + i, y + j) I L (x, y)) 2 I L (x, y) = 1 N I R (x, y) = 1 N (i, j){ W (i, j){ W (i, j){ W (I R (x d+ i, y + j) I R (x d, y)) 2 (4.5) I L (x + i, y + j) (4.6) I R (x + i, y + j) (4.7) Local block matching Global Global dynamic programming (DP) graph cut belief propagation Middlebury stereo benchmark (4.8) f E( f ) = D p ( f p ) + W( f p, f q ) (4.8) p{ P (p,q){ N P N D p ( f p ) p f p (data term) SAD SSD W( f p, f q ) 2 p, q f p, f q (smoothness term) 2 (4.9) Potts 0 λ 0, if f p = f q W Potts ( f p, f q ) = (4.9) λ, otherwise 2 27

38 RF CN RF CN RF CN RF CN RF CN RF CN RF CN RF CN RF CN Stereo image Initial disparity map Reliability map CEN Resultant disparity map 図 4.1: CEN によるステレオマッチング 従来研究の問題点 Local 法の性能は, 局所領域の種類と大きさ, マッチングコスト関数の種類に依存する. 例えば, マッチングコスト関数として SAD を用いた BM 法は, 計算コストが低いが精度も低くなる. 一方で, 適応的に局所領域を変化させる手法 [27,28] は, 精度が高くなるが計算コストも高くなる. Global 法は Middlebury stereo benchmark で高い精度を示しているが, 大局的な最適化を行うため基本的に計算コストが非常に高い. 計算コストを削減するために近似解法を用いた手法 [37] も存在するが, その分精度は低下する. またステレオマッチングは, 厳密な解が存在しない不良設定問題であり, オクルージョンやテクスチャの無い領域では左右の画像上で対応点が存在しない, あるいは対応点の候補が複数存在するため, 対応点を決定することが非常に困難である.Global 法と領域分割を組み合わせ, 各領域の視差を平面近似することによってテクスチャの無い領域においても精度良くマッチングを行うことを可能とした手法 [39 41] も存在する. しかし領域分割の計算コストが大きく, 全体として計算コストが大きくなってしまう. さらに local 法,global 法ともに, ウィンドウサイズや遷移回数, エネルギー関数の係数などのパラメータが多く, 多種多様な物体形状や特徴をもつ画像に対してこれらのパラメータを最適に設定することが困難であると考えられる. 上述したように, 従来手法では多種多様な画像に対して高精度かつ高速に処理を行うのは困難である. 4.2 CEN による視差伝搬に基づくステレオマッチング 概要と主な特徴提案する CEN によるステレオマッチングの原理を図 4.1 に示す. 以下, 本論文では左画像に対する視差を求めるものとする. 提案手法では, まず簡易な local 法によって左右画像それぞれに対する初期視差を算出する. 次に, 左右画像それぞれに対する初期視差の整合性をもとにして, 左画像に対する初期視差の信頼度を算出する. 最後に, 左画像の初期視差を CEN に入力し, 信頼度に基づいて状態遷移を行い, 視差を伝搬させる. 最適化された回数の状態遷移の後, 各セルの出力値を最終的な出力視差として得る. 学習時には, 左右画像に対してこのような処理を行い, 出力視差と理想視差の誤差が小さくなるようにセルの構造を GA によって最適化する. 次に従来手法に対する提案手法の主な特徴を示す. 28

39 1. Global (4.8) global 2. CEN C G AD local 2 C AD 3 3 W RGB C AD (x, y, d) = ( (I L (x + i, y + j) I R (x + i d, y + j) ( ( (4.10) (i, j){ W RGB C G AD (x, y, d) = ( ( I L (x + i, y + j) I R (x + i d, y + j) ( ( (4.11) (i, j){ W RGB I L I R, I L I R I L, I R I L D L D L (x, y) = arg min d ) CAD (x, y, d) + C G AD (x, y, d)( (4.12) D R D L D R D L c c(x, y) = D L (x, y) D R (x D L (x, y), y) (4.13) c c(x, y) 1 D L (x, y) D L R L 1 (reliable), if c(x, y) 1 R L (x, y) = 0 (unreliable), otherwise D L (4.14) 29

40 CEN CEN I e I i O i O e O 1 CEN I i O e I i I i R L D L d max (4.15) 2. (x, y) O D L (x, y) D L (x, y) = D L(x, y) d max (4.15) 3. (x, y) R L (x, y) reliable unreliable 4. (x, y) unreliable I i (x, y) (x 1, y) (x, y 1) O 5. (x, y) reliable I i (x, y) (x 1, y) (x, y 1) reliable O O d max GA 30

41 RFCN RFCN RFCN RFCN RFCN RFCN Reliable cell Unreliable cell 5 inputs 3 types of weight RFCN RFCN RFCN Connected Disconnected 4.2: I i 4.3: GA fitness fitness = 1 N p d o (p) d t (p) N p V max d max w(p) λ(p) + C th p (4.16) N p d o (p) d t (p) w(p) V max w(p) d t (p) λ 1 λ = 3, if d t (p) d max 2 (4.17) 1, otherwise C th th 1.0 [0.0, 1.0] fitness Middlebury stereo dataset

42 (a) (b) (c) (d) 4.4: [pixel] (4.16) CannyEdge 44 Gaussian 4.4 CEN GA local block matching (BM) global hierarchical belief propagation (BP) 37 hierarchical graph cuts (GC) BM BP 1 GC 2 ER th (Error Rate) RMS (Root Mean Square) ER th th RMS ER th RMS (4.18) (4.19) ER th = 1 N p N p p d o (p) d t (p) > th (4.18) RMS = 1 N p N p p d o (p) d t (p) 2 (4.19) Dell Precision T3500 CPU: Xeon 2.53GHz :4GB 1 cs.brown.edu/ pff/bp/ 2 pub.ist.ac.at/ vnk/software.html 32

43 4.1: CEN Parameter Value Internal input units I i 5 Output units O 1 Activation function See Table 4.2. Gain α 0.25, 0.5, 1.0, 2.0 Threshold 0.0, 0.25, 0.5, 1.0 Weight 0.0, 0.25, 0.5, 1.0, 2.0 Iterations 6, 9, 12, 15, 18, 21, 24, 27 Function 4.2: Formula Sigmoid f (x) = exp( αx) Linear f (x) = αx 0 (x 0) Piecewise linear f (x) = αx (0 < x 1/α) 1 (1/α x) αx (x > 0) Threshold f (x) = 0 (x 0) ) Gaussian f (x) = 1 exp x 2 2πα 2 2α 2 Average f (x) = 1 N Ni x i Max f (x) = x 0 Min f (x) = x N Range f (x) = max(x) min(x) Median f (x) = x N 2 (x is sorted x in descending order) 33

44 表 4.3: GA のパラメータ Parameter Value Generations 5000 Generation alternation model MGG Population size 100 Children 30 Crossover rate P c 0.7 Mutation rate P m 0.05 Mutation rate (number of hidden units) P h m 0.1 表 4.4: 比較手法のパラメータ Method Parameter Value BM Cost function NCC Window size 5 BP Cost function STAD Threshold of data cost 15.0 Threshold of smoothness cost 1.7 Weight of data cost 0.07 Window size for Gaussian filter 5 σ of Gaussian filter 0.7 Layers 5 Iterations at each layer 10 GC Cost function SAD Window size 7 Max Iterations

45 4.3.2 実験結果と考察従来手法との比較学習画像, テスト画像の一部に対する各手法の視差画像を図 4.5 に示す.tr と ts はそれぞれ学習画像, テスト画像であることを示し, それらに続く番号は画像の ID を示す. BM は全体的に境界やオクルージョン付近で誤マッチングが発生している. 例えば図 4.5(a) を見るとわかるよう, 物体の境界に沿った視差が得られていない. それに対し, 図 4.5(d), 図 4.5(e) のテクスチャレス領域や周期的なテクスチャ領域においては良好な結果を示している. これは, マッチングコスト関数として比較的精度の高い NCC を用いているためであると考えられる. しかし図 4.5(b) に見られる大きなテクスチャレス領域では誤マッチングが発生している. BP は主観的に理想視差画像に近いように見えるが, 曲面に対する視差が平面近似され過ぎている. 例えば図 4.5(a) を見ると, 球体に対して不連続な視差を出力していることがわかる. また, 図 4.5(b), 図 4.5(d), 図 4.5(e) のテクスチャレス領域や周期的なテクスチャ領域において大きな誤マッチング領域が発生している. GC は,BM と同様に全体的に境界やオクルージョン付近で誤マッチングが発生しており, かつ BP と同様にテクスチャレス領域や周期的なテクスチャ領域において, 大きな誤マッチング領域が発生している. 一方で提案手法は, 全体的に他の手法よりも誤マッチング領域が少なく, 特に境界やオクルージョン付近において良好な結果を示している. 例えば図 4.5(a) を見ると, 視差が物体の境界に沿って出力されていることがわかる. しかしながら,BP,GC と同様にテクスチャレス領域において大きな誤マッチング領域が発生している. また, いずれの出力視差画像においても細かい誤マッチング部分が散見される. このような提案手法の結果について, 次節で考察する. 提案手法と他の手法の ER 1.0,ER 2.0,RMS と処理時間を比較した結果を表 4.5 に示す. 処理時間は実験に用いた画像セット 27 種類全てに対する平均値である.BM は, 他の比較手法よりも良好な ER 1.0,ER 2.0,RMS が得られたが, 処理時間は全ての手法の中で最も遅く, 約 22 秒であった. これはマッチングコスト関数として比較的計算コストの高い NCC を用いているためである.BP は, 他の手法に対して処理時間が最も速いが,RMS が最も大きくなっている. つまり, 誤差のレンジが大きく安定して視差を出力できていないことを示している. 一方で提案手法は, 学習, テストともに全ての手法の中で最も低い ER 1.0,ER 2.0,RMS を示している. 処理時間は BP に若干劣るが, 1.77 秒であり BM,GC と比較して高速である. この 1.77 秒のうち約 70% は初期視差算出に費やされている. 初期視差算出では簡易な local 法を用いているにもかかわらず,CEN での視差伝搬に対して計算コストが高くなってしまっている. 更なる高速化のためには, 初期視差算出方法の改善が必要である. 各テスト画像に対する ER 1.0 と RMS の値を図 4.6 に示す. 提案手法は, ほとんどのテスト画像に対して最も低い ER 1.0 と RMS を示していることがわかる. 以上の結果から, 提案手法は誤差が最も少なく, かつ誤差のレンジも小さく, かつ多様な画像に対して安定して視差を出力することができる手法であるといえる. 35

46 Left Right BM BP GC CEN Ground truth Reliability map (a) tr2 (b) tr6 (c) ts1 (d) ts6 図 4.5: 学習画像 テスト画像の一部に対する各手法の視差画像 36 (e) ts15

47 表 4.5: 各手法の ER th,rms と処理時間 BM BP GC CEN Training ER (tr0 - tr9) ER RMS Test ER (ts0 - ts16) ER RMS Running time [sec] (a) ER 1.0 (b) RMS 図 4.6: 各テスト画像に対する ER 1.0 と RMS 37

48 構築された回路に関する考察得られたセルの回路構造を図 4.7 に示す. 黒いユニットは応答速度の速いユニットである. ユニット間の結線に付随する数値は結合荷重を示している 節で述べたように, 近傍入力の結合荷重を変更したため入力ユニットの種類が 3 つ, 外部出力と近傍出力を統合したため出力ユニットが 1, 中間ユニット数が 5 という回路が構築された. 図 4.5(a) tr2 に対するこの回路の遷移の様子を図 4.8(a) に示す. 遷移を行うにつれて視差が伝搬され, 誤マッチング領域が徐々に良好な視差に更新されている. 境界やオクルージョン付近の領域に注目すると, 物体に沿って視差が伝搬され良好に処理されている. 図 4.5 の最下段に示す信頼度分布をみると, それらの領域が unreliable として検出されていることがわかる. したがって, 境界やオクルージョン付近の誤った初期視差を unreliable として適切に検出し, 視差伝搬によって reliable な視差をもとに良好な視差に更新されたと考えられる. 次に, 図 4.5(e) ts15 に対するこの回路の遷移の様子を図 4.8(b) に示す. 画像中央の柱状の物体の左側に位置する誤マッチング領域では, 全く視差が更新されていないことがわかる. これは,reliable なセルと unreliable なセルの作用よりも unreliable なセル同士の作用の方が支配的になってしまったためであると考えられる. この誤マッチング領域はテクスチャレス領域であり, 初期視差算出では簡易な local 法を用いているためマッチングが困難である. 図 4.5(e) の信頼度分布を見るとこの領域が unreliable として検出されているため, 周囲の reliable な視差をもとに良好な視差に更新されることを期待していた. しかし unreliable な領域が大きいと unreliable なセル同士の作用が支配的になってしまい, 視差が伝搬されず適切に更新されなかったと考えられる. また, 図 4.8(a) と図 4.8(b) のいずれにおいても, 視差が適切に更新されない小さな誤マッチング領域が散在する. これも上述したように, 局所的に unreliable な領域が周囲の reliable な領域よりも大きくなり,unreliable なセル同士の作用が支配的になったことが原因であると考えられる. このような問題点は, 初期視差の精度向上を図って初期の誤マッチング領域をなるべく減らしたり, unreliable なセル同士の作用が支配的にならないよう視差伝搬方法を改めることによって改善が期待できる. 4.4 まとめ 本章では, 視差伝搬に基づくステレオマッチング回路の自動構築法を提案し,Middlebury stereo dataset を用いて視差算出実験を行い提案手法の有効性を検証した. 従来手法が精度とスピードにトレードオフを有し, 多様な画像に対して安定的に視差を出力することが困難であるのに対して, 提案手法は多様な画像に対して安定的に高精度な視差を高速に出力できることを示した. また, 初期視差算出の高速化と精度向上, 視差伝搬方法の再検討を行うことによって, 更なる性能向上が期待できることがわかった. 38

49 図 4.7: 構築されたセルの回路構造 t = 0 (Initial) t = 7 t = 14 t = 21 t = 27 (Result) (a) tr2 t = 0 (Initial) t = 7 t = 14 t = 21 t = 27 (Result) (b) ts15 図 4.8: tr2 と ts15 に対する回路の状態遷移の様子 39

50 第 5 章 視差拡散 吸収に基づくステレオマッチング回路の自動構築 5.1 はじめに 節で述べたように, 視差伝搬に基づくステレオマッチングでは次に示す課題があった. 1. 初期視差算出の計算コストが高い. 2. Unreliable なセル同士の作用が支配的になると, 適切な視差伝搬が行われない. そこで本章では, 初期視差の最適化と視差の拡散 吸収という概念を導入し, 計算コストの低減と精度向上を図ったステレオマッチング回路の自動構築法を提案する. 5.2 CEN による視差拡散 吸収に基づくステレオマッチング 概要と主な特徴基本的な流れは第 4 章と同様であるが, 本章で提案する手法では,local 法による初期視差計算時に Cartesian Genetic Programing (CGP)[45] によって最適化したマッチングコスト関数を用いる. また, 最後の視差伝搬時に単純に視差を伝搬させるのではなく, 信頼度に基づいてセルを役割分担し, 視差の拡散と吸収を行う. これら 2 つのポイントの主な特徴を次に示す. 1. 初期視差最適化マッチングコスト関数として CGP によって最適化された関数を用いることで, 精度の高い初期視差を得ることができると考えられる. これによって初期の誤マッチング領域をなるべく減少させることを期待する. また,CGP によって最適化された関数は式 (4.10) および式 (4.11) よりも計算コストが低くなる可能性があり, 更なる高速化も期待できる. 2. 視差の拡散 吸収信頼度に基づいて視差を拡散するセルと吸収するセルとに分けて視差を伝搬する. これによって,unreliable なセルが reliable なセルから作用を受け積極的に視差を更新するような動作が可能となると考えられる. つまり, 局所的に unreliable なセル同士の作用が支配的になって適切な視差伝搬が行われなくなることを防ぐことができる. 40

51 M Nwindow - + exp Left/Rightimage 図 5.1:CGP によるマッチングコスト関数のイメージ 処理の流れ 初期視差の最適化 Step1. 最適化マッチングコストを用いた local 法 まず最初に local 法を用いて初期視差を算出する. マッチングコスト関数 C を,3 3 ウィ ンドウ W 内の RGB 値を用いて以下のように定義する. C(x,y,d) = (i,j) W RGB f(i L (x+i,y+j) f(i R (x+i d,y+j) (5.1) ここで,I L と I R は左画像と右画像, f は図 5.1 に示すような CGP によって最適化された関 数である. 式 (5.1) を用いて,I L に対する初期視差画像 D L を以下のように求める. D L (x,y)=argmin d C(x,y,d) (5.2) 右画像に対する初期視差画像 D R も同様の方法によって算出する. Step2. 信頼度の算出 節と同様に初期視差に対する信頼度を算出する. ただし整合性示す値 c を,3 3 ウィ ンドウ W を用いて以下のように定義する. c(x,y)= (i,j) W D L (x+i,y+j) D R (x+i D L (x,y),y+j) (5.3) ここで, 実験的に c(x,y) 3 ならば D L (x,y) は信頼できると定義し,D L に対する信頼度分布 R L を二値画像として算出する. 1(reliable), ifc(x,y) 3 R L (x,y)= 0(unreliable), otherwise Step3. 初期視差の更新 最終的に最適化された初期視差画像 D o L を以下のように定義する. (5.4) D L (x,y), ifr L (x,y)=1(reliable) D o L (x,y)= CR m (x D L(x,y),y)D L (x,y)+c L m (x,y)d R(x D L (x,y),y) CR m (x D L(x,y),y)+C L m (x,y), otherwise(unreliable) (5.5) 41

52 Dif. Dif. Dif. Dif. Abs. Abs. Dif. Abs. Dif. 5.2: CL m Cm R CL m (x, y) = ( (f I L (x + i, y + j) f I R (x + i D L (x, y), y + j) ( (( (5.6) (i, j){ W RGB CR m (x, y) = ( (f I L (x + i + D R (x, y), y + j) f I R (x + i, y + j) ( (( (5.7) (i, j){ W RGB (5.5) D L unreliable R L reliable (diffusive; dif.) unreliable (absorptive; abs.) 1. D o L d max (5.8) 2. (x, y) O D o L (x, y) L (x, y) = Do L (x, y) (5.8) d max D o 3. R L (x, y) = 1 (x, y) R L (x, y) = 0 4. (x, y) I i (x, y) (x 1, y) (x, y 1) O 5. (x, y) I i (x, y) O 4 O 42

53 No. 1 No. 2 No. 3 No. 9 No. 10 No. 11 No. 12 No. 13 No. 14 x 1 x 12 x 13 x Sub 5 7 Mul 9 11 Exp Add 13 Input nodes Operation Nodes Output node (a) 遺伝子型 No. 2 Input pixels i 1 i 2 i 3 i 4 i 5 i 6 i 7 i 8 i 8 No. 6 x 6 No. 5 x 5 No. 7 x 2 No. 11 No No. 12 exp No o Output pixel o x 7 (b) 表現型 図 5.3: CGP の遺伝子型と表現型 6. 全てのセルの状態遷移を実行. 7. 4,5,6 を遷移回数だけ反復. 8. 各セルの出力 O の値に d max を乗じ, 出力視差画像として取得 回路の最適化 左右画像に対して 節で述べた処理を行い, 出力視差と理想視差の誤差が小さくなるよう, 式 (5.1) の関数 f を CGP によって, セルの構造を GA によって同時に最適化する. 遺伝子型 CEN の遺伝子型については,3.2.4 節と同様である. ただし遷移回数については, 表 3.1 に示すビット列を既定の遷移回数にマッピングする. 具体的には, 遷移回数のビット列は 3 ビットであるため, 各ビット列パターンに対して 8 種類の遷移回数を既定する. CGP の遺伝子型の例を図 5.3(a) に示す. 入力ノード, 演算ノード, 出力ノードによって構成されるグラフ構造を一次元配列によって表現する. 入力ノードに対応する遺伝子は, 入力元となる 1 つの入力画素の相対位置を表す数字をもつ. 演算ノードに対応する遺伝子は, 入力元となる複数のノードの番号と演算の種類を表す識別子をもつ. 出力ノードに対応する遺伝子は, 入力元となる 1 つのノード番号をもつ. この遺伝子型を表現型に変換し, 図 5.3(b) に示すような画像の局所領域に対して演算を行う式を生成する. 遺伝操作 CEN の遺伝操作については,3.2.4 節と同様である. CGP の遺伝操作として, 一様交叉と突然変異を行う. 43

54 P c 2 P u c 1 (1 Pu c) 0 1 P m CGP 1 GA Middlebury stereo dataset CEN GA CGP BM BP GC ER th RMS Dell Precision T3500 CPU: Xeon 2.53GHz :4GB CEN (prev.) CEN (new) 44

55 5.1: CGP Parameter Value Input nodes 9 Operation nodes 20 Output nodes 1 Operator See Table 5.2. Generations 5000 Generation alternation model MGG Population size 100 Children 30 Crossover rate P c 0.6 Uniformity Crossover rate P u c 0.1 Mutation rate P m : CGP Function Formula Add (+) f (x 1, x 2 ) = x 1 + x 2 Subtract (-) f (x 1, x 2 ) = x 1 x 2 Multiply ( ) f (x 1, x 2 ) = x 1 x 2 x 1 Divide (±) f (x 1, x 2 ) = x 2 (x 2 0) 1 (x 2 = 0) Exponential (exp) f (x 1 ) = exp x 1 Log (log) f (x1) = log x 1 Sigmoid f (x 1 ) = exp( x 1 ) 1.0 f (x 1 ) = 1, f (x 1 ) = f (x 1 ) = f (x 1 ) =

56 表 5.3: 各手法の ER th,rms と処理時間 BM BP GC CEN (prev.) CEN (new) Training ER (tr0-9) ER RMS Test ER (ts0-16) ER RMS Running time [sec] 実験結果と考察従来手法との比較学習画像, テスト画像の一部に対する各手法の視差画像を図 5.4 に示す 節で述べたように,CEN (prev.) は全体的に 3 つの従来手法よりも誤マッチング領域が少なく, 特に境界やオクルージョン付近において良好な結果を示している. しかしながら, 図 5.4(b), 図 5.4(d), 図 5.4(e) のテクスチャレス領域や周期的なテクスチャ領域において大きな誤マッチング領域が発生している. 一方で CEN (new) は,CEN (prev.) と同様に境界やオクルージョン付近が良好に処理されていることに加え,CEN (prev.) で散見される細かい誤マッチング領域も CEN (new) では減少していることがわかる. また,CEN (prev.) では困難であったテクスチャレス領域や周期的なテクスチャ領域において誤マッチングが大幅に改善している. 図 5.4(d), 図 5.4(e) を見るとわかるよう, これらの領域に対して良好な結果を示している BM と比較しても,CEN (new) ではより理想視差画像に近い視差画像が得られている. 特に図 5.4(b) におけるテクスチャレス領域に関してはいずれの手法でもマッチングが困難であったのに対し,CEN (new) ではほぼ良好に処理されている. したがって, 図 5.4(a) から図 5.4(e) 全てにおいて他の手法と比べて最も理想視差画像に近い視差画像が得られている. 各手法の ER 1.0,ER 2.0,RMS と処理時間を比較した結果を表 5.3 に示す.CEN (prev.) と比較して,CEN (new) では学習, テストともに ER 1.0,ER 2.0,RMS が低く, かつ処理時間も短くなっている. つまり,CEN (new) によって高速化と精度向上を同時に実現できたといえる. 46

57 Left BM BP GC CEN (prev.) CEN (new) Ground truth Reliability map of CEN (new) (a) tr2 (b) tr6 (c) ts1 (d) ts6 (e) ts15 図 5.4: 各学習画像, テスト画像の一部に対する各手法の視差画像 47

58 Running time [sec] Initial disparity map creation Disparity propagation or diffusion/absorption CEN (prev.) CEN (new) 図 5.5: CEN (prev.) と CEN (new) の処理時間の割合 初期視差最適化に関する考察図 5.5 に CEN (prev.) と CEN (new) の処理時間の割合を示す. 図 5.5 によれば,CEN (prev.) の視差伝搬に要する時間と CEN (new) の視差拡散 吸収に要する時間はほぼ同じである. それに対して CEN (new) の初期視差画像生成までに要する時間は,CEN (prev.) の初期視差画像生成までに要する時間と比べて短くなっている. ここで図 5.6 に示す CGP によって最適化されたマッチングコスト関数を見ると, 演算ノード数が 5 つというシンプルな関数が得られていることがわかる. したがって,CEN (prev.) で用いていた式 (4.10), 式 (4.11) のマッチングコスト関数よりも計算コストが低くなり, 初期視差画像生成までの処理が高速化されたと考えられる. 図 5.4(d) ts6 と図 5.4(e) ts15 に対する CEN (prev.) と CEN (new) の初期視差画像を図 5.7 に示す. CEN (prev.) では簡易なマッチングコスト関数によって初期視差を計算しているため, 周期的なテクスチャ領域, テクスチャレス領域において大きな誤マッチングが発生している. 一方で CEN (new) では, 細かい誤マッチングが各所で発生しているものの, 上述した領域において良好な視差が得られていることがわかる. これは最適化したマッチングコスト関数によって精度が向上した結果であるといえる. 図 5.4(d) ts6 と図 5.4(e) ts15 の左画像 I L, 右画像 I R に対し, 図 5.6 に示す関数を用いて式 (5.1) における f (I L ) と f (I R ) を計算した結果を図 5.8 に示す. 図 5.6 に示した関数では対角画素の演算を行っていることからもわかるよう, f (I L ), f (I R ) では基本的に垂直 水平方向のエッジが検出されている.CEN (prev.) で用いているマッチングコスト関数においても式 (4.11) に示すようエッジ画像を用いているが, 図 5.7 に示すよう CEN (new) の方が良好な初期視差画像が得られている. したがって図 5.6 の最適化された関数には, 一見テクスチャが無いように見える領域においても微妙な階調変化を強調させる効果があると考えられる. この効果によって, 図 5.7 に示したように CEN (prev.) ではマッチングが困難であった領域に対しても良好にマッチングを行うことができたと考えられる. 48

59 3 3 window 図 5.6: CGP によって最適化されたマッチングコスト関数 (a) CEN (prev.) (b) CEN (new) 図 5.7: ts6 と ts15 に対する初期視差画像 (a) 左画像 I L (b) f (I L ) (c) 右画像 I R (d) f (I R ) 図 5.8: ts6 と ts15 の左右画像に対するマッチングコスト関数適用結果 49

60 視差拡散 吸収に関する考察 CEN (new) のセルの回路構造を図 5.9 に示す. 黒いユニットは応答速度の速いユニットである. ユニット間の結線に付随する数値は結合荷重を示している. 入力ユニットの種類が 3 つ, 出力ユニットが 1, 中間ユニット数が 3 の回路が構築された. この回路の図 5.4(b) tr6 と図 5.4(e) ts15 に対する遷移の様子を, それぞれ図 5.10(a) と図 5.10(b) に示す. 図 5.10(a), 図 5.10(b) いずれにおいても, 誤マッチング領域のほとんどが最終的に良好な視差に更新されている. これは誤マッチング領域に対するセルが吸収性セルとなり, 周囲の reliable な視差をもつ拡散性セルの作用を受けて積極的に視差を更新したためであると考えられる. セルを拡散性, 吸収性とに役割分担したことによって,CEN (prev.) のように局所的に unreliable なセル同士の作用が支配的になることがなくなり, 特に図 5.10(a) のように初期の大きな誤マッチング領域に対しても良好に処理を行うことができるようになった. しかし, 図 5.10 の遷移終了後の視差画像において, 視差が更新されない細かい誤マッチング領域や, 水平, 垂直方向に伸びた線のような誤マッチング領域も存在する. これは, 初期視差が誤っているにもかかわらず拡散性となってしまったセルが原因であると考えられる. つまり信頼度の誤りである. 誤って拡散性となったセルが孤立領域を形成してしまうと, その領域では誤った視差をもつ拡散性セル同士でしか視差伝搬が行われなくなってしまう. そのため遷移を重ねても適切に視差を更新できず, 初期の誤マッチングのまま残留してしまう. さらに, 誤って拡散性となったセルが誤った視差を周囲の吸収性セルに伝搬してしまうと, 水平, 垂直方向に伸びた線のような誤マッチング領域が発生してしまう. したがって, 今後更なる視差精度の向上を行うには信頼度分布の精度向上が必要となる. また図 5.10(a), 図 5.10(b) いずれにおいても,t = 7 という早い段階で誤マッチング領域が急激に減少しその後ほぼ視差が変化していないことから, 少ない遷移回数でも同様な精度の結果を得ることができたと考えられる. 実験設定として規定する遷移回数をより小さい値とすれば, 更なる高速化が期待できる. 5.4 まとめ 本章では, 視差拡散 吸収に基づくステレオマッチング回路の自動構築法を提案し,Middlebury stereo dataset を用いて視差算出実験を行い提案手法の有効性を検証した. 新たに導入した初期視差最適化と視差拡散 吸収の効果によって, 第 4 章で提案した視差伝搬に基づくステレオマッチングと比較し, 計算コストを低減した上で精度の向上が実現できることを示した. また信頼度分布の精度向上, 遷移回数の設定の見直しを行うことによって, 更なる精度向上と高速化が見込めることがわかった. 50

61 Fitness: # of hidden units: 3 # of transitions: 27 図 5.9: 構築されたセルの回路構造 t = 0 (Initial) t = 7 t = 14 t = 21 t = 27 (Result) (a) tr6 t = 0 (Initial) t = 7 t = 14 t = 21 t = 27 (Result) (b) ts15 図 5.10: tr6 と ts15 に対する回路の状態遷移の様子 51

62 第 6 章 自動構築した画像処理回路のハードウェア化 超解像処理回路を例として 6.1 はじめに 超解像処理回路を例として, 自動構築した画像処理回路のハードウェア化を試みる. ハードウェア記述言語 (Hardware description language; HDL) の一種である Verilog-HDL を用いて, 第 3 章で自動構築した顔, 建物, テキストの 3 つの超解像処理回路の設計, シミュレーションを行う. 6.2 超解像処理回路の設計 概要 Verilog-HDL とは, ディジタル回路の設計用のハードウェア記述言語の一種であり,C 言語や Pascal の要素を取り入れたものとなっている. 文の実行は並列実行を基本とし, 逐次実行も記述できる. 図 6.1 に示すように,Verilog ファイルに回路の入出力関係を言語で記述することで論理回路を設計することができる. Verilog-HDL による超解像処理の概要を図 6.2 に示す. テストベンチと呼ばれるファイルには回路の制御を,Verilog ファイルにはセル 1 つ分の回路を記述する. 処理はラスタスキャンによって 1 画素ずつを行う. 処理の流れを以下に示す. 1. テストベンチ側で入力画像を読み込み. 2. 注目画素の処理に必要な輝度値をテストベンチから回路に送信. module test (a, b, c, d, e, f, f1, f2, f3, f4); input a, b, c, d, e, f; output f1, f2, f3, f4; assign f1 = a&b c&d; assign f2 = (a&b c&d)&c&d&(e f); assign f3 = c&d&(e f)&(a b); assign f4 = a b; endmodule a b c d e f a b f1 f2 f3 f4 図 6.1: Verilog-HDL による回路記述の例 52

63 Verilog file (circuit description) Test bench file (control description ) CLK, unit value, etc. Unit value 図 6.2: Verilog-HDL による超解像処理 3. テストベンチ側で保存している, 注目画素に対する中間ユニットの状態値を回路に送信 ( 初期値は 0). 4. テストベンチから送られるクロック信号に同期して, 回路の各ユニットの状態遷移を実行. 5. 回路から出力される注目画素に対する輝度値をテストベンチ側に送信. 6. 注目画素に対する中間ユニットの状態値をテストベンチ側に送信し保存 から 6 を画像の全画素に対して遷移回数だけ反復. 回路内のすべての演算は, 輝度値を [0, 1] に正規化せずに [0, 255] の整数値で行われる. 状態遷移では入力値のセット, 応答速度の速い中間ユニットの状態遷移, 応答速度の遅い中間ユニットの状態遷移, 出力ユニットの状態遷移の順にクロックに同期して処理を行うため,1 画素分の処理に計 4 クロックを要する. したがって画像 1 枚あたりの処理時間は以下の式 (6.1) で計算される. ( 処理時間 )= 4 ( 画素数 ) ( 遷移回数 ) ( クロック周期 ) (6.1) 回路の設計第 3 章で構築した, 顔, 建物, テキストの 3 つの超解像処理回路の設計を行う. 設計には Altera 社の FPGA 開発統合環境である Quartus II[46] を用いる. 入力ポートにはセルの入力ユニット用, クロック, リセット,ON/OFF スイッチ, 中間ユニット用のポートを設ける. 出力ポートには出力ユニット用, 中間ユニット用,ON/OFF スイッチのポートを設ける.ON/OFF スイッチは回路が動作しているかどうかを確認するためのもので,ON/OFF スイッチ入力が 1 のとき回路内のユニットは発火を許可され ON/OFF スイッチ出力も 1 となる. また入出力ポート両方に中間ユニット数分のポートを設けるのは,1 画素ずつ処理するため回路内のレジスタに中間ユニットの状態値を保持することができないからである. 53

64 表 6.1 に設計した回路の詳細を示す. 表 6.1 に基づいて設計した結果, 各回路のロジックエレメント (Logic Element; LE) 数と I/O ピン数は表 6.2 のようになった. ロジックエレメントとは, Altera 社の FPGA における論理ブロックの最小単位であり,ASIC(Application Specific Integrated Circuit) でのゲート数に換算するとおよそ 1 LE = 10 ゲートといわれている.Altera 社の Cyclone III EP3C120F780 に実装した場合,LE の使用量は約 5% 以下,I/O ピン数の使用量は約 50% となり, 実装可能な規模であることがわかった. またこの場合,I/O ピン数を削減すれば複数のセルを集積することが可能となる. 54

65 表 6.1: 設計した回路の詳細 回路 Port name # of ports # of bits Face Input port Internal input unit I i 25 9 External input unit I e 1 9 Hidden unit 4 32 CLK 1 1 RESET 1 1 ON/OFF 1 1 Output port Output unit O 1 9 Hidden unit 4 32 ON/OFF 1 1 Building Input port Internal input unit I i 25 9 External input unit I e 1 9 Hidden unit 3 32 CLK 1 1 RESET 1 1 ON/OFF 1 1 Output port Output unit O 1 9 Hidden unit 3 32 ON/OFF 1 1 Text Input port Internal input unit I i 9 9 External input unit I e 1 9 Hidden unit 5 32 CLK 1 1 RESET 1 1 ON/OFF 1 1 Output port Output unit O 1 9 Hidden unit 5 32 ON/OFF 1 1 表 6.2: 各回路の LE 数と I/O ピン数 # of LE # of I/O pins Face Building Text