3次元画像計測分野でのGPUを用いた高速化事例

Size: px

Start display at page:

Download "3次元画像計測分野でのGPUを用いた高速化事例"

なおみしま
5 years ago
Views:

1 3 次元画像計測分野での GPU を用いた高速化事例関口尚大, 三浦衛, 高橋徹, 青木孝文東杜シーテック東北大学大学院情報科学研究科 1

2 画像処理 GPGPU 関連事業製品組込みシステムソリューションカーナビカーオー CUDA & OpenCL 最新画像処理技術ディオ車載電装分ソリューション画像処理の研究開発と組込技術野のソフトウェア開発その実用化 MATLAB/Simlinkを組み合わせで新たな価値の創造を目指しています HMPP ( 協力 : 東北大学ソリューション用いたモデルベース青木孝文教授 ) 開発 GPGPU 組込技術の 2

3 弊社紹介東北大学青木孝文教授画像処理 GPUによる高速化ご指導ご協力東杜シーテック HMPP/GPGPU 開発サポート画像処理ソリューション画像計測 &GPU 業務提携 HMPP for GPU JCCギミック HMPP の販売導入コンサルティング代理店契約 CAPS Entreprise HMPP 開発販売元本社 : フランスレンヌ市 HPC 分野 3

4 発表内容画像による 3 次元計測技術について位相限定相関法を用いた 3 次元顔復元と GPU によるリアルタイム化 ( 三浦衛 ( 東北大 ) 東杜シーテック ) 多視点画像からの3Dモデル復元とGPUによる高速化 ( 東杜シーテック高橋徹 ( 東北大 )) 画像計測への GPU コード自動生成ツール HMPP の適用事例 ( 東杜シーテック JCC ギミック ) 4

5 画像による3次元計測技術について

6 3 次元計測技術物体の形状や空間の構造を計測する技術工業検査位置合わせ医療 CT 検査 MRI 検査芸術デジタルアーカイブバイヨン寺院デジタルアーカイブ化 FA 装置 X 線 CT 装置 (COGNEX) ( 東芝 ) プロジェクト [1] [1] K. Ikeuchi, et al., Bayon digital archival project, Proceedings of Virtual Systems and Multimedia 2004, pp

7 3 次元計測手法の分類能動型計測法レーザや構造光を投影精度に優れる測定範囲に制限高価で複雑なシステム受動型計測法カメラ画像を用いる精度が低い測定範囲が広い安価で簡便なシステム 3 次元人体計測装置 (Cyberware) カメラと計算機

8 画像計測と GPGPU 計測 CG 実画像 3D モデル CG 画像計測は CG 処理の逆問題で難しい部分もあるが多くの計算で処理の並列化が可能演算量が多大なため GPGPU による高速化が期待されている 8

9 ステレオビジョンに基づく受動型 3 次元計測三角測量の原理に基づく計測ステレオ画像の対応付けが処理の大部分を占めるステレオ画像の対応付け精度が重要左カメラレンズ中心基準点 m (u, v) O Y Z X v u 左カメラ画像 M (X, Y, Z) 右カメラ画像カメラ間距離 B 右カメラ O レンズ中心対応点 m (u, v ) ステレオカメラ

10 画像間の対応付けテンプレートマッチング標準テンプレートサンプル画像入力テンプレート比較切り出し探索画像相違度 or 類似度切り出し zテンプレート位置を少しずつずらしながら比較データに局所性があるデタに局所性がある zサブピクセル単位での切り出しには補間が必要テクチメリと相性が良テクスチャメモリとの相性が良い

11 位相限定相関法を用いた3次元顔復元と GPUによるリアルタイム化三浦衛(東北大), 東杜シーテック

12 位相限定相関法 (POC) を利用した 3D 計測位相限定相関法とは 1/100ピクセルレベルの高精度画像照合フーリエ変換を多用するため計算量が多い GPGPU により処理時間を短縮しリアルタイム復元を実現ステレオ画像撮影位相限定相関法と粗密探索を使用した視差導出視差を利用した 3D 計測

13 位相限定相関法 (Phase-Only Correlation: POC) 画像の位相成分のみに着目した画像マッチング手法画像間の平行移動量を 1/100 ピクセル以下の誤差で推定可能フーリエ振幅変換位相限定相関関数 (POC 関数 ) r ( n 1, n ) ˆ 2 Image 1 位相 Image 2 フーリエ変換振幅位相 n n 1 2 ピークの座標 = 画像間の平行移動量 13

14 粗密探索と POC によるステレオ画像の対応付け画像ピラミッドを用いた粗密探索探索ウィンドウ間の平行移動量を POC で計算低解像度画像大まかに対応点を求める基準点 m (u, v) POC によるマッチング, 対応点 m (u, v ) POCによるマッチング高解像度画像より正確に対応点を求める左カメラ画像右カメラ画像 14

15 ステレオ画像の対応付けにおける並列性基準点毎に独立 : 基準点毎に並列処理が可能基準点毎に処理を SM に分配 SM SM SM SM Texture Memory Global Memory SP SP SP SP SP SP SP SP Shared Memory 画素毎に処理を SP に分配 15

16 ステレオ画像の対応付け処理時間の計測処理時間 [ms] CPU(1コア ) CPU(4コア,8スレッド) GPU ,000 点 5,000 点 10,000 点 CPU: Intel Core i7 975 Extreme (3.33GHz) GPU: NVIDIA GeForce GTX 480 (SP: 480 基 ) 画像サイズ : 1, 画素探索ウィンドウ : 64 9 画素階層数 : 4 16

17 応用 : 顔の3 次元計測画像の撮影 ( ステレオカメラ ) 顔検出, 基準点の配置ステレオカメラ計測対象 (OpenCV) ステレオ画像の対応付け (GPU) 3 次元座標の計算 (CPU) 計測結果 3 次元点群の表示 (OpenGL) 17

18 計測結果約 11,000 点を 31.3ms で計測 18

19 多視点画像からの3Dモデル復元と GPUによる高速化高橋徹東北大, 東杜シーテック

20 多視点ステレオの考え方ステレオ法による3 次元計測では 2 視点からの視線の交点を求める奥行き方向に誤差が含まれても除去できないより多くの視点を利用することで奥行き方向の曖昧さを解消する Surface Object

21 多視点復元の概要様々な方向から撮影した画像から 3Dモデルを復元 1. 複数の度から物体を撮影 2. 近くの画像同で 3 次元復元 3. 復元結果を統合多視点復元評価用画像セット :

22 マルチベースラインステレオ法参照画像 Rの深度マップを作成する奥行きを変化させながら, 各視点の画像に投影画像に投影した点を中心にウィンドウを開き, マッチングを行い, 類似度 ( 相違度 ) の合計を算出 d ( X, Y, Z) 全ての視点において, カメラパラーメータが既知メ R p = ( x, y) R: 参照画像 C: 近傍の画像 C 3 C 1 C 2 評価関数として正規化相互相関法を使用

23 多視点 3D 復元処理のスレッド化 Start d=-0.15, 0.15, y=0, height, j=0, 3, 1 x=0, width, テンプレート画像深度 dの探索の切り出し x y End 参照画像の1ピクセル毎に深度 dを探索しこれをGPUの1スレッドとするテンプレートマッチング j 深度 dの選択 d 23

24 処理時間比較 [sec] /179 1/ 使用している画像参照画像 :1 枚近傍画像 :4 枚サイズ : 640 x Intel Core i7-930 TeslaC1060 Geforce GTX480 環境 OS :Ubuntu bit CUDA: 3.0 gcc : テクスチャメモリのキャッシュと線形補間の効果が高い

25 多視点3次元復元への GP 用自動 GPU用自動コード生成ツールド生成ツル HMPP PP の適用適用東杜シーテック, JCCギミック

26 HMPP とは? -GPU コード自動生成ツール - C 言語 /FORTRAN で記述された既存ソースコードにディレクティブ ( 指示行 ) を挿入することでGPGPU 化ができる #pragma hmpp sgemm codelet, target=cuda,... extern void sgemm( int m, int n, int k,floatalpha, const float vin1[n][n], const float vin2[n][n], CPU 用 float beta, float vout[n][n] ) { ソースファイルライブラリファイル } コンパ int main(int argc, char **argv) { イル実行ファイル & for( j = 0 ; j < 2 ; j++ ) { #pragma hmpp sgemm callsite リンク GPU 用 sgemm( size, size, size, alpha, vin1, vin2, ソースファイル beta, vout ); } ライブラリファイル }

27 HMPP のサポートする環境 - 使用言語ー C 言語 Directive: #pragma hmpp label command [, attribute ] Fortran Directive:!$hmpp label l command [, attribute t ] CUDA #pragma hmpp saxpy codelet, target=cuda, args[v1].io=inout void saxpy( int n, float alpha, float v1[n], float v2[n] ) { int i; OpenCL #pragma hmpp saxpy codelet, target=opencl,args[v1].io=inout void saxpy( int n, float alpha, float v1[n], float v2[n] ) { int i;

28 開発工数 ( コード量 ) についての比較コード行数 ( ファイル入出力を除く ) CPU :255 lines HMPP :255+4 lines CUDA :792 lines ディレクティブ挿入のみ

29 処理時間比較使用している画像参照画像 :1 枚近傍画像 :4 枚サイズ : 640 x TeslaC 環境 1/13 1/ Intel Core i7-930 HMPP CUDA OS :Ubuntu bit HMPP : gcc : GeforceGTX480 HMPPではFermiコアのキャッシュの効果がよく現れており CPU 比で35 倍,Tesla1060C 比で 3.3 倍高速化されている

30 お知らせ Windows 版サポート OS Windows 7, Windows Server 2008 (32/64 bit) WindowsVista (32bit) WindowsXP, Windows Server 2003 (32bit) サポートコンパイラがリリースされました Visual Studio 2008(Fortran:Intel Fortran Compiler 11) ATI Stream SDK 2.1(32/64 bit) NVIDIA CUDA Toolkit 2.3, 3.0, 3.1(32/64 bit) Linux でもご利用いただけます Ubuntu, Debian, RHEL, CentOS, OpenSUSE, SLES 等の主要ディストリビューション Intel, GNU 等の主要コンパイラと組合せ可能 30

31 無償評価版のご案内 HMPP 無償評価版のご提供 HMPPの全ての機能を試用できます (2 週間 ) お申し込みいただいた方にはた方 HMPP 導入と評価に役立つ日本語教材をご提供しています 1. スタートアップガイド HMPP のインストールからサンプルプログラムの動作確認までスムーズに行えます 2. チュートリアル HMPP ディレクティブの使い方を実例を交えて学べます 3. 多視点 3D 復元アプリケーション実際に HMPP を使用したサンプルプログラムとして公開します自由に変更を加えてGPU 化の効果を試すことができます HMPP の導入評価をすぐに行える環境を整えておりますのでまずはお試しください!

問い合わせ先 GPU 開発画像処理に関するお問い合わせはー東杜シーテック株式会社 http://www.tctec.co.

32 問い合わせ先 GPU 開発画像処理に関するお問い合わせはー東杜シーテック株式会社 HMPPに関するお問い合わせはー株式会社 JCCギミック p// / co

33 まとめ今後の課題まとめ POC を用いた顔の実時間 3 次元計測の高速化多視点 3 次元復元の高速化開発ツール HMPP の画像計測への適用事例今後の課題 GPU に合わせたアルゴリズムの最適化 3 次元計測応用システムへの適用車載ステレオカメラを用いた運転支援システムプロジェクタ投影像のリアルタイム補正 33

07-二村幸孝・出口大輔.indd

07-二村幸孝・出口大輔.indd GPU Graphics Processing Units HPC High Performance Computing GPU GPGPU General-Purpose computation on GPU CPU GPU GPU *1 Intel Quad-Core Xeon E5472 3.0 GHz 2 6 MB L2 cache 1600 MHz FSB 80 GFlops 1 nvidia