Microsoft PowerPoint - CV02-1.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - CV02-1.ppt"

めぐのあいしま
4 years ago
Views:

1 画像映像の処理認識理解研究の歴史と現状和歌山大学 2007 年 4 月 16 日

2 今日の講義内容 1. ディジタル画像処理 2. コンピュータビジョン 3. アクティブビジョンイメージメディアへの展開 4. 一般物体認識参考書 : 松山隆司久野義徳井宮淳コンピュータビジョン - 技術評論と将来展望新技術コミュニケーションズ

3 Computer Vision Camera Lighting Physical Models Computer Scene Scene Interpretation We need to understand the Geometric and Radiometric relations between the scene and its image.

4 A Brief History of Images 1558 Camera Obscura, Gemma Frisius, 1558 ピンホールカメラの原理

5 A Brief History of Images Lens Based Camera Obscura, 1568 レンズカメラより明るい像が得られる

A Brief History of Images 1558 1568 1837 Still

6 A Brief History of Images Still Life, Louis Jaques Mande Daguerre, 1837 アナログ白黒の写真

7 A Brief History of Images Silicon Image Detector,

8 A Brief History of Images Digital Cameras

9 Computer Vision Camera Lighting Physical Models Computer Scene Scene Interpretation We need to understand the Geometric and Radiometric relations between the scene and its image.

10 ディジタル画像処理の歴史 1 コンピュータを用いたディジタル画像処理は 1950 年代の終わりごろから既に研究論文が発表された本格的な研究開始は 1960 年代から対象は宇宙開発核物理学医学などの先端分野限り当初は人工衛星画像の画質改善や印刷物の文字を表す 2 値画像の認識などが試みわれた例えば J548043

11 ディジタル画像処理の歴史年代 ~1980 年代コンピュータが大学や企業の研究室までに普及し画像処理は急発展した : 対象は地球観測衛星医療用画像産業オフィス用途様々な画像処理アルゴリズムや画像処理装置を開発それらを用いた各種の応用システムの研究開発が活発に行われディジタル画像処理が研究分野として確立されるとともにその実用的有効性が示された

12 ディジタル画像処理の歴史年代からパソコンが一般家庭までに普及マルチメディアブームが巻き起こったその理由は : 一般のパソコンがようやくテレビ品質の画像映像を処理できるレベルに達したからである

13 ディジタル画像処理の内容与えられた画像をどのように処理変換するか画像から画像への変換が中心的な処理写真 ( フィルム ) のディジタル化濃度や幾何学的歪みの補正エッジ強調用のフィルタリング 2 値画像中の領域や線に対する幾何学的変形構造化操作

14 コンピュータビジョン (CV) 1980 年代になると David Marr が提案した視覚の計算理論 (Computation Vision, 1982) に基づく見え方の科学 [shape-from-x] に関する計算アルゴリズムが活発に研究される 3 次元物体表現各種 3 次元表現 2-1/2 次元表現統合処理明るさテクスチャ線画両眼立体視動き 3D 特徴抽出 (shape-from-x) X: Shading, Texture, Contour, Motion 2 次元画像

15 CV: 3 次元シーンが 2 次元平面に写像されたものとして画像データを捉える 2 次元画像 3 次元シーンという逆写像を行い画像から元の 3 次元シーンの情報を復元

16 伝統的な CV の研究テーマ多面体線画の3D 的解釈画像中の陰影やテクスチャからの3D 形状復元輪郭形状からの3D 形状復元見かけの運動情報からの3D 形状運動情報の復元ステレオ視による奥行きの計測 3D 物体の形状モデルを利用した物体認識ロボットビジョンへの応用など

17 Reflectance Map Classical Approach: Suppose reflected light depends only on α 理想的な強い仮定 : 明るさは入射光と物体表面の間の角度 α だけに依存

18 陰影から 3D 形状復元の例 Left: Image of Agrippa (NE illumination) Right: 3D shape recovery (Tianzi Jiang, 1999).

19 見かけ情報から運動情報の復元 Example: Optical Flow t = 0 Flow field t = 0 t = 1 仮定 : 連続画像間で対応している点の明るさが変化しない Best estimates where there are corners from Russell & Norvig

20 CV のアルゴリズム光学モデルや解析幾何学の知識を利用処理計算には多様な数理的最適化手法や統計的推定法を駆使する CV によってはじめて視覚認識研究が学問として確立されたという見方を定着させた

21 光のモデルの概念光のモデル物体に光が当たることによって物体の色 ( 輝度 ) が決まる光を種類に分けて考える環境光反射光拡散反射光鏡面反射光透過光 ( 屈折光 ) 光のモデル基礎と応用

22 輝度の計算式光のモデルの計算式全ての光による影響を足し合わせることで物体上の点の輝度が求まる n L I = I k + I k N L + k R V + k I + k I ( ) ( ) n a a i d s r r t t i= 1 環境光拡散反射光鏡面反射光 ( 局所照明 ) 鏡面反射光 ( 大域照明 ) 透過光それぞれの光源からの光 ( 局所照明 ) 大域照明 k n k k k k + ( + ) + + = 1 各係数の和は1 a L d s r t

23 CV 研究中の難問あまりにも理論に偏った研究が多くなされたため CVの研究は研究 ( 論文 ) のための研究になっており現実世界の問題解決には役に立たないという批判が次第に広がってきた何故?

24 2 次元画像 3 次元シーンへの逆写像本来 2 次元画像 3 次元シーンという逆写像を行う処理は不良設定問題でありそれを解くには様々な仮定や前提条件が必要である当初の理論研究ではそれらがすべて満たされた理想的な世界における解析アルゴリズムが多かった最近では理論研究においても多様な現実世界の状況の中で頑健に動作するアルゴリズムが実現できることが一つの評価基準として定着しシミュレーション画像に対してだけうまく働くような脆弱なアルゴリズムの提案は次第に姿を消すようになってきている

25 アクティブビジョンイメージメディアへの展開 1990 年代になると 2D 画像データから3Dシーンへの情報変換アルゴリズムの研究という狭い研究領域から抜け出しより広い視点から視覚情報処理研究を行おうとする試みが進められるようになった知能システムの構成イメージメディアの世界

26 アクティブビジョン 1 知能システムの構成という観点から視覚認識の問題を考える代表例 : 知覚と行動の統合を目指すアクティブビジョンアクティブビジョンでは : 撮像装置や照明の位置方向配置を能動的に制御撮像認識理解シーン記述撮像装置の制御撮像という処理ループを繰り返す多視点からの能動的観測や注視制御に基づいて複雑なシーンの 3 次元構造の理解を目指す

27 撮像認識理解シーン記述撮像装置の制御撮像アクティブビジョンの例

28 アクティブビジョン 2 実世界で有効に機能する知能システムの実現を目指した研究としては多種多様なセンサからの情報を統合することによってシステムの信頼性の向上を目指すセンサフュージョン例 : デジカメラ + 距離センサ + 赤外線カメラ + 複数の処理モジュールが並列に入力データを解析し得られた出力 ( 行動制御命令 ) を統合調整することにより動的環境に対する適応能力の向上を図ろうとする包摂アーキテクチャ最近の追跡研究例 :MCMC+Adaboost Meanshift+Adaboost といった考え方も提案されている

29 イメージメディアの世界もう一つ別の方向への研究分野対象領域の拡張 : イメージメディアの世界における視覚情報処理イメージメディアでは画像映像を介した人間同士人間機械の間の正確な情報伝達豊かなコミュニケーションの実現するために : 2D 画像 3D シーンの写像を行う CV 3D シーン 2D 画像の写像を行う CG という相補的な情報変換プロセスを統合化した視覚情報処理が行われる

30 画像映像の処理認識理解研究の歴史と現状全体像

31 CV と CG の統合化の基本方式 3D シーンをカメラで撮った画像を CV アルゴリズムによって解析しシーン記述を求める得られたシーン記述を編集加工し仮想的なシーン記述を作成仮想的シーン記述から CG アルゴリズムによって新たな画像を生成

32 特徴点の追跡姿勢推定 CV アルゴリズムによって解析しシーン記述

33 編集加工の具体例画像から得られた 3D シーン記述を基に撮影時とは別の視点からシーンを見たときの画像を生成画像から得られた 3D シーン記述と人工的に生成したシーン記述を組み合わせ実写画像と CG 画像を合成した画像を生成 ( 前回加藤先生から見せた例 ) 画像に記録された色情報を CV アルゴリズムによって物体色成分と光源色成分に分離し物体色のみを変化させた画像を生成

34 撮影時とは別の視点からシーンを見た時の画像の画像を生成カメラのパラメータが分かればそのカメラから取った画像から任意方向から見た画像を合成 Wakayama University

35 複数枚の画像より広視野の画像を合成

36 CV(+ 画像処理 ) 編集 CG(+ 画像処理 ) という一連の処理プロセスは送り手 ( 撮影者 ) から受け手 ( 観賞者 ) に至る通信路と見なすことができる CV と CG の統合により画像ビデオ映像 3D 物体イメージを情報伝達メディアとした豊かなコミュニケーションが実現できる

37 マルチメディア情報処理の基本技術 CG の拡張としての仮想現実感 (Virtual Reality) に対して生の画像映像を基に仮想化された画像映像を生成する技術 (Image-Base Rendering) は仮想化現実感(Virtualized Reality) 拡張現実感(Augmented Reality) 複合現実感(Mixed Reality) などと呼ばれ現在活発な研究開発が行われている

38 21 世紀の研究課題一般物体認識制約のない実世界シーンの画像に対して計算機がその中に含まれる物体を一般的な名称で認識する

39 一般物体認識 PASCAL Challenge ヨーロッパ画像処理コミュニティーの PASCAL によって主催されているコンテスト :PASCAL Challenge: 与えられた学習画像を用いて与えられたテスト画像から 10 種類の物体を認識する bicycle, bus, car, cat, cow, dog, horse, motorbike, person, sheep PASCAL Challenge の 2006 年の結果は classification 課題で最高 9 割以上 detection 課題で最高 4 割程度となっている

40 PASCAL Challenge の結果例 Bicycles Buses

41 PASCAL Challenge の結果例 Cars Cats

42 PASCAL Challenge の結果例 Cows Dogs

43 PASCAL Challenge の結果例 Horses Motorbikes

44 PASCAL Challenge の結果例 People Sheep

45 出席チェック 1 画像処理とコンピュータビジョンの違いについて述べなさい名前と学籍番号を記入

46 参考書リスト [1] 松山隆司久野義徳井宮淳 : コンピュータビジョン -- 技術評論と将来展望 -- 新技術コミュニケーションズ 1998 [2] デビットマー ( 乾敏郎安藤広志訳 ): ビジョン -- 視覚の計算理論と脳内表現 -- 産業図書 1987

ビジュアル情報処理

ビジュアル情報処理コンピュータビジョン特論 Advanced Computer Vision 呉海元教授 2011 年度前期期間曜日時限教室期間 : 前期曜日 : 月曜日時限 :4 時限教室 :A204 授業の位置づけコンピュータビジョンにおける画像処理や理解の技術について基礎理論と最近の研究動向を学ぶコンピュータを用いて入力された画像映像を扱うための基礎知識画像からの特徴抽出と記述カメラを用いた