単板撮像素子を用いたマルチバンド画像撮影システム

単板撮像素子を用いた マルチバンド画像撮影システム 紋野雄介 田中正行 奥富正敏 ( 東京工業大学 ) 菊地直 吉崎和徳 福西宗憲 小宮康宏 ( オリンパス技術開発部門 ) 招待ショートサーベイ講演 2016 年 9 月 5 日 ( 月 ) 電子情報通信学会パターン認識 メディア理解 (PRMU) 研究会

Reflectance Spectral power Spectral power マルチバンド画像撮影 撮影シーンの分光情報 ( 画像 ) を取得する技術 照明光の分光分布 100 照明光 カメラ入射光の分光分布 50 従来のカラー画像撮影 Spectrum 0 400 Wavelength (nm) 700 0 400 Wavelength (nm) 700 400 Wavelength (nm) 700 1 分光反射率 被写体 カメラ マルチバンド画像撮影 Spectrum 0 400 Wavelength (nm) 700 400 Wavelength (nm) 700 2

マルチバンド画像撮影の応用例 幅広い分野で応用が提案されている 食物検査 ディジタルアーカイブ Goel et al., UbiComp2015 Ribes et al., SPM2008 忠実色再現 ( リライティング ) 医療応用 ( 血管強調 ) Park et al., ICCV2007 Hashimoto et al., Opt. Exp. 2011 3

既存マルチバンド画像撮影システム 大掛かりで煩雑なシステム 研究室などの限られた環境のみで利用可能 マルチショットシステム マルチカメラシステム マルチショット + アクティブ光源 Fukuda et al., EI2005 Ohsawa et al., JIST2004 Park et al., ICCV2007 動画像撮影 動画像撮影 4

単板式カラー画像撮影 現在のディジタルカメラ スマートフォンで広く普及 単板撮像素子とカラーフィルタアレイの利用 小型 低価格 簡便な動画像撮影 センサ感度 単板撮像素子 デモザイキング 400 Wavelength (nm) 700 カメラ カラーフィルタアレイ (CFA) カラー画像 5

単板式マルチバンド画像撮影 単板式カラー画像撮影をマルチバンドへ拡張 利点 : 小型 低価格 簡便な動画像撮影 欠点 : 疎なサンプル 低画質化 センサ感度 単板撮像素子 400 Wavelength (nm) 700 マルチバンドデモザイキング カメラ マルチバンドフィルタアレイ マルチバンド画像 6

コンセプトの提案 Assorted pixels (Nayar and Narasimhan, ECCV2002) モノクロセンサの拡張性の 1 つとして記載されている Space Brightness Time Assorted pixels Depth Polarization Spectrum マルチバンド画像撮影に対する具体的なシステム設計は その後 (Yasuma et al., TIP2010) にて発表 7

センサ技術 マルチバンドセンサの製作が可能になりつつある しかしながら 低画質など課題は多い IMEC ハイパースペクトルセンサ オムニビジョン RGB-IR センサ G B R IR http://www2.imec.be/content/user/file/brochures/2015/hsi%20acti vity.pdf https://www.e-consystems.com/ov4682-rgb-ir-usb3-camera.asp http://www.ovt.com/products/sensor.php?id=145 8

高画質化に向けた課題 マルチバンドフィルタアレイの設計 ( どう配置するか?) マルチバンドデモザイキングの開発 ( どう補間するか?) マルチバンドセンサの感度設計 ( どのバンドを撮影するか?) マルチバンドフィルタアレイの設計 マルチバンドデモザイキングの開発 依存関係 マルチバンドセンサの感度設計 9

高画質化に向けた課題 これらシステム全体の最適化を図ることが 高画質なマルチバンド画像撮影の鍵 マルチバンドフィルタアレイの設計 マルチバンドデモザイキングの開発 依存関係 マルチバンドセンサの感度設計 10

マルチバンドセンサの感度設計 最適なセンサ感度に関する理論研究は古くから行われている 色再現性を評価 (Vrhel and Trussell, TIP1994) ノイズ特性を評価 (Vrhel and Trussell, TIP1995), etc. 一方で 現実的には製作可能なセンサ感度は限られるため 経験則や総当り的評価に基づく事も多い マルチバンドセンサの感度設計 11

マルチバンドフィルタアレイの設計 Generic method (Miao et al., TIP2006) 任意バンド数のフィルタ配置を設計するフレームワーク 5バンドの1 例 : 2 分割 2 分割 1 2 2 分割 1 4 1 8 12

マルチバンドデモザイキングの開発 BTES アルゴリズム (Miao et al., TIP2006) エッジセンシング補間を繰り返すフレームワーク エッジセンシング補間 エッジセンシング補間 1 2 エッジセンシング補間 1 4 1 8 13

利点 Miao らのフレームワーク 任意のバンド数に対応可能な柔軟なフレームワーク 欠点 ( 利点とのトレードオフでもある ) 最終的なフィルタアレイ配置の選択はユーザー任せ 結局 どの配置が良いかは分からない エッジセンシング補間では高画質な画像が得られない 発表者らの取り組み (2010 年頃から ) 高画質なマルチバンド画像撮影のための フィルタアレイ配置およびデモザイキング処理の提案 14

Sensitivity 着眼点 : バンド間の相関を利用 分光画像では 各バンド間に相関があることが知られている 撮影シーン 0.08 R Or G Cy B 0 400 500 600 700 Wavelength (nm) 5 バンドセンサ感度例 B Cy G Or R 各バンド画像は互いに似た画像構造を有する 相関を利用 15

フィルタアレイとデモザイキングの同時設計 ガイド画像を利用した高精度な補間処理 (Monno et al., EI2012) G R G Or G B G Cy G B G Or G R G Cy G B G Cy G R G Or G 提案フィルタ配置 (5 バンド ) 1 つのバンドを高密度に配置 ガイド画像生成 ガイド画像 ガイデッドフィルター (He et al., ECCV2010) バンド間の相関を利用 16

デモザイキング結果 分光データベースによるシミュレーション結果 (Cy バンド ) 撮影シーン 真値 従来手法 (BTES 法 ) 提案手法 17

Sensitivity プロトタイプカメラの開発 リアルタイムでマルチバンド画像撮影が可能 (Monno et al., TIP2015) 5 バンドカメラ プロトタイプ外観 Adobe ディスプレイ 500 400 300 200 100 センサ感度 0 380 480 580 680 Wavelength (nm) レンズ C mount イメージセンサ EMUDA 提案フィルタアレイ カメラリンクケーブル ディスプレイ 外部ディスプレイ カメラシステム (FPGA ボード ) http://www.ok.ctrl.titech.ac.jp/res/msi/tip-msi.html 18

プロトタイプ撮影画像例 RGB R バンド Or バンド G バンド Cy バンド B バンド 19

プロトタイプ撮影動画像例 20

デモザイキング結果 従来手法 (BTES 法 ) 提案手法 21

RGB カラーカメラとの解像度比較 水平 垂直の解像度は 3 バンドと同等レベル 解像チャート 正解データ (3 板式 ) 3 バンド RGB カメラ 5 バンドカメラ ( 提案 ) 22

応用例 : 高精度分光反射率推定 色再現 分光反射率推定真値 5 バンド ( 提案 ) 3 バンド ( 従来 ) 0.14 0.12 0.1 0.08 0.06 0.04 0.02 0 420 460 500 540 580 620 660 700 1 0.8 0.6 0.4 0.2 0 420 460 500 540 580 620 660 700 色差評価 AdobeRGB Gamut srgb Gamut 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 4 3 2 1 0 色差 ΔE 5 バンド撮像 ( 提案 ) 3 バンド撮像 ( 従来 ) 23

応用例 : リライティング 400 480 560 640 400 480 560 640 標準光源撮像 ( 正解 ) 蛍光灯撮像 リライティング 5 バンド撮像 3 バンド撮像 24

応用例 : 脈波測定 MIT Media Lab から新コンセプト (McDuff et al., TBE2014) RGB カメラで検出できない微妙な肌の色の変化を捉え 心拍数 ストレスの有無の検出に成功 非接触で感情推定や心筋梗塞の予測への応用可能性有り 5 バンドの時系列データ独立成分分析心拍数検出心拍変動 RGB カメラ 5 バンド実験機 接触式心拍センサ ストレス無し ストレス有り 25

リアルタイム RGB-NIR 画像撮影システム カラー (RGB) 画像と近赤外線 (NIR) 画像を同時に撮影可能なシステム (Yoshizaki et al., CVPR2016 デモ ) http://www.ok.ctrl.titech.ac.jp/res/msi/rgb-nir.html 26

近赤外線蛍光 (ICG 溶液 ) 観察動画 27

まとめ まとめと今後の課題 単板式マルチバンド画像撮影の技術紹介 発表者らが開発したプロトタイプカメラの紹介 マルチバンド画像撮影の応用例の紹介 今後の課題 画像撮影パイプラインの更なる高精度化 応用に応じた画像撮影パイプラインの最適化 新しい画像センシング技術の模索 謝辞 : 発表者らの研究成果の一部は 総務省 戦略的情報通信研究開発推進事業 (SCOPE) の委託 (No.141203024) を受けたものである 28

参考文献リスト 応用例 (2 ページ ) Goel et al., HyperCam: Hyperspectral imaging for ubiquitous computing applications, UbiComp2015. Ribes et al., Studying that smile, Signal Processing Magazine, 2008. Park et al., Multispectral imaging using multiplexed illumination, ICCV2007. Hashimoto et al., Multispectral image enhancement for effective visualization, Optics Express, 2011. 撮影システム (3 ページ ) Fukuda et al., Development of 16-bands multispectral image archiving system, EI2005. Ohsawa et al., Six-band HDTV camera system for spectrum-based color reproduction, JIST, 2004. Park et al., Multispectral imaging using multiplexed illumination, ICCV2007. Assorted pixels(7 ページ ) Nayar et al., Assorted pixels: multi-sampled imaging with structural models, ECCV2002. Yasuma et al., Generalized assorted pixel camera: postcapture control of resolution, dynamic range, and spectrum, TIP, 2010. 29

センサ感度設計 (11 ページ ) 参考文献リスト Vrhel et al., Filter consideration in color correction, TIP, 1994. Vrhel et al., Optimal color filters in the presence of noise, TIP, 1995. Miao らのフレームワーク (12,13 ページ ) Miao et al., The design and evaluation of a generic method for generating mosaicked multispectral filter arrays, TIP, 2006. Miao et al., Binary tree-based generic demosaicking algorithm for multispectral filter arrays, TIP, 2006. 発表者らの開発システム (16,18,26 ページ ) Monno et al., Multispectral demosaicking using guided filter, EI2012. Monno et al., A practical one-shot multispectral imaging system using a single image sensor, TIP, 2015. http://www.ok.ctrl.titech.ac.jp/res/msi/tip-msi.html Yoshizaki et al., A real-time RGB-NIR imaging system using a single image sensor, CVPR2016 (Demonstration). http://www.ok.ctrl.titech.ac.jp/res/msi/rgb-nir.html 心拍推定応用 (25 ページ ) Mcduff et al., Improvements in remote cardiopulmonary measurement using a five band digital camera, TEB, 2014. 30