Multimedia(Visual) 班 早稲田大学基幹理工学部情報通信学科甲藤研究室 1
Multimedia 班とは 画像処理の研究を中心に扱っています 主な研究分野 動画像圧縮符号化 圧縮動画像の画質推定 画像認識 4K, 8K, HDR 車載画像処理 画像信号処理からコンピュータビジョンまで 動画像に関する研究を幅広く扱っています 動画像に関係するものであれば 何でも研究できる! 2
動画像圧縮符号化 符号化とは 情報をデジタル化し データの圧縮を行う技術のこと 現行の方式として M P E G - 2 ( 地上デジタル放送 ) や H.264/AVC( インターネット動画共有サービス ブルーレイディスク ) 等がある MPEG-2 方式 746Mbps 20Mbps 約 1/40 に圧縮! 東京スカイツリー H.264/AVC 方式 746Mbps 10Mbps 約 1/80 に圧縮! ブルーレイディスクレコーダ 3
4 動画像圧縮符号化 最新の動画圧縮符号化方式 H.265/HEVC 2013 年 1 月に国際規格として承認された H.264/AVCの約 2 倍の圧縮効率を実現している 4Kや8K(2020 年本放送 ) 等の 高解像度動画像の圧縮に対応地上デジタル放送の 16 倍の解像度 H.264/AVC H.265/HEVC 引用 :https://www.ntt-at.co.jp/product/rfs_hevc_sdk/detail.html
動画像圧縮符号化 甲藤研の研究内容 H.265/HEVC の性能をさらに改善する手法の提案 H.265/HEVC に対し 最新の 8K 動画像をテスト動画として使用しながら研究しています! 甲藤研における研究例 奥行き情報を用いて 圧縮による画質劣化が起こりやすい部分 ( オクルージョン領域 ) を検出 劣化を防止 動き予測が当たりにくい動きを予め検出し 対策する 原画像符号化ブロック分割画像フレーム間 内予測画像動きベクトル画像 5
動画像圧縮符号化 8K 動画像における H.265/HEVC による動き予測 符号化の単位である CU サイズの分布状況を調査 HEVC における動き予測を可視化 外部処理との比較 距離 角度 内部処理 外部処理 可視化結果 分布状況 比較結果 6
動画像圧縮符号化 画像局所特徴量を用いた H.265/HEVC の符号化 外部処理を用いて 適切な符号化手法を決定 SU RF 特徴量のマッチングを 2 フレーム間で使用 入力例 6
圧縮動画像の画質推定 画質推定 動画像を圧縮すると 様々なノイズが発生 人間が画質の劣化を判別するのは簡単だが 機械には高度な技術となる PSNR(Peak signal-to-noise ratio) 原画像と圧縮画像の画素値を比較することで 圧縮画像の劣化度を評価する指標 P S N R の計算には 原画像が必要となってしまう 格子状のノイズが発生! 8
9 圧縮動画像の画質推定 甲藤研の研究内容 原画像を用いずに 圧縮画像のみから画質 (PSNR) を推定する手法の提案 あらかじめ様々な圧縮動画とその PSNR を SVM に学習させておくことで 与えられた動画の P S N R を推定 テスト動画 学習動画 +PSNR テスト動画の PSNR を推定
1 0 圧縮動画像の画質推定 甲藤研の研究内容 ( 画質推定の応用 ) BM3D による圧縮動画像の画質改善 BM3D 似たブロックを集め 3 次元変換によりノイズを除去するフィルター Original Video (A) (B) (C) Compressed Video (3500kbps) (D) Frame of Compressed Video Applied by BM3D with Input Sigma(a)5(b)10(c)25(d)30(d)35(e)40(f)50 (E) (F)
画像認識 画像認識 ( コンピュータビジョン ) とは 人間が当たり前に行っている視覚の機能を なんとかコンピュータに持たせようという研究分野 甲藤研における研究例 Kinect と PCL を用いた indoor の 3D レジストレーション 低出生体重児 新生児 乳児の身長推定 温度情報を用いた 画像内の人物検出の精度改善 女の人だ!??? 人間 コンピュータ 11
画像認識 可視光画像と赤外線熱画像を併用した人物検出の精度改善 一般的な人物検出手法において 誤検出を伴うことが多々ある より検出精度を高めるために 温度情報や類似度等に基づいて誤検出判定を行う手法を提案する 可視光画像を用いた人物検出 HOG 特徴量に基づいた人物検出 誤検出判定 条件 1 検出箇所の温度が体温に近い温度を示しているかどうか 条件 2 赤外線熱画像を用いた人物検出結果とのずれが小さいかどうか 条件 3 人らしさを示す類似度の値が大きいかどうか 一定以上の条件を満たした場合 条件を満たさなかった場合は検出結果から除去 検出結果から除去 検出結果の再描画 誤検出を除去した状態で検出結果の描画 12
画像認識 2 次元画像を使用した仮想試着システム 2 次元服画像を用いた仮想試着は体の回転に対応していない より検出精度を高めるために 温度情報や類似度等に基づいて誤検出判定を行う手法を提案する KINESYS VIRTUAL FASHION2.5D 引用 :http://www.virtualfashion.jp/ 13
画像認識 服の特徴を用いた個人識別 近年様々な場所で映像管理システムが使用されている 不審人物を監視対象とし 服の色や柄における様々な特徴量を用いて識別精度の向上を目指す 服領域画像 一致率計測 特徴量の取得 14
画像認識 ギター演奏支援システムの提案 映像で楽譜と押さえる弦の位置を確認しながら練習ができる 自分の押さえている弦の音がきちんと出ているか確認できる センサー処理加速度センサーとジャイロセンサーを利用画像処理で認識した弦の位置をトラッキング 音響信号処理演奏音を解析し 音高を推定 画像処理弦と指の位置を認識 2000 1000 1000 0 500-1000 -2000 振幅 基本周波数 0
ギター演奏支援システムの提案 映像で楽譜と押さえる弦の位置を確認しながら練習ができる 自分の押さえている弦の音がきちんと出ているか確認できる センサー処理加速度センサーとジャイロセンサーを利用画像処理で認識した弦の位置をトラッキング 音響信号処理演奏音を解析し 音高を推定 画像処理弦と指の位置を認識 2000 1000 1000 0 500-1000 -2000 振幅 基本周波数 0
4K, 8K, HDR 4K, 8K 地上波デジタル放送の 4 倍 16 倍の解像度を持つ 次世代の超高精細映像 4K 放送 配信は一部で既に開始 2020 年に 8K 本放送開始予定 画像引用元 :http://www.apab.or.jp/4k-8k/appeal/ 17
4K, 8K, HDR HDR(High Dynamic Range) 超高精細化に加え 表現可能な 色 ダイナミックレンジも拡大 より実世界に近い映像表現が可能に 画像引用元 :http://www.apab.or.jp/4k-8k/appeal/ 18
4K, 8K, HDR 甲藤研での研究内容 数多く存在する現行の SDR(Standard Dynamic Range) 画像を HDR 画像相当にする手法を検討 甲藤研での研究例 1 既存のテクスチャ修復を伴った画像の HDR 化手法を改良 精度を向上させる手法を提案 19
4K, 8K, HDR 甲藤研での研究例 2 Deep Neural Networks を用いて単一 SDR 画像から HDR 画像を生成する手法について検討 対応する SDR,HDR 画像の学習 表現できる明るさを拡大
車載画像処理 車載カメラ映像による人物検出 HOG 特徴量による人物検出は フレーム単位の処理では誤検出が多い 誤検出を削減するために オプティカルフロー指定や S U R F 特徴量によるフレームマッチングを用いることで検出精度の向上を図る 元画像 提案手法 19
いざ Multimedia 班へ! Multimedia 班で学べること 画像処理プログラミング : M a t la b C C++ 画像処理 機械学習等の知識 技術研究所や学会で 最先端の画像処理を学べる 外部機関との連携 日本放送協会 ( NHK) 符号化に関するインターンシップ サムスン電子 画質推定に関する共同研究 グローバル サーベイ株式会社 自動車車載画像処理に関するデータ提供 情報通信研究機構 (NICT) 鉄道車載画像処理に関する共同プロジェクト 20
いざ Multimedia 班へ! 主な就職先 日本放送協会 ( NHK) TBS テレビ N T T コミュニケーションズ KDDI 株式会社 パナソニック N T T 研究所 画像処理は 今後も大きな需要がある分野 解析のためのツールやデータも充実しており 実験結果が可視化できるため 取り組みやすい 画像処理の最先端を 一緒に研究しよう! 21