Microsoft PowerPoint - 成果発表会

Size: px

Start display at page:

Download "Microsoft PowerPoint - 成果発表会"

ありかつおまた
5 years ago
Views:

軸対称型収音装置を用いた高精度高感性バーチャル音空間創成システムの構築 080005 坂本修一東北大学電気通信研究所研究プロジェクトの全体像 H0~3 年度研究目的軸対称型の収音装置によるバーチャル収音再生技術を用いて音空間情報を遠隔地の複数の聴取者に同時に高精度かつ臨場感高く提示する音空間創成システムを構築する軸対称型収音装置による音空間情報の収音 Signal

1 軸対称型収音装置を用いた高精度高感性バーチャル音空間創成システムの構築坂本修一東北大学電気通信研究所研究プロジェクトの全体像 H0~3 年度研究目的軸対称型の収音装置によるバーチャル収音再生技術を用いて音空間情報を遠隔地の複数の聴取者に同時に高精度かつ臨場感高く提示する音空間創成システムを構築する軸対称型収音装置による音空間情報の収音 Signal Processing 補間圧縮頭部運動を含め計算処理により音情報創出音情報の補間圧縮処理ネットワーク配信高精度で臨場感高く音空間情報を創成研究開発の概要. 多数のマイクロホンが設置された軸対称型収音装置の設計試作. マイクロホンの出力音から頭部伝達関数への変換合成方式の構築 3. 収録音情報の圧縮手法ネットワーク配信手法の確立 4. 音空間創成システム構築期待される研究成果及び社会的意義超臨場感コミュニケーション技術の基幹技術としての期待ユニバーサルコミュニケーションの実現が可能多視点型高臨場感視聴覚コンテンツ創出システムとの融合も視野に

2 研究背景 3 3 次元音情報の高次臨場感通信の実現に向けてある音空間がもつ音源の位置や場の広がり感などの情報を忠実に取得し遠隔地で再現する技術が必要バイノーラル収音再生 Scröder et al.963 収音マイクロホン再生ヘッドホン例えば聴取者が自宅にいながらにしてコンサートホールで聴いているかのような臨場感を体感できるダミーヘッド聴取者既存の収音提示システム / 4 単純なバイノーラル収音再生では受音位置付近の音空間を忠実に再現できない TeleHeadTosima et al.003 聴取者を模擬したダミーヘッド使用頭部運動に追従 otion-tracked BinauralAlgai et al.004 水平面に複数のマイクロホンを設置した球状アレイ信号処理により各聴取者に対応頭部運動に追従 TeleHead TB 頭部位置に応じて耳付近のマイクロホンを選択聴取者を模したダミーヘッドで収音聴取者自身のダミーヘッドならば高精度再生耳介の音響特性を畳み込む音源の位置を知っておく必要がある

3 既存の収音提示システム / 5 高精度収音提示システムに必要な要件各聴取者の HRTF への対応聴取者自身の HRTF が必要各聴取者の HRTF への汎用性再生側での HRTF 対応が望ましい頭部運動に追従した収音提示頭部運動が音像定位に重要複数聴取者への同時提示同じ受音点を共有するには収音機器はつ * 頭部伝達関数 ead-related transer unction:hrtf 音源から鼓膜への音の伝達特性耳介や頭部形状によって異なる音源位置によって異なる HRTFへの対応汎用性頭部運動複数聴取者バイノーラル TeleHead TB 本研究プロジェクトで提案する球状マイクロホンアレイを用いた音空間収音システム SENZISakamoto et al.008 多数のマイクロホンを 3 次元等密度配置した球状アレイ信号処理により各聴取者に合った音空間を提示つの収音機器で複数聴取者に提示可能マイクロホンを切り替えることで頭部運動に追従 DSP DSP 球状アレイで収音 Symmetrical object wit ENcased ZIllion micropones DSP HRTFへの対応汎用性頭部運動複数聴取者バイノーラル TeleHead TB SENZI 6

4 システムの概要システムの全体像 7 多数のマイクロホンで収音聴取者にヘッドホンで提示聴取者の HRTF に合致するような信号頭部位置情報も加味へ変換信号処理部収音部提示部重み付き線形結合による HRTF 合成法 / 8 ある周波数において H H d syntesie syntesied syntesied syntesied n m n m n m : 収音された音の音源方向 m は音源方向数 : マイクロホンの通し番号 n はマイクロホン数重みは音源方向に関係なく周波数毎に各マイクロホンに対してつ定める合成結果伝達関数

重み付き線形結合による HRTF 合成法 / 9 ある周波数において + + + = i j

聴取者の外耳道入口における指向特性となるように重み H H listener を決定

Controller PXIe-833 NI FPGA board PXIe-7965RNI

KUS-547Hosiden Input module AS-5SKSK Headpone

5 重み付き線形結合による HRTF 合成法 / 9 ある周波数において = i j k SENZI 聴取者各マイクロホンの指向特性を重み付け加算した結果が聴取者の外耳道入口における指向特性となるように重み H H listener を決定擬似逆行列システムの構成構築したシステムの全体像 0 PC Bus 信号処理部 Controller PXIe-833 NI FPGA board PXIe-7965RNI FPGA board PXIe-7965RNI 収音部 5 micropones KUS-547Hosiden Input module AS-5SKSK Headpone FPGA board PXIe-7965RNI CassisPXIe-07NI Output module DAC-600KSK 提示部構築したシステム

マイクロホンをほぼ等密度に配置各マイクロホン間隔は約 0 mm 収音部 SENZISymmetrical object wit ENcased ZIllion micropones 直径 : 7 cm 素材 : エポキシ樹脂

6 球状アレイ収音部設計時の基本コンセプトシステムに必要な要件球状アレイ表面上に多数のマイクロホンを配置し聴取者に合った信号合成の状況を計算機シミュレーションにより検証マイクロホンを密に配置重み算出時に定義する制御方向を 5 以下に設定球状アレイは人間の頭部サイズ程度の大きさコンセプトに基づいた球状アレイの設計ハードウェアの制約聴取者の頭部サイズを想定した直径 7 cm の球状アレイ 5 個のマイクロホンを使用マイクロホンをほぼ等密度に配置各マイクロホン間隔は約 0 mm 収音部 SENZISymmetrical object wit ENcased ZIllion micropones 直径 : 7 cm 素材 : エポキシ樹脂製作 : 光造形法マイクロホン数 : 5 個ディジタル ECKUS-547 ホシデンクロック周波数 :.4 H SENZI ΔΣ 変調器 : 4 次 SN 比 :58 dbtyp. 動作電圧 :.8 V 外形寸法 : 4 3 mm 全指向性ディジタル EC

7 収音部内観 3 信号処理部 4 ハードウェア National Instruments 社製シャーシ PXIe-07 コントローラ PXIe-833 FPGAボード PXIe-7965R 3 ソフトウェア :LabVIEW 00 一部のみ 009 コントローラ CPU:Intel Core i GH メモリ :3 GB OS:Windows XP 制御用 PC FPGA ボード FPGA チップ :Virtex-5 SX95T オンボードメモリ :56B

システム性能評価 5 システムによる変換精度高周波数領域での合成精度が不十分であるものの HRTF の概形は模擬

5 kh から現れるため誤差が大きくなる 0 kh 以下では高精度での収音提示が可能 a SARAI の HRTF b 合成結果の HRTF c

SENZI and ASURA: New igprecision sound-space sensing systems based on

8 システム性能評価 5 システムによる変換精度高周波数領域での合成精度が不十分であるものの HRTF の概形は模擬球状アレイのマイクロホン間隔に対する空間的折り返し歪の影響が約 8.5 kh から現れるため誤差が大きくなる 0 kh 以下では高精度での収音提示が可能 a SARAI の HRTF b 合成結果の HRTF c 合成誤差主な研究成果一覧 6 査読付き誌上発表 Sakamto et al. SENZI and ASURA: New igprecision sound-space sensing systems based on symmetrically arranged numerous micropones Proc. ISUC008 他件口頭発表 0 件うち招待講演件受賞 Finalist o Student Design Award Grapical System Design Acievement Awards National Instruments 他件

9 今後の展開 7 ネットワーク通信も念頭に高い臨場感の提供が可能な 3 次元音空間通信システムへ深化既存の 3 次元音空間収音再生手法との相互展開スピーカを含めた一般的な再生系への応用現状はヘッドホンによるバイノーラル再生も含めた拡張へ頭部伝達関数の高精度短時間測定算出法の開発現状は 500 点以上の頭部伝達関数が必要既存のネットワークへの展開を念頭にした技術開発データ圧縮近接したマイクロホンで収録した音信号の類似性を利用した多チャネル音信号圧縮技術の開発システム遅延の検討

スポーツ中継向けターゲットマイク技術を開発 ~ 歓声に埋もれたスポーツの競技音をクリアに抽出 NHK との実証実験を実施 ~ NTT メディアインテリジェンス研究所音声言語メディアプロジェクト Copyright 2015 NTT corp. All Rights Reserved. 1

スポーツ中継向けターゲットマイク技術を開発 ~ 歓声に埋もれたスポーツの競技音をクリアに抽出 NHK との実証実験を実施 ~ NTT メディアインテリジェンス研究所音声言語メディアプロジェクト Copyright 2015 NTT corp. All Rights Reserved. 1 スポーツ中継向けターゲットマイク技術を開発 ~ 歓声に埋もれたスポーツの競技音をクリアに抽出 NHK との実証実験を実施 ~ NTT メディアインテリジェンス研究所音声言語メディアプロジェクト Copyright 2015 NTT corp. All Rights Reserved. 1 背景欲しい音をクリアに集音したいという需要が高まっている放送遠隔会議車工場遠くにいる選手の競技音