スポーツ中継向けターゲットマイク技術を開発 ~ 歓声に埋もれたスポーツの競技音をクリアに抽出 NHK との実証実験を実施 ~ NTT メディアインテリジェンス研究所音声言語メディアプロジェクト Copyright 2015 NTT corp. All Rights Reserved. 1

背景欲しい音をクリアに集音したいという需要が高まっている放送遠隔会議車工場遠くにいる選手の競技音 ( 例 : シュート音 ) を集音したい特定の話者の発言を拾いたい騒音 ( 走行音やエアコン ) がある中で, 音声コマンド入力をしたい機械騒音がある中で, 外部と連絡をとりたい音声でコマンド入力をしたい NTT はマイクロホンアレイを用いた集音技術の研究開発を推進 Copyright 2015 NTT corp. All Rights Reserved. 2

背景欲しい音をクリアに集音したいという需要が高まっている放送本日のトピック遠隔会議車工場遠くにいる選手の競技音 ( 例 : シュート音 ) を集音したい特定の話者の発言を拾いたい騒音 ( 走行音やエアコン ) がある中で, 音声コマンド入力をしたい機械騒音がある中で, 外部と連絡をとりたい音声でコマンド入力をしたい NTT はマイクロホンアレイを用いた集音技術の研究開発を推進 Copyright 2015 NTT corp. All Rights Reserved. 3

これまでの開発内容との関係 2014 年 4 月と 9 月に 2 種類の集音技術を発表今回スポーツ集音用に技術改良したターゲットマイク技術を開発第 1 弾 (2014/4) 20m 先にある任意の音源をクリアに集音できるズームアップマイク技術 20 m 3 度第 2 弾 (2014/9) 100dB の高騒音下でも雑音抑圧可能な高騒音対応マイク技術第 3 弾 ( 本日 ) スポーツの競技音が集音可能なターゲットマイク技術を開発 Copyright 2015 NTT corp. All Rights Reserved. 4

NHK との共同実験に至った経緯昨年 4 月のズームアップマイク開発の発表後 NHK からスポーツ集音で活用できないかという問い合わせがあり実証実験へサッカー相撲ゴルフシュート音, 選手の声を録りたい野球張り手, ぶつかり音, 摺足を録りたいショット音, ボールの落下音, パット音を録りたいバットの衝撃音, キャッチャーミット音を録りたい NTT の集音技術を放送クオリティに対応できるように技術を向上させ実フィールドでの実証実験をするに至った Copyright 2015 NTT corp. All Rights Reserved. 5

従来のスポーツ集音従来のスポーツ集音では, ガンマイクやパラボラマイクが使用されてきた方式 (i) ガンマイク特徴可搬性に優れており, 放送用機器としてよく使用されるサッカー, 相撲, ゴルフといったスポーツでは, 競技音を集音するために使用されている (ii) パラボラマイクパラボラ反射板により目的音のエネルギーを高めて集音することで, 騒音に埋もれた中でもクリアに強調できる野球のキャッチャーミットやバットの打撃音を集音するために使用されている Copyright 2015 NTT corp. All Rights Reserved. 6

開発したターゲットマイク技術複数のマイクロホンで観測した信号にターゲットマイク技術 ( ソフトウェア ) を適用することで, 目的音 ( 競技音 ) をクリアに集音できるようになった集音範囲はマイクをゴール裏に設置した場合ペナルティエリアをカバーできる ( 例 ) サッカースタジアムゴール裏に, 複数のマイクロホンを配置 ( 写真の風防の中に複数のマイクロホンが収められている ) 中継車ターゲットマイク技術 (PC 上で動作 ) 音出力 ( 例 : シュート音 ) 続いて (1) アレイ構成と (2) 信号処理技術について説明します Copyright 2015 NTT corp. All Rights Reserved. 8

ポイント (1) 複数のマイクロホンを用いて, 目的音 ( 競技音 ) と雑音 ( 歓声 ) を観測可搬性に優れ, 設置場所の制約が少ないハードウェア構成を実現従来のスポーツ集音 : 1 本のガンマイクを風防の中に設置して集音今回のターゲットマイク : 複数のマイクロホンを風防の中に設置して集音ターゲットマイク技術 (PC 上で動作 ) ソフトウェア技術なので, 従来のガンマイクもそのまま並列で使用可能 Copyright 2015 NTT corp. All Rights Reserved. 9

ポイント (2) 2014 年 9 月に発表した技術を改良しスポーツの競技音の集音用に空間情報に加え, 音源の特性 ( 立ち上がりの鋭さ ) をうまく利用することで, 100dB 程度の高騒音下でも目的音 ( 例 : シュート音 ) の集音が可能になった応援応援前回発表した時点の技術 ( 空間情報を利用した分離 ) 応援応援シュート音今回の技術改良 ( 音源の立ち上がりの鋭さを利用した分離 ) 応援シュート音キック音応援振幅様々な音が混合ターゲットマイク技術振幅雑音が抑圧されて, シュート音を強調応援周波数周波数ソフトウェア技術なので, 従来のガンマイクもそのまま並列で使用可能 Copyright 2015 NTT corp. All Rights Reserved. 10

実証実験の概要 2014 年 7 月より,NHK との共同実験を実施実フィールドで迫力ある競技音を収録できることを双方で確認実証実験をしたスポーツの例サッカーキック音, 選手の叫び声を強調大相撲張り手やぶつかり音を強調ゴルフティーショットやパット音を強調 2/19, 20 に開催される NTT R&D フォーラムにて, 一部結果を公開 Copyright 2015 NTT corp. All Rights Reserved. 11

( 参考 ) 分離抽出した競技音の利用方法シーン ( 映像 ) に対応するように, 分離抽出した競技音と他のマイクロホンで観測した周囲アンビエント音を MIX して使用 (a) ターゲットマイクにより分離抽出したシュート音 ( 例 ) ピッチ内にいるかのような音響演出をする (b) ほかのマイクロホンで観測した周囲アンビエント音 Copyright 2015 NTT corp. All Rights Reserved. 12

まとめと今後の予定まとめサッカー, 大相撲, ゴルフでの実証実験を通じて, スポーツの競技音 ( 例 : シュート音 ) をクリアに抽出できることを確認今後の予定来年度ソフトウェアとして商用化 ( 販売 ) 予定更に音源の性質を活用した処理の高度化による性能アップしたい NTT は 2020 年までに, 技術改良を進めさらに様々なパートナーとのコラボレーションを通じスポーツ観戦においてより臨場感ある競技音の体験を世界中の人々に提供できるよう取り組む Copyright 2015 NTT corp. All Rights Reserved. 13